UNIVERSIDAD NACIONAL DE INGENIERA Informe N1

Facultad de Ingeniera Civil (FIC) APLICACIN DE CADENAS DE MARKOV

I. DEFINICION

En matemtica se define como un proceso estocstico discreto que cumple con la propiedad de
Markov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente
resume toda la informacin relevante para describir en probabilidad su estado futuro

Una cadena de Markov es una secuencia X1, X2, X3,... de variables aleatorias. El dominio de
estas variables es llamado espacio estado; el valor de Xn es el estado del proceso en el tiempo
n. Si la distribucin de probabilidad condicional de Xn+1 en estados pasados es una funcin de
Xn por s sola, entonces:

P (x n + 1 = x n + 1 | x n = x n, x n 1 = x n 1,, x 2 = x 2, x 1 = x 1) = P (x n + 1 = x n + 1 | x n = x n).

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de

Markov.

II. MATRIZ DE TRANSICION

Una matriz de transicin para una cadena de Markov de n estado es una matriz de n X n con
todos los registros no negativos y con la propiedad adicional de que la suma de los registros
de cada columna (o fila) es 1.
Por ejemplo: las siguientes son matrices de transicin.

REPRESENTACIN GRAFICA DE UNA MATRIZ DE TRANSICIN:

Es el arreglo numrico donde se condensa las probabilidades de un estado a otro. A travs
de una grafica de matriz de transicin se puede observar el comportamiento estacionario
representado por una cadena de Markov tal que los estados representan la categora en que
se encuentre clasificado. Como se aprecia a continuacin:

pg. 1
 UNIVERSIDAD NACIONAL DE INGENIERA Informe N1
Facultad de Ingeniera Civil (FIC) APLICACIN DE CADENAS DE MARKOV

PROPIEDADES:
1- la suma de las probabilidades de los estados debe ser igual a 1.
2- la matriz de transicin debe ser cuadrada.
3- las probabilidades de transicin deben estar entre 0 y 1

La mejor manera de entender que es una cadena de markov es desarrollando un ejemplo

sencillo de estas mismas como el siguiente.

III. APLICACIONES

Meteorologa

Si consideramos el tiempo atmosfrico de una regin a travs de distintos das, es plausible

asumir que el estado actual slo depende del ltimo estado y no de toda la historia en s, de
modo que se pueden usar cadenas de Markov para formular modelos climatolgicos
bsicos. Por ejemplo, se han desarrollado modelos de recurrencia de las lluvias basados en
cadenas de Markov.3

pg. 2
 UNIVERSIDAD NACIONAL DE INGENIERA Informe N1
Facultad de Ingeniera Civil (FIC) APLICACIN DE CADENAS DE MARKOV

Modelos epidemiolgicos

Una importante aplicacin de las cadenas de Markov se encuentra en el proceso Galton-

Watson. ste es un proceso de ramificacin que se puede usar, entre otras cosas, para
modelar el desarrollo de una epidemia (vase modelaje matemtico de epidemias).

Internet

El pagerank de una pgina web (usado por Google en sus motores de bsqueda) se define a
travs de una cadena de Markov, donde la posicin que tendr una pgina en el buscador
ser determinada por su peso en la distribucin estacionaria de la cadena.

Simulacin

Las cadenas de Markov son utilizadas para proveer una solucin analtica a ciertos
problemas de simulacin, por ejemplo en teora de colas el Modelo M/M/14 es de hecho un
modelo de cadenas de Markov.

Juegos de azar

Son muchos los juegos de azar que se pueden modelar a travs de una cadena de Markov.
El modelo de la ruina del jugador, que establece la probabilidad de que una persona que
apuesta en un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las
cadenas de Markov en este rubro.

Economa y finanzas

Las cadenas de Markov se pueden utilizar en modelos simples de valuacin de opciones

para determinar cundo existe oportunidad de arbitraje, as como en el modelo de colapsos
de una bolsa de valores o para determinar la volatilidad de los precios. En los negocios, las
cadenas de Markov se han utilizado para analizar los patrones de compra de los deudores
morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.

Gentica

Se emplean cadenas de Markov en teora de gentica de poblaciones, para describir el

cambio de frecuencias gnicas en una poblacin pequea con generaciones discretas,
sometida a deriva gentica. Ha sido empleada en la construccin del modelo de difusin de
Mot Kimura.

pg. 3
 UNIVERSIDAD NACIONAL DE INGENIERA Informe N1
Facultad de Ingeniera Civil (FIC) APLICACIN DE CADENAS DE MARKOV

Msica

Diversos algoritmos de composicin musical usan cadenas de Markov, por ejemplo el

software Csound o Max

Operaciones

Se emplean cadenas de Markov en inventarios, mantenimiento, flujo de proceso

Redes Neuronales

Se utilizan en las mquinas de Boltzmann (redes neuronales)

IV. EN EL CLIMA

pg. 4