INTRODUCCION:

Mediante el presente trabajo se quiere demostrar la aplicacin de las cadenas de markov para un problema de la vida real; las cadenas de markov tienen aplicaciones en Fsica, Meteorologa, Modelos epidemiolgicos, Internet, Simulacin, Juegos de azar, Economa y Finanzas, Gentica, Msica, etc.

MARCO TEORICO:

Cadenas de Markov
Los procesos de paseo aleatorio en realidad son un caso particular de procesos ms generales que son las cadenas de Markov. En esencia, una cadena es un proceso en tiempo discreto en el que una variable aleatoria Xn va cambiando con el paso del tiempo. Las cadenas de Markov tienen la propiedad de que la probabilidad de que Xn = j slo depende del estado inmediatamente anterior del sistema: Xn1. Cuando en una cadena dichas probabilidades no dependen del tiempo en que se considere, n, P (Xn = j | Xn1 = i) Se denomina cadena homognea, esto es, las probabilidades son las mismas en cada paso.

Probabilidades de Transicin
En una cadena homognea finita con m posibles estados E1,E2, . . . , Em se puede introducir la notacin pij = P (Xn = j | Xn1 = i) , Donde i, j = 1, 2,. . ., m. Si pij > 0 entonces se dice que el estado Ei puede comunicar con Ej. La comunicacin puede ser mutua si tambin pji > 0. Para cada i fijo, la serie de valores {pij} es una distribucin de probabilidad, ya que en cualquier paso puede ocurrir alguno de los sucesos E1, E2, . . . , Em y son mutuamente excluyentes. Los valores pij se denominan probabilidades de transicin que satisfacen la condicin

Para cada i = 1, 2,. . ., m. Todos estos valores se combinan formando una matriz de transicin T de tamao m m, donde

Se puede observar que cada fila de la matriz es una distribucin de probabilidad, es decir,

Probabilidad Pj(n)
Una probabilidad de bastante inters es la probabilidad de llegar a Ej despus de n pasos, dada una distribucin de probabilidad [ Pi(0)] Se observa que [ Pi(0)] es la probabilidad de que el sistema ocupe inicialmente el estado Ei, de modo que

Si se denomina Pj(1) a la probabilidad de alcanzar Ej en un solo paso, entonces, por el teorema de probabilidad total

Esto se puede expresar de forma vectorial: sean P(0) y P(1) los vectores fila de probabilidad dados por

Donde P(0) es la distribucin de probabilidad inicial y P(1) es la probabilidad de que se alcance cada uno de los estados E1, . . . , Em despus de un paso. Con esta notacin, se puede expresar

Donde T es la matriz de transicin. Del mismo modo,

Y en n pasos, Donde

Y de manera general,

Probabilidad de transicin en n pasos Pij(n)

Se define Pij(n) como la probabilidad de que la cadena est en el estado Ej despus de n pasos, dado que la cadena empez en el estado Ei. Se tiene que Por la propiedad markoviana se tiene que

Para n 2, ya que la cadena debe haber pasado por uno de los m posibles estados en la etapa n 1. NOTA: Se tiene la siguiente igualdad, para tres posibles sucesos A, B y C: Si se sustituye

Entonces

Usando la propiedad markoviana nuevamente. La ecuacin anterior se denomina de Chapman- Kolmogorov. Haciendo n igual a 2, 3, . . . se obtiene que las matrices con esos elementos son:

Ya que Pik(2) son los elementos de T2 y as sucesivamente. As,

Potencias de una matriz de transicin

Es obvio que resulta necesario definir un mtodo para calcular potencias de una matriz. Esto se hace en trminos de diagonalizacin de matrices en trminos de autovalores y autovectores. Sea T una matriz de transicin de orden mm, los autovalores de T se encuentran a partir de la ecuacin caracterstica Donde Im es la matriz identidad de orden m m. Supongamos que los autovalores son distintos y los denotamos por 1,. . ., m. Los correspondientes autovectores cumplen las siguientes ecuaciones Para i = 1,. . ., m. Construyo la matriz Donde los autovectores estn colocados por columnas. Multiplicando las matrices,

Donde D es la matriz diagonal con los autovalores situados en la diagonal principal. Como se deduce que

Se puede calcular Y del mismo modo, en general, Donde

Aunque este mtodo es bastante til resulta un poco pesado a la hora de hacer los clculos, incluso para cadenas a partir de m = 4 5. Se pueden representar las transiciones entre los estados mediante grafos, donde los arcos representan las transiciones entre los estados. Por ejemplo, sea el siguiente diagrama de transicin: cuya matriz de transicin es:

Bibliografia: http://halweb.uc3m.es/esp/Personal/personas/jmmarin/esp/PEst/tema4pe.pdf http://es.wikipedia.org/wiki/Cadena_de_Markov