Introduccion A Los Procesos Estocasticos PDF

Introduccin a los o procesos estocsticos a
Luis Rincn o Departamento de Matemticas a Facultad de Ciencias UNAM Circuito Exterior de CU 04510 Mxico DF e
Enero 2012
Prlogo o
El presente texto contiene material bsico en temas de procesos estocsticos a a a nivel licenciatura, y es producto del mejoramiento continuo de las notas de clase que he utilizado para el curso de Procesos Estocsticos en la Facultad a de Ciencias de la Universidad Nacional Autnoma de Mxico. Est dirigio e a do a estudiantes de las carreras de Matemticas, Actuar Matemticas a a, a Aplicadas y otras carreras cient cas anes. Una mirada al ndice de temas le dar al lector una idea de los temas expuestos y el orden en el que se a presentan. Cada cap tulo contiene material que puede considerarse como introductorio al tema, y al nal de cada uno de ellos se proporcionan algunas referencias para que el lector pueda profundizar en lo que aqu se presenta. La mayor parte de este trabajo fue elaborado mientras realizaba una estancia sabtica en la universidad de Nottingham durante el ao 2007, y a n agradezco al Prof. Belavkin su amable hospitalidad para llevar a cabo este proyecto, y a la DGAPA-UNAM por el apoyo econmico recibido durante o dicha estancia. Adems, la publicacin de este trabajo ha sido posible graa o cias al apoyo otorgado a travs del proyecto PAPIME PE-103111. Agradezco e sinceramente todos estos apoyos recibidos y expreso tambin mi agradecie miento al grupo de personas del comit editorial de la Facultad de Ciencias e por su ayuda en la publicacin de este trabajo. Finalmente doy las gracias o por todos los comentarios que he recibido por parte de alumnos y profesores para mejorar este material. Hasta donde humanamente me sea posible mantendr una versin digital actualizada de este libro en la pgina web e o a http://www.matematicas.unam.mx/lars . Luis Rincn o Enero 2012 Ciudad Universitaria, UNAM lars@fciencias.unam.mx
Contenido
1. Ideas preliminares 1.1. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6
2. Caminatas aleatorias 7 2.1. Caminatas aleatorias . . . . . . . . . . . . . . . . . . . . . . . 7 2.2. El problema del jugador . . . . . . . . . . . . . . . . . . . . . 16 2.3. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3. Cadenas de Markov 3.1. Propiedad de Markov . . . . . . . 3.2. Ejemplos . . . . . . . . . . . . . . 3.3. Ecuacin de Chapman-Kolmogorov o 3.4. Comunicacin . . . . . . . . . . . . o 3.5. Periodo . . . . . . . . . . . . . . . 3.6. Primeras visitas . . . . . . . . . . . 3.7. Recurrencia y transitoriedad . . . . 3.8. Tiempo medio de recurrencia . . . 3.9. Clases cerradas . . . . . . . . . . . 3.10. Nmero de visitas . . . . . . . . . u 3.11. Recurrencia positiva y nula . . . . 3.12. Evolucin de distribuciones . . . . o 3.13. Distribuciones estacionarias . . . . 3.14. Distribuciones l mite . . . . . . . . 3.15. Cadenas regulares . . . . . . . . . 3.16. Cadenas reversibles . . . . . . . . . 3.17. A. A. Markov . . . . . . . . . . . . iii 27 27 31 39 42 45 47 50 56 57 58 65 69 71 80 86 88 93
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
iv
Contenido 3.18. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4. El proceso de Poisson 4.1. Denicin . . . . . . . . . . . . . . o 4.2. Deniciones alternativas . . . . . . 4.3. Proceso de Poisson no homogneo e 4.4. Proceso de Poisson compuesto . . . 4.5. Proceso de Poisson mixto . . . . . 4.6. Ejercicios . . . . . . . . . . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
115 115 125 129 132 134 135 145 151 153 156 159 167 169 173 173 176 178 183 188 193 199 200 202 203 205 207 209 212 217 218 224
5. Cadenas de Markov a tiempo continuo 5.1. Probabilidades de transicin . . . . . . . o 5.2. El generador innitesimal . . . . . . . . 5.3. Ecuaciones de Kolmogorov . . . . . . . . 5.4. Procesos de nacimiento y muerte . . . . 5.5. Conceptos y propiedades varias . . . . . 5.6. Ejercicios . . . . . . . . . . . . . . . . . 6. Procesos de renovacin y conabilidad o 6.1. Procesos de renovacin . . . . . . . . . o 6.2. Funcin y ecuacin de renovacin . . . o o o 6.3. Tiempos de vida . . . . . . . . . . . . 6.4. Teoremas de renovacin . . . . . . . . o 6.5. Conabilidad . . . . . . . . . . . . . . 6.6. Ejercicios . . . . . . . . . . . . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
7. Martingalas 7.1. Filtraciones . . . . . . . . . . . . . . . . 7.2. Tiempos de paro . . . . . . . . . . . . . 7.3. Martingalas . . . . . . . . . . . . . . . . 7.4. Ejemplos . . . . . . . . . . . . . . . . . 7.5. Procesos detenidos . . . . . . . . . . . . 7.6. Una aplicacin: estrategias de juego . . o 7.7. Teorema de paro opcional y aplicaciones 7.8. Algunas desigualdades . . . . . . . . . . 7.9. Convergencia de martingalas . . . . . . 7.10. Representacin de martingalas . . . . . o
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
Contenido
7.11. J. L. Doob . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 7.12. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 8. Movimiento Browniano 8.1. Denicin . . . . . . . . . . . . . . . . . . o 8.2. Propiedades bsicas . . . . . . . . . . . . a 8.3. Propiedades de las trayectorias . . . . . . 8.4. Movimiento Browniano multidimensional 8.5. El principio de reexin . . . . . . . . . . o 8.6. Recurrencia y transitoriedad . . . . . . . . 8.7. N. Wiener . . . . . . . . . . . . . . . . . . 8.8. P. P. L`vy . . . . . . . . . . . . . . . . . . e 8.9. Ejercicios . . . . . . . . . . . . . . . . . . 9. Clculo estocstico a a 9.1. Integracin estocstica . . . . . . . . o a 9.2. Frmula de It . . . . . . . . . . . . o o 9.3. Ecuaciones diferenciales estocsticas a 9.4. Simulacin . . . . . . . . . . . . . . . o 9.5. Algunos modelos particulares . . . . 9.6. Ejercicios . . . . . . . . . . . . . . . Apndice: conceptos y resultados varios e Bibliograf a Indice anal tico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 240 244 248 252 255 256 263 264 265
273 . 273 . 286 . 289 . 293 . 294 . 304 307 315 318
vi
Contenido
Cap tulo 1
Ideas preliminares
Considere un sistema que puede caracterizarse por estar en cualquiera de un conjunto de estados previamente especicado. Suponga que el sistema evoluciona o cambia de un estado a otro a lo largo del tiempo de acuerdo con una cierta ley de movimiento, y sea Xt el estado del sistema al tiempo t. Si se considera que la forma en la que el sistema evoluciona no es determinista, sino provocada por algn mecanismo azaroso, entonces puede considerarse u que Xt es una variable aleatoria para cada valor del ndice t. Esta coleccin o de variables aleatorias es la denicin de proceso estocstico, y sirve como o a modelo para representar la evolucin aleatoria de un sistema a lo largo del o tiempo. En general, las variables aleatorias que conforman un proceso no son independientes entre s sino que estn relacionadas unas con otras de , a alguna manera particular. Las distintas formas en que pueden darse estas dependencias es una de las caracter sticas que distingue a unos procesos de otros. Ms precisamente, la denicin de proceso estocstico toma como a o a base un espacio de probabilidad , F , P y puede enunciarse de la siguiente forma. Denicin 1.1 Un proceso estocstico es una coleccin de variables aleatoo a o rias Xt : t T parametrizada por un conjunto T , llamado espacio parametral, en donde las variables toman valores en un conjunto S llamado espacio de estados. En los casos ms sencillos se toma como espacio parametral el conjunto a 0, 1, 2, . . . y estos nmeros se interpretan como tiempos. En u discreto T 1
1. Ideas preliminares
este caso se dice que el proceso es a tiempo discreto, y en general este tipo de procesos se denotar por Xn : n 0, 1, . . ., o expl a citamente, X0 , X1 , X2 , . . . as para cada n, Xn es el valor del proceso o estado del sistema al tiempo n. , Este modelo corresponde a un vector aleatorio de dimensin innita. Vase o e la Figura 1.1.
Xn X5 X3 X1 X0 n 1 2 X2 3 4 5 X4
Figura 1.1
El espacio parametral puede tambin tomarse como el conjunto continuo e 0, . Se dice entonces que el proceso es a tiempo continuo, y se T denotar por a Xt : t 0. Por lo tanto, seguiremos la convencin de que si el sub o ndice es n, entonces los tiempos son discretos, y si el sub ndice es t, el tiempo se mide de manera continua. Los posibles espacios de estados que consideraremos son subconjuntos de Z, y un poco ms generalmente tomaremos como espacio de estaa dos el conjunto de nmeros reales R, aunque en algunos pocos casos tamu bin consideraremos a Zn o Rn . Naturalmente, espacios ms generales son e a posibles, tanto para el espacio parametral como para el espacio de estados. En particular, para poder hablar de variables aleatorias con valores en el espacio de estados S, es necesario asociar a este conjunto una -lgebra. a
Xt
Xt2 Xt1 Xt3 t t1 t2 t3
Figura 1.2
Considerando que S es un subconjunto de R, puede tomarse la -lgebra a de Borel de R restringida a S, es decir, S B R. Un proceso estocstico, tambin llamado proceso aleatorio, puede considea e rarse como una funcin de dos variables o X:T
tal que a la pareja t, se le asocia el valor o estado X t, , lo cual tambin puede escribirse como Xt . Para cada valor de t en T , el mapeo e Xt es una variable aleatoria, mientras que para cada en jo, Xt es llamada una trayectoria o realizacin del proceso. o la funcin t o Es decir, a cada del espacio muestral le corresponde una trayectoria del proceso. Es por ello que a veces se dene un proceso estocstico como una a funcin aleatoria. Una de tales trayectorias t o picas que adems cuenta con a la propiedad de ser continua se muestra en la Figura 1.2, y corresponde a una trayectoria de un movimiento Browniano, proceso que deniremos y estudiaremos ms adelante. a o Si A es un conjunto de estados, el evento Xn A corresponde a la situacin en donde al tiempo n el proceso toma algn valor dentro del conjunto A. En u particular, Xn x es el evento en donde al tiempo n el proceso se encuentra en el estado x. Considerando distintos tiempos, estaremos interesados
en eventos de la forma Xn1 x1 , Xn2 x2 , . . . , Xnk xk . Los diferentes tipos de procesos estocsticos se obtienen al considerar las a distintas posibilidades para el espacio parametral, el espacio de estados, las caracter sticas de las trayectorias, y principalmente las relaciones de dependencia entre las variables aleatorias que conforman el proceso. Los siguientes son algunos ejemplos generales de procesos estocsticos. Estos son a procesos que cumplen una cierta propiedad particular, no necesariamente excluyentes unas de otras. A lo largo del texto estudiaremos y deniremos con mayor precisin algunos de estos tipos de procesos. o Proceso de ensayos independientes El proceso a tiempo discreto Xn : n 0, 1, . . . puede estar constituido por variables aleatorias independientes. Este modelo representa una sucesin de o ensayos independientes de un mismo experimento aleatorio, por ejemplo, lanzar un dado o una moneda repetidas veces. El resultado u observacin o del proceso en un momento cualquiera es, por lo tanto, independiente de cualquier otra observacin pasada o futura del proceso. o Procesos de Markov Estos tipos de procesos son modelos en donde, suponiendo conocido el estado presente del sistema, los estados anteriores no tienen inuencia en los estados futuros del sistema. Esta condicin se llama propiedad de Markov y puede o expresarse de la siguiente forma: para cualesquiera estados x0 , x1 , . . . , xn1 (pasado), xn (presente), xn1 (futuro), se cumple la igualdad P Xn1 xn1 X0 x0 , . . . , Xn xn P Xn1 xn1 Xn xn .
De esta forma la probabilidad del evento futuro Xn1 xn1 slo deo pende el evento Xn xn , mientras que la informacin correspondiente o x0 , . . . , Xn1 xn1 es irrelevante. Los proceal evento pasado X0 sos de Markov han sido estudiados extensamente y existe un gran nmero u de sistemas que surgen en muy diversas disciplinas del conocimiento para los cuales el modelo de proceso estocstico y la propiedad de Markov son a razonables. En particular, los sistemas dinmicos deterministas dados por a una ecuacin diferencial pueden considerarse procesos de Markov, pues su o evolucin futura queda determinada por la posicin inicial del sistema y la o o ley de movimiento especicada.
5 Procesos con incrementos independientes Se dice que un proceso estocstico a tiempo continuo Xt : t a 0 tiene incrementos independientes si para cualesquiera tiempos 0 t1 t2 tn , las variables Xt1 , Xt2 Xt1 , . . . , Xtn Xtn1 son independientes. Esto quiere decir que los desplazamientos que tiene el proceso en estos intervalos disjuntos de tiempo son independientes unos de otros. Procesos estacionarios 0 es Se dice que un proceso estocstico a tiempo continuo Xt : t a estacionario en el sentido estricto si para cualesquiera tiempos t1 , . . . , tn , la distribucin del vector Xt1 , . . . , Xtn es la misma que la del vector o Xt1 h, . . . , Xtn h para cualquier valor de h 0. En particular, la distribucin de Xt es la misma que la de Xth para cualquier h 0. o Procesos con incrementos estacionarios Se dice que un proceso estocstico a tiempo continuo Xt : t 0 tiene ina crementos estacionarios si para cualesquiera tiempos s t, y para cualquier h 0, las variables Xth Xsh y Xt Xs tienen la misma distribucin de o probabilidad. Es decir, el incremento que tiene el proceso entre los tiempos s y t slo depende de estos tiempos a travs de la diferencia t s, y no de o e los valores espec cos de s y t. Martingalas Una martingala a tiempo discreto es, en trminos generales, un proceso e Xn : n 0, 1, . . . que cumple la condicin o E Xn1 X0 x0 , . . . , Xn xn xn . (1.1)
En palabras, esta igualdad signica que el valor promedio del proceso al tiempo futuro n 1 es el valor del proceso en su ultimo momento observado, es decir, xn . Esto es, se trata de una ley de movimiento aleatorio que es equilibrada o simtrica, pues en promedio el sistema no cambia del ultimo e momento observado. A estos procesos tambin se les conoce como procee sos de juegos justos, pues si se considera una sucesin innita de apuestas o sucesivas y si Xn denota el capital de uno de los jugadores al tiempo n, entonces la propiedad de martingala (1.1) establece que el juego es justo pues en promedio el jugador no pierde ni gana en cada apuesta.
Procesos de L`vy e Se dice que un proceso estocstico a tiempo continuo Xt : t a 0 es un proceso de L`vy si sus incrementos son independientes y estacionarios. Ms e a adelante veremos que tanto el proceso de Poisson como el movimiento Browniano son ejemplos de este tipo de procesos. Procesos Gausianos 0 es un Se dice que un proceso estocstico a tiempo continuo Xt : t a proceso Gausiano si para cualesquiera coleccin nita de tiempos t1 , . . . , tn , o o el vector Xt1 , . . . , Xtn tiene distribucin normal o Gausiana multivariada. Nuevamente, el movimiento Browniano es un ejemplo de este tipo de procesos. En el presente texto el lector encontrar una descripcin introductoria a a o algunos de estos tipos de procesos y varios resultados elementales al respecto.
1.1.
Ejercicios
1. Sean X0 , X1 , . . . los resultados de una sucesin de ensayos indepeno dientes Bernoulli. Determine si el proceso Xn : n 0, 1, . . . a) b) c) d) tiene incrementos independientes. tiene incrementos estacionarios. es una martingala. cumple la propiedad de Markov. 0
2. Sea X una variable aleatoria con distribucin Berp. Para cada t o dena la variable Xt cos t sin t si X si X 0, 1. 0.
3. Demuestre que todo proceso a tiempo discreto Xn : n 0, 1, . . . con incrementos independientes cumple la propiedad de Markov.
a) Dibuje todas las trayectorias del proceso Xt : t b) Calcule la distribucin de Xt . o c) Calcule E Xt .
Cap tulo 2
Caminatas aleatorias
En este cap tulo se presenta una introduccin breve al tema de caminatas o aleatorias en una dimensin. Encontraremos la distribucin de probabilidad o o de la posicin de una part o cula que efecta una caminata aleatoria en Z, u y la probabilidad de retorno a la posicin de origen. Se plantea y resuelve o despus el problema de la ruina del jugador, y se analizan algunos aspectos e de la solucin. o
2.1.
Una caminata aleatoria simple sobre el conjunto de nmeros enteros Z es u un proceso estocstico a tiempo discreto Xn : n 0, 1, . . . que evoluciona a como se muestra en la Figura 2.1. Es decir, iniciando en el estado 0, al siguiente tiempo el proceso puede pasar q p al estado 1 con probabilidad p, o al estado 1 con probabilidad q, en 2 1 0 1 2 donde p q 1. Se usa la misma regla para los siguientes tiempos, es decir, Figura 2.1 pasa al estado de la derecha con probabilidad p, o al estado de la izquierda con probabilidad q. El valor de Xn es el estado del proceso al tiempo n. Este proceso cambia de un estado a otro en dos tiempos consecutivos de acuerdo con las probabilidades de transicin que se muestran en la Figuo 7
2. Caminatas aleatorias
ra 2.1, vlidas para cualquier n 0, y para cualesquiera enteros i y j. Estas a probabilidades se pueden escribir de la forma siguiente: P Xn1 i
p si j
j Xn
i 1, q si j i 1, 0 otro caso.
Como estas probabilidades no dependen de n, se dice que son homogneas e en el tiempo, es decir, son las mismas para cualquier valor de n. A partir de estas consideraciones, es intuitivamente claro que este proceso cumple la propiedad de Markov, Xn es decir, el estado futuro del proceso depende unicamente del esta do presente y no de los estados previamente visitados. Una posible n trayectoria de este proceso se muestra en la Figura 2.2. Una caminata aleatoria puede tambin denirse e de la forma siguiente: sea 1 , 2 , . . . Figura 2.2 una sucesin de variables aleatorias o independientes e idnticamente dise tribuidas. Por la idntica distribucin denotaremos a cualquiera de ellas e o 1 p y mediante la letra sin sub ndice. Supondremos que P P 1 q, en donde, como antes, p q 1. Entonces para n 1 se dene Xn : X0 1 n . 0. Nos interesa enconSin prdida de generalidad supondremos que X0 e trar algunas propiedades de la variable Xn , y de su comportamiento como funcin de n. Por ejemplo, a partir de la expresin anterior, es inmediato o o encontrar su esperanza y varianza. Proposicin 2.1 Para cualquier entero n o 1. E Xn 2. VarXn np q . 4npq. 0,
2.1. Caminatas aleatorias Demostracin. o Para la esperanza tenemos que: E Xn

n i 1
E i
n E
np q . p
Por otro lado, como E 2 pq 1 y E Var 1 p q 2 4pq. Por lo tanto, VarXn

n i 1
q,
se tiene que
Vari
n Var
4npq.
Analicemos estas dos primeras frmulas. Si p o q, es decir, si la caminata toma pasos a la derecha con mayor probabilidad, entonces el estado promedio despus de n pasos es un nmero positivo, es decir, su compore u tamiento promedio es tender hacia la derecha, lo cual es intuitivamente claro. Anlogamente, si p q, entonces el estado nal promedio de la caa minata despus de n pasos es un nmero negativo, es decir, en promedio la e u caminata tiende a moverse hacia la izquierda. En ambos casos la varianza crece conforme el nmero de pasos n crece, eso indica que mientras mayor u es el nmero de pasos que se dan, mayor es la incertidumbre acerca de la u e posicin nal del proceso. Cuando p q se dice que la caminata es asimtrio e ca. Cuando p q 12 se dice que la caminata es simtrica, y en promedio el proceso se queda en su estado inicial, pues E Xn 0, sin embargo, para tal valor de p la varianza es VarXn n, y es sencillo demostrar que ese valor es el mximo de la expresin 4npq, para p 0, 1. a o Probabilidades de transicin o Como hemos supuesto que la caminata inicia en cero, es intuitivamente claro que despus de efectuar un nmero par de pasos el proceso slo puede e u o terminar en una posicin par, y si se efectan un nmero impar de pasos la o u u posicin nal slo puede ser un nmero impar. Adems, es claro que despus o o u a e de efectuar n pasos, la caminata slo puede llegar a una distancia mxima o a de n unidades, a la izquierda o a la derecha. Teniendo esto en mente, en el siguiente resultado se presenta la distribucin de probabilidad de la variable o Xn .
10
Proposicin 2.2 Para cualesquiera nmeros enteros x y n tales que n o u x n, y para el caso cuando x y n son ambos pares o ambos impares, P Xn x X0 0
1 1 n nx q 2 nx . 2 1 n x p 2
(2.1)
Para valores de x y n que no cumplen las condiciones indicadas la probabilidad en cuestin vale cero. o Demostracin. Suponga que se observa la posicin de la caminata deso o pus de efectuar n pasos. Sean Rn y Ln el nmero de pasos realizados hacia e u la derecha y hacia la izquierda, respectivamente. Entonces Xn Rn Ln , y adems n Rn Ln . Sumando estas dos ecuaciones y substituyendo la a n expresin Xn o i 1 i se obtiene Rn 1 n Xn 2
n 1 i 1
1 i.
Esta ecuacin es la identidad clave para obtener el resultado buscado. Obo serve que esta frmula arroja un valor entero para Rn cuando n y Xn son o ambos pares o ambos impares. Como las variables independientes i toman los valores 1 y 1 con probabilidades p y q respectivamente, entonces las 1 variables independientes 2 1 i toman los valores 1 y 0 con probabilidades p y q. Esto lleva a la conclusin de que la variable Rn tiene distribucin o o binomialn, p. Por lo tanto, para cualquier valor de x que cumpla las condiciones enunciadas se tiene que P Xn x X0 0 P Rn
1 2
n x
1 n x 2
1
p 2 nx q 2 nx .
1
En particular, cuando la caminata es simtrica, es decir, cuando p 12, y e con las mismas restricciones para n y x (n x n, ambos pares o ambos impares) se tiene la expresin o P Xn x X0 0
n 1 2 n x
1 . 2n
(2.2)
2.1. Caminatas aleatorias
11
Esta frmula puede tambin justicarse mediante argumentos de anlisis o e a n posibles trayectorias combinatorio de la siguiente forma: en total hay 2 que la caminata puede seguir al efectuar n pasos, todas ellas con la misma probabilidad de ocurrir debido a la simetr Ahora, cuntas de estas a. a 0, por ejemplo? Como se ha argumentado trayectorias terminan en x 1 u antes, el nmero de pasos a la derecha debe ser 2 n x, y el nmero de u trayectorias que cumplen la condicin es el nmero de formas en que los o u 1 2 n x pasos a la derecha pueden escogerse de los n pasos totales. La respuesta es entonces el cociente que aparece en (2.2). La frmula (2.1) puede o extenderse fcilmente al caso general de pasar de un estado cualquiera y a a otro estado x en n pasos, como se muestra a continuacin. o Proposicin 2.3 Si los nmeros n y x y son ambos pares o ambos imo u pares, entonces para n x y n, P Xn x X0 y
n 1 n x y 2
p 2 nxy q 2 nxy .
1 1
(2.3)
Para valores de la diferencia x y y el entero n que no cumplen las condiciones indicadas la probabilidad en cuestin vale cero. o Demostracin. Tenemos como hiptesis que X0 o o y. Consideremos el proceso Zn Xn y. Entonces Zn : n 0 es ahora una caminata aleatoria que inicia en cero como en el caso antes demostrado. El resultado enunciado se obtiene de la identidad P Xn x X0 y P Zn x y Zn 0.
Probabilidad de regreso a la posicin de origen o Nos plantearemos ahora el problema de encontrar la probabilidad de que una caminata aleatoria, que inicia en el origen, regrese eventualmente al 12, la punto de partida. Demostraremos que en el caso asimtrico, p e probabilidad de tal evento es estrictamente menor que 1, es decir, no es seguro que ello ocurra, pero en el caso simtrico, p e 12, se cumple que con probabilidad uno la caminata regresa eventualmente al origen. Para el
12
ultimo caso demostraremos adems que el nmero de pasos promedio para a u regresar al origen es, sin embargo, innito. La demostracin es un tanto o tcnica y hace uso de las funciones generadoras de probabilidad. Como este e cap tulo es introductorio, tal vez sea mejor recomendar al lector, cuando se trate de una primera lectura, omitir los detalles de esta demostracin. o Proposicin 2.4 Para una caminata aleatoria sobre Z, la probabilidad de o un eventual regreso al punto de partida es 1 pq 1 si p 1 si p q, q.
Es decir, slo en el caso simtrico, p q, se tiene la certeza de un eventual o e retorno, sin embargo el tiempo promedio de regreso en tal caso es innito. Demostracin. Para demostrar estas armaciones utilizaremos los sio guientes elementos: 0 denotaremos por pn a la probabilidad de que la a) Para cada n caminata se encuentre en el estado 0 al tiempo n, es decir, pn P Xn 0 X0 0. Esta probabilidad es distinta de cero slo cuando o n es un nmero par. Naturalmente p0 1. Denotaremos tambin por u e fk a la probabilidad de que la caminata visite el estado 0 por primera e e vez en el paso k 0. El uso de la letra f proviene el trmino en ingls rst. Por conveniencia se dene f0 0. Observe que en trminos e de las probabilidades fk , la probabilidad de que la caminata regrese eventualmente al origen es k 0 fk . Esta serie es convergente, pues se trata de la suma de probabilidades de eventos disjuntos, y por lo tanto a lo sumo vale uno. Demostraremos que en el caso simtrico e la suma vale uno. Recordemos nuevamente que los valores de fk son estrictamente positivos slo para valores pares de k distintos de cero. o b) No es dif comprobar que se cumple la siguiente igualdad cil pn
n k 0
fk pnk .
(2.4)
En esta expresin simplemente se descompone la probabilidad de reo greso al origen, pn , en las distintas posibilidades en donde se efecta u
2.1. Caminatas aleatorias
13
el primer regreso al origen. Este primero regreso puede darse en el paso 1, o en el paso 2, ..., o en el ultimo momento, el paso n. Des pus de efectuado el primer regreso se multiplica por la probabilidad e de regresar al origen en el nmero de pasos restantes. Observe que u el primer sumando es cero. Esta frmula ser demostrada ms adeo a a lante en el contexto de las cadenas de Markov, vase la frmula (3.2) e o en la pgina 49. Usaremos (2.4) para encontrar la funcin generadoa o ra de probabilidad de la coleccin de nmeros f0 , f1 , f2 , . . . , es decir, o u encontraremos que Gt
f k tk .
k 0
Multiplicando (2.4) por tn , sumando y cambiando el orden de las sumas se obtiene que
n 1
p n tn
fk pnk tn fk pnk tn
n k
n 1 k 0

k 0 n k
k 0
f k tk
n 0
pnk tnk
Gt Por lo tanto,
n 0
p n tn .
p n tn 1
Gt
n 0
p n tn .
(2.5)
o Para encontrar Gt se necesita encontrar una expresin para la suma que aparece en la ultima ecuacin, y que no es otra cosa sino la funcin o o generadora de los nmeros p0 , p1 , p2 , . . . Haremos esto a continuacin. u o c) Para el anlisis que sigue necesitamos recordar que para cualquier a nmero real a y para cualquier entero n, se tiene el coeciente binomial u

a n
aa 1 a n 1 . n!
(2.6)
14
2. Caminatas aleatorias Observe que en el numerador hay n factores. Este nmero es una u generalizacin del coeciente binomial usual y aparece en la siguiente o expansin binomial innita vlida para t o a 1,
1 t a

n 0
a n t . n
(2.7)
En particular y como una aplicacin de (2.6) se tiene que o 2n n 2n2n 12n 2 3 2 1 n! n! 2n n! 2n 12n 3 5 3 1 n! n! 2n 2n 2n 1 2n 3 2 2 5 3 1 n! 2 2 2 2n 2n 1 n 1 n 2 n 3 5 3 1 n! 2 2 2 2 12. 4n n (2.8)
d) Usando (2.7) y (2.8) podemos ahora encontrar una expresin cerrada o para la funcin generadora de la coleccin de nmeros p0 , p1 , p2 , . . . o o u
n 0
pn t
n 0
2n n n 2n p q t n
n 0
12 pnqnt2n 4 n
n 0
12 4pqt2 n
n (2.9)
1 4pqt2 12.
Gt 1 4pqt2 12 .
e) Substituyendo (2.9) en (2.5) se llega a la igualdad
1 4pqt212 1
2.1. Caminatas aleatorias De donde se obtiene nalmente Gt 1 1 4pqt2 12 .
15
(2.10)
Usando esta expresin podemos ahora calcular la probabilidad de un o eventual regreso al estado inicial. En efecto, por el lema de Abel,
n 0
fn
l Gt m
1
1 1 4pq 12
1 pq .
En el caso asimtrico, p 12, esta cantidad es estrictamente menor e a uno y por lo tanto no hay seguridad de que la caminata sea capaz de regresar al origen. En cambio, en el caso simtrico, p 12, esta e cantidad vale uno, es decir, con probabilidad uno la cadena aleatoria simtrica regresa eventualmente a su posicin de origen. Adems, el e o a tiempo promedio de regreso se obtiene derivando la funcin generadora o Gt 1 1 t2 12 , es decir,
n 0
n fn
l G t m
1
l m
1 t2
r q p 0 1 r
1 p s 1
1
(a) (b)
Figura 2.3 Puede considerarse tambin el caso de una caminata en donde sea posible e permanecer en el mismo estado despus de una unidad de tiempo. Esta e
16
situacin se ilustra en la Figura 2.3(a), en donde p, q y r son probabilidades o tales que p q r 1. Tambin pueden considerarse caminatas aleatorias e en Z2 como la que se muestra en la Figura 2.3(b), en donde p q r s 1, o ms generalmente en Zn o cualquier otro conjunto reticulado. Para estos a y otros modelos pueden plantearse diversas preguntas sobre el clculo de a probabilidades de los distintos eventos en caminatas aleatorias. Existe una amplia literatura sobre la teor y aplicaciones de las caminatas aleatorias, a el lector interesado en el tema puede consultar los textos sugeridos al nal del presente cap tulo. Ms adelante estudiaremos algunas otras propiedades a de las caminatas aleatorias en el contexto de las cadenas de Markov.
2.2.
El problema del jugador
En esta seccin consideraremos un ejemplo particular de una caminata o aleatoria puesta en el contexto de un juego de apuestas. Planteamiento del problema Suponga que un jugador A apuesta sucesivamente una unidad monetaria a un jugador B. Inicialmente el jugador A tiene k unidades y B tiene N k unidades, es decir, el capital conjunto entre los dos jugadores es de N unidades monetarias. En cada apuesta el jugador A tiene proXn babilidad de ganar p, y probaN bilidad de perder q 1 p, suponga adems que no hay ema pates. Sea Xn la fortuna del juk gador A al tiempo n. Entonces Xn : n 0, 1, . . . es una can minata aleatoria que inicia en el estado k y eventualmente puede Figura 2.4 terminar en el estado 0 cuando el jugador A ha perdido todo su capital, o bien, puede terminar en el estado N que corresponde a la situacin en donde el jugador A ha o ganado todo el capital. Este proceso es entonces una caminata aleatoria sobre el conjunto 0, 1, . . . , N , en donde los estados 0 y N son absorbentes,
2.2. El problema del jugador
17
pues una vez que la cadena llega a alguno de ellos, jams lo abandona. Una a posible trayectoria cuando la caminata se absorbe en el estado 0 se muestra en la Figura 2.4. Una de las preguntas que resolveremos para esta caminata es la siguiente: cul es la probabilidad de que eventualmente el jugador A a se arruine? Es decir, cul es la probabilidad de que la caminata se absorba a en el estado 0 y no en el estado N , u oscile entre estos dos estados? Este problema se conoce como el problema de la ruina del jugador, y encontraremos a continuacin su solucin. Como veremos, usando probabilidad o o condicional es posible transformar este problema en resolver una ecuacin o en diferencias. Solucin al problema o Sea el primer momento en el que la caminata visita alguno de los dos m n 0 : Xn 0 Xn N . Puede n o estados absorbentes, es decir, demostrarse que es una variable aleatoria y que es nita casi seguramente. La pregunta planteada se traduce en encontrar la probabilidad uk P X 0 X0 k.
Por el teorema de probabilidad total se obtiene la ecuacin en diferencias o uk p uk1 q uk1 , (2.11)
vlida para k 1, 2, . . . , N 1. La interpretacin intuitiva de esta identidad a o es sencilla: a partir del estado k se busca la probabilidad de ruina analizando lo que sucede en la siguiente apuesta. Se tienen dos casos: el jugador gana con probabilidad p y ahora se busca la probabilidad de ruina a partir del estado k 1, o bien el jugador pierde con probabilidad q y se busca la probabilidad de ruina ahora a partir del estado k 1. Las condiciones de o o frontera son u0 1 y uN 0. Esta ecuacin es una ecuacin en diferencias, lineal, de segundo orden y homognea. Puede encontrarse su solucin de e o la siguiente forma: multiplicando el lado izquierdo de (2.11) por p q y agrupando trminos se llega a la expresin equivalente e o uk1 uk
qp uk uk1.
(2.12)
Resolviendo iterativamente, las primeras k 1 ecuaciones se escriben de la
18 forma siguiente: u2 u1 u3 u2 uk uk1 . . .
qp u1 1 qp2 u1 1 qpk1 u1 1.
Hemos usado aqu la condicin de frontera u0 1. Conviene ahora denir o Sk 1 q p q pk pues al sumar las k 1 ecuaciones anteriores se obtiene uk u1 Sk1 1 u1 1. O bien, uk 1 Sk1 u1 1. (2.13)
De manera anloga pero ahora sumando todas las ecuaciones de (2.12) se a obtiene uN 1 SN 1 u1 1. Usando la segunda condicin de frontera o uN 0 se llega a u1 1 1SN 1 . Substituyendo en (2.13) y simplicando se llega a la solucin o Sk1 . uk 1 SN 1 Es necesario ahora distinguir los siguientes dos casos: 1 q p q p
k
Sk
1 1 q pk1 1 q p
si p si p 12, 12.
si p si p
12, 12.
Por lo tanto, uk
kN k N q p q p 1 q pN
(2.14)
En la Figura 2.5 se muestra la grca de la probabilidad uk como funcin a o e del parmetro k para varios valores de p y con N 50. En el caso simtrico a la solucin es la l o nea recta que une la probabilidad 1 con la probabilidad 0. Naturalmente la probabilidad de ruina decrece cuando el capital inicial k aumenta. En la seccin de ejercicios se sugiere otra forma de resolver la o ecuacin en diferencias (2.11). o
2.2. El problema del jugador
19
uk 1 p p p p k 10 20 30 40 50 0.01 0.2 0.35 0.5
p p p
0.65 0.8 0.99
Figura 2.5
Anlisis de la solucin a o Es interesante analizar la frmula (2.14) en sus varios aspectos. Por ejemplo, o para el caso simtrico p 12, es decir, cuando el juego es justo, la probae bilidad de ruina es muy cercana a 1 cuando k es muy pequeo comparado n con N . Esto sugiere que no conviene jugar esta serie de apuestas contra adversarios demasiado ricos, aun cuando el juego sea justo. Es tambin un e tanto inesperado observar que la probabilidad uk es muy sensible a los valores de p cercanos a 12. Esto puede apreciarse en la Figura 2.6. Cuando p es distante de 12 la probabilidad uk es casi constante, pero para valores de a p cercanos a 12 la probabilidad cambia rpidamente de un extremo a otro. Estas grcas fueron elaboradas tomando N 50. a Nmero esperado de apuestas antes de la ruina u Hemos comprobado en el ejercicio anterior que con probabilidad uno ocurre que eventualmente alguno de los dos jugadores se arruina. Es natural entonces plantearse el problema de encontrar el tiempo promedio que transcurre antes de observar la eventual ruina de alguna de las partes. Este nmero u de apuestas promedio antes de la ruina puede encontrarse expl citamente, y el mtodo que usaremos para encontrarlo es nuevamente el planteamiento e de una ecuacin en diferencias que resolveremos del modo mostrado antes. o Sea entonces mk el nmero esperado de apuesta antes de que termine el u juego, en donde el jugador A tiene un capital inicial de k unidades, y B tiene N k.
20
uk 1 1
uk 1
uk
5 1 2 1
25 12 1
45 12 1
Figura 2.6
Proposicin 2.5 El nmero esperado de apuestas antes de la ruina es o u

k N
mk
1 q p k k N 1 qpN qp 1
si p si p
q, q.
Demostracin. Condicionando sobre el resultado de la primera apuesta o se obtiene que mk satisface la ecuacin o mk 1 p mk1 q mk1 ,
vlida para k a 1, 2, . . . , N 1. Esta es una ecuacin en diferencias, de o segundo orden, lineal y no homognea. Las condiciones de frontera son ahora e e m0 0 y mN 0. Substituyendo p q mk por mk y agrupando trminos convenientemente la ecuacin anterior puede reescribirse del siguiente modo: o mk1 mk Recordando la notacin Sk o 1 q mk mk1 1 . p p (2.15)
qp qpk ,
y substituyendo
2.2. El problema del jugador iterativamente, las primeras k 1 ecuaciones son m2 m1 m3 m2 mk mk1 . . .
21
qp m1 1 S0, p
1 qp2 m1 p S1 ,
qpk1 m1 1 Sk2. p
0. Sumando todas
k 2 1 Si . p i 0
Aqu se ha hecho uso de la condicin de frontera m0 o estas ecuaciones se obtiene mk m1 Es decir, mk m1 Sk1 m1 Sk1 1
k 2 1 Si . p i 0 N 2 1 Si . p i 0
(2.16)
En particular, sumando todas las ecuaciones de (2.15) se obtiene mN m1 SN 1
Ahora se hace uso de la condicin mN o m1 Substituyendo en (2.16), mk 1 SN 1
0, y se obtiene
k 2 1 Si . p i 0
N 2 k 2 Sk1 1 1 Si Si . SN 1 p i 0 p i 0
(2.17)
Nuevamente se deben distinguir los siguientes dos casos: Sk 1 q p q p

k
1 1 q pk1 1 q p
si p si p
12, 12.
22
Substituyendo en (2.17) y simplicando, despus de algunos clculos se llega e a a la respuesta enunciada. La forma en la que mk cambia al mk variar el parmetro k se muestra a 625 en la Figura 2.7 cuando N 50. p 0.5 La duracin mxima promedio del o a juego se obtiene cuando el juego es 12, y ambos jugadores justo, p tienen el mismo capital inicial, es p 0.1 p 0.9 k decir, k N 2. Esto arroja un 10 20 30 40 50 promedio mximo de N 2N a N 2 N 22 apuestas antes del Figura 2.7 n del juego. En el caso ilustrado, la duracin mxima promedio del o a juego es de 5022 625 apuestas. Notas y referencias. El tema de caminatas aleatorias puede ser encontrado en la mayor de los textos sobre procesos estocsticos, ya sea de a a una manera expl cita o como un ejemplo importante de cadena de Markov. En particular el libro de Jones y Smith [15], y el de Basu [1] contienen un cap tulo completo sobre el tema. En el texto de Lawler [22] puede encontrarse una exposicin a nivel elemental sobre las caminatas aleatorias y la o ecuacin del calor, entre otros temas. Como lectura ms avanzada vase el o a e texto de Resnick [27] y el de Spitzer [32].
2.3.
Ejercicios
4. Propiedad de Markov. Demuestre que una caminata aleatoria simple Xn : n 0 sobre Z cumple la propiedad de Markov, es decir, demuestre que para cualquier valor natural de n y para cualesquiera enteros x0 , x1 , . . . , xn1 , la probabilidad P Xn1 coincide con P Xn1 xn1 X0 xn1 Xn x0 , . . . , Xn xn . xn
2.3. Ejercicios
23
5. Para una caminata aleatoria simple Xn : n 0 sobre Z demuestre que P Xn1 x p P Xn x 1 q P Xn x 1. 6. Una part cula realiza una caminata aleatoria simtrica sobre Z eme pezando en cero. Encuentre la probabilidad de que la part cula se encuentre nuevamente en el origen en el sexto paso. 7. Una part cula realiza una caminata aleatoria simtrica sobre Z eme pezando en cero. Cul es la probabilidad de que la part a cula regrese al estado cero por primera vez en el sexto paso? 8. Demuestre que la funcin generadora de momentos de la variable Xn o de la caminata aleatoria simple sobre Z es M t E etXn
pet qet n.
A partir de esta expresin encuentre nuevamente la esperanza y vao rianza de Xn . 9. Demuestre nuevamente la identidad (2.1) analizando ahora la variable Ln , es decir, demuestre primero las igualdades que aparecen abajo. Concluya que Ln tiene distribucin binomialn, q . A partir de o aqu obtenga (2.1). Ln 1 n Xn 2
n 1 1 i. 2 i 1
10. Demuestre que la probabilidad (2.1) es una funcin simtrica de x si, o e y slo si, la caminata es simtrica. La simetr de la probabilidad se o e a expresa de la forma siguiente P Xn x X0 0 P Xn
X0
0.
11. Primera visita a un estado dado. Considere una caminata aleatoria simple sobre Z que empieza en cero y tal que la probabilidad de pasar al estado de la derecha es p y la probabilidad de pasar al estado de 1 p. Sea n el primer momento en el que la la izquierda es q
24
2. Caminatas aleatorias caminata visita el estado n 1. Usando anlisis del primer paso (es a decir, condicionando sobre si el primer paso se efecta a la izquierda u o a la derecha) demuestre que P n
pqn
1
si p si p
12, 12.
(2.18)
En particular, la probabilidad de que la caminata se mantenga siempre en el conjunto . . . , 1, 0, 1, . . . , n1 es 1pq n en el caso p 12, y con probabilidad uno llegar al estado n en el caso p 12. Generalice a la frmula (2.18) en el caso cuando el estado inicial es m, menor o o mayor a n. 12. Un algoritmo aleatorio de bsqueda del estado cero opera del siguiente u modo: si se encuentra en el estado k en algn momento, entonces el u estado del algoritmo al siguiente paso es aleatorio con distribucin o uniforme en el conjunto 0, 1, . . . , k 1. Encuentre el nmero esperado u de pasos en los que el algoritmo alcanza el estado cero cuando inicia en el estado k. 13. Recurrencia. Sea Xn : n 0 una caminata aleatoria simple sobre Z que inicia en X0 0. Sea fij la probabilidad de que eventualmente la caminata visite el estado j a partir del estado i, es decir, fij P Xn j para alguna n 1 X0 i.
Lleve a cabo cada uno de los siguientes pasos para encontrar nuevamente la probabilidad de un eventual retorno a la posicin de origen o f00 . a) Demuestre que f1,1 f1,0 f01
2 f01 .
b) Condicionando sobre el primer paso de la caminada, demuestre que f00 pf10 q f1,0 pf10 q f01 . c) Usando la misma tcnica que en el inciso anterior demuestre que e 2 . f01 p q f01 d) Resuelva la ecuacin cuadrtica del inciso anterior y obtenga las o a dos ra ces f01 1, pq.
2.3. Ejercicios e) De manera anloga obtenga f10 a 1, q p.
25
f) Analice los casos p q y p q por separado para encontrar que f00 2q y f00 2p, respectivamente. Concluya que f00 2 m p, q n 1 pq .
El problema de la ruina del jugador 14. Ecuacin en diferencias. Siguiendo la notacin usada en el probleo o ma de la ruina del jugador, demuestre la validez de la ecuacin en o diferencias que aparece abajo, para k 1, 2, . . . , N 1. uk p uk1 q uk1 .
15. Para resolver el problema del jugador se requiere resolver la ecuacin o en diferencias uk p uk1 q uk1 . Resuelva nuevamente esta ecuacin o siguiendo los siguientes pasos sugeridos en [16]: a) Proponga la solucin uk a mk , con a y m constantes distintas o de cero, y que encontraremos a continuacin. o b) Substituya la solucin propuesta en la ecuacin en diferencias y o o 2 mq 0. Esta ecuacin o encuentre la ecuacin cuadrtica pm o a se conoce como la ecuacin caracter o stica de la ecuacin en difeo rencias. q, esta ecuacin cuadrtica tiene dos o a c) Suponiendo el caso p soluciones distintas: m1 1 y m2 q p. Dada la linealidad de la ecuacin en diferencias, la solucin general puede escribirse como o o uk a1 mk a2 mk a1 a2 q pk . 1 2 0 para encontrar d) Use las condiciones de frontera u0 1 y uN los valores de las constantes a1 y a2 , y obtener nuevamente la solucin (2.14). o q la ecuacin caracter o stica tiene una unica ra z: e) Cuando p m1 1. Como segundo valor para m se propone k veces el valor k. Proceda como en el de la primera solucin, es decir, m2 o inciso anterior para encontrar (2.14) en este caso.
26
16. Probabilidad de ruina del segundo jugador. Si el juego se considera desde el punto de vista del jugador B, entonces se trata de la misma caminata aleatoria slo que ahora el capital inicial es N k y la proo babilidad de ganar en cada apuesta es q. Substituya estos parmetros a en la solucin (2.14) y compruebe que la probabilidad de ruina del juo a gador B, denotada por vN k , es la que aparece abajo. Verique adems que uk vN k 1, es decir, la probabilidad de que eventualmente el juego termine con la ruina de alguno de los jugadores es uno. vN k
k N
qpk 1 qpN 1
si q si q
12, 12.
17. Siguiendo la notacin usada para encontrar el nmero esperado de o u apuestas antes de la ruina en el problema del jugador, demuestre la siguiente igualdad vlida para k 1, 2, . . . , N 1. a mk 1 p mk1 q mk1 .
18. Considere el problema de la ruina del jugador permitiendo ahora que existan empates en cada una de las apuestas. Las probabilidades de ganar, perder o empatar para el jugador A son p, q y r, respectivamente, con p q r 1. Demuestre que la probabilidad de ruina para el jugador A sigue siendo la misma expresin (2.14). Es decir, la posio bilidad de empate en cada apuesta extiende posiblemente la duracin o del juego pero no modica las probabilidades de ruina. 19. Demuestre que la duracin promedio del juego en el problema de la o ruina del jugador es siempre menor o igual a N 22 , es decir, para cada k 1, . . . , N , se cumple que mk N 22 , tanto en el caso simtrico como en el no simtrico. e e
Cap tulo 3
Cadenas de Markov
Las cadenas de Markov fueron introducidas por el matemtico ruso Andrey Markov alrededor de a 1905. Su intencin era crear un modelo probao bil stico para analizar la frecuencia con la que aparecen las vocales en poemas y textos literarios. El xito del modelo propuesto por Mare kov radica en que es lo sucientemente complejo como para describir ciertas caracter sticas no triviales de algunos sistemas, pero al misAndrey Markov mo tiempo es lo sucientemente sencillo para (Rusia, 1856-1922) ser analizado matemticamente. Las cadenas de a Markov pueden aplicarse a una amplia gama de fenmenos cient o cos y sociales, y se cuenta con una teor matemtica exa a tensa al respecto. En este cap tulo presentaremos una introduccin a algunos o aspectos bsicos de este modelo. a
3.1.
Propiedad de Markov
Vamos a considerar procesos estocsticos a tiempo discreto Xn : n 0 que a cumplen la propiedad de Markov. Para describir a esta propiedad y varias de sus condiciones equivalentes de una manera simple, a la probabilidad P Xn xn se le escribir como pxn , es decir, el sub a ndice indica tambin e la variable a la que se hace referencia. El signicado de la probabilidad 27
28
3. Cadenas de Markov
condicional pxn1 xn es anlogo. Hacemos nfasis en que esta notacin a e o ayuda a escribir la propiedad de Markov y sus equivalencias de una manera simple y clara. Ms adelante retomaremos la notacin que se usa de manera a o estndar para estas probabilidades. a Denicin 3.1 Una cadena de Markov es un proceso estocstico a tiempo o a discreto Xn : n 0, 1, . . . , con espacio de estados discreto, y que satis0, y para face la propiedad de Markov, esto es, para cualquier entero n cualesquiera estados x0 , . . . , xn1 , se cumple pxn1 x0 , . . . , xn pxn1 xn . (3.1)
Si al tiempo n 1 se le considera como un tiempo futuro, al tiempo n como el presente y a los tiempos 0, 1, . . . , n 1 como el pasado, entonces la condicin (3.1) establece que la distribucin de probabilidad del estado del o o proceso al tiempo futuro n 1 depende unicamente del estado del proceso al tiempo n, y no depende de los estados en los tiempos pasados 0, 1, . . . , n 1. Existen otras formas equivalentes de expresar esta propiedad, algunas de ellas se encuentran enunciadas en la seccin de ejercicios. Por ejemplo, es o posible demostrar que la condicin (3.1) es equivalente a poder calcular la o distribucin conjunta de las variables X0 , X1 , . . . , Xn de la siguiente forma: o px0 , x1 , . . . , xn px0 px1 x0 pxn xn1 .
Sin prdida de generalidad tomaremos como espacio de estados de una cae dena de Markov al conjunto discreto 0, 1, 2, . . . , o cualquier subconjunto nito que conste de los primeros elementos de este conjunto. Cuando el espacio de estados de una cadena de Markov es un conjunto nito se dice que la cadena es nita. Probabilidades de transicin o Sean i y j dos estados de una cadena de Markov. A la probabilidad P Xn1 j Xn i
se le denota por pij n, n 1, y representa la probabilidad de transicin del o estado i en el tiempo n, al estado j en el tiempo n 1. Estas probabilidades se conocen como las probabilidades de transicin en un paso. Cuando los o
3.1. Propiedad de Markov
29
nmeros pij n, n1 no dependen de n se dice que la cadena es estacionaria u u homognea en el tiempo. Por simplicidad se asume tal situacin de modo que e o las probabilidades de transicin en un paso se escriben como pij . Variando o los ndices i y j, por ejemplo, sobre el conjunto de estados 0, 1, 2, . . . , se obtiene la matriz de probabilidades de transicin en un paso que aparece o en la Figura 3.1. La entrada i, j de esta matriz es la probabilidad de transicin pij , es decir, la probabilidad de pasar del estado i al estado j o en una unidad de tiempo. En general, al escribir estas matrices omitiremos escribir la identicacin de los estados en los renglones y columnas como o aparece en la Figura 3.1, tal identicacin ser evidente a partir de conocer o a el espacio de estados del proceso. El ndice i se reere al rengln de la matriz, o y el ndice j a la columna.
0
1 2
0 1 2 . . .
p00 p01 p02 p10 p11 p12 p20 p21 p22 . . . . . . . . . Figura 3.1
Proposicin 3.1 La matriz de probabilidades de transicin P o o ple las siguientes dos propiedades. a) pij b)
pij cum-
0. pij 1.
Demostracin. La primera condicin es evidente a partir del hecho de que o o estos nmeros son probabilidades. Para la segunda propiedad observamos u primero que se cumple la descomposicin disjunta: o
j
X1
j .
Por lo tanto, para cualquiera estados i y j,
30
P
j
X1
j X0
P X1
j X0
pij .
Esto ultimo signica que a partir de cualquier estado i con probabilidad uno la cadena pasa necesariamente a algn elemento del espacio de estados al u siguiente momento. En general toda matriz cuadrada que cumpla estas dos propiedades se dice que es una matriz estocstica. Debido a la propiedad a de Markov, esta matriz captura la esencia del proceso y determina el comportamiento de la cadena en cualquier tiempo futuro. Si adems la matriz a 1, es decir, cuando la suma por columnas satisface la condicin i pij o tambin es uno, entonces se dice que es doblemente estocstica. e a Distribucin de probabilidad inicial o En general puede considerarse que una cadena de Markov inicia su evolucin o partiendo de un estado i cualquiera, o ms generalmente considerando una a distribucin de probabilidad inicial sobre el espacio de estados. Una distribuo cin inicial para una cadena de Markov con espacio de estados 0, 1, 2, . . . es o simplemente una distribucin de probabilidad sobre este conjunto, es decir, o es una coleccin de nmeros p0 , p1 , p2 . . . que son no negativos y que suman o u uno. El nmero pi corresponde a la probabilidad de que la cadena inicie en u el estado i. En general, la distribucin inicial juega un papel secundario en o el estudio de las cadenas de Markov. Existencia Hemos mencionado que la propiedad de Markov (3.1) es equivalente a la px0 px1 x0 pxn xn1 . Esta identidad igualdad px0 , x1 , . . . , xn establece que las distribuciones conjuntas px0 , x1 , . . . , xn se encuentran completamente especicadas por la matriz de probabilidades de transicin o y por una distribucin inicial. En el texto de Chung [5] puede encontrarse o una demostracin del hecho de que dada una matriz estocstica y una diso a tribucin de probabilidad inicial, existe un espacio de probabilidad y una o cadena de Markov con matriz de probabilidades de transicin y distribucin o o inicial las especicadas. Es por ello que a la matriz misma se le llama a veces cadena de Markov.
3.2. Ejemplos
31
Probabilidades de transicin en n pasos o La probabilidad P Xnm j Xm i corresponde a la probabilidad de pasar del estado i al tiempo m, al estado j al tiempo m n. Dado que hemos supuesto la condicin de homogeneidad en el tiempo, esta probabilidad no o depende realmente de m, por lo tanto coincide con P Xn j X0 i, y se n e le denota por pij n. A esta probabilidad tambin se le denota por pij , en donde el nmero de pasos n se escribe entre parntesis para distinguirlo de u e algn posible exponente, y se le llama probabilidad de transicin en n pasos. u o Usaremos ambas notaciones a conveniencia. Haciendo variar i y j se obtiene la matriz de probabilidades de transicin en n pasos que denotaremos por o P n o P n : p00 n p01 n P n p10 n p11 n . . . . . . . Cuando el nmero de pasos n es uno, simplemente se omite su escritura en u estas probabilidades de transicin, a menos que se quiera hacer nfasis en o e o ello. Adems, cuando n 0 es natural denir pij 0 como la funcin delta a de Kronecker: 0 si i j, pij 0 ij 1 si i j. Es decir, despus de realizar cero pasos la cadena no puede estar en otro e lugar mas que en su estado de partida. Para algunas pocas cadenas de Markov encontraremos frmulas compactas para las probabilidades de transicin o o pij n. Estas probabilidades en general no son fciles de encontrar. a
3.2.
Ejemplos
Estudiaremos a continuacin algunos ejemplos particulares de cadenas de o Markov. Retomaremos ms adelante varios de estos ejemplos para ilustrar a otros conceptos y resultados generales de la teor de modo que nos referirea, mos a estos ejemplos por los nombres que indicaremos y, a menos que se diga lo contrario, usaremos la misma notacin e hiptesis que aqu se presentan. o o Cadena de dos estados Considere una cadena de Markov con espacio de estados 0, 1, y con matriz y diagrama de transicin como aparece en la Figura 3.2, en donde 0 a 1, o
32 y0 b 0 y p1
3. Cadenas de Markov 1. Suponga que la distribucin inicial est dada por p0 o a P X0 1.

a 1a 0 b 1 1b
P X0
0 1
1a a b 1b
Figura 3.2 Aunque de aspecto sencillo, esta cadena es susceptible de muchas aplicaciones pues es comn encontrar situaciones en donde se presenta siempre u la dualidad de ser o no ser, estar o no estar, tener o no tener, siempre en una constante alternancia entre un estado y el otro. Cuando a 1 b, las variables X1 , X2 , . . . son independientes e idnticamente distribuidas con e P Xn 0 1 a y P Xn 1 a, para cada n 1. Cuando a 1 b, a o Xn depende de Xn1 . Ms adelante daremos la solucin al problema no trivial de encontrar las probabilidades de transicin en n pasos. Estas proo babilidades son, para a b 0, P n
p00 n p01 n p10 n p11 n 1
ab
b a b a
1 a b ab
a b
a
b
Cadena de variables aleatorias independientes Sea 1 , 2 , . . . una sucesin de variables aleatorias independientes con valores o en el conjunto 0, 1, . . . , y con idntica distribucin dada por las probabie o lidades a0 , a1 , . . . Deniremos varias cadenas de Markov a partir de esta sucesin. o n . La sucesin Xn : n o 1 es una cadena de Markov a) Sea Xn con espacio de estados 0, 1, . . . , y con probabilidades de transicin o pij P Xn j Xn1 i P Xn j aj . Es decir, la matriz de
3.2. Ejemplos probabilidades de transicin es de la siguiente forma: o
33
a0 a1 a2 a0 a1 a2 . . . . . . . . .
Por la hiptesis de independencia, esta cadena tiene la cualidad de o poder pasar a un estado cualquiera siempre con la misma probabilidad en cualquier momento, sin importar el estado de partida. En consecuencia, para cualquiera estados i y j, y para cualquier entero o a n 1, las probabilidades de transicin en n pasos son fciles de calcular y estn dadas por pij n aj . Esta cadena puede modelar, por a ejemplo, una sucesin de lanzamientos independientes de una moneda. o b) Sea Xn mx 1 , . . . , n . La sucesin Xn : n 1 es una cadena a o de Markov con espacio de estados 0, 1, . . . y matriz

a0 a1 a2 a3 0 a0 a1 a2 a3 0 0 a0 a1 a2 a3 . . . . . . . . . . . .
c) Sea Xn 1 n . La sucesin Xn : n o 1 es una cadena de Markov con espacio de estados 0, 1, . . . y matriz

a0 a1 a2 0 a0 a1 0 0 a0 . . . . . . . . .
Cadena de rachas de xitos e Sea 1 , 2 , . . . una sucesin de ensayos independientes Bernoulli con probao u bilidad de xito p, y probabilidad de fracaso q 1 p. Sea Xn el nmero e de xitos consecutivos previos al tiempo n, incluyendo el tiempo n. Se dice e que una racha de xitos de longitud r ocurre al tiempo n si en el ensayo e n r se obtiene un fracaso y los resultados de los ensayos n r 1 al n son todos xitos. Grcamente esta situacin se ilustra en la Figura 3.3. e a o
34
r xitos e
F nr
E nr1
E n
Figura 3.3 La coleccin de variables aleatorias Xn : n o 1, 2, . . . es una cadena de o Markov con espacio de estados 0, 1, . . . . Las probabilidades de transicin y la matriz correspondiente se muestran en la Figura 3.4.
0 1
2 3
pij
q 0
si j si j
i 1, 0,
otro caso.
0 1 2 . . .
q p 0 0 q 0 p 0 q 0 0 p . . . . . . . . .
Figura 3.4 Las posibles transiciones de un estado a otro para esta cadena de Markov se pueden observar en la Figura 3.5. Cadena de la caminata aleatoria Una caminata aleatoria simple sobre el conjunto de nmeros enteros consu tituye una cadena de Markov con espacio de estados el conjunto Z, y con probabilidades de transicin o
p
si j
pij
q 0
si j i 1, otro caso,
i 1,
o a en donde p q 1. Hemos demostrado en la Proposicin 2.3 de la pgina 11 que las probabilidades de transicin en n pasos son las siguientes: si n y j i o
3.2. Ejemplos
35
0 p 1 q q 2 q 3 q r
Figura 3.5 es ambos pares o ambos impares con pij n
1 2
ji
n, entonces
n n j i
pnj i2 q nj i2 .
En otro caso pij n 0, excepto cuando n 0 e i j. Ms adelante a usaremos este modelo para ilustrar algunos conceptos generales de cadenas de Markov. Cadena del jugador El modelo usado para el problema del jugador estudiado en el segundo cap tulo es una caminata aleatoria sobre el conjunto de nmeros enteros u 0, 1, , . . . , N , en donde los estados 0 y N son absorbentes. Las probabilidades de transicin son como las de la caminata aleatoria simple slo o o que ahora p00 1 y pN N 1. Este proceso es otro ejemplo de cadena de Markov con espacio de estados nito. Hemos demostrado antes que con probabilidad uno la cadena eventualmente se absorbe en alguno de los dos estados absorbentes, hemos calculado la probabilidad de ruina, es decir, la probabilidad de que la absorcin se observe en el estado 0, y hemos adems o a encontrado el tiempo medio de absorcin. o Cadena de Ehrenfest Sean A y B dos urnas dentro de las cuales se encuentran distribuidas un total de N bolas de acuerdo a cierta conguracin inicial, por ejemplo, en o
36
la urna A hay i bolas y en la urna B hay N i bolas. En cada unidad de tiempo se escoge una bola al azar y se cambia de urna. Para tal efecto ... ... puede considerarse que las bolas se encuentran numeradas y que se esN i bolas i bolas coge un nmero al azar, se busca la u Urna A Urna B bola con ese nmero y se cambia de u urna. Vase la Figura 3.6. Sea Xn el e nmero de bolas en la urna A desu Figura 3.6 pus de n extracciones. Entonces la e 0, 1, . . . conscoleccin Xn : n o tituye una cadena de Markov con espacio de estados nito 0, 1, . . . , N . Es claro que a partir del estado i la cadena slo puede pasar al estadio i 1 o o al estado i 1 al siguiente momento, de modo que las probabilidades son a pi,i1 iN , y pi,i1 N iN , vlidas para i 1, 2, . . . , N 1. Naturalmente p01 1 y pN,N 1 1. En este caso se dice que los estados 0 y N son reejantes. La matriz de probabilidades de transicin aparece ms abao a jo. Este modelo fue propuesto por Ehrenfest para describir el intercambio aleatorio de molculas en dos regiones separadas por una membrana porosa. e La regin con mayor nmero de molculas tender a liberar mas molculas. o u e a e

0 1N 0 . . . 0 0
1 0 2N . . . 0 0
0 N 1N 0 . . . 0 0
0 0 N 2N . . . 0 0
0 0 0 . . . 1
. 0 1 N
0 0 0 . . . 0
Cadena de ramicacin o Considere una part cula u objeto que es capaz de generar otras part culas del mismo tipo al nal de un periodo establecido de tiempo. El conjunto de part culas iniciales constituye la generacin 0. Cada una de estas o part culas simultneamente y de manera independiente genera un nmero a u de descendientes dentro del conjunto 0, 1, . . . , y el total de estos descendientes pertenece a la generacin 1, stos a su vez son los progenitores de la o e
3.2. Ejemplos
37
generacin 2, y as sucesivamente. Una posible sucesin de generaciones se o o muestra en la Figura 3.7. El posible evento cuando una part cula no genera ningn descendiente se interpreta en el sentido de que la part u cula se ha muerto o extinguido.
Generacin o
0 1 2 3 4
Xn
1 2 3 3 2
Figura 3.7 Sea k la variable aleatoria que modela el nmero de descendientes de la u k-sima part e cula. Para cada n 0 dena Xn como el nmero de part u culas en la generacin n. Entonces Xn : n 0, 1, . . . es una cadena de Markov o con espacio de estados 0, 1, . . . y probabilidades de transicin pij P 1 o u i j , para i 1. Si en algn momento Xn 0, entonces se dice que la poblacin de part o culas se ha extinguido. Naturalmente el estado 0 es un estado absorbente. Este modelo ha sido usado para determinar la probabilidad de extincin de la descendencia de una persona. o Cadena de la la de espera Considere una cola o l nea de espera de clientes que solicitan algn tipo de u servicio de un servidor. Suponga que el sistema es observado en los tiempos discretos n 0, 1, . . ., y que la la funciona del siguiente modo: cuando hay algn cliente esperando servicio al inicio de un periodo, el cliente al u frente de la la es atendido terminando el servicio al nal del periodo. Naturalmente si no existiera ningn cliente en la la al inicio de algn periodo, u u entonces ningn cliente es atendido. Para cada entero n 1 dena n como u el nmero de nuevos clientes que se incorporan a la la durante el periodo u
38
n. Bajo ciertas condiciones es natural suponer que estas variables aleatorias son independientes, idnticamente distribuidas y con valores enteros no e negativos. Suponga que P n k ak , con ak 0 y a0 a1 1. Sea X0 el nmero de clientes iniciales, y para cada n 1 dena a Xn como u el nmero de clientes en la la al nal del periodo n. Las dos reglas de u operacin mencionadas se pueden escribir de la siguiente forma: o Xn1 n1 Xn n1 1 si Xn si Xn 0, 1.
Esto puede escribirse como Xn1 Xn 1 n1, en donde x mxx, 0. Por lo tanto, el proceso Xn : n a 0, 1, . . . es una cadena de o Markov con espacio de estados 0, 1, . . . y probabilidades de transicin pij Es decir, P

si i
0, 1.
j i 1 si i a0 a1 a0 a1 0 a0 0 0 . . . . . . a2 a2 a1 a0 . . .
Cadena de inventarios Suponga que se almacena un cierto nmero de bienes en una bodega, y que u se requiere una demanda aleatoria n del bien en el periodo n. Suponga que P n k ak , para k 0, 1, . . . con ak 0 y k ak 1, es decir, la distribucin de n es la misma para cualquier n. El nmero de bienes en el o u almacn es revisado al nal de cada periodo y se aplica la siguiente pol e tica de reabastecimiento: si al nal del periodo la cantidad del bien es menor o igual a un cierto nivel s, entonces se reabastece la bodega inmediatamente hasta un nivel mximo S. Si al nal del periodo el nmero de bienes es mayor a u a s, entonces no hay ningn reabastecimiento. Naturalmente s S. Sea Xn u el nmero de bienes al nal del periodo n y justo antes de aplicar la pol u tica de reabastecimiento. Entonces Xn : n 0 es una cadena de Markov con
3.3. Ecuacion de Chapman-Kolmogorov
39
espacio de estados . . . , 2, 1, 0, 1, 2, . . . , S . Se permiten valores negativos para Xn los cuales corresponden a demandas del bien no satisfechas en su momento pero que sern cubiertas en el siguiente reabastecimiento. El valor a de Xn1 en trminos de Xn se escribe de la forma siguiente: e Xn1 Xn n1 S n1 si s si Xn Xn s. S,
Las probabilidades de transicin para esta cadena son o pij P Xn1 j Xn i P n1 P n1 i j S j aij si s si i i s. S, aS j
La primera expresin corresponde al caso cuando no hay reabastecimiento, o la probabilidad de pasar de i a j es la probabilidad de que la demanda al nal e a de ese periodo sea de j i pues el nuevo nivel del almacn ser de i i j j. La segunda expresin corresponde al caso cuando hay reabastecimiento o y el nuevo nivel ser de S S j j, cuando la demanda sea S j. a
3.3.
Ecuacin de Chapman-Kolmogorov o
Esta ecuacin es una frmula seno o cilla y muy util que permite des k componer la probabilidad de pasar del estado i al estado j en n paj sos, en la suma de probabilidades de las trayectorias que van de i a i j, y que atraviesan por un estado k cualquiera en un tiempo intermer n dio r. Grcamente, las trayectoa rias que van del estado i al estado j Figura 3.8 en n pasos se descomponen como se muestra en la Figura 3.8. Para nes ilustrativos se dibujan las trayectorias de manera continua pero en realidad no lo son. La ecuacin de Chapman-Kolmogorov es importante para hacer o ciertos clculos y se usa con regularidad en el estudio de las cadenas de a Markov.
40
Proposicin 3.2 (Ecuacin de Chapman-Kolmogorov) Para cualquier o o par de nmeros enteros r y n tales que 0 r n, y para cualesquiera estau dos i y j se cumple pij n Demostracin. o Markov, pij n
pik r pkj n r .
Por el teorema de probabilidad total y la propiedad de P Xn

k

k k
P Xn P Xn
j X0 j, Xr
i k, X0
iP X0 k X0
i i
j Xr
k P Xr
pkj n r pik r .
En particular, la siguiente desigualdad ser utilizada ms adelante: para a a cualquier estado k y para 0 r n, se tiene que pij n pik r pkj n r .
Como una consecuencia importante de la ecuacin de Chapman-Kolmogorov o se tiene el siguiente resultado. Proposicin 3.3 La probabilidad de transicin en n pasos, pij n, est dao o a da por la entrada i, j de la n-sima potencia de la matriz P , es decir, e pij n
P nij .
Demostracin. Esta identidad es consecuencia de la ecuacin de Chapo o man-Kolmogorov aplicada n 1 veces. La suma que aparece abajo corresponde a la entrada i, j de la matriz resultante de multiplicar P consigo
3.3. Ecuacion de Chapman-Kolmogorov misma n veces. pij n

i1 ,i2 i1
41
pi,i1 1 pi1 ,j n 1 pi,i1 1 pi1 ,i2 1 pi2 ,j n 2
. . .
i1 ,...,in1 P n ij .
pi,i1 1 pi1 ,i2 1
pi ,j 1
n 1
En palabras este resultado establece que el dif problema de calcular las cil probabilidades de transicin en n pasos se transforma en obtener la n-sima o e potencia de la matriz de probabilidades de transicin en un paso, es decir, o
P n
p00 n p01 n p10 n p11 n . . . . . .
p00 p01 p10 p11 . . . . . .
P n.
Si se conoce esta matriz y si pi P X0 i es una distribucin inicial, o entonces la distribucin de la variable Xn es o P Xn j
pi pij n.
Cuando una matriz estocstica P es diagonalizable, es decir, cuando puede a ser escrita en la forma QDQ1 en donde D es una matriz diagonal, las potencias de P se calculan fcilmente, pues P n a QD n Q1 . Como D es n es la matriz con cada elemento de la diagonal elevado a la diagonal, D n-sima potencia. e Ejemplo 3.1 Consideremos nuevamente la cadena general de dos estados
1a a b 1b
42
Los eigenvalores de esta matriz estn dados por la ecuacin P I a o 0, y resultan ser 1 1 y 2 1 a b. Los correspondientes eigenvectores escritos como vectores rengln son 1, 1 y a, b, respectivamente. La mao triz Q est compuesta por los eigenvectores como columnas, y si se cumple a que a b 0, entonces es invertible, es decir,
1 1
a b
Q1
ab
b 1
a 1
La matriz D es la matriz diagonal que contiene a los dos eigenvalores. Puede entonces comprobarse la identidad P QDQ1 , es decir,
1a a b 1b
1 1
a b
1 0 0 1ab
ab
b 1
a 1
Por lo tanto, Pn Q D n Q1
1 1 1
a b
1 0
ab
b a b a
1 a bn a a . ab b b
0 1 a bn
b 1
a 1
1 ab
Este resultado fue mencionado cuando se present la cadena de Markov de o dos estados en la pgina 32. a Ejemplo 3.2 Toda matriz estocstica P con renglones idnticos es idema e potente, es decir, para cualquier entero n 1, se cumple que P n P . Este es el caso de la cadena de variables aleatorias independientes.
3.4.
Comunicacin o
Deniremos a continuacin el concepto de comunicacin entre dos estados o o de una cadena de Markov como la posibilidad de pasar de un estado a otro en algn nmero nito de transiciones. u u
3.4. Comunicacion
43
Denicin 3.2 Se dice que el estado j es accesible desde el estado i si o existe un entero n 0 tal que pij n 0, esto se escribe simplemente como j. Se dice adems que los estados i y j son comunicantes, y se escribe a i j, si se cumple que i j yj i. i Observe que siempre se cumple que i i, pues por denicin pii 0 1. Adems observe que si ocurre o a j, la accesibilidad de i a j puede darse en que i un nmero de pasos distinto que la accesibilidad u de j a i. Grcamente la accesibilidad y la comua nicacin se representan, como lo hemos hecho antes o en los ejemplos, mediante echas entre nodos como se muestra en la Figura 3.9. Es sencillo vericar que la comunicacin es una relacin de equivalencia, es o o decir, cumple las siguientes propiedades. a) Es reexiva: i b) Es simtrica: si i e c) Es transitiva: si i k. i i. j, entonces j j y j i. k, entonces
Accesibilidad i j
Comunicacin o i j
Figura 3.9
En consecuencia, la comunicacin induce una particin del espacio de estao o dos de una cadena de Markov dada por los subconjuntos de estados comunicantes, es decir, dos estados pertenecen al mismo elemento de la particin si, o y slo si, son estados que se comunican. De este modo el espacio de estados o de una cadena de Markov se subdivide en clases de comunicacin. A la clase o j de comunicacin de un estado i se le denotar por C i. Por lo tanto, i o a si, y slo si, C i C j . o Ejemplo 3.3 La cadena de Markov con espacio de estados 0, 1, 2, 3 y matriz de probabilidades de transicin que se muestra en la Figura 3.11 o 0, C 1 1, 2 y tiene tres clases de comunicacin que son C 0 o C 3 3. Es evidente que el estado 0 se comunica consigo mismo pues existe una echa que parte de tal estado y llega a l mismo. Visualmente e tampoco hay duda de que la segunda coleccin de estados es una clase de o o comunicacin. Para la clase C 3 no existe una conexin fsica del estado o
44
C i
C j S
Particin de un espacio de estados o en clases de comunicacin o
Figura 3.10 1, y ello hace que 3 consigo mismo, sin embargo, por denicin p33 0 o esta clase de unicamente un estado sea de comunicacin. Observe que estas o clases de comunicacin conforman una particin del espacio de estados. o o
C 0 0 1 C 1
1 12 0
0 0 0 0 1 2 0 12 12 0 12 0 12 0
3 C 3
Figura 3.11 El estado i de una cadena de Markov se llama absorbente si pii 1 ejemplo, el estado 0 de la cadena de la Figura 3.11 es absorbente.
1. Por
Denicin 3.3 Se dice que una cadena de Markov es irreducible si todos o los estados se comunican entre s. En otras palabras, una cadena de Markov es irreducible si existe slo una o clase de comunicacin, es decir, si la particin generada por la relacin de o o o comunicacin es trivial. Por ejemplo, la cadena de racha de xitos o la cadena o e de la caminata aleatoria son cadenas irreducibles, pues todos los estados se
3.5. Periodo
45
comunican entre s La cadena de la Figura 3.11 no es irreducible, pues no . se cumple que todos los estados se comuniquen.
3.5.
Periodo
El periodo es un nmero entero no negativo que se calcula para cada estado u de una cadena. Una interpretacin de este nmero ser mencionada ms o u a a adelante y aparecer tambin dentro de los enunciados generales sobre el a e comportamiento l mite de cadenas de Markov. Denicin 3.4 El periodo de un estado i es un nmero entero no negativo o u denotado por di, y denido como sigue: 0 para en donde m.c.d. signica mximo comn divisor. Cuando pii n a u toda n 1, se dene di 0. En particular, se dice que un estado i es 1. Cuando di k 2 se dice que i es peridico de o aperidico si di o periodo k. En palabras, para calcular el periodo de un estado i se considera el conjunto a de nmeros naturales n tales que pii n 0 y se obtiene el entero ms grande u que divide a todos los elementos de este conjunto. Tal divisor mximo es a el periodo del estado i. Observe que si en el conjunto mencionado aparece como elemento el nmero uno, o un nmero primo, o dos nmeros primos u u u relativos, entonces el periodo es uno. Ejemplo 3.4 Considere una cadena de Markov con diagrama de transicin o como en la Figura 3.12. No es difcil comprobar que d0 1, d1 2, d2 2 y d3 0. Demostraremos a continuacin o que el periodo es una propiedad de clase, es decir, todos los estados de una misma clase de comunicacin tienen el mismo peo riodo. De este modo uno puede hablar de clases de comunicacin o peridicas o clases aperidicas. o o di m.c.d. n 1 : pii n 0,
Figura 3.12
46
Proposicin 3.4 Si los estados i y j pertenecen a la misma clase de coo municacin, entonces tienen el mismo periodo. o Demostracin. Claramente el resultado es vlido para i j. Suponga o a entonces que i y j son distintos. Como los estados i y j estn en la misma a clase de comunicacin, existen enteros n 1 y m 1 tales que pij n 0 o 0. Sea s 1 un entero cualquiera tal que pii s 0. Tal y pji m entero existe pues por la ecuacin de Chapman-Kolmogorov, pii n m o pij n pji m 0. Esto quiere decir que di s y lo hace de manera mxima. a Por otro lado, nuevamente por la ecuacin de Chapman-Kolmogorov, o pjj n m s Anlogamente, a pjj n m 2s pji m pii 2s pij n 0. pji m pii spij n 0.
Por lo tanto dj n m s y dj n m 2s. Entonces dj divide a la diferencia n m 2s n m s s. Por lo tanto, todo entero s 1 0 cumple dj s. Pero di divide a s de manera mxima, a tal que pii s por lo tanto di dj . De manera anloga, escribiendo i por j, y j por i, a se obtiene dj di. Se concluye entonces que di dj . El rec proco del resultado anterior es en general falso, es decir, dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes. Puede usted dar un ejemplo de tal situacin? El siguiente resultado establece que o despus de un nmero sucientemente grande de pasos, con probabilidad e u positiva toda cadena puede regresar a cada estado i cada di pasos. Esta es la razn por la que a tal nmero se le llama periodo. o u Proposicin 3.5 Para cada estado i, existe un entero N tal que para toda o n N , se cumple pii ndi 0. Demostracin. Si pii n 0 para cada n 1, entonces di 0 y por lo o tanto la armacin es vlida pues pii 0 1, sin embargo la interpretacin o a o de recurrencia peridica no se aplica en este caso. Suponga entonces que o n1 , . . . , nk son enteros tales que pii n1 0, . . ., pii nk 0. Sea d m.c.d.n1 , . . . , nk di. Como di es divisor de cada entero n1 , . . ., nk , se
3.6. Primeras visitas
47
tiene que di d, y por lo tanto existe un entero q tal que qdi d. Ahora se hace uso del siguiente resultado cuya demostracin puede encontrarse o en [17]: Sean n1 , . . . , nk enteros no negativos y sea d m.c.d.n1 , . . . , nk . Entonces existe un entero M tal que para cada m M existen enteros no negativos c1 , . . . , ck tales que md c1 n1 ck nk . Entonces existe un entero no negativo M tal que para cada m M , md c1 n1 ck nk , para algunos enteros c1 , . . . , ck , y por lo tanto, pii md pii c1 n1 ck nk pii c1 n1 pii ck nk 0. M q.
Por lo tanto, para cada m M , pii md pii mqdi 0. Dena N Se puede entonces concluir que para toda n N , pii ndi 0.
Como corolario de la proposicin anterior se tiene que si acaso es posible o pasar de i a j en m pasos, entonces tambin es posible tal transicin en e o m ndj pasos con n sucientemente grande, suponiendo dj 1. Proposicin 3.6 Si pij m o entero N tal que para toda n 0 para algn entero m, entonces existe un u N se cumple pij m ndj 0.
Demostracin. Por el resultado anterior y por la ecuacin de Chapmano o Kolmogorov, para n sucientemente grande, se tiene que pij m ndj pij m pjj ndj 0.
3.6.
Primeras visitas
En ocasiones interesa estudiar el primer momento en el que una cadena de Markov visita un estado particular o un conjunto de estados. Deniremos a continuacin este tiempo aleatorio y despus demostraremos una frmula o e o util que lo relaciona con las probabilidades de transicin. o
48
Denicin 3.5 Sea A un subconjunto del espacio de estados de una cadena o de Markov Xn : n 0. El tiempo de primera visita al conjunto A es la variable aleatoria A m n n 1 : Xn
si Xn
A para algn n u
1,
otro caso.
Es decir, A es el primer momento positivo en el cual la cadena toma un valor dentro de la coleccin de estados A, si ello eventualmente sucede. Estaremos o interesados principalmente en el caso cuando el conjunto A consta de un solo estado j, y si suponemos que la cadena inicia en i, entonces el tiempo de primera visita al estado j se escribe ij . Cuando los estados i y j coinciden se escribe simplemente i . En general no es fcil encontrar la distribucin de a o probabilidad de la variable aleatoria ij . Deniremos a continuacin como o fij n a la probabilidad de que ij tome el valor n. Denicin 3.6 Para cada n 1, el nmero fij n denota la probabilidad o u de que una cadena que inicia en el estado i, llegue al estado j por primera vez en exactamente n pasos, es decir, fij n P Xn j, Xn1 j, . . . , X1 j X0 i. j.
Adicionalmente se dene fij 0
0, incluyendo el caso i
Es decir, fij n P ij n. En particular, observe que fii n es la probabilidad de regresar por primera vez al mismo estado i en el n-simo paso, y e que fii 1 es simplemente pii 1. El uso de la letra f para esta probabilidad proviene del trmino en ingls rst para indicar que es la probabilidad de e e primera visita; saber esto ayuda a recordar su signicado. Ejemplo 3.5 Considere la cadena de Markov de dos estados. Teniendo en cuenta la Figura 3.2 de la pgina 32, es inmediato comprobar que a a) f01 n b) c) d)
1 an1a, para n f10 n 1 bn1 b, para n f00 n a1 bn2 b, para n f11 n b1 an2 a, para n
1. 1. 2. 2.
3.6. Primeras visitas Ejemplo 3.6 Para la cadena de racha de xitos se tiene que e a) f01 n b) f00 n q n1 p p n 1 q para n para n 1. 1.
49
El siguiente resultado establece que la probabilidad de visitar el estado j, a partir de i, en n pasos, puede descomponerse en las probabilidades de los eventos disjuntos en los que se presenta la primera visita, la cual puede efectuarse en el primer paso, o en el segundo paso, y as sucesivamente, hasta el ultimo momento posible n. Proposicin 3.7 Para cada n o pij n 1,
n k 1
fij k pjj n k.
(3.2)
Demostracin. Dena los eventos o A1 A2 A3 . . . An
Xn Xn Xn Xn
j, X1 j, X2 j, X3 j, Xn1
j, X0 j, X1 j, X2
i j, X0 j, X1
i j, X0
i j, X0 i.
j, . . . , X2
j, X1
No es dif darse cuenta que estos eventos son disjuntos y la unin de todos cil o j, X0 i. Adems, por la propiedad de Markov, a ellos es el evento Xn la probabilidad de cada uno de ellos es, para k 1, 2, . . . , n, P Ak Por lo tanto, P Xn j, X0 i P X0 i
n k 1
P X0
i fij k Pjj n k.
fij k Pjj n k.
50
En trminos de las probabilidades de primera visita, la probabilidad de una e eventual visita al estado j, a partir del estado i, es el nmero u fij
n 1
fij n.
Recordemos que fij n es la probabilidad de que la primera visita al estado j, a partir de i, se efecte exactamente en el paso n. Siendo estos eventos u disjuntos para valores distintos de n, esta suma representa la probabilidad de una eventual visita al estado j.
3.7.
Recurrencia y transitoriedad
Veremos a continuacin que los estados de una cadena de Markov pueden o ser clasicados, en una primera instancia, en dos tipos, dependiendo si la cadena es capaz de regresar con certeza al estado de partida. Denicin 3.7 (I) Se dice que un estado i es recurrente si la probabilidad o de eventualmente regresar a i, partiendo de i, es uno, es decir, si P Xn i para alguna n 1 X0 i 1.
Un estado que no es recurrente se llama transitorio, y en tal caso la probabilidad anterior es estrictamente menor a uno. De manera intuitiva, un estado es recurrente si con probabilidad uno la cadena es capaz de regresar eventualmente a ese estado, y cuando ello ocurre en algn momento nito, por la propiedad de Markov, se puede regresar a u l una y otra vez con probabilidad uno. Debido a este comportamiento e es que al estado en cuestin se le llama recurrente. En cambio, el estado o se llama transitorio si existe una probabilidad positiva de que la cadena, iniciando en l, ya no regrese nunca a ese estado. De este modo la denicin e o de recurrencia y transitoriedad puede enunciarse de manera equivalente de la siguiente forma. Denicin 3.8 (II) Un estado i es recurrente si fii o 1, es decir, si la probabilidad de regresar a l en un tiempo nito es uno. Anlogamente, un e a estado i es transitorio si fii 1.
3.7. Recurrencia y transitoriedad
51
Adems de la denicin, tenemos el siguiente criterio util para determinar a o si un estado es recurrente o transitorio. Proposicin 3.8 El estado i es: o a) recurrente si, y slo si o
n 1
pii n pii n
b) transitorio si, y slo si o
n 1
Demostracin. Sea Ni la variable aleatoria que cuenta el nmero de o u veces que el proceso regresa al estado i a partir del primer paso, es decir, Ni cuando X0 k 1, P N i
n 1
1Xn
i. Entonces Ni tiene una distribucin geomtrica, pues para o e i k, Xm k Xm i, Xm1 k 1 X0 i, Xm1 i, Xm1 i, . . . , X1 i, . . . , X1 i X0 i X0 i, X0 i i i
k X0
m 1
P Ni P Ni P Xm P Ni
m 1
i, . . . , X1 i fii m
m 1
P Ni . . . P Ni P Ni
k 1 X0 k 2 X0 1 X0
i fii
i fii 2
fiik .
i fii k1
52
La esperanza de Ni , posiblemente innita, puede calcularse de las siguientes dos formas. Primero, E Ni X0 i
k 1
P Ni
k X0
k 1
fiik
fii 1 fii si 0 si fii fii 1. 1,
Por otro lado, por el teorema de convergencia montona, o E Ni X0 i
n 1
E 1Xn P Xn pii n.
X0
i i
n 1
i X0
n 1
El resultado se sigue de igualar estas dos expresiones. Siguiendo con la notacin de la demostracin anterior, observe que la eso o i es el nmero promedio de retornos al estado i, de u peranza E Ni X0 modo que un estado i es recurrente si, y slo si, el nmero promedio de o u retornos a l es innito. En contraparte, un estado i es transitorio si, y slo e o si, el nmero promedio de retornos a l es nito. u e Ejemplo 3.7 Considere una caminata aleatoria sobre Z. En el segundo ca ptulo demostramos que n 0 f00 n 1 p q . De aqu hemos concluido que el estado 0 es recurrente en el caso simtrico. Siendo la cadena irree ducible, la cadena toda es recurrente. Alternativamente, hemos encontrado 2 1 tambin la frmula pii n e o n2 2n , para n par. Estimando los factoriales
mediante la frmula de Stirling: n! o 2 nn12 en , puede comprobarse que n 0 p00 n , conrmando nuevamente la recurrencia del estado
53
0 y de la cadena completa en el caso simtrico. La cadena es transitoria e cuando es asimtrica. e Demostraremos a continuacin que la recurrencia y la transitoriedad son o propiedades de clase, es decir, si dos estados estn en una misma clase de a comunicacin, entonces ambos estados son recurrentes o ambos son transio torios. Proposicin 3.9 La recurrencia es una propiedad de clase, es decir, o a) Si i es recurrente e i b) Si i es transitorio e i j, entonces j es recurrente. j, entonces j es transitorio.
Demostracin. Como i o j, existen enteros n 1ym 1 tales que pij n 0 y pji m 0. Entonces pjj m n r pji m pii r pij n. De modo que, por la ecuacin de Chapman-Kolmogorov, o
r 1
pjj m n r
pji m
r 1
pii r pij n.
Si i es recurrente, la suma del lado derecho es innita. Se sigue entonces que la suma del lado izquierdo tambin lo es, es decir, j es recurrente. La e segunda armacin se demuestra fcilmente por contradiccin usando el o a o primer resultado. En consecuencia, cuando una cadena es irreducible y algn estado es recuu rrente, todos los estados lo son, y se dice que la cadena es recurrente. Tambin puede presentarse la e situacin en donde el eso pacio de estados conste de Estados Estados recurrentes transitorios varias clases de comunicacin recurrentes, en tal o caso la cadena tambin se e llama recurrente. En conDescomposicin del espacio de estados o traparte, una cadena es Figura 3.13 transitoria si todos los estados lo son, ya sea conformando una sola clase de comunicacin de estados transitorios o varias de o
54
ellas. Sin embargo, demostraremos ms adelante que cuando el espacio de a estados es nito, siempre existe por lo menos un estado recurrente, y por lo tanto no existen cadenas nitas transitorias. De este modo el espacio de estados de una cadena de Markov puede descomponerse en dos subconjuntos ajenos de estados, aquellos que son transitorios y aquellos que son recurrentes. Tal particin se muestra en la Figura 3.13. Cada uno de estos o subconjuntos puede constar de ninguna, una o varias clases de comunicacin. o
Ejemplo 3.8 La cadena de dos estados es irreducible y recurrente cuando a, b 0, 1. En efecto, tenemos que f00 1 1 a, y f00 n a1 bn2 b para n 2. Por lo tanto,
n 1
f00
f00 n
1 a ab
n 2
1 bn2 1 a ab b
1.
Ejemplo 3.9 Considere la cadena de rachas de xitos. En este caso es e sencillo demostrar que el estado 0 es recurrente pues
n 1
f00
f00 n
q 1 p p2
q 1p
1.
Dado que la cadena es irreducible y la recurrencia es una propiedad de clase, cualquier otro estado es recurrente. Por lo tanto, la cadena es recurrente.
Veremos a continuacin algunos ejemplos de aplicacin del criterio de la o o Proposicin 3.8. o
Proposicin 3.10 Sea j un estado transitorio. Para cualquier estado inio cial i, se cumple que n 1 pij n . En consecuencia, l pij n 0. m
n
3.7. Recurrencia y transitoriedad Demostracin. o
55
Usando (3.2), y siendo todos los trminos no negativos, e pij n

n1
n 1 k 0
n 1
fij n k pjj k fij n k pjj k

k 0
k 0 n k 1
fij m pjj k
k 0 m 1
fij
k 0
pjj k
pjj k
Proposicin 3.11 Toda cadena de Markov nita tiene por lo menos un o estado recurrente. Demostracin. Por contradiccin, suponga que todos los estados son o o transitorios. Entonces para cualesquiera estados i y j, se cumple que la suma n 1 pij n es nita. Sumando sobre el conjunto nito de todos los posibles estados j se obtiene
j n 1
pij n
Por otro lado, intercambiando el orden de las sumas se llega a la armacin o contraria,
pij n
n 1 j
n 1
Por lo tanto es errneo suponer que todos los estados son transitorios, debe o existir por lo menos uno que es recurrente.
56
En consecuencia, toda cadena nita e irreducible es recurrente. Ms adelante a demostraremos que en tal caso, con probabilidad uno la cadena visita cada uno de sus estados una innidad de veces.
3.8.
Tiempo medio de recurrencia
Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces regresa a l una innidad de veces con probabilidad uno. Y hemos e denido el tiempo de primera visita a un estado j, a partir de cualquier estado i, como la variable aleatoria discreta ij m n n 1 : Xn j X0 i, con la posibilidad de que tome el valor innito. Vamos a denir el tiempo medio de recurrencia como la esperanza de esta variable aleatoria en el caso cuando el estado a visitar es recurrente. Denicin 3.9 El tiempo medio de recurrencia de un estado recurrente j, o a partir del estado i, se dene como la esperanza de ij , y se denota por ij , es decir, ij E ij
nfij n.
n 1
Recordemos que cuando el tiempo de primera visita se reere al mismo estado de inicio y de llegada j, se escribe j en lugar de jj . En este caso el tiempo medio de recurrencia se escribe simplemente como j . Esta esperanza puede ser nita o innita, y representa el nmero de pasos promedio que a u la cadena le toma regresar al estado recurrente j. Ejemplo 3.10 La cadena de Markov de dos estados es irreducible y recurrente cuando a, b 0, 1. Vamos a calcular los tiempos medios de recurrencia de estos dos estados. Tenemos que f00 1 1 a, y f00 n a1 bn2 b para n 2. Por lo tanto, 0
n 1
nf00 n
1 a ab
n 2
n1 bn2
1 a ab b b2 1 ab .
b
3.9. Clases cerradas
57
De manera anloga, o bien intercambiando los valores de a y b, se encuentra a que 1 a ba. Observe que 10 11 1, ms adelante explicaremos a la razn de ello. Observe tambin que estos dos tiempos medios de recurreno e cia son, en general, distintos. Esto ejemplica el hecho de que los tiempos medios de recurrencia no son necesariamente idnticos para cada elemento e de una misma clase de comunicacin recurrente. o
3.9.
Clases cerradas
Las clases cerradas son subconjuntos de estados de una cadena de Markov que cumplen la propiedad de que partiendo de cualquiera estado de este subconjunto, no se puede pasar a cualquier otro estado fuera del subconjunto. Esta propiedad hace que a tales subconjuntos de estados se les considere como subsistemas propios de la cadena de Markov, es decir, constituyen subcadenas de Markov. Denicin 3.10 Una coleccin de estados no vaca C es cerrada si ningn o o u estado fuera de C es accesible desde algn estado dentro de C , es decir, si u para cualquier i C y j C , i j.
i Por ejemplo, si i es un estado absorbente, entonces la coleccin C o es claramente una clase cerrada. Ms generalmente se tiene el siguiente a ejemplo.
Ejemplo 3.11 Demostreremos que toda clase de comunicacin recurrente o es cerrada. Sea C una clase de comunicacin recurrente. Es claro que esta o clase es cerrada pues de lo contrario, si i C y j C con C recurrente, e i j, entonces necesariamente j i pues hemos supuesto que i es j, y entonces j C , contrario a la hiptesis o recurrente. Por lo tanto i j C . En conclusin, no es posible salir de una clase de comunicacin o o recurrente. El siguiente resultado es una especie de rec proco del ejemplo anterior y caracteriza a aquellas clases cerradas que son irreducibles. Proposicin 3.12 Toda coleccin de estados que es cerrada e irreducible o o es una clase de comunicacin. o
58
Demostracin. Sea C una coleccin no vac de estados que es irreducible o o a y cerrada, y sea i C . Entonces C C i pues como C es irreducible, todos sus estados se comunican y por lo tanto deben pertenecer a la misma clase de comunicacin. Como C es cerrada, no es posible salir de tal coleccin, o o a, de modo que la diferencia C i C es vac pues si existiera j C i C , j, lo cual contradice el supuesto de que C es cerrada. Por lo entonces i tanto C C i.
3.10.
N mero de visitas u
En esta seccin vamos a estudiar la variable aleatoria que registra el nmero o u de visitas que una cadena realiza sobre un estado j a partir del estado i, es decir, para cualquier tiempo nito n se dene la variable aleatoria Nij n
n k 1
1Xk
, cuando X0
i.
Cuando los estados i y j coinciden, se escribe Ni n en lugar de Nii n. Observe que 0 Nij 1 Nij 2 , es decir, se trata de una sucesin o montona creciente de variables aleatorias no negativas que converge casi o seguramente a la variable Nij
k 1
1Xk
, cuando X0
i.
Los siguientes resultados acerca de estas variables aleatorias permiten distinguir la diferencia cualitativa en el comportamiento de los estados transitorios respecto de los recurrentes. Proposicin 3.13 Para cualesquiera estados i y j, o a) P Nij b) P Nij k k fij fjj 1
k 1
si k si k
0, 1. si k si k 0, 1.
1 fij fij fjj k1 1 fjj
3.10. Numero de visitas

0 fij 1 fjj
59 si fij si 0 si fij 0, fjj 1, 1.
c) E Nij
n 1
pij n
0 y fjj
d) P Nij e) P Nij Demostracin. o
0 fij
si j es transitorio, si j es recurrente. si j es transitorio, si j es recurrente.
1 1 fij
a) La primera parte de esta igualdad es evidente. Para demostrar el caso k 1 se usa anlisis del primer paso, a P Nij k
n 1
fij n P Njj
k 1
k 1
fij P Njj fij fjj
k 1
b) Este resultado se sigue de la frmula del inciso (a) y de la igualdad o P Nij k P Nij k P Nij k 1.
c) Por el teorema de convergencia montona, o E Nij E
n 1
n 1
1Xn
X0 X0
i i
E 1Xn pij n.
n 1
60 Por otro lado, usando la primera frmula o E Nij
k 1
P Nij
k 1
fij fjj k1 si fij si 0 si fij l P Nij m 0, fjj 1, 1.
0 fij 1
fjj
0 y fjj k
d) Por la frmula del inciso (a), o P Nij
k k
l fij fjj k1 . m 0 fij si j es transitorio, si j es recurrente.
e) El evento que aparece en esta expresin es el complemento del que o aparece en la frmula del inciso (d). o
Distribucin de probabilidad del nmero de visitas o u La variable aleatoria discreta Nij toma valores en el conjunto 0, 1, . . . , y la funcin de probabilidad que hemos encontrado para esta variable incluye o los siguientes tres casos: 1. Si fij 0, entonces no es posible visitar j a partir de i, y por lo tanto P Nij 0 1, es decir, la probabilidad se concentra completamente en el valor 0. 2. Si fij 0 y fjj 1, es decir, si se puede pasar de i a j y j es recurrente, entonces para cualquier valor de k 1, P Nij k fij , y por lo fij . Mientras que P Nij 0 1 fij . Se trata tanto P Nij entonces de una medida de probabilidad concentrada en los valores 0 e .
61
3. Si fij 0 y fjj 1, es decir, si se puede pasar de i a j y j es transitorio, entonces la probabilidad se distribuye sobre los valores nitos 0, 1, . . . como indica la frmula del inciso (b). o A partir de las frmulas recin demostradas podemos distinguir el comporo e tamiento del nmero de visitas en los casos cuando el estado j es transitorio u o recurrente. Transitoriedad y nmero de visitas u Si j es transitorio, entonces sin importar el estado inicial i, con probabilidad uno la cadena realiza slo un nmero nito de visitas al estado j, esto es o u lo que dice la frmula del inciso (e), y el nmero esperado de visitas a tal o u 1, es decir, estado es siempre nito por la frmula del inciso (c) con fjj o E Nij . Por lo tanto, encontramos nuevamente que n 1 pij n l pij n 0. m
Recurrencia y nmero de visitas u Si j es recurrente, y si se inicia en j, entonces con probabilidad uno la cadena regresa a j una innidad de veces, esto es lo que dice la frmula del inciso (d) o fjj 1, y el nmero esperado de visitas al estado j es innito. u con fij Si la cadena inicia en cualquier otro estado i, entonces existe la posibilidad u de que la cadena nunca visite j (es decir,fij 0), y el nmero esperado de visitas es naturalmente cero (frmula del inciso (c) con fij 0). Pero si la o a cadena visita j alguna vez (fij 0), entonces regresar a j una innidad de veces, y el nmero esperado de visitas al estado j es innito por la frmula u o del inciso (c) con fij 0 y fjj 1. Nmero esperado de visitas u Anteriormente hab amos demostrado un criterio para la transitoriedad y la recurrencia del estado i en trminos de la convergencia o divergencia de e o la serie n 1 pii n. En vista de la frmula del inciso (c) ahora podemos corroborar que un estado i es recurrente si, y slo si, el nmero promedio de o u regresos a l es innito, y es transitorio si, y slo si, el nmero promedio de e o u regresos es nito. Tambin en particular, la frmula del inciso (d) muestra e o que toda cadena de Markov irreducible y recurrente, visita cada uno de sus estados una innidad de veces con probabilidad uno.
62
Ejemplo 3.12 La cadena de racha de xitos es irreducible y recurrente. Por e lo tanto con probabilidad uno visita cada uno de sus estados una innidad de veces. Propiedad fuerte de Markov Para justicar adecuadamente las siguientes aplicaciones y resultados para cadenas de Markov vamos a extender la propiedad de Markov al caso de tiempos aleatorios. Supongamos que X0 , X1 , . . . es un proceso estocstico a a tiempo discreto y que es un tiempo aleatorio que indica el momento en el que ocurre algn evento de inters del proceso. Por ejemplo, el momento en u e el que el proceso llega por primera vez a un cierto estado o a un conjunto de estados. As es un tiempo aleatorio con posibles valores 0, 1, . . . , a . Se incluye el valor innito pues el evento a observar podr nunca ocurrir. A estos tiempos aleatorios los llamaremos tiempos de paro y les pediremos que cumplan con cierta condicin tcnica. Ms espec o e a camente, 0, 1, . . . , es un tiempo de paro se dice que una variable aleatoria : respecto del proceso estocstico indicado si para cada entero n 0, el evento a n depende unicamente de las variables X0 , X1 , . . . , Xn . Intuitivamente n puede esto signica que la ocurrencia o no ocurrencia del evento vericarse a partir de la informacin o historia del proceso hasta el tiempo n. o En el cap tulo sobre martingalas estudiaremos con ms detalle a los tiempos a de paro, lo que necesitamos saber por el momento es que la propiedad de Markov que hemos mencionado para cadenas puede extenderse al caso de tiempos de paro de la siguiente forma: Proposicin 3.14 (Propiedad fuerte de Markov) Sea Xn : n o 0 una cadena de Markov y sea un tiempo de paro respecto de este proceso. , el proceso X n : n 0 es una cadena Condicionado al evento de Markov, es decir, la probabilidad P X n1 es igual a P X n1 j X0 x0 , . . . , X n1 i. xn1 , X n i (3.3)
j X n
La demostracin de la propiedad fuerte de Markov consiste en condicionar o sobre el valor del tiempo de paro y desarrollar ambas probabilidades. Vea el ejercicio 78 en la pgina 107 para los detalles. a
63
Ejemplo 3.13 (El problema del mono). Suponga que un mono escribe caracteres al azar en una mquina de escribir. Cul es la probabilidad de a a que eventualmente el mono escriba exactamente, y sin ningn error, las u obras completas de Shakespeare? Usaremos la teor de cadenas de Markov a para demostrar que la probabilidad buscada es uno. Imaginemos entonces que un mono escribe caracteres al azar en una mquina de escribir, y que lo hace de a manera continua generando una sucesin o lineal de caracteres. Cada uno de los caracteres tiene la misma probabilidad de apareFigura 3.14 cer y se genera un caracter independientemente de otro. Sea m el total de caracteres disponibles que se pueden imprimir, y sea N la longitud de caracteres de los cuales consta las obras completas de Shakespeare. Sea Xn el nmero de caracteres correctos obtenidos u inmediatamente antes e incluyendo el ultimo momento observado n, es de cir, se trata de un modelo de racha de xitos. Es claro que las variables Xn e toman valores en el conjunto 0, 1, 2, . . . , N , y dado que los caracteres se generan de manera independiente, el valor de Xn1 depende unicamente del valor de Xn y no de los anteriores, es decir, se trata efectivamente de una cadena de Markov. Considerando entonces un conjunto de s mbolos de m caracteres se tiene que P Xn1 y P Xn1 x 1 Xn 0 Xn x x 1m
m 1m.
El primer caso corresponde a obtener el caracter correcto al siguiente tiempo n 1. La segunda igualdad reeja la situacin de cometer un error en el o siguiente caracter generado cuando ya se hab obtenido x caracteres coan rrectos. Tcnicamente existen algunas otras posibles transiciones de algunos e estados en otros, pero ello no modica substancialmente el comportamiento cualitativo del modelo. Como se ha observado, se trata de la cadena de racha de xitos, y por lo tanto la matriz de probabilidades de transicin es e o nita, irreducible y recurrente. Entonces, con probabilidad uno la cadena visita cada uno de sus estados una innidad de veces. En particular, cada vez que la cadena visita el estado N el mono concluye una sucesin exitosa o
64
de caracteres, y sorprendentemente ello suceder una innidad de veces con a probabilidad uno. El lector puede encontrar otras maneras de resolver este problema en [29]. El siguiente resultado lleva el nombre de ergdico y establece el comporo tamiento l mite del promedio en el tiempo de la funcin que registra las o visitas a un estado cualquiera. El trmino ergdico proviene del griego ere o gon que signica trabajo y hodos que signica trayectoria, fue acuado por n L. Boltzmann al estudiar algunos problemas de la mecnica estad a stica. La famosa hiptesis ergdica establece que los promedios temporales son iguales o o a los promedios espaciales en los sistemas dinmicos, y esto es justamente a lo que se arma en el siguiente resultado. Teorema 3.1 (Teorema ergdico para cadenas de Markov) Para o cualesquiera estados i y j de una cadena de Markov irreducible se cumple que Nij n 1 c.s. (3.4) l m n n j siendo este lmite cero cuando j .
Demostracin. o Si la cadena es transitoria, entonces ambos lados de la igualdad se anulan. Suponga que la cadena es recurrente. El tiempo de n primera visita al estado j a partir de i es ij m n 1 : Xn j X0 i. Dada la recurrencia e irreducibilidad, P ij 1, y entonces para cualquier n 1 se cumple la identidad Nij ij Nij n n
1 Njj n. Nij ij n n ij n 1 Njj n l m n ij n n Njj n l m n n ij n Njj n . l m n n l m
Por lo tanto es suciente demostrar la convergencia para Njj nn pues

n
l m
3.11. Recurrencia positiva y nula
65
Sea Y k la variable que registra el nmero de pasos que transcurren enu tre la visita k 1 y la visita k que la cadena realiza al estado j. Sabemos j , para j 1, 2, . . ., y que el tiempo medio de recurrencia es E Y k usando la propiedad fuerte de Markov puede demostrarse que las variables Y 1, Y 2, . . . son independientes. Se tienen entonces las siguientes estimaciones Y 1 Y Njj n Njj n Njj n n Y 1 Y Njj n 1 . Njj n
Por la recurrencia, Njj n , cuando n , de modo que por la ley de los grandes nmeros, los dos extremos de esta desigualdad convergen a j u casi seguramente. Por lo tanto,
n
l m
Njj n n
1 j
c. s.
Interpretacin: para una cadena de Markov irreducible, el nmero j 1j o u representa el tiempo promedio que la cadena permanece en el estado j a largo plazo, suponiendo que tal cantidad es positiva. Tomando esperanza en (3.4), por el teorema de convergencia dominada, y para una cadena irreducible, se cumple que 1 j E l m
n
1 Nij n n
l m
1 E Nij n n
l m
n 1 pij k. n k 1
En particular, cuando el tiempo medio de recurrencia j es innito, o cuando el estado j es transitorio, se tiene que l m 1 pij k nk 1
n
0.
3.11.
Recurrencia positiva y nula
Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces regresa a l una innidad de veces con probabilidad uno. Sin eme bargo, esta recurrencia puede presentarse de dos formas: cuando el tiempo
66
promedio de retorno es nito o cuando es innito. Esto lleva a la denicin o de recurrencia positiva y recurrencia nula respectivamente. Consideremos entonces que j es un estado recurrente. El tiempo de primera visita a este estado, a partir de cualquier otro estado i, es la variable aleatoria discreta m n 1 : Xn j X0 i. Recordemos que cuando el tiempo de n ij primera visita se reere al mismo estado recurrente de inicio y de llegada i, se escribe simplemente como i en lugar de ii . La esperanza de esta variable aleatoria es naturalmente el tiempo medio de recurrencia. Denicin 3.11 El tiempo medio de recurrencia de un estado recurrente o j, a partir del estado i, se dene como la esperanza de ij , y se denota por ij , es decir, ij E ij
nfij n.
n 1
Nuevamente cuando el tiempo medio de recurrencia se reere al mismo estado recurrente de inicio y de llegada i, se escribe simplemente como i . Como hemos mencionado, esta esperanza puede ser nita o innita, y ello lleva a la siguiente clasicacin de estados recurrentes. o Denicin 3.12 Se dice que un estado recurrente i es: o a) recurrente positivo si i b) recurrente nulo si i . .
Demostraremos a continuacin que la recurrencia positiva y la recurrencia o nula son propiedades de las clases de comunicacin. Es decir, dos estados en o una misma clase de comunicacin recurrente, son ambos recurrentes posio tivos o recurrente nulos. Proposicin 3.15 Sea i un estado recurrente. Entonces, o a) si i es recurrente positivo e i b) si i es recurrente nulo e i j, entonces j es recurrente positivo. j, entonces j es recurrente nulo.
Demostracin. Observe que es suciente demostrar cualquiera de estas o armaciones. Demostraremos la primera. Suponga que i es un estado recu. Como i j, rrente positivo, es decir, i es recurrente y es tal que i
3.11. Recurrencia positiva y nula
67
se tiene que j es tambin un estado recurrente. Adems existen enteros no e a negativos n y m tales que pij n 0 y pji m 0. Entonces para cualquier entero natural k, pjj n m k Sumando para k pji m pii k pij n.
1, . . . , N , y dividiendo entre N , pji m

N 1 pii k pij n. Nk 1
N 1 pjj n m k Nk 1
Haciendo N
se obtiene 1 j pji m 1 pij n i 0.
Por lo tanto el cociente 1j es estrictamente positivo. Ello signica que j es nito, es decir, j es recurrente positivo. De esta forma, el espacio de estados de toda cadena de Markov puede descomponerse en tres grandes subconjuntos ajenos de estados: transitorios, recurrentes positivos y recurrentes nulos. Esto se muestra en la Figura 3.15. Cada una de estas colecciones de estados puede estar constituida por ninguna, una o varias clase de comunicacin. o
Estados transitorios
Estados recurrentes nulos
Estados recurrentes positivos
Descomposicin del espacio de estados o
Figura 3.15 Ejemplo 3.14 Anteriormente demostramos que para la caminata aleatoria sobre Z, el tiempo promedio de regreso al estado 0 es 0
n 0
n f00 n
4pq . 1 4pq
68
En el caso simtrico, es decir, en el caso en el que la cadena es recurrente, e este cociente se hace innito. Esto demuestra que el estado 0 es recurrente nulo, y por lo tanto la cadena entera es recurrente nula. Ejemplo 3.15 Demostraremos ahora que la cadena de Markov de rachas de xitos es recurrente positiva. Recordemos que dicha cadena es irreducible e y recurrente. Comprobaremos que el tiempo medio de recurrencia del estado 0 es nito. En efecto, 0
n 1
n f00 n
n 1
n 1 ppn1
1 p
n 1
n pn1
1 1p
Esto demuestra que el estado 0 es recurrente positivo y siendo la cadena irreducible, es recurrente positiva. Por lo tanto, el tiempo medio de recurrencia de cada estado es nito. Hemos aprovechado la facilidad del clculo a de las probabilidades de primer regreso al estado 0. Se ha demostrado antes que toda cadena nita tiene por lo menos un estado recurrente. Demostraremos ahora que para cadenas nitas slo puede haber o dos tipos de estados: transitorios o recurrentes positivos. Proposicin 3.16 No existen estados recurrentes nulos en cadenas de Maro kov nitas. Demostracin. Sea j un estado recurrente y sea C su clase de comunio cacin. La clase C es cerrada y adems es nita, pues la cadena completa o a lo es. Demostraremos que j . Para cualquier i C, y k natural,
j C
pij k
1.
Entonces
n 1 pij k n k 1 j C n 1 j C
nk
pij k
1.
Haciendo n obtiene
, por el teorema ergdico aplicado a la clase cerrada C se o

1
j C
1.
3.12. Evolucion de distribuciones
69
Para que esta suma sea uno debe existir por lo menos un valor de j en C tal que j , pues de lo contrario cada sumando ser cero y la suma a total no podr ser uno. Por lo tanto existe un estado j que es recurrente a positivo. Dado que la recurrencia positiva es una propiedad de clase, todos los elementos de C son recurrentes positivos. Observe que en particular, todos los estados de una cadena nita e irreducible son recurrentes positivos.
3.12.
Evolucin de distribuciones o
Una matriz estocstica establece una dinmica en el conjunto de las disa a tribuciones de probabilidad denidas sobre el espacio de estados de la correspondiente cadena de Markov. Para explicar la situacin de manera simple o consideraremos un espacio de estados nito 0, 1, . . . , n, y una distribu0 0 0 e cin de probabilidad inicial 0 0 , 1 , . . . , n . Despus de transcurrida o la primera unidad de tiempo, la cadena se encuentre en cualquiera de sus 1 1 1 posibles estados de acuerdo a la distribucin 1 0 , 1 , . . . , n , en donde o la j-sima entrada de este vector es e
1 j
P X1
n i 0 n i 0
j j X0 iP X0 i
P X1
0 i pij .
Es decir, el vector 1 se obtiene a partir del vector 0 y de la matriz de probabilidades de transicin P a travs de la multiplicacin 1 0 P , esto o e o es,
1 1 0 , . . . , n
0 0 0 , . . . , n
p00 . . .
p0n . . . .
pn0
pnn
A su vez el vector se transforma en el vector a travs de la ecuacin e o 2 1P 0 P 2 , y as sucesivamente. En general, para m 1, m m1 P 0 P m . (3.5)
70
De esta forma se obtiene una sucesin innita de distribuciones de probao 0 , 1 , 2 , . . ., en donde cada una de ellas, excepto la primera, es bilidad obtenida de la anterior multiplicada por la derecha por la matriz de probabilidades de transicin en un paso. Es natural preguntarse si existe algn o u l mite para esta sucesin de distribuciones. En las siguientes secciones estuo diaremos tal problema y encontraremos condiciones bajo las cuales existe un unico l mite para esta sucesin. o Ejemplo 3.16 Considere la matriz estocstica a

0 1 0 0 0 1 1/2 1/2 0
con distribucin inicial el vector 0 110, 0, 910. Los subsecuentes veco tores de probabilidad 1 , 2 , . . . se calculan a continuacin y las grcas de o a estas distribuciones se muestran en la Figura 3.16. Existir el lmite para a esta sucesin de vectores de probabilidad? o 1
2 3
0 P P 2 P 3 P . . .
1
0.45, 0.55, 0 0, 0.45, 0.55 0.275, 0.275, 0.45 0.225, 0.5, 0.275
0 1 2
0 1 2
0 1 2
0 1 2
0 1 2
Figura 3.16 Ejemplo 3.17 Considere la matriz estocstica a
0 1 1 0
3.13. Distribuciones estacionarias
71
con distribucin inicial cualquier vector de probabilidad 0 , 1 , con o 0 1. No es difcil darse cuenta que la multiplicacin de un vector o rengln por la matriz P tiene el efecto de intercambiar las entradas del o vector. Por lo tanto la sucesin de vectores de probabilidad es o 0
1
2 3 . . .
, 1 1 , , 1 1 ,
que claramente no es convergente, pues tiene un comportamiento oscilatorio, a menos que 12. Antes de encontrar condiciones bajo las cuales la sucesin de distribuciones o de probabilidad denidas por (3.5) es convergente, estudiaremos a continuacin el caso particular cuando la distribucin inicial no cambia al ser o o multiplicada por la derecha por P . A tales distribuciones se les llama estacionarias o invariantes en el tiempo.
3.13.
Distribuciones estacionarias
Denicin 3.13 Una distribucin de probabilidad 0 , 1 , . . . es estao o cionaria o invariante para una cadena de Markov con matriz de probabilidades de transicin P pij si o j
i pij .
En trminos matriciales, la distribucin de probabilidad es estacionaria e o P . Esta identidad tiene como consecuencia el hecho de que para si e cualquier nmero natural n se cumpla que P n , es decir, es tambin u una distribucin estacionaria para la matriz P n . Esto signica que si la o variable aleatoria inicial X0 tiene esa distribucin , entonces la distribucin o o i pij n de Xn tambin es pues P Xn e j j , es decir, esta i distribucin no cambia con el paso del tiempo y por ello es que se le llama o
72
estacionaria o invariante. Observe que el vector de ceros cumple la condicin o P , sin embargo no corresponde a una distribucin de probabilidad. o Los siguientes ejemplos muestran que las distribuciones estacionarias pueden no ser unicas y pueden incluso no existir. Ejemplo 3.18 (Existencia mltiple) Considere una cadena de Markov u o sobre el conjunto de estados 0, 1, 2 y con probabilidades de transicin dada por la siguiente matriz
1 0 0 13 13 13 0 0 1
Es inmediato comprobar que el vector 1 , 0, satisface el sistema de ecuaciones P para cada 0, 1. Existen entonces una innidad de distribuciones estacionarias para esta cadena. Observe que el veco tor 1 , 0, se puede escribir como la combinacin lineal 1 1, 0, 0 0, 0, 1. Ejemplo 3.19 (No existencia) Para la caminata aleatoria simtrica sime ple sobre Z no existe ninguna distribucin estacionaria pues la condicin o o P se traduce en el sistema de ecuaciones j 1 1 j 1 j 1 , 2 2 j
Z,
a o bien j 1 j j j 1 . Ms explcitamente, iniciando con la identidad 1 0 , y escribiendo algunas de estas diferencias en trminos e 1 0 de la diferencia 1 0 se encuentra que 2 1 3 2 n n1 n 0 . . . 1 0 1 0 1 0 1 0 1 0 . 1,
Sumando estas n ecuaciones se llega a que para todo entero n n1 0 .
73
El lado izquierdo es acotado pues es la diferencia de dos probabilidades mientras el lado derecho crece sin lmite cuando n es grande, a menos que 1 0 0. Esto demuestra que todas las diferencias j j 1 con j Z son cero, y por lo tanto j es constante para cualquier valor de j. Es decir, el vector constante es la solucin al sistema de ecuaciones en diferencias o planteado, pero ello es incompatible con la condicin j j 1. Por lo tano to no existe ninguna distribucin de probabilidad que cumpla la igualdad o P para esta cadena. Ejemplo 3.20 (Existencia unica) La cadena de Markov de dos estados dada por la matriz 1a a P b 1b tiene una unica distribucin estacionaria dada por o a b 0 , 1 a b , a b ,
cuando a b 0. En cambio, cuando a b 0, la matriz resultante es la matriz identidad que acepta como distribucin estacionaria a cualquier o distribucin de probabilidad sobre 0, 1, es decir, en este caso existe una o innidad de distribuciones estacionarias para esta cadena. Con base en los ejemplos anteriores haremos algunas observaciones sobre las distribuciones estacionarias. Primeramente observe que para encontrar una posible distribucin estacionaria de una cadena con matriz P , un primer o P , sujeto a la mtodo consiste en resolver el sistema de ecuaciones e condicin j j 1. Ms adelante expondremos una forma alternativa de o a buscar distribuciones estacionarias para cadenas reversibles. Por otro lado, suponga que y son dos distribuciones estacionarias distintas para una matriz P . Entonces la combinacin lineal convexa 1 , para o e o 0, 1, tambin es una distribucin estacionaria pues
1 P
1 P
1 .
Por lo tanto, si existen dos distribuciones estacionarias distintas para una cadena, entonces existe una innidad de ellas. Esto demuestra que el conjunto de distribuciones estacionarias es un conjunto convexo. Tomando en cuenta
74
las observaciones anteriores y de acuerdo a los ejemplos mostrados, slo hay o tres situaciones sobre la existencia de distribuciones estacionarias para una cadena de Markov cualquiera: no existe ninguna distribucin estacionaria, o existe una distribucin estacionaria y es unica, o existe una innidad de diso tribuciones estacionarias. Dadas estas consideraciones, es natural plantearse el problema de encontrar condiciones necesarias y sucientes para que una cadena tenga alguna distribucin estacionaria. Primeramente demostrareo mos que cuando existe una distribucin estacionaria, sta tiene como soporte o e el conjunto de estados recurrentes positivos. Proposicin 3.17 (Soporte de una distribucin estacionaria) Sea o o una distribucin estacionaria para una cadena de Markov. Si j es un estado o transitorio o recurrente nulo, entonces j 0. Demostracin. Usaremos el hecho de que si j es un estado transitorio o o recurrente nulo, entonces para cualquier estado i, l m 1 pij k nk 1
n
0.
Como es una distribucin estacionaria, o j

i n 1 i pij k nk 1 i i
i pij i pij k
1 pij k i nk 1
n
Tomando el l mite cuando n se obtiene j

i
, por el teorema de convergencia dominada, i l m

n
1 pij k nk 1
n
0.
75
En particular, si j 0, entonces j es un estado recurrente positivo. Esto es una consecuencia inmediata del resultado anterior y para ello puede usarse un argumento por contradiccin. Por otro lado, la proposicin recin o o e demostrada tambin nos ayuda a corroborar nuevamente, por ejemplo, que e una caminata aleatoria simtrica simple no tiene distribucin estacionaria, e o pues se trata de una cadena cuyos estados son todos recurrentes nulos y por lo tanto j 0 para cualquier valor entero de j. Se presenta a continuacin o una solucin al problema de encontrar condiciones sucientes que garanticen o la existencia y unicidad de la distribucin estacionaria. o Proposicin 3.18 (Existencia y unicidad de la distribucin estao o cionaria) Toda cadena de Markov que es irreducible y recurrente positiva tiene una unica distribucin estacionaria dada por o j 1 j 0,
en donde j es el tiempo medio de recurrencia del estado j. En particular, toda cadena nita e irreducible tiene una unica distribucin estacionaria. o Demostracin. o (1) j
Sea j
1j . Demostraremos que
i pij .
(2)
1.
(3) j es unica. Como la cadena es irreducible y recurrente positiva, se tiene que j , para cualquier estado j. Por lo tanto el cociente 1j es estrictamente positivo. Por el teorema ergdico para cadenas de Markov, o l m 1 pij m nm 1
n
1 . j
76
(1) Estacionariedad. Para cualquier natural N ,

N i 0
i pij
N i 0
nl m
n 1 pki m pij n m 1
l m l m
n N 1 pki m pij n m 1i 0 n 1 pkj m 1 n m 1
j . Haciendo N ,
i pij
j .
(3.6)
Suponga que para algn valor de j la desigualdad anterior es estricta. u Sumando sobre todos los valores j, por el teorema de Fubini,
j i
i pij
pij
i .
Lo cual es una contradiccin. Por lo tanto (3.6) es una igualdad. Esto o demuestra que es estacionaria. (2) Distribucin de probabilidad. Para cualquier nmero natural N , o u
N j 0
N j 0
nl m
1 pij k nk 1
n
l m l m
N n 1 pij k nk 1j 0
1 1 nk 1
n
1. Por otra parte, recordemos que si es estacionaria para P , entonces tambin lo es para P m para cualquier m natural, es decir, e j
i pij m,
(3.7)
3.13. Distribuciones estacionarias de modo que para cualquier n natural, j
77
1 pij m . nm 1
n
Haciendo n , por el teorema de convergencia dominada de Lebesgue, y usando el hecho de que j j 1, j
i 0
1 m pij m i l n nm 1
n
i 0
i j .
i
Dado que j es estrictamente positivo, se obtiene que
1.
(3) Unicidad. Sean y dos distribuciones estacionarias para la matriz P . Entonces para cualquier valor natural de n,
i j
1
i
n 1
nm
pij m
N i 0
N i 0
1
i
n 1
nm
pij m.
Haciendo n
,
j
i j .
Ahora hacemos N
para obtener
j .
(3.8)
Si esta desigualdad fuera estricta para algn valor de j, entonces u sumando sobre todos los valores de j se obtiene 1 j j j j 1, lo cual es una contradiccin. Por lo tanto (3.8) es una igualdad para o cada valor de j, y ello demuestra la unicidad.
Ejemplo 3.21 La cadena de Markov de dos estados es nita e irreducible cuando a b 0, y por lo tanto es recurrente positiva. Por la Proposicin 3.18 existe una unica distribucin estacionaria para esta cadena. Reo o solviendo el sistema de ecuaciones P para 0 , 1 , con 0 1 1, se encuentra que b a 0 , 1 a b , a b .
78
Como otra aplicacin de la Proposicin 3.18 encontramos nuevamente que, o o sin hacer mayores clculos, los tiempos medios de recurrencia son a 1 1 0 , 1 , a b , a b . b a
0 1
Ejemplo 3.22 La cadena de Ehrenfest es nita e irreducible, en consecuencia es recurrente positiva. Por lo tanto tiene una unica distribucin esta o cionaria. Resolviendo el sistema de ecuaciones P junto con j j 1 se encuentra que el vector estacionario tiene distribucin binN, p, con o p 12, es decir,

N j
1 , 2N
para j
0, 1, . . . , N.
(3.9)
En efecto, el sistema de ecuaciones 0 1 2 . . . N 1 N 1 1 N
P se escribe
2 2 N N 1 3 1 3 N N 2 N 1 N N 1 N 1 . N
Se busca resolver este sistema de ecuaciones junto con la condicin j j o 1. Reescribiendo cada una de estas ecuaciones en trminos de 0 se encuene tra que N j 0 , para j 0, 1, . . . , N. j Sumando todas estas ecuaciones se llega a la identidad 1 0
N k 0
N k
0 2N .
79
De donde se obtiene 0 12N y de esta forma se demuestra (3.9). En vista de la Proposicin 3.18, los tiempos medios de recurrencia para esta cadena o son 1 2N 0, 1, . . . , N. j N , para j j j Para nes ilustrativos concretos podemos tomar el caso N 2, es decir, se tienen unicamente dos bolas distribuidas en las dos urnas de la cadena de Ehrenfest. Entonces la distribucin binomial binN, p, como el vector de o probabilidad invariante de esta cadena, se escribe
0, 1 , 2 14, 12, 14.

12 14 0 1 2 Urna A Urna B
Figura 3.17 En vista del teorema ergdico, esto signica que, a largo plazo, la cadena de o Ehrenfest se encontrar en el estado 1 el 50 % del tiempo, y en los estados 0 y a 2 el 25 % del tiempo en cada uno de ellos. Los tiempos medios de recurrencia son 0, 1 , 2 4, 2, 4, es decir, si por ejemplo la cadena se encuentra en algn momento en el u estado 0, entonces tardar en promedio 4 tiempos para regresar nuevamente a a ese estado. En este caso particular, estos tiempos medios de recurrencia pueden corroborarse usando la denicin bsica de esperanza. o a Ejemplo 3.23 La cadena de racha de xitos, aunque no es nita, es irree ducible y recurrente positiva. Por lo tanto tiene una unica distribucin esta o cionaria dada por la distribucin geo1 p, es decir, el sistema de ecuao
80 ciones cin o P junto con j j
3. Cadenas de Markov 1 tiene como unica solucin la distribu o para j 0, 1, 2 . . .
1 p p j ,
Como consecuencia de la Proposicin 3.18, se resuelve un problema difcil o de manera inmediata: los tiempos medios de recurrencia para cada uno de los estados de esta cadena son 1 1 j j 1 p pj , para j 0, 1, 2 . . . En particular, 0 11 p. Esto conrma los clculos realizados antes a n f00 n. para 0 a partir de la frmula 0 o n 1
3.14.
Distribuciones l mite
Como hemos mencionado antes, toda matriz de probabilidades de transicin o P determina una sucesin de distribuciones de probabilidad 0 , 1 , . . . sobre o el espacio de estados, dada por n n1 P 0 P n , n 1. (3.10)
Bajo ciertas condiciones tal sucesin es convergente a una distribucin de o o probabilidad l mite . Imaginemos por ahora que tal es el caso y supongamos entonces que l n . m
n
Examinaremos algunas propiedades de esta distribucin l o mite. Tomando el l mite cuando n en las dos igualdades de (3.10) se tiene que y P
0
nl P . m
n
(3.11) (3.12)
Estas igualdades revelan varias cosas. Primero, la supuesta distribucin o l mite es una distribucin estacionaria, (3.11). Segundo, la distribucin l o o mite no depende de la distribucin inicial, pues nuevamente la igualdad (3.11) o indica que se determina a travs de la ecuacin (3.11). Tercero, la distribue o cin l o mite est dada por el l a mite de las potencias de P , (3.12). Cuarto, a partir de (3.12), el l mite de las potencias de P es una matriz con todos sus renglones idnticos, siendo este regln la distribucin l e o o mite. En esta seccin o se establecen condiciones para obtener rigurosamente estos resultados.
3.14. Distribuciones l mite
81
Denicin 3.14 Considere una cadena de Markov con matriz de probabio lidades de transicin P o pij y distribucin inicial 0 . Se le llama diso tribucin lmite de esta cadena al vector o
n
l 0 P n m
l m
0 i pij n.
Observe que el vector l mite en la denicin anterior podr no ser una o a distribucin de probabilidad verdadera, a pesar de esto mantendremos dicho o trmino en la denicin. Como se ha mencionado, toda posible distribucin e o o l mite es estacionaria pero el rec proco es en general falso, como se ilustra en el siguiente ejemplo. Ejemplo 3.24 Es inmediato comprobar que la distribucin 12, 12 es o estacionaria para la cadena con matriz
0 1 1 0
. 0,
Sin embargo las potencias de P no convergen, pues para cualquier n P 2n1
0 1 1 0
P 2n
1 0 0 1
El siguiente resultado es vlido para espacios de estados nitos o innitos, a y establece que si el l mite de las probabilidades pij n, cuando n , existen y no dependen de i, entonces la distribucin l o mite podr ser una a distribucin estacionaria. Esto es solamente una posibilidad, pues los l o mites podr ser todos cero. En el caso nito, sin embargo, demostraremos que an tales l mites conforman una distribucin de probabilidad verdadera. o Proposicin 3.19 Considere una cadena de Markov con probabilidades de o m pij n existen para cada j, transicin pij tales que los lmites j l n o y no dependen del estado i. Entonces 1.
1. i pij .
2. j
82
Cuando el espacio de estados es nito se cumple la igualdad en el primer resultado obtenindose una distribucin de probabilidad verdadera. e o
Demostracin. o Caso 1. Espacio de estados nito. Suponga que el espacio de estados es el conjunto nito 0, 1, . . . , N . Entonces la primera armacin se cumple con o igualdad pues
N j 0 N j 0
l pij n m
l m
N j 0
pij n
1.
Para la segunda armacin se tiene que para cualquier n o

N i 0 N i 0
1,
i pij
ml m
N i 0
pki m pij pki m pij
l m
m j .
l pkj m 1 m
Caso 2. Espacio de estados innito. Suponga ahora que el espacio de estados es innito. En este caso no es posible garantizar la validez del intercambio de l mite y suma efectuado en el caso anterior. Para la primera armacin o se tiene que para cualquier nmero natural N 1, u
N j 0 N j 0
nl pij n m
l m
N j 0
pij n
l 1 m
1.
Haciendo N se obtiene el resultado buscado. Para la segunda arma1, y para cualquier cin, nuevamente para cualquier nmero natural N o u
3.14. Distribuciones l mite estado j,

N i 0
83
i pij
N i 0
l pki n pij m
N i 0
n n
l m
pki n pij
l pkj n 1 m
j . Tomando el l mite cuando N
se obtiene que para cualquier estado j, i pij j . (3.13)
Si j 0 para cualquier j, entonces estas desigualdades se convierten en identidades como dice el enunciado. Suponga entonces que j j 0. Demostraremos que las desigualdades que aparecen en (3.13) no pueden ser estrictas. Suponga que para algn estado j, i i pij j . Entonces u
i,j
i pij
pij
i .
Esto es una contradiccin, por lo tanto (3.13) es en realidad una igualdad. o Ahora se establecen condiciones sucientes para que exista el l mite de las probabilidades de transicin cuando el nmero de pasos n crece a innio u to. Este resultado es una especie de rec proco del resultado anterior, pues supone la existencia de una distribucin estacionaria para concluir que los o l mites de las probabilidades existen. Teorema 3.2 (Convergencia a la distribucin estacionaria) Cono sidere una cadena de Markov que es: a) irreducible, b) aperidica, y o c) con distribucin estacionaria . o
84
3. Cadenas de Markov j .
Entonces para cualesquiera estados i y j, l pij n m

n
Demostracin. El mtodo de esta demostracin se conoce como tcnica o e o e 0 una cadena de Markov independiente de la de acople. Sea Yn : n original Xn : n 0, pero con la misma matriz de probabilidades de transicin. Entonces el proceso Zn : n 0 denido por Zn Xn , Yn es o una cadena de Markov con probabilidades de transicin o P Zn1
xn1 , yn1
Zn
xn, yn
pxn ,xn1 pyn ,yn1 ,
y puede fcilmente comprobarse que tiene distribucin estacionaria a o xn ,yn x n yn .
Puede adems vericarse que la cadena Zn : n 0 es recurrente positiva. a o Adems es irreducible, pues como Xn : n 0 y Yn : n 0 son aperidia cas, existe un nmero natural N tal que pij n pkl n 0, para toda n N . u Por lo tanto pi,kj,l n 0. Sea j un estado cualquiera de la cadena original. Dena el primer momento n en el que la cadena Zn : n 0 visita el estado j, j como j m n 1 : Zn j, j . Sea adems a m n 1 : Xn Yn . Este es el primer n momento de acople de las dos cadenas. Como Zn : n 0 es recurrente, 1. Adems j . Por la propiedad de Markov, a P P Xn x, n
n j r 1 n r 1 n r 1
P Xn P Xn P Yn P Yn x,
x, Xr x Xr x Yr x Yr n,
j, j, j,
r r P Xr r P Yr j, j, j, r r r
j P Yr
P Yn
r 1
3.14. Distribuciones l mite
85
es decir, sobre el evento n, las variables Xn y Yn tienen la misma distribucin de probabilidad. Por otro lado, o P Xn j P Xn P Yn P Yn De manera anloga, P Yn a P Xn cuando n tiene que P Xn j P Y n j j, j, n P Xn n . j P P n n P Xn j, j, n n
j P P Xn j
n. Por lo tanto, 0, (3.14)
j P Y n
. Si ahora se toma X0 P Xn j iP X0
i con probabilidad uno, entonces se i i i pij n P X0
j X0
pij n.
Por otro lado, si se toma Y0 con la distribucin estacionaria , entonces o P Yn j Y0 i pij n j .
Substituyendo estas expresiones en (3.14) se conluye que pij n j 0.
El siguiente resultado establece condiciones sucientes para la existencia del l mite de las probabilidades de transicin cuando el nmero de pasos o u crece a innito, asegurando adems que el l a mite obtenido constituye una distribucin de probabilidad estacionaria. o Teorema 3.3 (Convergencia para cadenas de Markov) Considere una cadena de Markov que es: a) irreducible, b) recurrente positiva, y c) aperidica. o
86 Entonces las probabilidades lmite j j
3. Cadenas de Markov l pij n existen, estn dadas por m a
1j , y constituyen la unica solucin al sistema de ecuaciones o

n
j sujeto a las condiciones j 0, y
i j
i pij , 1.
(3.15)
Demostracin. Como la cadena es irreducible y recurrente positiva, tiene o una unica distribucin estacionaria dada por j 1j . Es decir, es la unica o solucin al sistema de ecuaciones P , con j 0 y j j 1. Adems, o a j . por la aperiodicidad, pij n
3.15.
Cadenas regulares
Las cadenas de Markov regulares son cadenas nitas que cumplen la propiedad de que a partir de un cierto momento, con probabilidad positiva se puede pasar de un estado a otro cualquiera en un paso. Demostraremos que para este tipo de cadenas siempre existe la distribucin l o mite. Denicin 3.15 Se dice que una cadena nita o su matriz de probabilidao des de transicin es regular si existe un entero natural n tal que pij n 0, o para cualesquiera estados i y j. En palabras, una cadena de Markov nita es regular si alguna potencia de su matriz de probabilidades de transicin tiene todas sus entradas estrictao mente positivas. Otra forma de denir a una cadena regular es a travs del e siguiente resultado. Proposicin 3.20 Una matriz estocstica es regular si, y slo si, es nita, o a o irreducible y aperidica. o Demostracin. Si la matriz es regular, entonces claramente es nita, o irreducible y aperidica. Rec o procamente, por la irreducibilidad, para cualesquiera dos estados i y j, existe un entero m tal que pij m 0. Entonces existe un entero N tal que pij m n dj 0, para cada n N . Como dj 1 y siendo la matriz nita, esto implica la regularidad.
3.15. Cadenas regulares
87
Para este tipo particular de cadenas nitas se conocen los siguientes resultados acerca de su comportamiento l mite. Proposicin 3.21 Toda cadena nita que adems es: o a 1. regular, tiene como distribucin lmite la unica solucin no negativa o o del sistema de ecuaciones (3.15). 2. regular y doblemente estocstica, tiene como distribucin lmite la disa o tribucin uniforme. o 3. irreducible, aperidica y doblemente estocstica, tiene como distribuo a cin lmite la distribucin uniforme. o o Demostracin. o 1. Como la cadena es regular, es irreducible, aperidica, y es recurrente o positiva por ser nita. Por el Teorema 3.3, la distribucin l o mite existe y est dada por el sistema de ecuaciones (3.15). a 2. Como la cadena es regular, es aperidica, irreducible y recurrente o positiva por ser nita. Entonces la distribucin l o mite existe. Por la hiptesis de doble estocasticidad y suponiendo que el espacio de o 1. Tomando el estados es 0, 1, . . . , N , se tiene que N 0 pij n i l mite cuando n tiende a innito se obtiene N 0 j 1. Por lo tanto, i j 1N 1. 3. Este resultado es idntico al anterior, pues hemos demostrado que la e regularidad es equivalente a la nitud, irreducibilidad y aperiodicidad conjuntamente.
Ejemplo 3.25 Sea Sn la suma de los resultados que se obtienen al lanzar un dado equilibrado n veces. Encontraremos
n
u l P Sn es mltiplo de 7. m
88
Dena el proceso Xn Sn mod. 7 cuyo espacio de estados es 0, 1, . . . , 6. No es difcil convencerse de que Xn : n 1 es una cadena de Markov con matriz de probabilidades de transicin o

0 16 16 16 16 16 16 16 0 16 16 16 16 16 1 6 16 0 16 16 16 16 16 16 16 0 16 16 16 16 16 16 16 0 16 16 16 16 16 16 16 0 16 16 16 16 16 16 16 0
El evento Sn es mltiplo de 7 es idntico al evento Xn u e 0, de modo que la probabilidad de que Sn sea mltiplo de 7 a largo plazo es el tiempo de u estancia a largo plazo que la cadena Xn : n 1 pasa en el estado 0. El problema se reduce a encontrar la distribucin lmite de P . Pero esta matriz o es regular, y entonces su distribucin lmite es la uniforme. Por lo tanto, o
n
l P Xn m
17.
3.16.
Cadenas reversibles
Sea Xn : n 0 una cadena de Markov con probabilidades de transicin o Xmn para pij . Sea m 1 un entero jo y dena un nuevo proceso Yn n 0, . . . , m, es decir, Yn : n 0, . . . , m es la cadena original pero vista en sentido inverso en el tiempo, ahora del tiempo m al tiempo 0. Este nuevo proceso resulta tambin ser una cadena de Markov, pues cumple el criterio e de independencia entre pasado y futuro cuando se conoce el presente, las nociones de pasado y futuro se intercambian debido al cambio en el sentido r n m, considere la probabilidad del tiempo. En efecto, para 1 condicional P y1 , . . . , yr1 , yr1 , . . . , yn yr . En trminos del proceso Xn : n e P Xm1 Xmr1 0, esta probabilidad es yr1 , yn Xmr yr .
y1 , . . . , Xmr1
yr1 , . . . , Xmn
3.16. Cadenas reversibles Por la propiedad de Markov del proceso Xn : n el producto P Xm1 P Xmr1 y1 , . . . , Xmr1 yr1 , . . . , Xmn
89 0, esta probabilidad es yr
yr1 Xmr
que en trminos del proceso Yn : n e para este proceso
0, . . . , m es la propiedad de Markov
yn Xmr
yr ,
P y1 , . . . , yr1 yr P yr1 , . . . , yn yr . Sin embargo, las probabilidades de transicin del nuevo proceso no son hoo mogneas pues para 0 n m, e P Yn1 j Yn i P Xmn i, Xmn1 P Xmn i P Yn1 j , P Yn i i Xmn1 j j P Xmn1 j P Xmn i
P Xmn pji
es decir, estas probabilidades dependen de n a travs del cociente P Yn1 e j P Yn i. Tal dependencia desaparece cuando se toma como hiptesis o la existencia de una distribucin estacionaria para Xn : n 0, pues en o tal caso la igualdad anterior se reduce a j P Yn1 j Yn i pji . (3.16) i Bajo tal hiptesis las probabilidades de transicin de la nueva cadena son o o ahora estacionarias. Si adicionalmente se pide que las probabilidades de transicin son las mismas para ambas cadenas, entonces de la ecuacin (3.16) o o se obtiene que debe satisfacerse la ecuacin pij pji j i , es decir, i pij o j pji . Esto lleva a la siguiente denicin de reversibilidad, la cual aade la o n hiptesis de irreducibilidad. o Denicin 3.16 Se dice que una cadena de Markov irreducible con probao bilidades de transicin pij y con distribucin estacionaria es reversible en o o el tiempo si para cualesquiera estados i y j, i pij j pji . (3.17)
90
A la ecuacin (3.17) se llama ecuacin de balance detallado. La utilidad de o o las cadenas reversibles est dada por el siguiente resultado, el cual ejemplia caremos ms adelante con un par de aplicaciones. a Proposicin 3.22 Considere una cadena irreducible para la cual existe una o distribucin que cumple la identidad (3.17). Entonces es una distribuo cin estacionaria y la cadena es reversible. o Demostracin. Si cumple (3.17), entonces es una distribucin estao o cionaria pues i i pij a j pji j . Adems la cadena es reversible por i denicin. o Ejemplo 3.26 Considere nuevamente la cadena de Ehrenfest. El espacio o de estados es 0, . . . , N , y las probabilidades de transicin son, para i 1, . . . , N 1, i 1, N iN si j si j i 1, pij iN 0 otro caso, 1 y pN,N 1 1. Esta cadena es nita, irreducible y recurrente con p01 positiva. Estas propiedades garantizan que la cadena tiene una unica dis tribucin estacionaria. Si se desea encontrar esta distribucin estacionaria o o a travs de la ecuacin P , uno tendra que resolver el sistema e o 1 1 , N N i1 i1 i1 i1 , para i 1, . . . , N 1, i N N 1 N 1 . N N A partir de estas ecuaciones hemos demostrado en el Ejemplo 3.22 de la pgina 78 que es la distribucin binN, 12. Alternativamente, usando el a o concepto de reversibilidad se puede intentar encontrar una posible solucin o al sistema de ecuaciones i pij j pji , 0 el cual, despus de algunos clculos, se reduce al sistema e a i1 N i i , i1 para i 0, 1, . . . , N
1.
3.16. Cadenas reversibles
91
Si existiera una solucin a este sistema de ecuaciones que resulte ser una o distribucin de probabilidad, entonces por la Proposicin 3.22 sabramos que o o dicha distribucin es estacionaria y la cadena sera reversible. Dado que las o probabilidades buscadas se encuentran en trminos de la inmediata anterior, e se puedan escribir todas en trminos de 0 y de esa forma se obtienen las e siguientes expresiones

1 2 . . . N
N 0 , 1 N 0 , 2

N N
0 .
Sumando todas estas cantidades junto a 0 se tiene que 1 0

N i 0
N i
0 2N .

N N es Por lo tanto 0 12N , y encontramos nuevamente que i i 2 la solucin al sistema. Esta es la distribucin binN, 12. Por la Proposio o cin 3.22, sabemos entonces que la distribucin encontrada es estacionaria o o y la cadena es reversible.
Ejemplo 3.27 Considere una caminata aleatoria no homognea sobre el e conjunto 0, 1, . . . , con probabilidades de transicin o
pi
pij
qi
pi q i
si j i 1, si j i 1, si j i, otro caso,
en donde q0 0. Esta es una cadena irreducible. Si uno busca una distribu P , se tendra que resolver cin estacionaria a travs de la ecuacin o e o el sistema de ecuaciones 0 i 0 1 p0 q1 1 , i1 qi1 i 1 pi qi i1 pi1 , para i 1.
92
Sin embargo la condicin (3.17) se traduce en el sistema ms simple i pi o a o a i1 qi1 . Una posible solucin de este sistema (su existencia depender de los parmetros pi y qi ), ser la distribucin estacionaria para esta caminata a a o y la cadena ser entonces reversible en el tiempo. a Resumen de la notacin utilizada. Como referencia se presenta a cono tinuacin una lista de la notacin utilizada en este cap o o tulo. pij pij n Probabilidad de pasar del estado i al estado j en un paso, es decir, pij P X1 j X0 i. Probabilidad de pasar del estado i al estado j en n pasos, es decir, pij n P Xn j X0 i. En algunos textos aparece tambin como e n . En particular, se dene p 0 , que vale uno cuando i j, pij ij ij y cero cuando i j. Probabilidad de llegar por primera vez al estado j a partir del estaj, Xn1 do i exactamente en el paso n, es decir, fij n P Xn n . En parj, . . . , X1 j X0 i. A veces se escribe tambin como fij e ticular se dene fij 0 0 para cualesquiera estados i y j, incluyendo el caso i j. Probabilidad de una eventual visita el estado j a partir del estado i. En trminos de probabilidades de primeras visitas, esta probabilidad e es fij k 0 fij n. Variable aleatoria que registra el nmero de visitas realizadas al estado u j durante las primeras n transiciones, cuando la cadena inicia en el n estado i, es decir, Nij n i. k 1 1Xk j , cuando X0 Variable aleatoria que cuenta el nmero total de visitas realizadas u al estado j cuando la cadena inicia en el estado i, es decir, Nij i. Puede tomar el valor innito. k 1 1Xk j , cuando X0 Tiempo en el que se logra la primera visita el estado j a partir del n estado i, es decir, ij m n 1 : Xn j , cuando X0 i. Toma el valor innito cuando nunca ocurre tal evento. Cuando i j se escribe i , y corresponde al tiempo del primer regreso al estado i.
fij n
fij
Nij n
Nij
ij
3.17. A. A. Markov ij
93
Tiempo medio de primera visita al estado j a partir del estado i, es decir, ij E ij . Puede ser innito. Cuando i j se escribe i y se le llama tiempo medio de recurrencia del estado i.
Notas y referencias. El tema de cadenas de Markov a tiempo discreto aparece en casi cualquier texto de procesos estocsticos en mayor o menor a profundidad, e incluso puede encontrarse tambin en los ultimos cap e tulos de algunos textos de probabilidad. El tema es regularmente la parte inicial y obligada de un curso elemental de procesos estocsticos. Las siguientes a referencias son una muestra de algunos textos que contienen cap tulos sobre el tema de cadenas de Markov a un nivel similar al presentado: Karlin y Taylor [17], Brzeniak y Zastawniak [3], Jones y Smith [15], Hoel, Port y z Stone [14], y Stirzaker [34]. Los textos de Caballero et al [4] y Norris [24], estn dedicados enteramente al tema de cadenas de Markov. a
3.17.
A. A. Markov
Andrey Andreyevich Markov (Rusia, 1856 1922) tuvo una salud muy precaria durante sus primeros aos de vida, teniendo que can minar con muletas hasta la edad de 10 aos. n En 1874 ingres a la Facultad de F o sica y Matemticas de la universidad de San Pea tersburgo, y asisti a las clases de reconoo cidos matemticos de la poca, entre ellos a e P. L. Chebyshev, quien tuvo una inuencia decisiva en el quehacer futuro de Markov. Se A. A. Markov gradu brillantemente en 1878, y continu con o o sus estudios de maestr los cuales concluy en 1880. Trabaj como profea, o o sor en la universidad de San Petersburgo al mismo tiempo que estudiaba para su doctorado, el cual concluy en 1884. Continu trabajando en la o o misma universidad por prcticamente el resto de su vida. Despus de 1900, a e y siguiendo los trabajos de P. L. Chebyshev, aplic el mtodo de fracciones o e continuas en la teor de la probabilidad. Markov fue el mejor exponente a y continuador de las ideas de Chebyshev y de sus temas de investigacin o en probabilidad. Especialmente sobresalientes son sus trabajos sobre la ley
94
de los grandes nmeros y el teorema central del l u mite, as como otros re sultados fundamentales de la teor de la probabilidad, y sobre el mtodo a e de m nimos cuadrados. Markov fue un profesor muy estricto pero tambin e muy claro en sus exposiciones, y demandaba mucho rigor matemtico en a los argumentos de sus estudiantes. Markov desarroll su teor de cadenas o a de Markov desde un punto de vista matemtico, aunque tambin aplic su a e o modelo en el anlisis de estilos de escritura en poemas. Con sus trabajos soa bre cadenas de Markov fund una nueva rama de la probabilidad e inici la o o teor de los procesos estocsticos. a a Fuente: Archivo MacTutor, Universidad de St. Andrews.
3.18.
Ejercicios
Recordemos que para hacer la notacin ms corta, a la probabilidad P Xn o a xn se le ha escrito como pxn , es decir, el sub ndice indica tambin la variae ble a la que se hace referencia. El signicado de la probabilidad condicional pxn1 xn es anlogo. a Propiedad de Markov 20. Demuestre que la propiedad de Markov (3.1) es equivalente a cada una de las siguientes condiciones. a) Esta condicin establece que la distribucin conjunta queda eso o pecicada a travs de la distribucin inicial y las probabilidades e o de transicin en un paso: para cualesquiera estados x0 , . . . , xn , o px0 , x1 , . . . , xn px0 px1 x0 pxn xn1 .
b) Esta condicin establece que el futuro, sin importar lo distante o que se encuentre, depende solamente del ultimo momento obser vado: para cualesquiera enteros n, m 1, pxnm x0 , . . . , xn pxnm xn .
c) Esta es la condicin de Markov para tiempos no necesariamente o consecutivos: para cualesquiera enteros 0 n1 nm1 , pxnm1 xn1 , . . . , xnm pxnm1 xnm .
3.18. Ejercicios
95
d) Esta condicin expresa la independencia entre el pasado y el o futuro cuando se conoce el presente: para cualesquiera enteros 0 k n, px0 , . . . , xk1 , xk1 , . . . , xn xk px0 , . . . , xk1 xk pxk1 , . . . , xn xk .
e) En esta condicin se consideran varios eventos en el futuro: para o cualesquiera enteros n, m 1, pxnm , . . . , xn1 x0 , . . . , xn pxnm xnm1
pxn1
xn .
Matrices estocsticas a 21. Demuestre que: a) si P y Q dos matrices estocsticas (o doblemente estocsticas) a a de la misma dimensin, entonces P Q tambin es estocstica (o o e a doblemente estocstica). a b) si P es estocstica (o doblemente estocstica), entonces para cuala a quier entero positivo n, la potencia P n tambin es estocstica (o e a doblemente estocstica). a 22. Demuestre que una matriz cuadrada P puede ser tal que la potencia a P n sea estocstica para algn entero n 2, sin ser P misma estocstia u ca. 23. Demuestre que si una matriz estocstica P es simtrica, entonces para a e cualquier n 1, la potencia P n tambin es simtrica. e e 24. Demuestre que toda matriz estocstica simtrica es doblemente esa e tocstica. a 25. Demuestre que toda matriz estocstica nita tiene siempre al nmero a u uno como valor propio.
96 Probabilidades de transicin o
0 una cadena de Markov con espacio de estados 26. Sea Xn : n 0, 1, 2 y con matriz de probabilidades de transicin o
P Calcule: b) P X3 a) P X2 0, X1 1, X2 0 X0 1 X1
0.4 0.3 0.3 0.3 0.2 0.5 . 0.7 0 0.3 1. 2.
27. Sea Xn : n 0 una cadena de Markov con dos estados 0, 1, con distribucin inicial P X0 0 12, P X0 1 12, y con matriz o de probabilidades de transicin o
P Calcule: b) P X0 d) P X2 e) P X0 c) P X1 a) P X0 0, X1 0 X1 0. 1. 0, X1 0, X2 1, X2 1.
410 610 910 110
0.
1, X3
1.
28. Sea Xn : n 0 una cadena de Markov con espacio de estados 0, 1, con distribucin inicial P X0 o 0 15, P X0 1 45, y con matriz de probabilidades de transicin o
P Encuentre: a) la distribucin de X1 . o
12 12 23 13
3.18. Ejercicios b) la distribucin de X2 . o d) la esperanza condicional E X2 X1 . c) la distribucin conjunta de X1 y X2 . o
97
29. Considere una cadena de Markov de dos estados: 0 y 1, con matriz de probabilidades de transicin o
15 45 12 12
Suponga que la cadena tiene una distribucin inicial dada por el vector o 35, 25. Encuentre P X1 0, P X1 1, P X2 0 y P X2 1. 30. Considere una cadena de Markov de dos estados: 0 y 1, con distribuo cin inicial 12, 12, y con matriz de probabilidades de transicin o
P Encuentre: b) P X5 c) P X3 a) la distribucin de X1 . o 1 X4 0 X1 0 X98 0 X2 1 X2 0, X2 0. 0. 0.
13 23 34 14
d) P X100 e) P X1 f) P X1
0. 1. 0.
g) P X3
1, X3 0 X1
31. Ecuacin de Chapman-Kolmogorov para cadenas no homogneas. Cono e sidere una cadena de Markov con probabilidades de transicin no neceo sariamente homogneas pij n, m P Xm j Xn i, para n m. e Demuestre que para cualquier tiempo u tal que n u m, pij n, m
pik n, u pkj u, m.
32. Demuestre o proporcione un contraejemplo.
98 a) pij n pij 1 pjj n 1. 1 pji n.
b) pij n
33. Demuestre que: a) pii n pii m b) sup pij n

n
pii n m fij
n 1
pii n pii m 1 pii n.
pij n. 0. 0.
c) i d) i e)
n 1
j si, y slo si, fij o j si, y slo si, fij fji o pij n fij
n 1
pjj n 1 .
Cadenas de Markov 34. Sea 1 , 2 , . . . una sucesin de variables aleatorias independientes con o e o valores en el conjunto 0, 1, . . . , y con idntica distribucin dada por las probabilidades a0 , a1 , . . . Determine si el proceso Xn : n 1 dado por Xn m 1 , . . . , n es una cadena de Markov. En caso n armativo encuentre la matriz de probabilidades de transicin. o 35. Para la cadena de Markov de dos estados, compruebe que: b) P X0 c) P X2 a) P X0 0, X1 0, X2
ab 1 aa p0 . 0 1 a ab p0 1 bb b1 a p1 .
2
1, X2 1
ab p0 .
36. Para la cadena de Markov de dos estados con distribucin inicial o 0 , 1, use induccin sobre n para demostrar que para a b 0, o a) P Xn b) P Xn 0 1 b ab a ab b 0 a b 1 a bn . a 1 a b 1 a bn . ?
Cul es el l a mite de esta distribucin cuando n o
3.18. Ejercicios
99
37. Encuentre la matriz de probabilidades de transicin de la cadena de o Markov de cuatro estados dada por el laberinto de la Figura 3.18. A partir de cada posicin slo se permite pasar a los estados como o o indica el diagrama, con idntica probabilidad para todas las posibilie dades. Suponga que no se permite permanecer en la misma posicin o al efectuarse un movimiento.
Figura 3.18 38. Se lanza un dado equilibrado repetidas veces. Sea Xn el nmero de u lanzamientos realizados al tiempo n desde la ultima vez que apareci el o nmero 6. Demuestre que Xn : n 1 es una cadena de Markov y u encuentre las probabilidades de transicin. o 39. Sea Xn : n 0 una cadena de Markov con probabilidades de tran1 un entero jo. Demuestre que los siguientes sicin pij , y sea m o procesos son tambin cadenas de Markov y encuentre las correspone dientes probabilidades de transicin. o b) Xnm : n a) Xnm : n 0. 0.
40. Demuestre que para cualquier entero n a) P Xn b) P Xn j j

i i
1,
P Xn1 P X0
i pij 1. i pij n.
41. Considere una cadena de Markov con espacio de estados 0, 1, . . . , N ,
100
3. Cadenas de Markov y probabilidades de transicin tales que para cualquier estado i, o E Xn1 Xn i
N j 0
j pij
i,
es decir, el estado promedio despus de una transicin es el estado e o inicial. Demuestre que esta cadena es una martingala y que los estados 0 y N son absorbentes. 42. Renovaciones discretas. Sea 1 , 2 , . . . una sucesin de variables aleatoo rias independientes idnticamente distribuidas, y con valores en el e conjunto 1, 2, . . . . Interpretaremos estas variables discretas como los tiempos de vida de art culos puestos en operacin uno despus de otro o e en un proceso de renovacin a tiempo discreto. Sea X0 o 0 y para cada n 1 sea Xn 1 n . Para cada k 1, 2, . . . dena Nk mx n a 1 : Xn k.
Si el conjunto indicado es vac entonces el mximo se dene como o, a cero. La variable Nk cuenta el nmero de renovaciones efectuadas hasu culo ta el tiempo k. Sea Ak k XNk , es decir, Ak es la edad del art que se encuentra en operacin al tiempo k, o bien, el tiempo transcuo rrido desde la ultima renovacin. La notacin A proviene del trmino o o e en ingls Age. Demuestre que el proceso Ak : k 1 es una cadena e de Markov con espacio de estados 0, 1, . . . , y con probabilidades de transicin o pi,0 P X P X i 1 , i 1 pi,i1 P X P X i 2 . i 1
43. Considere la cadena de inventarios en donde n tiene distribucin unio 1 y S 4. Encuentre la forme en el conjunto 0, 1, 2, 3, con s matriz de probabilidades de transicin de esta cadena. o 0 la cadena de Markov de dos estados. Demuestre 44. Sea Xn : n que el proceso Yn Xn1 , Xn es una cadena de Markov. Determine el espacio de estados de este nuevo proceso y encuentre la matriz de probabilidades de transicin. Generalice este resultado para cualquier o cadena con espacio de estados 0, 1, . . . .
3.18. Ejercicios
101
45. Se colocan N bolas negras en una primera urna, y N bolas blancas en una segunda urna. Se selecciona al azar una bola de cada urna y se intercambian. Este ensayo se repite varias veces. Sea Xn el nmero de u bolas blancas en la primera urna despus del n-simo ensayo. Justie e que que Xn : n 1 es una cadena de Markov y encuentre la matriz de probabilidades de transicin. o 46. Sea 0 , 1 , . . . una sucesin de variables independientes con idntica o e 1 denido distribucin Berp. Determine si el proceso Xn : n o a continuacin es una cadena de Markov. En caso armativo detero mine el espacio de estados y encuentre la matriz de probabilidades de transicin. o a) Xn b) Xn c) Xn n n1 . Xn1 n .
Xn1 n , (md. 2). o
47. Sea 1 , 2 , . . . una sucesin innita de variables independientes con o valores en el conjunto 0, 1, 2, 3, 4 y con idntica distribucin dada e o por p0 , p1 , p2 , p3 , p4 . Determine si el proceso Xn : n 1 denido a continuacin es una cadena de Markov. En caso armativo encuentre o el espacio de estados y la matriz de probabilidades de transicin. o X0 Xn1 0, o Xn n1 (md. 5), para n
0.
48. Modicacin de la cadena de Ehrenfest. Considere el esquema de dos o urnas como en la cadena de Ehrenfest con un total de N bolas. Suponga ahora que un ensayo consiste en que cada una de las bolas se cambia de urna con una distribucin de probabilidad especicada p1 , . . . , pN , o sin importar la posicin de las bolas. Sea Xn el nmero de bolas en o u una de las urnas despus del n-simo ensayo. Es esta una cadena de e e Markov? En caso armativo encuentre la matriz de probabilidades de transicin. o 0 una cadena de Markov con espacio de estados E. 49. Sea Xn : n Dena el proceso Yn : n 0 de la siguiente forma: Yn Xn , Xn1 .
102
3. Cadenas de Markov Determine el espacio de estados del proceso Yn : n 0, demuestre que es una cadena de Markov y encuentre sus probabilidades de transicin en trminos de las probabilidades de transicin de Xn : n 0. o e o Comunicacin o
50. Demuestre que la comunicacin entre los estados de una cadena de o Markov es una relacin de equivalencia. o 51. Dibuje un diagrama de transicin e identique las clases de comunio cacin para las siguientes cadenas de Markov. o
0.4 0.6
0.3 0.5
0 0
0.7 0 0.5
0 0.2 0 0.8 0.4 0.6 0 0 0 0 1 0 0 0 0.3 0.7
52. Cul es el nmero mximo y m a u a nimo de clases de comunicacin que o puede existir para una cadena de Markov de n estados? Dibuje un diagrama de transicin ilustrando cada una de estas dos situaciones. o 53. Dibuje el diagrama de transicin de una cadena de Markov que sea: o a) nita e irreducible. b) nita y reducible. c) innita e irreducible. d) innita y reducible. 54. Dibuje un diagrama de transicin y encuentre las clases de o cacin para cada una de las siguientes cadenas de Markov. o 0 0 1 12 12 0 1 0 0 a P 12 0 12 b P 12 12 0 0 0 1 13 13 13 0 1 0 0 0 0 0 1 c P 0 1 0 0 12 0 12 0 comuni0 0 0 0
3.18. Ejercicios
103
55. Considere una cadena de Markov con n estados. Demuestre que si i j con i j, entonces es posible pasar de i a j en a lo sumo n 1 pasos. Periodo 56. Dibuje un diagrama de transicin, determine las clases de comunio cacin y calcule el periodo de cada uno de los estados de las siguientes o cadenas de Markov. 13 13 13 0 12 12 0 1 0 0 0 b P a P 12 12 0 12 12 0 0 0 12 12 13 13 13 0
12 0 12 0 0 0 0 1 12 0 12 0 14 14 14 14
57. Dibuje un diagrama de transicin, determine las clases de comunio cacin y calcule el periodo de cada uno de los estados de las siguientes o cadenas de Markov.
a) P
14 14 14 14 0 12 12 0 0 0 0 1 0 0 1 0

b) P
0 0 0 0 1 0 0 1 0 0 0 0 0 12 12 0 0 1 0 0 15 15 15 15 15
58. En la Proposicin 3.4 se ha demostrado que el periodo es una propieo dad de clase, es decir, dos estados que pertenecen a la misma clase de comunicacin tienen el mismo periodo. El rec o proco de tal armacin o es en general falso, es decir, dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes. Proporcione un ejemplo de tal situacin. o
104
59. Demuestre que no existe una cadena de Markov irreducible de periodo cero. 60. Demuestre que toda cadena de Markov nita tiene por lo menos un estado de periodo positivo.
Tiempo y probabilidad de primera visita 61. Demuestre que i j, si y slo si, fij o 0.
62. Use la identidad (3.2) para demostrar que para cada n 1, se cumple la desigualdad pij n P ij n. Observe que la igualdad se cumple en particular cuando j es un estado absorbente. 63. Demuestre las siguientes igualdades. a) P ij b) P ij c) P ij 1 2 pij 1.
pik 1 pkj 1.
k j
k j
n 1
pik 1 P kj
n,
para n
1.
Tiempo medio de absorcin o 64. Se efecta un sucesin de lanzamientos independientes de una moneda u o equilibrada con resultados A y S. Encuentre el nmero esperado de u lanzamientos para que aparezca la secuencia particular a) S . b) SA . c) SAS .
3.18. Ejercicios Recurrencia y transitoriedad
105
65. Encuentre las clases de comunicacin de la siguiente cadena de Maro kov. Encuentre adems los periodos, y clasique cada clase de comua nicacin como transitoria o recurrente. o

12 12 0 0 16 16
12 12 0 0 16 16
0 0 12 12 16 16
0 0 0 0 0 0 12 0 0 12 0 0 16 16 16 16 16 16
66. Demuestre que todo estado absorbente es recurrente. 67. Determine las clases de comunicacin de las siguientes cadenas de o Markov y clasique stas como recurrentes o transitorias. e
12 12 0 0 12 12 0 12 12
12 0 0 14
12 0 0 12 12 0 12 12 0 14 14 14
68. Dibuje un diagrama de transicin de una cadena de Markov tal que: o a) Todos sus estados sean recurrentes. b) Todos sus estados sean transitorios. c) Tenga igual nmero de estados transitorios y recurrentes. u 69. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transicin de la Figura 3.19(a) es transitorio. o 70. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transicin de la Figura 3.19(b) es recurrente. Suponga que o 0 1 y 0 1. Concluya que todos los estados de esta cadena son recurrentes. 71. Demuestre que si i es un estado recurrente e i j, entonces j i.
72. Demuestre que toda cadena de Markov nita tiene por lo menos una clase de comunicacin recurrente. o
106
12 0 12 2 12 1 (a) 1
1 2
1 1
1 1
(b)
Figura 3.19 Tiempo medio de recurrencia 73. Considere una sucesin de ensayos independientes Bernoulli con reo sultados A y B, y con probabilidades P A p y P B q 1 p. Calcule el nmero promedio de ensayos para la primera ocurrencia de u la secuencia AB. Clases cerradas 74. Demuestre que: a) La unin de dos clases cerradas es una clase cerrada. o b) Toda cadena de Markov tiene por lo menos una clase cerrada. 75. Demuestre que la coleccin de estados C es cerrada si, y slo si, alguna o o de las siguientes condiciones se cumple. Para cualesquiera i C y j C, b) pij 1 a) pij n 0, para cada n 0. 1.
76. Demuestre que: a) Toda clase de comunicacin recurrente es cerrada. o b) La unin de dos clases de comunicacin recurrentes es una clase o o cerrada.
3.18. Ejercicios
107
c) La unin de todas las clases de comunicacin recurrentes de una o o cadena de Markov es una clase cerrada. 77. Proporcione ejemplos que muestren la invalidez de las siguientes armaciones. a) Si C es una clase cerrada, entonces C c es cerrada. b) Si C1 y C2 son dos clases cerradas, entonces C1 C2 es cerrada. C2 , c) Si C1 y C2 son dos clases cerradas distintas tales que C1 entonces C2 C1 es una clase cerrada. Propiedad fuerte de Markov 78. Sea Xn : n 0 una cadena de Markov con probabilidades de transicin estacionarias y sea un tiempo de paro respecto de este proceso. o Suponiendo que es nito, use el mtodo de induccin para demostrar e o que a) P X n1 j X n i P X1 j X0 i. Esta propiedad es la estacionariedad de las probabilidades de transicin en una o versin ms general. o a b) Se cumple la propiedad fuerte de Markov: La probabilidad P X n1 j X0 x0 , . . . , X n1 j X n i. xn1 , X n i
es igual a P X n1
79. Sea Xn : n 0 una cadena de Markov con espacio de estados S y sea S1 es subconjunto propio no vac de S. Dena el proceso Yn : n 0 o como el proceso original visto unicamente cuando toma valores en S1 . a) Demuestre que 0 , 1 , . . . denidos abajo son tiempos de paro respecto del proceso Xn : n 0. 0 n m n n m n n
S1, n1 : Xn S1 ,
0 : Xn
1.
108
3. Cadenas de Markov b) Suponiendo que P n 1 para toda n 0, demuestre que Yn : n 0 es una cadena de Markov y encuentre su matriz de probabilidades de transicin. Observe que Yn Xn para n 0. o
80. Sea Xn : n 0 una cadena de Markov y dena el proceso Yn : n 0 como el proceso original visto unicamente cuando cambia de estado. a) Demuestre que 0 , 1 , . . . denidos abajo son tiempos de paro respecto del proceso Xn : n 0. 0 n 1 0, m n n n : Xn Xn , n 0. 0.
1 para toda n 0, es decir, no hay b) Suponiendo que P n estados absorbentes, demuestre que Yn : n 0 es una cadena de Markov y encuentre su matriz de probabilidades de transicin. o
Recurrencia positiva y nula 81. Determine si la cadena de racha de xitos es recurrente positiva o nula. e 82. Sea Xn : n 0 una cadena de Markov con espacio de estados 0, 1, 2, . . . y probabilidades de transicin o p0,i pi,i1 ai para i 0, 1, 2, . . . 1, 2, 3, . . . 1 para i
Observe que se puede escribir Yn
Xn , para n
1. Encuentre condiciones sucientes sobre en donde a0 a1 estas probabilidades para que la cadena sea: a) Irreducible. b) Recurrente. c) Recurrente positiva. 83. Sea P una matriz doblemente estocstica. Demuestre directamente a que:
3.18. Ejercicios
109
a) Si P es nita, entonces todos los estados son recurrentes positivos. b) Si P es innita e irreducible, entonces todos los estados son transitorios o recurrentes nulos. Distribuciones estacionarias 84. Encuentre todas las distribuciones estacionarias, si existen, para cada una de las siguientes cadenas de Markov.
12 12 0 0 12 12 0 12 12
12 0 0 14
12 0 0 12 12 0 12 12 0 14 14 14
85. Determine si existe alguna distribucin estacionaria para la siguiente o matriz estocstica. En caso armativo encuentre todas las distribua ciones estacionarias.
1p 0 1p 0
p 0 0 1p p 0 1 0
0 p 0 0
86. Demuestre que la siguiente cadena de Markov tiene un nmero innito u de distribuciones estacionarias.
12 0 12 0 0 12 0 12 12 0 12 0 . 0 12 0 12
87. Demuestre que la cadena del jugador tiene una innidad de distribuciones estacionarias. 88. Demuestre que la cadena de variables aleatorias independientes tiene una unica distribucin estacionaria dada por 0 , 1 , . . . a0 , a1 , . . .. o 89. Demuestre que toda matriz doblemente estocstica, aperidica, nita a o e irreducible tiene una unica distribucin estacionaria dada por la o distribucin uniforme. o
110
90. Demuestre que si la distribucin uniforme es una distribucin estao o cionaria para una cadena de Markov nita, entonces la correspondiente matriz de probabilidades de transicin es doblemente estocstica. o a 91. Considere una cadena de Markov a tiempo discreto con espacio de estados nito y tal que para cada estado j los siguientes l mites existen y no dependen del estado i,
n
l pij n m
j .
Demuestre que
j es una distribucin estacionaria. o
92. Justique la existencia y unicidad, y encuentre la distribucin estao cionaria para una caminata aleatoria simple no simtrica sobre el cone junto 0, 1, . . . , n, en donde los estados 0 y n son reejantes, es decir: p00 q, p01 p, pnn p, pn,n1 q. Las otras probabilidades de transicin son: pi,i1 p y pi,i1 q para i 1, 2, . . . , n 1. o 93. Considere una caminata aleatoria Xn : n 0 sobre el conjunto 0, 1, . . . , N 1, N en donde los estados 0 y N son reejantes, es decir, P Xn1 1 Xn 0 1 y P Xn1 N 1 Xn N 1. El resto de las probabilidades de transicin son P Xn1 i 1 Xn i p o i 1 Xn i q, para i 1, 2, . . . , N 1. Vase la e y P Xn1 Figura 3.20. Calcule el nmero promedio de visitas que la caminata u realiza a cada uno de sus estados.
1 0 1 q p i i1 1
i 1
N 1
Figura 3.20 94. Sea P la matriz de probabilidades de transicin de una cadena de Maro kov con n estados. Demuestre que es una distribucin estacionaria o para P si y slo si o I P A a,
3.18. Ejercicios
111
en donde I es la matriz identidad de nn, A es una matriz cuadrada de nn con el valor 1 en cada una de sus entradas, y a es un vector rengln o e de dimensin 1 n con el valor 1 tambin en todas sus entradas. o Este resultado permite encontrar la posible distribucin estacionaria o o invirtiendo la matriz I P A, cuando tal operacin es posible. Como un ejemplo vase el siguiente ejercicio. e 95. Recuerde que una matriz cuadrada de 2 2 y su inversa tienen las siguientes expresiones generales cuando ad bc 0.
a b c d
A1
ad bc
d c
b
a
Use este resultado y el ejercicio anterior para deducir nuevamente que la distribucin estacionaria para la cadena de Markov de dos estados, o cuando a b 0, es a b 0 , 1 a b , a b . 96. Demuestre que si es una distribucin estacionaria para P , entonces o lo es para P n para cualquier n natural. Por otra parte, si es estacionaria para P n para algn n 2, entonces no necesariamente es u estacionaria para P . Considere por ejemplo la matriz estocstica a
0 1 1 0
Entonces P 2 es la matriz identidad que acepta como distribucin estao cionaria a cualquier distribucin de probabilidad 0 , 1 , sin emo bargo no es estacionaria para P , a menos que sea la distribucin o uniforme. Distribuciones l mite 97. Calcule la distribucin l o mite, cuando existe, de las siguientes cadenas de Markov.
112
3. Cadenas de Markov 0 0 1 1 0 0 12 12 0 13 13 13 1 0 0 0 1 0 0 12 0 0 0 0
0 1 0 0
0 0 0 1 3
1 0 1 0
0 0 0 23
0 0 0 12
0 1 0 0
98. El problema de la lluvia. Una persona se traslada todos los d de su as casa a la ocina en la maana, y de la ocina a su casa por la tarde. n Esta persona tiene un coche que usa en cualquiera de estos dos viajes en caso de lluvia, siempre y cuando tenga el coche disponible. No siempre tiene el coche disponible pues ha decidido dejarlo en la casa o en la ocina e irse caminando cuando al salir de alguno de estos lugares no est lloviendo. La probabilidad de lluvia por la maana o a n por la tarde es p 0, independiente un evento del otro. a) Demuestre que la proporcin de viajes a largo plazo en los cuales o la persona se moja por la lluvia es p1 p2 p. b) Demuestre que la respuesta a la pregunta del inciso anterior cuando la persona posee r coches es p1 p1 p r . Cadenas regulares 99. Determine si las siguientes matrices estocsticas son regulares. a
0 1 0 0 0 1 1 0 0
0 1 0 0 12 12 12 12 0
100. Cuntas potencias de una matriz se necesitan calcular como mximo a a para vericar que es regular? 0 y Yn : n 0 dos cadenas de Markov indepen101. Sean Xn : n dientes y regulares. Demuestre que Zn Xn , Yn es una cadena de Markov regular y encuentre sus probabilidades de transicin. o
3.18. Ejercicios Cadenas reversibles
113
102. Resolviendo la ecuacin de balance detallado (3.17), demuestre que o la cadena de dos estados es reversible y encuentre nuevamente que, o a cuando a b 0, la distribucin estacionaria est dada por a b 0 , 1 a b , a b .
114
Cap tulo 4
El proceso de Poisson
En el presente y en el siguiente cap tulo estudiaremos el modelo de cadena de Markov a tiempo continuo. Como una introduccin a la teor general que o a se expondr ms adelante, en este cap a a tulo estudiaremos uno de los ejemplos ms importantes de este tipo de modelos: el proceso de Poisson. Deniremos a este proceso de varias formas equivalentes y estudiaremos algunas de sus propiedades, sus generalizaciones y algunas de sus aplicaciones. El proceso de Poisson es un modelo relevante tanto en las aplicaciones como en la teor a general de los procesos estocsticos. a
4.1.
Denicin o
Suponga que un mismo evento ocurre repetidas veces de manera aleatoria a lo largo del tiempo, como se muestra 0 en la Figura 4.1. Tal evento puede ser, Figura 4.1 por ejemplo, la llegada de una reclamacin a una compa aseguradora o o na la recepcin de una llamada a un conmutador, la llegada de un cliente o a una ventanilla para solicitar algn servicio o los momentos en que una u cierta maquinaria requiere reparacin, etctera. Suponga que las variables o e aleatorias T1 , T2 . . . representan los tiempos que transcurren entre una ocurrencia del evento y la siguiente ocurrencia. Suponga que estos tiempos son independientes uno del otro y que cada uno tiene distribucin exp. Se o 115
116
4. El proceso de Poisson
dene el proceso de Poisson al tiempo t como el nmero de ocurrencias del u evento que se han observado hasta ese instante t. Esta es una denicin cono structiva de este proceso y la formalizaremos a continuacin. Ms adelante o a enunciaremos otras deniciones axiomticas equivalentes. a Denicin 4.1 (Primera denicin) Sea T1 , T2 , . . . una sucesin de vao o o riables aleatorias independientes cada una con distribucin exp. El proo ceso de Poisson de parmetro es el proceso a tiempo continuo Xt : t 0 a denido de la siguiente manera: Xt mx n a 1 : T1 Tn t.
Se postula adems que el proceso inicia en cero y para ello se dene mx a a 0. En palabras, la variable Xt es el entero n mximo tal que T1 Tn es a menor o igual a t, y ello equivale a contar el nmero de eventos ocurridos u hasta el tiempo t. A este proceso se le llama proceso de Poisson homogneo, e tal adjetivo se reere a que el parmetro no cambia con el tiempo, es a decir, es homogneo en e Xt el tiempo. Una trayectoria 3 t pica de este proceso puede observarse en la Figura 4.2, 2 la cual es no decreciente, 1 constante por partes, continua por la derecha y con t l mite por la izquierda. A W1 W2 W3 0 los tiempos T1 , T2 , . . . se les T1 T2 T3 T4 llama tiempos de estancia o tiempos de interarribo, Figura 4.2: El proceso de Poisson y los tiempos de ocurrencia de eventos. y corresponden a los tiempos que transcurren entre un salto del proceso y el siguiente salto. Hemos supuesto que estos tiempos son independientes y que todos tienen distribucin exp. En consecuencia, o T1 Tn tiene distribucin gaman, . Esta variao la variable Wn ble representa el tiempo real en el que se observa la ocurrencia del n-simo e evento. Observe la igualdad de eventos Xt n Wn t, esto equivale a decir que al tiempo t han ocurrido por lo menos n eventos si, y slo si, el o n-simo evento ocurri antes de t. Una de las caracter e o sticas sobresalientes
4.1. Definicion
117
de este proceso es que puede encontrarse expl citamente la distribucin de o probabilidad de la variable Xt para cualquier valor de t 0. La respuesta es la distribucin Poisson, y de all el proceso adquiere su nombre. o Proposicin 4.1 La variable Xt tiene distribucin Poissont, es decir, o o para cualquier t 0, y para n 0, 1, . . . P Xt n et
tn .
n!
o Demostracin. Como Wn tiene distribucin gaman, , su funcin de o o distribucin es, para t 0, o P Wn Entonces para cualquier t P Xt n t 1 et
n 1 k 0
tk .
k! 0, 1, . . . n 1 t
0 y para cada n P Xt
P Wn t P Wn1 tk . et k!
n P Xt
Entonces, dado que Xt tiene una distribucin Poissont, se tiene que o t, y VarXt t. Por lo tanto t es el promedio de obserE Xt vaciones o registros del evento de inters en el intervalo 0, t. As mientras e , mayor es la longitud del intervalo de observacin, mayor es el promedio de o observaciones realizadas, y mayor tambin la incertidumbre del nmero de e u observaciones. Prdida de memoria y sus consecuencias e Una de las propiedades que caracterizan de manera unica a la distribucin o exponencial dentro del conjunto de distribuciones absolutamente continuas es que satisface la propiedad de prdida de memoria, esto es, si T tiene e distribucin exp, entonces para cualesquiera tiempos s, t 0 se cumple o la igualdad P T t s T s P T t.
118
En otras palabras, condiYt Xt cionada al evento T s, 2 3 la variable T s sigue te1 2 niendo distribucin exp. o Esto signica que, para un t 1 valor de s 0 jo, tot dos los tiempos de interarris bo a partir de s, incluyendo Figura 4.3 el primero, siguen teniendo distribucin exp, y por lo o tanto el proceso de conteo de eventos a partir del tiempo s es un proceso de Poisson. La situacin se muestra grcamente en la Figura 4.3. Demostrao a remos a continuacin que los incrementos de este proceso son estacionarios o y tienen distribucin Poisson. o Proposicin 4.2 Para cualesquiera tiempos 0 o P Xt Xs Demostracin. o P Xt Xs n P Xts n s t, y para n 0, 1, . . . (4.1)
ets
t sn .
n! k P Xs k.
Por el teorema de probabilidad total, n
k 0
P Xt Xs
n Xs
Nos concentraremos en analizar la probabilidad condicional indicada. Dado que al tiempo s el proceso de Poisson se encuentra en el nivel k, por la propiedad de prdida de memoria podemos considerar que en ese momento e reinicia el proceso de Poisson, y la probabilidad del evento Xt Xs n es igual a la probabilidad del evento Xts n. Por lo tanto, P Xt Xs n
k 0
P Xts n n .
n P Xs
k 0
k k
P Xts P Xts
P Xs
4.1. Definicion
119
Lo que hemos demostrado en la Proposicin 4.2 es que no solamente la vao riable Xt del proceso de Poisson tiene distribucin Poissont, sino tambin o e o a los incrementos Xt Xs tienen distribucin Poisson, ahora con parmetro e t s, cuando 0 s t. De la propiedad de prdida de memoria pueden derivarse todas las propiedades del Proceso de Poisson, incluida la propiedad de Markov, la cual demostraremos a continuacin. o Proposicin 4.3 El proceso de Poisson Xt : t o propiedades. a) Es un proceso de Markov. b) Tiene incrementos independientes. c) Tiene incrementos estacionarios. d) Para cualesquiera s, t transicin son o P Xts Demostracin. o a) Considere las probabilidades condicionales P Xtn P Xtn xn Xt1 xn Xtn1 x1 , . . . , Xtn1 xn1 , xn1 , 0, y enteros 0 i i et j, las probabilidades de 0 satisface las siguientes
j Xs
tj i . j i!
(4.2)
para cualesquiera n tiempos 0 t1 t2 tn , y cualesquiera estados 0 x1 . . . xn . En ambos casos se establece que al tiempo tn1 ha habido e xn1 ocurrencias del evento de inters. A partir de ese momento inicia un nuevo proceso de Poisson y para que al tiempo tn hayan xn ocurrencias es necesario que en el intervalo de tiempo tn1 , tn hayan ocurrido xn xn1 eventos. Ambas probabilidades coinciden entonces con la probabilidad P Xtn Xtn1 xn xn1 y ello demuestra la propiedad de Markov. b) Considere cualesquiera n tiempos 0 t1 t2 tn , y cualesquiera estados x1 , . . . , xn . Por comodidad llamaremos sn a la suma x1 xn ,
120
para cada n 1. Por la propiedad de Markov y despus por la propiedad e de prdida de memoria, la probabilidad conjunta e P Xt1 es igual a P Xt1 P Xt1 P Xt1 s1 , Xt2 s1 P Xt2 s2 , . . . , Xtn sn s1 P Xtn sn1 x1 , Xt2
Xt
x2 , . . . , Xtn
Xt
n 1
xn
x1 P Xt2
Xt
s2 Xt1
1
x2 P Xtn
sn Xtn1 Xtn1 xn.
Las propiedades c), y d) son consecuencia inmediata de (4.1). La estacionariedad de los incrementos signica que la distribucin de la variable Xt Xs , o s t, depende de s y de t unicamente a travs de la diferencia e para 0 t s, lo cual es evidente de (4.1). La expresin (4.2) establece de manera clara que las probabilidades de trano sicin son estacionarias en el tiempo, es decir, no dependen del parmetro s, o a e y se escriben simplemente como pij t. Pero tambin es interesante observar que (4.2) dice que estas probabilidades son estacionarias en el espacio, es decir, dependen de los estados i y j unicamente a travs de la diferencia e j i. En s mbolos, para j i, pij t p0,j i t.
Ejemplo 4.1 (Paradoja del autobs) Suponga que la llegada de autou buses a una estacin se modela mediante un proceso de Poisson de parmetro o a , es decir, el tiempo que transcurre entre la llegada de un autobs y el siu guiente es una variable aleatoria con distribucin exp. Suponga que el o tiempo es medido en minutos. La propiedad de prdida de memoria en este e contexto puede interpretarse de la siguiente forma: una persona ha llegado a la estacin y ha esperado s minutos sin que un autobs aparezca. La o u probabilidad de que tenga que esperar ms de t minutos adicionales es la a misma que la probabilidad de espera de ms de t minutos para una persona a que acaba de llegar a la estacin! o a Ejemplo 4.2 Sea Xt : t 0 un proceso de Poisson de parmetro y sea S una variable aleatoria continua con soporte el intervalo 0, e independiente del proceso de Poisson. Entonces para cualquier t 0, el incremento
4.1. Definicion
121
XS t Xt tiene distribucin Poissont. En efecto, para cualquier entero o k 0, y suponiendo que F s es la funcin de distribucin de la variable S, o o P XS t Xt k

0
P XS t Xt P Xst Xs P Xt
k S
s dF s
0
0
k dF s
P Xt
k.
k dF s
En el siguiente ejemplo haremos uso de este pequeo resultado. n Ejemplo 4.3 (La suma de dos procesos de Poisson independientes es un proceso de Poisson) Sean Xt : t 0 y Yt : t 0 dos procesos de Poisson independientes de parmetros 1 y 2 respectivamente. Demosa traremos que el proceso suma Xt Yt : t 0 es un proceso de Poisson de parmetro 1 2 . Denotaremos por T1 , T2 , . . . a los tiempos de intera arribo del proceso suma. La forma en la que se obtienen estos tiempos se muestra en la Figura 4.4. Demostraremos que estas variables aleatorias son independientes con idntica distribucin exp1 2 . e o
Xt Yt Xt Yt
Figura 4.4: Suma de dos procesos de Poisson. En el siguiente anlisis el trmino Xs,t denotar la diferencia Xt Xs , para a e a 0 s t. Entonces para cualquier valor natural de n y para cualesquiera tiempos t1 , . . . , tn , el evento T1 t1 , T2 t2 , . . . , Tn tn puede expresarse como
X Y 0,t
1
0, X
Y T ,T t
1 1 2
0, . . . , X
Y T ,T t
n 1 n 1 n
0,
122 esto es,
X0,t 0 Y0,t 0 XT ,T t 0 YT ,T t 0 XT ,T t 0 YT ,T t
1 1 1 1 2 1 1 2 n 1 n 1 n n 1 n 1 n
0.
Por la independencia de los procesos, la propiedad de incrementos independientes de cada uno de ellos, y el resultado del Ejemplo 4.2, la probabilidad de este evento es P XT1 ,T1 t2
n 1
P X0,t1
0 P Y0,t1
P XT ,T t
n 1 n
0 P YT1 ,T1 t2
0 0.
0 P YTn1 ,Tn1 tn e1 2 t1 e1 2 t2
Por lo tanto, P T1 t1 , T2 t2 , . . . , Tn tn
e t
1 2
Esta identidad demuestra que las variables T1 , T2 , . . . , Tn son independientes con idntica distribucin exp1 2 . e o Distribuciones asociadas al proceso de Poisson Adems de las distribuciones exponencial y gama ya mencionadas, existen a otras distribuciones de probabilidad que surgen al estudiar ciertas caracter sticas del proceso de Poisson. Por ejemplo, el siguiente resultado establece una forma de obtener la distribucin binomial a partir del proceso o de Poisson. Suponga que durante el intervalo de tiempo 0, t se han obsern ha vado n ocurrencias del evento de inters, es decir, el evento Xt e ocurrido. La pregunta es, cuntos de estos eventos ocurrieron en el subintera valo 0, s? Demostraremos a continuacin que esta variable aleatoria tiene o distribucin binomialn, st. o Proposicin 4.4 Sean s y t tiempos tales que 0 o enteros tales que 0 k n. Entonces P Xs k Xt n

t, y sean k y n
n k
s k 1 s nk . t t
4.1. Definicion Demostracin. o P Xs Por la denicin de probabilidad condicional, o k Xt n P Xt n Xs k P Xs P Xt n k .
123
Substituyendo estas probabilidades y simplicando se obtiene el resultado.
Recordando que la suma de dos procesos de Poisson independientes es nuevamente un proceso de Poisson, se puede comprobar fcilmente el siguiente a resultado. Proposicin 4.5 Sean X1 t y X2 t dos procesos de Poisson independieno tes con parmetros 1 y 2 respectivamente, y sean k y n enteros tales que a 0 k n. Entonces P X1 t k X1 t X2 t n

n k
1 k 1 1 nk . 1 2 1 2
Demostracin. o P X1 t
Por la hiptesis de independencia entre los procesos, o P X1 t P X1 t P X1 t k, X1 t X2 t k, X2 t k P X2 t n nP X1 t X2 t n n.
k X1 t X2 t
n kP X1 t X2 t
n kP X1 t X2 t
Substituyendo estas probabilidades se obtiene el resultado. Proposicin 4.6 Dado el evento Xt o n, el vector de tiempos reales W1, . . . , Wn tiene la misma distribucin que el vector de las estadsticas de o o orden Y1 , . . . , Yn de una muestra aleatoria Y1 , . . . , Yn de la distribucin uniforme en el intervalo 0, t, es decir, fW1,...,Wn Xt w1 , . . . , wn n
n!
tn 0
si 0
w1
wn
t,
otro caso.
124
Demostracin. La frmula general para la funcin de densidad conjunta o o o de las estad sticas de orden Y1 , . . . , Yn de una muestra aleatoria Y1 , . . . , Yn de una distribucin con funcin de densidad f y es, para y1 yn , o o fY1 ,...,Yn y1 , . . . , yn n! f y1 f yn .
Cuando la funcin de densidad f y es la uniforme en el intervalo 0, t, esta o funcin de densidad conjunta es la que aparece en el enunciado. Demostrareo mos que la distribucin conjunta de las variables W1 , . . . , Wn , condicionada o e o al evento Xt n tambin tiene esta misma funcin de densidad. Usaremos nuevamente la identidad de eventos Xt n Wn t. Para tiempos o 0 w1 wn t, la funcin de densidad conjunta condicional fW1 ,...,Wn Xt w1 , . . . , wn n se puede obtener a travs de las siguientes derivadas e
n
w1 wn
n n
P W1
w1 , W2 1, Xw2
w2 , . . . , W n 2, . . . , Xwn
wn Xt n Xt
n n
w1 wn
P Xw1
P Xt Xwn 0, Xwn Xwn1 1, . . . w1 wn . . . , Xw2 Xw1 1, Xw1 1P Xt n

n
ew w w2 w1 ew w1 et tn n! n n! wn wn1 w2 w1 w1 tn w1 wn n!tn . Observe que bajo el signo de derivada, la probabilidad del evento Xw 1, Xw 2, . . . , Xw n, Xt n, que aparece en la primera igualdad, es idntica a la probabilidad de Xt Xw e 0, Xw Xw 1, . . . , Xw Xw 1, Xw 1, pues si alguna de estas identidades (exceptuando la
2 1 1 1 2 n n n n 1 2 1 1
w1 wn
etwn ewn wn1 wn wn1
primera) fuera distinta de uno, la derivada se anula. Observa adems para a la ultima igualdad que es preferible llevar a cabo la derivacin en el orden o
4.2. Definiciones alternativas
125
indicado, pues de esa forma las expresiones en parntesis van desapareciendo e sucesivamente. La frmula anterior nos provee de un mecanismo para obtener simulaciones o por computadora de las trayectorias del proceso Poisson. El procedimiento es el siguiente: se ja un valor t y se asigna un valor para . Se genera un valor al azar de la variable Xt con distribucin Poissont. Suponga que o n. A continuacin se generan n valores u1 , . . . , un de la distribucin o o Xt unif0, t, y se ordenan estos valores de menor a mayor: u1 un . Estos son los tiempos en donde la trayectoria tiene saltos. De esta forma pueden obtenerse trayectorias como la que se muestra en la Figura 4.2.
4.2.
Deniciones alternativas
La Denicin 4.1 de proceso de Poisson es constructiva pues a partir de los o tiempos de interarribo se construye el proceso de conteo correspondiente. Existen otras formas equivalentes y un tanto axiomticas de denir a este a proceso. Revisaremos y comentaremos a continuacin dos de ellas. Una de o las ventajas de contar con estas deniciones alternativas es que para demostrar que un cierto proceso es de Poisson se puede tomar cualquiera de las deniciones a conveniencia. Denicin 4.2 (Segunda denicin) Un proceso de Poisson de paro o a metro 0 es un proceso a tiempo continuo Xt : t 0, con espacio de estados 0, 1, . . . , y que cumple las siguientes propiedades: a) X0 0. 0, y cuando h 1 2 h oh. oh. 0, b) Tiene incrementos independientes y estacionarios. c) Para cualquier t ii) P Xth Xt i) P Xth Xt
Esta denicin hace uso de las probabilidades innitesimales del proceso y o ello tiene algunas ventajas desde el punto de vista de la interpretacin de o lo que sucede en un intervalo innitesimal de tiempo t, t h. El proceso empieza en cero y por el tercer postulado la probabilidad de que pase al
126
estado uno al nal de un intervalo de tiempo pequeo 0, h es h oh, la n probabilidad de que el proceso no tenga ningn cambio en dicho intervalo u es 1 h oh, y nalmente la probabilidad de que el proceso tenga dos o ms incrementos en tal intervalo es oh. Es decir, en un intervalo cualquiera a de longitud innitesimal h slo pueden ocurrir dos situaciones: que haya un o incremento o que no lo haya. Ejemplo 4.4 Demostraremos que la variable Xts Xs tiene distribucin o o Poissont a partir de los postulados de la Denicin 4.2. Se dene pn t P Xt n y se considera cualquier h 0. Denotaremos por pn t, t h a la probabilidad P Xth Xt n. Por la hiptesis de independencia, para o 0, t 0 y cuando h p0 t h Haciendo h p0 t p0 t, t h p0 t 1 h oh.
cuya solucin es p0 t c et , en donde la constante c es uno por la condio cin inicial p0 0 1. Ahora encontraremos pn t para n 1. Nuevamente o por independencia, pn t h Haciendo h pn t p0 t, t h pn1 t p1 t, t h oh 0 se obtiene pn t pn t 1 h oh pn1 t h oh oh.
0 se obtiene la ecuacin diferencial o p0 t p0 t,
con condicin inicial pn 0 o 0 para n 1. Deniendo qn t et pn t la ecuacin diferencial se transforma en qn t qn1 t, con condiciones o qn 0 0 y q0 t 1. Esta ecuacin se resuelve iterativamente primero para o e q1 t, despus para q2 t, y as sucesivamente, en general qn t tn n! Por lo tanto, pn t et tn n! Esto signica que Xt tiene distribucin Poissont. Debido al postulado de o incrementos estacionarios, la variable Xts Xs tiene la misma distribucin o que Xt .
pnt pn1t,
4.2. Definiciones alternativas
127
Denicin 4.3 (Tercera denicin) Un proceso de Poisson de parmetro o o a 0 es un proceso a tiempo continuo Xt : t 0 con espacio de estados 0, 1, . . ., con trayectorias no decrecientes y que cumple las siguientes propiedades: a) X0 0. 0, t 0. b) Tiene incrementos independientes. c) Xts Xs Poissont, para cualesquiera s
Esta es posiblemente la denicin del proceso de Poisson que con ms freo a cuencia se puede encontrar en las referencias. A partir de ella inmediatamente sabemos que la variable Xt tiene distribucin Poissont. La indeo pendencia de los incrementos es expl cita, y la estacionariedad de los mismos aparece de manera impl cita en el tercer postulado. Para demostrar la equivalencia con la denicin 4.1, el reto consiste en denir los tiempos o de interarribo y demostrar que stos son variables aleatorias independientes e con distribucin exponencial. o Proposicin 4.7 Las deniciones del proceso de Poisson 4.1, 4.2 y 4.3 son o equivalentes.
Def. 4.3. El Demostracin. o Hemos demostrado que Def. 4.2 rec proco es inmediato, pues la propiedad de incrementos independientes y estacionarios aparecen en ambas deniciones, y para cualquier t 0 y h 0,
P Xth Xt 1 1 P Xth Xt 1 eh 1 1 h oh h oh. Anlogamente a P Xth Xt 2 1 P Xth Xt oh. 1 eh eh h 0 P Xth Xt 1 0
1 1 h oh h oh
128
Estos clculos y lo desarrollado antes demuestran que Def. 4.2 Def. 4.3. a Tambin antes hemos demostrado que Def. 4.1 e Def. 4.3. Para deDef. 4.1 es necesario comprobar que los tiempos mostrar Def. 4.3 de interarribo T1 , T2 , . . . son independientes con distribucin exp. Dareo mos una demostracin no completamente rigurosa de este resultado. Sean o 0 tiempos cualesquiera y sean t1 , . . . , tn las longitudes que t1 , . . . , tn se muestran en la Figura 4.5.
t1 0
t1
t2
t2
tn
tn
Figura 4.5 La probabilidad de que T1 tome un valor en el intervalo t1 , T2 tome un valor en el intervalo t2 , y as sucesivamente es fT1 ,...,Tn t1 , . . . , tn t1 tn
1 1 1 2
et et t1 et et t2 et et et et et t1 tn et t
2 2 n n 1 n
tn
Al hacer t1 , . . . , tn
0 se obtiene et1 et2 etn .
fT1 ,...,Tn t1 , . . . , tn
Esto demuestra que las variables T1 , . . . , Tn son independientes y cada una de ellas tiene distribucin exp. En conjunto esto demuestra que o
Denicin 4.1 Denicin 4.3 Denicin 4.2. o o o

Observe que la pregunta acerca de la existencia de un proceso estocstico a que cumpla los postulados de las Deniciones 4.2 o 4.3 queda resuelta al vericar la equivalencia de tales postulados con la denicin constructiva o 4.1. Presentaremos a continuacin algunas generalizaciones del proceso de o Poisson. Una de tales generalizaciones que estudiaremos con mayor detalle en un cap tulo ms adelante es aquella en la que se considera que las variables a
4.3. Proceso de Poisson no homogeneo
129
de interarribo no son necesariamente exponenciales, en tal caso se pierde la propiedad de Markov del proceso. A este tipo de procesos se les llama procesos de renovacin. o
4.3.
Proceso de Poisson no homogneo e
Se considera ahora que el parmetro del proceso de Poisson no es nea cesariamente una constante sino una funcin del tiempo. A veces a este o proceso se le llama tambin proceso de Poisson con parmetro dependiente e a del tiempo. Este modelo puede ser naturalmente ms adecuado para algunas a situaciones reales aunque deja de cumplir la propiedad de Markov. Denicin 4.4 Un proceso de Poisson no homogneo es un proceso a tiemo e a po continuo Xt : t 0, con espacio de estados 0, 1, . . . , con parmetro la funcin positiva y localmente integrable t, y que cumple las siguientes o propiedades: a) X0 0. b) Los incrementos son independientes. c) Para cualquier t 0, y cuando h 0, ii) P Xth Xt i) P Xth Xt 1 2 t h oh. oh.
Comparando esta denicin con la Denicin 4.2 de proceso de Poisson se o o observa mucha similaridad excepto por dos aspectos: en lugar de la constante se escribe ahora la funcin t, y la hiptesis de incrementos estacionarios o o ya no aparece. Ello es consecuencia de que el parmetro var con el tiempo, a a generalmente de manera decreciente. Es decir, la distribucin de probabilio o dad de la variable incremento Xts Xs depende de los valores de la funcin en el intervalo s, s t. Sin embargo, y en completa analog con el caso a homogneo, la variable Xt contina teniendo distribucin Poisson, como a e u o continuacin demostraremos. o Proposicin 4.8 La variable Xt en un proceso de Poisson no homogneo o e o de parmetro t tiene distribucin Poissont, en donde se dene a t
t
0
s ds,
130 es decir, para n 0, 1, . . . P Xt n et
tn .
n!
Demostracin. La prueba es anloga a una de las realizadas en el caso hoo a mogneo. Se dene nuevamente pn t P Xt n y se considera cualquier e n. h 0. Denotaremos por pn t, t h a la probabilidad P Xth Xt Por la hiptesis de independencia, para t 0 y cuando h o 0, p0 t h p0 t p0 t, t h p0 t 1 th oh.
Calculando la derivada se obtiene la ecuacin diferencial p0 t t p0 t, o c et , en donde la constante c es uno debido a cuya solucin es p0 t o la condicin inicial p0 0 o 1. Ahora encontraremos pn t para n 1. Nuevamente por independencia,
pn t h pn t p0 t, t h pn1 t p1 t, t h oh pn t 1 th oh pn1 t th oh oh.
o Entonces pn t t pn t t pn1 t, con condicin inicial pn 0 0 t p t la ecuacin diferencial se trans1. Deniendo qn t e o para n n forma en qn t t qn1 t, con condiciones qn 0 0 y q0 t 1. Esta e ecuacin se resuelve iterativamente primero para q1 t, despus para q2 t, y o as sucesivamente, en general qn t tn n! y de aqu se obtiene pn t.
Las trayectorias de un proceso de Poisson no homogneo son semejantes e a las trayectorias de un proceso de Poisson, es decir, son trayectorias no decrecientes y con saltos unitarios hacia arriba, pero la frecuencia promedio con la que aparecen los saltos cambia a lo largo del tiempo. De manera anloga al caso homogneo, los incrementos de este proceso tambin tienen a e e distribucin Poisson. o Proposicin 4.9 Para el proceso de Poisson no homogneo, la variable o e o incremento Xts Xs tiene distribucin Poissont s s.
4.3. Proceso de Poisson no homogeneo
131
Demostracin. Se escribe Xts o Xs Xts Xs , en donde, por el axioma de incrementos independientes, en el lado derecho aparece la suma de dos variables aleatorias independientes. Recordando que la funcin geneo radora de momentos de la distribucin Poisson es M r exp er 1, o al aplicar este resultado a la ecuacin anterior se obtiene o
1 MX X r. Por lo tanto, MX X r exp t s s er 1. Si la funcin t es constante igual a , entonces t t, y se recupera o el proceso de Poisson homogneo. Cuando t es continua, t es diferene ciable y por lo tanto t t. A la funcin t se le llama funcin de o o o intensidad y a t se le conoce como funcin de valor medio. A un proceso de Poisson no homogneo en donde t : t 0 es un proceso estocstico e a
t s s t s s
exp t s er 1
exp s er
se le llama proceso de Cox. El siguiente resultado establece que bajo una transformacin del parmetro o a tiempo, un proceso de Poisson no homogneo puede ser llevado a un proceso e de Poisson homogneo de parmetro uno. Antes de demostrar este resultado e a t es positiva, la funcin de intensio observemos que como la funcin t o dad t es continua y no decreciente, y en general no es invertible. Puede denirse, sin embargo, la inversa por la derecha 1 t u nf 0 : u t,
que cumple la identidad 1 t creciente.
t, y que es una funcin continua y o
Proposicin 4.10 Sea Xt : t 0 un proceso de Poisson no homogneo o e t o de parmetro t, y funcin de intensidad t a 0 s ds. Dena la funcin o 1 t u 0 : u t. nf Entonces el proceso X1 t : t de parmetro 1. a 0 es un proceso de Poisson homogneo e
Demostracin. Usaremos la Denicin 4.3 del proceso de Poisson. El o o proceso X1 t : t 0 empieza en cero y tiene incrementos independient1 t2 tn , tes, pues si se consideran cualesquiera tiempos 0
132
bajo la funcin creciente 1 t estos tiempos se transforman en una nueva o coleccin montona de tiempos o o 0 1 t1 1 t2
1 tn .
Por lo tanto las siguientes variables son independientes X1 t1 , X1 t2 X1 t1 , . . . , X1 tn X1 tn1 Finalmente, para cualesquiera tiempos s, t 0 el incremento X1 ts X1 s tiene distribucin Poisson de parmetro o a 1 t s 1 s
t s s
t.
Pueden denirse los tiempos de interarribo T1 , T2 , . . ., y los tiempos de saltos W1 , W2 , . . . para un proceso de Poisson no homogneo de manera anloga e a al caso homogneo. Por hiptesis los incrementos de este proceso son indee o o pendientes, sin embargo, debido a que el parmetro t es una funcin del a tiempo, los tiempos de interarribo T1 , T2 , . . . no son independientes pues, por ejemplo, T2 depende de t para valores de t mayores a T1 . Y por las mismas razones las distribuciones de estas variables no son idnticas. e
4.4.
Proceso de Poisson compuesto
Esta es una de las generalizaciones del proceso de Poisson ms conocidas y a de amplia aplicacin. La generalizacin consiste en que ahora los saltos ya o o no son necesariamente unitarios. Denicin 4.5 Sea Nt : t 0 un proceso de Poisson y sea Y1 , Y2 , . . . una o sucesin de variables aleatorias independientes, idnticamente distribuidas o e 0. El proceso de Poisson e independientes del proceso Poisson. Sea Y0 compuesto se dene de la siguiente forma: Xt
Nt n 0
Yn .
(4.3)
4.4. Proceso de Poisson compuesto
133
Observe que la variable Xt del proceso de Poisson compuesto es una suma de variables aleatorias en donde el nmero de sumandos es aleatorio. Tal u tipo de modelos encuentra aplicacin natural en distintos contextos. Por o ejemplo, la variable Xt puede interpretarse como el monto total de reclamaciones recibidas por una compa aseguradora al tiempo t. El prona ceso de Poisson determina el nmero de siniestros o reclamaciones efecu tuadas hasta un momento cualquiera. La variable Yn representa el mon0, para n 1. to de la n-sima reclamacin y es natural suponer Yn e o En la Figura 4.6 se muestra una trayectoria de este proceso y en el Xt siguiente resultado se presentan algunas de sus propiedades bsicas. a Y3 Este proceso es un ejemplo de proY2 ceso de Markov a tiempo continuo Y1 como los que estudiaremos en el sit guiente cap tulo. Cuando las variables Y1 , Y2 , . . . toman valores en el Figura 4.6 conjunto 1, 2, . . . se dice que este proceso es un proceso de Poisson generalizado, pues los saltos ya no son necesariamente unitarios. Observe que si las variables Y1 , Y2 , . . . son todas idnticamente uno, el proceso de e Poisson compuesto se reduce al proceso de Poisson. Proposicin 4.11 El proceso de Poisson compuesto (4.3) cumple las sio guientes propiedades: 1. Tiene incrementos independientes y estacionarios. 2. E Xt 3. VarXt t E Y . t E Y 2 .
4. CovXt , Xs
E Y 2 m s, t. n E euXt exp t MY u 1 .
5. La funcin generadora de momentos de la variable Xt es o MXt u
Estos resultados se obtienen condicionando sobre el valor de Nt . En el ejercicio 135 se pide dar los detalles de estas demostraciones.
134
4.5.
Proceso de Poisson mixto
En esta generalizacin del proceso de Poisson se considera que el parmetro o a no es constante sino una variable aleatoria. Denicin 4.6 Sea una variable aleatoria positiva con funcin de diso o tribucin F . Se dice que el proceso de conteo Xt : t 0 es un proceso o 1, y de Poisson mixto con variable mezclante si para cada entero n cada sucesin de enteros no negativos k1 , . . . , kn , y cualesquiera tiempos o 0 a1 b1 a2 b2 an bn se cumple la igualdad P Xb1
Xa
k1 , Xb2
Xa k2 , . . . , Xb Xa kn n bi ai k eb a dF .
2 n n i i i
i 1
ki !
(4.4)
Cuando la variable aleatoria mezclante es constante e igual a , el proceso de Poisson mixto se reduce al proceso de Poisson. Proposicin 4.12 El proceso de Poisson mixto cumple las siguientes proo piedades. 1. Tiene incrementos estacionarios. 2. En general los incrementos no son independientes. Lo son en el caso del proceso de Poisson. 3. E Xt 4. VarXt t E . t2 Var t E . st Var, s, t 0.
5. CovXt , Xts Xt
Estas propiedades se obtienen condicionando sobre el valor de la variable aleatoria y sus demostraciones se dejan como ejercicio al lector. Notas y referencias. El estudio del proceso de Poisson generalmente se incluye en los cursos elementales de procesos estocsticos. La mayor de los a a textos sobre procesos estocsticos que aparecen en la bibliograf cuentan a a por lo menos con una seccin sobre este tema. Algunos textos espec o cos que dedican un cap tulo entero para el proceso de Poisson y que el lector puede
4.6. Ejercicios
135
consultar para profundizar en el tema son: Basu [1], Jones y Smith [15], y Taylor y Karlin [35]. El lector puede encontrar otros resultados generales sobre el proceso de Poisson en el cap tulo sobre procesos de renovacin, en o el caso particular cuando los tiempos de interarribo son exponenciales.
4.6.
Ejercicios
Proceso de Poisson
103. Los clientes de una tienda entran al establecimiento de acuerdo a un proceso de Poisson Xt : t 0 de parmetro 4. Calcule: a a) P X2 c) P X1 b) P X1 1. 3, X2 0 X3 6. e) P X2 d) P X2 3. 4 X1 2. 2.
4.
f) P X1
4 X1
104. Los pasajeros llegan a una parada de autobs de acuerdo a un proceso u de Poisson Xt : t 0 de parmetro a 2. Sea el momento en el que llega el primer autobs. Suponga que es una variable u aleatoria con distribucin unif0, 1 e independiente del proceso de o Poisson. Calcule: b) E X . a) E X t .
2 c) E X
d) VarX .
t.
105. Sea Xt : t 0 un proceso de Poisson de parmetro a el instante en el que ocurre el n-simo evento. Calcule: e a) E X5 . b) E X5 X2 c) E W2 . 1. e) E W7 W5 f) E W7 . d) E W7 X2 3. 4.
2. Sea Wn
106. Simulacin de la distribucin exponencial. Demuestre que si X es o o una variable aleatoria con distribucin unif0, 1, entonces la variable o
136
4. El proceso de Poisson aleatoria Y 1 ln1 X tiene distribucin exp. Este resulo tado puede ser usado para generar valores de la distribucin exp a o partir de valores de la distribucin unif0, 1. o
107. Simulacin de la distribucin Poisson. Sea T1 , T2 , . . . una sucesin de o o o variables aleatorias independientes con idntica distribucin exp. e o Dena la variable aleatoria N de la siguiente forma: N 0 k si T1 1, si T1 Tk 1 T1 Tk1 .
Demuestre que N tiene distribucin Poisson. Este resultado puede o ser usado para obtener valores de la distribucin Poisson. o 108. Sean T1 , . . . , Tn variables aleatorias independientes cada una con disT1 Tn tiene tribucin exp. Demuestre que la suma Wn o o distribucin gaman, y que la correspondiente funcin de distribuo cin puede escribirse de la siguiente forma: para cada t 0, o P W n t
k n
et
tk .
k!
a 109. Sea Xt : t 0 un proceso de Poisson de parmetro 1, e independiente de una variable aleatoria con distribucin exp con 1. o Dena el proceso Yt Xt . Demuestre los siguientes dos resultados y concluya que las variables Yt y Yts Yt no son independientes. 1 t 1 t n , para n 0, 1, . . . a) P Yt n 1t nm n m 1 b) P Yt n, Yts n m t s nm1 . n 1ts 0 un proceso de Poisson de parmetro . Demuestre a 110. Sea Xt : t los siguientes resultados de manera sucesiva. b) P W1 a) W1 t1 , W2 t1 , W2 t2 t2
Xt
et1
c) fW1 ,W2 t1 , t2
2 et2 , para 0
Xt 0 1. o 1 t2 t1 et t .
0, Xt2
1 2 1
t1
t2 .
4.6. Ejercicios d) fW1 t1 e) fW2 t2 et1 . 2 t1 et1 . W1 y T2 W2 W1 son independientes.
137
f) Las variables T1
111. Sea Xt : t 0 proceso de Poisson de parmetro . Sean s y t dos a tiempos tales que 0 s t. Demuestre que: b) P Xs a) P Xs 0, Xt Xt ets . 1 t set .
112. Para un proceso de Poisson Xt : t 0 de parmetro demuestre a que n CovXt , Xs m s, t. 113. Las funciones seno y coseno hiperblico se denen de la siguiente foro ma:
que:
ex ex 2, ex ex 2. y coshx Para un proceso de Poisson Xt : t 0 de parmetro demuestre a

senhx b) P Xt sea par et cosht. et senht.
a) P Xt sea impar
114. Sea Xt : t 0 un proceso de Poisson de parmetro , y sea s 0 a Xts Xs : t 0 un tiempo jo. Demuestre que el proceso Yt tambin es un proceso de Poisson de parmetro . En la Figura 4.3 e a en la pgina 118 se ilustra grcamente la denicin de este nuevo a a o proceso. 115. Sea Xt : t que: 0 un proceso de Poisson de parmetro . Demuestre a
138 a) fW1 ,W2 w1 , w2 b) fW1 c) fW2 2 ew2 0 1w2 0 si 0
4. El proceso de Poisson w1 w2 ,
otro caso. si w1
W2
w1
w2 w1
0, w2 ,
si w2
otro caso.
W1
w2
ew2 w1 0
w1 , ,
otro caso.
0 un proceso de Poisson de parmetro . Sea T una a 116. Sea Xt : t variable aleatoria con distribucin exp e independiente del proceso o de Poisson. Encuentre la funcin de densidad de la variable XT . o 0 un proceso de Poisson de parmetro . Sean r y n a 117. Sea Xt : t dos enteros tales que 1 r n, y sea t 0. Suponga que el evento Xt n ocurre. Encuentre la densidad condicional de Wr . 118. Sean X1 t : t 0 y X2 t : t 0 dos procesos de Poisson independientes con parmetros 1 y 2 respectivamente. Calcule la a probabilidad de que: b) X1 t a) X1 t 1 antes que X2 t 2 antes que X2 t 1. 2.
119. Suponga que un cierto aparato elctrico sufre desperfectos a lo largo e del tiempo de acuerdo a un proceso de Poisson de parmetro . Supona ga que cada vez que el aparato se descompone es enviado a reparacin o y despus es puesto en funcionamiento nuevamente. Suponga adems e a que el aparato se reemplaza completamente por uno nuevo cuando el tiempo que transcurre entre dos descomposturas sucesivas es menor o igual a una cierta constante a 0, incluyendo el tiempo antes de la primera reparacin. Encuentre la funcin de densidad del o o a) Tiempo de vida util del equipo antes de ser reemplazado. b) Nmero de reparaciones antes de realizar el reemplazo. u 120. Suponga que un cierto circuito recibe impulsos elctricos de acuerdo a e un proceso de Poisson de parmetro . Suponga adems que el circuito a a
4.6. Ejercicios
139
se descompone al recibir el k-simo impulso. Encuentre la funcin de e o densidad del tiempo de vida del circuito. 121. Sean Xt : t 0, . . . , Xt : t 0 procesos de Poisson independientes, todos de parmetro . Encuentre la distribucin de probabia o lidad del primer momento en el cual: a) Ha ocurrido en cada uno de los procesos al menos un evento. b) Ocurre el primer evento en cualquiera de los procesos. 122. Sean Xt : t 0 y Xt : t 0 dos procesos de Poisson independientes con parmetros 1 y 2 , respectivamente. Sea n cualquier a nmero natural, y dena el tiempo aleatorio u Demuestre que X para k 0, 1, . . . P X 2
nf t
0 : Xt
n.
2 tiene distribucin binomial negativa, es decir, o
nk1 k
1 2
1 2
123. Sea Xt : t 0 un proceso de Poisson de parmetro , y sea a 0 a una constante. Demuestre que Xat : t 0 es un proceso de Poisson de parmetro a. a 124. Sea Xt : t 0 un proceso de Poisson de parmetro . Demuestre a que, condicionado a que el proceso tiene exactamente un salto en el intervalo s, s t, el momento en el que ese salto ocurre se distribuye de manera uniforme en dicho intervalo. 125. Suponga que los mensajes llegan a una cierta cuenta de correo electrnico de acuerdo a un proceso de Poisson de parmetro . Cada o a mensaje recibido es de tipo basura con probabilidad y no basura con probabilidad 1 . a) Dado que hasta el tiempo t ha llegado n mensajes, encuentre la distribucin del nmero de mensajes tipo basura que hasta ese o u momento han llegado.
140
4. El proceso de Poisson b) Suponiendo que se recibe un mensaje tipo basura en algn u momento, encuentre la distribucin del nmero total de mensajes o u recibidos hasta la llegada del siguiente mensaje tipo basura. c) Encuentre la probabilidad de que al tiempo t hayan llegado mas mensajes tipo basura que no basura.
126. Sean T1 , T2 , . . . los tiempos de interarribo de un proceso de Poisson de parmetro , y sea c una constante positiva. Dena N m n 1 : a n Tn c. Calcule E WN 1 c. 127. Suma de procesos de Poisson. Usando la Denicin 4.3, demuestre que o la suma de dos procesos de Poisson independientes es nuevamente un proceso de Poisson. 128. Procesos de Poisson marcados. Sean 0 W1 W2 los momentos en los que un proceso de Poisson Xt : t 0 tiene saltos, y sea Y1 , Y2 , . . . una sucesin de v.a.i.i.d. e independientes del proceso de o Poisson. Al proceso W1 , Y1 , W2 , Y2 , . . . se le llama proceso de Poisson marcado. Considere el caso particular cuando las v.a.s Y tienen distribucin comn Berp y dena los procesos: o u X0 t y X1 t
Xt
1 Yk
Yk .
k 1 Xt k 1
Demuestre que los procesos X0 t : t 0 y X1 t : t 0 son procesos de Poisson y que para cada t 0, las variables X0 t y X1 t son independientes. Nota: se dene b 0 cuando a b. a 129. Sea Xt : t 0 un proceso de Poisson de parmetro . Suponga que a cada evento registrado es de tipo 1 con probabilidad , o de tipo 2 1 con probabilidad 1 . Sea Xt el nmero de eventos del tipo 1 al u 2 lo correspondiente a eventos del tipo 2. Estos son tiempo t, y sea Xt ejemplos de los as llamados procesos de Poisson marcados. a) Demuestre que Xt : t 0 y Xt : t 0 son procesos de Poisson de parmetros y 1 respectivamente. a
4.6. Ejercicios b) Demuestre que para cada t 2 Xt son independientes. 0 las variables aleatorias Xt
141
1 y
Distribuciones asociadas al proceso de Poisson 130. Sea t0 un tiempo positivo jo y suponga que hasta ese momento se ha observado un solo evento de un proceso de Poisson, es decir, Xt0 1. La pregunta es cundo ocurri tal evento? Demuestre que, condia o cionado al evento Xt0 1, la distribucin del momento en el que se o ha registrado el evento es uniforme en el intervalo 0, t0 . 131. Sea Xt : t 0 un proceso Poisson de tasa y sean dos tiempos s t. Dena la variable Xs,t como el nmero de eventos del u 0 proceso de Poisson que ocurren en el intervalo s, t. Demuestre que, condicionada a la ocurrencia del evento Xt n, la variable Xs,t tiene distribucin binomialn, 1 st. o
132. Sea Xt : t 0 un proceso de Poisson de parmetro . Suponga que a para un tiempo jo t 0 se observa el evento Xt n, con n 1. a) Demuestre que la funcin de densidad del momento en el que o k n, condicionada al evento ocurre el k-simo evento 1 e Xt n, es la siguiente: para s 0, t, fWk
X s n
t
n k s k1 s nk . 1 t k t t
b) Demuestre que la funcin de densidad condicional del cociente o Wk t, dado el evento Xt n, es la densidad betak, n k 1. c) Encuentre nuevamente la funcin de densidad gamak, de la o variable Wk efectuando la siguiente suma
n k
fWk
Xt
s n P Xt
n.
133. Sea Xt : t 0 un proceso de Poisson de parmetro , y sean s1 , s2 a s2 t. Demuestre que, condicionada y t tiempos tales que 0 s1 al evento Xt n, la variable Xs2 Xs1 tiene distribucin binn, p o con p s2 s1 t.
142 Proceso de Poisson no homogneo e
134. Sea Xt : t 0 un proceso Poisson no homogneo de intensidad e t, sean T1 , T2 , . . . los tiempos de interarribo, y sean W1 , W2 , . . . los tiempos reales de ocurrencia. Demuestre que para cualquier t 0, b) fT2 T1 t s c) fT2 t d) fWn t e) FTk f) FTk a) fT1 t et t. etss t s.
ets t s s ds.
tn1 t. n 1! 1 etss . W t s k 2 t 1 ets ks2! s ds, 0

et
k 1
2.
Proceso de Poisson compuesto 135. Demuestre las propiedades del proceso Poisson compuesto que aparecen en la Proposicin 4.11. o 136. Suponga que las variables Y1 , Y2 , . . . en un proceso de Poisson compuesto tienen distribucin comn Berp. Demuestre que el proceso se o u reduce al proceso de Poisson de parmetro p. a 137. Suponga que los sumandos de un proceso de Poisson compuesto Xt : t 0 de parmetro tienen distribucin exp. Encuentre la disa o tribucin de la variable Xt . o 0 un proceso de Poisson compuesto de parmetro . a 138. Sea Xt : t Suponga que cada uno de los sumandos de este proceso es constante igual a k N. Encuentre la distribucin de Xt . o 139. Suponga que los usuarios de cuentas de correo electrnico solicitan o acceso al servidor de acuerdo a un proceso de Poisson homogneo de e parmetro . Suponga adems que cada usuario se mantiene conectado a a al servidor un tiempo aleatorio con funcin de distribucin F x, e o o
4.6. Ejercicios
143
independiente uno del otro. Sea Ct el nmero de usuarios conectados u al servidor tiempo al t, y dena la funcin o t Demuestre que para k P Ct 0, k et
t
0
1 F x dx. tk .
k!
Proceso de Poisson mixto 140. Demuestre las propiedades del proceso de poisson mixto que aparecen en la Proposicin 4.12. o 141. Para un proceso de Poisson mixto Xt : t , demuestre que para 0 s t, CovXs , Xt 0 con variable mezclante
st E t Var.
144
Cap tulo 5
Cadenas de Markov a tiempo continuo

Vamos a estudiar ahora cadenas de Markov en donde el tiempo es continuo y las variables toman valores enteros. Consideremos un proceso a tiempo continuo Xt : t 0 que inicia en un estado i1 al tiempo cero. El proceso X t permanece en ese estado un tiempo aleatorio Ti1 , y i4 despus salta a un nuee i2 vo estado i2 distinto del i1 anterior. El sistema peri3 manece ahora en el estat do i2 un tiempo aleatorio Ti2 Ti3 Ti1 Ti4 Ti2 al cabo del cual brinca a otro estado i3 distinto del inmediato anterior, Figura 5.1 y as sucesivamente. Esta sucesin de saltos se mueso tra grcamente en la Figura 5.1. Los tiempos aleatorios T son los tiempos a en los que el proceso permanece constante en alguno de sus estados, y se llaman tiempos de estancia (passage times). Los momentos en donde el proceso tiene saltos son los tiempos Wn Ti1 Tin , para n 1. El proceso 145
146
5. Cadenas de Markov a tiempo continuo
puede entonces escribirse en la forma siguiente:

i1 i2 i3 . .
Xt
si 0 t W1 , si W1 t W2 , si W2 t W3 ,
A un proceso de estas caracter sticas se llama proceso de saltos, y parece ser una buena versin continua de las cadenas de Markov a tiempo discreto. Sin o embargo, puede comprobarse que el proceso as especicado puede no estar denido para todo tiempo t 0, y tampoco hay garant de que se cumpla la a propiedad de Markov. Explicaremos a continuacin algunas condiciones que o impondremos a los procesos de saltos particulares que estudiaremos en este cap tulo. Puede suceder que los tiempos de estancia T sean cada vez ms a Wn , es decir, existe la posibilidad pequeos de tal forma que l n n m de que el proceso efecte un nmero innito de saltos durante un intervalo u u de tiempo acotado. En tal situacin el proceso no estar bien denido para o a todo tiempo t 0, y se dice entonces que el proceso explota en un tiempo nito. Para evitar tal comportamiento supondremos que
n
l Wn m
c.s.
y por lo tanto, para cada t 0, el valor de Xt es nito, c.s. Por otro lado, sin prdida de generalidad supondremos que el espacio de estados es el conjunto e S
0, 1, . . .
y que el tiempo de estancia asociado el estado i es la variable aleatoria Ti , la cual supondremos positiva con funcin de distribucin Fi t. Como en el o o caso de cadenas a tiempo discreto, se denotar por pij a la probabilidad de a que la cadena pase del estado i al estado j al efectuar un salto. Adicionalmente impondremos la condicin pii o 0, y con ello se imposibilita que la cadena salte al mismo estado de partida. Las probabilidades de saltos deben entonces satisfacer las siguientes condiciones: a) pij b) pii 0. 0.
147 c)
pij
1.
En forma de matriz, las probabilidades de saltos constituyen una matriz estocstica de la siguiente forma: a

0 p01 p02 p10 0 p12 p20 p21 0 . . . . . . . . .
Supondremos adems que los tiempos de estancia Ti1 , Ti2 , . . . son indepena dientes entre s y tambin son independientes del mecanismo mediante el , e cual se escoge el estado j al cual la cadena salta despus de estar en cuale quier otro estado i. Mas an, supondremos que cada variable Ti es nita u con probabilidad uno, o bien, es innita con probabilidad uno. En el primer caso se dice que el estado i es no absorbente, y en el segundo caso que es se interpreta en el sentido de que el absorbente. El hecho de que Ti proceso deja de saltar y permanece en el estado i el resto del tiempo, es decir, el estado i es absorbente. Estamos entonces suponiendo que slo hay o dos tipos de estados: absorbentes o no absorbentes. En otras palabras, con probabilidad uno el tiempo de estancia es nito o con probabilidad uno es innito. Por otra parte, un resultado no trivial establece que Un proceso de las caracter sticas arriba especicadas satisface la propiedad de Markov si, y slo si, los tiempos de estancia en los o estados no absorbentes tienen distribucin exponencial. o Este es un resultado importante cuya demostracin omitiremos y que simo plica drsticamente el modelo general planteado. Como deseamos estudiar a procesos de saltos que cumplan la propiedad de Markov, pues tal propiedad ayuda a calcular probabilidades con cierta facilidad, tendremos que suponer entonces que el tiempo de estancia en un estado no absorbente i tiene distribucin expi , con i 0, es decir, o Fi t 1 ei t para t 0.
Observe que puede considerarse que i 0 en el caso cuando Ti . Usando la misma notacin que en el caso de tiempos discretos, recordemos o
148
que el trmino pxt signica P Xt e xt . La propiedad de Markov que consideraremos tiene la siguiente forma: para cualesquiera tiempos 0 t1 t2 tn , pxtn xt1 , . . . , xtn1 pxtn xtn1 . Observe que no estamos suponiendo que se conoce la historia del proceso en todo el pasado a tiempo continuo, sino unicamente en una coleccin arbi o traria pero nita de tiempos pasados t1 , . . . , tn1 . Supondremos nuevamente que estas probabilidades de transicin son estacionarias en el tiempo, esto o signica que para cada s 0 y t 0, la probabilidad P Xts j Xs i es idntica a P Xt j X0 i, es decir, no hay dependencia del valor de s. e Esta probabilidad se escribe de manera breve mediante la expresin pij t, o para i y j enteros no negativos. Es decir, pij t P Xts j Xs i P Xt j X0 i.
o En particular para t 0 se dene nuevamente pij 0 como la funcin delta de Kronecker, es decir, pij 0 ij 1 si i 0 si i j, j.
Haciendo variar los ndices i y j en el espacio de estados se obtiene la matriz de probabilidades de transicin al tiempo t, que denotaremos por Pt y en o ocasiones se escribe tambin como P t: e
Pt
pij t
p00 t p01 t p10 t p11 t . . . . . .
Puede demostrarse que cuando el espacio de estados es nito, esta matriz es siempre estocstica, es decir, los elementos de cada rengln suman uno. a o Sin embargo, existen ejemplos en el caso de espacios de estados innito en donde no se cumple tal propiedad, es decir, en general, j pij t 1. Esta es una diferencia inesperada respecto del modelo a tiempo discreto. Denicin 5.1 A un proceso de saltos con las caractersticas y postulados o arriba sealados se le llama cadena de Markov a tiempo continuo. n
149 Observe que en un proceso de Markov a tiempo continuo las probabilidades de saltos pij y las probabilidades de transicin pij t representan aspectos o distintos del proceso. Las primeras son probabilidades de cambio al estado j cuando el proceso se encuentra en el estado i y tiene un salto, mientras que las segundas son probabilidades de encontrar al proceso en el estado j, partiendo de i, al trmino de un intervalo de tiempo de longitud t. Observe e adems que un proceso de Markov a tiempo continuo queda completamente a especicado por los siguientes tres elementos: una distribucin de probao bilidad inicial en el espacio de estados, el conjunto de los parmetros no a negativos i , y las probabilidades de saltos pij . En las siguientes secciones estudiaremos algunas propiedades generales de los procesos arriba descritos y revisaremos tambin algunos modelos particulares. e Ejemplo 5.1 (Proceso de Poisson) El proceso de Poisson es una cadena de Markov a tiempo continuo que empieza en cero, es decir, la distribucin o de probabilidad inicial tiene el valor uno en el estado cero, los tiempos de estancia son exponenciales de parmetro y las probabilidades de saltos de a un estado a otro son pij 1 si j 0 si j i 1, i 1.
Xt 1
exp
Figura 5.2 0 una Ejemplo 5.2 (Cadena de primera ocurrencia) Sea Xt : t cadena de Markov a tiempo continuo con espacio de estados 0, 1. Suponga que X0 0 y que el proceso cambia al estado 1 despus de un tiempo e aleatorio con distribucin exp, y permanece all el resto del tiempo. Una o
150
posible trayectoria de este proceso se muestra en la Figura 5.2. Este proceso modela la situacin de espera exponencial para la primera ocurrencia de un o evento de inters. Las probabilidades de transicin son e o P t
p00 t p10 t p01 t p11 t
et 0
1 et 1
Xt 1
exp
exp
exp
exp
Figura 5.3 Ejemplo 5.3 (Cadena de dos estados) Considere el proceso Xt : t 0 con espacio de estados 0, 1 y denido por la siguiente dinmica: cuando a el proceso entra al estado 0 permanece en l un tiempo exp, y luego va al e estado 1, entonces permanece en el estado 1 un tiempo exp y despus ree gresa a 0, y as sucesivamente. Se postula adems que los tiempos de estancia a en cada estado son variables aleatorias independientes. Una trayectoria de este proceso se muestra en la Figura 5.3. Para este proceso pueden encona trarse explcitamente las probabilidades de transicin pij t. Ms adelante o demostraremos que para cualquier t 0, p00 t p01 t p11 t p10 t et . et , et , et .
En consecuencia, por complemento o simetra,
5.1. Probabilidades de transicion En notacin matricial, o
151
p00 t p01 t p10 t p11 t
et .
5.1.
Probabilidades de transicin o
Hemos mencionado antes que para una cadena de Markov a tiempo continuo las probabilidades de transicin son los nmeros pij t P Xt j X0 i. o u El problema que uno puede plantearse es encontrar una expresin para las o probabilidades de transicin pij t para cada par de estados i y j, y para cada o o tiempo t 0. Este es un problema demasiado general y slo en algunos pocos casos es posible encontrar expl citamente tales probabilidades. El siguiente resultado, sin embargo, nos permitir obtener algunas conclusiones generales a acerca de estas funciones. Proposicin 5.1 Sean i y j dos estados. Para cualquier t o pij t ij ei t i ei t
t
0
0, (5.1)
ei s
k i
pik pkj s ds.
Demostracin. Si i es un estado absorbente, es decir, si i 0, entonces o la frmula de la proposicin se reduce a pij t ij , lo cual es evidente. Si, o o en cambio, i no es un estado absorbente, entonces pij t P Xt P Xt j X0 j, Ti
t
0 t
i t X0
i P Xt
j, Ti
t X0
ij ei t ij ei t
fXt ,Ti
X0
j, u i du
X0
0 k i
fXt ,Xu ,Ti
j, k, u i du, j
k, u, i
i i
en donde por la propiedad de Markov y la independencia, fXt ,Xu ,Ti

X0
j, k, u i
f Xt
fX T ,X k u, i fT X u i pkj t u pik i e u .
u i 0 0
Xu ,Ti ,X0
152 Por lo tanto, pij t
ij ei t
t
0
i ei u
k i
pik pkj t u du.
Haciendo el cambio de variable su resultado.
t u en la integral se obtiene el
Las probabilidades de transicin satisfacen tambin una versin continua de o e o la ecuacin de Chapman-Kolmogorov, que en este caso se conoce como la o propiedad de semigrupo. Proposicin 5.2 (Ecuacin de Chapman-Kolmogorov) Para cualquier o o par de estados i y j, y para todo t 0 y s 0, pij t s En notacin matricial, Pts o Demostracin. o pij t s
pik t pkj s.
Pt Ps .
Por la propiedad de Markov,

k k k
P Xts
P Xts P Xts
j X0 j, Xt j Xt
i k X0 k P Xt
i k X0 i
pik t pkj s.
Por lo tanto, la coleccin Pt : t 0 constituye un semigrupo de matrices, o esto quiere decir que cumple las siguientes propiedades: a) P0 b) Pts I, en donde I es la matriz identidad. Pt Ps , para cualesquiera t, s 0.
Por otro lado, observemos que la ecuacin de Chapman-Kolmogorov es muy o
5.2. El generador infinitesimal
153
interesante pues permite expresar a las probabilidades de transicin pij t, o para cualquier tiempo t 0, en trminos de probabilidades innitesimales, e es decir, probabilidades de transicin en intervalos de tiempo de longitud o muy pequea. Por ejemplo, para cualquier n natural se puede escribir n pij t
k1 ,...,kn1
pi,k1 tn pk1 ,k2 tn pkn1,j tn.
Esto quiere decir que es suciente conocer el comportamiento de pij t en tiempos t pequeos para conocer su comportamiento para cualquier t 0. n Especicaremos con detalle este resultado ms adelante. a
5.2.
El generador innitesimal
De la frmula general (5.1) es inmediato observar que las probabilidades de o transicin pij t de una cadena de Markov a tiempo continuo son funciones o continuas en t, y en particular el integrando en (5.1) es una funcin continua. o Esto implica que la integral es diferenciable y por lo tanto la funcin t o pij t tambin es diferenciable, con derivada como se indica a continuacin. e o Proposicin 5.3 Para cualquier par de estados i y j, y para cualquier o t 0, p t ij
i pij t i
pik pkj t.
(5.2)
k i
Demostracin. Derivando directamente la identidad (5.1) se obtiene la o expresin anunciada. o La ecuacin (5.2) constituye todo un sistema de ecuaciones diferenciales o para las probabilidades de transicin pij t, en donde, como se indica en la o t puede depender de todas las probabilidades de frmula, la derivada pij o transicin de la forma pkj t para k i. Observe que la derivada p t es o ij 0, se una funcin continua del tiempo. Tomando ahora el l o mite cuando t
154 tiene que p 0 ij
i ij i
k i
pik kj
i ij i pij i si i
i pij si i
j, j.
Denicin 5.2 A las cantidades p 0 se les denota por gij , y se les conoce o ij con el nombre de parmetros innitesimales del proceso. Es decir, estos a parmetros son a i si i j, (5.3) gij i pij si i j. Haciendo variar los ndices i y j, estos nuevos parmetros conforman una a matriz G llamada el generador innitesimal del proceso de Markov, es decir,
0 0 p01 0 p02 1 p10 1 1 p12 2 p20 2 p21 2 . . . .

. . . . . .
(5.4)
Esta matriz determina de manera unica el comportamiento de la cadena de Markov a tiempo continuo, y es el concepto equivalente a la matriz de probabilidades de transicin en un paso para cadenas a tiempo discreto. Se o trata de una matriz con las siguientes propiedades: a) gij b) gii c)
j
0, 0. gij
si i
j.
0.
La demostracin de estas armaciones se sigue de la ecuacin (5.3), en o o particular la ultima propiedad se obtiene a partir del hecho de que pii 0 pues, gij i i pij i i 1 pii 0.
j j i
Observe que la situacin cuando gii o i es absorbente, es decir, cuando i
0 corresponde al caso cuando el estado 0.
5.2. El generador infinitesimal
155
Ejemplo 5.4 El generador innitesimal para el proceso de Poisson de parmetro es a

G
0 0 . . .
0 . . .
0 0 0 . . .
(5.5)
Ejemplo 5.5 El generador innitesimal para la cadena de Markov de dos estados del Ejemplo 5.3 es
(5.6)
Demostraremos a continuacin que el generador innitesimal caracteriza de o manera unica a la cadena de Markov. As a esta misma matriz se le llama , a veces cadena de Markov a tiempo continuo. Proposicin 5.4 El generador innitesimal determina de manera unica a o la cadena de Markov a tiempo continuo. Demostracin. Este resultado es consecuencia de la igualdad (5.3), pues o a partir del generador G gij se obtienen los parmetros iniciales que a denen a la cadena de Markov: i y pij
gii ,
0
gij gii
si i si i
j, j.
(5.7)
Un proceso de Markov a tiempo continuo puede ser tambin denido a e partir del comportamiento de las probabilidades de transicin pij t cuando o t 0. Tales probabilidades se llaman a veces probabilidades innitesimales, y pueden expresarse en trminos de los parmetros innitesimales como e a establece el siguiente resultado y del cual omitiremos su demostracin. o Proposicin 5.5 Cuando t o 1. pii t 1 gii t ot. 0,
156 2. pij t gij t ot,
5. Cadenas de Markov a tiempo continuo para i j.
Observe que las dos frmulas de la proposicin anterior corresponden al o o desarrollo de la serie de Taylor de la funcin pij t alrededor de cero hasta o el trmino lineal. e
5.3.
Ecuaciones de Kolmogorov
Ecuaciones retrospectivas En trminos de los parmetros innitesimales, el sistema de ecuaciones difee a renciales dado por la expresin (5.2) puede escribirse de la siguiente forma: o p t ij
gik pkj t.
(5.8)
En trminos de matrices esta igualdad se escribe como sigue e P t Expl citamente,
G P t.
(5.9)
p t p t 00 01 p t p t 11 10 . . . . . .
1 p10
0
. . .
0 p01 1 . . .
p00 t p10 t
. . .
p01 t p11 t . . .
A este sistema de ecuaciones diferenciales se le conoce como las ecuaciones retrospectivas de Kolmogorov. Un poco ms adelante explicaremos el origen a de este nombre y daremos un mecanismo para recordar la escritura exacta de este sistema de ecuaciones para una cadena de Markov particular: los procesos de nacimiento y muerte. Ejemplo 5.6 (Proceso de Poisson) El sistema de ecuaciones retrospectivas de Kolmogorov para el proceso de Poisson de parmetro est dado a a por p t ij p t ii
piit pij t pi1,j t
para i
j.
5.3. Ecuaciones de Kolmogorov Y sabemos que la solucin es o pij t et
157
tj i j i!
para i
j.
Ejemplo 5.7 (Cadena de dos estados) El sistema de ecuaciones retrospectivas de Kolmogorov para la cadena de Markov de dos estados denida en el Ejemplo 5.3 est dado por a p t 01 p t 10 p t
11
p t 00
p00 t p10 t, p01 t p11 t, p10t p00t, p11t p01t.
Resolveremos este sistema de ecuaciones y encontraremos las probabilidades de transicin para esta cadena. Observe que el primer par de ecuaciones o estn acopladas, y lo mismo se presenta con el segundo par de ecuaciones. a Estos dos sistemas de ecuaciones son independientes uno del otro y tienen la misma forma aunque con parmetros posiblemente distintos. Es suciente a entonces resolver uno de estos dos sistemas para tambin conocer la solue t p t, y q t et p10 t, el primer cin del otro. Deniendo q00 t e 00 o 10 sistema de ecuaciones se reduce y toma la siguiente forma
q10 t
q00 t
et q10 t,
et q00 t.
Derivando la primera ecuacin e incorporando la segunda se obtiene la o ecuacin diferencial o
q00 t q00 t q00 t
0,
1, y q00 0 . La ecuacin caraco con condiciones iniciales q00 0 2 r terstica asociada a esta ecuacin de segundo orden es r o 0, y r2 . La solucin general es entonces de la o cuyas races son r1 forma q00 t c1 er1 t c2 er2 t .
158
5. Cadenas de Markov a tiempo continuo y c2
Usando las condiciones iniciales se encuentra que c1 . De esta forma se llega a la solucin o p00 t et .
Tomando complemento se encuentra una expresin para p01 t. Por simetra o pueden obtenerse tambin las probabilidades p10 t y p11 t como aparecen e enunciadas en el Ejemplo 5.3. Ecuaciones prospectivas Al sistema de ecuaciones diferenciales dado por la igualdad P t P t G se le llama sistema de ecuaciones prospectivas de Kolmogorov. La diferencia entre este sistema y el sistema retrospectivo mencionado antes es que el orden de los factores en el lado derecho es distinto. Ms expl a citamente, el sistema prospectivo es el siguiente p t ij
pik t gkj .
(5.10)
En algunos casos los dos sistemas de ecuaciones son equivalentes y su solucin produce las mismas probabilidades de transicin pij t. En general, el o o sistema retrospectivo es el que siempre se satisface como lo hemos demostrado, y no as para el sistema prospectivo. En la siguiente seccin estudiaremos o una cadena de Markov a tiempo continuo que es un tanto general y que lleva el nombre de proceso de nacimiento y muerte. Para esta cadena en particular y para todas sus simplicaciones tambin se cumple el sistema prospectivo e de ecuaciones diferenciales de Kolmogorov con algunas hiptesis adicionales. o A partir de esta cadena explicaremos el origen de los trminos prospectivo e y retrospectivo. Antes de ello mostramos el sistema prospectivo para dos ejemplos de cadenas de Markov. Ejemplo 5.8 (Proceso de Poisson) El sistema de ecuaciones prospectivas de Kolmogorov para el proceso de Poisson de parmetro est dado a a por p t ij p t ii
piit pij t pi,j 1t
para i
j.
5.4. Procesos de nacimiento y muerte Y sabemos que la solucin es o pij t et
159
tj i j i!
para i
j.
Ejemplo 5.9 (Cadena de dos estados) El sistema de ecuaciones prospectivas de Kolmogorov para la cadena de Markov de dos estados denida en el Ejemplo 5.3 est dado por a p t 01 p t 10 p t
11
p t 00
p00 t p01 t, p01t p00 t, p10 t p11 t, p11t p10 t.
Puede comprobarse que su solucin es la que se muestra en el Ejemplo 5.3. o
5.4.
Procesos de nacimiento y muerte
Un proceso de nacimiento y muerte es una cadena de Markov a tiempo continuo con espacio de estados 0, 1, . . . y con generador innitesimal dado por G
1 0 . . .
1 1
2 . . .
2 2
. . .
0 1
0 0 2
en donde 0 , 1 , . . . y 1 , 2 , . . . son constantes positivas conocidas como las tasas instantneas de nacimiento y muerte, respectivamente. De acuerdo a lo a desarrollado antes, a partir de esta matriz podemos concluir que el tiempo de estancia en cualquier estado i 0 tiene distribucin expi i , en o donde se dene 0 0. Las probabilidades de saltos de un estado a otro son i i 1, si j i i i (5.11) pij i 1, si j i i 0 otro caso. De este modo, un proceso de nacimiento y muerte permanece en cada uno
160
de sus estados un tiempo exponencial, al cabo del cual salta Xt una unidad hacia arriba o una 3 unidad hacia abajo de acuerdo a las probabilidades arriba indi2 cadas. Un salto hacia arriba se 1 interpreta como un nacimiento, mientras que un salto hacia abat jo representa una muerte. Una posible trayectoria de este proFigura 5.4 ceso se muestra en la Figura 5.4 con X0 0. La variable Xt puede interpretarse como el nmero de individuos en una poblacin al tiemu o po t, en donde pueden presentarse nacimientos y muertes de individuos, uno 0 y 0 0, la poblacin puede crecer cuando se eno a la vez. Como 0 cuentre en el estado cero, pero nunca decrecer por abajo de ese nivel. Otra manera alternativa de denir a los procesos de nacimiento y muerte es a travs de los siguientes postulados: e a) Los incrementos son independientes y estacionarios b) Las probabilidades de transicin son estacionarias, es decir, o pij t Cuando h 0, i h oh, para i para i 0. 1. para i 0. i h oh, c) pi,i1 h e) pi,i h P Xts j Xs i.
d) pi,i1 h
1 i i h oh,
Como antes, las constantes 0 , 1 , . . . son parmetros no negativos con 0 esa trictamente positivo, y corresponden a las tasas de nacimiento, y 0 , 1 , 2 , . . . son las tasas de muerte, con 0 0. No es una consecuencia que se pueda obtener de manera inmediata pero con ayuda de estos postulados se puede demostrar que el tiempo de estancia en cada estado i tiene distribucin exo ponencial de parmetro i i , y que las probabilidades de saltos estn a a dadas por la expresin (5.11). o
5.4. Procesos de nacimiento y muerte
161
Ejemplo 5.10 Un proceso de Poisson es una cadena de nacimiento y muerte en donde las tasas instantneas de muerte 0 , 1 , . . . son cero, y las tasas a instantneas de nacimiento 0 , 1 , . . . son todas ellas iguales a una consa 0. La matriz de parmetros innitesimales es entonces de la a tante forma (5.5). Ejemplo 5.11 Las ecuaciones prospectivas de Kolmogorov del proceso de Poisson de parmetro para las probabilidades pn t : p0n t son a p t 0
n
p t
p0t. pn1 t pn t,
para n
1,
Usaremos estas ecuaciones para comprobar nuevamente que Xt tiene diso 1, la primera tribucin Poissont. Usando la condicin inicial p0 0 o ecuacin tiene solucin p0 t et . Deniendo qn t et pn t, la seguno o da ecuacin se transforma en qn t qn1 t, con condiciones qn 0 0n o y q 0 t 1. Esta nueva ecuacin se resuelve iterativamente, primero para o e q1 t, despus para q2 t, y as sucesivamente. En general, qn t tn n! para n 0. De aqu se obtiene pn t et tn n! Ejemplo 5.12 Esta es otra derivacin mas de la distribucin Poisson en o o el proceso de Poisson, ahora usando las ecuaciones prospectivas de Kolmogorov y la funcin generadora de probabilidad. La variable aleatoria Xt o puede tomar los valores 0, 1, . . . de modo que su funcin generadora de proo babilidad es GXt u E uXt
n 0
pn t un ,
1, y en donde pn t P Xt para valores reales de u tales que u n. Consideraremos a esta funcin tambin como funcin del tiempo t y o e o por comodidad en los siguientes clculos la llamaremos Gt, u. Derivando a respecto de t, para el mismo radio de convergencia u 1, y usando las ecuaciones prospectivas de Kolmogorov para el proceso de Poisson se tiene
162 que G t, u
n 0
p t un n
pn1t pntun
n 0
u 1Gt, u, de donde se obtiene la ecuacin diferencial G G u 1. Integrando de o 0 a t y usando la condicin G0, u 1 se llega a o tn un. Gt, u G0, u eu1t et etu et
Esta es la funcin generadora de probabilidad de la distribucin Poissont. o o Por la propiedad de unicidad se obtiene que la variable Xt tiene distribucin o Poissont. Derivacin intuitiva de los sistemas de ecuaciones diferenciales o prospectivo y retrospectivo de Kolmogorov Explicaremos a continuacin los trminos prospectivo y retrospectivo de los o e sistemas de ecuaciones diferenciales de Kolmogorov para las probabilidades de transicin pij t en el caso particular de un proceso de nacimiento o y muerte. Veamos primero el caso restrospectivo. Para cualquier t 0 y 0 pequeo consideremos el intervalo 0, t h visto como la siguiente n h descomposicin: o 0, t h 0, h h, t h.
n 0
uGt, u Gt, u
n!
Supongamos que queremos calcular la probabilidad pij t h. El sistema de ecuaciones que obtendremos se llama retrospectivo porque analiza lo que ocurre en el intervalo inicial 0, h de longitud muy pequea h. En este n intervalo, a partir del estado i, unicamente pueden ocurrir tres cosas: que haya un nacimiento, que haya una muerte o que no nazca ni muera nadie. Por lo tanto, por la propiedad de incrementos independientes y estacionarios, cuando h 0, pij t h i h pi1,j t i h pi1,j t 1 i h i h pij t oh.
5.4. Procesos de nacimiento y muerte O bien, 1 pij t h pij t h i pi1,j t i pi1,j t i i pij t
163
oh . h
0 se obtiene el sistema de ecuaciones difeTomando el l mite cuando h renciales que hemos llamado retrospectivo p t 0j p t ij 0 p1,j t 0 p0j t, i pi1,j t i pi1,j t i i pij t,
1.
As esta ecuacin puede leerse, o bien pueden vericarse sus coecientes y , o sub ndices, a partir de lo que sucede en un intervalo innitesimal al inicio del intervalo: hay un nacimiento (factor i ) y entonces el proceso debe transitar de i 1 a j, o hay una muerte (factor i ) y entonces el proceso debe pasar de i 1 a j, o bien no hay nacimientos ni decesos (factor 1 i i pero omitiendo el 1) y entonces la cadena debe pasar de i a j. De esta manera pueden vericarse los sistemas retrospectivos que hemos mencionado antes. Para el sistema prospectivo y considerando nuevamente un proceso de nacimiento y muerte, se considera la descomposicin: o
0, t h 0, t t, t h.
Ahora el intervalo de longitud innitesinal h se encuentra en la parte nal del intervalo de tiempo completo. Nuevamente por la propiedad de incrementos independientes y estacionarios, cuando h 0, pij t h pi,j 1 t j 1 h pi,j 1 t j 1 h pij t 1 j h j h oh.
Reescribiendo esta ecuacin para que en el lado izquierdo aparezca una o 0 e imponiendo condiciones adiprederivada, tomando l mite cuando h cionales para la convergencia de la prederivada se obtiene la ecuacin difeo rencial prospectiva p t i0 p t ij
0 pi0t 1 pi1 t, j 1 pi,j 1 t j 1 pi,j 1 t j j pij t.
La lectura de los coecientes y sub ndices es similar a la anterior: la cadena e a pasa de i a j 1 y despus hay instantneamente un nacimiento (factor
164
j 1 ), o la cadena transita de i a j 1 y despus hay instantneamente una e a muerte (factor j 1 ), o bien la cadena pasa de i a j y no hay nacimientos ni muertes (factor 1 j j pero omitiendo el 1). Proceso de nacimiento puro Cuando en un proceso de nacimiento y muerte los parmetros de decesos a 0 , 1 , . . . son todos cero, se obtiene un proceso de 0 0 0 0 nacimiento puro. La matriz 0 1 1 0 de parmetros innitesimaa G 0 0 2 2 . les tiene la forma que se . . . . . muestra en la Figura 5.5, en . . . donde, como antes, los parmetros 0 , 1 , . . . se conoa Figura 5.5 cen como las tasas instanta neas de nacimiento. En la Figura 5.6 se muestra una trayectoria de este X t proceso cuando inicia en el 3 estado cero. Por construc2 cin, el tiempo de estancia o en el estado i tiene dis1 tribucin exponencial con o t parmetro i . Las probabia lidades de saltos son eviexp0 exp1 exp2 exp3 dentemente pij 1 cuanFigura 5.6 i 1, y cero en do j cualquier otro caso. Puede demostrarse que los incrementos de un proceso de nacimiento puro son independientes pero no son necesariamente estacionarios. Un proceso de nacimiento puro puede tambin denirse mediante las siguientes probabilie 0, dades innitesimales: cuando h b) P Xth Xt a) P Xth Xt 1 Xt 0 Xt k k k h oh. 1 k h oh.
En general no es fcil encontrar una frmula para las probabilidades de a o
5.4. Procesos de nacimiento y muerte
165
transicin pij t, sin embargo cuando el estado inicial es cero se conoce la o siguiente frmula recursiva. o Proposicin 5.6 Para cualquier t 0 y cualquier entero n 1, las proo babilidades de transicin en un proceso de nacimiento puro satisfacen la o relacin: o p0n t n1 en t
t 0
en s p0,n1 s ds.
(5.12)
Demostracin. El sistema de ecuaciones diferenciales prospectivas de o Kolmogorov para este proceso es p t ij j 1 pi,j 1 t j pij t.
En particular, partiendo de cero,
p00 t p0n t
n1 p0,n1 t n p0n t,
0 p00t,
1,
con las condiciones de frontera p00 0 1 y p0n 0 0, para n 1. La e0 t , mientras que para el caso primera ecuacin tiene solucin p00 t o o n 1, multiplicando por el factor integrante en t y resolviendo se obtiene la frmula enunciada. o
Proceso de muerte puro De manera anloga puede denirse un proceso de muerte puro como un a proceso de nacimiento y muerte en donde los parmetros de nacimiento a 0 , 1 , . . . son todos cero. El proceso puede iniciar con una poblacin de o tamao k 1, y presentar fallecimientos sucesivos hasta una posible extinn cin completa de la poblacin. o o El proceso de Yule Este es un tipo particular de proceso de nacimiento puro, y para el cual es posible encontrar expl citamente las probabilidades de transicin. Este o proceso puede denirse a travs de los siguientes postulados: e a) El estado inicial es X0 k 1.
166
b) Si Xt n, entonces cada uno de estos elementos puede dar nacimiento a un nuevo elemento durante un periodo de longitud innitesimal h 0 con probabilidad h oh, en donde 0, es decir, P Xth Xt 1 Xt n n h oh 1 h ohn1 1 nh oh.

Es decir, las tasas instantneas de nacimiento son n n, que crecen de a manera lineal conforme la poblacin crece. El tiempo de estancia en el estado o n tiene distribucin expn, en consecuencia el tiempo medio de estancia o en ese estado es n1 , cada vez menor conforme n crece. El sistema de ecuaciones prospectivas para pkn t, con n k, se reduce a p t kn p t kk
k pkk t, n 1 pk,n1 t n pkn t,

k 1,
t
0
k 1.
La frmula recursiva (5.12) es, para n o pkn t n 1 ent
ens pk,n1 s ds.
(5.13)
Demostraremos a continuacin que el incremento Xt X0 tiene distribucin o o binomial negativa de parmetros r, p, con r k y p et . a Proposicin 5.7 Las probabilidades de transicin para el proceso de Yule o o son n 1 kt pkn t e 1 et nk , para n k. nk k se tiene la Demostracin. Usaremos induccin sobre n. Para n o o ecuacin diferencial p t o k pkk t, con condicin inicial pkk 0 1. o kk Esto produce la solucin pkk t ekt , que es de la forma enunciada. Para o
5.5. Conceptos y propiedades varias valores de n pkn t k 1 usaremos la frmula recursiva (5.13), o n 1 ent
t
0
167
ns
t n2 n 1 ent es nk 1 es n1k ds n1k 0 t n2 n 1 ent 1 es 1 es 1nk ds n1k 0 t n2 es es 1n1k ds n 1 ent n1k 0 t n2 d s 1 nt n 1 e e 1nk ds n1k 0 n k ds n1 n2 ent et 1nk nk n1k n 1 kt e 1 et nk . k1
n2 eks 1 es n1k ds n1k
En la siguiente seccin revisaremos muy brevemente algunos conceptos geo nerales que se pueden denir para cadenas de Markov a tiempo continuo y que corresponden a los conceptos anlogos para el caso de tiempo discreto. a
5.5.
Conceptos y propiedades varias
Comunicacin o Se dice que el estado j es accesible desde el estado i si pij t 0 para algn u j. Se dice que los estados i y j se comunican si i j t 0, y se escribe i i, y en tal caso se escribe i j. Nuevamente puede demostrarse que yj la comunicacin es una relacin de equivalencia, y eso lleva a una particin o o o del espacio de estados en clases de comunicacin. Se dice nuevamente que la o cadena es irreducible cuando todos los estados pertenecen a la misma clase de comunicacin. o
168
Tiempos de primera visita Para cualesquiera estados i y j, se dene ij t nf 0 : Xt j , cuando X0 i.
El tiempo medio de primera visita es entonces ij E ij . Cuando los estados i y j coinciden se escribe i , y i E i respectivamente. A i se le llama tiempo medio de recurrencia. Recurrencia y transitoriedad Se dice que el estado i es transitorio si, partiendo de i, con probabilidad uno el conjunto de tiempos t 0 : Xt i es acotado. En cambio, se dice que es recurrente si, partiendo de i, con probabilidad uno el conjunto t 0 : Xt i es no acotado. Cuando E i se dice que el estado i es se dice que es recurrente positivo. recurrente nulo, y cuando E i Distribuciones estacionarias Sea P t la matriz de probabilidades de transicin de una cadena de Maro kov a tiempo continuo. Se dice que una distribucin de probabilidad o 0, 1 , . . . sobre el espacio de estados es estacionaria si para cualquier t 0, P t . Expl citamente, si para cualquier t 0, i i pij t j . Por lo tanto, si X0 tiene como distribucin inicial una distribucin estacionaria , entonces o o i pij t j , es decir, la variable Xt tiene la misma disP Xt j i tribucin de probabilidad para cualquier valor de t. El siguiente resultado, o cuya demostracin omitiremos, plantea una forma alternativa de encontrar o una posible distribucin estacionaria para una cadena de Markov a tiempo o continuo. Proposicin 5.8 La distribucin es estacionaria para la cadena con geo o nerador innitesimal G si y slo si G 0. o Ejemplo 5.13 Considere la cadena de Markov de dos estados cuyo generador innitesimal est dado por la matriz a
5.6. Ejercicios
169
Se busca una distribucin estacionaria 0 , 1 para esta cadena y para o ello se hace uso de la ecuacin G 0, junto con la condicin 0 1 1. o o Esto lleva a la solucin o 0, 1 , . Puede comprobarse adems que las probabilidades de transicin mostradas a o en el Ejemplo 5.3 convergen a esta distribucin estacionaria, es decir, o
l m
p00 t p01 t p10 t p11 t
0 1 0 1
Cadena a tiempo discreto asociada Toda cadena de Markov a tiempo continuo Xt : t 0 tiene asociada una cadena a tiempo discreto que denotaremos por el mismo s mbolo Xn : n 0, 1, . . . , y que est dada por la primera pero observada en los tiempos en a donde se efectan los saltos. Algunas caracter u sticas de la cadena a tiempo discreto se trasladan a su versin continua. Inversamente, a partir de una o cadena a tiempo discreto puede construirse su versin continua en el tiempo o tomando tiempos exponenciales independientes entre salto y salto. Notas y referencias. La primera parte de la exposicin que hemos preo sentado est basada en el texto de Hoel, Port y Stone [14]. Una exposicin a o ms completa del tema de cadenas de Markov a tiempo continuo puede a encontrarse en Basu [1], Karlin y Taylor [17] o Stirzaker [34].
5.6.
Ejercicios
Cadenas de Markov a tiempo continuo
142. Para la cadena de Markov de dos estados, demuestre que para cualquier t 0, et . p00 t
170
143. Para la cadena de Markov de dos estados, demuestre que el tiempo de estancia promedio en el estado cero, a largo plazo, es 1 l E m t t
10 Xs ds
Observe que no es necesario establecer el estado inicial del proceso. El tiempo de estancia promedio en el estado uno a largo plazo es la fraccin complementaria. o Ecuaciones de Kolmogorov 144. Escriba el sistema de ecuaciones diferenciales retrospectivas de Kolmogorov para un proceso de Poisson de parmetro y compruebe que a la distribucin Poisson satisface este sistema de ecuaciones. o 0 un proceso de Poisson de parmetro y sean a 145. Sea Nt : t Y1 , Y2 , . . . v.a.i.i.d. con distribucin comn Bernoullip. Encuentre las o u ecuaciones de Kolmogorov retrospectivas y prospectivas del proceso Xt
Nt j 1
Yj .
Resuelva cualquiera de estos sistemas de ecuaciones y demuestre que para j i, ptj i . pij t ept j i! Procesos de nacimiento y muerte 146. Para la cadena de Markov a tiempo continuo de dos estados en donde la estancia en el estado 0 tiene distribucin exp, y la estancia en el o estado 1 es exp, demuestre que: a) p00 t b) c)
et . p01 t et . p10 t et .
5.6. Ejercicios d) p11 t
171
et .
147. Considere una cadena de Markov a tiempo continuo de dos estados en donde el tiempo de estancia en cada uno de ellos tiene distribucin o u exp. Dena la variable Nt como el nmero de veces que la cadena ha efectuado saltos hasta un tiempo t 0 cualquiera. Demuestre que Nt : t 0 es un proceso de Poisson de parmetro . a Procesos de nacimiento puros 148. Sea Xt : t 0 un proceso de Yule con estado inicial X0 Demuestre que: b) VarXt a) E Xt k et . k e2t 1 et . k 1.
Procesos de muerte puros 0 un proceso de muerte puro tal que X0 N 1y 149. Sea Xt : t con parmetros 1 , 2 , . . . , N . Demuestre que el rea promedio de la a a trayectoria de este proceso hasta que alcanza el estado absorbente 0 es N k . k 1 k
172
Cap tulo 6
Procesos de renovacin o y conabilidad

En este cap tulo se presenta otra generalizacin del proceso de Poisson. Se o considera ahora que los tiempos de interarribo no son necesariamente exponenciales. A tales procesos de saltos unitarios se les conoce como procesos de renovacin, y en general dejan de cumplir la propiedad de Markov. Adems o a de estudiar algunas propiedades generales de los procesos de renovacin, eso tudiaremos tambin el concepto de conabilidad para sistemas conformados e por varios componentes, los cuales son susceptibles de tener fallas en tiempos aleatorios. Este cap tulo es breve y se presentan slo algunos aspectos o elementales de los procesos de renovacin. o
6.1.
Procesos de renovacin o
Suponga que se pone en operacin o un cierto componente o art culo T1 T2 T3 T4 cuya duracin de vida util se moo dela mediante una variable aleato0 ria T1 . Una vez que el componente falla se reemplaza o renueva con Figura 6.1 otro componente cuyo tiempo de vida es T2 , y as sucesivamente. La coleccin de variables aleatorias T1 , T2 , . . . representa la sucesin de tiempos o o 173
174
6. Procesos de renovacion y confiabilidad
de vida de componentes puestos en operacin uno tras otro. Esto se iluso tra en la Figura 6.1. En este contexto es natural suponer que las variables que modelan los tiempos de vida son no negativas, independientes y con la misma distribucin de probabilidad. Un proceso de estas caracter o sticas se conoce con el nombre de proceso de renovacin. Observe que exactamente o en los tiempos en los que se efectan las renovaciones, el proceso reinicia u probabil sticamente. Empezaremos por dar un primera denicin formal de o un proceso de renovacin basada en lo recin mencionado. o e Denicin 6.1 (Primera denicin) Un proceso de renovacin es una o o o sucesin innita de variables aleatorias T1 , T2 , . . . que son no negativas, ino dependientes e idnticamente distribuidas. e Otra forma equivalente de denir a este proceso es a travs del registro de e los tiempos reales en los que se observan las renovaciones, o bien, a travs e del conteo de renovaciones observadas hasta un tiempo cualquiera. Estos puntos de vista alternativos se denen a continuacin. o
T1 , T2 , . . ., se denen los tiempos reales de renovacin como W0 0 y o Wn T1 Tn , para n 1. El proceso de conteo de renovaciones es Nt mx n 0 : Wn t, para cada t 0. a
La variable aleatoria Wn representa el tiempo real en el que se realiza la n-sima renovacin, mientras que Nt indica el nmero de renovaciones efece o u tuadas hasta el tiempo t. En la literatura se le denomina proceso de renovacin a cualquiera de los procesos Tn : n 1, 2, . . . , Wn : n 0, 1, . . . , o o voca o Nt : t 0, pues por construccin existe una correspondencia biun entre cualesquiera dos de estos procesos. Denotaremos por F t a la funcin o de distribucin de los tiempos de vida. Por lo tanto, la funcin de distribuo o cin de Wn es la convolucin de F t consigo misma n veces, es decir, o o FWn t P T1 Tn t F n t
Denicin 6.2 (Segunda denicin) Dado un proceso de renovacin o o o
F F t.
En particular, F 1 t
F t y cuando n F 0 t 0 1
0 se dene 0, 0.
si t si t
6.1. Procesos de renovacion
175
Una de las primeras preguntas que uno puede hacerse acerca de un proceso de renovacin es la de conocer la distribucin de la variable Nt . La respuesta o o no es fcil de encontrar, pues la distribucin de esta variable depende de la a o distribucin de los tiempos de vida como indica la siguiente frmula general. o o Proposicin 6.1 Para cualquier n o P N t n 0,
F n t F n1 t.
Demostracin. Tomando en consideracin que las variables Wn y Tn1 o o son independientes, tenemos que P Nt n P Wn P Wn t, Wn1 t, Wn Tn1 Wn

P t Tn1 F n t F n t
FWn t FWn t Tn1

0
FWn
Tn1
t u u dF u
F n t F n1 t.
F n t u dF u
En muy pocos casos es posible encontrar la distribucin expl o cita del nmero u de renovaciones Nt . En el caso cuando los tiempo de vida son exponenciales sabemos que la respuesta es la distribucin Poisson. o Ejemplo 6.1 Un proceso de Poisson homogneo de tasa es un procee so de renovacin en donde los tiempos de vida tienen distribucin exp(). o o En consecuencia, los tiempos reales de renovacin Wn tienen distribucin o o gama(n, ), cuya funcin de distribucin es, para t 0, o o FWn t
t
0
xn1 ex dx n
k n
et
tk .
k!
176
La segunda igualdad puede obtenerse despus de aplicar integracin por e o partes varias veces. A partir de esta expresin puede recuperarse la diso tribucin Poisson pues por la Proposicin 6.1, o o P Nt n F n t F n1 t et
tn .
n!
Del mismo modo que sucedi en el caso del proceso de Poisson, para un o proceso de renovacin tambin es vlida la igualdad de eventos Nt n o e a Wn t, para t 0 y para n 0 entero. Esta identidad nos ser de a utilidad ms adelante. a
6.2.
Funcin y ecuacin de renovacin o o o
Otra de las funciones que es natural desear conocer en un proceso de renovacin es el nmero promedio de renovaciones efectuadas hasta un tiempo t o u cualquiera. A tal funcin se le llama funcin de renovacin, y se le denota o o o a por t, es decir, t E Nt . En general tampoco es fcil encontrar una forma expl cita para esta funcin. Sin embargo, se cuenta con la siguiente o ecuacin integral general. o o Proposicin 6.2 La funcin de renovacin t satisface la ecuacin o o o t F t
t
0
t s dF s.
(6.1)
Demostracin. Condicionando sobre el valor del primer tiempo de vida o T1 se obtiene t s dF s, en donde 0 E Nt T1 E Nt T1 Por lo tanto t
t
0
0 1 t s
si s si s
t
0
t, t.
1 t s dF s
F t
t s dF s.
6.2. Funcion y ecuacion de renovacion
177
Observe que la ecuacin (6.1) puede escribirse como t F t F t. o Debido a que se condiciona sobre el valor del primer tiempo de renovacin, o a la tcnica de la demostracin de este resultado se le llama a veces anlisis e o a del primer paso o se dice tambin que se ha utilizado un argumento de e renovacin, pues es muy frecuente su uso en el clculo de probabilidades o a de ciertos eventos en los procesos de renovacin. Ms adelante tendremos o a oportunidad de usar nuevamente esta tcnica. e Ejemplo 6.2 Para el proceso de Poisson, el promedio de renovaciones o t. Puede comprobarse directamente que esta saltos al tiempo t es t funcin satisface (6.1) con F t 1 et , t 0. o A una ecuacin integral del tipo (6.1) se le llama ecuacin de renovacin, o o o pues algunas funciones de inters en la teor de la renovacin la cumplen. e a o La denicin general se incluye a continuacin. o o Denicin 6.3 Sean F t, g t y ht funciones denidas para t o 0. Suponga que F t y ht son conocidas, y gt es desconocida. Se dice que g t satisface una ecuacin de renovacin si cumple la ecuacin integral o o o g t ht
t
0
gt s dF s.
(6.2)
o Puede demostrarse que si ht es una funcin acotada, entonces existe una o o unica solucin g t a la ecuacin de renovacin (6.2) que cumple con la o condicin de ser acotada sobre intervalos nitos y est dada expl o a citamente por g t ht
t
en donde s es la funcin de renovacin. La demostracin de este resultado o o o general puede ser encontrado en el texto de Karlin y Taylor [17]. Acerca de la funcin de renovacin tenemos la siguiente expresin general. o o o Proposicin 6.3 Para cualquier t o t 0,
n 1
ht s ds,
(6.3)
F n t.
(6.4)
178 Demostracin. o t
n 0
n P Nt
n 2
P Nt
F 1 t F 2 t 2 F 2 t F 3 t
F n t.
1 2 P Nt
n 1
Ejemplo 6.3 Cuando los tiempos de interarribo tienen distribucin exp o se tiene que F n t
t
0
xn1 ex dx n
k n
et
tk .
k!
Usando esta expresin y la frmula recin demostrada puede corroborarse o o e que en este caso t t. Es posible demostrar que para un proceso de renovacin la variable Nt tiene o momentos nitos de cualquier orden, y en particular para la esperanza, la suma que aparece en (6.4) siempre es convergente. Se puede tambin dee mostrar que existe una correspondencia biun voca entre las funciones t y F t, y que adems el proceso de renovacin Nt : t 0 queda completaa o mente especicado por la funcin promedio t. La demostracin de estos o o resultados puede consultarse en [1].
6.3.
Tiempos de vida
Junto a todo proceso de renovacin y para cada tiempo jo, pueden cono siderarse tres variables aleatorias no negativas, t , t y t , cuyo signicado geomtrico se muestra en la Figura 6.2, y que deniremos con mayor pree cisin a continuacin. o o
6.3. Tiempos de vida
179
Nt 1 Nt Nt 1
WNt
WNt 1
Figura 6.2
Tiempo de vida restante Este es el tiempo de vida util que le resta al elemento que se encuentra en operacin al tiempo t, y est dado por la variable o a t WNt 1 t.
Esta longitud aleatoria se muestra en la Figura 6.2. Usando un argumento de renovacin demostraremos que para cada x o 0 la funcin t o g t P t x satisface una ecuacin de renovacin. o o Proposicin 6.4 La funcin t o o de renovacin o g t Demostracin. o gt
t
0
P t
x satisface la ecuacin o
1 F t x
gt s dF s.
(6.5)
Se condiciona sobre el valor de T1 de la siguiente forma: g t
P t
x T1
s dF s.
Se consideran entonces los tres posibles casos para los valores de T1 como se muestran en la Figura 6.3.
180
T1 0
T1 t
T1 tx
Figura 6.3 Puesto que un proceso de renovacin puede considerarse que inicia nueo vamente a partir del momento en que se observa una renovacin, se tiene o que si s t x, 1 0 si t s t x, P t x T1 s P ts x si 0 s t. Por lo tanto, gt

0
P t
x T1
t
0
s dF s P ts x dF s
t x
dF s
1 F t x
t
0
gt s dF s.
Ejemplo 6.4 Cuando los tiempos de vida son exponenciales de parmetro a , la unica solucin de la ecuacin (6.5) es la funcin constante en t, o o o gt P t x ex , que equivale a decir que la variable t tiene e distribucin exp. Esta es nuevamente la propiedad de prdida de memoo ria de la distribucin exponencial. o Tiempo de vida transcurrido Este es el tiempo que ha estado en uso el elemento que se encuentra en operacin al tiempo t, y est dado por la variable o a t t W Nt .
6.3. Tiempos de vida
181
Vase nuevamente la Figura 6.2. Es claro que esta variable est acotada e a superiormente por el valor t, pues el elemento en uso al tiempo t no puede tener hasta ese momento un tiempo de uso mayor a t. Sea nuevamente x 0 gt P t x. Por las consideraciones anteriores, y dena la funcin t o tenemos que gt 0 para t 0, x. Usando un argumento de renovacin o o o demostraremos que la funcin gt satisface una ecuacin de renovacin. o Proposicin 6.5 Para t x, o ecuacin de renovacin o o gt
, la funcin gt o
tx
0
P t
x satisface la
1 F t
gt s dF s.
Demostracin. Nuevamente se condiciona sobre el valor de T1 . Los tres o posibles casos se muestran en la Figura 6.4.
T1 0
T1 tx
T1 t
Figura 6.4 Por lo tanto, P t Entonces, gt

0
x T1
0 P ts
si s si 0 si 0
t, tx s s t x.
t,
P t
x T1
tx
0
s dF s P ts x dF s
dF s
1 F t
tx
0
gt s dF s.
182 En resumen, gt
0 1
F t
tx
0
si 0 gt s dF s si t
t x.
x,
Ejemplo 6.5 Considerando otra vez el caso de tiempos de vida exponencial de parmetro , puede comprobarse que el tiempo de vida transcurrido tiene a funcin de distribucin o o P t x
1 0
ex
si 0
t,
si x t, otro caso.
Tiempo de vida total Este es el tiempo completo de vida util que tiene el elemento que se encuen tra en operacin al tiempo t, y est dado por la variable o a t t t WNt 1 WNt TNt 1 .
Nuevamente, para x 0 se dene la funcin t o gt P t x. Demostraremos que esta funcin satisface una ecuacin de renovacin, en la cual o o o aparecer el trmino x y, que signica mxx, y . a e a Proposicin 6.6 La funcin gt o o renovacin o gt 1 F t P t x
t
0
x satisface la ecuacin de o
gt s dF s,
Demostracin. o la variable T1 .
Nuevamente condicionaremos sobre un posible valor de g t
P t
x T1
s dF s.
Los posibles casos para T1 se muestran en la Figura 6.5.
6.4. Teoremas de renovacion
183
T1 0
T1 t
T1 tx
Figura 6.5 El caso s t, t x se debe subdividir en dos casos: s modo se obtienen los siguientes resultados P t s
0
xs o
x. De este x, x,
x T1
El segundo y tercer rengln se conjuntan en las condiciones t x s t x o o . Por lo tanto, o s t x, lo cual se reduce a la condicin t x s g t
1 1 P ts
si si si si
t t s 0
s t x, y s s t x, y s t x, s t.
P t
x T1
t
0
s dF s P ts x dF s
t x
dF s
1 F t
t
0
gt s dF s.
Ejemplo 6.6 En el caso de tiempos de interarribo exponenciales de para metro , puede demostrarse que el tiempo de vida total tiene funcin de o distribucin o P t x 1 1 t 0 x ex si x 0, otro caso.
6.4.
Teoremas de renovacin o
En esta seccin se estudian algunos resultados sobre el comportamiento o l mite de los procesos de renovacin. Primeramente se demuestra que todo o
184
proceso de renovacin crece a innito con probabilidad uno cuando el tiempo o crece a innito. Proposicin 6.7 Para todo proceso de renovacin, l Nt o o m
t
c.s.
Demostracin. Recordemos la igualdad de eventos Nt o Entonces para cualquier n natural, 1

t t t
W n
t.
l FWn t m l P Wn m l P Nt m
t
P l Nt m
n.
Nt es Para la ultima igualdad se ha utilizado el hecho de que la funcin t o montona no decreciente. Como el resultado demostrado vale para cualquier o valor de n natural, se tiene que P l Nt m 1.
t
Por lo tanto, cuando t tiende a innito el nmero de renovaciones Nt tambin u e crece a innito. Por otro lado, el tiempo que le toma al proceso llegar al valor Nt es WNt y tambin crece a innito. El siguiente resultado establece que e a largo plazo habr una renovacin cada E T unidades de tiempo, en a o donde, dada la idntica distribucin, la variable T representar cualquiera e o a de los tiempos de interarribo en un proceso de renovacin. o Proposicin 6.8 Para un proceso de renovacin Nt : t o o E T , con 0 , se cumple
t
0 en donde
l m
W Nt Nt
c.s.
Demostracin. Para valores enteros de n, por la ley fuerte de los grandes o nmeros, Wn n u casi seguramente cuando n . Ahora observe la contencin de eventos o
Wn n
N t
WN N
t
185
Los dos eventos del lado izquierdo tienen probabilidad uno, por lo tanto la interseccin tambin, y ello implica que el lado derecho tambin tiene o e e probabilidad uno. El siguiente resultado establece la forma en la que la variable Nt crece a innito. Observe que el cociente Nt t es una variable aleatoria que cuenta el nmero de renovaciones por unidad de tiempo efectuadas hasta el tiemu la aleatoriedad po t. Demostraremos a continuacin que cuando t o desaparece y el cociente se vuelve constante. Teorema 6.1 (Teorema elemental de renovacin) [J. L. Doob, 1948] o , se tiene Para un proceso de renovacin en donde E T , con 0 o que Nt 1 c.s. l m t t t WNt 1 Nt 1 W Nt . Nt Nt Nt 1 Nt Cuando t tiende a innito ambos extremos de estas desigualdades convergen a casi seguramente. Por lo tanto el trmino de en medio tambin. e e Otra forma de interpretar el resultado anterior es diciendo que Nt crece a a la misma velocidad que la funcin lineal t. Ahora o innito cuando t veremos que la esperanza de Nt tiene el mismo comportamiento. Teorema 6.2 (Teorema elemental de renovacin) [W. Feller, 1941] o Considere un proceso de renovacin en donde E T , con 0 o . Entonces t 1 . l m t t Demostracin. o Por la identidad de Wald, E Nt 1 E T E WNt 1 t t Demostracin. o lo tanto, Para cualquier t 0 se cumple WNt t WNt 1 . Por
Obteniendo de esta identidad el trmino t y dividiendo entre t se obtiene e 1 1 E WNt 1 t t
t 1. 1. t
186 Como WNt 1
6. Procesos de renovacion y confiabilidad t, se tiene que E WNt 1 t l inf m

t
Ahora estimaremos el l mite superior del mismo cociente. Como WNt 1 t WNt 1 WNt TNt 1 , se tiene que E WNt 1 t E TNt 1 y por lo tanto t t 1 1 t E TN 1.
t
t t
0. Por lo tanto
1 .
Consideremos primero el caso particular cuando las variables T son uniformemente acotadas, es decir, supongamos que existe un entero k 0 tal 1, P Tn k 1. Entonces, condicionando sobre el que para cada n valor de Nt , puede comprobarse que E TNt 1 k y por lo tanto l sup m
t
t t
1 .
Esto concluye la demostracin en el caso particular mencionado. Ahora o consideremos que las variables T no son necesariamente acotadas c.s. En este caso se denen los tiempos recortados
k Tn
Tn k
si Tn si Tn
k, k.
k Tn cuando k . A partir de estos tiempos se considera Observe que Tn k con funcin de renovacin k . Se cumple un nuevo proceso de renovacin Nt o o o t que t k y por lo tanto t
l sup m
t
t t
1 . E T k
Ahora se hace k tender a innito. Por el teorema de convergencia montona, o E T k E T , y ello prueba la desigualdad faltante. El cociente tt es el nmero de renovaciones promedio por unidad de u tiempo. El resultado recin demostrado establece que a largo plazo habr en e a promedio 1E T renovaciones por unidad de tiempo. Por ejemplo, para el proceso Poisson, E T 1 y t t. Por lo tanto tt . Los siguientes dos resultados importantes se enuncian sin demostracin y los o trminos tcnicos a los que se hace referencia aparecen explicados en el e e apndice. e
187
Teorema 6.3 (Teorema de renovacin) [D. Blackwell, 1948] Si F t o es no aritmtica, entonces para cualquier h 0, e l t h t m h .
e Si F t es aritmtica con base d, entonces para cualquier natural n, l t nd t m nd .
Ejemplo 6.7 Para el proceso de Poisson se tiene que la funcin incremento o a la que hace referencia el teorema de renovacin de Blackwell en realidad o es una constante pues, t h t t h t h h 1 h .
Teorema 6.4 (Teorema clave de renovacin) [W. L. Smith, 1953] o o o o Sea At la solucin a la ecuacin de renovacin At H t
t
0
At s dF s,
es una funcin directamente Riemann integrable. o en donde H : 0, e Si F t es no aritmtica,

t
l At m
H t dt.
Si F t es aritmtica con base d, entonces e l At nd m d H t kd. k 0
Puede demostrarse que los teoremas de Smith y Blackwell son equivalentes, y que cualquiera de ellos implica el teorema elemental de Feller.
188
6.5.
Conabilidad
Suponga que T 0 es una variable aleatoria continua que registra el tiempo de falla de un cierto componente que se encuentra en operacin al tiempo o o o cero. Nuevamente denotaremos por F t y f t a la funcin de distribucin y de densidad de esta variable aleatoria. En la teor de la conabilidad a interesa conocer la probabilidad de que el componente funcione correctamente por lo menos hasta un tiempo t cualquiera o la probabilidad de que deje de funcionar en el siguiente instante de tiempo, dado que ha funcionado bien hasta un cierto momento. Es por ello que se denen las siguientes dos funciones. Denicin 6.4 La funcin de conabilidad se dene como o o R t r t P T t,
mientras que la funcin de tasa de falla es o f t . 1 F t
A la funcin de conabilidad se le llama tambin funcin de supervivencia, o e o y a la funcin de tasa de falla se le conoce tambin como funcin hazard. A o e o esta ultima se le llama as pues dado que un componente ha sobrevivido al tiempo t, fallar en el intervalo t, t t con probabilidad r t t ot, a en efecto, P t T t t T t T t t P t t f t t ot 1 F t r t t ot. P t
Despus de algunos clculos sencillos es inmediato comprobar que estas dos e a funciones estn relacionadas de la siguiente forma: a r t y Rt f t Rt exp d dt ln Rt,
0
r s ds.
6.5. Confiabilidad
189
Observe que la funcin de conabilidad Rt es siempre decreciente, mientras o que la funcin de tasa de falla r t puede no presentar un comportamiento o montono global. Por otro aldo, debido a que T es una variable aleatoria o e no negativa, el tiempo promedio de falla E T puede escribirse en trminos de la funcin de conabilidad como sigue o E T
Rt dt.
Ejemplo 6.8 Suponga que el tiempo de falla T de un componente tiene una distribucin exponencial de parmetro . La funcin de conabilidad es o a o t , y la funcin de tasa de falla es constante rt . El hecho de o Rt e que la funcin de tasa de falla sea constante signica que la probabilidad de o falla en un intervalo de tiempo pequeo t, dado que el componente se enn cuentra operando al tiempo t, es aproximadamente t, independiente del valor de t. Esta es otra manifestacin de la propiedad de prdida de memoo e ria de la distribucin exponencial, y es la unica distribucin absolutamente o o continua con tasa de falla constante. Por otro lado, el tiempo medio de falla es E T 1. Conabilidad para sistemas en serie Considere un sistema de n componentes puestos en serie, como se muestra en la Figura 6.6. Supondremos que cada uno de estos componentes funciona de manera independiente uno del otro. Es intuitivamente claro que tal sistema en su conjunto funciona si todos y cada uno de los componentes se encuentra en buen estado. Nos interesa encontrar las funciones de conabilidad y de tasa de falla de este tipo de sistemas. Observe que el tiempo de falla T de un sistema de este tipo C1 C2 Cn es el tiempo de falla ms pequeo a n de cada uno de los componentes, es m T1 , . . . , Tn . Esquen decir, T Figura 6.6 mas f sicos de este tipo ayudan a justicar el plantearse la pregunta de encontrar la distribucin de probabilidad del m o nimo de n variables aleatorias independientes. No es dif comprobar que si los tiempos de cil falla T1 , . . . , Tn de los componentes del sistema en serie de la Figura 6.6 son
190
idnticamente distribuidos con funcin de distribucin F t, y funcin de e o o o densidad f t, entonces el tiempo de falla T del sistema tiene funcin de o distribucin y funcin de densidad dadas por las siguientes expresiones: o o FT t y fT t 1 1 F tn , n1 F tn1 f t.
Calcularemos a continuacin las funciones de conabilidad y de tasa de falla o para sistemas en serie. Denotaremos por R1 t, . . . , Rn t las funciones de conabilidad de cada componente en el sistema, y las funciones de tasa de falla sern r1 t, . . . , rn t. a Proposicin 6.9 Las funciones de conabilidad y de tasa de falla del siso tema en serie de la Figura 6.6 son a) Rt b) r t r1 t rn t. Por la independencia de los componentes, t, . . . , Tn t P Tn t t R1 t Rn t.
n k 1
R1 t Rn t.
Demostracin. o a) Rt b) r t P T1 P T1
d dt ln Rt
n d dt ln Rk t k 1
rk t.
Observe que para sistemas de n componentes conectados en serie la funcin o de conabilidad Rt R1 t Rn t es una funcin decreciente de n, y en o consecuencia el tiempo medio de falla tambin es una funcin decreciente e o de n. Ejemplo 6.9 La funcin de conabilidad y la funcin de tasa de falla de o o un sistema de n componentes puestos en serie en donde cada uno de ellos tiene un tiempo de falla exponencial de parmetro son, respectivamente, a R t y r t ent , nt.
6.5. Confiabilidad
191
La distribucin del tiempo de falla T es exponencial de parmetro n. El o a tiempo medio de falla es E T 1n, naturalmente decreciente conforme mayor es el nmero de componentes en el sistema, es decir, mientras mas u componentes haya en el sistema en serie, menor es el tiempo de vida operacional del sistema en su conjunto, pues una falla de cualesquiera de los componentes provoca que el sistema completo deje de funcionar.
Conabilidad para sistemas en paralelo Considere ahora sistemas de n componentes C1 puestos en paralelo, como se muestra en la Figura 6.7, en donde cada uno de estos componentes C2 funciona de manera independiente uno del otro. Tales tipos de sistemas funcionan en su conjunto si por lo menos uno de los componentes se Cn encuentra en buen estado. Sistemas de este tipo se utilizan cuando se desea mantener un nivel alto de conabilidad de funcionamiento, como Figura 6.7 por ejemplo los sistemas de vuelo de los aviones o los sistemas de manejo de reactores nucleares. El tiempo de falla T de un sistema de este tipo es el tiempo de falla ms a a grande de los componentes, es decir, T mx T1 , . . . , Tn , y observe que el evento T t es equivalente a que todos los componentes fallen antes del tiempo t. A continuacin calcularemos la funcin de conabilidad para siso o temas en paralelo. Usaremos la misma notacin e hiptesis que en la seccin o o o anterior. Proposicin 6.10 La funcin de conabilidad de un sistema de n compoo o nentes conectados en paralelo como en de la Figura 6.7 es Rt Demostracin. o 1 1 R1 t 1 Rn t.
Primeramente se tiene que, por independencia, F t P T P T1 t t, . . . , Tn t
F1 t Fn t.
192 Por lo tanto, Rt
1 F1 t Fn t
1 F t
1 1 R1 t 1 Rn t. Observemos que la funcin de conabilidad Rt para sistemas en paralelo o recin encontrada es una funcin creciente de n. Es decir, mientras mas e o componentes haya en el sistema ms seguro es ste. En consecuencia, el a e tiempo medio de falla es una funcin creciente de n. Por otro lado, no es o dif demostrar que las funciones de distribucin y de densidad del tiempo cil o de falla T del sistema en paralelo de la Figura 6.7 son: FT t y fT t F n t, n F n1 t f t.
Puede calcularse la funcin de tasa de falla del sistema r t en trminos o e o de las funciones r1 t, . . . , rn t para sistemas en paralelo, pero la expresin que resulta no es simple ni compacta como las que hemos presentado y por lo tanto la omitiremos. Ejemplo 6.10 Para un sistema de n componentes puestos en paralelo en donde cada uno de ellos tiene un tiempo de falla exponencial de parmetro a se tiene que R t y r t 1 1 et n , n1 et n1 et . 1 1 et n
Conabilidad para sistemas combinados serie/paralelo Pueden tambin considerarse sistemas que son una combinacin de sistemas e o en serie y en paralelo como el que se muestra en la parte izquierda de la Figura 6.8. Sistemas de este tipo pueden ser representados de manera equivalente, como se muestra en la parte derecha de la misma gura. Para este caso, la funcin de conabilidad del sistema es o R t R1 t1 1 R2 t1 R3 t.
6.6. Ejercicios
193
C2 C1 C3
C1 C1
C2 C3
Figura 6.8 Notas y referencias. En los textos de Karlin y Taylor [17], Basu [1], y Lawler [21] se pueden encontrar algunos otros resultados y aplicaciones de los procesos de renovacin. o
6.6.
Ejercicios
Procesos de renovacin o
0 un proceso de renovacin. Indique si cada una de o 150. Sea Nt : t las siguientes igualdades de eventos es falsa o verdadera. Explique en cada caso. b) Nt d) Nt e) Nt c) Nt a) Nt n n n n n
W n W n W n W n W n
t t t t t
151. Sea F t la funcin de distribucin de una variable aleatoria no negao o tiva. Demuestre que b) F n t a) F n t F n t, para n F m t, para n 1. m.
152. Respecto de la denicin de proceso de renovacin, demuestre que los o o procesos Tn : n 1, 2, . . . , Wn : n 0, 1, . . . y Nt : t 0 pueden escribirse cada uno en trminos de cualquier otro. e
194
153. Es la suma de dos procesos de renovacin independientes nuevamente o un proceso de renovacin? Los siguientes ejercicios dan respuesta a o esta pregunta. a) Demuestre que si la suma de dos procesos de renovacin indeo pendientes resulta ser un proceso de Poisson, entonces ambos sumandos son procesos de Poisson. b) Demuestre que si la suma de dos procesos de renovacin indeo pendientes y con la misma funcin de distribucin de interarribo o o es un proceso de renovacin, entonces la suma y cada uno de los o sumandos es un proceso de Poisson. c) Mediante un contraejemplo demuestre que, en general, la suma de dos procesos de renovacin independientes y con la misma o funcin de distribucin de interarribo no es necesariamente un o o proceso de renovacin. o 154. Sea Nt : t k 1, 0 un proceso de renovacin. Demuestre que para cada o E Ntk
n 0
n 1k nk F n1 t.
155. Sea Nt : t 0 un proceso de renovacin. Demuestre directamente o que para cada n jo,
t
l P Nt m
0.
Funcin y ecuacin de renovacin o o o 156. Sea Nt : t 0 un proceso de renovacin con funcin de renovacin o o o t E Nt . Demuestre que para cualquier t 0, 0 157. Sea Nt : t Dena t t 1 . 1 F t
0 el proceso de conteo de un proceso de renovacin. o 2 . Demuestre que: E Nt , y 2 t E Nt
6.6. Ejercicios a) 2 t b) 2 t
n 1
195
2n 1F n t.
t
0
t 2
t s ds. 0 es un proceso de Poisson.
Encuentre adems 2 t cuando Nt : t a
158. Sea Nt : t 0 un proceso de renovacin. Demuestre que la funcin o o At E WNt 1 satisface la ecuacin de renovacin o o At Tiempos de vida 159. Demuestre que el tiempo de vida restante t y el tiempo de vida transcurrido t , para un proceso de renovacin, tienen distribucin o o conjunta dada por la siguiente expresin: para 0 y t, o P t x, t y
t
t y
E T
t
0
At s dF s.
1 F t x u du.
Use ahora este resultado para demostrar que en el caso cuando el proceso de renovacin es el proceso de Poisson, las variables t y t o son independientes. 160. Considere el proceso de Poisson visto como un proceso de renovacin, o es decir, los tiempos de vida tienen distribucin exponencial con paro a metro . Demuestre que la funcin de renovacin t t satisface o o la ecuacin de renovacin o o t 1 et
t
0
t ses ds.
a 161. Considere un proceso de Poisson Nt : t 0 de parmetro 0 visto como un proceso de renovacin. Para el tiempo de vida transcurrido o t demuestre que:
196
6. Procesos de renovacion y confiabilidad a) La funcin de distribucin de t es o o P t x

1 0
ex
si 0
t,
si x t, otro caso.
b) La funcin de densidad de t es o f x c) E t 1 1 et . ex si 0 0 x t,
otro caso.
0 de parmetro a 0 162. Considere un proceso de Poisson Nt : t visto como un proceso de renovacin. Para el tiempo de vida total t o demuestre que: a) La funcin de distribucin de t es o o P t x 1 1 t 0
2 xex
Tome el l mite cuando t y compruebe que las expresiones anteriores corresponden a las de la distribucin exp. o
x ex si x
0,
otro caso.
b) La funcin de densidad de t es o f x c) E t 1 tex si x si 0 x t, t,
otro caso.
1 2 et .
163. Sea t WNt 1 t el tiempo de vida restante al tiempo t en un proceso de renovacin. o
0 y compruebe que las expresiones anteTome el l mite cuando t riores corresponden a las de la distribucin exp. o
6.6. Ejercicios a) Dibuje una posible trayectoria del proceso t : t b) Demuestre que l m 1 t
t
197 0.
s ds
0
E T 2 2E T
c.s.,
para ello observe la trayectoria dibujada en el inciso anterior, aproxime la integral por la suma de las reas de los tringulos a a y use el teorema elemental de renovacin y la ley fuerte de los o grandes nmeros. u
Conabilidad 164. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes puestos en serie como en la Figura 6.6. Suponga que las correspondientes funciones de distribucin y de densidad son F1 t, . . . , Fn t, o y f1 t, . . . , fn t, respectivamente. Demuestre que las funciones de distribucin y de densidad del tiempo de falla del sistema dado por o T m T1 , . . . , Tn son: n a) F t b) f t 1 1 F1 t 1 Fn t.
n k 1
fk t 1 F1 t 1k
1 Fn t 1k n .
165. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes puestos en paralelo como en la Figura 6.7. Suponga que las correspondientes funciones de distribucin y de densidad son F1 t, . . . , Fn t, o y f1 t, . . . , fn t, respectivamente. Demuestre que las funciones de distribucin y de densidad del tiempo de falla del sistema dado por o a T mx T1 , . . . , Tn son: a) F t b) f t F1 t Fn t.
n k 1
fk t 1 1 F1 t 1k
1 1 Fn t 1k n .
198
6. Procesos de renovacion y confiabilidad Conabilidad para sistemas en serie
166. Suponga que los tiempos de falla T1 , . . . , Tn de los componentes del sistema en serie de la Figura 6.6 son idnticamente distribuidos con e o funcin de distribucin F t, y funcin de densidad f t. Demuestre o o que el tiempo de falla T del sistema tiene funcin de distribucin y o o densidad dada por las siguientes expresiones: b) fT t a) FT t n1 F tn1 f t. 1 1 F tn .
Conabilidad para sistemas en paralelo 167. Demuestre que las funciones de distribucin y de densidad del tiempo o de falla T del sistema en paralelo de la Figura 6.7 son: b) fT t a) FT t n F n1 t f t. F n t.
Conabilidad para sistemas combinados serie/paralelo 168. Encuentre la funcin de conabilidad para cada uno de los sistemas o de componentes que aparecen en la Figura 6.9.
C1 C3
C2
C1 C2
C3 C4
Figura 6.9
Cap tulo 7
Martingalas
Existen varias acepciones para el trmino mare tingala. Una de ellas hace referencia a un tipo de proceso estocstico que bsicamente cuma a ple la identidad E Xn1 X0 x0 , . . . , Xn xn xn .
Hemos mencionado en la parte introductoria de este texto que este tipo de modelo corresponde a un proceso que representa la evoluJoseph Doob cin del capital de un jugador que realiza una o (E.U.A., 19102004) sucesin de apuestas justas. Parte de la motio vacin para el estudio de este tipo de procesos o fue buscar demostrar la inexistencia de estrategias ventajosas en este juego de apuestas. El concepto de martingala fue incorporado a la teor de la a probabilidad por Paul L`vy, y buena parte de su desarrollo inicial fue reae lizado por Joseph Doob. En este cap tulo se presenta una introduccin a la o teor de martingalas a tiempo discreto y se mencionan algunas deniciones a generales que incluyen el caso de tiempo continuo. Sin embargo, los resultados se presentan unicamente en el caso discreto. En la ultima parte del cap tulo haremos uso de algunas herramientas de la teor de la medida. a
199
200
7. Martingalas
7.1.
Filtraciones
Sea , F , P un espacio de probabilidad para modelar un cierto experimento aleatorio. La -lgebra F es la estructura que agrupa a los eventos a del experimento aleatorio a los cuales se les puede calcular su probabilidad. Suponga ahora que se consideran dos sub -lgebras F1 y F2 tales a F2 . Entonces F2 contiene ms informacin que F1 en el sena o que F1 tido de que, en general, un mayor nmero de conjuntos son considerados u como eventos. Ms generalmente, puede considerarse una sucesin no dea o creciente de sub -lgebras F1 F2 Este tipo de estructuras surgen a de manera natural, por ejemplo, para un proceso estocstico a tiempo discrea to Xn : n 1, pues puede construirse la sucesin Fn n 1 de la siguiente o forma: Fn X1 , . . . , Xn ,
F2 En este caso la en donde efectivamente se cumple que F1 -lgebra Fn contiene los eventos para los cuales puede determinarse su a ocurrencia o no ocurrencia, slo con la informacin o historia del proceso o o hasta el tiempo n.
1 representan los resultados de Ejemplo 7.1 Si las variables Xn : n lanzar sucesivamente un dado, y si se dene el evento A como La suma de los dos primeros resultados es mayor a 3, entonces es claro que A F1 , sin embargo A F2 . Por supuesto, si sucede por ejemplo que X1 4, entonces sabemos que el evento A ocurre, pero sin esta informacin adicional la ocuo rrencia o no ocurrencia del evento A no puede determinarse sino hasta el segundo lanzamiento del dado. Estas consideraciones sobre sucesiones no decrecientes de -lgebras llevan a a la denicin de ltracin. o o Denicin 7.1 Una ltracin es una coleccin de -lgebras Fn n 1 tal o o o a o o que Fn Fm , cuando n m. En particular, la ltracin natural o cannica de un proceso Xn : n 1 es aquella sucesin de -lgebras denidas por o a Fn X1 , . . . , Xn , n 1.
A tiempo continuo las deniciones de estos conceptos son anlogas: una a ltracin es una coleccin no numerable de sub -lgebras Ft t 0 tal que o o a
7.1. Filtraciones
201
Fs Ft , cuando 0 s t. La ltracin natural o cannica de un proceso o o a tiempo continuo Xt : t 0 es la coleccin de -lgebras Ft t 0 dadas o a Xs : 0 s t, esto es, Ft es la m nima -lgebra que hace a por Ft que cada una de las variables Xs , para valores de s en el intervalo 0, t, sean medibles. A la -lgebra Ft se le denomina la historia del proceso al a tiempo t. Regresemos al caso de tiempo discreto. Denicin 7.2 Se dice que un proceso estocstico Xn : n 1 es adaptado o a a una ltracin Fn n 1 si la variable Xn es Fn -medible, para cada n 1. o Inicialmente sabemos que cada variable aleatoria Xn del proceso es F medible. La condicin de adaptabilidad requiere que Xn sea tambin una o e variable aleatoria respecto de la sub -lgebra Fn . Esta condicin tcnica a o e de adaptabilidad facilita el clculo de probabilidades de los eventos de un a proceso en ciertas situaciones. Naturalmente todo proceso es adaptado a su ltracin natural, y puede demostrarse que la ltracin natural es la lo o tracin ms pequea respecto de la cual el proceso es adaptado. El siguiente o a n caso particular es necesario de considerar. Denicin 7.3 Se dice que el proceso Xn : n 1 es predecible respecto o de la ltracin Fn n 0 si para cada n 1, la variable Xn es Fn1 -medible. o Observe que en este caso la ltracin debe comenzar con el sub o ndice cero. Evidentemente todo proceso predecible es adaptado. La denicin de adapo tabilidad es la misma en el caso de procesos a tiempo continuo, y se pueden denir adems las siguientes dos -lgebras: a a F y Ft
s t
t 0
Ft , Fs .
Se dice entonces que una ltracin es continua por la derecha si Ft Ft . o Si Ft es una ltracin continua por la derecha y la -lgebra inicial F0 o a contiene a todos los subconjuntos insignicantes de F , entonces la ltracin o se llama estndar, o bien que satisface las condiciones usuales. Algunos a clculos requieren suponer estas hiptesis. a o
202
7. Martingalas
7.2.
Tiempos de paro
Sea Xn : n 1 un proceso adaptado a una ltracin Fn n 1 . Un tiempo o de paro es una variable aleatoria con valores en el espacio parametral de este proceso, que registra el tiempo en el que ocurre un cierto evento del proceso de tal forma que puede determinarse si ha ocurrido o no ha ocurrido tal evento al tiempo n con la informacin de la -lgebra Fn . Esta variable o a aleatoria puede tomar el valor innito cuando el evento de inters nunca e ocurre. Denicin 7.4 Una variable aleatoria con valores en 1, 2, . . . es o un tiempo de paro respecto de una ltracin Fn n 1 si para cada n 1 se o cumple que n Fn . Bajo la interpretacin de que es un tiempo aleatorio en el cual ocurre o un cierto evento de inters, la condicin e o n Fn puede interpretarse del siguiente modo: la pregunta de si el evento de inters ha ocurrido al e tiempo n o antes, debe poder ser respondida con la informacin dada por la o ltracin al tiempo n. No es dif comprobar que la condicin que aparece o cil o en la denicin es equivalente a la condicin n Fn , para cada n 1. o o Ejemplo 7.2 (Tiempo de primer arribo) Sea X1 , X2 , . . . una sucesin o de variables aleatorias adaptada a la ltracin Fn n 1 . Sea A un conjunto o de Borel de R, y dena m n n 1 : Xn
A,
. Es decir, es el primer momento en donde conviene denir m n en el que la sucesin toma un valor dentro del conjunto A, si acaso ello o sucede. La variable aleatoria es un tiempo de paro, pues para cualquier valor entero de n,
X1 A Xn1 A Xn A Fn .
En particular, y recordando el problema de la ruina del jugador, tomando A como el conjunto 0, N , el primer momento en el que la variable Xn 1 n toma uno de los dos valores del conjunto A es un tiempo de paro, y es el tiempo aleatorio en el cual el juego naliza, ya sea porque el jugador se arruina o porque gana todo el capital.
7.3. Martingalas
203
Ejemplo 7.3 (Tiempo de segundo arribo) Sea nuevamente X1 , X2 , . . . una sucesin de variables aleatorias adaptada a la ltracin Fn n 1 , y sea o o A un conjunto de Borel de R. Dado un tiempo de paro nito 1 , dena ahora un segundo tiempo de paro de la siguiente forma: 2 m n n 1 : Xn
A.
Es decir 2 es el primer momento, despus de 1 , en el que el proceso toma e un valor dentro del conjunto A. Naturalmente se cumple 1 2 . Esta nueva variable resulta tambin ser un tiempo de paro, pues el siguiente conjunto e es un elemento de Fn .
n 1 k 1
Xk1 A Xn1 A Xn A.
En el caso de tiempos continuos, la denicin de tiempo de paro es la sio guiente.
0, es un tiempo Denicin 7.5 Una variable aleatoria : o de paro respecto de una ltracin Ft t 0 si se cumple que para cada t 0, o
7.3. Martingalas
t Ft .
Denicin 7.6 Se dice que un proceso a tiempo discreto Xn : n 1 es o una martingala respecto de una ltracin Fn n 1 si cumple las siguiente o tres condiciones: a) Es integrable. b) Es adaptado a la ltracin. o c) Para cualesquiera n m, E Xm Fn Xn , c.s. (7.1)
Cuando en lugar de (7.1) se cumple la desigualdad E Xm Fn Xn , entonces el proceso es una submartingala, y si E Xm Fn Xn , entonces es una supermartingala.
204
7. Martingalas
Las martingalas tienen una interpretacin sencilla en trminos de juegos o e justos que ya hemos mencionado antes: si Xn denota el capital de un jugador al tiempo n, entonces la igualdad (7.1) establece que la fortuna promedio al tiempo futuro m, dado que se conoce la historia del juego hasta el tiempo n, es su capital al tiempo n, es decir, el juego es justo pues en promedio el jugador no pierde ni gana. En este sentido, la desigualdad E Xm Fn Xn , correspondiente a la denicin de submartingala, equivale a un juego o favorable al jugador. La desigualdad contraria, el caso de submartingala, corresponde a un juego desfavorable al jugador. Puede comprobarse que la condicin (7.1) es equivalente a la igualdad aparentemente ms dbil o a e E Xn1 Fn Xn .
Esta ultima condicin es la que a menudo usaremos para vericar la pro o piedad de martingala de un proceso a tiempo discreto. Adems, cuando la a ltracin es la natural, es decir, cuando Fn X1 , . . . , Xn , la condicin o o de martingala puede escribirse en la forma E Xn1 X1 , . . . , Xn Xn .
Observe que toda martingala es al mismo tiempo una submartingala y una 1 es una submartingala, entonces supermartingala, y que si Xn : n Xn : n 1 es una supermartingala. Por lo tanto, toda propiedad para submartingalas puede ser escrita tambin para supermartingalas bajo este e 1 se cambio de signo. Por otro lado, tomando esperanza en (7.1) con n obtiene la igualdad E Xm E X1 , para cada m 1,
esto quiere decir que todas las variables aleatorias que conforman una martingala tienen la misma esperanza. Anlogamente, tomando esperanza ahora a en la condicin de submartingala se obtiene que para cualesquiera tiempos o 1 n m, (7.2) E Xm E Xn , esto puede interpretarse en el sentido de que las submartingalas son procesos cuyas trayectorias, en promedio, tienden a crecer. Ms adelante demostrarea mos que cuando la submartingala es acotada superiormente, es convergente. Este interesante resultado es el anlogo estocstico al hecho de que toda a a
7.4. Ejemplos
205
sucesin de nmeros reales creciente y acotada es convergente. Para procesos o u a tiempo continuo, la condicin de martingala se escribe E Xt Fs Xs , o s t, sin olvidar la condipara cualesquiera tiempos s y t tales que 0 ciones de adaptabilidad e integrabilidad para poder llamar a tal proceso una martingala.
7.4.
Ejemplos
Veremos a continuacin algunos ejemplos de martingalas. o Martingala del juego de apuestas Sea 1 , 2 , . . . una sucesin de variables aleatorias independientes idnticao e mente distribuidas y con esperanza nita. Dena Xn 1 n , y 1 , . . . , n . La variable aleatoria Xn puede considere la ltracin Fn o interpretarse como la fortuna de un jugador despus de n apuestas sucesivas e en donde la ganancia o prdida en la k-sima apuesta es k . Claramente el e e a proceso Xn : n 1 es integrable y es adaptado. Adems, para cada n 1, E Xn1 Fn E Xn n1 Fn Xn E n1 Fn Xn E n1 .
Cuando el resultado promedio de cualquiera de las apuestas es cero, el segundo sumando se anula y se tiene un ejemplo de martingala, es decir, un juego justo. En particular, una caminata aleatoria simtrica es una mare tingala. Si el resultado promedio de las apuestas es mayor o igual a cero, entonces E Xn1 Fn Xn , y por lo tanto el proceso es una submartingala, un juego favorable al jugador. Finalmente, cuando el resultado promedio de cualquier apuesta es menor o igual a cero, el proceso es una supermartinXn , correspondiente a un juego desfavorable al gala pues E Xn1 Fn jugador. Martingala del proceso de Poisson centrado Sea Xt : t 0 un proceso de Poisson de parmetro . Entonces el proceso a centrado Xt t : t 0 es una martingala. En efecto, este nuevo proceso
206 es integrable y adaptado. Adems, para cada 0 a E Xt t Fs s t,
7. Martingalas
E Xt Fs t
E Xt Xs Xs Fs t E Xt Xs Fs Xs t E Xt Xs Xs t t s Xs t Xs s.
Este ejemplo es un caso particular del siguiente resultado que el lector puede fcilmente vericar siguiendo el clculo anterior: si un proceso integrable a a Xt : t 0 tiene incrementos independientes, entonces el proceso centrado Xt E Xt : t 0 es una martingala. Martingala de la esperanza condicional Sea X una variable aleatoria integrable, y sean F1 y F2 dos sub -lgebras a tales que F1 F2 . No es dif comprobar la siguiente propiedad de la cil esperanza condicional: E E X F2 F1 E X F1 .
Sea Fn n 1 una ltracin dada. Usando la identidad anterior demostrao remos que la sucesin de variables aleatorias dada por Xn E X Fn es o una martingala. Es claro que cada una de estas variables es integrable y por denicin de esperanza condicional el proceso es adaptado a la ltracin. o o Adems a E Xn1 Fn E E X Fn1 Fn E X Fn Xn .
Martingala de la urna de Polya Suponga que una urna contiene inicialmente una bola blanca y una bola negra. Un experimento consiste en escoger una bola al azar y regresarla a la urna junto con otra bola del mismo color. Este experimento se repite varias veces. Sea Xn el nmero de u bolas blancas en la urna despus del n-simo ensayo. e e
Figura 7.1
7.5. Procesos detenidos
207
Es claro que X0 1, y que despus del n-simo ensayo hay n 2 bolas en la e e urna. Adems 1 Xn n 1, y por lo tanto E Xn a . Las probabilidades de transicin son las siguientes o P Xn1 y P Xn1 k 1 Xn k Xn k k , n2 n2k . n2 k
Xn Yn1 , en donde Yn1 es una Observe que se puede escribir Xn1 variable aleatoria que toma el valor 1 cuando se escoge una bola blanca en la extraccin n 1, y el valor 0 cuando la bola escogida es negra, por lo o tanto, E Xn1 Xn Xn 0 n 2 Xn n2
Es decir, hemos comprobado que el proceso Mn : n 0 es una martingala. Se modica el resultado si la conguracin inicial de la urna es distinta a o la considerada? Se modica el resultado si en lugar de agregar una bola adicional se agregan r bolas del mismo color?
Este clculo demuestra que el proceso Xn : n 0 no es una martingala. a o Sin embargo, si se dene Mn Xn n 2, lo cual representa la fraccin de bolas blancas en la urna despus de la n-sima extraccin, entonces se tiene e e o que Xn1 Xn E Mn1 Fn E Fn Mn . n3 n2
1 nXn2
n3 Xn . n2
7.5.
Procesos detenidos
a o Sea Xn n 0 un proceso estocstico adaptado a una ltracin Fn n 0 , y sea un tiempo de paro respecto de la misma ltracin. En ocasiones o es necesario considerar un proceso de la forma X n , en donde n m , n. A este tipo de procesos se les llama procesos detenidos, por ejemn plo, suponga que k, entonces, X
n
Xn si n Xk si n
k, k.
208
7. Martingalas
Es decir, como funcin del parmetro n el proceso se vuelve constante a o a partir del tiempo aleatorio . Medibilidad y adaptabilidad de X n Las variables del proceso detenido son efectivamente variables aleatorias y el proceso mismo es adaptado a la misma ltracin, pues para cualquier o nmero real x, y para cada nmero natural n, u u
n k 1
Xk
Xn
x.
La expresin del lado derecho es claramente un elemento de Fn . Si el proceso o original es integrable, entonces el proceso detenido es tambin integrable, e pues E X
n
E X 1
n k 1 n k 1
E Xn 1 n
k
E Xk 1 E Xk
E Xn 1 n
.
E Xn
1 es la martingala del juego de Por ejemplo, considere que Xn : n apuestas. Suponga que el jugador decide dejar de jugar cuando pierda todo su capital o cuando consigue ganar el doble de su capital inicial. El momento aleatorio en el que ocurre alguno de estos dos eventos es un tiempo de paro . El capital del jugador en cualquier tiempo n puede expresarse como X n . Se o puede demostrar que si Xn : n 0 es un proceso adaptado a la ltracin Fn n 0, y es un tiempo de paro con valores en 0, 1, . . . que adems a 1, entonces X es una variable aleatoria. es nito, es decir, P Teniendo como vlido este resultado, demostraremos a continuacin que a o una martingala detenida sigue siendo martingala. 0 es una martingala, submartingala o Proposicin 7.1 Si Xn : n o supermartingala, y es un tiempo de paro respecto de la misma ltracin, o : n 0 tambin lo es. entonces el proceso detenido X n e Demostracin. o Hemos demostrado antes que el proceso detenido es adaptado e integrable. Resta demostrar la propiedad de martingala. El caso
7.6. Una aplicacion: estrategias de juego
209
submartingala o supermartingala se obtiene modicando adecuadamente la penltima igualdad en el siguiente anlisis. u a E X
n1 Fn
n k 1 n k 1 n k 1
E Xk 1 Xk 1 Xk 1
n k
Fn E Xn1 1 n Fn
E Xn1 Fn 1 n Xn 1 n
7.6.
Una aplicacin: estrategias de juego o
Considere nuevamente la sucesin de variables aleatorias independientes o idnticamente distribuidas n tal que P e 1 12 y P 1 12, y con ltracin natural Fn n 1 . Considere las sumas o Xn 1 n .
1 es una martingala que representa el total de Sabemos que Xn : n ganancias en una serie de n apuestas justas de una unidad monetaria. Suponga ahora que el monto de cada apuesta no es uno, sino una cantidad an para la n-sima apuesta. Supondremos que an es una variable aleatoria que el jue gador determina a partir de la informacin de las n 1 apuestas previas, o y por lo tanto es una variable Fn1 -medible, es decir, se trata de un pro1 con ceso predecible. A la coleccin de variables aleatorias an : n o esta caracter stica se le llama una estrategia de juego. Bajo una de estas estrategias, el capital del jugador despus de la n-sima apuesta es ahora la e e variable aleatoria An a1 1 an n , la cual es Fn -medible. Bajo la hiptesis de que la estrategia de juego consta o de variables aleatorias acotadas, se cumple que el proceso An : n 1 es
210
7. Martingalas
integrable y cumple adems la propiedad de martingala, pues a E An1 Fn E An an1 n1 Fn An an1 E n1 Fn An an1 E Xn1 Xn Fn An . Esto quiere decir que bajo cualquier estrategia de juego, el proceso de ganan1 es una martingala siempre y cuando el proceso original cias An : n Xn : n 1 lo sea. Es importante que los apostadores conozcan este resultado pues quiere decir que no existe una estrategia de juego que convierta un juego justo en un juego favorable o desfavorable al jugador. El mismo anlisis demuestra que si el proceso original Xn : n 1 es una submartina gala o supermartingala y la estrategia de juego consta de variables aleatorias no negativas y acotadas, entonces el proceso An : n 1 sigue siendo una submartingala o supermartingala. Uno de los varios signicados del tmino martingala, y que parece ser el orie ginal, establece que una martingala es una estrategia de juego en la cual un jugador apuesta sucesivamente en cada lanzamiento de una moneda honesta del siguiente modo: inicialmente apuesta una unidad monetaria. En caso de perder, dobla el monto de la apuesta para el siguiente lanzamiento. En caso de ganar, vuelve a apostar una unidad monetaria en el siguiente lanzamiento. En la Figura 7.2 se muestra una tabla con algunos resultados siguiendo esta estrategia de juego.
Monto de la apuesta Resultado del lanzamiento Ganancia
An an1 E Xn1 Fn Xn
1 x -1
2 x -3
4 x -7
8 1
1 2
1 x 1
2 3
1 x 2
Figura 7.2 Bajo esta estrategia de juego resulta que cada vez que el jugador acierta se recupera de las prdidas anteriores e incluso incrementa su fortuna en una e unidad monetaria. En efecto, si el jugador pierde las primeras n apuestas y
7.6. Una aplicacion: estrategias de juego gana la apuesta n 1, entonces su capital al tiempo n 1 es
211
1 2
1 2 2 2
n apuestas perdidas
n 1
apuesta n 1 ganada
n 1 k 0
2k 2n
n
11 22 2n 1 2n 2n
1.
De esta manera si el jugador pudiera mantener esta estrategia de juego tendr una unidad ganada por cada acierto que haya conseguido. Parece a ser una estrategia segura de ganar, sin embargo, veamos cunto, en promea dio, podr ser su dcit justo antes de recuperarse, es decir, calcularemos a e E X 1 , en donde es el tiempo de paro en el que el jugador acierta por primera vez. Puede comprobarse que este tiempo de paro es nito casi seguramente, es decir, P 1. De hecho, con probabilidad uno, el jugador tendr eventualmente un xito aun cuando sus probabilidades de acertar a e fueran pequeas. Como hemos visto, despus de n apuestas consecutivas n e perdidas el capital empeado es n
1 21 22 2n1
n 1
1 2n ,
y la probabilidad de perder n apuestas sucesivas y ganar la apuesta n 1 es 12n1 . Por lo tanto, E X 1 E X 1 E Xn1 P n P n n
n 1
n 1
1 2n1 21n
.
Es decir, se requerir de un capital promedio innito y poder apostar una a innidad de veces para llevar a cabo con xito esta estrategia, algo no muy e factible en trminos de dinero y tiempo. e
212
7. Martingalas
7.7.
Teorema de paro opcional y aplicaciones
Hemos observado antes que para una martingala Xn : n 1 se cumple que E Xn E X1 , para cualquier valor de n. Si adems se tiene un a tiempo de paro nito , no necesariamente es cierto que E X E X1 , e incluso expresiones como E X podr no ser nitas como en la estrategia an de juego llamada martingala analizada en la seccin anterior. El siguiente o resultado establece condiciones bajo las cuales la variable X tiene la misma esperanza que la martingala. 1 una marTeorema 7.1 (Teorema de paro opcional) Sea Xn n tingala y sea un tiempo de paro nito, ambos respecto de una ltracin o Fn n 1, tales que: a) X es integrable. b) l E Xn 1 m
n n
0. E Xn , para cualquier n 1. 1,
Entonces
E X
Demostracin. o
La observacin importante es que para cualquier n o X X

n
X Xn 1
n n
.
es una martingala,
Tomando esperanza y usando el hecho de que X E X E X

n
E X Xn 1 n E X1 E X 1 n E Xn 1 n .
Como el proceso original es una martingala, el primer sumando es E Xn . Haciendo n , el tercer sumando se anula por hiptesis. Usando la o hiptesis de integrabilidad de X y el teorema de convergencia dominada, o el segundo sumando converge tambin a cero pues es la cola de la serie e convergente E X E
k 1
Xk 1
k 1
E Xk 1
7.7. Teorema de paro opcional y aplicaciones
213
Como una aplicacin del teorema de paro opcional calcularemos algunos o tiempos medios de arribo en caminatas aleatorias. Caso caminata simtrica, barrera simtrica e e Sea Xn : n 0 una caminata aleatoria simtrica simple sobre Z que inicia e en cero, y sea b 1 un entero cualquiera. Dena el tiempo de paro Xn m n n 1 : Xn b,
b
n es decir, es el primer momento en el que la caminata alcanza, en valor absoluto, el nivel b, vase la Figura 7.3. e b Nos interesa encontrar E , esto es, el nmero promedio de pasos que le toma u Figura 7.3 a la caminata llegar al nivel b. Sabemos que tanto el proceso Xn : n 0 2 como Xn n : n 0 son martingalas. Suponiendo de manera preliminar que las condiciones del teorema de 2 2 paro opcional se cumplen, se tiene que E X E X1 1 0. Por lo 2 tanto, E E X b2 . La ultima igualdad se obtiene al observar que X b. En palabras, este resultado dice que la caminata aleatoria simtrie ca simple que inicia en cero necesita, en promedio, b2 pasos para alcanzar, en valor absoluto, el nivel b.
Caso caminata simtrica, barrera asimtrica e e Generalizaremos ahora el clculo del prrafo anterior para el caso en el que a a se tiene una barrera inferior a y una barrera superior b, con a, b N, no necesariamente idnticos. La idea es aplicar nuevamente el teorema de paro e opcional aunque los clculos no son tan inmediatos. Supongamos entonces a que Xn : n 0 es una caminata aleatoria simtrica simple que inicia en e cero y dena el tiempo de paro m n n 0 : Xn b Xn o
a,
2 en donde a, b N. Nuevamente el proceso centrado Xn n : n 0 es una 2 2 martingala y por lo tanto E X E X1 1 0, de donde se obtiene
214
7. Martingalas
2 2 E E X . Ahora no es tan sencillo calcular esta esperanza pues X puede tomar dos valores, b2 o a2 . Entonces,
Dena uk P X b X0 k. Usando anlisis del primer paso, es decir, a condicionando sobre el valor que toma la caminata aleatoria en el primer paso, puede comprobarse que la probabilidad uk cumple la ecuacin en o diferencias 2uk uk1 uk1 , con condiciones de frontera ub 1 y ua uk ak . ab 0, y cuya solucin es o
2 E X
b2 P X
b a2 P X
a.
Anlogamente, deniendo vk P X a cumple la ecuacin en diferencias o 2vk con condiciones de frontera vb
X0
k, se encuentra que vk
vk1 vk1 , 0 y va vk bk . ab 1, y cuya solucin es o
Por lo tanto, E
2 E X 2
b2 P X
b u0 a v0 a b b2 a2 a b ab ab.
2
b a2 P X
Cuando a ca.
b se recupera el resultado del caso cuando la barrera es simtrie
Caso caminata asimtrica, barrera asimtrica e e En este caso el proceso Xn : n 0 no es una martingala pero debido a la propiedad de incrementos independientes, el proceso centrado
Xn np q : n
7.7. Teorema de paro opcional y aplicaciones
215
lo es. Suponiendo nuevamente que las condiciones del teorema de paro opcional se cumplen, se tiene que E X p q E X1 p q 0. E X p q . El problema es nuevamente De donde se obtiene E encontrar E X . Tenemos que Dena nuevamente uk P X b X0 k. Usando anlisis del primer a paso puede comprobarse que uk cumple la ecuacin en diferencias o uk con condiciones de frontera ub uk p uk1 q uk1 , E X b P X b a P X
a.
Anlogamente, deniendo vk a cumple la ecuacin en diferencias o vk con condiciones de frontera vb vk Por lo tanto, E X
pqbk pqab . 1 pq ab P X a X0 k, se encuentra que vk

p vk1 q vk1 , 0 y va
1 y ua
0, y cuya solucin es o
1, y cuya solucin es o
qpak qpab . 1 q pab
b u0 a v0 pqb pqab a qpa qpab b 1 pq ab 1 q pab 1 p q b . b a b 1 pq ab E ab q b p q 11ppqab . pq b
Entonces,
Vericaremos a continuacin la validez de las tres condiciones del teorema o de paro opcional para esta aplicacin cuando la caminata y las barreras son o simtricas. e
216
7. Martingalas
a) Demostraremos que c.s. La estrategia consiste en considerar bloques sucesivos de 2b pasos en la caminata aleatoria. Observe que el evento es el l de la sucesin decreciente de eventos mite o 2bk, para k 1, 2, . . ., y que el evento 2bk est contenido a en el evento Ninguno de los primeros k bloques contiene unicamente a valores 1. La utilidad de este evento mayor radica en que es fcil calcular su probabilidad, como veremos a continuacin. Tenemos que o P
k k
l P m
l P Ninguno de los primeros k bloques m l 1 12 m contiene unicamente valores

2b k
2bk
0.
2 b) Demostraremos ahora que E X que 2 E X
2 . Como X
b2 , se tiene
b2 E b2 b2 b2
k P
k 2bk j 2bk
k 0 2b k 0 j 1 2b k 0 j 1
2bk j P 2bk 1 P
b2 2b2 .
k 0
k 1 1 122b k
0, cuando .
2 c) Finalmente vericaremos que E Xn n1 2 E Xn n 1 n
2 E Xn 1
N P
2
E n1 n n E 1 n .
7.8. Algunas desigualdades
217
La sucesin de eventos n es montona decreciente y por lo tanto o o convergente, su l mite es el evento que tiene probabilidad cero. El primer sumando por lo tanto se hace pequeo cuando n crece. Como n , la sucesin de variables 1 n es tambin decreciente y o e E consta de variables aleatorias integrables cuyo l mite es cero c.s. El segundo sumando por tanto tambin converge a cero. e
7.8.
Algunas desigualdades
En esta seccin se demostrarn algunas desigualdades asociadas a subo a martingalas. No haremos mayor uso de ellas en lo sucesivo pero en sus demostraciones se pondrn en prctica algunos resultados estudiados antes. a a Proposicin 7.2 (Desigualdad maximal de Doob) Sea Xn : n 1 o mxX1 , . . . , Xn . Entonces una submartingala no negativa y dena Xn a para cualquier 0,
P Xn
Demostracin. o n
E Xn 1Xn
k n : Xk
.
.
Para cada n natural dena el tiempo de paro m 1 n
Es decir, es el primer momento hasta n en el que el proceso alcanza o rebasa n. Como Xn : n 1 el valor . Si tal evento nunca ocurre, entonces es una submartingala y 1 n, se tiene que E Xn E X . Observe , entonces X , y si ocurre Xn , que si ocurre el evento Xn entonces n. Por lo tanto, E Xn E X
E X 1Xn
P X
n
E X 1Xn E Xn 1Xn .
Es decir,
P Xn
E Xn E Xn 1Xn E Xn 1Xn .
218
7. Martingalas
Proposicin 7.3 (Desigualdad maximal de Doob en L2 ) Sea Xn : o n 1 una submartingala no negativa y cuadrado integrable. Para Xn mxX1 , . . . , Xn se tiene que a
E Xn
2 4 E Xn .
Demostracin. El segundo momento de una variable aleatoria no negao tiva X puede expresarse, cuando existe, de la siguiente forma: E X 2
2
0
x P X
x dx.
Usando esta expresin, la desigualdad maximal de la Proposicin 7.2, el o o teorema de Fubini y despus la desigualdad de Cauchy-Schwarz se tiene que e E X 2
n
2
0
x P Xn
E Xn 1Xn
x dx
x
dx.
X n x
X
n
Xn dP dx
Xn
0
dx dP
Xn Xn dP
2
2E Xn Xn
2 Por lo tanto, E Xn
E Xn 2 .
E Xn 2 2 E Xn 2 . E Xn 2 Elevando al cuadrado se obtiene el resultado.
7.9.
Convergencia de martingalas
En esta seccin revisaremos algunos elementos que nos llevarn a enunciar y o a demostrar el teorema de convergencia de submartingalas de Doob. Usaremos algunas herramientas de la teor de la medida. a
7.9. Convergencia de martingalas
219
Proposicin 7.4 Sea Xn : n 0 una submartingala y sean 1 y 2 dos o tiempos de paro acotados tales que 0 1 2 N , con N N jo. Entonces E X1 E X2 . Demostracin. o E Xn1 11 Sea k jo tal que k
k
N . Entonces
k
12 n
E E Xn1 11
12 n Fn E E Xn1 Fn 11 k 12 n E Xn 11 k 12 n .
k
Por lo tanto, E X2
n 1 1 k
E X2 11
12 n E Xn 11 k 12 n E X2 11 k 12 n E Xn1 11 k 12 n E X2 n1 11 k .
Esto quiere decir que la funcin n o ciente. Evaluando esta funcin en n o desigualdad E Xk 11 k Entonces, E X1
N
E X2 n 11 k es montona creo k y despus en n N se obtiene la e

k
E X2 11 E X1 11 E Xk 11 E X2 11
k 0 N k 0 N k 0
E X2 .
Nmero de cruces u Sea Xk : k 0 un proceso adaptado a una ltracin Fk k 0 , y sean a b o dos nmeros reales. Consideraremos que n es un nmero natural cualquiera. u u
220 Dena la sucesin creciente de tiempos de paro o 1 2 3 4 . . . m k n m k n m k n m k n 1 : Xk 1 : Xk 2 : Xk 3 : Xk b, a, b, a,
7. Martingalas
Si alguno de los conjuntos sealados es vac o bien cuando k n o n, para n. De esta forma se tiene la sucesin creciente de o alguna k, se dene k tiempos de paro (7.3) 1 2 n. Una de tales sucesiones se muestra en la Figura 7.4, en donde se presenta una trayectoria del proceso con sus valores unidos por una l nea continua para una mejor visualizacin. Nos ino teresa contar el nmeu X k ro de cruces de arriba hacia abajo, que b las trayectorias del proceso realizan sobre el a intervalo a, b. En la grca se muestran tres a k cruces de este tipo, 1 2 3 4 5 6 los cuales se encuentran remarcados en la Figura 7.4 trayectoria. Observe que antes del valor n y para valores impares en el sub ndice de , el proceso se encuentra arriba de b en ese momento, mientras que para valores pares del sub ndice, el proceso se encuentra por abajo del nivel a, es decir, entre los tiempos 2k1 y 2k el proceso realiza un cruce de arriba hacia abajo. El nmero de cruces completos, de arriba hacia abajo, que el proceso realiza u a sobre el intervalo a, b antes del tiempo n es el mximo entero k tal que 2k n, y se denota por Dn a, b, es decir, Dn a, b mx k a 1 : 2k n.
221
Si el conjunto de cruces es vac se dene Dn a, b 0. La letra D usada o, para denotar este nmero proviene del trmino en ingls Downcrossing. u e e Observe que para cada n, la funcin Dn a, b : o 0, 1, . . . es una variable k 2k aleatoria, pues para cada entero k, el conjunto Dn a, b n es medible. De esta manera se tiene la sucesin montona de variables o o u aleatorias D1 a, b D2 a, b que es convergente al nmero total de cruces D a, b sup k 1 : 2k . En la demostracin que se presenta a continuacin sobre la convergencia o o de submartingalas se hace uso de este nmero de cruces. Empezaremos u estimando la esperanza de Dn a, b. Proposicin 7.5 Sea Xn : n o E Dn a, b ba 1 0 una submartingala. Entonces ba 1
E Xn b
sup E Xn b .
n
Demostracin. Dena la sucesin de eventos Ak o o k n para k 1, 2, . . . Por la monoton de los tiempos de paro (7.3) se tiene que A1 a A2 Eventualmente los elementos de esta sucesin son el conjunto o vac pues no pueden efectuarse demasiados cruces en un tiempo limitado o, n. Observe adems que cuando ocurre el evento A2k1 el proceso al tiempo a 2k1 se encuentra por arriba de b, mientras que cuando ocurre A2k , el proceso al tiempo 2k se encuentra por abajo de a. A continuacin usaremos o la propiedad de submartingala aplicada a los tiempos de paro acotados 2k1 2k n. Tenemos entonces que E X2k1 E X2k , es decir,

X2k1 dP
X2k dP. A2k1 Ac 1 , se tiene 2k
Ac 1 2k
Separando ambas regiones de integracin como o que
A2k1
X2k1 dP
Ac 1 2k
X2k1 dP
A2k1
X2k dP
X2k dP.
Ahora observe que sobre el conjunto Ac 1 , se cumple que 2k1 2k n. 2k Por lo tanto, la segunda y cuarta integral coinciden y podemos omitirlas de
222
7. Martingalas
esta desigualdad. Aadiendo la constante b, se llega al siguiente resultado: n
A2k1 A2k1
2k 1
b dP
X b dP.
2k
Entonces,
A2k1 A2k
X b dP
2k
X b dP
2k
A2k1 A2k
a bP A2k
Por lo tanto, P A2k 1
X b dP
2k
A2k1 A2k
Xn b dP.
Xn b dP b a A2k1 A2k 1 Xn b dP. b a A2k1 A2k

n P Dn a, b
n k 1 n k 1
Como P A2k
P 2k
k, k
E Dn a, b
P Dn a, b P A2k
n
bak ba
1 E Xn b .
1 A2k1 A2k
Xn b dP
Para la ultima desigualdad se hace uso del hecho de que las diferencias o A2k1 A2k son conjuntos ajenos. Esto concluye la demostracin de la primera
223
desigualdad. La segunda desigualdad del enunciado se sigue de las siguientes estimaciones: Xn b Xn b Xn b .
Ahora estamos en condiciones de probar que toda submartingala acotada en media es convergente. Teorema 7.2 (Teorema de convergencia de submartingalas de Doob) Sea Xn : n 0 una submartingala tal que supn E Xn . Entonces existe una variable aleatoria integrable X tal que
n
l Xn m
c.s.
Demostracin. Vericaremos primero que la convergencia de tal suceo sin de variables aleatorias es equivalente a la condicin: D a, b o o casi seguramente, para cualesquiera nmeros a b. Sea en y considere la u u sucesin numrica X1 , X2 , . . . cuyo nmero de cruces es D a, b . o e Demostraremos que la sucesin Xn : n 1 es convergente si, y slo si, o o , para cualesquiera a b. D a, b
Suponga que la sucesin es convergente pero que D a, b o algn par de nmeros a y b tales que a b. Entonces, u u l inf Xn m
n
para
l sup Xn . m
n
Esto contradice la hiptesis de que la sucesin es convergente. o o
Suponga ahora que D a, b para cualesquiera a b. Suponga que la sucesin no es convergente. Entonces existen a1 b1 tales que o l inf Xn m
n
a1
b1
l sup Xn . m
n
Entonces, en particular, para este par de nmeros reales se tiene que u D a1 , b1 , lo cual contradice la hiptesis inicial. o
224
7. Martingalas
Por lo tanto es suciente demostrar que con probabilidad uno, D a, b . Para llegar a esta conclusin demostraremos que E D a, b o , pero ello es consecuencia del teorema de convergencia montona y la Proposicin 7.5 o o pues, E D a, b
n
l E Dn a, b m 1
ba E l inf Xn m
n
sup E Xn b
n
La integrabilidad del l mite X se sigue del lema de Fatou pues, EX
l inf E Xn m
n
sup E Xn
n
Como toda martingala es una submartingala, y toda supermartingala se convierte en una submartingala a travs de un cambio de signo, se tiene e que el teorema anterior es vlido en cualquiera de los tres casos. Es decir, a toda martingala, submartingala o supermartingala acotada en la forma en la que indica el enunciado del teorema es convergente casi seguramente, y su l mite es una variable aleatoria integrable. La demostracin que se ha presentado aqu sobre la convergencia de subo martingalas es la prueba original de Doob de 1940. En [12] pueden encontrarse algunos otros mtodos alternativos de demostracin. Como hemos e o mencionado, las submartingalas son procesos que tienen trayectorias que en promedio tienden a crecer, vase la ecuacin (7.2), de modo que en este caso e o hemos encontrado una cota superior para el nmero promedio de cruces hau cia abajo. En algunos textos, por ejemplo [3], se enuncia y prueba el mismo resultado para supermartingalas, procesos cuyas trayectorias en promedio tienden a decrecer.
7.10.
Representacin de martingalas o
En esta seccin demostraremos que toda martingala que cumple la condicin o o de ser uniformemente integrable puede escribirse en trminos de una espee ranza condicional. Antes de enunciar el resultado explicaremos la condicin o de integrabilidad uniforme para un proceso.
7.10. Representacion de martingalas
225
Integrabilidad uniforme Puede comprobarse que una variable aleatoria X es integrable si, y slo si, o para cada 0 puede encontrarse un nmero M 0 tal que u
X dP
Considere ahora una sucesin innita de variables aleatorias integrables o 0 puede encontrarse entonces una sucesin de o X1 , X2 , . . . Para cada nmeros reales Mn 0 tales que u
Xn
Mn
Xn dP
Cuando la sucesin Mn no depende de n, es decir, cuando sea una sucesin o o constante, se dice que la sucesin de variables aleatorias es uniformemente o integrable. Es evidente que la integrabilidad uniforme es ms fuerte que la a simple integrabilidad de las variables de un proceso. Tenemos entonces la siguiente denicin, la cual ilustraremos despus con un par de ejemplos. o e Denicin 7.7 Se dice que una sucesin de variables aleatorias integrables o o u X1 , X2 , . . . es uniformemente integrable si para cada 0 existe un nmero M 0 tal que para toda n 1,
Xn
Xn dP
Ejemplo 7.4 Considere el espacio muestral 0, 1 con la -lgebra los a subconjuntos de Borel de 0, 1, y como medida de probabilidad la medida de Lebesgue sobre dicho intervalo. La sucesin de variables aleatorias dada por o Xn n 10,1n no es uniformemente integrable pues para cualquier M 0,
Xn
Xn dP
1 si n 0 si n
M, M.
Ejemplo 7.5 Sea X una variable aleatoria integrable y sea Fn una lE X Fn es uniformetracin. Demostraremos que la martingala Xn o mente integrable. Como X es integrable, tenemos que para cada 0 0 tal que si P A , entonces A X dP . Adems, como a existe
226 Xn que
7. Martingalas E X Fn , tomando esperanzas y para cualquier M EX E Xn
0 se tiene
E X , con De modo que si se toma M P Xn M E X M . Por lo tanto,

M P Xn
Xn
Xn dP M . 0 arbitrario, entonces
Xn
Xn dP
X n
.
E X Fn dP X dP
Xn
La siguiente proposicin establece que la convergencia en media es una o condicin suciente para que se cumpla la propiedad de integrabilidad unio forme en un proceso. Proposicin 7.6 Toda sucesin X1 , X2 , . . . de variables aleatorias inteo o grables que es convergente en media es uniformemente integrable. Demostracin. Suponga que X1 , X2 , . . . es una sucesin de variables o o aleatorias integrables convergente en media a la variable aleatoria integrable 0. Esto es, para cada 0 existe un natural X, es decir, E Xn X 2. Dado que el l mite X N tal que para cualquier n N , E Xn X es integrable, para cada 0 existe 0 tal que si P A , entonces 2. Tomando un valor de 0 ms pequeo si es necesario se a n A X dP tiene adems que A Xn dP , para cada n 1, . . . , N , cuando P A . a Por otro lado, para cualquier n 1, E Xn
1 1 M si se toma M Es decir, P Xn M E Xn supn E Xn . Tal valor de M es nito pues como la sucesin converge en media, es acoo tada en media. En particular y con el valor de M mencionado, lo anterior
M P Xn
Xn
Xn dP M .
7.10. Representacion de martingalas
227
demuestra la integrabilidad uniforme de las variables Xn para valores de n menores o iguales a N . Para el caso n N se tiene que

Xn
Xn dP
X n
2
X dP X dP
Xn
Xn X dP
Xn
E Xn X
El siguiente resultado es un rec proco de la proposicin anterior, slo que o o hay que aadir la condicin de que el proceso sea una submartingala, en n o particular, una martingala. Proposicin 7.7 Toda submartingala uniformemente integrable es convero gente en media. Demostracin. Sea Xn : n 1 una submartingala uniformemente inteo grable. Hemos demostrado antes que en tales condiciones la submartingala es necesariamente acotada en L1 , y por lo tanto satisface las condiciones del teorema de convergencia de martingalas de Doob. Existe entonces una variable aleatoria integrable X tal que Xn X c.s. Demostraremos que X en media, es decir, que E Xn X 0. Sea 0 arbitrario. Xn Debido a la hiptesis de integrabilidad uniforme, existe M 0 tal que para o toda n 1, Xn X dP . 3 Xn X M Por otro lado, como la convergencia casi segura implica la convergencia en 3 0, cuando n , es decir, probabilidad se tiene que P Xn X existe un entero N tal que para n N , P Xn X 3 , 3M
228 en donde M E Xn X
7. Martingalas 0 es la constante de la estimacin anterior. Entonces o
Xn X
Xn X dP
Xn X
Xn X dP
M P Xn X 3 .
Xn X 3
Xn X dP 3 P Xn X 3 3
Finalmente se presenta el resultado que establece que toda martingala uniformemente integrable se puede escribir como una esperanza condicional. Teorema 7.3 (Teorema de representacin de martingalas) o o Sea Xn : n 0 una martingala uniformemente integrable, con ltracin natural Fn n 0 , y teniendo a la variable X como su lmite en media. En tonces, Xn E X Fn c.s. Demostracin. Para cualquier m o n, E Xm Fn decir que para cualquier evento A en Fn ,

Xn . Esto quiere
Xm dP
A A
Xn dP.
Entonces,
Xn X dP
Xm X dP
Xm X dP Xm X dP.
7.11. J. L. Doob Por lo demostrado antes, el ultimo trmino converge a cero cuando m e Es decir, para cualquier A en Fn ,

229 .
Xn dP
A A
X dP.
Esto signica que Xn
E X Fn c.s.
La variable Xn E X Fn puede interpretarse como una aproximacin o de la variable desconocida X cuando se cuenta con la informacin dada por o la -lgebra Fn . Conforme n crece, la informacin acerca de X aumenta a a o travs de la ltracin, y en el l e o mite se obtiene o reconstruye X. Notas y referencias. Se pueden encontrar otras exposiciones introductorias al tema de martingalas a tiempo discreto en Karlin y Taylor [17], y Lawler [21]. Para lecturas ms avanzadas pueden consultarse Revuz y a Yor [28] y Tudor [36].
7.11.
J. L. Doob
Joseph L. Doob (E.U.A., 19102004) empez a o tener inters por la ciencia desde pequeo, e n cuando cursaba la escuela secundaria. Estuvo muy interesado en el funcionamiento de la radio e incluso construy l mismo su proo e pio equipo. Este inters por la electrnica, e o y las comunicaciones se increment durante o la preparatoria, obteniendo incluso una licencia para llevar a cabo transmisiones por radio. Dado este inters en la electrnica, Doob e o J. L. Doob pens que la f o sica era el rea que deb estua a diar al ingresar a la universidad. As lo hizo cuando ingres a la Universidad o de Harvard en 1926. Sin embargo, despus de un ao de estudios se cone n venci de que el curso que verdaderamente disfrut fue el de clculo y sus o o a aplicaciones. Para el segundo ao se registr en cursos de matemticas. En n o a 1930 obtuvo el grado de licenciatura de la Universidad de Harvard, y en 1931 el de maestr bajo la supervisin de J. L. Walsh en la misma universidad. a o
230
7. Martingalas
En junio de ese mismo ao se cas con Elsie Field, con quien tuvo tres hijos. n o Al ao siguiente, en 1932, obtuvo el doctorado con un trabajo de tesis sobre n las funciones anal ticas y sus valores de frontera. Tiempo despus recibi una e o beca para trabajar en la teor de la probabilidad con H. Hotelling en la Unia versidad de Columbia de 1934 a 1935. Al nal de ese periodo fue contratado como profesor asociado en la Universidad de Illinois en 1935, all fue donde desarroll su carrera como profesor hasta 1978, cuando se jubil. Entre sus o o estudiantes de doctorado guran, entre otros, Paul Halmos (1938), David Blackwell (1941), J. Laurie Snell (1951) y John Walsh (1966). El trabajo de Doob se centra principalmente en la teor de la medida, la teor de la a a probabilidad y las relaciones de esta ultima con la teor del potencial. En a particular, y profundizando parte del trabajo de Paul L`vy, durante los aos e n cuarenta y cincuenta Doob desarroll la teor bsica de las martingalas y o a a algunas de sus aplicaciones. En 1953 public su libro clsico Stochastic Proo a cesses, el cual fue reeditado en 1990. En 1984 public Classical Potential o Theory and its Probabilistic Counterparts, reimpreso en 2001. En 1994, a la edad de 84 aos, public su ultimo texto titulado Measure Theory. Doob n o fue miembro de las Academias de Ciencias de Estados Unidos y de Francia, presidi el Instituto de Estad o stica Matemtica (IMS) en 1950, y la Sociedad a Matemtica Estadounidense (AMS) de 1963 a 1964. Recibi varios premios a o prestigiosos de su pa por la trascendencia y profundidad de sus trabajos. s Durante muchos aos de su vida Doob mantuvo la costumbre y el gusto por n organizar y realizar las famosas caminatas de los sbados por la tarde junto a a profesores universitarios, colegas y amigos de la Universidad de Illinois. A peticin propia, las cenizas de sus restos mortales fueron esparcidas por o sus compaeros en uno de sus sitios favoritos donde acostumbraba caminar n junto con sus amigos. Para una informacin ms amplia sobre la vida y el o a trabajo de Doob vanse las siguientes referencias. e a) Bingham N. H., Doob: a half century on, Journal of Applied Probability, Vol. 42, 257266, 2005. b) Burkholder D. y Protter P., Joseph Leo Doob, 1910-2004, Stochastic Processes and their Applications, Vol. 115, 1061-1072, 2005. c) Snell J. L., A Conversation with Joe Doob, Statistical Science, Vol. 12, Nm. 4, 301311, 1997. u
7.12. Ejercicios
231
d) Snell J. L., Obituary: Joseph Leonard Doob, Journal of Applied Probability, Vol. 42, 247256, 2005. Fuente: Archivo MacTutor, Universidad de St. Andrews.
7.12.
Ejercicios
Filtraciones 169. Sea Xt : t 0 un proceso adaptado a la ltracin Ft t 0 , y sea o o Gt t 0 la ltracin natural del proceso. Demuestre que para cada o t 0 se cumple Gt Ft . Esto signica que la ltracin natural es la ltracin ms pequea respecto de la cual un proceso es adaptado. o a n Tiempos de paro 170. Sea Xn : n 1 la sucesin de resultados que se obtienen al lanzar o sucesivamente un dado equilibrado. Sea Fn n 1 la ltracin natural o de este proceso y dena la variable como el primer tiempo n tal que X1 Xn 10. Determine si es un tiempo de paro respecto de la ltracin dada. o 171. Demuestre que la condicin en la denicin de tiempo de paro a tiempo o o discreto n Fn es equivalente a la condicin n Fn . o 172. Sea n un entero positivo. Demuestre que la variable aleatoria constante a es tambin e n es un tiempo de paro. Compruebe adems que un tiempo de paro. 173. Sea un tiempo de paro con valores en 1, 2, . . . , y sea n un entero positivo. Demuestre que las siguientes variables tambin son e tiempos de paro. a) b) c) n.
n.
n.
232
7. Martingalas
174. Sean 1 y 2 dos tiempos de paro respecto de la misma ltracin. o Demuestre que las siguientes variables aleatorias tambin son tiempos e de paro. a) 1 b) 1 2 . 2 .
c) 1 2 .
175. Sea Xn : n 1 un proceso a tiempo discreto, y sea x un nmero u real cualquiera dentro del espacio de estados del proceso. Dena las variables aleatorias: 1 como el primer momento en el que el proceso toma el valor x, 2 como el segundo momento en el que el proceso toma el valor x, etc. Demuestre que 1 2 son tiempos de paro. 176. Sea un tiempo de paro con valores en 0, tante. Demuestre que c es tiempo de paro.
y sea c
1 una cons-
177. Sea 1 , 2 , . . . una sucesin innita de tiempos de paro respecto de la o misma ltracin. Demuestre que las siguientes funciones tambin son o e tiempos de paro. a) b) c) 1 , 2 , . . .. nf sup 1 , 2 , . . .. k , es decir, es la k-sima estad e stica de orden.
o 178. Sea Xn : n 0 un proceso adaptado a la ltracin Fn n 0 , y sea un tiempo de paro discreto con valores en 0, 1, . . . y que adems a 1. Demuestre que X es una variable es nito, es decir, P aleatoria. Martingalas 179. Deniciones equivalentes. Sea Xn : n 0 una martingala a tiempo discreto. Demuestre que la propiedad de martingala a) E Xm Fn Xn , para cualquier m n
7.12. Ejercicios es equivalente a la condicin o b) E Xn1 Fn Xn , para cada n 1.
233
Enuncie y demuestre la equivalencia anloga al caso submartingala a E X G cuando y supermartingala. Sugerencia: E E X F G G F. 180. Demuestre que a) Toda martingala es una submartingala y una supermartingala. b) Todo proceso que es al mismo tiempo una submartingala y una supermartingala es una martingala. 181. Demuestre que para cualquier t b) E Xt c) E Xt a) E Xt s 0, 0 es una martingala. 0 es una submartingala. E Xs cuando Xt : t E Xs cuando Xt : t E Xs cuando Xt : t
0 es una supermartingala.
182. Martingala de la esperanza condicional. Sea X una variable aleatoria o integrable, y sea Ft t 0 una ltracin a tiempo continuo. Demuestre o que el proceso Xt : t 0 denido a continuacin es una martingala. Xt E X Ft .
183. Para la martingala del juego de apuestas justas Xn 1 n , 2 demuestre que el proceso Xn n : n 0 es una martingala si, y slo o si, Var 1. 184. Sea Xn : n 1 un proceso adaptado a la ltracin Fn n 1 . o Demuestre que si A es un evento F1 -medible, entonces el proceso Xn 1A : n 1 es una martingala, submartingala o supermartingala cuando Xn : n 1 lo es. 185. Sea M una constante. Demuestre que: a) Si Xn : n 0 es una submartingala, entonces Xn M : n es una submartingala. 0
234
7. Martingalas b) Si Xn : n 0 es una supermartingala, entonces Xn 0 es una supermartingala. M :n
0 and Yt : t 0 dos martingalas, submartingalas 186. Sean Xt : t o supermartingalas respecto de la misma ltracin. Demuestre que o el proceso aXt bYt c : t 0 es tambin una martingala, sube martingala o supermartingala, respectivamente, en donde a, b y c son constantes. Para el caso de submartingala y supermartingala se necesita suponer adems que a y b son no negativos. En particular esto a demuestra que la suma de dos martingalas es una martingala, y que el conjunto de martingalas respecto de la misma ltracin y denidas o en un mismo espacio de probabilidad es un espacio vectorial. 187. Sea Xn : n dado por Xn 1 un proceso integrable. Demuestre que el proceso mxX1 , . . . , Xn es una submartingala. a
189. Sean Xt : t 0 y Yt : t 0 dos martingalas o supermartingalas respecto de la misma ltracin. Demuestre que el proceso Xt Yt : o t 0 es una supermartingala. 190. Martingala de de Moivre. Sea 1 , 2 , . . . una sucesin de variables aleatoo rias independientes cada una de ellas con la misma distribucin dada o por P 1 p y P 1 q 1 p. Sea Xn 1 n . qpXn es una martingala respecto de la lDemuestre que Yn tracin generada por el proceso Xn : n 1. o 191. Sea Xt : t 0 una martingala respecto de una ltracin Ft t 0 . o Demuestre que el proceso tambin es una martingala respecto de su e ltracin natural. En general el rec o proco es falso.
188. Sean Xt : t 0 y Yt : t 0 dos martingalas o submartingalas respecto de la misma ltracin. Demuestre que el proceso Xt Yt : o t 0 es una submartingala.
192. Martingala producto. Sean 1 , 2 , . . . variables aleatorias independien1 n tes con esperanza unitaria. Demuestre que el proceso Xn es una martingala respecto de su ltracin natural. o 0 una submartingala. Demuestre que los siguientes 193. Sea Xn : n procesos tambin son submartingalas. e
7.12. Ejercicios
235
b) Xn
a) Xn
c) Xn . Suponga, en este caso, que Xn : n
m Xn , 0. n
mx Xn , 0. a
0 es una martingala.
194. Martingala del juego de apuestas. Sea 1 , 2 , . . . una sucesin de vao riables aleatorias independientes e idnticamente distribuidas. Dena e Xn 1 n . Demuestre que: a) Si E , entonces el proceso Xn nE : n martingala. 1 es una 1 es una
2 , entonces el proceso Xn nE 2 : n b) Si E 2 martingala.
195. Sea Xt : t 0 una martingala cuadrado integrable. Demuestre que Xt2 : t 0 es una submartingala respecto de la misma ltracin. o Vase el siguiente ejercicio para una generalizacin de este resultado. e o 196. Sea Xt : t 0 una martingala tal que E Xt p para cada t 0, e con p 1. Demuestre que Xt p : t 0 es tambin una submartingala. Sugerencia: use la desigualdad de Jensen. En el siguiente ejercicio se generaliza este resultado. 197. Sea Xt : t 0 un proceso integrable, y sea g una funcin cono 0. Demuestre que vexa tal que gXt es integrable para cada t bajo cualquiera de las siguientes condiciones se cumple que el proceso gXt : t 0 es una submartingala. b) Cuando Xt : t decreciente. a) Cuando Xt : t 0 es una submartingala y g es una funcin no o 0 es una martingala.
198. Sea 1 , 2 , . . . una sucesin de variables aleatorias independientes tales o 2 que E k k , Vark k , para k 1, y con ltracin nao tural Fn n 1 . Demuestre que el siguiente proceso es una martingala respecto de esta ltracin. o
2 Xn
k k 2
n k 1
2 k .
k 1
236
7. Martingalas
199. Sea n : n 0 un proceso integrable y adaptado a la ltracin o Fn n 0. Demuestre que el siguiente proceso es una martingala. Xn
n k 1
k E k
Fk1 . 0. Demuestre
200. Sea Xt : t 0 un proceso de Poisson de parmetro a que los siguientes procesos son martingalas. a) Yt
201.
Xt t2 t. b) Yt exp Xt t 1 e , en donde R. Sea Xt : t 0 un proceso integrable con incrementos independientes. Demuestre que el proceso centrado Xt E Xt : t 0 es una
martingala.
202. Considere la martingala de la urna de Polya con una conguracin o inicial de una bola blanca y una negra. Suponga ahora que cuando se extrae una bola de un color se regresa a la urna junto con k bolas Xn 2 nk. Es Mn : n 0 una del mismo color. Dena Mn martingala? 203. Demuestre que el proceso Xn : n 1 de la estrategia de juego llamada martingala, cuando las apuestas son justas, es una martingala. 204. Sea Xn : n n3 , 0 una martingala. Demuestre que para 0 E Xn3 n1 n2
Xn Xn
2 1
0.
205. Sea 1 , 2 , . . . una sucesin de variables aleatorias tal que el proceso o Xn 1 n es una martingala. Demuestre que E i j 0 para i j. 0 una cadena de Markov con espacio de estados 206. Sea Xn : n 0, 1, . . .. Suponga que las probabilidades de transicin son p00 1 y o pij ei ij j! en los otros casos. Demuestre que Xn : n 0 es una martingala.
7.12. Ejercicios Teorema de paro opcional
237
207. Sea Xn 1 n una caminata aleatoria simple sobre Z y que inicia en el origen. Suponga P 1 p y P 1 q 1 p. Sean a y b dos enteros positivos jos. Dena el tiempo de paro m n 1 : Xn a Xn b. n o a) Use el teorema de paro opcional y el hecho de que q pXn : n 1 es una martingala para demostrar que P X y b) Demuestre que E
ab
P X
1 q pa , 1 q pab 1 pq b , 1 pq ab
pq
a b 1 pq b p q 1 pq ab
si p si p
q, q.
Integrabilidad uniforme 208. Demuestre que una variable aleatoria X es integrable si, y slo si, para o cada 0 existe M 0 tal que
X dP
238
7. Martingalas
Cap tulo 8
Movimiento Browniano
El fenmeno natural que ahora se conoce como o movimiento Browniano tiene una interesante historia. El primer registro, aunque no as la primera observacin, data de 1828, cuando el o botnico Robert Brown report en una revista a o cient ca que granos de polen suspendidos en una cierta substancia y vistos a travs de un e microscopio realizaban un movimiento irregular e inexplicable [2]. Este extrao movimienn to fue objeto de mucha discusin y muy divero sas controversias se suscitaron a partir de su diR. Brown vulgacin en la comunidad cient o ca de aquella poca. Con la intencin de dar una explicacin e o o satisfactoria del extrao fenmeno observado, se llevaron a cabo diversos n o experimentos y se formularon muy diversas hiptesis [23]. Hoy en d este o a movimiento es entendido y explicado a travs de las mltiples colisiones e u aleatorias de las molculas del l e quido con los granos de polen. Llegar a tal aseveracin tom muchos aos, pues debi aceptarse la teor cintico o o n o a e molecular de la materia, y el seminal trabajo de Einstein de 1905 sobre este fenmeno contribuy decididamente a tal tarea. Aparentemente sin tener o o informacin precisa de las observaciones de Brown, Einstein pudo predeo cir que el movimiento irregular de part culas suspendidas en l quidos deb a poder observarse a travs de un microscopio. En [8] se puede encontrar la e 239
240
8. Movimiento Browniano
reimpresin de los primeros trabajos de Einstein sobre el movimiento Browo niano. En este cap tulo se presenta una introduccin al modelo matemtico o a para el movimiento Browniano. Se trata del ejemplo ms importante de un a proceso de Markov a tiempo continuo y con espacio de estados continuo.
8.1.
Denicin o
Las observaciones reales del movimiento de granos de polen a travs del microscoe pio sugieren que las trayectorias son continuas y que los desplazamientos son independientes en intervalos de tiempo disjuntos. Adems, debido al gran nmero de coa u lisiones del grano de polen con las molcue las circundantes en longitudes de tiempo no pequeos, y teniendo en cuenta el teon Figura 8.1: rema central del l mite, los incrementos Movimiento Browniano pueden modelarse como variables aleatorias Gausianas. La estructura matemtica a de un proceso estocstico a tiempo continuo, denotado en este caso por a Bt : t 0, ha resultado adecuada para modelar este tipo de fenmenos. o En tal modelo, la variable Bt puede representar la posicin de la part o cula al tiempo t. La denicin matemtica, en el caso unidimensional, es la o a siguiente. Denicin 8.1 (Primera denicin) Un movimiento Browniano unio o dimensional de parmetro 2 es un proceso estocstico Bt : t a a 0 con valores en R que cumple las siguientes propiedades. 1. B0 0 c.s.
2. Las trayectorias son continuas. 3. El proceso tiene incrementos independientes. 4. Para cualesquiera tiempos 0 s t, la variable incremento Bt Bs tiene distribucin N 0, 2 t s, o
8.1. Definicion
241
Las condiciones que aparecen en esta denicin son consecuencia directa de o las observaciones del fenmeno f o sico, pero eso no garantiza que tal objeto matemtico exista. En 1923 el matemtico estadunidense Norbert Wiener a a demostr la existencia y unicidad de un proceso con tales condiciones. Es o por esta razn que a menudo a este proceso tambin se le llama proceso o e 0. En sentido estricto, de Wiener, y se le denota tambin por Wt : t e el movimiento Browniano es el fenmeno f o sico, mientras que su modelo matemtico es el proceso de Wiener, aunque es comn llamar a ambas a u cosas por el mismo nombre: movimiento Browniano. Observe que la cuarta propiedad que aparece en la denicin anterior establece impl o citamente que los incrementos son estacionarios. Demostraremos a continuacin que las o condiciones 3 y 4 de la denicin anterior son equivalentes a solicitar que o las distribuciones nito dimensionales del proceso sean las que se especican a continuacin. o Denicin 8.2 (Segunda denicin) Un movimiento Browniano unio o 0 con dimensional de parmetro 2 es un proceso estocstico Bt : t a a valores en R que cumple las siguientes propiedades. 1. B0 0 c.s. Bt son continuas.
2. Las trayectorias t
3. Para cualesquiera tiempos 0 t1 tn, y para cualesquiera conjuntos de Borel A1 , . . . , An de R, se cumple que la probabilidad P Bt1 es igual a
A1, . . . , Bt An
n
A1
An
pt1 , 0, x1 pt2 t1 , x1 , x2 ptn tn1 , xn1 , xn dxn dx1 , pt, x, y 1 2 2 t eyx

2
en donde
22 t .
(8.1)
Observe que la tercera propiedad de la ultima denicin establece que la fun o cin de densidad del vector Bt1 , . . . , Btn evaluada en el punto x1 , . . . , xn o es pt1 , 0, x1 pt2 t1 , x1 , x2 ptn tn1 , xn1 , xn .
242
En particular, la variable Bt tiene distribucin N0, 2 t. Demostraremos a o continuacin que las dos deniciones anteriores son equivalentes. o Proposicin 8.1 Las Deniciones 8.1 y 8.2 del movimiento Browniano o son equivalentes. Demostracin. o I II . Se hace uso de la independencia de los incrementos y de la hiptesis de que stos tienen distribucin normal. o e o fBt1 ,Bt2 ,...,Btn x1 , x2 , . . . , xn fBt1 ,Bt2 Bt1 ,...,Btn Btn1 x1 , x2 x1 , . . . , xn xn1
fBt1 x1 fBt2 Bt1 x2 x1 fBtn Btn1 xn xn1 pt1 , 0, x1 pt2 t1 , x1 , x2 ptn tn1 , xn1 , xn .
pt1 , 0, x1 pt2 t1 , 0, x2 x1 ptn tn1 , 0, xn xn1
II I . De acuerdo al tercer postulado, para 0 s t, la funcin o ps, 0, x pt s, x, y . de densidad del vector Bs , Bt es fBs ,Bt x, y Aplicando la frmula general para la funcin de densidad de la diferencia o o de dos variables aleatorias, fY X u fX,Y x, u x dx, se obtiene
fBt Bs u
ps, 0, x pt s, x, u x dx 1 2 2 s 1 ex e
2
2s
22
1 2 2
o es decir, Bt Bs tiene distribucin N0, 2 t s. Entonces fBt1 ,Bt2 Bt1 ,...,Btn Btn1 x1 , x2 , . . . , xn fBt1 ,Bt2 ,...,Btn x1 , x2 x1 , . . . , xn xn1 x1 pt1 , 0, x1 pt2 t1 , x1 , x2 x1 pt1 , 0, x1 pt2 t1 , 0, x2 ptn tn1 , 0, xn fBt1 x1 fBt2 Bt1 x2 fBtn Btn1 xn . . . . ptn tn1 , x1 xn1 , x1 xn
2 2 t s pt s, 0, u,
u2
ts
t s
eu
22 ts dx
8.1. Definicion
243
Esto demuestra que las variables Bt1 , Bt2 Bt1 , . . . , Btn Btn1 son independientes, cada una de ellas con distribucin normal con los parmetros o a mencionados. Se dice que un movimiento Browniano es estndar cuando 2 1. A travs a e 2 t un movimiento Browniano no estndar a del cambio de variable puede convertirse en uno estndar. Entonces, a menos que se especique a lo contrario y sin prdida de generalidad, a partir de ahora supondremos e que el movimiento Browniano es estndar, es decir, el incremento Bt Bs a tiene distribucin N 0, t s. Puede demostrarse que los siguientes procesos o tambin son movimientos Brownianos. e a) Wt b) Wt c) Wt d) Wt
B t : t
1 c Bc 2 t
0. 0, 0, con c con W0 0, 0 constante. 0. 0 jo.
:t
t B1t : t
Bt0 t Bt0 : t
con t0
Funcin de probabilidad de transicin o o o A la funcin pt, x, y denida por (8.1) se le llama funcin de probabilidad o de transicin del movimiento Browniano de parmetro 2 . En particular, la o a probabilidad de que un movimiento Browniano que inicia en x se encuentre e en un conjunto A R (apropiadamente medible) despus de t unidades de tiempo es pt, x, A
A
pt, x, y dy.
Hemos hecho nfasis en la tercera propiedad que aparece en la segunda e denicin del movimiento Browniano, pues sta tiene la ventaja de que o e proporciona una expresin expl o cita para la probabilidad del conjunto de trayectorias Brownianas que cumplen las condiciones de encontrarse en el conjunto A1 al tiempo t1 , estar en el conjunto A2 al tiempo posterior t2 , etctera. La condicin de que el movimiento Browniano inicie en el origen e o no es absolutamente necesaria. Pueden considerarse trayectorias Brownianas que inicien en un punto x cualquiera a travs del proceso x Bt : t 0, e x : t 0 para recordar la posicin de o el cual se denota a veces por Bt
244
origen. Integrando directamente puede comprobarse que la probabilidad de transicin pt, x, y cumple la ecuacin de Chapman-Kolmogorov, o o pt s, x, y
p t
pt, x, u ps, u, y du,
y tambin cumple la ecuacin de difusin o ecuacin de calor, e o o o 1 2p . 2 x2
En uno de sus trabajos de 1905 y a travs de consideraciones tericas f e o sicas, Einstein encontr que la probabilidad de transicin pt, x, y satisface la o o ecuacin de difusin y a partir de all dedujo la expresin Gausiana para o o o esta probabilidad.
8.2.
Propiedades bsicas a
Tenemos entonces que para el movimiento Browniano estndar cada vaa 0 y riable aleatoria Bt tiene distribucin N 0, t y por lo tanto E Bt o 2 VarBt E Bt t. En particular E Bt Bs 2 t s, para 0 s t. El movimiento Browniano f sico real se presenta en tres dimensiones y es completamente errtico. En la Figura 8.2 se puede apreciar una posible a trayectoria Browniana cuando sta e se proyecta sobre una de sus coordeBt nadas. Esta grca fue generada en a computadora y es slo una aproxio macin del modelo matemtico. En o a la grca pueden apreciarse algunas a t pequeas partes en donde aparenten mente el comportamiento es lineal y suave, ello no sucede en el moFigura 8.2 delo terico. Usando esta probabilio dad de transicin demostraremos a o continuacin que el movimiento Browniano cumple la propiedad de Markov o en el sentido dbil. e Proposicin 8.2 El movimiento Browniano es un proceso de Markov. o
8.2. Propiedades basicas Demostracin. Para cualesquiera tiempos 0 o y para cualquier evento A en R, t1 t2
245
tn
tn1 ,
P Btn1 A Bt1 x1 , . . . , Btn xn pt1 , 0, x1 pt2 t1 , x1 , x2 ptn tn1 , xn1 , xn ptn1 tn , xn , A pt1 , 0, x1 pt2 t1 , x1 , x2 ptn tn1 , xn1 , xn ptn1 tn , xn , A ptn , 0, xn ptn1 tn , xn , A ptn , 0, xn P Btn1 A Btn xn .
Puede demostrarse que cumple adems la propiedad fuerte de Markov: si a es un tiempo de paro respecto de la ltracin del movimiento Browniao no, entonces el proceso B t B : t 0 es tambin un movimiento e Browniano y es independiente de la -lgebra a F
A F
:A
t Ft para cada t
0.
En particular, cuando es constante t0 , el proceso Bt0 t Bt0 : t 0 es un movimiento Browniano. Como una consecuencia del hecho de que los incrementos de este proceso son independientes, demostraremos a continuacin o la propiedad de martingala. Proposicin 8.3 El movimiento Browniano es una martingala continua. o Demostracin. Claramente el proceso es adaptado a su ltracin natuo o ral y cada variable aleatoria del proceso es integrable. Por otro lado, para cualesquiera tiempos s y t tales que 0 s t, E Bt Fs E Bt Bs Bs Fs E Bt Bs Bs Bs . E Bt Bs Fs E Bs Fs
246
El siguiente resultado no trivial se debe a Paul L`vy y establece condiciones e que caracterizan de manera unica al movimiento Browniano en trminos de e la propiedad de martingala. Teorema 8.1 (Teorema de caracterizacin de Paul L`vy) Un proceso o e Xt : t 0 es un movimiento Browniano si, y slo si, tiene trayectorias o 2 continuas, empieza en cero, y tanto Xt : t 0 como Xt t : t 0 son martingalas. El movimiento Browniano Bt : t 0 cumple claramente cada una de las condiciones mencionadas, aunque posiblemente no sea tan evidente que el 2 proceso Bt t : t 0 sea tambin una martingala, ello no es dif de vee cil ricar y se deja como ejercicio. La parte fuerte de esta caracterizacin radica o en que estas condiciones determinan un movimiento Browniano. Usando la caracterizacin de Paul L`vy puede demostrarse que los procesos denidos o e en los incisos (a), (b), (c) y (d) de la pgina 243 son movimientos Browniaa nos. El movimiento Browniano como l mite de una caminata aleatoria Considere una caminata aleatoria simtrica simple sobre Z que inicia en e 1 n , en donde 1 , 2 , . . . son variael origen, es decir, sea Xn bles aleatorias independientes e idnticamente distribuidas tales que P e 1 P 1 12. Sabemos que E 0 y Var E 2 1. Suponga que la unidad en la variable tiempo es ahora de longitud t 1N , con N entero. El objetivo es hacer t cada vez ms pequeo. Para lograr a n una versin discreta del movimiento Browniano es necesario hacer tambin o e un cambio en la escala en el tamao de los saltos, ahora no sern unitan a rios sino de longitud t, ms adelante explicaremos las razones de esta a eleccin. Dena ahora la caminata aleatoria o Wnt t 1 t n , n 1.
una de cuyas trayectorias aparece en la Figura 8.3. Dada la simetr de la a 0. La razn por la que se o caminata, sigue cumplindose que E Wnt e ha tomado esa nueva escala en el tamao de los saltos es que con ello se n logra similitud con el movimiento Browniano estndar al cumplirse tambin a e que para cualquier valor de n, VarWnt nt Var nt. Puede demostrarse que cuando t 0 esta caminata tiende (en algn sentido) a un u
8.2. Propiedades basicas
247
proceso a tiempo continuo con trayectorias continuas. El proceso l mite 3 t resultante es el movimien2 t to Browniano estndar. Esa t ta aproximacin del moo vimiento Browniano como t 2t 3t 4t 5t 6t 7t 8t l mite de una caminata t aleatoria sugiere un meca2 t nismo para simular trayecFigura 8.3 torias Brownianas por computadora: se escoge t pequeo y N el nmero de n u puntos que se deseen gracar. Se generan entonces N valores independientes de la variable con distribucin uniforme en el conjunto 1, 1, y se grao a ca la sucesin de puntos kt, Wkt , para k 0, 1, . . . , N . En la prctica o suelen generarse valores continuos para con distribucin normal estndar. o a Este es el mecanismo seguido para generar la grca de la Figura 8.2 y las a otras trayectorias Brownianas que aparecen en este cap tulo. Difusin o Suponga que se coloca una part cula al azar en la recta real de acuerdo a una cula se mueve densidad de probabilidad f y . Suponga ahora que esta part siguiendo un movimiento Browniano estndar unidimensional. Entonces la a densidad de probabilidad de la posicin de la part o cula despus de t unidades e de tiempo es la funcin f t, x dada por o f t, x
en donde para la segunda igualdad se ha hecho uso de la identidad pt, y, x pt, x, y , pero ahora esta ultima expresin adquiere una interpretacin in o o teresante, pues corresponde a la esperanza de la variable f Bt para un x movimiento Browniano que inicia en x, es decir, f t, x E f Bt . A esta funcin tambin se le denota por E x f Bt , y puede demostrarse que o e satisface la ecuacin o 1 2 f t, x f t, x. t 2 x2
f y pt, y, x dx
f y pt, x, y dx,
248
8.3.
Propiedades de las trayectorias
Antes de establecer las siguientes propiedades, recordemos la denicin de o variacin de una funcin. Sea a o o t0 t1 tn b una particin o mx ti1 ti : i a 0, . . . , n 1. La del intervalo a, b, y dena t variacin de una funcin g : a, b o o R es el nmero u l sup m
t 0 n 1 i 0
gti1 gti .
Cuando este nmero es nito se dice que la funcin tiene variacin nita en u o o dicho intervalo. Anlogamente, la variacin cuadrtica es a o a l sup m
t 0 n 1 i 0
gti1 gti 2 .
Demostraremos a continuacin que sobre un intervalo de tiempo acotado o a, b, casi todas las trayectorias del movimiento Browniano tienen variacin o no acotada, esto es, l sup m
t 0 n 1 i 1
Bti1
Bt
c.s.
Esta propiedad es particularmente importante pues tiene como consecuencia el hecho de que no se pueden usar las trayectorias Brownianas como funciones integradoras en el sentido de Riemann-Stieltjes. El hecho de que se desee denir algn tipo de integral respecto del movimiento Browniano u ser claro en el siguiente cap a tulo cuando se estudian ecuaciones diferenciales estocsticas. Por otro lado, demostraremos tambin que la variacin a e o cuadrtica del movimiento Browniano sobre a, b es nita, de hecho, es la a longitud del intervalo en cuestin. o Proposicin 8.4 La variacin cuadrtica de una trayectoria del movimieno o a to Browniano sobre el intervalo a, b es la longitud del intervalo, es decir, l sup m
t 0 n 1 i 1
Bti1
Bt
b a,
en el sentido L2 P .
8.3. Propiedades de las trayectorias
249
Demostracin. Sea Pn : n o 1 una sucesin de particiones nitas o del intervalo a, b. Denote por ti el incremento ti1 ti , y sea Bi la diferencia Bti1 Bti . Entonces E
Bi2 b a 2
E
i,j
Bi2 Bj 2 2b aE Bi2 b a2
i j

i i i i
E Bi 4 3ti
2
E Bi 2 E Bj 2 2b a
ti b a2
ti tj
b a
2ti 2 2ti
2
i j
ti 2 b a2
2b a mx ti a
0 i n
0.
Recordemos ahora el resultado que establece que toda toda sucesin cono o vergente en el sentido L2 P tiene una subsucesin convergente casi seguramente. Por lo tanto existe una subsucesin de particiones Pnk : k 1 o del intervalo a, b tal que l sup m
t 0 n 1 i 1
Bti1
Bt
b a,
c.s.
Proposicin 8.5 (Variacin del movimiento Browniano) La variacin o o o de una trayectoria del movimiento Browniano sobre el intervalo a, b es innita, casi seguramente, es decir, l sup m
t 0 n 1 i 1
Bti1
Bt
c.s.
Demostracin. Para cada n natural sea Pn la particin uniforme del o o intervalo a, b en n subintervalos, es decir cada incremento ti ti1 ti
250
tiene longitud b an. Entonces se tiene la estimacin o

n 1 i 0
Bi
0mxn a i
Bi
n 1 i 0
Bi .
(8.2)
Sea Pnk : k
1 una subsucesin de particiones uniformes tal que o l m

n1 k i 0
Bi
b a,
c.s.
Por otro lado, como las trayectorias del movimiento Browniano son continuas casi seguramente, se tiene que
k
l m
0 mx a i n
Bi
k
0,
c.s.
Substituyendo los ultimos dos resultados en (8.2) se obtiene que, respecto de la subsucesin de particiones, o l m
n1 k i 0
Bi
c.s.
De donde se sigue que el l mite superior es innito casi seguramente.
No diferenciabilidad Demostraremos a continuacin que para cualquier tiempo t0 o 0 jo, con Bt no es diferenciable en t0 . Ms adea probabilidad uno la trayectoria t lante se enuncia sin demostracin un resultado ms fuerte acerca de esta no o a diferenciabilidad. Proposicin 8.6 Sea t0 o 0 jo. Con probabilidad uno, el movimiento Browniano Bt : t 0 no es diferenciable en t0 . Demostracin. o Debido a que Bt0 t Bt0 : t 0 es tambin un e movimiento Browniano, es suciente demostrar la no diferenciabilidad de Bt en t 0. Demostraremos que con probabilidad uno, para cada nmero u 2 tal que 1 B n. Esta propiedad natural n existe t en el intervalo 0, 1n t t
8.3. Propiedades de las trayectorias implica que Bt no es diferenciable en t dena el evento An y observe que A1 P An
251
0. Para cada nmero natural n u
A2
1 Bt t
n,
para algn t 0, 1n2 , u
Entonces, 1 B 4 1n4 1n 1 B1n4 n3 1 n n
P P
1 n 1 cuando n
P n2 B1n4 1 P B1
e Hemos usado el hecho de que 1 Bc2 t es tambin un movimiento Browniano c para cualquier c 0 constante. Por lo tanto P A1 P A2 1. Es decir, P An 1 para cualquier n 1. As para cada t0 0, el conjunto de trayectorias t , Bt que no son diferenciables en t0 tiene probabilidad uno. Este conjunto de trayectorias puede cambiar para cada valor de t0 , aunque cada una de ellas tenga probabilidad uno. El siguiente resultado, ms fuerte y que se enuncia sin demostracin, a o asegura que con probabilidad uno no hay diferenciabilidad en ningn punto. u Observe que el conjunto de tiempos t0 0 no es numerable y por lo tanto la armacin no se sigue de manera obvia del resultado anterior. o Proposicin 8.7 Con probabilidad uno, el movimiento Browniano Bt : o t 0 no es diferenciable en ningn t 0. u Las trayectorias Brownianas son entonces ejemplos de funciones, otrora consideradas extraas, que son continuas pero no diferenciables en ningn punn u to. La grca de la Figura 8.2 muestra una de tales trayectorias, el zigzagueo a incesante del movimiento de la part cula no permite la diferenciabilidad de su trayectoria en ningn punto. Este tipo de resultados son los que dan u la pauta para buscar desarrollar una teor de la diferenciabilidad de funa ciones un poco ms amplia que la proporcionada por el clculo diferencial a a tradicional.
252
8.4.
Movimiento Browniano multidimensional
El movimiento Browniano que hemos estudiado con valores en R puede extenderse a un proceso con valores en Rn de la siguiente forma. Denicin 8.3 Sean B1 t, . . . , Bn t movimientos Brownianos indeo pendientes unidimensionales. El movimiento Browniano en Rn es el proceso B t
B1 t, . . . , Bn t.
En la Figura 8.4 puede apreciarse la simulacin de una trayectoria Browniana en o B 2 t R2 . En completa analog con el caso unia dimensional, este proceso puede denirse de manera alternativa mediante los siguientes postulados. Primeramente se piB1 t de que B 0 0, . . . , 0 casi seguramente. Se presupone adems que las trayectorias a t B t son continuas, y que el proceso tiene incrementos independientes. FinalFigura 8.4 mente, para cualesquiera tiempos 0 s t, el vector B t B s tiene una distribucin normal multivariada con media el vector de ceros 0, . . . , 0, y matriz o de covarianzas la matriz diagonal
2 t sn Es decir, la funcin de densidad del vector B t B s es o
VarB t B s
2 t s1
0 .. .
f x1 , . . . , xn
2 2 1 ex1 2ts1 2 2 t s1 2 2 1 exn 2tsn . 2 2 t sn
Cuando los valores de los parmetros son todos uno, se dice nuevamente a que el movimiento Browniano es estndar, y la funcin de densidad de B t a o
8.4. Movimiento Browniano multidimensional B s adquiere la expresin compacta o f x 1 , . . . , x n
253
2t s
n 2
2ts ,
en donde x x2 x2 . Como en el caso unidimensional, puede n 1 considerarse un movimiento Browniano que inicie en x Rn , y entonces para cualquier t 0 la probabilidad de transicin o densidad de B t es o pt, x, y 1 e n2 2t
Rn y x
2t ,
que nuevamente cumple al ecuacin de Chapman-Kolmogorov o pt s, x, y pt, x, u ps, u, y du.
El proceso de Bessel Sea B t : t 0 un movimiento Browniano en Rn . El proceso de Bessel es el proceso dado por Rt B t
2 2 B1 t Bnt12 .
Es decir, Rt es la distancia Euclideana que guarda un movimiento Browniano n-dimensional respecto al origen al tiempo t, y por eso se le llama a veces movimiento Browniano radial. Se trata pues de un proceso con valores en 0, que evidentemente tiene trayectorias continuas. Puede demostrarse (vase [1]) que este proceso cumple la propiedad de Markov y que la funcin e o e de probabilidades de transicin pt, x, y puede expresarse en trminos de las o funciones de Bessel, y de all es de donde adquiere este nombre alternativo. Ecuacin de calor en dominios acotados o Vamos a enunciar sin demostracin un resultado que nos llevar a una aplio a cacin del movimiento Browniano. Considere una regin abierta y acotada o o o D de Rn con frontera D, y suponga que la funcin ut, x representa la o temperatura en el punto x D al tiempo t 0. La evolucin en el tiempo de esta funcin est dada por la ecuacin de calor o a o t ut, x d ut, x, 2
254
en donde es el operador Laplaciano, y d es una constante positiva. Suponga adems que se tiene una temperatura inicial u0, x f x para x D, a gx para x D. Sea x un punto y la condicin de frontera ut, x o x t nf 0 : Bt D , en donde cualquiera en D y dena el tiempo Btx es un movimiento Browniano de parmetro 2 d, y que inicia en a x. La solucin a esta ecuacin de calor con las condiciones mencionadas se o o puede expresar en trminos del movimiento Browniano de la siguiente forma e ut, x
x E f Bt 1 t
gB 1 t .
x
(8.3)
o para x D, y conservando la condicin de frontera ux gx para x D, es decir, x E gB si x D, l ut, x m ux t g x si x D. Ejemplo 8.1 (El problema de la ruina del jugador con trayectorias Brownianas) Suponga que un movimiento Browniano unidimensional ini. Cul es la a cia en el punto x dentro del intervalo a, b, con 0 a b probabilidad de que el proceso tome el valor a antes que b? Una trayectoria Browniana que cumple tal condicin se muestra en la Figura 8.5(a). Este es o el problema de la ruina del jugador estudiado antes slo que ahora el capio tal del jugador cambia continuamente siguiendo un movimiento Browniano. Llegar primero al valor a se interpreta como ruina, y el juego es justo pues los incrementos del movimiento Browniano tienen esperanza nula. Dena x t nf 0 : Bt a o Bt x b. Nos nuevamente el tiempo de paro interesa encontrar ux
x P B
la estructura de la ecuacin de calor hace que la solucin o o Conforme t ut, x se aproxime a una funcin ux, la solucin estacionaria de la ecuacin o o o de calor, que satisface ux 0, (8.4)
x E 1a B .
0, para Por la igualdad (8.4), esta funcin cumple la ecuacin u x o o o a x b, con condiciones de frontera ua 1 y ub 0. La solucin es ux b xb a, cuya grca se muestra en la Figura 8.5(b). a
8.5. El principio de reflexion
255
Bt b x a t 1
ux
a
Figura 8.5
8.5.
El principio de reexin o
El resultado que estudiaremos a continuacin es llamado principio de reo exin y tiene una interpretacin geomtrica fcil de entender. Considere o o e a un movimiento Browniano que inicia en a, y sea b otro nmero tal que b a. u En la Figura 8.6 se ilustra esta situacin. El cono a junto de trayectorias que Bt tocan la l nea horizontal b en algn tiempo u y 0, t, se descompone en dos conjuntos ajenos que b son simtricos uno del otro e a y tienen idntica probabie lidad: aquel conjunto de trayectorias que nalizan en t algn punto arriba de b, y u el conjunto de trayectorias Figura 8.6 que terminan por abajo de b. Una vez que una trayectoria toca el punto b es igualmente probable que nalice al tiempo t arriba de b o abajo de b. Este resultado adquiere su nombre debido a esta propiedad de reexin y facilita el clculo de algunas probabilidades, en particular, lo uso a
256
aremos para demostrar la propiedad de recurrencia puntual del movimiento Browniano unidimensional.
a Proposicin 8.8 (Principio de reexin) Sea Bt : t o o 0 un movimiento Browniano que empieza en a, y sea b a. Para cualquier t 0, a P Bs
b para algn s 0, t u
a 2 P Bt
b.
(8.5)
Demostracin. Sea el primer momento en el que el movimiento Browo a niano es igual a b, es decir, sea t nf 0 : Bt b. Esta variable aleatoria puede tomar el valor innito si el evento mencionado nunca ocurre. Entonces
a P Bs
b para algn s 0, t u
P P P
t P t. b t
a t P Bt La ultima igualdad se debe a que P una variable aleatoria continua. Por otro lado, a P Bt
a 0, por ser Bt
a P Bt
a Bt
t P 0
t P
t,
(8.6)
en donde, por la propiedad de Markov, y condicionada a la ocurrencia del a a a evento t, la variable Bt b Bt B tiene distribucin N0, t 2 . o ab 0 t 12. Substituyendo en (8.6) se obtiene Por lo tanto P Bt P t
a 2 P Bt
b.
8.6.
Recurrencia y transitoriedad
En esta seccin encontraremos la probabilidad de que el movimiento Browo niano eventualmente regrese a su posicin de origen. Veremos que la reso puesta depende de la dimensin del proceso. Empezaremos estudiando una o propiedad general en el caso unidimensional.
257
Proposicin 8.9 Sea Bt : t o 0 un movimiento Browniano unidimensional que inicia en cero y considere dos tiempos t1 y t2 tales que 0 t1 t2 . Entonces, P Bt 0 para algn t t1 , t2 u 1 2 arctan t2 t1 t1 .
o Demostracin. Para cualquier u 0, mediante argumentos de traslacin o y por el principio de reexin se tiene que o P Bt 0 para algn t t1 , t2 Bt1 u P Bt P Bt
2 P Bt2 t1 P Bt
u para algn t 0, t2 t1 u u.
para algn t 0, t2 t1 u
Por simetr se tiene la misma probabilidad para el caso u a
0. Entonces, u pt1 , 0, u du
0 para algn t t1 , t2 u P Bt 0 para algn t t1 , t2 Bt1 u u pt1 , 0, u du u pt1 , 0, u du
2 P Bt2 t1 P Bt2 t1
4 4
0
0 u
u
pt2 t1 , 0, v dv pt1 , 0, u du 1 2 ev 2t2 t1 2 t2 t1 1 2 eu 2t1 dv du. 2t1
Haciendo el cambio de variable x, y expresin equivalente o

0 x t1
t1 , v t2 t1 se obtiene la
t2 t1
1 x2 y2 2 e dy dx. 2
Ahora se resuelve esta integral usando coordenadas polares. La regin de o integracin x, y : x 0 y y x t1 t2 t1 que se muestra en la Figuo ra 8.7 corresponde a la regin polar r, : r 0 y arctan t t1t , 2. o
2 1
258 Por lo tanto la probabilidad buscada es 4

2
arctan
t1 t2
t 1
4 2
1 r2 2 e r dr d 2
arctan
2 arctan
1 t2 t1 2
t1 t2 t1 t1 .
er
2 r dr
t1 x t2 t1
arctan
t1 t2 t1
Figura 8.7 Con ayuda de este resultado demostramos ahora la recurrencia puntual del movimiento Browniano unidimensional. Proposicin 8.10 (Recurrencia puntual del movimiento Browniao no unidimensional) Con probabilidad uno el movimiento Browniano unidimensional es recurrente puntual, es decir, regresa a su posicin de origen o una innidad de veces casi seguramente. Demostracin. Haciendo t2 tender a innito en la frmula recin deo o e mostrada e intercambiando el l mite con la probabilidad, lo cual es vlido, a pues la sucesin de eventos es creciente, se obtiene que para cualquier valor o positivo de t1 , P Bt 0 para algn t t1 , u
t2
l 1 m
2 arctan
t1 t2 t1
1.
259
Esto es, la probabilidad de que el movimiento Browniano unidimensional regrese al cero para algn tiempo t dentro del intervalo t1 , es uno, u sin importar la magnitud de t1 . Ahora, una vez que regresa a cero, por la propiedad fuerte de Markov, inicia en ese momento otro movimiento Browniano que eventualmente regresar nuevamente a cero con probabilidad a uno. De esta manera regresar a cero una innidad de veces con probabilidad a uno. Esta propiedad de recurrencia signica que una trayectoria como la que se muestra en la Figura 8.2 cruzar una innidad de veces el eje horizontal, casi a seguramente. Puede uno tambin considerar que el movimiento inicia en un e punto cualquiera x obtenindose la misma propiedad de recurrencia al punto e x. La siguiente conclusin es tambin muy interesante: hemos mencionado o e tB1t : t 0, con W0 0, es tambin un e antes que el proceso Wt movimiento Browniano. Ahora, dado que Bt es cero para una innidad de valores de t en cualquier intervalo de la forma t1 , , se tiene entonces que Wt es cero una innidad de veces dentro del intervalo 0, 1t1 . Es decir, en cualquier vecindad de t 0, las trayectorias del movimiento Browniano cruzan el eje horizontal una innidad de veces, casi seguramente. Esta misma conclusin puede obtenerse directamente de la frmula recin demostrada o o e 0, es decir, tomando t2 0 jo y haciendo t1 P Bt 0 para algn t 0, t2 u l 1 m
0
t1
2 arctan
t1 t2 t1
1.
En el caso de dimensiones mayores la situacin es distinta. o Proposicin 8.11 (Recurrencia y transitoriedad del movimiento o Browniano) Sea B t : t 0 un movimiento Browniano n-dimensional que inicia en el origen, y sea el disco D x Rn : x r , para algn u r 0. 1. Cuando n 2, con probabilidad uno el movimiento Browniano visita la vecindad D en una innidad de tiempos no acotados. Esto es, el proceso es recurrente por vecindades. Sin embargo no es recurrente puntual, pues la probabilidad de que regrese exactamente al punto de partida es cero.
260
2. Cuando n 3, el proceso es transitorio por vecindades, es decir, existe una probabilidad positiva de que el proceso nunca regrese a la vecindad del punto de partida. Demostracin. Sean r1 y r2 dos radios tales que 0 r1 r2 , y dena la o regin A x Rn : r1 o x r2 como se muestra en la Figura 8.8. La n : x r1 x o r2 , y x x2 x2 . frontera de A es A x R 1 2
x r1 A r2
Figura 8.8 Suponga que el movimiento Browniano inicia en el origen y que en algn u tiempo posterior se encuentra en un punto x dentro de la regin A. Dena o la funcin f x como la probabilidad de que el movimiento Browniano que o r2 antes que parte de x llegue a la circunferencia exterior x Rn : x a la circunferencia interior x Rn : x r1 . Es decir, si se dene el tiempo de paro nf t 0 : B t D , entonces f x P B escribirse como f x en donde g x : A r2 B 0 x . Esta funcin puede tambin o e x ,
E gB B 0
R es la funcin indicadora o g y 1 si x 0 si x r2 , r1 .
8.6. Recurrencia y transitoriedad La funcin f x satisface la ecuacin diferencial o o f x con condiciones de frontera f y g y 1 si y 0 si y r2 , r1 . 0,
261
(8.7)
Dada la simetr del movimiento Browniano, la funcin f x depende de x a o slo a travs de la magnitud x . Sea entonces f x x para alguna o e x . En este caso particular, conviene escribir al funcin r con r o operador de Laplace en coordenadas esfricas adquiriendo la expresin e o 1 d n1 d r dr r n1 dr d2 n1 d . dr 2 r dr
Por lo tanto, la ecuacin (8.7) se escribe o r n1 r r 0, para r
r1, r2 ,
0. La solucin o
y las nuevas condiciones de frontera son r2 general de esta ecuacin es o r c1 ln r c2 c1 r 2n c2 ln x ln r1 ln r2 ln r1 2 r1 n x 2n 2 2 r1 n r2 n
1 y r1 2, 3,
si n si n
con c1 y c2 constantes. Usando ahora las condiciones de frontera se obtiene x x
si n si n
2, 3.
(8.8) (8.9)
Estos resultados nos permitirn encontrar las probabilidades buscadas tomana do algunos l mites sobre los radios r1 y r2 . Para el caso n 2, la probabilidad
262
de que el movimiento Browniano que inicia en x nunca visite la bola de radio r1 alrededor del cero es, por (8.8),
r2
l P B m
r2
l m
0.
ln x ln r1 ln r2 ln r1
r2 antes que B
r1 B 0
Es decir, la probabilidad de que el movimiento Browniano en R2 visite el disco de radio r1 alrededor del origen es uno. Y regresar a dicho disco en a una innidad de tiempos no acotados. Este comportamiento se conoce con el nombre de recurrencia por vecindades. Sin embargo, no se presenta la recurrencia puntual, es decir, la probabilidad de que el movimiento Browniano en R2 regrese exactamente al punto de origen es cero. Esto es consecuencia 0. Es decir, la probabinuevamente de (8.8) al tomar el l mite cuando r1 lidad de que el proceso tome el valor 0, 0 antes de que toque el c rculo de radio r2 es
r1
l P B m
0 r1
l 1 m
0
0.
ln x ln r1 ln r2 ln r1
r1 antes que B
r2 B 0
Ahora consideremos el caso n 3. La probabilidad de que el proceso que inicia en x nunca visite el disco de radio r1 alrededor del cero es, por (8.9),
r2
l P B m
r2
l m
1 0.
2 r1 n x 2n 2 2 r1 n r2 n r1 n2 x
r2 antes que B
r1 B 0
Es decir, existe una probabilidad estrictamente positiva de que el proceso nunca visite el disco de radio r1 alrededor del origen, cuando inicia en x.
8.7. N. Wiener
263
Este es el comportamiento transitorio del movimiento Browniano para dimensiones n 3. Expl citamente, la probabilidad de un retorno exacto al origen es cero, pues por (8.9) esta probabilidad es
r1
l P B m
0 r1
l 1 m
0
2 r1 n x 2n 2 2 r1 n r2 n
r1 antes que B
r2 B 0
0.
Notas y referencias. El lector puede encontrar una muy interesante y motivadora exposicin histrica sobre el descubrimiento del movimiento Browo o niano en el excelente libro de Edward Nelson [23]. Este libro se encuentra disponible en formato electrnico en la pgina web del autor. Para otras o a primeras lecturas y mas resultados sobre el movimiento Browniano pueden consultarse, por ejemplo, los textos de Karlin y Taylor [17], Lawler [21], Nelson [23], y Tudor [36].
8.7.
N. Wiener
Norbert Wiener (E.U.A., 18941964) fue un nio n prodigio. En 1903, a la edad de nueve aos inn gres a la preparatoria Ayer en Massachusetts, la o cual concluy en 1906 para ingresar despus al coleo e gio Tufts, en donde estudi matemticas con el o a apoyo y asesor de su padre. En 1909, a la edad a 14 aos, se gradu del colegio Tufts e ingres a la n o o Universidad de Harvard para realizar estudios de posgrado en Zoolog Con ayuda de una beca ina. gres despus a la Universidad de Cornell en 1910, o e en donde tom cursos de posgrado en matemticas o a N. Wiener y losof pero su desempeo all no fue del todo a, n satisfactorio y su padre lo regres a Harvard para continuar sus estudios de o losof Se gradu en Harvard a la edad de 18 aos con una tesis sobre lgica a. o n o matemtica bajo la direccin de Karl Schmidt. Despus de Harvard viaj a a o e o
264
Cambridge, Inglaterra, para estudiar junto a Bertrand Russell y en donde asisti a algunos cursos dictados por G. H. Hardy. En 1914 viaj a Goto o tingen para estudiar ecuaciones diferenciales con David Hilbert. Regres a o Estados Unidos dos d antes del inicio de la primera Guerra Mundial. as Muri en Estocolmo a la edad de 69 aos despus de sufrir un segundo o n e ataque al corazn. En su honor, una universidad en Per lleva su nombre. o u En las siguientes referencias el lector puede encontrar mayor informacin o sobre la vida, el trabajo y el pensamiento de Norbert Wiener. a) Mandrekar V., Mathematical work of Norbert Wiener, Notices of the AMS, Vol. 42, Nm. 6, pp. 664669, Junio 1995. u b) Norbert Wiener 18941964, Bulletin of the AMS, Vol. 72, Nm. 1, u parte II, 1966. c) Wiener N., I am a mathematician: the later life of a prodigy, The MIT Press, Agosto 1964. d) Wiener N., Ex-prodigy: my childhood and youth, The MIT Press, Agosto 1964. Fuente: Archivo MacTutor, Universidad de St. Andrews.
8.8.
P. P. L`vy e
Paul Pierre L`vy (Francia, 18861971) nae ci dentro de una familia con tradicin o o matemtica. Su abuelo fue profesor de a matemticas y su padre estudi geometr a o a y trabaj en la Ecole Polytechnique. De o pequeo, L`vy asisti al Lyce Saint Louis en n e o e Par en donde mostr ser un excelente ess, o tudiante, sobresaliendo y ganando premios no slo en matemticas sino tambin en griego, o a e f sica y qu mica. Ingres despus a la Ecole o e P. P. L`vy e Polytechnique y siendo all an estudiante u public su primer art o culo en matemticas en 1905, el cual trataba temas a
8.9. Ejercicios
265
de series convergentes. Despus de un ao de servicio militar, en 1907 ine n gres a la Ecole des Mines, y asisti a cursos de matemticas en la Sorbonne. o o a En 1910 concluy sus estudios en la Ecole des Mines, y realiz a partir de o o entonces trabajos de investigacin en anlisis funcional que le llevaron a o a obtener el grado de Docteur s Sciences en 1912 bajo el escrutinio de E. Pie card, H. Poincar y J. Hadamard. Trabaj como profesor en la Ecole des e o Mines de Saint-Etienne en Par de 1910 a 1913, y en la Ecole Nationale s Suprieure de Mines de 1914 a 1951. Tambin imparti clases en la Ecole e e o Polytechnique de 1920 a 1959, ao en el que se jubil. En 1963 fue nomn o brado miembro honorario de la London Mathematical Society, y en 1964 fue elegido miembro de la Acadmie des Sciences. Paul L`vy realiz cone e o tribuciones importantes en la teor de la probabilidad, el anlisis funcional a a y las ecuaciones diferenciales parciales. Entre sus textos publicados se encuentran Leons danalyse funtionelle (1922), Calcul des probabilits (1925), c e Theorie de laddition des variables alatoires (1937), y Processus stochase tiques et mouvement Brownien (1948). Paul L`vy fue uno de los ms grandes e a matemticos de su tiempo. Como cient a co fue un ejemplo de individualismo absoluto, era un investigador solitario que slo se preocupaba por plantearse o problemas matemticos de su inters y buscaba su solucin a travs de la rea e o e exin interior. No participaba mayormente en los congresos internacionales, o excepto hacia el nal de su vida. A menudo encontraba por s mismo resul tados ya conocidos, y otras veces descubr resultados importantes nuevos a sin darles mucha publicidad, pues los cre ya conocidos. Paul L`vy fue un a e ejemplo de un hombre de pensamiento de originalidad profunda, indiferente a las escuelas y mtodos establecidos, y quien no dudaba en lanzarse soe bre nuevos caminos de pensamiento, pues no tem de ninguna manera a la a soledad intelectual. Fuente: Archivo MacTutor, Universidad de St. Andrews.
8.9.
Ejercicios
Movimiento Browniano unidimensional
a 209. Simetra. Sea Bt : t 0 un movimiento Browniano de parmetro 2 . Demuestre que para cualesquiera tiempos t s, P Bt Bs 12. 210. Cambios de escala 1. Sea una constante distinta de cero. Demuestre
266
8. Movimiento Browniano que si Bt : t 0 es un movimiento Browniano estndar, entonces a los siguientes procesos son movimientos Brownianos de parmetro 2 . a b) Wt a) Wt Bt : t B 2 t : t 0. 0.
211. Cambios de escala 2. Sea Bt : t 0 un movimiento Browniano de parmetro 2 . Demuestre que los siguientes procesos son movimientos a Brownianos estndar. a b) Wt a) Wt
1
Bt : t
0.
Bt2 : t
0.
212. Traslacin. Sea s 0 jo y sea Bt : t 0 es un movimiento Browo niano estndar. Demuestre que el proceso Xt Bts Bs : t 0 es a un movimiento Browniano estndar. a o 213. Sean las funciones at e2t y bt et . Calcule la funcin de covarianza del proceso Xt btBat : t 0 en donde Bt : t 0 un movimiento Browniano estndar. a 214. Sea Bt : t 0 un movimiento Browniano de parmetro 2 . A partir a de la denicin, demuestre que el proceso Wt o tB1t : t 0, con a W0 0, es un movimiento Browniano de parmetro 2 . 215. Movimiento Browniano con tiempo invertido. Sea s 0 jo y sea Bt : t 0 es un movimiento Browniano estndar. Demuestre que a el proceso Xt Bs Bst : t 0, s es un movimiento Browniano en el intervalo 0, s. Este es un movimiento Browniano con tiempo invertido. 216. Demuestre que la probabilidad de transicin pt, x, y del movimiento o Browniano unidimensional de parmetro 2 satisface la ecuacin de a o difusin, tambin llamada ecuacin de calor: o e o p t 2
2p
y2
8.9. Ejercicios
267
217. Demuestre que la probabilidad de transicin pt, x, y del movimiento o Browniano unidimensional de parmetro 2 cumple la ecuacin de a o Chapman- Kolmogorov: pt s, x, y 218. Sea Bt : t
pt, x, u ps, u, y du.
0 un movimiento Browniano estndar. Demuestre que: a

b) E Bt Bs 2 d) CovBs , Bt e) Bt , Bs c) E Bs Bt s s
a) E Bt Bs
2ts . ts . t.
t. st, para 0 s t.
219. Sea Bt : t 0 un movimiento Browniano. Demuestre que tanto el 2 0 como Bt t : t 0 son martingalas proceso original Bt : t respecto de la ltracin natural del movimiento Browniano. o 220. Use la caracterizacin de Paul L`vy para demostrar que los siguientes o e procesos son movimientos Brownianos: b) Wt d) Wt c) Wt a) Wt
B t : t
1 c Bc 2 t
0.
:t
t B1t : t
222. Sea Bt : t 0 un movimiento Browniano unidimensional estndar. a Encuentre la distribucin conjunta de las variables Mt y Xt denidas o como sigue: Mt y Xt sup Bs Mt Bt .
0 s t
a 221. Sea Bt : t 0 un movimiento Browniano de parmetro 2 que inicia en cero. Sea a una constante y dena el tiempo t 0 : Bt nf a. Encuentre la funcin de densidad de . o
Bt0 t Bt0 : t
0,
0,
con c con W0 0,
0 constante. 0. 0 jo. con t0
268
223. Movimiento Browniano reejado en el origen. Sea Bt : t 0 un movimiento Browniano estndar. El proceso Xt a Bt : t 0 corresponde a un movimiento Browniano que slo toma valores positivos o pues las trayectorias son reejadas respecto del origen hacia la parte 0 es un proceso de Marpositiva del eje. Demuestre que Xt : t kov con trayectorias continuas y que tiene funcin de probabilidad de o transicin q t, x, y dada por o para cualesquiera valores x, y 0, en donde pt, x, y es la correspondiente funcin de probabilidad de transicin del movimiento Browniao o no. Compruebe adems que a b) VarXt a) E Xt q t, x, y pt, x, y pt, x, y ,
x 224. Movimiento Browniano con absorcin en el origen. Sea Bt : t 0 o un movimiento Browniano estndar que inicia en x a 0. Dena el x nf 0 y el proceso tiempo t 0 : Bt
1 2t.
2t.
Xt
x Bt si 0 0 si t
t ,
el cual representa un movimiento Browniano que inicia en x con la caracter stica de que una vez que llega al cero permanece en ese estado el resto del tiempo. a) Demuestre que Xt : t 0 es un proceso de Markov con trayectorias continuas. b) Observe que la variable Xt es mixta, es decir, no es discreta ni continua. Demuestre que la funcin de probabilidad de transicin o o del proceso Xt : t 0 es, en su parte continua, o en donde pt, x, y es la correspondiente funcin para Bt : t 0, un movimiento Browniano que inicia en cero. Demuestre adems a que, para la parte discreta, q t, x, 0 21 F x, q t, x, y pt, 0, y x pt, 0, y x, para x, y 0,
8.9. Ejercicios
269
en donde F x es la funcin de distribucin de la variable Bt . o o c) Calcule E Xt y VarXt . 225. La martingala exponencial. El proceso que se obtiene al tomar la exponencial de un movimiento Browniano no es, en general, una martingala, sin embargo, aadiendo un trmino extra este nuevo proceso n e puede convertirse en una martingala y se le llama martingala exponencial. Ms espec a camente, sea Bt : t 0 un movimiento Browniano estndar y sea c una constante. Dena el proceso a a) Compruebe que Xt : t 0 es efectivamente una martingala respecto de la ltracin natural del movimiento Browniano. o 2 b) Compruebe que E Xt 1 y VarXt ec t 1. Xt exp cBt c2 t2 .
227. El puente Browniano en t1 , t2 . Sea Bt : t 0 un movimiento Browniano unidimensional estndar, y sean t1 y t2 dos tiempos jos a tales que 0 t1 t2 . Demuestre que la distribucin condicional de la o a y Bt2 b, es N, 2 variable Bt , con t t1 , t2 , dado que Bt1 con t t1 a b a, t2 t1 t2 tt t1 . y 2 t2 t1 228. Sea Bt : t 0 un movimiento Browniano que empieza en cero. Use el principio de reexin para demostrar que para cualquier a 0, o P Bt a para algn t u 0 1.
0 un movimiento 226. El puente Browniano en 0, 1. Sea Bt : t Browniano unidimensional estndar. Demuestre que la distribucin a o condicional de la variable Bt , con t 0, 1, dado que B0 0 y B1 0, es 2 1 f x ex 2t1t , para x , 2 t1 t es decir, Bt tiene distribucin condicional N0, t1 t. A este proceso o condicionado se le conoce con el nombre de puente Browniano en el intervalo unitario 0, 1. El siguiente ejercicio generaliza este resultado.
270
Movimiento Browniano multidimensional

a 229. Sea B t B1 t, . . . , Bn t un movimiento Browniano estndar en n , y sea r 2 x2 12 la norma Euclideana en R 0. Sea x x 1 n Rn . Demuestre que la funcin de densidad de B t es, para x 0, o f x 1 n2
n2
1 2
x2 t
n21
2x x2 2t e . t
En particular, demuestre que para n P B t x
2, 1 ex
2
2t .
230. Demuestre que el operator Laplaciano en R2 : f x, y

2f
x2
f
2f
y2
adquiere la siguiente expresin en coordenadas polares: o f r,

2
f 2
1 r
r12
f.
Compruebe que cuando f depende de x y de y unicamente a travs e 2 y 2 , el Laplaciano se reduce a la expresin: x o de r f r, d2 f dr 2 d 1 dr f. r
Este resultado fue usado en la demostracin de la propiedad de recuo rrencia por vecindades del movimiento Browniano en R2 . 231. Demuestre que el operator Laplaciano en R3 : f x, y, z
2f
x2
2f
y2
2f
z2
adquiere la siguiente expresin en coordenadas esfricas: o e f r, , 1 r2 r f r2 r 1 1 r2 sen sen f r2 sen2

2
f.
8.9. Ejercicios
271
Compruebe que cuando f depende de x, y y z unicamente a travs de e 2 y 2 z 2 , el Laplaciano se reduce a la expresin r x o f r, d2 f dr 2 d 2 dr f. r
Este resultado fue usado en la demostracin de la propiedad de trano sitoriedad del movimiento Browniano en R3 .
272
Cap tulo 9
Clculo estocstico a a
En este ultimo cap tulo se presenta una breve introduccin al clculo eso a tocstico de It y est basado en [30]. Vamos a denir la integral de It de a o a o un proceso estocstico respecto del movimiento Browniano. Mostraremos a adems el uso y aplicacin de la frmula de It, y resolveremos algunos a o o o modelos sencillos de ecuaciones estocsticas. a
9.1.
Integracin estocstica o a
El objetivo de esta seccin es presentar la denicin de la integral de It de o o o un proceso Xt respecto del movimiento Browniano, es decir, una integral de la forma
t
Xs dBs .
0
(9.1)
Este tipo de integrales no pueden denirse trayectoria por trayectoria, es decir, como si fuera una integral de Riemann-Stieltjes de una funcin respecto o de otra funcin, pues en este caso la funcin integradora es una trayectoria o o del movimiento Browniano que, como hemos visto antes, no tiene variacin o nita. La justicacin para desear denir este tipo de integrales ser evio a dente ms adelante cuando estudiemos ecuaciones estocsticas basadas en a a este tipo de integrales. Denir la integral de It a un nivel elemental nos cono ducir necesariamente a dejar sin demostracin algunos resultados tcnicos. a o e Daremos la denicin de integral estocstica en varios pasos, primero para o a procesos simples y despus, por aproximacin, para procesos ms generales. e o a 273
274
9. Calculo estocastico
Primeras hiptesis o Consideraremos como elementos iniciales un espacio de probabilidad , F , P , 0, junto y un movimiento Browniano estndar unidimensional Bt : t a con su ltracin natural Ft t 0 . Supondremos dado un proceso Xt con o espacio parametral el intervalo 0, T , con T 0 jo, y que visto como fun, es FT B 0, T -medible, en donde el trmino e cin X : 0, T o FT B 0, T corresponde a la m nima -lgebra generada por el espacio a a producto FT B 0, T . Supondremos adems que el proceso es adaptado, es decir, para cada t en el intervalo 0, T , la variable aleatoria Xt es medible respecto de Ft . El espacio L2 P Denotaremos por L2 P al espacio vectorial de variables aleatorias X que son cuadrado integrables, es decir, que cumplen la condicin o X
L2 P
2 1 2
o La funcin L2P dene una norma en L2 P , es decir, es una funcin o real denida sobre este espacio lineal que cumple las siguientes cuatro condiciones: a) b) c) d) X X XY X 0. 0
X X
0 c.s.
Y .
X , constante.
Se puede vericar que el espacio lineal L2 P es completo respecto de esta norma, es decir, es un espacio de Banach. Esto quiere decir que toda sucesin o de Cauchy en este espacio tiene l mite en l. A la convergencia usando esta e e norma se le llama convergencia en L2 P , o tambin convergencia en media cuadrtica. Por ejemplo, la variable aleatoria Bt del movimiento Browniano a pertenece a este espacio pues, Bt
L2 P
Bt
2 1 2
9.1. Integracion estocastica
275
El espacio L2 P dt Denotaremos tambin por L2 P dt al espacio lineal de todos los procesos e o X Xt : 0 t T , que cumplen la condicin X
L2 P dt
T
0
Xt 2 dt12
Puede demostrarse que la funcin L2P dt es efectivamente una norma y o que este espacio es completo respecto de esta norma, es decir, es un espacio Bt : 0 t T de Banach. Por ejemplo, el movimiento Browniano B pertenece a este espacio pues, B
L2 P dt
E
0
T
0
Bt 2 dt 12
T T
0
E Bt 2 dt 12 t dt 12 .
T 2
Procesos simples Deniremos primero la integral de It para procesos que tienen la forma o indicada a continuacin y que llamaremos procesos simples. o Denicin 9.1 Sea 0 o t0 t1 tn T una particin nita del o a intervalo 0, T . Un proceso estocstico simple es un proceso de la forma Xt
n 1 k 0
X k 1tk ,tk1 t,
(9.2)
en donde X 0 , . . . , X n1 es una coleccin de variables aleatorias adaptadas o n1 a la ltracin Ftk k 0 , y que son cuadrado integrables. o o La expresin 1a,b t denota a la funcin indicadora del intervalo a, b. Un o proceso simple es entonces un proceso constante por pedazos con trayectorias c`dl`g (continuas por la derecha, con l a a mite por la izquierda), y las
276
condiciones solicitadas garantizan que el proceso es adaptado y tiene trayectorias cuadrado integrables. Estas propiedades permitirn dar una denicin a o adecuada para la integral estocstica. Una trayectoria de este tipo de procea 2 sos se muestra en la Figura 9.1. Denotaremos por H0 al espacio de todos los procesos simples. Haciendo posiblemente algunos renamientos X t en las particiones, dos procesos X n1 X 1 simples pueden siempre expresarse en trminos de una misma e X 0 particin comn. De modo que o u la suma de dos procesos simples tiene sentido y resultar ser tama t bin un proceso simple. El espae tn1 tn t1 t2 2 cio H0 es efectivamente un espaFigura 9.1 cio vectorial. Integral para procesos simples Esta es la denicin intuitiva de integral y establece simplemente que si el o integrando es constante en algn subintervalo, entonces la integral debe ser u esa constante multiplicada por el incremento del movimiento Browniano en dicho subintervalo. Denicin 9.2 La integral estocstica de It de un proceso simple X de o a o la forma (9.2), respecto del movimiento Browniano, denotada por I X , se dene como la variable aleatoria I X
T
Xs dBs
0
n 1 k 0
X k Btk1
Bt .
k
Veamos algunas propiedades de esta variable aleatoria. a) Es integrable pues siendo las variables X k y Btk1 Btk independientes, cada sumando tiene esperanza cero, y por lo tanto la esperanza de la integral es cero. b) La integral es adems cuadrado integrable y de hecho se cumple la a siguiente igualdad fundamental llamada Isometr de It: a o I X
L2 P
L2 P dt
(9.3)
277
Para comprobar esta identidad vamos a denotar nuevamente por Bk a la diferencia Btk1 Btk , y sea tk tk1 tk . Nuevamente por la independencia de X k y Bk se tiene que I X
2 L2 P
E
n 1
n 1 k 0
X k Btk1
Bt 2
k
E X j X k Bj Bk
j,k 0 n 1 k 0 n 1
E X k 2 Bk 2 E X k 2 tk Xt 2 dt
k 0
0 2 L2 P dt
Esta identidad establece que tanto el proceso simple X como la variable aleatoria I X tienen la misma norma en sus respectivos espacios. Como se ver ms adelante, esta igualdad juega un papel primordial en la denicin a a o general de integral estocstica. La integral estocstica asigna entonces a a a 2 cada elemento del espacio H0 una variable aleatoria en el espacio L2 P . De 2 esta forma se tiene la transformacin lineal I : H0 o L2 P , que resulta ser continua por la isometr de It. Observe que se puede tomar como ejemplo a o de proceso simple el movimiento Browniano discretizado, es decir, se puede Btk , y de esta forma tener la integral tomar como proceso simple X k estocstica discreta del movimiento Browniano respecto de s mismo, a
n 1 k 0
Btk Btk1
Bt .
k
Extensin por aproximacin o o Ahora extenderemos la integral estocstica a procesos un poco ms genea a 2 el espacio de todos los procesos X medibles y adaptados, rales. Sea H t
278 tales que E

0
Xt 2 dt
El espacio H2 resulta ser un subespacio lineal cerrado de L2 P dt. Observe que la unica diferencia entre estos dos espacios es que a los elementos de H2 se les pide adems que sean medibles y adaptados. En particular, todo a proceso simple es un elemento de H2 . Tenemos entonces la contencin de o 2 2 espacios H0 H2 L2 P dt, en donde puede probarse que H0 es denso en H2 respecto de la norma en L2 P dt. Esto signica que para cualquier 2 proceso X en H2 existe un sucesin de procesos X k en H0 tales que o
k
l m X X k
L2 P dt
0.
(9.4)
Este procedimiento de aproximacin puede llevarse a cabo de la siguiente o forma: mediante la tcnica de truncacin todo proceso en H2 puede ser e o aproximado por un proceso acotado. A su vez todo proceso en H2 que es acotado se puede aproximar por procesos acotados y continuos. Y stos a e su vez se aproximan por procesos simples de la forma (9.2). Los detalles completos de esta sucesin de aproximaciones pueden encontrarse en [25]. o Usando la isometr de It es sencillo comprobar que la sucesin I X k es a o o una sucesin de Cauchy en el espacio L2 P , en efecto, o I X k I X l
L2 P
I X k X l
k l
X X L2P dt X X k L2P dt X X l
L2 P
L2 P dt
Debido a (9.4) la ultima expresin puede hacerse tan pequea como se desee, o n tomando ndices k y l sucientemente grandes. Denicin 9.3 Sea X un proceso en H2 , y sea X k una sucesin de procesos o o 2 aproximante a X. Se dene la integral estocstica de X como a en H0 I X
k
l I X k , m
en donde el lmite debe entenderse dentro del espacio L2 P , es decir, se trata de la convergencia en media cuadrtica de una sucesin de variables a o aleatorias.
279
Esto signica que la variable aleatoria I X es un elemento de L2 P y es tal que l n m I X I X k L2 P 0. No es dif vericar que cil tal denicin es correcta en el sentido de que el l o mite no depende de la sucesin aproximante. En este punto empieza a perderse nuestra concepcin o o tradicional de integral, pues ahora sta se encuentra denida a travs de e e una sucesin aproximante del proceso a integrar. De manera grca esta o a extensin se ilustra en la Figura 9.2. o
2 H0
H2 L2 P
dt
Figura 9.2
L 2 P
La isometr de It se cumple tambin para procesos en H2 como se muestra a o e a continuacin. o Proposicin 9.1 (Isometr de It) Para cualquier proceso X en H2 se o a o cumple I X L2P X L2P dt . (9.5)
2 Demostracin. Sea X en H2 y sea Xn en H0 tal que X Xn L2P dt o 0. Esta convergencia y la desigualdad a b a b implican que Xn L2P dt X L2P dt . Anlogamente, como I X I Xn L2P a 0 se tiene que I Xn L2P I X L2P . El resultado buscado se obtiene al tomar el l mite en la isometr de It como se muestra en el siguiente a o diagrama:
I Xn I X
L2 P
Xn X
L2 P dt
L2 P
L2 P dt
280
La propiedad de esperanza nula se cumple tambin para procesos en H2 , e pues usando probabilidad elemental, o por la desigualdad de Jensen, 0 E 2 I X I X k E I X E I X I X k 2 0, es decir, 0. 0.
De donde se obtiene E I X I X k
k
l E I X k m
De esta forma se tiene ahora la transformacin lineal y continua I : H2 o 2 P . Observe nuevamente que el movimiento Browniano B es un ejemplo L t de un proceso en el espacio H2 , y es posible demostrar que tal proceso puede ser aproximado en el sentido de la norma del espacio L2 P dt por el proceso simple Xt
n 1 k 0
Btk 1tk ,tk1 t,
en donde 0 t0 t1 tn T es una particin de 0, T . Se tiene o entonces la siguiente integral estocstica particular, y su aproximacin como a o l mite en media cuadrtica a
T
Bt dBt
0
l m
n 1 k 0
Btk Btk1
Bt ,
k
en donde el l mite debe entenderse en el sentido de que la distancia mxia ma entre dos puntos sucesivos de la particin tiende a cero. Ms adelante o a calcularemos esta integral estocstica de dos maneras, primero usando esta a e o representacin como l o mite en el espacio L2 P , y despus usando la frmula de It. o La integral como un proceso Haremos ahora una pequea extensin. Para cada t en 0, T y para cualquier n o 2 se dene el proceso X en H It X
T
0
Xs 10,t s dBs
Xs dBs .
0
Este pequeo articio permite ver a la integral estocstica no como una n a variable aleatoria sino como un proceso. Es claro que tal proceso no es
281
necesariamente continuo, sin embargo puede demostrarse que existe una versin continua de l, y que esa versin es una martingala respecto de la o e o ltracin natural del movimiento Browniano. Denotaremos por el mismo o s mbolo a tal martingala continua. Extensin por localizacin o o Mediante un procedimiento llamado de localizacin es posible extender la o denicin de integral de It a procesos medibles y adaptados que cumplen o o la condicin menos restrictiva o P
T
0
Xt 2 dt
1.
(9.6)
Denotaremos por L2 el espacio de todos estos procesos. Este nuevo espacio loc o contiene a H2 y es tal que para cada proceso X en L2 existe una sucesin loc creciente de tiempos de paro 0 1 2 tales que n T cuando n , y para cada n 1 el proceso Xt 1n t pertenece al espacio H2 . Se dene entonces la integral estocstica como el siguiente l a mite en el espacio 2 P , L
t
0
T
0
Xs dBs
l m
Xs 1n
10,t s dBs .
Nuevamente es posible demostrar que tal l mite existe, que existe una versin continua de l, y que es independiente de la sucesin de tiempos de o e o paro localizante. En este caso la integral ya no es una martingala sino una martingala local, esto quiere decir que el proceso detenido It n X es una martingala para cada natural n. En general, la isometr de It ya no se a o cumple cuando la integral estocstica tiene como dominio de denicin el a o espacio L2 . loc Ejemplo 9.1 Para el movimiento Browniano unidimensional Bt : t 0 y para cualquier funcin continua f , el proceso f Bt : 0 o t T tiene trayectorias continuas y acotadas, por lo tanto se cumplen las condiciones de adaptabilidad y medibilidad y se cumple tambin (9.6), por lo tanto este e proceso es un elemento de L2 , y tiene sentido la expresin o loc
t
0
f Bs dBs ,
T.
282
Se puede demostrar que esta integral puede ser calculada mediante el siguiente lmite en el espacio L2 P , aunque tambin se verica la convergencia en e probabilidad:
t
0
f Bs dBs
l m
n 1 k 0
f Btk Btk1
Bt ,
k
(9.7)
en donde 0 t0 t1 . . . tn t es una particin de 0, t, y nuevamente o el lmite debe entenderse en el sentido de que la distancia mxima entre dos a puntos sucesivos de la particin tiende a cero. o Con esto concluimos la serie de ideas generales con las cuales puede construirse la integral de It. Las demostraciones de algunos detalles tcnicos o e que hemos simplemente mencionado se pueden encontrar en [33]. El esquema simplicado del procedimiento seguido para denir la integral estocstica se a ilustra la Figura 9.3.
2 H0
Denicin o Aproximacin o L 2 P
H2 L2 loc
Localizacin o
Figura 9.3 Ejemplo 9.2 Con la ayuda de la identidad (9.7) calcularemos la integral estocstica a t Bs dBs . (9.8) Sea 0 t0 t1 tn t una particin uniforme de 0, t, es decir o ti1 ti 1n. Usando la identidad ab a 1 2 b a2 1 a b2 2 2
0
9.1. Integracion estocastica se obtiene

t
283
Bs dBs
0
l m
n 1 j 0
Btk Btk1
Bt
k k k 1 k
l m
n 1 j 0
2 Bt2 Bt2 1 Bt Bt 2 2
k 1
1 2 1 B t. 2 t 2 La primera suma es telescpica mientras que la segunda suma corresponde o a la variacin cuadrtica del movimiento Browniano. Los lmites indicados o a son vlidos en el sentido de media cuadrtica. Observe que aparece el trmia a e 1 2 o no 2 Bt como si se siguieran las reglas de integracin usual, pero aparece tambin el trmino 1 t, conocido como la correccin de It. Ahora veamos e e o o 2 el cambio en la solucin de la integral (9.8) cuando se modica ligeramente o la forma de calcularla. El cambio consiste en evaluar el integrando en el extremo derecho de cada subintervalo. Observe que en este caso el proceso a integrar ya no es adaptado y por lo tanto queda fuera de la teora desa rrollada antes. Usando la identidad bb a 1 2 b a2 1 a b2 2 2
se obtiene, nuevamente en el sentido de media cuadrtica, a

t
Bs dBs
0
l m
n 1 j 0
Btk1 Btk1
Bt
k k k 1 k
l m
n 1 j 0
2 Bt2 Bt2 1 Bt Bt 2 2
k 1
1 2 1 B t. 2 t 2 El signo del segundo trmino cambi de negativo a positivo. Esto muestra e o que, a diferencia de la integral de Riemann, la integral estocstica es sena sible al punto donde se evala el integrando. Al considerar el promedio de u las dos evaluaciones en los extremos se obtiene la as llamada integral de
284 Stratonovich, denotada de la forma siguiente:

t
0
Bs dBs
1 2 B . 2 t
Observe que el trmino adicional de la integral de It ha desaparecido. La e o integral de Stratonovich tiene algunas ventajas operacionales pues sigue algunas reglas usuales del clculo integral, pero vista como proceso deja de ser a una martingala. Ejemplo 9.3 Calcularemos ahora la esperanza y varianza del proceso
t
0
Bs dBs . La esperanza es cero pues la integral estocstica en este caso es una mara tingala que empieza en cero. Para la varianza se tiene que Var
t
0
Bs dBs
E E
t t
0
t
0 t 0
Bs dBs 2
2 Bs ds
2 E Bs ds
s ds
0
1 2 1 Alternativamente, como 0 Bs dBs 2 Bt 2 t, las cantidades anteriores 2 pueden calcularse usando el lado derecho de esta igualdad. Claramente E 1 Bt 2 1 0. Adems, a 2 t t
1 2 t . 2
1 2 1 Var Bt t 2 2
1 2 VarBt 4 1 E Bt4 E 2 Bt2 4 1 2 3t t2 4 1 2 t . 2
9.1. Integracion estocastica Ejemplo 9.4 Sean Xt y Yt dos procesos en H2 . Entonces E

t
0
285
t
0
Xs dBs
Ys dBs
t
0
E Xs Ys ds.
Esta frmula es fcil de comprobar usando la isometra de It y la igualdad o a o 1 2 1 a2 b2 . En efecto, ab 2 a b 2 E

t t
Xs dBs
0 0
Ys dBs

2
t
0
t t 1 t E Xs Ys dBs 2 1 E Xs dBs 2 E Ys dBs 2 0 2 0 0 t t t 1 1 E Xs Ys 2 ds E Xs 2 ds E Ys 2 ds 2 0 2 0 0
E Xs Ys ds.
Propiedades de la integral La integral estocstica de It cumple varias propiedades aunque slo mena o o cionaremos algunas de ellas aqu a manera de resumen de las caracter , sticas sealadas antes. n L2 P es lineal, es decir, para c constante y a) La integral It : L2 loc para cualesquiera procesos Xs y Ys en L2 , se cumple que loc
t
0
cXs Ys dBs
E
t
0
c
0
Xs dBs
Ys dBs ,
0
c.s.
b) Tiene esperanza es cero, es decir, para cualquier proceso Xs en L2 , loc Xs dBs 0, c.s.
c) Cuando la integral se restringe al espacio H2 , se cumple la isometr a de It, es decir, o

t
E
0
Xs dBs
E
0
Xs 2 ds.
286
d) Nuevamente restringida al espacio H2 , la integral es una martingala, es decir, es integrable, adaptada y para 0 s t, se cumple E
t
0
Xu dBu Fs
Xu dBu .
0
En general, para procesos en L2 , la integral ya no es una martingala loc sino una martingala local. e) Existe una versin continua de la integral estocstica. o a
9.2.
Frmula de It o o
Usualmente una integral de Riemann no se calcula a partir de su denicin, o en lugar de ello existen frmulas bien conocidas que agilizan y simplican o los clculos. La misma situacin se presenta para integrales estocsticas: en a o a pocos casos se calculan stas a travs de su denicin. La famosa frmula de e e o o It es la herramienta fundamental para este tipo de integrales. Se enuncia o a continuacin este resultado en una versin simple y se ejemplica su uso. o o Ms adelante se presenta una versin un poco ms general. En lo sucesivo a o a haremos referencia a las siguientes espacios de funciones: una funcin real de o 1 , cuando es diferenciable y su derivada es contivariable real es de clase C nua. Anlogamente, una funcin es de clase C 2 , si es dos veces diferenciable a o y su segunda derivada es una funcin continua. o o Teorema 9.1 (Frmula de It) [I] Sea f x es un funcin de clase C 2 . o o Entonces f Bt f B0
t
0
1 f Bs dBs 2
t
0
f Bs ds.
(9.9)
Explicaremos una forma de obtener este resultado usando el teorema de Taylor pero sin dar una justicacin rigurosa. Para una funcin f x suo o cientemente suave, se tiene que f x f x0 f x0 x x0 Rx,
9.2. Formula de Ito en donde el residuo Rx puede escribirse como sigue R x

x
287
1
0
x0
f tx t dt
1 f x0 x x0x x02 d.
La segunda igualdad se obtiene despus de un evidente cambio de variable. e o Por lo tanto, si 0 t0 t1 tn t es una particin de 0, t, entonces f Bt f B0
n k 1 n k 1
f Bt f Bt
k k 1
f Btk1 Bk
n k 1
1
0
f Btk1
Bk Bk 2 d.
las sumas converf Bs ds d
Puede comprobarse que al tomar el l mite cuando n gen casi seguramente y entonces se obtiene la igualdad f Bt f B0
t t
0 0
f Bs dBs f Bs dBs
1
0
1
0
t
0
1 2
f Bs ds.
Esta frmula es una versin estocstica de la regla de la cadena del clculo o o a a diferencial usual, y es comn escribirla en su forma diferencial del siguiente u modo: 1 df Bt f Bt dBt f Bt dt. 2 Esta expresin debe entenderse en el sentido de su forma integral dada por o la frmula (9.9). Ilustraremos su uso mediante algunos ejemplos. o Ejemplo 9.5 Sea f x
1 2 2x .
Entonces la frmula de It establece que o o

t
0
1 2 1 2 B B0 2 t 2
Bs dBs
1 2
1 ds.
0
288 Es decir,
1 2 1 B t. 2 t 2 0 Este resultado haba sido encontrado antes, ahora lo hemos obtenido de manera inmediata a partir de la frmula de It. De manera anloga, para o o a la funcin f x 1 x3 se obtiene o 3 Bs dBs
t
0 2 Bs dBs
1 3 B 3 t
t
0
Bs ds.
Ms generalmente, para f x a
t
0 n Bs dBs
1 n 1 n 1x
se obtiene
1 2
t
0 n nBs 1 ds.
n1
n Bt 1
Ejemplo 9.6 Usaremos la frmula de It para encontrar una expresin de o o o los momentos pares de una distribucin normal centrada. Demostraremos o que 2n! tn. 2n E Bt 2n n! Los momentos impares de dicha distribucin se anulan pues en tal caso el o integrando resulta ser una funcin impar. Consideremos entonces la funcin o o 1 o o f x 2n x2n , para cualquier entero natural n. De la frmula de It se sigue que t 1 2n 1 2n 1 t 2n 2n 1Bs2n2 ds. Bt B0 Bs 1 dBs 2n 2n 2 0 0 Tomando esperanza y resolviendo de manera iterada se obtiene E
2n Bt
. . .
2n2n 1 t 2n E Bs 2 ds 2 0 2n2n 1 2n 22n 3 t t1 2n E Bs 4 ds dt1 2 2 0 0
2n! t t t 2n
1
n 1
1 ds dtn1 dt1 .
No es difcil vericar que los resultados sucesivos de estas integrales son: tn1 , t2 2 2!, t3 3 3!, . . ., tn n! De esta forma se obtiene la frmula enuno n n ciada.
9.3. Ecuaciones diferenciales estocsticas a
289
9.3.
Ecuaciones diferenciales estocsticas a
Sea , F , P un espacio de probabilidad, y sea Bt : t 0 un movimiento Browniano unidimensional adaptado a la ltracin Ft t 0 . o Denicin 9.4 Sean bt, x y t, x dos funciones de 0, T en . Una o ecuacin estocstica es una ecuacin de la forma o a o dXt bt, Xt dt t, Xt dBt , (9.10)
o denida para valores de t en el intervalo 0, T , y con condicin inicial la variable aleatoria X0 que se presupone F0 -medible e independiente del movimiento Browniano. La ecuacin (9.10) se interpreta como la ecuacin o o integral Xt X0
t
0
bs, Xs ds
t
0
s, Xs dBs ,
(9.11)
en donde la primera es una integral de Riemann, mientras que la segunda es una integral estocstica de It. Al proceso Xt se le llama proceso de a o It. o Los elementos conocidos de esta ecuacin son los coecientes bt, x y t, x, o junto con la variable aleatoria inicial X0 . La incgnita es el proceso Xt . A o e la funcin bt, x se le conoce como coeciente de tendencia (drift en ingls o o tambin deriva en espaol). A la funcin t, x se le llama coeciente de die n o fusin. El proceso solucin puede interpretarse como el estado de un sistema o o que evoluciona de manera determinista gobernado por la parte no aleatoria de la ecuacin (la tendencia), pero alterado por un ruido aditivo dado por la o integral estocstica (la difusin). Para que una ecuacin estocstica tenga a o o a solucin se deben pedir condiciones en los coecientes. De manera anloo a ga para el caso de ecuaciones diferenciales deterministas, existen teoremas bsicos de existencia y unicidad para ecuaciones estocsticas que establecen a a condiciones de regularidad para los coecientes bt, x y t, x, bajo las cuales la ecuacin (9.10) tiene solucin unica. El siguiente es uno de tales o o resultados. Teorema 9.2 (Teorema de existencia y unicidad) Si los coecientes o o bt, x y t, x de la ecuacin (9.10) satisfacen la condicin de Lipschitz en
290 la variable x,
bt, x bt, y 2 t, x t, y 2 y la condicin de crecimiento en x, o bt, x 2 t, x 2
K x y 2,
K 1 x 2 ,
para alguna constante K 0, entonces existe un proceso estocstico Xt a solucin de (9.10) que es adaptado a la ltracin, tiene trayectorias contio o 2 , nuas, es uniformemente acotado en L2 P , es decir, sup0 t T E Xt y adems es unico en el sentido de indistinguibilidad. a En este caso a tal solucin se le llama solucin fuerte de la ecuacin eso o o tocstica. No presentaremos la demostracin de este resultado, simplemente a o comentaremos algunos aspectos de los que consta la prueba completa. La demostracin es semejante al caso determinista, y hace uso del mtodo de o e iteraciones de Picard. Mediante este mtodo se dene la sucesin de procesos e o Xt
t
X0 , X0
n1 X
t
0
bs, X n ds
s
t
0
s, Xsn dBs .
Para que estas iteraciones tengan sentido es necesario vericar que los integrandos involucrados son efectivamente susceptibles de ser integrados respecto de la diferencial respectiva. Para comprobar que tal sucesin de proo cesos es convergente se demuestra que, con probabilidad uno, esta sucesin o constituye una sucesin de Cauchy en el espacio de funciones continuas o C 0, T , respecto de la norma uniforme X sup0 t T Xt . Dado lo anterior, existe entonces un proceso continuo Xt , tal que con probabilidad n uno, Xt converge a Xt de manera uniforme en el intervalo 0, T . Adicionalmente puede demostrarse que el proceso l mite es L2 -acotado en 0, T , y n X tambin es vlida en L2 P . Tambin debe e a e que la convergencia Xt t demostrarse que el proceso l mite es efectivamente solucin de la ecuacin o o estocstica. Para ello se toma el l a mite en la ecuacin que dene las iteo raciones, y se verica la convergencia uniforme en 0, T con probabilidad uno, trmino a trmino. Los detalles de esta demostracin pueden encone e o trarse por ejemplo en [33]. Observe que el teorema anterior no establece la
9.3. Ecuaciones diferenciales estocsticas a
291
forma de encontrar la solucin a una ecuacin estocstica dada, sino que aseo o a gura unicamente la existencia de dicha solucin. La siguiente versin de la o o frmula de It es un resultado bastante util para resolver algunas ecuaciones o o estocsticas y generaliza la versin anteriormente enunciada. a o o Teorema 9.3 (Frmula de It) [II] Si Xt es un proceso de It dado o o 1 en t y de clase C 2 en x, o por (9.10) y f t, x es un funcin de clase C entonces el proceso Yt f t, Xt es tambin un proceso de It y satisface e o la ecuacin estocstica o a dYt 1 ft t, Xt dt fx t, Xt dXt fxx t, Xt dXt 2 . 2 (9.12)
Los sub ndices indican derivada y la ecuacin (9.10) o dt dBt se substituye en (9.12) usando la tabla de multiplidt 0 0 cacin de McKean que se muestra en la Figura 9.4. o dBt 0 dt Observe que como las derivadas involucradas son funciones continuas, las integrales estocsticas rea Figura 9.4 sultantes estn bien denidas. La demostracin de a o este resultado sigue las mismas l neas que la versin ms simple. Ilustraremos a continuacin el uso de esta frmula con o a o o varios ejemplos. Ejemplo 9.7 Demostraremos que
t t
s dBs
0
tBt
Bs ds.
0
Para vericar esta frmula puede tomarse el proceso Xt o f t, x tx. Entonces, df t, Bt dtBt
Bt y la funcin o
1 ft t, Bt dt fx t, Bt dBt fxx t, Bt dBt 2 2 Bt dt t dBt .
Esta es la forma diferencial de la frmula enunciada. o Ejemplo 9.8 Considere la funcin f x o eBt ex . Por la frmula de It, o o 1 2
t
0
eB
t
0
eBs dBs
eBs ds,
292 es decir, el proceso Xt
9. Calculo estocastico eBt satisface la ecuacin diferencial o dXt 1 Xt dBt Xt dt, 2
con condicin inicial X0 o niano geomtrico. e
1. A este proceso se le llama movimiento BrowBt 1 t es solucin o
Ejemplo 9.9 Demostraremos que el proceso Xt de la ecuacin estocstica o a dXt 1 1Xt t dt 1 t dBt,
0. Sea f t, x x1 t. El proceso Xt con condicin inicial X0 o f t, Bt cumple la condicin inicial y por la frmula de It satisface la o o o ecuacin o dXt 1 ft t, Bt dt fx t, Bt dBt fxx t, Bt dt 2 Bt 1 1 t2 dt 1 t dBt 1 1Xt t dt 1 t dBt .
o con condicin inicial X0 0. Se busca un funcin f t, x tal que el proceso o solucin pueda escribirse como Xt f t, Bt . Igualando los coecientes de o esta ecuacin con los de la frmula de It, o o o dXt 1 ft t, Bt dt fx t, Bt dBt fxx t, Bt dt, 2 fx t, x et
Ejemplo 9.10 Usando el mtodo de igualacin de coecientes resolveremos e o la ecuacin o dXt Xt dt et dBt ,
se obtiene el sistema de ecuaciones
1 ft t, x fxx t, x 2
f t, x.
9.4. Simulacion
293
De la primera ecuacin se obtiene f t, x et x ct. Substituyendo en o la segunda ecuacin y simplicando se obtiene c t ct, cuya solucin o o es ct cet , en donde c es una constante. Por lo tanto f t, x et x c. Para que el proceso Xt f t, Bt et Bt c cumpla la condicin o inicial X0 0 forzosamente la constante c debe ser cero. De esta forma la o o funcin buscada es f t, x et x. En tal caso la frmula de It asegura que o efectivamente, dXt
et Bt dt et dBt Xt dt et dBt .
9.4.
Simulacin o
Una ecuacin estocstica ha resultado muy util para modelar sistemas que o a presentan algn tipo de ruido o perturbacin aleatoria. Aplicaciones de tales u o modelos se estudian en ingenier nanzas y f a, sica entre muchas otras reas a del conocimiento. Debido a la imposibilidad de encontrar soluciones expl citas a ciertas ecuaciones de inters, los mtodos numricos del caso dee e e terminista se han extendido al caso estocstico. En las siguientes secciones a presentaremos algunos modelos particulares de ecuaciones estocsticas, y exa plicaremos un mecanismo para simular las trayectorias del proceso solucin. o Una trayectoria de un proceso Xt : t 0 que sigue la ley de movimiento de una ecuacin estocstica de la forma: o a dXt X0 bt, Xt dt t, Xt dBt , x0 ,
puede obtenerse mediante el mtodo de discretizacin de Euler-Maruyama. e o En este procedimiento se divide el intervalo 0, t de manera uniforme en tn, y se dene tj jt para n subintervalos de idntica longitud t e j 0, 1, 2, . . . , N . Suponiendo que Yj es un valor al azar de la distribucin o normal estndar, se denen los valores sucesivos de la trayectoria solucin a o de la ecuacin estocstica como sigue: o a X0 Xtj1 x0 , Xtj
btj , Xt t tj , Xt
j j
t Yj .
Ms adelante se presentar una implementacin de este procedimiento en a a o MATLAB para simular trayectorias de soluciones de ecuaciones particulares.
294
9.5.
Algunos modelos particulares
Movimiento Browniano geomtrico e Este modelo es de amplio uso en nanzas y sirve para representar el precio de algunos bienes que uctan siguiendo los vaivenes de los mercados u nancieros. Su denicin es la siguiente. o 0 dos constantes, y x0 0. El movimiento Denicin 9.5 Sean y o Browniano geomtrico es el proceso Xt : t e 0 solucin de la ecuacin o o estocstica a dXt X0 y puede escribirse como sigue: Xt 1 x0 exp 2 t Bt . 2 (9.14) Xt dt Xt dBt , x0 , (9.13)
La ecuacin (9.13) puede interpretarse de la siguiente forma: en ausencia o del trmino estocstico, la ecuacin se reduce a dXt Xt dt, cuya solucin e a o o t . Esta funcin representa el comportamiento en el tiempo de es Xt x0 e o un capital inicial positivo x0 que crece de manera continua y deX t terminista a una tasa efectiva del E Xt 100 %, suponiendo 0. Por otro lado, la parte estocstica correspona de a la volatilidad de una inversin con riesgo sujeta a las uctuao ciones de los mercados nancieros. x0 t El modelo supone que dicha varia1 2 bilidad es proporcional al valor de Figura 9.5 la inversin. A este proceso se le o conoce tambin con el nombre de e movimiento Browniano exponencial. En la Figura 9.5 puede apreciarse una trayectoria de este proceso con una inversin inicial x0 de una unidad moo netaria, y con parmetros 1, y 13. La curva creciente corresponde a
9.5. Algunos modelos particulares
295
al crecimiento determinista de la inversin cuando no hay aleatoriedad, es o decir, cuando el coeciente de difusin es cero. El valor de en la simulacin o o es pequeo y por esa razn la trayectoria aleatoria mostrada se mantiene n o cerca de la trayectoria determinista. Cuando se incrementa el valor de las trayectorias pueden diferir considerablemente. En el programa de computadora de la Figura 9.6 se muestra una manera de simular trayectorias de este proceso. El cdigo es una traduccin a MATLAB de la discretizacin de la o o o ecuacin estocstica, y es una adaptacin del cdigo que aparece en [13]. o a o o Este programa puede ser encontrado en la pgina web de Desmond J. Higha am, junto con la implementacin de otros modelos y otras tcnicas de diso e cretizacin. La funcin randn produce un valor al azar de la distribucin o o o normal estndar. a
randn(state,100) T=2; N=300; dt=T/N; xcero=1; mu=1; sigma=1/3; dW=zeros(1,N); MBG=zeros(1,N); dW(1)=sqrt(dt)*randn; MBG(1)=xcero+mu*dt+sigma*xcero*dW(1); for j=2:N dW(j)=sqrt(dt)*randn MBG(j)=MBG(j-1)+mu*MBG(j-1)*dt+sigma*MBG(j-1)*dW(j) end plot([0:dt:T],[xcero,MBG],r-)
Figura 9.6 Observe que los coecientes de la ecuacin (9.13) son bt, x x y t, x o x, y satisfacen las condiciones para la existencia y unicidad de la solucin. o Resolveremos esta ecuacin usando el mtodo de igualacin de coecientes. o e o Encontraremos una funcin f t, x tal que al aplicar la frmula de It al o o o proceso Xt f t, Bt se obtenga la ecuacin (9.13). Comparando entonces o los coecientes de la frmula general o
dXt
1 ft t, Xt dt fx t, Xt dBt fxx t, Xt dt 2
296 con los de (9.13) se obtienen las igualdades f t, x
f t, x
1 ft t, x fxx t, x, 2 fx t, x.
De la segunda ecuacin se obtiene que f t, x exp x gt, para alguna o funcin gt. Substituyendo en la primera ecuacin se obtiene g t o o 1 2 1 2 2 t. De donde Xt f t, Bt adquiere la o 2 , cuya solucin es g t expresin indicada. Demostraremos ahora algunas caracter o sticas numricas e de este proceso. Proposicin 9.2 Para el movimiento Browniano geomtrico se cumple lo o e siguiente: 1. E Xt 2. VarXt x0 et . x2 e2t e 0
2t
1.
2s
3. CovXt , Xs
x2 est e 0
1,
para 0
t.
Demostracin. Usaremos el hecho de que la funcin generadora de moo o 2 es M s mentos de la distribucin N, o exps 1 2 s2 . 2 1. Para la esperanza se tiene que E Xt 1 E x0 exp 2 t Bt 2 1 2 x0 exp t E expBt 2 1 1 x0 exp 2 t exp t 2 2 2 t x0 e .
9.5. Algunos modelos particulares 2. Ahora calcularemos la varianza. VarXt 1 Varx0 exp 2 t Bt 2 1 2 2 x0 exp2 t VarexpBt 2 1 x2 exp2 2 t E exp2Bt E 2 expBt 0 2 1 1 1 2 x0 exp2 2 t exp t2 2 exp2 t 2 2 2 2 2 2t 2 t x0 e e 1.
297
3. Calcularemos primero E Xt Xs . Observe que Bt Bs se puede escribir como 2Bs Bt Bs , siendo estos sumandos independientes. Entonces, E Xt Xs 1 E x2 exp 2 t s Bt Bs 0 2 1 2 2 x0 exp t s E exp Bt Bs 2 1 x2 exp 2 t s E e2Bs E eBt Bs 0 2 1 2 1 2 2 x0 exp 2 t se2s e 2 ts 2 x2 expt s s 2 . 0
Por lo tanto, CovXt , Xs E Xt Xs E Xt E Xs x2 etss 0

2
x2 ets 0 2 ts x0 e e 1
s2
Proceso de Ornstein-Uhlenbeck Este modelo fue propuesto por Ornstein y Uhlenbeck para modelar la velocidad del movimiento difuso de una part cula en intervalos de tiempo pequeos. n
298
Denicin 9.6 Sean y dos constantes positivas. El proceso de Ornsteino Uhlenbeck es aquel proceso Xt : t 0 solucin de la ecuacin estocstica o o a dXt X0 y dado por Xt
Xt dt dBt ,
t
0
(9.15)
x0 . ets dBs .
x0 et
(9.16)
La variable Xt se interpreta como la velocidad de una part cula al tiempo t. La parte determinista Xt corresponde a la fuerza de friccin, y el sumano do dBt es un ruido aleatorio. En la Figura 9.7 se muestra una simulacin o de una trayectoria de este proceso y se compara con Xt E Xt , que calcularemos ms adelante. El procea 4 x0 3 so muestra un decaimien 1 3 to conforme el tiempo avan 1 2 za y ello es debido al factor de friccin del modeo 1 lo. Es inmediato vericar E Xt t que los coecientes de la 1 2 ecuacin (9.15) satisfacen o las condiciones del teoreFigura 9.7 ma de existencia y unicidad para ecuaciones estocstia cas. Vericaremos entonces que (9.16) es efectivamente la solucin a la o ecuacin (9.15). Considere una solucin de la forma: o o Xt at x0
t
0
bs dBs ,
(9.17)
en donde at y bt son funciones diferenciables. Derivando (9.17) y usando la frmula de It (9.12) se obtiene o o dXt a t x0
t
0
a t Xt dt at bt dBt . at
bs dBs dt at bt dBt
9.5. Algunos modelos particulares
299
Suponiendo a0 1 se obtiene at expt, y bt expt. Substituyendo en (9.17) se obtiene (9.16). Calcularemos a continuacin la espeo ranza y varianza de este proceso.
Comparando con (9.15), las funciones at y bt deben cumplir las ecuaciones a t , at bt . at
Proposicin 9.3 Para el proceso de Ornstein-Uhlenbeck se cumple lo sio guiente. a) E Xt b) VarXt x0 et . 2 1 e2t . 2 2 ts ets . e 2
c) CovXt , Xs Demostracin. o
a) Este resultado se obtiene al tomar esperanza en (9.16), y observar que la integral estocstica es una martingala que inicia en cero. a b) El clculo de la varianza de Xt es una aplicacin de la isometr de a o a It, o VarXt Var
2
t
0
ets dBs
2 E 2
t
0
ets dBs 2
t
0
e2ts ds 1 2s e 2
t 0
2 e2t
2 1 e2t . 2
300
9. Calculo estocastico s t,
c) Nuevamente usaremos la isometr de It. Para 0 a o CovXt , Xs E Xt Xs E Xt E Xs E x0 et

t 0 s
0
etu dBu esu dBu x2 ets 0

s
0
x0 es
E
2
t
0
etu dBu
esu dBu .
La primera integral puede descomponerse en la suma de dos integrales, una sobre el intervalo 0, s y otra sobre s, t. Dada la propiedad de incrementos independientes del movimiento Browniano, el segundo sumando desaparece. De modo que, por la isometr de It, a o CovXt , Xs 2 ets E ets
2 0
s
0
eu dBu 2
e2u du
2 ts e ets . 2
Puente Browniano El puente Browniano es un movimiento Browniano con espacio parametral el intervalo unitario 0, 1 y es tal que en los extremos de este intervalo el proceso se hace cero. Una trayectoria de tal proceso se muestra en la Figura 9.8. Existen varias formas equivalentes de denir a este proceso, la siguiente es una de ellas. Denicin 9.7 El puente Browniano en el intervalo 0, 1 es aquel proceso o Xt : t 0, 1 solucin de la ecuacin estocstica o o a dXt X0
0.
1Xt t dt dBt ,
t 0, 1,
(9.18)
9.5. Algunos modelos particulares y que puede ser representado de la siguiente forma Xt
301
1 t
t
0
1s
dBs .
(9.19)
Los coecientes de la ecuacin o (9.18) son bt, x x 1 t
X t
t, x
1,
que cumplen las condiciones del teorema de existencia y unicidad. Puede resolverse la ecuacin o (9.18) y obtener la representacin o (9.19) proponiendo nuevamente una solucin de la forma o Xt at x0
t
0
Figura 9.8
bs dBs ,
(9.20) 0. Derivando
en donde at y bt son dos funciones diferenciables, y x0 se obtiene nuevamente dXt a t x0

t
0
a t Xt dt at bt dBt . at
bs dBs dt at bt dBt
11 t, Igualando coecientes se obtienen las ecuaciones a tat y atbt 1. Suponiendo a0 1 se obtiene at 1 t, y por lo 11 t. Substituyendo en (9.20) se obtiene (9.19). Puede tanto bt demostrarse que l Xt 0, m
t 1
y entonces efectivamente el puente Browniano se anula al nal del intervalo. Vamos a calcular a continuacin la esperanza, varianza y covarianza de este o proceso.
302
Proposicin 9.4 Para el puente Browniano dado por (9.19) se cumple o 1. E Xt 2. VarXt 0. t 1 t . s1 t, para 0 s t 1.
3. CovXt , Xs Demostracin. o
1. La integral es una martingala continua que inicia en cero, por lo tanto E Xt 0. 2. Por la isometr de It, a o VarXt dBs 1s t 1 2 1 t E 1 s dBs 2 0 t 1 1 t2 E 1 s 2 ds 0 1
0
1 t2 Var
1 1 t2 1 s t1 t. 3. Para 0 s t 1, E Xs Xt
CovXs , Xt
1 s1 tE
s
0
1u
dBu
0
1u
dBu .
Nuevamente la segunda integral puede descomponerse en la suma de dos integrales, una sobre el intervalo 0, s y otra sobre s, t. Dada la propiedad de incrementos independientes del movimiento Browniano, el segundo
9.5. Algunos modelos particulares sumando desaparece. De modo que, por la isometr de It, a o CovXs , Xt 1 dBu 2 1u s 0 1 1 s1 t 1 u 2 du 0 s 1 1 s1 t 1 u 0 s1 t.
303
1 s1 tE
Como era de esperarse, la varianza se anula en los extremos del intervalo pues all el proceso es cero con probabilidad uno. Observe adems que a la varianza se hace mxima exactamente en la mitad de dicho intervalo. a El puente Browniano en 0, 1 puede representarse de varias formas, por ejemplo, se conocen las siguientes representaciones ms compactas: a a) Xt b) Xt Bt tB1 , para t 0, 1. para t 0, 1.
B1t 1 tB1 ,
Notas y referencias. Para el desarrollo de la denicin de integral eso tocstica respecto del movimiento Browniano hemos seguido el lineamiento a general presentado en el texto de Steele [33]. All pueden encontrarse las demostraciones completas de varios de los resultados que hemos solamente enunciado. Otros trabajos en donde pueden encontrarse exposiciones elementales sobre integracin estocstica son ksendal [25], Kuo [20], o Kleo a baner [18]. Para una exposicin ms completa y general puede consultarse o a por ejemplo Protter [26] o Revuz y Yor [28]. En los trabajos de D. J Higham como [13] pueden encontrarse algunas primeras lecturas sobre los mtodos e para simular ecuaciones estocsticas. En el texto de Kloeden y Platen [19] se a expone la teor general, varios mtodos numricos y diversas aplicaciones a e e de ecuaciones estocsticas. a
304
9.6.
Ejercicios
Integral de It o
232. Demuestre que dos procesos simples pueden siempre expresarse en trminos de una particin comn. Con ayuda de este resultado dee o u muestre ahora que el espacio de procesos simples es un espacio vectorial.
2 233. Demuestre que la integral estocstica para procesos simples I : H0 a L2 P es lineal y continua.
234. A partir de la denicin de integral estocstica demuestre que: o a

t
a)
0 t
s dBs
2 Bs dBs
tBt
Bs ds.
0
b)
0
1 3 B 3 t
Bs ds.
0
Para el segundo inciso se puede usar la identidad x2 y x xy x2 1 3 y x3 y x3. 3
Frmula de It o o
235. Use la frmula de It para demostrar que: o o
t
a)
t
0
2 Bs dBs n Bs dBs
b)
0
236. Use la frmula de It para demostrar que el proceso Xt : t o o una solucin de la ecuacin estocstica indicada. o o a a) Xt b) Xt c) Xt
2 Bt , dXt 3 Bt ,
t 1 3 Bt Bs ds. 3 0 1 1 t n1 B 2 nBsn1 ds. n1 t 0
0 es
dt 2Bt dBt .
1 3
dXt
tBt , dXt
3Xt dt 3Xt Xt dt t dBt . t
2 3
dB . t
9.6. Ejercicios
305
237. Use la frmula de It para demostrar que el proceso Xt 1 Bt 1 o o es solucin de la siguiente ecuacin estocstica para tiempos t 0, o o a en donde t 0 : Bt 1. nf dXt
3 2 Xt dt Xt dBt .
Ecuaciones estocsticas a
238. Demuestre que el proceso Xt estocstica a dXt expBt
t2 satisface la ecuacin o
Xt dBt .
239. Demuestre que cada una de las siguientes ecuaciones estocsticas tiene a una unica solucin. En cada caso encuentre dicha solucin. Los trmi o o e nos b, y x0 son constantes. a) dXt b) dXt c) dXt
b Xt dt dBt , X0 x0 . b dt Xt dBt , X0 x0 . b Xt dt Xt dBt , X0 x0 .
Puente Browniano
240. Sea Xt : t 0, 1 un puente Browniano. Demuestre que efectivamente l Xt 0 c.s. m
t 1
241. Demuestre que los siguientes procesos son puentes Brownianos. a) Xt b) Xt Bt tB1 , B1t 1 tB1 , para t 0, 1. para t 0, 1.
306
Apndice: conceptos e y resultados varios

Igualdad de procesos Se dice que dos procesos estocsticos Xt : t a 0 y Yt : t 0 son equivalentes, o tambin se dice que uno es una versin o modicacin del e o o otro, si para cada valor de t 0 jo se cumple que P Xt Yt 1,
es decir, si las variables Xt y Yt son iguales c.s. Un tipo de igualdad ms a fuerte establece que los procesos son indistinguibles si P Xt Yt para cada t 0 1.
Esto signica que con probabilidad uno las trayectorias de los dos procesos son idnticas. Claramente la indistinguibilidad es ms fuerte que la e a equivalencia. Sin embargo, puede demostrarse que cuando los procesos son continuos, es decir, cuando sus trayectorias son funciones continuas del parmetro, ambas nociones de igualdad coinciden. Cuando el parmetro es a a discreto, las deniciones son anlogas y se puede demostrar la equivalencia a entre los dos tipos de igualdad sin ninguna condicin adicional. o Distribuciones nito dimensionales Las distribuciones nito dimensionales de un proceso estocstico a tiempo a o o continuo Xt : t 0 es la coleccin de todas las funciones de distribucin conjuntas FXt1 ,...,Xtn x1 , . . . , xn , 307
308
. Apndice: conceptos y resultados varios e
para cualesquiera tiempos 0 t1 tn, y cualquier n natural. La denicin es anloga cuando el proceso es a tiempo discreto. o a Independencia de procesos Se dice que una variable aleatoria X es independiente de un proceso Xt : 0 si para cualesquiera tiempos 0 t1 t2 tn, n N, t la distribucin conjunta de la variable X y el vector Xt1 , . . . , Xtn es el o producto de las distribuciones marginales, es decir, FX,Xt1 ,...,Xtn x, x1 , . . . , xn FX x FXt1 ,...,Xtn x1 , . . . , xn ,
o en trminos de conjuntos de Borel A, A1 , . . . , An , cuando la probabilidad e conjunta P X A, Xt1 A1 , . . . , Xtn An es igual al producto
AP Xt A1 , . . . , Xt An . Ms generalmente, dos procesos estocsticos Xt : t 0 y Yt : t a a

1 n
P X
0 son independientes si para cualesquiera dos enteros naturales n y m, y tiempos 0 t1 t2 tn y 0 s1 s2 sm, se cumple que la distribucin conjunta o FXt1 ,...,Xtn ,Ys1 ,...,Ysm x1 , . . . , xn , y1 , . . . , ym coincide con el producto FXt1 ,...,Xtn x1 , . . . , xn FYs1 ,...,Ysm y1 , . . . , ym . En palabras, esta condicin signica que las distribuciones nito dimeno sionales conjuntas son el producto de las distribuciones nito dimensionales marginales. Las deniciones para el caso de tiempo discreto son anlogas. a Lema de Abel a) Si la serie
k 0 ak
es convergente, entonces l m
k 0
ak tk
k 0
ak .
309 b) Inversamente, si ak 0 y l t m
k 0 k 0 ak
tk
, entonces
ak
l m
k 0
ak t k .
En Karlin y Taylor [17] puede encontrarse una demostracin de estos resulo tados. Lema de Fatou
a) Sea anm : n, m N una coleccin de nmeros reales. Entonces o u
l inf anm m
n m
l inf m
n
anm .
b) Adems, si anm a
bm con l sup m
n
bm
, entonces l sup anm . m

n
anm
Teorema de convergencia montona o Sea X1 , X2 , . . . una sucesin de variables aleatorias tales que 0 o X2 y l Xn X casi seguramente. Entonces m
n n
X1
l E Xn m
E l Xn . m
n
Teorema de convergencia dominada a) Sea X1 , X2 , . . . una sucesin de variables aleatorias tales que l Xn o m
n
X casi seguramente, y para cada valor de n, Xn . Entonces, Y con E Y

n
Y , para alguna variable
l E Xn m
E l Xn . m
n
b) Sea anm : n, m N una coleccin de nmeros reales tales que l n o u m anm bm , independiente de n, y m 0 bm . Enexiste para cada m, anm tonces,
n
l m
anm
m 0
m 0
l anm . m
310
Ecuacin de Wald o Sea X1 , X2 , . . . una sucesin de variables aleatorias independientes con la o misma distribucin que X y con esperanza nita. Sea N una variable aleatoo ria con valores en el conjunto 1, 2, . . . , con esperanza nita e independiente de la sucesin. Entonces, o E
N k 1
Xk
E X E N .
Distribucin tipo reticular o Se dice que una variable aleatoria discreta X, o su distribucin de probabio lidad, es de tipo reticular o que es de tipo lattice si P X c nd 0, en donde c y d 0 son constantes reales y n 1, 2, . . . Notacin o pequea o n Sean f t y g t dos funciones que se encuentran denidas y son positivas a para valores de t sucientemente grandes. Se dice que f t es de orden ms pequeo que g t cuando t n , y se escribe f t ogt cuando t , si se cumple f t 0. l m t g t
En particular, se escribe f t o1 cuando f t converge a cero cuando . Se usa la misma notacin cuando t tiende a algn valor nito o u t particular y las funciones se encuentran denidas y son positivas en una vecindad no trivial alrededor de ese valor. En este texto se usa la notacin o o pequea para establecer el comportamiento de probabilidades dependientes n del tiempo pt, cuando t se aproxima a cero a travs de valores positivos. e Frmula de Stirling o Para n sucientemente grande, n! 2 nn12 en .
Esperanza condicional Sea , F , P un espacio de probabilidad. Sea X una variable aleatoria con esperanza nita y sea G una sub -lgebra de F . La esperanza condicional a
311 de X dado G , es una variable aleatoria denotada por E X G , que cumple las siguientes tres propiedades: a) Es G -medible. b) Tiene esperanza nita. c) Para cualquier evento G en G ,
E X G dP
X dP.
G
Es importante enfatizar que la esperanza condicional es una variable aleatoria. Usando el teorema de Radon-Nikodym (vase por ejemplo [7]), puede e demostrarse que esta variable aleatoria existe y es unica casi seguramente. Esto signica que si existe otra variable aleatoria con las tres propiedades anteriores, entonces con probabilidad uno coincide con E X G . Cuando la -lgebra G es generada por una variable aleatoria Y , es decir, cuando a Y , la esperanza condicional se escribe simplemente como E X Y . G Mencionaremos a continuacin algunas propiedades de esta variable aleatoo ria, en estas expresiones se postula de manera impl cita que la variable a la que se le aplica la esperanza condicional es integrable. 1. Si c es constante, entonces E c G 2. E X
c.
E X .
3. Si A es un evento, entonces E 1A 4.
, P A. Si A y B son eventos con 0 P B 1, entonces E 1A , B, B c , P A B 1B P A B c 1B .

c
o 5. Si A es un evento y B1 , . . . , Bn es una particin de tal que P Bi 0 para i 1, . . . , n, entonces E 1A B1 , . . . , Bn

n i 1
P A Bi 1Bi .
312
6. Si Y es una variable aleatoria discreta con valores en 0, 1, . . . , entonces E X Y 7. E E X G E X .
E X Y
n 0
n 1Y
8. E X G E X G . Este es un caso particular de la desigualdad de Jensen que se enunciar ms adelante. En particular, tomando a a esperanza se tiene el siguiente resultado. 9. E E X G E X . G . 10. Si c es constante, entonces E c X 11. 12. 13.
Y G c E X G E Y Si X es G -medible, entonces E X G X c.s. Si X 0, entonces E X G 0. Si X Y , entonces E X G E Y G .

G2 , entonces E E X G1 G2 E E X G2 G1 E X G1 . E X .
14. Si G1
15. Si X es independiente de G , entonces E X G 16. Si G1 y G2 son independientes, entonces E X G1 G2
E X G1 E X G2 E X .
17. Si X es independiente de G2 , entonces E X G1 G2

m
E X G1 . E X G . E X G c.s.
18. Convergencia en media. m X, entonces E Xn G Si Xn
19. Teorema de convergencia montona. o Si Xn 0 y Xn X c.s., entonces E Xn G
313 20. Si XY es integrable y X es G -medible, entonces E XY G X E Y G .
21. X es independiente de G si, y slo si, E f X G o E f X para cualquier funcin Lebesgue medible f tal que f X es integrable. o 22. Desigualdad de Jensen. Si u es convexa y uX es integrable, entonces uE X G E uX G .
Funciones directamente Riemann integrables Sea H : 0, 0, una funcin Borel medible. Sea h o n natural dena las funciones n h n h H t : n 1h nf sup H t : n 1h t t nh , nh .
0, y para cada
Suponga que las siguientes funciones son absolutamente convergentes h h h h
n 1
n h, n h,
n 1
y que adems l h 0 h l h 0 h. Entonces se dice que la funcin a m m o H es directamente Riemann integrable. Esta condicin de integrabilidad es o ms fuerte que la integrabilidad usual de Riemann, es decir, toda funcin a o directamente Riemann integrable es Riemann integrable, por ejemplo, a) H t b) H : 0, integrable. 10,a t es d. R. integrable.
0,
no creciente y tal que
H t dt
, es d. R.
314
Bibliograf a
[1] Basu A. K., Introduction to stochastic processes, Alpha Science International Ltd., 2003. [2] Brown R., A brief account of Microscopical Observations made in the Months of June, July, and August, 1827, on the Particles contained in the Pollen of Plants; and on the general Existence of active Molecules in Organic and Inorganic Bodies, Philosophical Magazine N. S. 4, 161-173, 1828. [3] Brzeniak Z. y Zastawniak T., Basic stochastic processes, z Springer, 1999. [4] Caballero M. E. et al., Cadenas de Markov: un enfoque elemental, Aportaciones Matemticas, Serie Textos 29, Sociedad a Matemtica Mexicana, 2004. a [5] Chung K. L., Markov chains with stationary transition probabilities, Springer, 1960. [6] Chung K. L. y Williams R. J., Introduction to stochastic integration, Birkhuser, 1983. a [7] Cohn D. L., Measure theory, Birkhuser, 1980. a [8] Einstein A., Investigations on the theory of the Brownian movement, Dover, 1956. [9] Feller W., Introduccin a la teora de probabilidades y sus aplio caciones, Limusa, 1973. 315
316
Bibliograf a [10] Gard T. C., Introduction to stochastic dierential equations, Marcel Dekker, 1988. [11] Grimmett G. R. y Stirzaker D. R., Probability and random processes, Clarendon Press, Oxford, 1982. [12] Gut A., Probability: a graduate course, Springer, 2005. [13] Higham D. J., An algorithmic introduction to numerical simulation of stochastic dierential equations, SIAM Review Vol. 43, Nm. 3, pp. 525-546, 2001. u [14] Hoel P. G., Port S. C. y Stone C. J., Introduction to stochastic processes, Hougthon Miin Company, 1972. [15] Jones P. W. y Smith P., Stochastic processes: an introduction, Arnold, 2001. [16] Jordan D. W. y Smith P., Mathematical techniques, Oxford University Press, 1997. [17] Karlin S. y Taylor H. M., A rst course in stochastic processes, Academic Press, 1975. [18] Klebaner F. C., Introduction to stochastic calculus with applications, Imperial College Press, 1998. [19] Kloeden P. E. y Platen E., Numerical solution of stochastic differential equations, SpringerVerlag, 1999. [20] Kuo H., Introduction to stochastic integration, Springer, 2006. [21] Lawler G. F., Introduction to stochastic processes, Chapman & Hall / CRC, 2006. [22] Lawler G. F., Random walk and the heat equation, Student Mathematical Library, Vol. 55, AMS, 2010. [23] Nelson E., Dynamical theories of Brownian motion, Princeton University Press, 1967. [24] Norris J., Markov chains, Cambridge University Press, 1997.
Bibliograf a
317
[25] ksendal B., Stochastic dierential equations: an introduction with applications, SpringerVerlag, 1992. [26] Protter P. H., Stochastic integration and dierential equations, Springer, 1990. [27] Resnick S., Adventures in stochastic processes, Birkhuser, 1992. a [28] Revuz D. y Yor M., Continuous martingales and Brownian motion, Springer-Verlag, 1991. [29] Rincn L., Sobre el problema del mono que escribe caracteres al o azar, Miscelnea Matemtica 42, Sociedad Matemtica Mexicaa a a na, 7990, 2006. [30] Rincn L., Introduccin a la ecuaciones diferenciales estocstio o a cas, Memorias del Congreso Regional de la Universidad Autnoo ma de Aguascalientes en Probabilidad, Noviembre de 2005. Aguascalientes, Ags. Editorial Universidad Autnoma de Aguaso calientes. Eds. Jorge A. Len, Jorge E. Mac y Jos Villa. Dio as e ciembre 2006, 26-58. [31] Ross S., A rst course in probability - 4th ed., Macmillan Publishing Company, 1994. [32] Spitzer F., Principles of random walk, 2nd. ed., Springer, 2001. [33] Steele J. M., Stochastic calculus and nancial applications, SpringerVerlag, 2001. [34] Stirzaker D., Stochastic processes and models, Oxford University Press, 2005. [35] Taylor H. M. y Karlin S., An introduction to stochastic modeling, Academic Press, 1994. [36] Tudor C., Procesos estocsticos, Aportaciones Matemticas, Sea a rie Textos 2, Sociedad Matemtica Mexicana, 1994. a
Indice anal tico

Abel lema, 308 Cadena de Markov, 28 a tiempo continuo, 148 accesibilidad de edos, 43 comunicacin de edos, 43 o de dos estados, 31 de Ehrenfest, 35 de inventarios, 38 de la caminata aleatoria, 34 de la la de espera, 37 de rachas de xitos, 33 e de ramicacin, 36 o de v.a.s independientes, 32 del jugador, 35 distribucin inicial, 30 o ergdica, 44 o estacionaria, 29 existencia, 30 nita, 28 irreducible, 44 recurrente, 53 regular, 86 reversible, 89 transitoria, 53 Caminata aleatoria, 7 asimtrica, 9 e 318 del jugador, 16 simtrica, 9 e Chapman-Kolmogorov, 39, 244 Clase aperidica, 45 o cerrada, 57 de comunicacin, 43 o peridica, 45 o Coeciente de difusin, 289 o de tendencia, 289 Comunicacin, 42 o Conabilidad, 188 Correccin de It, 283 o o Coseno hiperblico, 137 o Cox proceso de, 131 Delta de Kronecker, 31 Deriva, 289 Desigualdad de Jensen, 313 Distribucin o estacionaria, 71 invariante, 71 l mite, 81 reticulada, 310 tipo lattice, 310
Indice anal tico Distribucin exponencial o simulacin, 135 o Distribucin Poisson o simulacin, 136 o Distribuciones nito dimensionales, 307 Doob, J. L., 229 Downcrossing, 221 Drift, 289 Ecuacin o de balance detallado, 90 de calor, 244 de Chapman-Kolmogorov, 39, 244 de difusin, 244 o de renovacin, 176, 177 o de Wald, 310 estocstica, 289 a solucin fuerte, 290 o Ecuaciones de Kolmogorov, 156 prospectivas, 158 retrospectivas, 156 Espacio C 1 , 286 C 2 , 286 L2 P , 274 L2 P dt, 275 H2 , 278 2 H0 , 275 L2 , 281 loc de estados, 1 parametral, 1 Esperanza condicional, 310 Estado absorbente, 44 aperidico, 45 o peridico, 45 o recurrente, 50 recurrente nulo, 66 recurrente positivo, 66 transitorio, 50 Estrategia de juego, 209 Euler-Maruyama, 293
319
Frmula o de Stirling, 310 Fatou lema, 309 Filtracin, 200 o cannica, 200 o continua por la derecha, 201 estndar, 201 a natural, 200 Funcin o coseno hiperblico, 137 o de conabilidad, 188 de intensidad, 131 de renovacin, 176 o de supervivencia, 188 de tasa de falla, 188 de valor medio, 131 delta de Kronecker, 31, 148 dir. Riemann integrable, 313 hazard, 188 seno hiperblico, 137 o variacin cuadrtica de una, o a 248 variacin de una, 248 o Igualdad de procesos, 307 Independencia
320 de procesos, 308 Integrabilidad uniforme, 225 Integral estocstica, 273 a como un proceso, 280 de It, 276, 278, 280, 281 o de Stratonovich, 284 extensin por aproximacin, 277 o o extensin por localizacin, 281 o o para procesos simples, 276 propiedades, 285 It o correcin de, 283 o frmula de, 286, 291 o integral de, 276, 278, 280, 281 isometr de, 279 a proceso de, 289 Kronecker, 31 L`vy, P. P., 264 e Lema de Abel, 308 de Fatou, 309 Mtodo de discretizacin, 293 e o Markov, A. A., 93 Martingala, 5, 203 de de Moivre, 234 detenida, 208 estrategia de juego, 209, 210 exponencial, 269 producto, 234, 235 sub , 203 super , 203 Martingalas teorema de convergencia, 223 teorema de representacin, 228 o
Indice anal tico Matriz de prob. de transicin, 29 o doblemente estocstica, 30 a estocstica, 30 a regular, 86 McKean Tabla de multiplicacin, 291 o Movimiento Browniano, 239 estndar, 240, 241, 243 a exponencial, 294 geomtrico, 294 e martingala, 245 multidimensional, 252 probabilidad de transicin, 243 o radial, 253 recurrencia por vecindades, 262 puntual, 258 reejado en el origen, 268 unidimensional, 240, 241 variacin, 249 o variacin cuadrtica, 248 o a Nmero de cruces, 219 u Notacin o pequea, 310 o n Parmetros innitesimales, 154 a Periodo, 45 Probabilidades de transicin, 28, 31 o de transicin en n pasos, 31 o de transicin en un paso, 28 o innitesimales, 125, 155 Problema de la ruina del jugador, 17 Proceso, 1 a tiempo continuo, 2
Indice anal tico a tiempo discreto, 2 adaptado, 201 con inc. estacionarios, 5 con inc. independientes, 5 de Bessel, 253 de Cox, 131 de ensayos independientes, 4 de It, 289 o de L`vy, 6 e de Markov, 4 de muerte puro, 165 de nacimiento puro, 164 de nacimiento y muerte, 159 de Ornstein-Uhlenbeck, 297 de Poisson, 116, 125, 127 compuesto, 132 generalizado, 133 homogneo, 116 e marcado, 140 mixto, 134 no homogneo, 129 e simulaciones, 125 de renovacin, 174 o de saltos, 146 de Wiener, 241 de Yule, 165 detenido, 207 distribuciones n. dim., 307 equivalencia de s, 307 espacio de estados, 1 espacio parametral, 1 estacionario, 5 ltracin de un, 200 o Gausiano, 6 historia de un , 201 igualdad de s, 307
321 independencia, 308 indistinguibilidad, 307 modicacin de un , 307 o predecible, 201 realizacin de un , 3 o simple, 275 trayectoria de un , 3 versin de un , 307 o Propiedad de Markov, 4 de prdida de memoria, 117, e 180 de semigrupo, 152 Puente Browniano, 269, 300 densidad, 269 Racha de xitos, 33 e Recurrencia, 50 nula, 66 positiva, 66 Renovacin o ecuacin de, 177 o funcin de, 176 o Seno hiperblico, 137 o Simulacin o distribucin exponencial, 135 o distribucin Poisson, 136 o Stirling, 310 Stratonovich, 284 Submartingala, 203 Supermartingala, 203 Tcnica de acople, 84 e Tabla de multiplicacin de McKo ean, 291 Teorema
322 de conv. a la dist. est, 83 de conv. de martingalas, 223 de conv. dominada, 309 de conv. montona, 309, 312 o de conv. para cadenas, 85 de Doob, 223 de paro opcional, 212 de rep. de martingalas, 228 ergdico para cadenas, 64 o Tiempo s de estancia, 116, 145 s de interarribo, 116 s de paro, 202 de primera visita, 48, 56, 66 de vida restante, 179 medio de recurrencia, 56, 66 Tiempo de paro, 203 Transitoriedad, 50 Variacin, 248 o cuadrtica, 248 a Wald ecuacin de, 310 o Wiener, N., 263
Indice anal tico

Introduccion A Los Procesos Estocasticos PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Introduccion A Los Procesos Estocasticos PDF

Uploaded by

Copyright:

Available Formats

Introduccin a los o procesos estocsticos a

Contenido 3.18. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

Xt2 Xt1 Xt3 t t1 t2 t3

a) Dibuje todas las trayectorias del proceso Xt : t b) Calcule la distribucin de Xt . o c) Calcule E Xt .

2.1. Caminatas aleatorias Demostracin. o Para la esperanza tenemos que: E Xn

Por otro lado, como E 2 pq 1 y E Var 1 p q 2 4pq. Por lo tanto, VarXn

2.1. Caminatas aleatorias

2.1. Caminatas aleatorias

e) Substituyendo (2.9) en (2.5) se llega a la igualdad

2.1. Caminatas aleatorias De donde se obtiene nalmente Gt 1 1 4pqt2 12 .

El problema del jugador

2.2. El problema del jugador

Resolviendo iterativamente, las primeras k 1 ecuaciones se escriben de la

18 forma siguiente: u2 u1 u3 u2 uk uk1 . . .

2.2. El problema del jugador

uk 1 p p p p k 10 20 30 40 50 0.01 0.2 0.35 0.5

0.65 0.8 0.99

Proposicin 2.5 El nmero esperado de apuestas antes de la ruina es o u

En particular, sumando todas las ecuaciones de (2.15) se obtiene mN m1 SN 1

Ahora se hace uso de la condicin mN o m1 Substituyendo en (2.16), mk 1 SN 1

Nuevamente se deben distinguir los siguientes dos casos: Sk 1 q p q p

2.3. Ejercicios e) De manera anloga obtenga f10 a 1, q p.

3.1. Propiedad de Markov

Por lo tanto, para cualquiera estados i y j,

3. Cadenas de Markov 1. Suponga que la distribucin inicial est dada por p0 o a P X0 1.

p00 n p01 n p10 n p11 n 1

3.2. Ejemplos probabilidades de transicin es de la siguiente forma: o

c) Sea Xn 1 n . La sucesin Xn : n o 1 es una cadena de Markov con espacio de estados 0, 1, . . . y matriz

Figura 3.5 es ambos pares o ambos impares con pij n

3.3. Ecuacion de Chapman-Kolmogorov

Por el teorema de probabilidad total y la propiedad de P Xn

3.3. Ecuacion de Chapman-Kolmogorov misma n veces. pij n

pi,i1 1 pi1 ,j n 1 pi,i1 1 pi1 ,i2 1 pi2 ,j n 2

pi,i1 1 pi1 ,i2 1

p00 n p01 n p10 n p11 n . . . . . .

p00 p01 p10 p11 . . . . . .

Si se conoce esta matriz y si pi P X0 i es una distribucin inicial, o entonces la distribucin de la variable Xn es o P Xn j

Particin de un espacio de estados o en clases de comunicacin o

3.6. Primeras visitas

Adicionalmente se dene fij 0

Demostracin. Dena los eventos o A1 A2 A3 . . . An

3.7. Recurrencia y transitoriedad

b) transitorio si, y slo si o

Por otro lado, por el teorema de convergencia montona, o E Ni X0 i

3.7. Recurrencia y transitoriedad

Veremos a continuacin algunos ejemplos de aplicacin del criterio de la o o Proposicin 3.8. o

3.7. Recurrencia y transitoriedad Demostracin. o

Usando (3.2), y siendo todos los trminos no negativos, e pij n

fij n k pjj k fij n k pjj k

Tiempo medio de recurrencia

3.9. Clases cerradas

1 fij fij fjj k1 1 fjj

3.10. Numero de visitas

59 si fij si 0 si fij 0, fjj 1, 1.

d) P Nij e) P Nij Demostracin. o

si j es transitorio, si j es recurrente. si j es transitorio, si j es recurrente.

fij P Njj fij fjj

c) Por el teorema de convergencia montona, o E Nij E

60 Por otro lado, usando la primera frmula o E Nij

fij fjj k1 si fij si 0 si fij l P Nij m 0, fjj 1, 1.

d) Por la frmula del inciso (a), o P Nij

l fij fjj k1 . m 0 fij si j es transitorio, si j es recurrente.

3.10. Numero de visitas