Primer Parcial de Procesos Estocasticos I

1
.
CADA EJERCICIO VALE 10/6=5/3=1.66666.
1. Suponga que su humor en cada da, depende de su humor en los 3 das ante-
riores. Si estuvo feliz los 3 das anteriores entonces hoy volver a a estarlo con
probabilidad 0.9. Si en los 3 das anteriores estuvo enojado, entonces hoy es-
tar a feliz con probabilidad 0.5 y en cualquier otro caso, conservara el humor de
ayer con probabilidad 0.3.
a) Explique c omo dene una cadena de Markov y escriba su diagrama de
estados.
b) Escriba su matriz de probabilidades de transici on y diga si existe alg un
estado absorbente.
2. En cierta calle hay 7 casas dispuestas como en el siguiente diagrama:
Un ladr on entra a alguna casa cada da. Si en alg un da roba en la casa 6, con
probabilidad 1 robar a al siguiente da en la casa 5. Si en alg un da roba en la
casa 1, ser a su n, ya que el due no lo convencer a, con la fuerza de la razon,
de que es mejor vivir honradamente. En cualquier otro caso, dado que roba en
alguna casa, al siguiente da robara en la que est a a la derecha con probabilidad
0.3 y en la que est a a la izquierda con probabilidad 0.7.
a) Modelar con una cadena de Markov y decir cual es la matriz de probabili-
dades de transici on.
b) Demostrar que la probabilidad de que en alg un momento el ladr on deje la
deshonestidad, es uno, sin importar en donde comencemos a observarlo.
c) Suponiendo que el ladr on se encuentra robando hoy en la casa 5, cu antos
das pasar an en promedio para que el ladr on regrese a la senda del bien?
Nota: Puede usar las f ormulas recursivas vistas en clase para crear el respectivo
sistema de ecuaciones que habr a de resolver.
1
Facultad de Ciencias, UNAM, 2014-II, profesores Julio Ruiz, Ricardo Hoyos y Josafat Santana.
1
3. Una cadena de Markov {X
n
, n 0} con estados 0, 1, 2 tiene la siguiente matriz
de probabilidades de transici on:
P =

1/2 1/2 0
0 1/2 1/2
1/3 1/3 1/3

Si P(X
0
= 0) = P(X
0
= 1) =
1
6
y P(X
0
= 2) =
2
3
, calcular
a) P(X
3
= 2 | X
1
= 0)
b) P(X
1
= 0 | X
3
= 2)
c) P(X
3
= 2 | X
0
= 2)
d) P(X
0
= 2 | X
3
= 2)
4. Para la cadena anterior calcule E(X
2
).
5. Considere una cadena de Markov de dos estados: 0 y 1, con P(X
0
= 0) =
0,6, P(X
0
= 1) = 0,4, como distribucion inicial. Y con matriz de probabilidades
de transicion dada como aparece abajo. Encuentre
a) P(X
100
= 0 | X
98
= 0)
b) P(X
3
= 0, X
2
= 0 | X
1
= 0)
P =

1/2 1/2
1/4 3/4

6. Supongamos el problema de la ruina del jugador con empates. Se tienen en

juego N = 3 pesos. Si alguno de los dos jugadores se queda con los 3 pesos, se
acaba el juego. La probabilidad de empate en cada juego es 1/2. La probabilidad
de ganar un juego y por lo tanto un peso es 1/4 igual que la probabilidad de
perder. Sea = mn{n 0 : X
n
= 0 o X
n
= 3}, donde X
n
=n umero de pesos
del jugador A despues de n apuestas.
a) Escribir la matriz de probabilidades de transicion.
b) Calcular u
k
= P(X

= 0 | X
0
= k) para k = 0, 1, 2, 3.
c) Calcular m
k
= E( | X
0
= k) para k = 0, 1, 2, 3.
Nota: Puede usar las f ormulas recursivas vistas en clase para crear el respectivo
sistema de ecuaciones que habra de resolver.
2