CADENAS DE

MARKOV
ROSARY ELYN CARMONA
NAVARRO
LUIS EDUARDO CANEDO
TORRES
OSCAR IVN HERRERA
BONILLA

INTRODUCCION

Un proceso o sucesin de eventos que se

desarrolla en el tiempo en el cual el resultado en
cualquier etapa contiene algn elemento que
depende del azar se denomina proceso aleatorio
o proceso estocstico. Por ejemplo, la sucesin
podra ser las condiciones del tiempo en Paran
en una serie de das consecutivos: el tiempo
cambia da a da de una manera que en
apariencia es algo aleatoria. O bien, la sucesin
podra consistir en los precios de las acciones
que cotizan en la bolsa en donde otra vez
interviene cierto grado de aleatoriedad.

Objetivos

analizar la evolucin
de un sistema a travs
de periodos sucesivos,
y sus probabilidades de
cambio .
los procesos de Markov
pueden ayudar a hacer
predicciones para el
futuro, basndose en
datos actuales, datos
pasados y probables
condiciones futuras

En modelos
financieros para
optimizacin de
acciones.

Como surgi ?

El anlisis de Markov, llamado as en honor de un

matemtico ruso que desarrollo el mtodo en
1907,permiteencontrarlaprobabilidaddequeunsiste
maseencuentreenunestadoenparticularenun
momento dado. Algo ms importante an, es que
permite encontrar el promedio a la larga o
lasprobabilidadesdeestadoestableparacadaestado.C
onestainformacinsepuedepredecirel
comportamiento del sistema a travs del tiempo.

Importancia

se usa para dar a entender que un

proceso de Mrkov tiene un espacio de
estados discreto (infinito onumerable).
Usualmente una cadena de Mrkov
sera definida para un conjunto discreto
de tiempos (es decir, una cadena de
Mrkov de tiempo discreto),aunque
algunos
autores
usan
la
misma
terminologa donde "tiempo" puede
tomar valores continuos

Definicin de Cadena de Markov

Un proceso estocstico
Con un nmero finito de
estados (M)
Con probabilidades de
transicin estacionarias
Que tiene la propiedad
markoviana

Campos de aplicacin

Las MLN (por su siglas en ingls

Markov Logic Networks) tienen muchas
aplicaciones en el mundo real,
destacando su uso en negocios,
poltica, finanzas, deportes, salud,
gentica, fsica y economa.

Qu es un proceso
estocstico?

Es cualquier proceso en el que se involucren

probabilidades es un proceso estocstico.
Es un conjunto o sucesin de variables aleatorias:
{X(t)CG } definidas en un mismo espacio de
probabilidad.
En
donde:
El ndice t representa un tiempo y X(t) el estado
del proceso estocstico en el instante t.
El proceso puede ser de tiempo discreto o
continuo
si
G
es
discreto
o
continuo.
Si el proceso es de tiempo discreto, usamos
enteros para representar el ndice: {X1, X2, ...}

Qu es una cadena de
markov finita ?

consiste
en
una
serie de estados, en
los
cuales
la
probabilidad de que
un evento ocurra
depende del estado
inmediatamente
anterior.

Es una cadena de
Markov para la que
existe
slo
un
nmero finito k de
estados
posibles
s1,...,sk
y
en
cualquier
instante
de tiempo la cadena
est en uno de
estos k estados.

supuestos

El modelo esta correctamente especificado.

Debe ser lineal en los parmetros.

El valor de la media condicional es cero.

Hayhomocedasticidad.

No existe correlacin entre las perturbaciones.

La covarianza entreyes cero.

El nmero de observaciones es mayor que el de parmetros.

Existe variabilidad entre los.

No hay multicolinealidad perfecta.

Lasson no estocsticas, es decir, son fijas en muestras

repetidas.

ELEMENTOS DE UNA CADENA

DE MARKOV

Un
conjunto
finito
de
M
estados,
exhaustivos y mutuamente excluyentes
(ejemplo: estados de la enfermedad)

Ciclo de markov (paso) : periodo de

tiempo que sirve de base para examinar las
transiciones entre estados (ejemplo, un mes)

Probabilidades
de
transicin
estados, en un ciclo (matriz P)

Distribucin inicial del sistema entre los M

estados posibles

entre

Estimacin de los parmetros de una cadena de Markov

A partir de una realizacin de la cadena de Markov, se pueden estimar

las probabilidades de transicin mediante las siguientes proporciones
observadas:
p ij

Numero de transiciones observadas de Ei a E j

Numero de transiciones observadas desde Ei

Esto presenta limitaciones dependiendo de cmo haya evolucionado la

realizacin observada. Adems, no permite estimar las probabilidades
iniciales.
Por estos motivos es conveniente disponer de varias realizaciones de
la cadena de Markov.

Cadenas de Markov ocultas

En lugar de observar los estados de la cadena de Markov, observamos
otros elementos, bajo ciertas probabilidades:

Elementos de una cadena de Markov oculta.

Espacio de estados: E E1 , E2 ,K , Es

Matriz de
transicin:

p11

p
P 21
M

ps1

Alfabeto de smbolos
observables:
Probabilidades de
emisin:

p12 L
p22 L
M O
ps 2 L

p1s

p2 s
M

pss

siendo pij P X t 1 E j X t Ei

A a1 ,K , am

B bi a

Distribucin inicial: P 0 p1 0 , p2 0 ,K , ps 0

siendo bi a P Ei emita el simbolo a

siendo pi 0 P X 0 Ei

TIPOS DE CADENAS

CADENAS DE
MARKOV
ABSORVENTES
Son cadenas en
donde todos los
estados transitorios
son absorbentes.

CADENAS ERGODICAS

Cadena que est

formada por un conjunto
ergdico se llama cadena
ergdica. Se distinguen
dos tipos de cadenas
ergdicas:

a) Cadena ergdica
cclica: en ella slo se
puede entrar en un
estado a intervalos
peridicos fijos.

b) Cadena ergdica
regular: cadena ergdica
nocclica.

EJEMPLO

S1

S2

S1

1/2

1/2

S2

1/2

1/2

Est claro que el sistema

completo nunca estar
completamente "atrapado" en un
estado, as que la cadena es
regular.

Siempre es posible moverse de

un estado a cualquier otro, en
cualquier paso siendo los
movimientos nocclicos. As la
cadena y la matriz son regulares.

S1

S2

S3

S1

3/4

1/4

S2

1/2

1/2

S3

1/4

3/4

S1

S2

S3

S1

1/4 1/4

S2

1/3 1/3

S3

1/4 1/4

Despus de n pasos la cadena entrar

(con probabilidad 1 cuando n tiende a
) en S2 o en S3. Una vez situada en
uno de estos estados nunca podr pasar a
S1. Por lo tanto S1 es un estado
transitorio y as la cadena es no regular y
por lo tanto noergdica, aunque el
conjunto [ S2, S3 ] sea un conjunto
ergdico.

S1

S1

S2

S3

S2

S3

La cadena se mueve con perodo

3 a travs de los conjunto
cclicos [ S1 ] [ S2 ] y [ S3 ]. Es por
lo tanto una cadena cclica
ergdica y no una cadena regular.

Dada una secuencia de

variables aleatorias X1 , X 2 ,
X 3 ,...... , tales que el valor
de
X n
es el estado del
proceso en el tiempo n. Si la
distribucin de probabilidad
condicional X n +1 en
estados pasados es una
funcin de X n por s sola,
entonces:
Donde xi es el estado del
proceso en el instante i.
Esta identidad es la
denominada propiedad de
Markov: El estado en t + 1
solo depende del estado en t
y no de la evolucin anterior
del sistema.

P(X n + 1 = xn + 1 /X n = xn , X n 1 = xn
1,....X 2 = x2 , X 1 = x1 ) =
P(X n + 1 = xn + 1 /X n = xn )

PR
OP
IE
DA
D
DE
M
AR
KO
V:

PROPIEDAD MARKOVIANA
Un proceso estocstico tiene la propiedad markoviana si las
probabilidades de transicin en un paso slo dependen del
estado del sistema en el perodo anterior (memoria limitada)

PROPIEDAD MARKOVIANA

P(n) es la matriz de transicin en n pasos, de orden (M+1)x(M+1)

PROPIEDAD MARKOVIANA

PROPIEDAD MARKOVIANA

LAS CADENAS DE MARKOV SON UN CASO PARTICULAR

DE MODELOS DE MARKOV
Tipos de modelos de Markov:

Procesos de Markov (Modelos semimarkovianos):

Las probabilidades de
transicin entre estados pueden variar a
medida que transcurren ms ciclos

Ejemplo: para modelizar la esperanza de vida, el

riesgo de muerte aumenta con la edad

Cadenas de Markov: Las probabilidades de

transicin se suponen constantes a lo largo
del tiempo

PROPIEDAD MARKOVIANA

Ejemplos:
Comportamiento
(sube/baja)
del
precio de las acciones hoy depende
de lo ocurrido ayer
Problema de la ruina de un jugador
de casino
Eleccin de marca: Con qu lnea
area volar a Madrid?

EJEMPLO 1: EL REPARTO DEL MERCADO A LARGO PLAZO

EN UN OLIGOPOLIO
Tres laboratorios farmacuticos (A,B y C) que compiten en un
principio activo (mismo conjunto homogneo en la orden
de precios de referencia). Hoy sus cuotas de mercado son
30%, 20% y 50% respectivamente
Las filas suman 1

A
Matriz de
transicin en un
paso (ciclo)
Ciclo: Mes

A
B
C

B
0,8
0,15
0,13

C
0,1
0,82
0,12

0,1
0,03
0,75

Cmo se repartirn el mercado dentro

de 1 mes, 6 meses, 1 ao?, A largo
plazo?

EJEMPLO 1: EL REPARTO DEL MERCADO A LARGO PLAZO

EN UN OLIGOPOLIO

Este es un ejemplo de cadena de Markov irreductible y ergdica.

Todos los estados son recurrentes y estn comunicados entre s,
formando una sola clase.Hay solucin de estado estable (reparto
del mercado a largo plazo, independiente de la situacin inicial)

Reparto del mercado

despus de n ciclos =
P0*Pn

Solucin de estado estable

1 mes.....P1= [0.3350 0.2540

2 meses ....p2 =[
0.3595
0.3494]
6 meses ...... p6 =[ 0.4030
0.2427]
1 ao ....... p12 = [ 0.4150
0.2146]
2 aos ...... p24 =[
0.4165
0.2113]
3 aos ....... p36 =[ 0.4165
0.21131]

0.4110]
0.2911
0.3543
0.3704
0.3722
0.3722

Matriz estado inicial

Consideremos

un sistema de n estados posibles, de modo

que cada ensayo tiene n resultado posibles. En cualquier
etapa en el futuro no podemos decir en qu estado se
encontrar el sistema pero podramos estar en posicin de
dar las probabilidades de que se encuentre en cada uno de
los estados 1, 2, .,n. En general, si p , p , ....., p son las
probabilidades de que el sistema se encuentre en los
estados 1, 2, .., n, respectivamente, entonces
1

la

matriz

fila

1xn( p , p ....p ) se conoce como matriz de

1

estado inicial o vector de estado inicial

del sistema.
Obviamente que la suma de esa fila es 1. Denotaremos a la matriz
de estado inicial con Ao y a la matriz de estado despus de k
ensayos o etapas por

Matriz de estado en n
pasos

La matriz de probabilidades
de
transicin de n pasos se puede
obtener
calculando
la
ensima
potencia de
la matriz de transicin de un paso:
por ejemplo, si queremos calcular la
matriz de transicin de cuatro pasos:

Ejemplo en n pasos

Ejemplo

Matriz de transicin en k pasos

Es la matriz que representa la

probabilidad de una poblacin de
moverse de un estado a otro. Cumple
con las siguientes condiciones:
La matriz de transicin debe ser
cuadrada.
La suma de las probabilidades por fila
debe ser igual a 1.

Matriz regular

Una matriz es regular si en sus

consignas no presenta ningn estado 0
y 1.

Matriz estacionaria

Una matriz de transicin P se dice que es

regular si para algn entero positivo k, la
matriz Pk no tiene elementos iguales a
cero. Si P es una matriz de transicin
regular, entonces sin importar la matriz de
estado inicial, las matrices de estado
sucesivas se aproximan a alguna matriz de
estado fija B en donde B.P = B. La matriz B
se denomina matriz estacionaria del sistema

Estados

Un
estado
es
transitorio : estados que
tienen una probabilidad
> 0 de no volver nunca
al estado (se visitan un
nmero finito de veces).
Estados
recurrentes:
estados que tienen una
probabilidad > 0 de
volver al estado (se
visitan
un
nmero
infinito de veces).

Un
estado
es
absorbente
:si
despus de haber
entrado
a
un
estado
nunca
saldr de l..

Clasificacin

Cadenas recurrentes y transitorias

Proposicin: Sea X una CM

irreducible. Entonces, o bien todos
sus estados son recurrentes (y
decimos que X es recurrente), o bien
todos sus estados son transitorios (y
decimos que X es transitoria).
Ejemplo: Estado de cuentas con un
to rico (fortunes with the rich
uncle). Probabilidad p de ganar 1 y
1p de perder 1 . Cuando me
arruino, mi to me presta dinero para
la prxima tirada:

Cadenas recurrentes y
transitorias
1p

1p

1p

1p

1p

p
1p

p
1p

p
1p

n+1

Periodicidad

Sea jS tal que jj>0. Sea

k mcd {n N {0} | q jjn 0}

Si k>1, entonces diremos que j es

peridico de periodo k. El estado j
ser peridico de periodo k>1 sii
existen caminos que llevan desde j
hasta j pero todos tienen longitud mk,
con m>0

Periodicidad

Ejemplo: En la siguiente CM todos los

estados son peridicos de periodo k=2:

Ejemplo: En la siguiente CM todos los estados

son peridicos de periodo k=3:
2
1

5
3

Subconjuntos cerrados

Sea CS, con C. Diremos que C es

cerrado sii iC jC, j no es
alcanzable desde i, o lo que es lo
mismo, ij=0. En particular, si C={i},
entonces i es absorbente. S siempre es
cerrado.
Un subconjunto cerrado CS se dice
que es irreducible sii no contiene
ningn subconjunto propio cerrado

MATRIZ DE TRANSICIN EN UN SOLO PASO

Dada una cadena de Markov con k estados posibles

s1, ... , sk y probabili- dades de transicin estacionarias.

La matriz de transicin P de cualquier cadena de Markov

finita con
probabilidades de transicin estacionarias es una matriz
estocstica.

propiedades

1- la suma de las probabilidades

de los estados debe ser igual a
1.
2- la matriz de transicin debe
ser cuadrada.
3- las probabilidades de
transicin deben estar entre 0 y
1

ejemplo

Supongamos
que
el
clima
de
una
determinada regin slo
puede ser soleado (s1)
o nublado (s2) y que las
condiciones
del clima
en maanas sucesivas
forman una cadena de
Markov
con
probabilidades
de
transicin estacionarias.
La matriz de transicin
est dada por:

Si un da concreto est
nublado,
cul es la
probabilidad de que est
nublado el da siguiente?

p22 = 0.4

MATRIZ DE TRANSICIN EN VARIOS PASOS

Dada una cadena de Markov con k posibles

estados s1,. .. , sk y matriz de transicin Pij, Si
notamos p(2) = P (Xn+2 = sj |Xn = si) .

Ejempl
o

En el ejemplo del
clima con matriz de
transicin

Si un
mircoles
est
nublado,
cul
es
la
probabilidad de que
el viernes siguiente
haga sol?

Calculamos la
matriz de
transicin en dos
pasos:

Distribucin en estado estacionario

Probabilidades de transicin en n pasos:

La probabilidad de transicin en 1 paso:

se generaliza en N pasos a:

Ejemplo paso a paso de anlisis de una

cadena.

Consumidores de caf en el rea de Pontevedra

usan tres marcas A, B, C. En marzo de 1995 se
hizo una encuesta en la que se entrevist a las
8450 personas que compran caf y los resultados
fueron:

Preguntas

a)
Si las compras se hacen mensualmente,
cul ser la distribucin del mercado de caf en
Pontevedra en el mes de junio?
b) A la larga, cmo se distribuirn los clientes
de caf?
c)
En junio, cual es la proporcin de clientes
leales a sus marcas de caf?

Solucin

a) Con

las frecuencias anteriores calculamos las

probabilidades de transicin, conservando el
mismo orden que la tabla (A,B,C) es:

b)

A la larga se trata de la situacin estable:

c)
En Marzo la proporcin de clientes de A es:
2028/8450 = 0.24; para B es 3718/8450 = 0.44 y
para C es 2704/8450 = 0.32. En el mes de junio la
proporcin es: