MATRICES Y CADENAS DE MARKOV

Cadena de Markov (finita) se denomina a un proceso estocstico que consiste en una sucesin de
pruebas cuyos resultados X 1 , X 2 , satisfacen las dos propiedades siguientes:
1) Cada resultado pertenece a un conjunto finito de estados S 1 , S 2 , S 3 ,...., S m llamado espacio
de
estados del sistema; si el resultado de la n-sima prueba es S i , entonces decimos que el sistema
est en el estado S i en la vez n o en el paso n-simo.
2) El resultado de una prueba depende slo del resultado de la prueba precedente y no de cualquier
otro resultado previo; con cada par de estados S i , S j se establece la probabilidad pij de que
S j suceda inmediatamente despus de que suceda S i . Los nmeros p i j llamados probabilidades
p 11 p 12 ... p 1m

p 21 p 22 ... p 2 m

de transicin pueden ordenarse en una matriz P

...... ...... ... .....

p m1 p m 2 ... p mm
transicin.

llamada matriz de

Si el sistema est en el estado S i el vector fila pi1 , p i 2 , , pim representa las probabilidades de
todos los resultados posibles de la prueba siguiente y por lo tanto, es un vector de probabilidad, en
consecuencia la matriz de transicin P es una matriz de probabilidad o estocstica; se denomina
tambin matriz de Markov.
Para cada cadena finita de Markov la matriz de transicin es estocstica y, recprocamente, cada
matriz estocstica puede pensarse como la matriz de transicin de alguna cadena o proceso de Markov.
Ejemplo 1: supongamos un mercado duopolista, en el que las empresas A y B fabrican la totalidad de
cierto producto. Mediante estudios de mercado se ha llegado a las siguientes conclusiones:
1) el 50% de los consumidores que compran durante un mes el producto fabricado por la empresa
A volver a hacerlo en el mes siguiente, pero el resto comprar el fabricado por la empresa B.
2) El 25% de los consumidores que en un mes compran el producto fabricado por la empresa B
volver a hacerlo as el mes siguiente, pero el resto cambiar al fabricado por la empresa A.
3) En este momento la empresa A tiene el 40% del mercado y la empresa B el 60% restante.
El vector de probabilidad que representa la situacin inicial se denomina vector de estado inicial; en
este caso es p0 0,4; 0,6
A
B
La matriz de transicin es P

A 0,50
B 0,75

0,50
0,25

El vector que representa la situacin en el momento t 1 (al finalizar el primer mes) se obtiene
multiplicando p 0 por la matriz P : p1 p 0 P 0,65; 0,35 y as sucesivamente:

p 2 p1 P 0,5875; 0,4125 , p 3 p 2 P 0,6031; 0,3969 , p 4 p3 P 0,5992; 0,4008 ... como

p 2 p1 P y p 1 p 0 P resulta p 2 p 0 P 2 y, en general, p n p 0 P n de modo que podemos

calcular el vector de estado en el momento t n multiplicando el vector inicial p 0 por la n-sima

potencia de P.
Observamos que los vectores de estado sucesivos tienden al vector 0,6; 0,4 que es el vector fijo de
0,50

0,50

la matriz P, ya que 0,6; 0,4

0,6; 0,4 t
0,75 0,25
0, 6 0, 4

0, 6 0, 4

P n
como la matriz P es una matriz regular o primitiva: lim
n

t
t T y t 0

El vector t se denomina tambin estado firme o fijo de la cadena de Markov representada por la
matriz P, tambin estado de tendencia o vector estacionario. Si existe, este vector es independiente
del vector de estado inicial p 0 , es decir, cualquiera sea la situacin inicial, a largo plazo el vector de
estado ser igual al vector de estado firme o fijo t. Si la matriz de transicin es una matriz estocstica
regular o primitiva existe un nico vector de tendencia o estacionario y es un vector positivo (todas sus
componentes son positivas).
Recordemos que el vector fijo t lo podemos obtener dividiendo las componentes del vector formado
por los adjuntos de cualquier columna de la matriz P I por la suma de dichas componentes:

0,5
PI
0,75

0,5
0,75

v 0,75; 0,5

1,25 t 0,6; 0,4

Ejemplo 2: un representante de una distribuidora de libros vende libros de texto en una zona que puede
subdividirse en tres regiones; visita las universidades de una regin cada semana y nunca visita la
misma regin en dos semanas consecutivas. Si en una semana vende en la regin I en la semana
siguiente ir indistintamente a la regin II o a la III. Si en una semana vende en la regin II en la
siguiente ir una vez a la regin III por cada dos veces que vaya a la I, pero si va a la regin III la
prxima semana ir slo a la regin II.
Esta es una cadena de Markov, ya que las probabilidades de que visite una regin u otra dependen
solamente de la regin visitada en la semana precedente. La matriz de transicin ser:
I

II

III

I 0
1 / 2 1 / 2
P II 2 / 3
0
1 / 3
III 0
1
0

v 2 / 3, 1, 2 / 3

1 1 / 2 1 / 2
P I 2 / 3 1 1 / 3
0
1
1

7 / 3 t 2 / 7, 3 / 7, 2 / 7

A largo plazo (despus de muchas semanas siguiendo el mismo esquema) el representante visitar la
regin I y la regin III dos veces cada una por cada 7 semanas y la regin II 3 veces cada 7. De otro
modo: la probabilidad de que est en la regin I o en la regin III es de 2/7 mientras que la
probabilidad de que est en la regin II es de 3/7, independientemente del vector de estado inicial, es
decir, de por dnde haya empezado el recorrido.
Ejemplo 3: las empresas A, B, C y D fabrican la totalidad de cierto producto que se consume en el
pas. Por investigaciones de mercado se ha determinado lo siguiente: de los consumidores que

compran en una semana a la empresa A el 40% compra nuevamente a A la prxima semana y el resto
compra a la empresa C; de los compradores de B, el 40% compra nuevamente a la empresa B, el 20%
a la A y el restante 40% a la D; de los que compran a C el 70% vuelve a comprar a C y el resto compra
a A y de los que compran a D en una semana, el 60% vuelve a comprar a D en la prxima, el 10%
compra a A y el 30% a B. La matriz de transicin de este proceso de Markov es:

A B
C
D
A 0,4
B 0,2
P
C 0,3

D 0,1

0,6

0,4
0
0,3

0
0,7
0

0,6
0,2
PI
0,3

0,1

0
0,4
0

0,6

v 0,026; 0; 0,072; 0

0,6

0,6
0
0,3

0
0,3
0

0
0,4
0

0,4

0,108 t 0,33; 0; 0,67; 0

Si la intencin de compra de los consumidores se mantiene estable, a largo plazo, 1/3 comprar a la
empresa A y 2/3 a la empresa C, quedando B y D fuera del mercado. En este caso el vector fijo t no es
positivo (la matriz P no es regular).
Ejemplo 4: Tres agencias de viajes disponen de informacin respecto de los desplazamientos en
Semana Santa: de las personas que un ao van a la costa, el 60% vuelve a la costa el prximo ao, el
10% va a las sierras y el resto no viaja; de las personas que van a las sierras un ao, el 20% vuelve a
las sierras, el 40% va a la costa y el resto no viaja; de las personas que un ao no viajan, el 30% va a la
costa, el 20% va a las sierras y el resto no viaja el prximo ao. Si este comportamiento se repite qu
porcentaje ir a la costa, a las sierras o no viajarn al cabo de muchos aos?
C
Costa 0,6
P Sierras 0,4
No viajan 0,3

v 0,32

0,11

S
0,1
0,2
0,2

0,28

NV
0,3

0,4
0,5

0,1
0,4
P I 0,4
0,8
0,3
0,2

t 0,45

0,71

0,155

0,3

0,4
0,5

0,395

Ejemplo 5: Los laboratorios A, B y C, que compiten en un mercado oligoplico, se reparten el

mercado en 30%, 20% y 50% respectivamente. Se sabe que el 80% de los clientes del laboratorio A al
mes siguiente vuelven a A, el 10% se vuelca a B y el resto a C. De los clientes de B, el 82% vuelven a
B, el 15% se vuelca a A y el resto a C. De los clientes de C, el 75% vuelven a C, el 13% se vuelca a A
y el resto a B. Si contina este comportamiento cmo se reparten el mercado dentro de 3 meses, de
un ao, a largo plazo?
A
B
C
A
B
C
A 0,8
P B 0,15
C 0,13

p3 0,3767
0,2
P I 0,15
0,13

0,1
0,82
0,12

0,1
0,03
0,75

0,3166 0,3067

0,1
0,18
0,12

0,1
0,03
0,25

A 0,581
b 0,309
C 0,281

0,228
0,599
0,257

0,191
0,092

0,462

p12 0,415 0,370 0,215

v 0,0414

0,037

t 0,4165

0,021

0,3722

0,0994

0,2113

Ejemplo 6: supongamos que la matriz de transicin de una cadena de Markov es

0 1 / 4 1 / 4
1/ 2
0
1
0
0
P
1/ 4
0 1 / 2 1 / 4

0 1 / 2
0 1/ 2

0
1/ 2
0
0
PI
1/ 4
0

1/ 2
0

1/ 4
0
1/ 2
0

1/ 4
0
1/ 4

1 / 2

v 0, 3 / 32, 0, 0 t 0, 1, 0, 0

En este caso se dice que el estado S 2 es un estado absorbente porque una vez que se llega a l no se
sale. Para que una cadena de Markov sea absorbente, adems de tener un estado absorbente, se debe
poder llegar a l desde cualquier otro estado. En una cadena absorbente que tiene un solo estado
absorbente el sistema se encerrar finalmente en ese estado, cualquiera sea la situacin inicial, pero si
hay ms de un estado absorbente la probabilidad de terminar en uno u otro depende del estado inicial.
En una matriz de Markov el estado S i es un estado absorbente si y slo si su fila i -sima tiene un 1
en la diagonal principal pii 1
Ejemplo 7: En cierta poblacin se evalu las condiciones de salud de sus habitantes mayores de 60
aos y se lleg a la conclusin de que el 70% de los que gozan de buena salud un ao siguen en ese
estado el siguiente, el 20% tienen problemas de salud y el restante 10% fallece. De manera similar, de
los enfermos en un ao se considera que el 30% se sana el ao siguiente, el 50% sigue enfermo y el
20% muere. Mediante una matriz de Markov se puede analizar el estado de salud de esa poblacin en
aos sucesivos, si se mantienen las condiciones enunciadas.
B
La matriz de transicin es

0,70
0,30

B
P E
M

0,20
0,50

0,10
0,20

Si la situacin inicial estuviera representada por el vector p 0 0,6; 0,4; 0 la del prximo ao
lo sera por el vector p1 0,54; 0,32; 0,14 y la del siguiente p 2 0,474; 0,268; 0,258 .
Para calcular el vector de tendencia:

0,3
P I 0,3
0

0,2
0,5
0

0,1

0,2
0

t 0,

0, 1 es decir, todos

habrn fallecido, cualquiera sea la situacin inicial.

Si hay ms de un estado absorbente habr ms de un vector de estado fijo (infinitos) y para hallarlos
no se podr utilizar el mtodo de adjuntos (al haber ms de una fila nula en la matriz P-I todos los

t P I
adjuntos de cualquier columna se anulan) sino que habr que resolver el sistema
t i 1
0, 4 0 0,3 0
0
1
0 0

Ejemplo 8: P 0, 2 0,1 0 0, 7

1 0
0 0
0 0
0 0

0,3
0
0 los estados absorbentes son S 2 y S 5 ( S 4 no, porque el 1

0
1
no est en la diagonal principal de P).
Resolvemos el sistema:

 0, 6 t 1 0, 2 t 3 0

0,1 t 3 0

t 1 1/ 3 t 3 0

t 3 0

0,3 t 1 t 3 t 4 0

0, 7 t 3 t 4 0

t 1 t 2 t 3 t 4 t 5 1

t 4 t 3 0,3 t 1 0

t 1 0
t 5 1 t 2

de modo que cualquier vector de la forma t 0, t 2 , 0, 0, 1 t 2 satisface t P = t

Si hay ms de un estado absorbente, la probabilidad de terminar en uno u otro depende del estado
inicial. Si el proceso se inicia en uno de los estados absorbentes, el sistema, a la larga, permanecer en
l. Si no, interesa conocer la probabilidad de que se llegue a cada uno de los estados absorbentes
partiendo de los no absorbentes.
0,4
0,1

Ejemplo 9:
0

0,3
0,1
0
0

0,2
0,6
1
0

0,1
0,2
0

los estados absorbentes son S3 y S4.

Si el estado inicial es el S3 los vectores de estado sucesivos sern siempre los mismos:
p 0 0, 0, 1, 0, p1 0, 0, 1, 0, , p n 0, 0, 1, 0

Si el estado inicial es el S4 los vectores de estado sucesivos sern:

p 0 0, 0, 0, 1 , p 1 0, 0, 0, 1 ,......, p n 0, 0, 0, 1
Pero si el estado inicial es el S1 los estados sucesivos sern:

p 0 1, 0, 0, 0, p1 0,4; 0,3; 0,2; 0,1, p 2 0,19; 0,15; 0,46; 0,2,

, p 5 0,02089; 0,01653; 0,6788; 0,28376,
, p10 0,000527; 0,000417; 0,7052; 0,293856,
, p 20 0,0000003; 0,0000003; 0,7058819; 0,2941175

Si el estado inicial fuera el S2 los estados sucesivos seran:

p 0 0; 1; 0; 0, p1 0,1; 0,1; 0,6; 0,2, p 2 0,05; 0,04; 0,68; 0,23,

, p 5 0,0051; 0,00436; 0,73796; 0,25217 ,
, p10 0,000139; 0,000110; 0,744918; 0,254833,
, p 20 0,00000009; 0,00000007; 0,74509792; 0,25490192

Para calcular directamente la probabilidad a largo plazo de que partiendo de un estado no absorbente
se llegue a uno u otro de los estados absorbentes se arman 2 submatrices con las filas que corresponden
a los estados no absorbentes: una con las columnas que corresponden a los estados no absorbentes, que
se denomina H y otra con las columnas que corresponden a los estados absorbentes que se denomina
G. En las filas que corresponden a los estados absorbentes queda una submatriz nula y una submatriz
identidad. Las submatrices H y I son cuadradas, las otras pueden no serlo.
H G
P
I

En el ejemplo:

0, 4 0,3

0,1 0,1

0, 2 0,1

0, 6 0, 2

se calcula la matriz denominada fundamental: Q I H

1

100 0,9 0,3

51 0,1 0, 6

1, 765 0,588

0,196 1,176

30 10
12 5
17 17 0, 2 0,1 17 17

0,706 0,294
R

y el producto R Q . G
donde r 11

0,745 0,255
10 20 0, 6 0, 2 38 13
51 17
51 17
representa la proporcin que pasa del estado inicial S1 al estado final S 3 : 70,6%; r 12 la proporcin
que pasa del estado inicial S1 al estado final S 4 : 29,4%; r 21 la proporcin que pasa del estado
inicial S 2 al estado final S 3 : 74,5% y r 22 la proporcin que pasa del estado inicial S 2 al estado
final S 4 : 25,5%, entonces si el estado inicial fuera p 0 0, 4; 0, 6; 0; 0 a la larga el vector de
tendencia ser t 0; 0; 0, 7294; 0, 2706

Para cada estado inicial podemos conocer la tendencia multiplicando p 0 por R, donde p 0 es el
vector inicial al que se le han suprimido las componentes que corresponden a los estados absorbentes.
Ejemplo 10: Una empresa clasifica las cuentas de sus clientes en 4 categoras:
1) cuentas nuevas (con saldos que no superan la antigedad de 30 das)
2) cuentas atrasadas (con saldos a cobrar vencidos entre 31 y 90 das)
3) cuentas pagadas y
4) cuentas morosas (con saldos cuyo vencimiento supera los 90 das).
La empresa sigue el criterio de asignar la antigedad de la cuenta segn la factura ms antigua que
sigue sin pagarse (mtodo del saldo total). Por relevamientos realizados anteriormente se sabe que del
total de cuentas nuevas a principio de cada semana, un 30% quedar en esa categora, otro 30% pasar
a la de cuentas atrasadas y el restante 40% estarn pagadas a principios de la prxima semana. De las
cuentas atrasadas, a principios de la semana prxima un 10% seguir en esa categora, un 40% sern
pagadas, un 20% pasar a la categora de morosas y el restante 30% integrar el grupo de nuevas (al
haberse pagado las facturas ms antiguas quedan otras con vencimiento inferior a 30 das).
N A
P M
N 0,3
A 0,3
P

La matriz de transicin ser:

P 0

M 0

N
N 0,3
H
A 0,3

A
0,3
0,1

P
N 0,4
G
A 0,4

0,3

0,4

0,1
0
0

0,4
1
0

0
0,2
0

M
0
0,2

formamos las submatrices H y G

N
Q ( I H ) 1

N 1,6667

A 0,5556

A
0,5556
1,2963

esta matriz nos

indica la cantidad promedio de semanas que el sistema estar en cada uno de los estados no
absorbentes. En este ejemplo, el tiempo esperado de que la cuenta nueva permanezca en ese estado es
de 1 semana y 2/3 (Q11 1,67) , mientras que en promedio permanecer 5/9 de semana como cuenta
atrasada (Q12 0,56) . Si sumamos las componentes de la primera fila obtenemos el tiempo promedio
que tardar una cuenta nueva en pasar a alguno de los estados absorbentes: 2 semanas y 2/9.

Si se multiplica la matriz Q por la submatriz G se obtienen las probabilidades de que los saldos de las
cuentas por cobrar que inicialmente estaban en los estados N A lleguen en algn momento a cada uno
de los estados absorbentes P M:
P
M
R Q G

N 0,8889
A 0,7408

0,1111
0,2592

Si inicialmente el saldo de cuentas nuevas era de $ 100.000.- y el de cuentas atrasadas de $ 400.000.la matriz R nos dice que es probable que finalmente se cobren $ 385.210.- y $ 114.790.- resulten
incobrables, resultado que se obtiene multiplicando el vector p 0 100.000; 400.000 por R.
Una matriz cclica o peridica de transicin es aquella en la que todos los elementos de la diagonal
principal son cero y los dems son cero o uno, sin que se repita el uno en ninguna columna, por
ejemplo:

0
0
P
1

0
0
0
1

0
1
0

1
0
0
0

En este caso, cualquiera sea el estado inicial se vuelve a l

peridicamente: Si p 0 0,2; 0; 0,5; 0,3 ,

p1 0,2; 0; 0,5; 0,3 P 0,5; 0,3; 0,2; 0 ,
p 2 0,5; 0,3; 0,2; 0 P 0,2; 0; 0,5; 0,3 se vuelve al estado original en dos pasos.
0
1
Si la matriz es P
0

0
1
0

0
0
1

1
0
0

p1 0,2; 0; 0,5; 0,3 P 0; 0,5; 0,3; 0,2 ,

p 2 0; 0,5; 0,3; 0,2 P 0,3; 0,2; 0; 0,5 ,

p 3 0,3; 0,2; 0; 0,5 P 0,2; 0; 0,5; 0,3

se vuelve al estado original en tres pasos, de modo que todos los estados tienen igual probabilidad.
El vector de tendencia es: t 1 / 4; 1 / 4; 1 / 4; 1 / 4 .