CADENAS DE MARKOV

Juan Carlos Aldana Bernal

Objetivo
Entender los procesos estocsticos en donde los

resultados de una etapa dependen solamente de los

resultados de la etapa anterior

Procesos estocsticos
Tambin llamado proceso

aleatorio, sucede cuando

los resultados de una
etapa de un proceso o
sucesin de eventos que
se desarrollan en el
tiempo, contienen algn
elemento que depende
del azar.

Definicin de Cadenas de Markov

Una cadena de Markov es
una sucesin de ensayos
similares u observaciones,
en la cual cada ensayo
tiene el mismo nmero
finito de resultados
posibles y en donde la
probabilidad de cada
resultado para un ensayo
dado, depende slo del
resultado del ensayo
inmediatamente
precedente y no de
cualquier resultado previo

Etapa 1

NA

Etapa 2

Depende
de la
etapa 1

Etapa n

Depende
de la
etapa n-1

Antecedentes
Reciben su nombre del matemtico ruso Andrei

Andreevitch Markov (1856-1922), quien las desarroll.

Son cadenas que tienen memoria, recuerdan el ltimo
evento y eso condiciona las posibilidades de los eventos
futuros.
Las probabilidades de transicin permanecen constantes.
Este tipo de proceso presenta una forma de dependencia
simple, pero muy til en muchos modelos:
Una mquina que est funcionando bien en un perodo siga

funcionando as en el siguiente perodo.

Describir la probabilidad que un cliente que compra la marca A en
un perodo compre la marca B en el siguiente.
Si un grupo de personas estn saludables en un ao la
probabilidad que sigan as en el siguiente ao.

Ejemplo Cadena de Markov

La sucesin del poder en un pas en el cual slo existen dos partidos

polticos, el A y B, se puede presentar como:

A-B-A-A-B-B

Si el partido A esta en el poder y existe una probabilidad de de que

el partido A siga en el poder y que lo haga B.

Si el partido B est en el poder y existe una probabilidad de 1/3 de
que el partido A gan la eleccin y 2/3 que lo haga B.
La sucesin de elecciones forman una cadena de Markov, dado que
las probabilidades de los dos resultados de cada eleccin estn
determinadas por el resultado de la eleccin precedente.
Se puede representar como:
1/3

A
B

3/4

A
1/4

B
2/3

A
1/4

B
3/4

1/3

2/3

Anlisis de Cuota de mercado

Se utiliza para analizar el comportamiento de los clientes

respecto a las diferentes opciones de compra en los

supermercados.
Ensayos del
proceso
Son los perodos
semanales o
eventos de
compra del cliente

Estado del Sistema

Probabilidades de
transicin

La opcin o
tienda
seleccionada en
cada compra
Estado 1: Compra
en xito
Estado 2: compra
en Jumbo

Indican la
probabilidad que
un cliente realiza
una transicin de
un estado en un
perodo, a cada
estado en el
perodo siguiente

Probabilidades de transicin
Las probabilidades de transicin son las mismas para

cualquier cliente y no cambian con el tiempo.

P: Probabilidad de realizar una transicin del estado i en
un perodo dado al estado j en el siguiente perodo
Matriz de probabilidades de transicin
P=

P11

P12

P21

P22

La suma de probabilidades de una fila es 1

Probabilidad de estado:
: probabilidad que el sistema este en el estado i en el perodo n
Si 1(0) = 1 y 2(0) = 0, representa que al inicio el cliente compr en la tienda
1
[1(0) 2(0)] = [ 1 0]

Probabilidad de estado
El vector de probabilidades de estado en el perodo n
(n) = [1(n) 2(n)]
Las probabilidades de estado en el perodo n+1 es igual al

producto de las probabilidades de estado del perodo n por la

matriz de probabilidades de transicin
(n+1) = (n)P

Entonces
(1) = (0)P
[1(1) 2(1)] = [1(0) 2(0)]

P11

P12

P21

P22

Cuando se hace un gran nmero de transiciones, las

probabilidades de que el sistema este en un estado en

particular es independiente de su estado inicial, se conocen
como probabilidades de estado estacionario o cuotas de
mercado

Ejemplo Cuota de mercado (1)

En un mercado cerrado slo existe la opcin de comprar

en el xito o en Jumbo, con los siguientes estados:

Estado 1: el cliente compra en el xito
Estado 2: el cliente compra el Jumbo
Las probabilidades de transicin estn dadas de la
siguiente forma:
Perodo de
compras
semana actual

Perodo de compras semana

siguiente
Exito

Jumbo

Exito

0,9

0,1

Jumbo

0,2

0,8

Ejemplo Cuota de mercado (2)

La matriz de probabilidades es:
P=

P11

P12

P21

P22

Semana
0

0,1

0,2

0,8

Semana
2

Probabilidades
luego de dos
semanas

0,9

Compra en el
Exito

(0,9*0,9) = 0,81

0,1

Compra en
Jumbo

(0,9*0,1) = 0,09

0,2

Compra en el
Exito

(0,1*0,2) = 0,02

0,8

Compra en
Jumbo

Semana
1

0,9
Cliente
compra en el
xito

0,9

Compra en el
Exito

0,1
Compra en
Jumbo

(0,1*0,8) = 0,08

Ejemplo Cuota de mercado (2)

(1) = (0)P
[1(1) 2(1)] = [1(0) 2(0)]
[1(2) 2(2)] =

[0,9 0,1]

0,9

0,1

0,2

0,8

0,9

0,1

0,2

0,8

= [0,9

0,1]

= [0,83

0,17]

Probabilidades de estado durante perodos futuros

comenzando con un cliente que compra en el xito

Prob
estado

Perodo (n)

10

1(n)

0,9

0,83

0,78

0,74

0,72

0,70

0,69

0,68

0,68

0,67

2(n)

0,1

0,17

0,21

0,25

0,27

0,29

0,30

0,31

0,32

0,32

Ejemplo Cuota de mercado (2)

Probabilidades de estado durante perodos futuros

comenzando con un cliente que compra en Jumbo

Prob
estado

Perodo (n)

10

1(n)

0,2

0,34

0,43

0,50

0,55

0,58

0,61

0,62

0,64

0,64

2(n)

0,8

0,66

0,56

0,49

0,44

0,41

0,38

0,37

0,36

0,35

Con n suficientemente grande la diferencia entre (n+1) y (n) es

insignificante y se esta en estado estacionario 1(n+1) = 1(n) = 1.
Entonces:
P11 P12
0,9 0,1
[1 2] = [1 2]
= [1 2]
P21 P22
0,2 0,8
1 = 0,9 1 + 0,22 (1)
2 = 0,1 1 + 0,82 (2)

Ejemplo Cuota de mercado (3)

Si tambin se conoce que 1 + 2 = 1 (3)
Y reemplazando en (1) se obtiene:
1 = 0,9 1 + 0,2(1 1)
Entonces 1 = 2/3 y reemplazando en (3) 2 = 1/3
Si se tiene un mercado de 1000 clientes, identifica que a

la larga con probabilidades de estado estacionario de 1

= 2/3 y 2 = 1/3, 667 clientes (1000*2/3) sern del xito y
el resto (333) sern de Jumbo.

Ejercicio Cuota de mercado

Los patrones de compra de dos marcas de pasta dental pueden

expresarse como un proceso de Markov con las probabilidades de

transicin presentadas en la tabla.
Qu marca parece tener mayor lealtad de los clientes, explique?
Cules son las cuotas de mercado proyectadas de cada marca, si se
inicia con Special B (1,0)?
Se plantea una campaa de publicidad para MDA, a fin de atraer
clientes de SpecialD. La gerencia cree que la nueva campaa
incrementar la probabilidad a 0,2 de que un cliente cambie de
SpecialD a MDA. Cul es el efecto proyectado de la campaa
publicitaria en las cuotas de mercado?
A
DE

Special D

MDA

Special B

0,9

0,1

MDA

0,05

0,95

Anlisis de cuentas por cobrar

Las cadenas de Markov tienen tambin aplicacin en las

provisiones de cuotas de dudoso recaudo de las

empresas.
Se establecen los perodos de cobro de acuerdo a las
polticas de las empresas, ej:
CXC de 0-30 das de edad
CxC de 30-90 das de edad

Se identifican los estados, ej:

Estado 1: Categora de CXC pagadas
Estado 2: Categora de CXC incobrable
Estado 3: Categora de CXC de 0-30 das de edad
Estado 4: Categora de CxC de 30-90 das de edad

Probabilidades en CXC
Pij: probabilidad que un peso que esta en el estado i en

una semana cambie al estado j en la siguiente

Con esto y en base a datos histricos se construye la
matriz de probabilidades de transicin:
P=

P11

P12

P13

P14

P21

P22

P23

P24

P31

P32

P33

P34

P41

P42

P43

P44

Estado absorbente: cuando un peso hace transicin al

estado 1 o al estado 2, la probabilidad de hacer transicin
a cualquier otro estado es cero.
Cada unidad siempre termina en un estado absorbente

Matriz fundamental
Se divide la matriz de probabilidades de transicin en

cuatro partes
P=

P11

P12

P13

P14

1,0

P21

P22

P23

P24

1,0

P31

P32

P33

P34

P41

P42

P43

P44

La matriz fundamental N se calcula como:

N = ( )1
En donde I es la matriz identidad
A22/d
-A12/d
A11 A12
1
Si A =
y =
-A21/d A11/d
A21 A22
Donde d = A11*A22 A21*A12

Resultados de cobros de dudoso recaudo

NR =

NR11

NR12

NR21

NR22

La primera fila establece la probabilidad que una unidad en el estado

3 (cxc de 0-30 das) termine en los estados absorbentes 1 NR11 (sea
pagado) 2 NR12 (deuda incobrable).
La fila dos establece lo mismo pero para el estado 4 (cxc de 30-90
das)

Ejemplo: Anlisis de cuentas por cobrar

Una empresa clasifica sus cuentas por cobrar de la siguiente manera

de :
CXC de 0-30 das de edad
CxC de 30-90 das de edad
CxC de +90 das incobrable

El saldo de la cuenta de un cliente a 30 de septiembre es el

siguiente:

Fecha de compra

Cantidad cobrada

15 de agosto

$25

18 de septiembre

$10

28 de septiembre

$50

Se identifican los estados, ej:

Estado 1: Categoria de CXC pagadas
Estado 2: Categoria de CXC incobrable
Estado 3: Categora de CXC de 0-30 das de edad
Estado 4: Categora de CxC de 30-90 das de edad

Ejemplo: Probabilidades en CXC

Pij: probabilidad que un peso que esta en el estado i en

una semana cambie al estado j en la siguiente

De acuerdo con los datos recolectados por la empresa se
construye la matriz de probabilidades de transicin:
P=

P11

P12

P13

P14

P21

P22

P23

P24

P31

P32

P33

P34

0,4

0,3

0,3

P41

P42

P43

P44

0,4

0,2

0,3

0,1

Si se traslada a los primeros dos estados, no se puede

salir de ellos y son estados terminales.

Ejemplo: Matriz fundamental

Se divide la matriz de probabilidades de transicin en

cuatro partes
P=

0,4

0,3

0,3

0,4

0,2

0,3

0,1

=
R

La matriz fundamental N se calcula como:

N = ( )1
1
0
Con
I=
0
1
IQ=

0,3

0,3

0,3

0,1

0,7

-0,3

-0,3

0,9

Ejemplo: Resultados de cobros de

dudoso recaudo
N = ( )1 =
NR =

1,67

0,56

0,56

1,30

1,67

0,56

0,4

0,56

1,30

0,4

0,2

0,89

0,11

0,74

0,26

La primera fila establece la probabilidad que una unidad

en el estado 3 (cxc de 0-30 das) termine en los estados
absorbentes 1 es 0,89 (sea pagado) 2 es 0,11 (deuda
incobrable).
La fila dos establece para el estado 4 (cxc de 30-90 das)
la probabilidad que termine en los estados absorbentes 1
es 0,74 (sea pagado) 2 es 0,26 (deuda incobrable).

Ejemplo: Resultados de cobros de

dudoso recaudo (2)
Si B es un vector que establece B [b1 b2]
Dados por b1: deuda de 0-30 das, y b2 deuda de 31-90

das
Y el saldo de estas cuentas a 31 de diciembre es de b1
=1000 y b2 = 2000.
Se busca determinar de los 3000 cuantos ser cobrado y
cuanto se perder
BNP = [1000 2000]

0,89

0,11

0,74

0,26

BNR = [2370 630]

Lo cual quiere decir que $2370 se recuperarn y $630 no y habr de

provisionarlos.

Bibliografia
Anderson, Mtodos cuantitativos para negocios,

Ed CengageLearning.
Heizer Jay, Direccin de la produccin y de
operaciones, Ed Pearson.

Ejercicio

La gerencia de una empresa cree que la probabilidad de un cliente que

compra su marca Red Pop o a la competencia ms importante de la

empresa, Super Cola, est basada en la compra ms reciente del
cliente. Suponga que las siguientes probabilidades de transicin son
adecuadas:
A
DE

Red Pop

Super Cola

Red Pop

0,9

0,1

Super Cola

0,1

0,9

Muestre el diagrama de rbol de los perodos para un cliente que por

ltima vez compr Red Pop. Cul es la probabilidad que este cliente
compre Red Pop por segunda vez?
Cul es la cuota de mercado de largo plazo para cada uno de estos
productos?
Se plantea una campaa de publicidad para Red Pop, a fin de atraer
clientes de Super Cola. La gerencia cree que la nueva campaa
incrementar la probabilidad a 0,15 de que un cliente cambie de Super
Cola a Red Pop. Cul es el efecto proyectado de la campaa publicitaria
en las cuotas de mercado?

Ejercicio 2
Una causa del tiempo de inactividad en un centro de computo de la

Universidad, se identific como una pieza especifica de un servidor.

La direccin considera que el cambio de la pieza dar como
resultado las siguientes probabilidades de transicin:
DE

A Funcionando

A No funcionando

Funcionando

0,95

0,05

No funcionando

0,60

0,40

Cules son las probabilidades de estado estacionario de que el

sistema este funcionando o no? Si el costo del sistema que no este

funcionando durante cualquier perodo de tiempo se estima en $500
mil (incluidas las utilidades prdidas por inactividad o mantenimiento
durante el tiempo). Cul es el costo de equilibrio del nuevo
componente basado en el tiempo?

Ejercicio: Probabilidades en CXC

Tome la informacin del ejemplo presentado de

Probabilidades en CxC, pero con las siguientes

probabilidades de transicin:
P=

P11

P12

P13

P14

P21

P22

P23

P24

P31

P32

P33

P34

0,5

0,25

0,25

P41

P42

P43

P44

0,5

0,2

0,05

0,25

Si la empresa tiene $400 en la categora de 0-30 das y

$5000 en la categora de 31-90 das, cul es la estimacin
de deudas incobrables que la empresa experimentar?

Ejercicio 2: Probabilidades en CXC

Dada la siguiente matriz de transicin con los estados 1 y

2 como estados absorbentes, cul es la probabilidad que

las unidades que estn en los estados 3 y 4 terminen en
los estados absorbentes:
P=

P11

P12

P13

P14

P21

P22

P23

P24

P31

P32

P33

P34

P41

P42

P43

P44

0,2

0,1

0,4

0,3

0,2

0,2

0,1

0,5

Lecturas
Agent-Based and Individual-Based Modeling, A prectical

introduction. Steven Railsback and Volker Grimn. Se

encuentran en la fotocopiadora de Edificio de Aulas de
Ingeniera, como documentos del profesor Astaiza.
Conforme una pareja con la cual realizar la presentacin
de un capitulo de este libro.