UNIVERSIDAD NACIONAL DE SAN CRISTIBAL DE HUAMANGA

FACULTAD DE INGENIERIA DE MINAS, GEOLOGIA Y CIVIL

ESCUELA PROFESIONAL DE INGENIERIA DE SITEMAS

“CADENA DE MARKOV Y APLIACACIONES”

Curso : Investigación de Operaciones II

Docente : Ing. Vila Huamán, Eloy

Alumnos : Núñez Pérez, Ramiro

Tineo Muñoz, Richard

Cconislla Huamani, Oscar

Paucar García, Rubén

Ayacucho - 2018
 INTRODUCCION
Los procesos de Markov o cadena de markov, forman parte del proceso estocástico como
una herramienta que se basa en las probabilidades y es necesaria en la toma de decisiones
a nivel empresarial debido a que estudia la evaluación de ciertos sistemas de ensayos
repetitivos en un intervalo de tiempo dado. Esta toma de decisiones se realiza en las
distintas áreas como contabilidad, administración, marketing, logística personal, entre
otros.

En el mundo actual, el manejo de pronósticos tiene gran importancia para disminuir el

riesgo cuando se tiene que tomar decisiones importantes en el ámbito empresarial e
inversionista. en varios departamentos de una empresa se hace necesario el uso de estos
como herramienta fundamental para el funcionamiento corporativo, ejemplo estos son: el
departamento de compras, de manufactura y de ventas, ya sea con el propósito de
determinar volúmenes de ventas, compras, nivel de operación, demandas, o con otros
propósitos un poco menos comunes como planes para desarrollar plantas nuevas,
elaboración de nuevos productos, nuevos métodos de ensamble o planes de
financiamiento.

Es vital tener en cuenta que muchos aspectos empresariales no se debe dejar al azar ni se
debe confiar en la intuición, realizar pronósticos es una tarea que puede representar una
gran ayuda en toda decisión que se deba tomar bajo riesgo, ya que todo lo demás depende
de la buna información histórica que se posea, de la evolución del mercado y de la
elección de un buen método de pronóstico, los cuales pueden resultar muy útiles y pueden
determinar la detección de un fenómeno, ya sea positivo o negativo a tiempo para
convertirlo en una ventaja o una desventaja de la empresa.
Tabla de Contenido

I. MARCO TEORICO ................................................................................................4

CADENA DE MARKOV ................................................................................................4
PROCESO ESTOCÁSTICO ................................................................................................. 4
CADENA DE MARKOV .................................................................................................... 4
CADENA DE MARKOV EN TIEMPO DISCRETO ................................................... 6
II. EJERCICIOS...........................................................................................................7
III. APLICACIONES DE CADENA DE MARKOV............................................20
CADENAS DE MARKOV APLICADAS AL ANÁLISIS DE LA EJECUCIÓN DE PROYECTOS DE
INVESTIGACIÓN............................................................................................................ 20
PROBABILIDADES DE ABSORCIÓN POR LOS ESTADOS ABSORBENTES ............................ 23
APLICACIÓN AL SISTEMA DE ATENCIÓN ...................................................................... 25
CONCLUSIONES ...................................................................................................... 27
IV. BIBLIOGRAFIA ...............................................................................................28
 I. MARCO TEORICO

CADENA DE MARKOV
Proceso Estocástico
Según Hillier y Lieberman (2010), Un proceso estocástico se define como una colección
indexada de variables aleatorias {X}, donde el índice t toma valores de un conjunto T
dado. Con frecuencia T se considera el conjunto de enteros no negativos mientras que Xt,
representa una característica de interés cuantificable en el tiempo t. Por ejemplo, Xt puede
representar los niveles de inventario al final de la semana t. Los procesos estocásticos son
de interés para describir el comportamiento de un sistema en operación durante algunos
periodos. Un proceso estocástico tiene la siguiente estructura.

La condición actual del sistema puede estar en una de M + 1 categorías mutuamente

excluyentes llamadas estados. Por conveniencia en la notación, estos estados se etiquetan
0, 1, 2, . . ., M. La variable aleatoria Xt representa el estado del sistema en el tiempo t, de
manera que sus únicos valores posibles son 0, 1, . . ., M. El sistema se observa en puntos
del tiempo dados, etiquetados 𝑡 = 0, 1, 2, . .. De esta forma, los procesos estocásticos
{𝑋0 , 𝑋1 , 𝑋2 , … } proporcionan una representación matemática de la forma en que
evoluciona la condición del sistema físico a través del tiempo. Este tipo de procesos se
conocen como procesos estocásticos de tiempo discreto con espacio de estados finito.

Cadena de Markov
Winston (2005), Un tipo especial de proceso discreto en el tiempo se llama cadena de
markov. Para simplificar la exposición, se supone que en cualquier instante, el proceso
estocástico discreto en el tiempo puede estar en un numero finito de estados identificados
con 1,2, … , 𝑠.

Un proceso estocástico discreto en el tiempo es una Cadena de Markov, si para 𝑡 =

0,1,2, … y los estados.

𝑃(𝑋𝑡+1 = 𝑖𝑡+1 |𝑋𝑡 = 𝑖𝑡 , 𝑋𝑖−1 = 𝑖𝑡−1 , … , 𝑋1 = 𝑖1 , 𝑋0 = 𝑖0 ) = 𝑃(𝑋𝑡+1 = 𝑖𝑡+1 |𝑋𝑡 = 𝑖𝑡 )...

(1)
Básicamente, (1) dice que la distribución de probabilidad del estado en el tiempo 𝑡 + 1
depende del estado en el tiempo 𝑡(𝑖𝑡 ) y no depende de los estados por los que pasa la
cadena en el camino a 𝑖𝑡 en el instante 𝑡.

En el estudio de las cadenas de Markov, se hace la suposición adicional de que para los
estados 𝑖 𝑦 𝑗 para toda 𝑡, 𝑃(𝑋𝑡+1 = 𝑗|𝑋𝑡 = 𝑖) es independiente de 𝑡. Esta suposición
permite escribir.

𝑃(𝑋𝑡+1 = 𝑗|𝑋𝑡 = 𝑖) = 𝑝𝑖𝑗 … (2)

Donde 𝑝𝑖𝑗 es la probabilidad de que dado que el sistema está en el estado 𝑖 en el tiempo
𝑡, estará en un estado 𝑗 en el tiempo 𝑡 + 1. Si el sistema se mueve del estado 𝑖 durante un
periodo al estado 𝑗 durante el siguiente periodo, se dice que ocurrio una transición de 𝑖 a
𝑗.

Las 𝑝𝑦 se denominan probabilidad de transición para la cadena de Markov.

La ecuación (2) implica que la ley de probabilidad que relaciona el estado del siguiente
periodo con el estado actual no cambia (o permanece estacionaria) con el tiempo. Por esta
razón, (2) se llama cadena de Markov estacionaria.

Nuestro estudio de las cadenas de Markov también requiere que definamos 𝑞𝑖 como la
probabilidad de que la cadena está en el estado 𝑖 en el tiempo 0; en otras palabras,
𝑃(𝑋0 = 𝑖) = 𝑞𝑖 .

Llamamos al vector 𝑞 = [𝑞1 , 𝑞2 … 𝑞𝑛 ] 𝑑𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑐𝑖𝑜𝑛 𝑑𝑒 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑑𝑎𝑑 𝑖𝑛𝑖𝑐𝑖𝑎𝑙 para la

cadena de Markov. En la mayoría de las aplicaciones, las probabilidades de transmisión
se muestra como una matriz de probabilidad de transición 𝑃 de orden 𝑠 𝑋𝑠. La matriz de
probabilidad de transición 𝑃 se puede escribir como.

𝑝11 𝑝12 ⋯ 𝑝1𝑥

𝑃= [ ⋮ ⋱ ⋮ ]
𝑝𝑥1 𝑝𝑥2 ⋯ 𝑝𝑥𝑥

Dado que el estado en el tiempo 𝑡 es 𝑖, el proceso en alguna parte debe estar en el tiempo
𝑡 + 1. Esto significa que para cada 𝑖.

𝑗=𝑥

∑ 𝑃(𝑋𝑖+1 = 𝑗|𝑃(𝑋𝑡 = 𝑖)) = 1

𝑗=1
 𝑗=𝑥

∑ 𝑝𝑦 = 1
𝑗=1

También sabemos que cada elemento de la matriz 𝑃 debe ser no negativo. Por
consiguiente, los elementos de la matriz de probabilidad de transición son no negativos,
y la suma de los elementos de cada región debe ser igual a 1.

CADENA DE MARKOV EN TIEMPO DISCRETO

Cadena es un proceso estocástico con espacio de estados discreto. Jiménez (2016),

Cadena en tiempo discreto, es un proceso estocástico en tiempo discreto con espacio de

estados discretos. Jiménez (2016),

Un proceso estocástico {𝑋𝑛 , 𝑛 = 0,1,2, … } es una cadena de Markov en Tiempo

Discreto, si para cada 𝑛 y 𝑥𝑗 , 𝑗 = 0, … , 𝑛 + 1, se verifica.

𝑃(𝑋𝑛+1 = 𝑥𝑛+1 |𝑋𝑛 = 𝑥𝑛 , … , 𝑋0 = 𝑥0 ) = 𝑃(𝑋𝑛+1 = 𝑥𝑛+1 |𝑋𝑛 = 𝑥𝑛 )

La probabilidad de transición en un paso del estado 𝑥𝑛 𝑎𝑙 𝑥𝑛+1 en el instante 𝑛 + 1 𝑒𝑠:

𝑝𝑥𝑛𝑥𝑛+1 (𝑛) = 𝑃(𝑋𝑛+1 = 𝑥𝑛+1 |𝑋𝑛 = 𝑥𝑛 ), 𝑥𝑛 , 𝑥𝑛+1 ∈ 𝑆

La cadena de markov discreto se denomina homogéneo si 𝑝𝑖𝑗 (𝑛) no depende de 𝑛, es

decir:

𝑃(𝑋𝑛+1 = 𝑗|𝑋𝑛 = 𝑖) = 𝑃(𝑋𝑛+𝑚+1 = 𝑗|𝑋𝑛+𝑚 = 𝑗)

En tales casos escribiremos 𝑝𝑖𝑗 en lugar de 𝑝𝑖𝑗 (𝑛).

La matriz formada por las probabilidades de transición es un paso se denomina matriz de

transición o matriz de probabilidades de transición y toma la forma.

P es una matriz cuadrada no negativa cuyas filas suman la unidad, es decir, 0 ≤ 𝑝𝑖𝑗 ≤
1 𝑦 ∑𝑗 𝑝𝑖𝑗 = 1 y para cada 𝑖 ∈ 𝑆. Por lo tanto, P es una matriz estocástica.
Gráficamente, una cadena de markov en tiempo discreto con espacio de estados finito se
puede representar mediante un diagrama de transición, es decir, mediante un grafo
dirigido finito, donde cada nodo representa un estado de la cadena, los arcos representan
las posibles transiciones entre estados y sobre los arcos se indican las probabilidades de
transición entre los estados representados por los nodos unidos por cada arco.

II. EJERCICIOS

1. El departamento de estudios de mercado de una fábrica estima que el 20% de la gente

que compra un producto un mes, no lo comprará el mes siguiente. Además, el 30%
de quienes no lo compren un mes lo adquirirá al mes siguiente. En una población de
1000 individuos, 100 compraron el producto el primer mes. ¿Cuántos lo comprarán
al mes próximo? ¿Y dentro de dos meses? (Vargas A, J R)
Solución
Para resolver este tipo de problemas, lo primero es hacer un esquema.
A la vista del esquema podemos pasar a construir la matriz de probabilidades de
transición:

0.70 Del 100% de clientes que compra en un

Compran el producto
mes un producto el 20% no compra el
mes siguiente, o sea el 80% lo sigue
comprando el siguiente mes.

0.80 No compran el Del 100% de clientes que quienes no lo

producto compran en un mes, solo el 30% lo
adquieren el mes siguiente. O sea, el
70% no lo compran el siguiente mes.
 Cálculo: con esa información construimos la matriz 2x2. 𝑃(0) representa la situación.

Inicial

𝐸𝑙 𝑝𝑟𝑖𝑚𝑒𝑟 𝑚𝑒𝑠 𝑐𝑜𝑚𝑝𝑟𝑎𝑟á𝑛 𝐶 = 350 𝑦 𝑛𝑜 𝑐𝑜𝑚𝑝𝑟𝑎𝑟á𝑛 𝑁 = 650

𝐸𝑙 𝑠𝑒𝑔𝑢𝑛𝑑𝑜 𝑚𝑒𝑠 𝑐𝑜𝑚𝑝𝑟𝑎𝑟á𝑛 𝐶 = 475 𝑦 𝑛𝑜 𝑐𝑜𝑚𝑝𝑟𝑎𝑟á𝑛 𝑁 = 525

2. En una población de 10,000 habitantes, 5000 no fuman, 2500 fuman uno o menos de
un paquete diario y 2500 fuman más de un paquete diario. En un mes hay un 5% de
probabilidad de que un no fumador comience a fumar un paquete diario, o menos, y
un 2% de que un no fumador pase a fumar más de un paquete diario. Para los que
fuman un paquete, o menos, hay un 10% de probabilidad de que dejen el tabaco, y
un 10% de que pasen a fumar más de un paquete diario. Entre los que fuman más de
un paquete, hay un 5% de probabilidad de que dejen el tabaco y un 10% de que pasen
a fumar un paquete, o menos. ¿Cuántos individuos habrá de cada clase el próximo
mes? (Vargas A, J R)
 Solución

0.80

Fuman 1 o
menos de
1 cajetilla
diario

0.93
Fuman 1 o
menos de
1 cajetilla
diario

Fuman 1 o
menos de
1 cajetilla
diario

0.85

0 1 2
0 0.93 0.05 0.02
𝑃1 =
1 0.10 0.80 0.10
2 0.05 0.10 0.85

𝑁𝐹 = 𝑁𝑜 𝑓𝑢𝑚𝑎𝑛
𝐹𝐶 = 𝐹𝑢𝑚𝑎𝑛 𝑢𝑛𝑜 𝑜 𝑚𝑒𝑛𝑜𝑠 𝑑𝑒 𝑢𝑛 𝑝𝑎𝑞𝑢𝑒𝑡𝑒 𝑑𝑖𝑎𝑟𝑖𝑜𝑠
𝐹𝐶𝐶 = 𝐹𝑢𝑚𝑎𝑛 𝑚á𝑠 𝑑𝑒 𝑢𝑛 𝑝𝑎𝑞𝑢𝑒𝑡𝑒 𝑑𝑖𝑎𝑟𝑖𝑜
 𝐷𝑒𝑠𝑝𝑢é𝑠 𝑑𝑒 𝑢𝑛 𝑚𝑒𝑠 ℎ𝑎𝑏𝑟á𝑛 𝑁𝐹 = 5025, 𝐹𝐶 = 2500, 𝐹𝐶𝐶 = 2475

3. El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro piso.
El piso en el que finaliza el viaje n-ésimo del ascensor sigue una cadena de Markov.
Se sabe que la mitad de los viajes que parten del bajo se dirigen a cada uno de los
otros dos pisos, mientras que, si un viaje comienza en el primer piso, sólo el 25% de
las veces finaliza en el segundo. Por último, si un trayecto comienza en el segundo
piso, siempre finaliza en el bajo. (Vargas A, J R). Se pide:
a. Calcular la matriz de probabilidades de transición de la cadena
b. Dibujar el gráfico asociado.
c. ¿Cuál es la probabilidad de que, a largo plazo, el ascensor se encuentre
en cada uno de los tres pisos.
Solución:
a. Los estados de la cadena los denotaremos por {0, 1, 2} haciendo
corresponder el 0 al bajo y 1 y 2 al primer y segundo piso respectivamente.
Las probabilidades de transición son: 𝑃00 = P(Rn=0 / Rn-1=0), esto es la
probabilidad de que el ascensor se encuentre en la planta baja si en la etapa
anterior estaba en la planta baja. Obviamente es 0, porque se supone que de
etapa a etapa el ascensor se mueve. 𝑃01 = P (Rn=1 / Rn-1=0), esto es la
probabilidad de que el ascensor se encuentre en la planta primera si en la
etapa anterior estaba en la planta baja. Obviamente es ½. Basta leer el
enunciado. Y así sucesivamente vamos obteniendo las distintas
probabilidades de transición cuya matriz es:

b.
 𝑞⃗. 𝑃 = 𝑞
⃗⃗⃗⃗ siendo q = (x, y, z) los valores de las probabilidades pedidas, añadiendo
la ecuación x+ y+ z = 1

sistema:

4. Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para evitar

desplazamientos innecesarios está todo el día en la misma ciudad y allí pernocta,
desplazándose a otra ciudad al día siguiente, si no tiene suficiente trabajo. Después
de estar trabajando un día en C, la probabilidad de tener que seguir trabajando en
ella al día siguiente es 0.4, la de tener que viajar a B es 0.4 y la de tener que ir a
A es 0.2. Si el viajante duerme un día en B, con probabilidad de un 20% tendrá
que seguir trabajando en la misma ciudad al día siguiente, en el 60% de los casos
viajará a C, mientras que irá a A con probabilidad 0.2. Por último, si el agente
comercial trabaja todo un día en A, permanecerá en esa misma ciudad, al día
siguiente, con una probabilidad 0.1, irá a B con una probabilidad de 0.3 y a C con
una probabilidad de 0.6. (Vargas A, J R)
a. Si hoy el viajante está en C, ¿cuál es la probabilidad de que también
b. tenga que trabajar en C al cabo de cuatro días?
c. ¿Cuáles son los porcentajes de días en los que el agente comercial está
en cada una de las tres ciudades?
Solución:
a. La matriz de transición P es la siguiente para el orden A, B, C.

4
El inciso a) consiste en averiguar el término 𝑃33 , es decir el término que ocupa
la tercera fila y la tercer columna de la matriz 𝑃4 , lo cual se obtiene con la fila 3
y columna 3 de 𝑃2 cuyos valores son.

𝑃4 = 9/50 ∗ 12/25 + 3/10 ∗ 12/25 + 13/25 ∗ 13/25

= 0.0864 + 0.1440 + 0.2704 = 𝟎. 𝟓𝟎𝟎𝟖
b. Nos piden las probabilidades estacionarias. Para ello hay que resolver el
siguiente sistema:
 Desarrollando resulta el sistema de ecuaciones lineales:

Elimino y en las dos primeras: -33x+12z = 0, y elimino y en las dos últimas: 12z=6;
de ambas se deduce que: x =2/11=0.1818; y = 7/22 = 0.3181; z = 0.5.

En porcentajes serían el 18.18% para la ciudad A, el 31.81 para B y el 50% para la

ciudad C.

5. Suponga que toda la industria de refresco produce dos colas: Coca Cola y Pepsi Cola.
Cuando una persona ha comprado Coca Cola hay una probabilidad de 90% de que
siga comprándola la vez siguiente. Si una persona compró Pepsi, hay 80% de que
repita la vez siguiente. (Vargas A, J R). Se pide:
a. Si una persona actualmente es compradora de Pepsi. ¿Cuál es la probabilidad
de que compre Coca Cola pasadas dos compras a partir de hoy?
b. Si en la actualidad una persona es comprador de Coca Cola. ¿Cuál es la
probabilidad de que compre Coca Cola pasadas tres compras a partir de
ahora?
c. Supongamos que el 60% de toda la gente toma hoy Coca Cola y el 40% Pepsi.
A tres compras a partir de ahora, ¿Qué fracción de los compradores estará
tomando Coca Cola?
Solución:
La situación se puede modelar como una cadena de Markov con dos estados
{Coca-Cola, Pepsi-Cola} = {C, P}. La matriz de transición para el orden C,
P, es:

a. Se pide la probabilidad de transición en dos pasos, es decir que se pide el

valor en fila 2, columna 1 para la matriz P, obteniéndose que este es: 0.2.0.9
+ 0.8.0.2 =0.34
 b. Al igual que en el apartado anterior se pide el valor de probabilidad de
transición en fila 1 y columna 1 para la matriz P. La matriz es:

La solución 0.781 de que una persona que consume Coca cola pasada tres
compra consuma Coca cola.

c. El vector de probabilidad inicial es (0.6, 0.4), por tanto, la probabilidad de

consumir ambos estados a partir de tres etapas es:

esto es que al cabo de tres compras el 64.38% comprará Coca Cola y el

35.62% comprará Pepsi Cola.
d. El estado estable se determina resolviendo el sistema de ecuaciones:

Añadiendo la ecuación x + y =1 siendo x la probabilidad de que una persona

compre Coca Cola a largo plazo y lo mismo de que compre Pepsi Cola.

Observe que las dos primeras ecuaciones son iguales, por lo que trabaremos
con las dos últimas, resultando x=2/3; y= 1/3

6. En una Unidad de Cuidados Intensivos en un determinado hospital, cada paciente

es clasificado de acuerdo a un estado crítico, serio o estable. Estas clasificaciones
son actualizadas cada mañana por un médico internista, de acuerdo a la evaluación
experimentada por el paciente. Las probabilidades con las cuales cada paciente se
mueve de un estado a otro se resumen en la tabla que sigue. (Vargas A, J R):

Crítico Serio Estable

Crítico 0.6 0.3 0.1
Serio 0.4 0.4 0.2
 estable 0.1 0.4 0.5

¿Cuál es la probabilidad que un paciente en estado crítico un día jueves esté

estable el día sábado?
Solución
Sea 𝑋𝑛 la variable aleatoria que indica el estado que se encuentra un paciente
cualquiera en el hospital en el día n. Los valores posibles para dicha variable son
C, S y E, representando los estados crítico, serio y estable, respectivamente. Un
grafo que representa dicho proceso estocástico dada la tabla anterior es:

La probabilidad de que un paciente esté en estado crítico el día jueves y que el día
2
sábado esté estable, está dado por: 𝑃𝐶𝐸 es decir, la probabilidad de pasar del estado
crítico al estado estable al cabo de 2 etapas (días).

Notar que de forma equivalente se pueden utilizar las ecuaciones

matriciales: 𝑓 𝑛 = 𝑃𝑇 ∗ 𝑓 𝑛−1 :

Se comprueba que la probabilidad de pasar del estado crítico al estado estable al

cabo de 2 etapas es de un 17%.
7. Una empresa está considerando utilizar Cadenas de Markov para analizar los
cambios en las preferencias de los usuarios por tres marcas distintas de un
determinado producto. El estudio ha arrojado la siguiente estimación de la matriz
de probabilidades de cambiarse de una marca a otra cada mes:

1 2 3
1 0.80 0.10 0.10
2 0.03 0.95 0.02
3 0.20 0.05 0.75

Si en la actualidad la participación de mercado es de 45%, 25% y 30%,

respectivamente. ¿Cuáles serán las participaciones de mercado de cada marca en
dos meses más? (Vargas A, J R).
Solución
En primer lugar, definimos la variable aleatoria 𝑋𝑛 que representa la marca que
adquiere un cliente cualquiera en el mes n. Dicha variable aleatoria puede adoptar
los valores 1,2,3 en el mes n=0,1,2, 3...
Adicionalmente conocemos cuál es la distribución inicial y la matriz de
probabilidades de transición en una etapa tal como se observa a continuación:

Luego para conocer la distribución de las participaciones de mercado al cabo de 2

meses (2 etapas) podemos utilizar la fórmula: 𝑓 𝑛 = 𝑃𝑇 ∗ 𝑓 𝑛−1
 Se concluye que las cuotas de mercado (participaciones de mercado) en dos meses
ha cambiado de un 45% a un 40.59%; de un 25% a un 33.91% y de un 30% a un
25.50%, para las marcas 1,2 y 3 respectivamente.

8. En el Perú existen 3 operadores principales de telefonía móvil como lo son Bitel,

Claro y movistar (estados).
Los porcentajes actuales que tiene cada operador en el mercado actual son para
Bitel 0.4 para Claro 0.25 y para movistar 0.35. (estado inicial)
Se tiene la siguiente información un usuario actualmente de Bitel tiene una
probabilidad de permanecer en Bitel de 0.60, de pasar a Claro 0.2 y de pasarse a
movistar de 0.2; si en la actualidad el usuario es cliente de Claro tiene una
probabilidad de mantenerse en Claro del 0.5 de que esta persona se cambie a Bitel
0.3 y que se pase a movistar de 0.2; si el usuario es cliente en la actualidad de
movistar la probabilidad que permanezca en movistar es de 0.4 de que se cambie
a Bitel de 0.3 y a Claro de 0.3. (Vargas A, J R).
Partiendo de esta información podemos elaborar la matriz de transición.

Bitel Claro Movistar

Bitel
Claro 0.3 0.5 0.2
Movistar 0.3 0.3 0.4

La suma de las probabilidades de cada estado en este caso operador deben ser
iguales a 1.
Solución
Po= (0.4 0.25 0.35) → estado inicial
 Ahora procedemos a encontrar los estados en los siguientes pasos o tiempos, esto
se realiza multiplicando la matriz de transición por el estado inicial y así
sucesivamente, pero multiplicando por el estado inmediatamente anterior.

Bitel Claro Movistar

E1 Bitel 0.6 0.2 0.2
E2 Claro 0.3 0,5 0.2
E3 Movistar 0,3 0.3 0.4

Como podemos ver la variación en el periodo 4 al 5 es muy mínima casi

insignificante podemos decir que ya se ha llegado al vector o estado estable.

9. Suponga que en el mercado se consiguen 3 tipos de gaseosas colas que son: coca
cola, Pepsi cola y big cola cuando una persona ha comprado coca cola existe una
probabilidad de que la siga consumiendo del 75%, un 15% de que compre Pepsi
cola y un 10% de que compre big cola; cuando el comprador actualmente consume
Pepsi existe una probabilidad de que la siga comprando de 60%, un 25% que
compre coca cola y un 15% big cola; si en la actualidad consuma big cola la
probabilidad de que la siga consumiendo es del 50%, un 30% que compre coca
cola y 205 Pepsi cola. (Vargas A, J R).
En la actualidad cada marca coca cola, Pepsi y big cola tienen los siguientes
porcentajes en participación en el mercado respectivamente (60% 30% 10%)
 Elaborar la matriz de transición
 Hallar la probabilidad que tiene cada marca en el periodo 5

Solución
Matriz de transición
 III. APLICACIONES DE CADENA DE MARKOV

Cadenas de markov aplicadas al análisis de la ejecución de proyectos de

investigación
Un proyecto de investigación (en lo adelante el proyecto) tiene como duración mínima
un año. Estos se inspeccionan mensualmente para verificar el cumplimiento del
cronograma y de los resultados esperados. Como resultado de la inspección, un proyecto
puede encontrarse en cuatro estados: ejecución normal, atrasado, cancelado o terminado.

Se realizó una revisión de datos históricos de los proyectos de investigación de la

Facultad, en el período comprendido en el trienio 2013 – 2015, así como los expedientes
de los mismos. Se pudo determinar que, si un proyecto en la inspección anterior quedó
en ejecución normal, tiene una probabilidad de 0.40 de permanecer en ejecución normal
o de terminarse, aunque una probabilidad de 0.20 de atrasarse. Si en la pasada inspección
quedó atrasado, tiene una probabilidad de 0.50 de seguir con atrasos, 0.40 de ser
cancelado y un 0.10 de recuperar el atraso y pasar a ejecución normal. Los proyectos que
pasen a la condición de cancelados o terminados se les cierra el expediente.

(Holguín, 2008)

Considerando que la secuencia de estados por lo que puede transitar el proyecto, se

comporta como un proceso estocástico, especialmente como una cadena de Markov, se
necesita realizar un análisis, que permitan determinar:

 El número total promedio de inspecciones que tendrán lugar antes de que el

proyecto se termine o sea cancelado si se encuentra en ejecución normal o
atrasada.
 La probabilidad que tiene un proyecto de terminar o ser cancelado, si comienza
en ejecución normal o en estado atrasado.

Por la naturaleza del mismo, y por la solidez de los datos con que se contaba, se decidió
utilizar métodos cuantitativos para la toma de decisiones, a partir de un enfoque
estocástico, especialmente visto el proceso como una cadena de Markov, ya que se puede
considerar como un sistema constituido por una serie de eventos, en el cual la
probabilidad de que ocurra un evento depende del evento inmediato anterior. Esta
dependencia las distingue de las series de eventos independientes. De ahí que se defina
como un proceso estocástico que cumple con la propiedad de Markov, que plantea que,
si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda
la información relevante para describir en probabilidad su estado futuro.

Para ello se definieron los diferentes estados por lo que podían transitar los proyectos de
ejecución durante su ciclo de vida. Ellos son:

 E: Ejecución normal.
 A: Atrasado.
 C: Cancelado.
 T: Terminado.

Teniendo en cuenta las probabilidades anteriores, se definió la matriz de transición, como

se muestra en la Tabla 1.

Tabla 1. Matriz de transición de los estados

E A C T
E 0.40 0.20 0 0.40
A 0.10 0.50 0.40 0
C 0 0 1 0
T 0 0 0 1

A partir de la tabla anterior, se definió el diagrama de transición de los estados, el cual se

muestra en la Figura 1.

Como se puede observar en el diagrama, la cadena cuenta con dos conjuntos:

 Conjunto transigente, compuesto por los estados en los que se puede llegar a
cualquier otro estado desde cualquier estado de este, pero una vez que se
abandona, nunca más se podrá alcanzar: {E, A}.
  Conjunto absorbente o ergódico, compuesto por los estados a los que se puede
llegar desde cualquier estado, pero no podrá salir: {C, T}7.

Al observar que la cadena está formada por conjuntos ergódicos y conjuntos transigentes,
se puede decir que la cadena es una cadena reducible, ya que independientemente del
estado donde se parta, la probabilidad de que el proyecto esté en un estado ergódico tiende
a 1 después de n inspecciones. Para un número grande de inspecciones el proceso quedará
atrapado o reducido a los estados ergódicos o absorbentes. Luego esta cadena es una
cadena de Markov reducible absorbente.

Resultados y discusión

Matriz fundamental

Se obtuvo la forma canónica de la matriz de transición (ver Tabla 2).

Como se puede apreciar, la submatriz de estados transigentes Q es la señalada con el

fondo azul, la cual servirá para determinar la matriz fundamental, concepto que permite
en gran medida dar respuestas a las interrogantes planteadas.

Luego se obtuvo la diferencia [I – Q], donde I es la matriz idéntica de igual orden a la

matriz Q, obtenida anteriormente.
Al hallar la transpuesta de la matriz anterior que al ser de orden 2 por definición es la
inversión de la diagonal principal y el cambio de signo del resto de sus elementos, y a la
vez hallar el determinante de [I – Q], resultando que | [I – Q]| = 0.28, se obtuvo la matriz
fundamental (en lo adelante MF):

Interpretación:

 Un proyecto de investigación que se inicie en ejecución normal tiene como

promedio 1.79 inspecciones mensuales donde estará en ejecución normal y 0.71
meses de atrasos, antes de terminar o ser cancelado.
 Un proyecto de investigación que reinicie su ejecución en estado atrasado tiene
como promedio 0.36 inspecciones mensuales donde estará en ejecución normal y
2.14 meses de atrasos, antes de terminar o ser cancelado.
 De la primera fila de MF, se obtiene que 1.79 + 0.71 = 2.50, lo que significa que
un proyecto de investigación que se inicie en ejecución normal estará 2.50
inspecciones mensuales como promedio en ejecución antes de terminar o ser
cancelado.
 De forma análoga, de la segunda fila de MF, se obtiene que 0.36 + 2.14 = 2.50, lo
que significa que un proyecto de investigación que se reinicie en un estado
atrasado estará 2.50 inspecciones mensuales como promedio en ejecución antes
de terminar o ser cancelado.

Probabilidades de absorción por los estados absorbentes

Como existen dos estados absorbentes, se hallarán los vectores de probabilidades de
absorción: XT (vector de probabilidades de absorción por el estado absorbente:
Terminado) y XC (vector de probabilidades de absorción por el estado absorbente:
Cancelado).

XT= MFX RT
Donde RT es el vector correspondiente a la transición de los estados transigentes al estado
absorbente T, el cual se toma de la matriz de transición en su forma canónica. (Holguín,
2008)

Luego
Interpretación:
Esto significa que un proyecto de investigación tiene una probabilidad de ser absorbido
por el estado T de 0.72 si inicia en ejecución normal y de 0.15 si reinicia en el estado de
atrasado. De forma análoga se calcula XC:
XC= MFX RC
Donde RC es el vector correspondiente a la transición de los estados transigentes al estado
absorbente C, el cual se toma de la matriz de transición en su forma canónica.

Luego
Interpretación:
Esto significa que un proyecto de investigación tiene una probabilidad de ser absorbido
por el estado C de 0.28 si inicia en ejecución normal y de 0.86 si reinicia en el estado de
atrasado.
Se puede comprobar que, al cabo de un número determinado de inspecciones mensuales,
el proyecto estará en uno de los dos estados absorbentes. Esto se puede comprobar de la
siguiente forma:

Los resultados mostraron que:

  Existe una alta probabilidad de que un proyecto que inicie con ejecución normal
pueda terminar sin caer en atrasos.
 Se debe trabajar de manera intencional y sostenida con los proyectos atrasados
para poder llevarlos a ejecución normal, y puedan terminar.
 Los proyectos en ejecución normal o atrasada estarán en ejecución de dos a tres
inspecciones como promedio antes de cerrar sus expedientes, bien sea por haber
terminado o haber sido cancelados.

Aplicación al Sistema de Atención

Dado un sistema de atención o prestación de un servicio cualquiera a clientes de cualquier
naturaleza, se quiere estudiar las características del proceso de atención y de eventual
espera en cola de los clientes (problema de análisis) o determinar la configuración de los
canales de atención para satisfacer un objetivo de nido (problema de diseño o síntesis).
(Rojo y Miranda, 2008).

Las principales características de estos procesos son las siguientes:

 arribos de unidades a intervalos de tiempo regulares o irregulares a un sistema

integrado por un centro de atención o servicio (canales) y un centro de espera
(cola).
 el centro de servicio puede estar constituido por una o varias estaciones o canales
y cada unidad debe pasar por una (o eventualmente varias) estación con el fin de
recibir un servicio de duración aleatoria.
 la duración del servicio y el régimen de arribos definen que las unidades puedan
tener que esperar que una estación se encuentre disponible, formando colas o
líneas de espera.

Como ejemplo de estos procesos pueden mencionarse los siguientes:

La estructura de estos sistemas con sus elementos básicos puede representarse

de la siguiente manera:

Según que la naturaleza del estudio sea de análisis o de diseño, los interrogantes que
surgen en el problema pueden estar dados por:

Además, el objetivo del problema puede ser:

Para el cálculo del número medio de clientes en el sistema es preciso de unir una variable
aleatoria de estado i = n que represente al número de clientes en el sistema. En función
de la misma será:
 CONCLUSIONES
El enfoque estocástico se presenta muchas veces en los procesos administrativos, ya que
existen variables aleatorias, cuyos valores son estados característicos de los mismos. Las
Cadenas de Markov constituyen una herramienta eficiente para el análisis a corto y a largo
plazo de procesos que cambian de estado con el transcurso del tiempo, en los que la
probabilidad de estar en un estado determinado depende del estado en el cual se
encontraba el sistema.

El análisis de la ejecución de proyectos de investigación en Salud pudo considerarse como

una cadena de Markov, definiendo los diferentes estados por los que puede pasar un
proyecto y las probabilidades de que este se encuentre en un estado determinado a partir
del estado en que se encontraba.

En el caso de la Facultad de Tecnología de la Salud de la Universidad de referencia, se

pudo determinar elementos o variables que permiten la toma de decisiones a corto y a
largo plazo, a partir de datos históricos durante el trienio 2013 – 2015, relacionadas con
el número de transiciones, la probabilidades de terminar en un estado absorbente,
partiendo de un algún estado transigente, permitiendo de alguna forma pronosticar en
términos de probabilidades el estado de este subsistema en el futuro. Los resultados
obtenidos muestran un estado general favorable en cuanto a la ejecución de los proyectos
de investigación de la Facultad.
 IV. BIBLIOGRAFIA
1. María, C. (2003). Investigación de Operaciones II.
2. Wayne L. Winston. (2005). Investigación de Operaciones. Aplicaciones y
Algoritmos, 4ta Edición.
3. Frederick S. Hiller y Geral J. Lieberman. (2010). Introducción a la Investigación
de Operaciones. Novena Edición.
4. Escalona P. Apuntes sobre Cadenas de Markov. Material básico de Métodos
Cuantitativos para la Administración de la Maestría en Matemática Aplicada e
Informática para la Administración. Universidad de Holguín. Holguín, 2008.
5. Allen M. A. Dilataciones Unitarias y Cadenas de Markov. Trabajo especial de
grado para optar por el título de Licenciada en Matemática. Universidad Central
de Venezuela. Caracas, 2005.