Modelos Estocasticos 561d3b9c089de PDF

Modelos Estocasticos
Javier Pereira1, Fernando Paredes2,

Macarena Donoso2
1
Escuela de Ingeniera Informatica
Universidad Diego Portales
2
Escuela de Ingeniera Industrial
Universidad Diego Portales
Avenida Ejercito 441
Santiago
2010
2
Indice general
1. Revision de conceptos de probabilidades 4

1.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.1. Medida de probabilidad . . . . . . . . . . . . . . . . . . . 5
1.1.2. Probabilidad condicional . . . . . . . . . . . . . . . . . . . 6
1.1.3. Independencia . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.4. Teorema de Bayes . . . . . . . . . . . . . . . . . . . . . . 7
1.2. Variables aleatorias . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.1. Variables aleatorias discretas . . . . . . . . . . . . . . . . 8
1.2.2. Variables aleatorias continuas . . . . . . . . . . . . . . . . 8
1.2.3. Esperanza y momentos de una variable aleatoria . . . . . 9
1.3. Transformadas de una variable aleatoria . . . . . . . . . . . . . . 9
1.3.1. Transformada s . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.2. Transformada z . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4. Expresiones para variables aleatorias . . . . . . . . . . . . . . . . 10
1.4.1. Probabilidad conjunta . . . . . . . . . . . . . . . . . . . . 10
Variables aleatorias discretas . . . . . . . . . . . . 10
Variables aleatorias continuas . . . . . . . . . . . . 11
Covarianza y coeficiente de correlacion . . . . . . . 11
1.4.2. Suma de dos variables aleatorias . . . . . . . . . . . . . . 11
1.5. Distribuciones de probabilidad . . . . . . . . . . . . . . . . . . . 12
1.5.1. Distribucion de Bernoulli . . . . . . . . . . . . . . . . . . 12
1.5.2. Distribucion Binomial . . . . . . . . . . . . . . . . . . . . 13
1.5.3. Distribucion Geometrica . . . . . . . . . . . . . . . . . . . 13
1.5.4. Distribucion de Pascal . . . . . . . . . . . . . . . . . . . . 14
1.5.5. Distribucion de Poisson . . . . . . . . . . . . . . . . . . . 14
1.5.6. Distribucion Exponencial . . . . . . . . . . . . . . . . . . 14
1.5.7. Distribucion de Erlang . . . . . . . . . . . . . . . . . . . . 15
1.5.8. Distribucion Normal . . . . . . . . . . . . . . . . . . . . . 15
2. Procesos Estocasticos 17
2.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2. Procesos estocasticos estacionarios . . . . . . . . . . . . . . . . . 19
2.2.1. Proceso estocastico estacionario en sentido estricto . . . . 19
2.2.2. Proceso estocastico estacionario en sentido amplio . . . . 19
1
2.3. Continuidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4. Procesos de conteo . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.1. Proceso de Poisson . . . . . . . . . . . . . . . . . . . . . . 20
2.4.2. Distribucion Exponencial . . . . . . . . . . . . . . . . . . 20
3. Simulacion 22
3.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2. Proceso de Simulacion . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3. Simulacion de Monte Carlo . . . . . . . . . . . . . . . . . . . . . 24
3.3.1. Generacion de numeros aleatorios . . . . . . . . . . . . . . 25
3.3.2. Numeros aleatorios con distribucion especfica . . . . . . . 25
Metodo de transformada inversa . . . . . . . . . . 25
Distribucion normal . . . . . . . . . . . . . . . . . 26
Distribucion chi-cuadrado . . . . . . . . . . . . . . 27
3.3.3. Ajuste de Distribuciones . . . . . . . . . . . . . . . . . . . 27
T-test . . . . . . . . . . . . . . . . . . . . . . . . . 27
Kolmogorov-Smirnov . . . . . . . . . . . . . . . . . 28
4. Modelos de Filas de Espera 30

4.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.2. Modelo de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.2.1. Modelo General: Nacimiento y Muerte . . . . . . . . . . . 31
4.2.2. Medidas de desempeno . . . . . . . . . . . . . . . . . . . . 32
4.3. (M/M/1 : DG//) . . . . . . . . . . . . . . . . . . . . . . . . 33
4.3.1. Determinacion de n y n . . . . . . . . . . . . . . . . . . 33
4.3.2. Determinacion de pn en funcion de p0 . . . . . . . . . . . 34
4.4. (M/M/1 : DG/N/) . . . . . . . . . . . . . . . . . . . . . . . . 35
4.5. (M/M/c : DG//) . . . . . . . . . . . . . . . . . . . . . . . . 36
5. Procesos de Markov 38
5.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
5.1.1. Estructura de un proceso de Markov . . . . . . . . . . . . 41
5.1.2. Algunas aplicaciones de procesos de Markov de tiempo
discreto . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.1.3. Algunas aplicaciones de procesos de Markov de tiempo
continuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
5.1.4. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.2. Cadenas de Markov de tiempo discreto . . . . . . . . . . . . . . . 45
5.2.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . 45
2
5.2.2. Ecuaciones de Chapman-Kolmogorov . . . . . . . . . . . . 45
5.2.3. Teoremas de cadenas de Markov . . . . . . . . . . . . . . 47
Forma Canonica de una cadena absorbente . . . . . . . . 47
Teorema de cadenas regulares . . . . . . . . . . . . . . . . 48
Corolario (calculo del lmite de la probabilidad de estado ) 50
5.2.4. Tiempos de retorno . . . . . . . . . . . . . . . . . . . . . 52
5.3. Cadenas de Markov de tiempo continuo . . . . . . . . . . . . . . 53
5.3.1. Definicion . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.3.2. Ecuacion de Chapman-Kolmogorov en tiempo contnuo . 54
5.3.3. Propiedad de falta de memoria . . . . . . . . . . . . . . . 54
5.3.4. Procesos estacionarios . . . . . . . . . . . . . . . . . . . . 55
5.4. Cadenas de Markov con recompensa . . . . . . . . . . . . . . . . 57
5.4.1. Proceso con recompensa . . . . . . . . . . . . . . . . . . . 57
5.4.2. Proceso de decision markoviano . . . . . . . . . . . . . . . 58
Bibliografa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3
Captulo 1
Revision de conceptos de
probabilidades
4
1.1. Introduccion
1.1.1. Medida de probabilidad
En la teora de probabilidades, un experimento es cualquier proceso de prue-
ba y observacion. Un experimento con un resultado incierto es llamado un experi-
mento aleatorio. El conjunto de resultados posibles de un experimento aleatorio
es llamado el espacio de muestra, denotado por . Cada resultado wi de un
experimento aleatorio es llamado un punto de muestra. Si el conjunto de los
resultados de un espacio de muestra es numerable, entonces para n resultados
posibles se puede definir = {w1 , w2 , . . . , wn }.
Un evento es la ocurrencia de uno o varios de los resultados posibles de
un experimento. Entonces, un evento es un subconjunto del espacio muestral.
Por ejemplo, en el caso de un experimento del lanzamiento de un dado, los
resultados posibles son representados por = {1, 2, 3, 4, 5, 6}, mientras que
un evento puede ser el conjunto E = {2, 3, 5}. Si el experimento consiste en el
lanzamiento de dos monedas al aire, cada una con resultado cara (C) y sello
(S), se tiene = {(C, C), (C, S), (S, C), (S, S)}; el evento hay al menos una
cara en el resultado queda representado por E = {(C, C), (C, S), (S, C)}.
Sean A y B dos eventos definidos sobre . Entonces, usualmente se definen
los siguientes eventos:
A B, union de los puntos muestrales de los eventos A y B.

A B, interseccion de los puntos muestrales de los eventos A y B.
A B, puntos de A no contenidos en B.
Sea F una familia de subconjuntos de con las propiedades siguientes:
1. F y F .
2. Si A F , entonces A 6 F , donde A es el complemento de A, i.e., A =
F A.
3. F es cerrado frente aSla union T
y la interseccion. Si A1 , A2 , . . . , Ak perte-
k k
necen a F , entonces i=1 Ai y i=1 Ai tambien estan en F .
El conjunto F es llamado una -algebra. Una medida de probabilidad defini-

da sobre una -algebra F de es una funcion que mapea elementos de F en el
intervalo cerrado [0, 1]. De esta manera, la probabilidad de un evento A F se
representa por P [A]. La medida de probabilidad satisface los siguientes axiomas
de Kolmogorov:
1. 0 P [A] 1.
2. P [] = 1.
5
3. Dados los conjuntos disjuntos A1 , A2 , . . . , Ak F ,
P [A1 A2 . . . An ] = P [A1 ] + P [A2 ] + . . . + P [An ].
La tripla (, F, P ) es llamada un espacio de probabilidad. Algunas propieda-

des adicionales de una medida de probabilidad son las siguientes:
1. P [A] = 1 P [A].
2. P [] = 0.
3. Si A B, entonces P [A] P [B].
4. Dados A y B cualesquiera,
P [A] = P [A B] + P [A B].
5. Dados A y B cualesquiera,
P [A B] = P [A] + P [B] P [A B].
1.1.2. Probabilidad condicional

Sean A, B F dos eventos. La probabilidad condicional de A dado el evento
B, denotada como P [A | B], es definida por:
P [A B]
P [A | B] = .
P [B]
Consideremos el ejemplo del lanzamiento de dos dados. Si A es el evento que
el resultado es 7 y B el evento que el primer dado resulta 4. Entonces, se verifica
lo siguiente:
P [{4, 3}]
P [A | B] = ,
P [{4, 1}] + P [{4, 2}] + P [{4, 3}] + P [{4, 4}] + P [{4, 5}] + P [{4, 6}]
1/36 1
= = .
1/6 6
1.1.3. Independencia
Dos eventos A y B se dicen independientes si P [A | B] = P [A]. De esto se
desprende:
P [A | B] = P [A]
P [A]P [B]
= ,
P [B]
6
con lo cual es inmediato,
P [A B] = P [A]P [B]
1.1.4. Teorema de Bayes

Sea {A1 , A2 , . . . , An } una particion del espacio , es decir:
Ai , i = 1, . . . , n,
Ai Aj = , i, j = 1, . . . , n, i 6= j,
A1 A2 . . . An = .
Entonces, si P [A] 6= 0, i = 1, . . . , n, la expresion

n
X
P [A] = P [A | Ai ]P [Ai ]
i=1
se dice la probabilidad total de A. Ahora, suponiendo que el evento A ha

sucedido, pero no se conoce cual de los eventos Ak ocurrio1 . Entonces, la pro-
babilidad de que Ak ocurrio dado que A sucedio queda expresada por
P [Ak A]
P [Ak | A] = Pn .
i=1 P [A | Ai ]P [Ai ]
Sabiendo que P [A | Ak ] = P [Ak A]/P [Ak ], se puede escribir
P [A | Ak ]P [Ak ]
P [Ak | A] = Pn .
i=1 P [A | Ai ]P [Ai ]
Esta es llamada la regla de Bayes. En esta formula P [Ak ] es llamada probabi-

lidad a priori, mientras que P [Ak | A] es la probabilidad a posteriori.
1.2. Variables aleatorias

Sea un experimento aleatorio con un espacio de muestra . Una variable
aleatoria X es una funcion que mapea elementos en numeros reales
x <. As,
X : <.
Sea Ax el conjunto de todos los elementos tal que X asigna el valor x, es
decir,
Ax = { | X() = x}.
1 Dado que Ak pertenece a la particion de , uno y solo uno de los eventos ha sucedido.
7
Denotaremos por P [X = x] la probabilidad que la funcion X resulte en el valor
x, es decir la probabilidad de Ax . Como ejemplo, si se considera el lanzamiento
de dos dados y definimos la variable aleatoria X : {suma de los resultados},
entonces X = 5, es equivalente a:
A5 = {(1, 4), (2, 3), (3, 2), (4, 1)}.

con lo cual P [X = 5] = 4/36.
Se define la funcion de distribucion acumulada como
FX (x) = P [X x].
Esta expresion denota la probabilidad de que la variable X tome algun valor
menor o igual a x. Por sus siglas en ingles, esta funcion es usualmente llamada
CDF (cumulative distribution function).
1.2.1. Variables aleatorias discretas

Una variable aleatoria discreta es una variable aleatoria que puede tomar un
numero contable de valores. Se define a pX (x) como la funcion de distribucion
de masa (PMF, probability mass function, por sus siglas en ingles) mediante
pX (x) = P [X = x].
La CDF de una variable aleatoria discreta se define por
X
FX (x) = P [X = k].
kx
1.2.2. Variables aleatorias continuas

Una variable aleatoria continua es una variable aleatoria que puede tomar
un numero no contable de valores posibles. Para toda variable aleatoria conti-
nua X existe una funcion no negativa fX (x), llamada funcion de densidad
de probabilidad, definida sobre (, ) tal que para cualquier conjunto de
valores A se tiene
Z
P (X A) = fX (x)dx.
A
La funcion de densidad de probabilidad, o PDF (probability distribution fun-

ction), es definida por
dFX (x)
fX (x) = .
dx
8
1.2.3. Esperanza y momentos de una variable aleatoria
SI X es una variable aleatoria, se define la esperanza o media de X, E[X],
como
P
i xi pX (xi ),
si X es discreta,
E[X] = X =
R

xfX (x)dx, si X es continua.
El momento n-esimo de una variable aleatoria X se define como
P
n
i xi pX (xi ),
si X es discreta,
n
E[X ] = X n =
R n

x fX (x)dx, si X es continua.
De esta forma, el primer momento de una variable aleatoria corresponde a la
esperanza.
El n-esimo momento central, alrededor de la media, es definido por
P
n
i (xi X) pX (xi ),
si X es discreta,
n
E[(X X) ] = (X X)n =
R

(x X)n fX (x)dx, si X es continua.
Se ve claramente que el momento central con n = 2 corresponde a la varianza,

2
denotada por X .
1.3. Transformadas de una variable aleatoria

1.3.1. Transformada s
Sea X una variable aleatoria continua que toma solo valores no negativos.
Se define la transformada s de fX (x), denotada por MX (s), como
Z
MX (s) = E[esX ] = esx fX (x)dx
0
Una propiedad importante de esta transformada es la siguiente:
Z
d d
MX (s) = esx fX (x)dx
ds ds 0
Z
= xesx fX (x)dx,
0
con lo cual se tiene que s = 0 implica

d
MX (s = 0) = E[X].
ds
9
En general,
dn
MX (s = 0) = (1)n E[X n ].
dsn
1.3.2. Transformada z
Sea X una variable aleatoria discreta que toma solo valores no negativos. Se
define la transformada z de pX (x), denotada por GX (z), como

X
GX (z) = E[z X ] = z x pX (x).
x=0
Una propiedad importante de esta transformada es la siguiente:

d d X x
GX (z) = z pX (x)
dz dz 0

X
= xz x1 pX (x),
0
con lo cual se tiene que z = 1 implica

d
GX (z = 1) = E[X].
dz
En general,
dn dn1 d
E[X n ] = n
G X (z = 1) + n1
GX (z = 1) + . . . + GX (z = 1).
dz dz dz
1.4. Expresiones para variables aleatorias

1.4.1. Probabilidad conjunta
Variables aleatorias discretas Sean X e Y variables aleatorias discretas,
entonces se define la PMF conjunta como
pXY (x, y) = P [X = x, Y = y].

Esto implica que las expresiones marginales se obtienen como
X
pX (x) = pXY (x, y),
y
X
pY (y) = pXY (x, y).
x
10
Si X e Y son variables aleatorias independientes, entonces
pXY (x, y) = pX (x)pY (y).
Variables aleatorias continuas Sean X e Y variables aleatorias discretas,

entonces se define la PDF conjunta como
2
fXY (x, y) = FXY (x, y).
xy
Las expresiones marginales se obtienen como
Z
fX (x) = fXY (x, y)dy,

Z
fY (y) = fXY (x, y)dx.

Si X e Y son variables aleatorias independientes, entonces
fXY (x, y) = fX (x)fY (y).
Covarianza y coeficiente de correlacion Sean X e Y dos variables alea-

torias con esperanzas E[X] = X y E[Y ] = Y , respectivamente, y varianzas
2
X y Y2 , respectivamente. Se define la covarianza de X e Y , denotado por
Cov(X, Y ) = XY como
Cov(X, Y ) = E[(X X )(Y Y )],

= E[XY ] X Y .
Si X e Y son independientes, E[XY ] = E[X]E[Y ] con lo cual Cov(X, Y ) = 0.

Se define el coeficiente de correlacion de X e Y por
XY
XY = .
X Y
1.4.2. Suma de dos variables aleatorias

Sea X e Y dos variables aleatorias continuas independientes. Definamos S =
X + Y , como la suma de las variables aleatorias tales que el siguiente conjunto
D puede ser considerado:
D = {(x, y) | x + y s},
= {(x, y) | x s y}.
As, consideremos la CDF de S como la expresion
11
Z Z sy
FS (s) = P [X + Y s] = P [X s y] = fXY (x, y)dxdy,

Z Z sy
= fX (x)dx fY (y)dy,

Z
= FX (s y)fY (y)dy.

La PDF de esta expresion se puede obtener como
Z
d d
fS (s) = FS (s) = FX (s y)fY (y)dy,
ds ds
Z
d
= FX (s y)fY (y)dy,
ds
Z
= fX (s y)fY (y)dy.

Esta ultima expresion es conocida como la integral de convolucion y se denota

por
fS (s) = fX (s) fY (s).

Eb general, si S es la suma de n variables aleatorias independientes X1 , X2 , . . . , Xn ,
con PDFs fXi (x), i = 1, . . . , n, se tiene
fS (s) = fX1 (s) fX2 (s) . . . fXn (s).
1.5. Distribuciones de probabilidad

1.5.1. Distribucion de Bernoulli
Una prueba de Bernoulli es un experimento que tiene dos resultados posibles,
los cuales se denominan exito y fracaso. La probabilidad de exito se denota por
p, con lo cual la probabilidad de fracaso es denotada por (1 p). Sea X una
variable aleatoria representando los dos resultados posibles, tal que X = 1
cuando el resultado es exito y X = 0 si el resultado es fracaso. Se tiene entonces

1 p,
si x = 0,
pX (x) =

p, si x = 1.

0,
si x < 0,
FX (x) = 1 p, si 0 x < 1,

1, si x 1.

12
Ademas, se verifica
E[X] = p,
2
X = p(1 p),
GX (z) = 1 p + zp.
1.5.2. Distribucion Binomial

Supongamos que se desarrollan n experimentos de Bernoulli independientes,
cada uno con probabilidad de exito p, y X(n) es una variable aleatoria represen-
tando el numero de exitos en esos experimentos. Entonces, X(n) es una variable
aleatoria Binomial con parametros (n, p). Se tiene entonces

n x
pX(n) (x) = p (1 p)nx x = 0, 1, 2, . . . , n.
x
x
X n k
FX(n) (x) = P [X(n) x] = p (1 p)nk (1.1)
k
k=0
Ademas, se verifica
E[X(n)] = np,
2
X(n) = np(1 p),
GX(n) (z) = (zp + 1 p)n .
1.5.3. Distribucion Geometrica

Supongamos que se desarrolla una serie de experimentos de Bernoulli inde-
pendientes, hasta que ocurre el primer exito. Sea X la variable aleatoria repre-
sentando el numero de pruebas de Bernoulli hasta el primer exito. Entonces, X
es una variable aleatoria Geometrica con parametro (p). Se tiene entonces
pX (x) = px (1 p)x1 x = 1, 2, . . . .
FX (x) = P [X x] = 1 (1 p)x (1.2)

Ademas, se verifica
E[X] = 1/p,
2 2p
X = ,
p2
zp
GX (z) = .
1 z(1 p)
13
1.5.4. Distribucion de Pascal
Supongamos que se desarrolla n experimentos de Bernoulli independientes.
Sea Xk la variable aleatoria representando el numero de pruebas de Bernoulli
hasta el k-esimo exito. Entonces, Xk es una variable aleatoria de Pascal con
parametro (n, k, p). Se tiene entonces

n1 k
pXk (x) = p (1 p)nk k = 1, 2, . . . ; n = k, k + 1, . . . .
k1
x
X n1
FXk (x) = P [Xk x] = pk (1 p)nk (1.3)
k1
n=k
Ademas, se verifica
E[Xk ] = k/p,
2 k(1 p)
X = ,
k
p2
h zp ik
GXk (z) = .
1 z(1 p)
1.5.5. Distribucion de Poisson

Una variable aleatoria discreta X es llamada variable aleatoria de Poisson
con parametro si su PMF y CMF son definidas por
x
pX (x) = e k = 0, 1, 2, . . . .
x!
x
X k
FX (x) = P [X x] = e (1.4)
k!
k=0
Ademas, se verifica
E[X] = ,
2
X = ,
GX (z) = e(z1) .
1.5.6. Distribucion Exponencial

Una variable aleatoria continua X es llamada variable aleatoria exponencial
con parametro si su PDF y CDF son definidas por
(
ex , x 0,
fX (x) =
0, x < 0.
14
FX (x) = P [X x] = 1 ex (1.5)
Ademas, se verifica
E[X] = 1/,
2
X = 1/2 ,

MX (s) = .
s+
1.5.7. Distribucion de Erlang

La distribucion de Erlang es una generalizacion de la distribucion exponen-
cial. Una variable aleatoria continua exponencial es usualmente utilizada para
representar el intervalo de tiempo entre dos eventos sucesivos. Una variable alea-
toria continua de Erlang representa el intervalo de tiempo entre un evento y el
k-esimo evento siguiente. Una variable aleatoria Xk se dice variable aleatoria de
Erlang de k-esimo orden con parametro si su PDF y CDF son definidas por
( k k1 x
x e
(k1)! , x 0,
fX (x) =
0, x < 0.
k1
X (x)j ex
FX (x) = P [X x] = 1 (1.6)
j=0
j!
Ademas, se verifica
E[Xk ] = k/,
2 k
X = ,
k
2
h ik
MXk (s) = .
s+
1.5.8. Distribucion Normal

Una variable aleatoria continua X es llamada variable aleatoria normal con
2
parametros X y X si su PDF y CDF son definidas por
(xX )2
1
2 2
fX (x) = p 2
e X <x< (1.7)
2X
Z x (yX )2
1
2 2
FX (x) = P [X x] = e X dy (1.8)
X 2
Para el caso especial en que X = 0 y X = 1 se tiene
15
1 x2
fX (x) = e 2 <x< (1.9)
2
Z x
1 y2
FX (x) = P [X x] = e 2 dy (1.10)
2
16
Captulo 2
Procesos Estocasticos
17
2.1. Introduccion
Mientras que una variable aleatoria X mapea un elemento s (con
llamado el espacio de muestra) en un numero X(s), en un proceso estocastico
la variable mapea el espacio muestral a diferentes valores en el tiempo. As,
tenemos el numero X(t, s), con t T y T llamado el conjunto parametro del
proceso. Para cada s, la variable X(t) es una funcion que depende del tiempo.
Entonces, X(t, s) es una coleccion de funciones del tiempo. Si el tiempo se fija,
entonces se tienen numeros X(s) y s es una variable aleatoria.
Un proceso estocastico es una coleccion de variables aleatorias {X(t, s) |
t T, s } definido sobre un espacio de probabilidad dado e indexado por
el tiempo t. Un proceso estocastico es llamado tambien un proceso aleatorio y
puede ser clasificado segun las caractersticas del parametro T :
Si T es un intervalo en R, el proceso es llamado proceso estocastico de

tiempo continuo.
Si T es un conjunto enumerable, el proceso es llamado proceso estocastico
de tiempo discreto.
Cada valor X(t, s) es llamado un estado. Se dice espacio de estados E el conjunto

de todos los valores posibles de X(t, s):
Si E es continuo, el proceso es llamado proceso estocastico de estado con-

tinuo.
Si E es discreto, el proceso es llamado proceso estocastico de estado dis-
creto.
Cuando el numero X se asocie sin ambiguedad a la variable s , se tendra X(t, s) =

X(t). En ese caso, {X(t) | t T } es el proceso estocastico indexado por t. Dado
que X(ti ) es el valor del proceso estocastico X(t) en el tiempo ti , si consideramos
0 < t1 < t2 < . . . < tn , la CDF siguiente
FX (xn , . . . , x2 , x1 ) = P [X(tn ) xn , . . . , X(t2 ) x2 , X(t1 ) x1 ] n,
define competamente el proceso estocastico. En consecuencia, la media del pro-

ceso, llamada la media del conjunto, es definida por
X (t) = E[X(t)].
Tambien se define la funcion de autocorrelacion, que mide la correlacion entre
dos observaciones del proceso estocastico, entre X(t) y X(t + )
RXX (t, t + ) = E[X(t)X(t + )].

Dado que la autocorrelacion es una medida simetrica, RXX (t, t + ) = RXX (t +
, t).
18
2.2. Procesos estocasticos estacionarios
Un proceso estocastico estacionario es un proceso que no vara sus propie-
dades estadsticas en el tiempo. Un procesos aleatorio puede ser estacionario en
el sentido estricto o estacionario en el sentido amplio.
2.2.1. Proceso estocastico estacionario en sentido estricto

Un proceso estocastico es estacionario en el sentido estricto si su CDF es
invariante ante cambios en el punto de origen del parametro del tiempo. Esto
es, para cualquier arbitrario
P [X(tn ) xn , . . . , X(t1 ) x1 ] = P [X(tn + ) xn , . . . , X(t1 + ) x1 ] n.
Por definicion de la invariante, es facil ver que un proceso estocastico estacio-

nario en el sentido estricto verifica
X (t) = X (0),
RXX (t, t + ) = RXX (0, )
por lo cual escribimos X (0) = X y RXX (0, ) = RXX ( ).
2.2.2. Proceso estocastico estacionario en sentido amplio

Un proceso aleatorio estacionario en el sentido estricto en el cual la media
de conjunto y la autocorrelacion no dependen del tiempo absoluto (origen del
tiempo) es llamado un proceso estocastico estacionario en sentido amplio, tal
que
X (t) = X ,
RXX (t, t + ) = RXX ( ).
2.3. Continuidad
2.4. Procesos de conteo
Un proceso de conteo es un proceso estocastico del tipo {N (t), t 0} tal
que N (t) es la variable aleatoria representando el numero total de eventos de un
fenomeno ocurrido entre un tiempo inicial 0 y un tiempo t. Entonces, se tiene
las siguientes propiedades:
N (t) 0, t.
N (t) es entero.
19
Si s < t, entonces N (s) < N (t).
Para todo s < t, N (t) N (s) representa el numero de eventos ocurridos
en el intervalo de tiempo (s, t].
Un proceso de conteo tiene incrementos independientes si para todo 0 s

t u v se verifica que (N (t) N (s)) es independiente de (N (v) N (u)).
El incremento es estacionario si, cuando t s = v u, se verifica la propiedad
N (t) N (s) = N (v) N (u), es decir, los incrementos se igualan para intervalos
de la misma longitud.
2.4.1. Proceso de Poisson

Un proceso de conteo es un proceso de Poisson con tasa de llegada si:
N (0) = 0.
El proceso tiene incrementos independientes.
La probabilidad que el numero de eventos (cuenta) a ocurrir en un inter-

valo de tiempo t sigue una distribucion de Poisson:
(t)n et
P (N (t + s) N (s) = n) = , n = 0, 1, . . . (2.1)
n!
2.4.2. Distribucion Exponencial

Dado un intervalo de tiempo T , consideremos la probabilidad de que ocurra
un evento despues de ese intervalo. Esto equivale a decir que durante T no hay
eventos, es decir n = 0, o bien
P (N (T + s) N (s) = 0) = eT . (2.2)
Pero esto implica que el tiempo t que transcurre hasta la ocurrencia de un evento
es mayor que T , es decir
P (t > T ) = eT , (2.3)
o equivalentemente, P (t T ) = 1 eT . Esta probabilidad es exactamente
la CDF de la funcion exponencial representada por f (T ) = eT . De esta
forma, el proceso estocastico de conteo Poisson tiene asociado un proceso es-
tocastico de tiempo de ocurrencia del evento. El valor esperado y la varianza de
t bajo la distribucion exponencial son expresadas por E(t) = 1 y V (t) = 12 ,
respectivamente.
Las siguientes propiedades son interesantes en esta distribucion, cuando se
considera los modelos de filas de espera:
20
1. Dados 0 t1 t2 y 4t 0, se tiene
P (t1 < t < t1 + 4t) > P (t2 < t < t2 + 4t) (2.4)
2. Falta de memoria:
P (t > 4t, t > r + 4t)

P (t > r + 4t | t > 4t) = ,
P (t > 4t)
P (t > r + 4t)
= ,
P (t > 4t)
e(r+4t)
= ,
e4t
= er ,
= P (t > r).
3. Sean t1 , t2 , . . . , tn variables aleatorias exponenciales independientes, con

parametros 1 , 2 , . . . , n , respectivamente. Sea M la variable aleatoria
que expresa el mnimo de los valores de las n variables exponenciales:
M = mn{t1 , t2 , . . . , tn }.
Entonces,
P (M > t) = P (t1 > t, t2 > t, . . . , tn > t),

= P (t1 > t)P (t2 > t) . . . P (tn > t),
= e1 t e2 t . . . en t ,
n
!
X
= exp i t ,
i=1
es decir, M es P
una variable aleatoria con distribucion exponencial de
n
parametro = i=1 i .
21
Captulo 3
Simulacion
22
3.1. Introduccion
3.2. Proceso de Simulacion
La simulacion es el proceso por el cual se imita el comportamiento de un
sistema para estudiar la interaccion entre sus componentes y las relaciones causa-
efecto que comparten. En general, un proceso de simulacion corresponde a las
siguientes etapas:
Definicion del problema:

En esta etapa se identifica y formula el problema de investigacion, se es-
tablecen los objetivos del analisis y se planifica el proceso de simulacion
y analisis de los resultados. La simulacion puede tener un proposito ex-
plicativo o prescriptivo. Se dice que el proposito es descriptivo cuando el
analista busca conocer las tendencias del comportamiento del sistema fren-
te a distintos escenarios. Se dice que el propsito es prescriptivo cuando el
analista desea conocer la respuesta del sistema en un momento especfico
del tiempo.
Comprension de datos
En esta etapa se identifica las variables que sirven para representar las
componentes del sistema simulado y sus interacciones. Las variables pue-
den ser clasificadas como:
exogenas, actuan solo como causas en las interacciones en las que

participan.
endogenas, actuan como efectos en las interacciones en las que par-
ticipan.
Para las variables exogenas hay dos estrategias basicas para obtener datos
que caracterizan su comportamiento: uso de datos recolectados median-
te un metodo estadstico (muestreo o censo) o analtico (ej., ecuaciones
diferenciales), y generacion de datos mediante un proceso de generacion
estocastico.
En el primer caso, el comportamiento de una variable puede ser dicho
determinstico, mientras que en el segundo caso se puede decir estocastico.
Preparacion de datos
En esta etapa, las variables son preparadas formateadas, escaladas, codifi-
cadas y/o transformadas para que las componentes y relaciones entre ellas
puedan ser simuladas consistentemente.
Modelamiento
En esta etapa se establecen las relaciones entre las variables identificadas
y se construye un modelo simulable. Un modelo simulable es aquel donde
23
las relaciones causa-efecto, los mecanismos de cambio de estado de todas
las variables del modelo, y los eventos que los gatillan, son definidos, deter-
minista o estocasticamente. El primer estado de una variable del modelo
se dice estado inicial. El ultimo estado que una variable alcanza en un
modelo simulado se dice estado final.
Simulacion
La simulacion consiste en el desarrollo de los eventos que gatillan los cam-
bios de estado de todas las variables del modelo simulable, desde el estado
inicial hasta el alcance del estado final de cada una de ellas. Si el desarro-
llo de los eventos ocurre a intervalos regulares de tiempo, la simulacion se
dice de intervalo regular. Caso contrarios, se dice simulacion por eventos.
El modelo simulable debe ser validado para garantizar que las variables
que representan el sistema y las relaciones entre ellas han sido correcta-
mente definidos. Esto se realiza usualmente mediante la definicion de casos
de prueba a traves de los cuales comportamientos conocidos del sistema
simulado pueden ser reproducidos. De lo contrario, el modelo debe ser
ajustado.
Analisis y evaluacion de resultados
Los resultados de la simulacion de un modelo validado pueden ser ana-
lizados para identificar el comportamiento del sistema bajo diferentes si-
tuaciones, es decir, estados iniciales de las variables. El conjunto de valo-
res iniciales de las variables del modelo es denominado una configuracin
inicial, y constituyen un escenario. El proceso de la simulacion permite
conocer la respuesta del sistema bajo distintos escenarios. La evaluacion
de los resultados de la simulacion es el metodo por el cual un analista es-
tablece una relacion causa-efecto entre le escenario o configuracion inicial
y los resultados. Usualmente la evaluacion se reporta usando metricas que
representan el comportamiento del sistema frente a los escenarios.
Implementacion
La etapa de implementacion considera el uso del modelo en un ambiente
donde cumple el proposito para el que fue definido.
3.3. Simulacion de Monte Carlo

Se dice que una simulacion es de Monte Carlo cuando las variables exogenas
adoptan valores mediante un proceso de generacion de numeros aleatorios. En
este caso, la generacion supone la identificacion de una funcion de densidad de
probabilidad asociada a cada variable exogena. Por esta razon una simulacion
de Monte Carlo es denominada tambien simulacion estadstica. En general, el
Metodo de Monte Carlo es cualquier tecnica que utiliza la generacion de numeros
aleatorios para obtener soluciones de problemas determinsticos.
24
3.3.1. Generacion de numeros aleatorios
Un aspecto fundamental de la simulacion de Monte Carlo es el uso de un
generador de numeros aleatorios, un procedimiento para producir secuencias
de numeros de acuerdo a una distribucion de probabilidad. Esto significa que
la distribucion de frecuencias de la serie de numeros producidos satisface las
propiedades de la distribucion de seleccionada. Salvo que se indique lo contrario,
un numero aleatorio es una observacion producida a partir de una distribucion
uniforme. Si la distribucion es discreta, los numeros aleatorios son enteros, de
lo contrario, se produce numeros aleatorios reales.
Cuando se considera numeros aleatorios enteros pertenecientes a una secuen-
cia n1 , n2 , . . . , np , la probabilidad pj de la observacion nj esta dada por:
1
pj = . (3.1)
np n1 + 1
En el caso de numeros aleatorios uniformes en el intervalo [a, b], la distribucion
de probabilidad queda expresada como:
(
1
si a x b
pj = ba (3.2)
0 si no.
El metodo congruencial mixto es un procedimiento que genera una secuencia
de numeros aleatorios enteros xn en un intervalo [0, m 1], usando la ecuacion
recurrente:
xn = (axn1 + c)(mod m), (3.3)

donde a, c y m son parametros tales que (a < m) y (c < m). El metodo congruen-
cial multiplicativo supone c = 0, mientras que el metodo congruencial aditivo
a = 1 y c = xn1 (o algun valor anterior a xn ). El valor inicial de la secuencia es
un numero x0 , denominado semilla, que puede ser elegido desde una tabla como
la Rand. En cualquiera de estos casos, el procedimiento genera numeros pseudo-
aleatorios. Notese que este procedimiento implica xn {0, 1, 2, . . . , m 1}. Por
lo tanto, m es el numero de valores diferentes que se pueden obtener con el
procedimiento. Si se quiere generar numeros aleatorios en un computador, se
puede elegir m = 2b , donde b representa el numero de bits del procesador.
Si se desea generar numeros aleatorios uniformes yn , una regla usual a aplicar
es la siguiente:
xn + 21
yn = . (3.4)
m
3.3.2. Numeros aleatorios con distribucion especfica

Metodo de transformada inversa Sea X una variable aleatoria para la
cual se desea generar observaciones. Conociendo que F (x) = P (X x) es la
funcion de distribucion acumulada, se puede detallar el metodo de transformada
inversa como:
25
1. Generar numero aleatorio uniforme r [0, 1].
2. Establecer F (x) = r y despejar x.
Por ejemplo, en el caso de la distribucion exponencial f (x) = ex (x 0), se

tiene que F (x) = 1 ex . Entonces, haciendo F (x) = r es facil obtener
ln(1 r)
x= . (3.5)

El teorema siguiente establece las condiciones por las cuales el metodo des-
crito es aplicable.
Teorema 1. Sea X una variable aleatoria continua cuya funcion de distribucion
acumulada F es continua, tal que la inversa F 1 existe. Si U = F (X) es una
variable con distribucion uniforme en el intervalo (0, 1), entonces X = F 1 (U )
sigue la distribucion F .
Demostracion. Puesto que F es invertible se tiene F 1 (u) x. Enseguida,
P r(F 1 (u) x) = P r(U F (X)), (3.6)

ya que F es monotona creciente. Luego, sabiendo que P r(U y) = y, se
concluye
P r(F 1 (u) x) = F (X). (3.7)
Distribucion normal El teorema central del lmite senala que la suma de

n numeros aleatorios uniformes sigue p una distribucion normal aproximada con
media n/2 y desviacion estandar n/12. Entonces, si se genera numeros aleato-
rios uniformes r1 , r2 , . . . , rn , se puede obtener una observacion x que sigue una
distribucion normal aproximada con media y desviacion estandar mediante
la formula
n
X n
x= p ri + p . (3.8)
n/12 i=1 2 n/12
Cuando n = 12
n
!
X n
x= ri + . (3.9)
i=1
2
26
Distribucion chi-cuadrado Se sabe que la variable aleatoria Y definida co-
mo una suma de los cuadrados de n variables aleatorias xi distribuidas normal-
mente sigue una distribucion chi-cuadrado. Entonces, para generar valores y de
Y basta usar la formula
n
X
y= x2i , (3.10)
i=1
y generar los valores xi mediante las ecuaciones (3.8) o (3.9).
3.3.3. Ajuste de Distribuciones

T-test Supongamos una muestra aleatoria iid X1 , X2 , . . . , Xn , de n valores,
asociada a una funcion de distribucion desconocida, F (x).
El test t o t-test de Student es un tipo de prueba que se utiliza para determi-
nar la cercana entre las medias de dos poblaciones de datos. Existen distintas
versiones para el test (muestras independientes, mismo o diferente tamano, va-
rianzas iguales o diferentes, etc.). En el caso que se quiera determinar si la media
de una muestra es significativamente similar a la media de una poblacion, se uti-
liza el siguiente estadstico, distribuido como t-student:
X
t= , (3.11)
S/ n
donde X es la media de la muestra, la media poblacional, S la desviacion
estandar de la muestra y n el tamano de la muestra. Entonces, se realiza la
siguiente prueba:
H0 : X =
H1 : X 6=
Por las caractersticas de la prueba, y la forma de la distribucion t-student, esta

es una prueba dicha de dos colas.
Dada una muestra de datos, y una media poblacional conocida, la hipotesis
se acepta al nivel de significancia , con n 1 grados de libertad, si la siguiente
condicion se cumple:
t/2 t t/2 , (3.12)

indicando la caracterstica de simetra de la distribucion t-student.
Si la desviacion estandar de la poblacion es conocida, se puede usar el test
z, que considera que el estadstico de error se distribuye como una variable
aleatoria normal estandar N (0, 1):
X
z= . (3.13)
/ n
27
En ese caso, la prueba es la misma, y la hipotesis se acepta al nivel de
significancia si la siguiente condicion se cumple:
z/2 z z/2 , (3.14)

donde el valor de z/2 se obtiene de tabla. Este test funciona bien cuando el
numero de datos de la muestra es grande, a diferencia del t-test, adaptado a
muestras pequenas. En efecto, este ultimo se dice un test no parametrico, muy
util cuando se dispone de pocos datos, pero donde se conoce que estos provienen
de una distribucion normal.
Como ejemplo, considere que se tiene una muestra aleatoria de datos:
X = {25,8, 24,2, 22,7, 18,8, 25,7, 22, 6, 20,0, 12,1, 15,2, 6,1}.
Suponga que los datos se distribuyen normalmente y que la media poblacional
es = 15,0.
1. calcule el valor t;
2. identifique en tabla el valor crtico t/2 , a un 95 % (http://en.wikipedia.org/),
con 10 grados de libertad;
3. determine el intervalo de confianza para la media poblacional;

4. si se conociera la media poblacional, identifique cual es el intervalo que
debiese contener la media muestral para que el 95 % de las veces esa media
fuese significativamente cercana a la media de la poblacion;
5. en el caso anterior, modifique los datos originales hasta encontrar un in-

tervalo que no contenga la media muestral.
Kolmogorov-Smirnov Supongamos una muestra aleatoria iid X1 , X2 , . . . , Xn ,

de n, asociada a una funcion de distribucion desconocida, F (x). Sea S(x) la
funcion de distribucion emprica basada en la muestra aleatoria, y F (x) una
funcion de distribucion hipotetica, completamente especificada.
Se define S(x) como la funcion de distribucion emprica que aproxima F (x),
la cual queda determinada por:
n
1X
S(x) = Ix x , (3.15)
n i=1 i
donde Ixi x es el numero de elementos xi de la muestra inferiores o iguales a x.
Se define el estadstico,
supx | F (x) S(x) |

D= , (3.16)
n
donde se realiza la siguiente prueba:
28
H0 : F (x) = F (x) x (3.17)
H1 : F (x) 6= F (x) x
Si D excede el valor de tabla Dt , al nivel y n grados de libertad, se dice que

la hipotesis H0 se rechaza al nivel de significancia .
Como ejemplo, considere que se tiene una muestra aleatoria de datos X1 =
0,621, X2 = 0,503, X3 = 0,203, X4 = 0,477, X5 = 0,710, X6 = 0,581, X7 =
0,329, X8 = 0,480, X9 = 0,554, X10 = 0,382. La hipotesis indica que estos se
distribuyen uniformemente. Usar el test de KS de una muestra para validar la
afirmacion:
1. grafique la funcion de distribucion acumulada teorica (F (x));

2. grafique la funcion de distribucion emprica (S(x));
3. determine D;
4. identifique Dt (usando tabla), al nivel = 0,05;
5. indique si H0 se rechaza o acepta.
29
Captulo 4
Modelos de Filas de Espera
30
4.1. Introduccion
Los modelos de filas de espera se identifican mediante la notacion de Kendall
[5], la cual propone que un modelo se describa por la nomenclatura siguiente:
(a/b/c) : (d/e/f ),
donde
a: distribucion de tiempo de llegada

b: distribucion de tiempo de servicio
c: numero de servidores en paralelo

d: disciplina de servicio
e: numero maximo de tems permitidos en la fila
f : tamano de la fuente de llegada
Por ejemplo, un modelo para el cual las tasas de llegada y de servicio son de tipo
Poisson, o Markovianas, con un servidor, con esquema de servicio cualquiera, sin
restriccion del numero de tems, y fuente infinita, queda descrito por M/M/1 :
DG//.
4.2. Modelo de Poisson

Los modelos de tipo Poisson se caracterizan por tasas de llegada y de servicio
Poisson, es decir, tiempo entre llegadas y tiempo de servicio exponenciales.
En las secciones siguientes presentamos el modelo general de los sistemas con
procesos estocasticos de Poisson, y modelos para casos particulares, usualmente
encontrados en la literatura [3, 5, 6].
4.2.1. Modelo General: Nacimiento y Muerte

Supongamos un sistema que ha alcanzado el estado estable, es decir, el pro-
ceso estocastico se mantiene en estado estacionario donde las variables repre-
sentativas del modelo son estables. En otras palabras, es posible suponer que los
momentos de primer y segundo orden del modelo, en cualquiera de sus variables
aleatorias, pueden ser estimados de manera robusta. Esto significa tambien que
la distribucion de probabilidad asociada a un tipo de variable (por ejemplo la
llegada) no cambia en el tiempo.
El objetivo del modelo que se presenta aqu abajo es encontrar las represen-
taciones generales de las variables de desempeno del sistema de la fila de espera
y el servicio.
Sea,
31
n, numero de tems en el sistema (fila y servicio);
n , tasa de llegada (nacimiento) de los tems;
n , tasa de salida o servicio (muerte);
pn , probabilidad de estado estable de que haya n tems en el sistema.
En estado estable, los flujos de ingreso y salida del sistema deben igualarse.
Entonces, para que el sistema se estabilice en n tems, debe suceder
n1 pn1 + n+1 pn+1 = (n + n )pn n = 1, 2, . . . . (4.1)

es decir, las tasas esperadas de llegada desde los estados n 1 y n + 1 deben
ser iguales a las tasas esperadas de salida desde el estado n. En otras palabras,
debe mantenerse el equilibrio de flujos.
Cuando n = 0, se tiene
1 p1 = 0 p0 . (4.2)
Entonces,
0
p1 = ( )p0 . (4.3)
1
Para n = 1,
0 p0 + 2 p2 = (1 + 1 )p1 , (4.4)
con lo cual es facil comprobar que
0 1
p2 = ( )p0 , (4.5)
2 1
y por induccion se verifica
n1 n2 . . . 0
pn = ( )p0 n = 1, 2, . . . . (4.6)
n n1 . . . 1
P
Sabiendo que n=0 pn = 1, se determina el valor de p0 .
4.2.2. Medidas de desempeno

Supongase que hay c servidores que trabajan en paralelo y que sirven una
fila unica. Las medidas de desempeno de tal sistema se definen como:
Ls , numero esperado de tems en el sistema (fila y servicio);

Lq , numero esperado de tems en la fila;
Ws , tiempo esperado de tems en el sistema (fila y servicio);
Wq , tiempo esperado de tems en la fila;
32
Es facil ver las relaciones siguientes

X
Ls = npn (4.7)
n=0
X
Lq = (n c)pn (4.8)
n=c
La llamada formula de Little que relaciona el numero de tems y el tiempo

de espera es la siguiente:
Ls = ef Ws (4.9)
Lq = ef Wq . (4.10)
donde ef se define como la tasa de llegada efectiva. Supongase que el numero

de tems en el sistema es limitado. Entonces, cada vez que el sistema alcanza
el valor N , la tasa de llegada real disminuye. ef se interpreta como la tasa de
llegada cuando ese lmite puede ser alcanzado. As,
= ef + perdidos . (4.11)
Claramente, si el sistema tiene capacidad infinita, = ef . Por otro lado, se
tiene la siguiente relacion entre los tiempos esperados
1
Ws = Wq + , (4.12)

Multiplicando ambos lados de la ecuacion por ef , se deduce
ef
Ls = Lq + , (4.13)

Notese que perdidos = pN , es decir, la tasa de perdida depende de la
probabilidad del sistema de alcanzar N tems.
4.3. (M/M/1 : DG//)

4.3.1. Determinacion de n y n
En este modelo la tasa de llegada y de servicio es independiente del numero
de tems en el sistema. El estado estable supone tambien que el proceso es-
tocastico de llegada y salida es estable. Entonces, se verifica n = y n =
para todo n. Adicionalmente, no existe lmite para el numero de tems en el
sistema por lo cual ef = .
33
4.3.2. Determinacion de pn en funcion de p0

Definiendo = , se verifica
pn = n p0 n = 0, 1, 2, . . . . (4.14)
El valor de p0 se obtiene sabiendo que
p0 (1 + + 2 + . . .) = 1. (4.15)
Si < 1 se tiene
1
p0 ( ) = 1, (4.16)
1
o bien,
p0 = 1 , (4.17)
con lo cual se obtiene,
pn = (1 )n n = 0, 2, . . . . (4.18)

Las medidas de desempeno para este modelo se determinan como:

X
Ls = npn (4.19)
n=0
X
= n(1 )n (4.20)
n=0

d X n
= (1 ) (4.21)
d n=0

d 1
= (1 ) (4.22)
d 1

= . (4.23)
1
A partir de este resultado se puede deducir las otras medidas (comprobarlo!),
1
Ws = (4.24)

Wq = (4.25)
(1 )
2
Lq = . (4.26)
1
34
4.4. (M/M/1 : DG/N/)
En este modelo, el numero de tems en el sistema esta limitado a N . Uti-
lizando un procedimiento similar al anterior se puede obtener los resultados
indicados a continuacion.
Cuando el sistema llega a su lmite, la tasa de llegada se ve limitada, no
as la tasa de servicio.
(
si n = 0, . . . , N 1,
n = (4.27)
0 si n > N 1,
n = si n 0. (4.28)

Revisando la expresion para pn de la ecuacion (4.6), se puede ver que
(
n p0 si n N ,
pn = (4.29)
0 si n > N ,
Mediante la ecuacion (4.29) y teniendo presente el lmite de tems en el
sistema, se puede escribir
p0 (1 + + 2 + . . . + N ) = 1, (4.30)
lo que conduce a
(
1
1N +1
si 6= 1,
p0 = 1
(4.31)
N +1 si = 1,
de manera que se obtiene
(1)n
(
1N +1
si 6= 1,
pn = 1
n = 0, . . . , N (4.32)
N +1 si = 1,

Cuando el sistema llega a N tems, la esperanza de perdida de tems que
llegan desde la fuente es perdidos = pN . Esto implica
ef = perdidos = (1 pN ) (4.33)
Luego, se puede determinar Ls cuando 6= 1:
35
N
X
Ls = npn (4.34)
n=0
N
(1 ) X n
= n (4.35)
1 N +1 n=0
N
(1 ) d X n
= (4.36)
1 N +1 d n=0
d 1 N +1

(1 )
= (4.37)
1 N +1 d 1

1 (N + 1)N + N N +1
= . (4.38)
(1 )(1 N +1 )
entonces,
(1(N +1)N +N N +1 )
(
(1)(1N +1 )
6= 1,
Ls = (4.39)
N
2 = 1.
El resto de las medidas se determina usando las ecuaciones de la seccion

4.2.2.
4.5. (M/M/c : DG//)

Supongase que hay c servidores que trabajan en paralelo y que sirven una
fila unica. El numero de tems en la fila es ilimitado, lo mismo que la fuente de
llegadas.
Dado que no hay lmite en la fila, no existen tems perdidos por lo cual la
tasa de llegada iguala la tasa efectiva, es decir, ef = . Ademas, si la tasa de
servicio en cada servidor es , entonces a tasa maxima de servicio de c servidores
esta dada por c. Existe una situacion especial cuando el numero de tems a
servir es inferior al numero de servidores. Entonces,
n = (4.40)
(
n n < c
n = (4.41)
c n c
36
Usando la ecuacion (4.6), se puede ver que:
( n
Q p0 n<c
( ni=1 i )
pn = nQ (4.42)
p
(c)(nc) ( ci=1 i ) 0
nc
n
n
(
(n!n ) p0 = n! p0 n<c
= n n
p = c!c(nc)
c!c (c)(nc) 0
p0 nc
P
Para determinar p0 se sabe que n=0 pn = 1. Entonces, suponiendo que
c < 1,
( c1
)1
X n c X nc
p0 = + (4.43)
n=0
n! c! n=c c
( c1
X n )1
c

1
= + (4.44)
n=0
n! c! 1 c

Se sabe que si n < c la tasa de salida es igual a n y la fila no tiene tems
en espera. Luego, dado pn y la ecuacion (4.8),

X
Lq = (n c)pn (4.45)
n=c
X
= kpk+c (4.46)
k=0

X k+c
= k p0 (4.47)
ck c!
k=0

c+1 X k1
= p0 k (4.48)
c!c c
k=0

c+1 d X k
= p0 (4.49)
c!c d( c ) c
k=0
c+1
= p0 (4.50)
(c 1)!(c )2
Ls se determina conociendo la ecuacion (4.13). Entonces, dado que ef = , se

L
tiene Ls = Lq + . Por otro lado, se sabe que Ws = Ls y Wq = q .
37
Captulo 5
Procesos de Markov
38
5.1. Introduccion
La teora de probabilidad moderna estudia los procesos aleatorios donde el
conocimiento de resultados previos influye en las predicciones para experimentos
futuros. A inicios del 1900, Andrei A. Markov propuso el estudio de experimentos
secuenciales, donde las predicciones de los resultados de experimentos futuros
fueran condicionados por los resultados de experimentos pasados. Estos fueron
llamados experimentos secuenciales. Posteriormente, Norbert Wiener y Andrei
Kolmogorov dieron forma a la teora que se conoce como cadenas de Markov.
Se dice que el proceso estocastico definido por las distribuciones de transicion
es un proceso de Markov de primer orden si la relacion (5.2) es satisfecha.
Si el estado futuro depende del estado actual y del estado precedente, el proceso
es llamado de segundo orden, y as sucesivamente. En general, diremos que la
matriz P = (pij ) (i, j = 1, . . .), es la matriz de transicion homogenea, es decir,
las probabilidades de transicion son independientes del tiempo.
Ejemplo 1. Consideremos un modelo basico para aproximar las caractersticas
de un medio de comunicacion de datos en una red de estaciones comunicando
por va inalambrica. El modelo supone dos estados:
e1 : medio esta ocupado,

e2 : medio esta desocupado.
Luego, existe un proceso estocastico por el cual el medio cambia de estado. Si et

representa el estado del medio en el tiempo t, se dice que hay una transicion de
un paso cuando el medio esta en el estado e(t+1) en el tiempo t+1. Denotaremos
por pij la probabilidad siguiente:
pij = P (et+1 = ej | et = ei ) i, j {1, 2}, (5.1)

es decir, la probabilidad de ir del estado ei al estado ej en un paso, o bien en
un intervalo de tiempo. En general, se supondra que:
pij = P (et+1 = ej | et = ei , et1 = ei1 , et2 = ei2 , et3 = ei3 , . . .). (5.2)
O sea, la probabilidad de transicion de llegar al estado ej en el tiempo t + 1,

en un paso, depende solo del estado del medio en el tiempo t. En este caso, el
proceso se dice sin memoria cumpliendo la propiedad de Markov.
En el ejemplo, sea P la matriz de transicion de estados, en un paso, definida
de la siguiente manera:

p11 p12
P = , (5.3)
p21 p22
donde,
X
pij = 1, pij 0. (5.4)
j
39
Notese que cada fila implica una distribucion de probabilidades, y se supondra que
las distribuciones entre filas son independientes. Sea qit la probabilidad que el
medio este en el estado i en el tiempo t. Entonces,
X
qit = 1, qi,t 0 (5.5)
i
Si se deseara simular las transiciones de estado del medio se podra proceder de

la siguiente manera:
1. Inicio
2. t = 0: definir el estado inicial del medio, usando la informacion q10 y q20 .
3. t > 0: Para cada t
a) determinar el siguiente estado a visitar;

b) mover el medio al estado a visitar;
4. Fin
Para determinar el estado a visitar, se puede usar la informacion de la distri-

bucion de probabilidad del estado inicial de la transicion, generando la CFD y
enseguida determinar la inversa, como usual. Dado que en este caso se tienen
distribuciones discretas, es necesario definir los intervalos en el rango [0, 1] que
describen cada estado a visitar. El estado inicial del sistema, se podra generar
aleatoriamente, usando q10 y q20 .
Una cadena de Markov es un caso especial de proceso de Markov donde
el espacio de estados es discreto y se ha especificado la matriz P y las probabi-
lidades iniciales qit . Los estados ei (i = 1, 2, . . .) forman un conjunto enumerable
(finito o infinito). Segun que el espacio de estados o el tiempo de un proceso
sean continuos o discretos, se puede distinguir los siguientes tipos de procesos
de Markov (ver Cuadro 5.1):
Cadena de Markov de tiempo discreto (o cadena de Markov de estado y

tiempo discretos).
Cadena de Markov de tiempo continuo.
Proceso de Markov de tiempo discreto.
Proceso de Markov de tiempo continuo.
40
Cuadro 5.1: Tipos de procesos de Markov
Espacio de estados
Discreto Continuo
Discreto CM de tiempo discreto PM de tiempo discreto
Tiempo
Continuo CM de tiempo continuo PM de tiempo continuo
5.1.1. Estructura de un proceso de Markov

Un proceso de salto es un proceso estocastico que hace transiciones entre
estados discretos en tiempos fijos o aleatorios. En esos procesos, el sistema entra
en un estado, permanece un tiempo llamado el tiempo de espera y luego salta
a otro estado, etc. Si los tiempos de salto son discretos, el proceso es llamado
cadena de salto.
Hay dos tipos de proceso de salto: puro y explosivo. En un proceso explosivo,
el proceso hace infinitos saltos en un intervalo finito de tiempo. En un proceso
puro, el proceso hace un numero finito de saltos en un intervalo de tiempo. Si
los tiempos de espera de un proceso de salto de tiempo continuo se distribuyen
exponencialmente, el proceso es llamado proceso de salto de Markov. Este tipo
de proceso es una cadena de Markov de tiempo continuo si el tiempo de espera
depende solo del estado actual. Si los tiempos de espera de un proceso de salto
de tiempo discreto son geometricamente distribuidos, el proceso es llamado ca-
dena de salto de Markov. Notese que para el caso de transiciones que ocurren
a intervalos regulares (das, semanas, meses, etc.), una cadena de Markov no es
una cadena de salto de Markov.
No todos los sistemas fsicos pueden ser modelados por procesos de salto. En
esos casos, el espacio de estados y el tiempo son continuos. Un ejemplo de ello
es el movimiento Browniano, descrito por primera vez por el botanico Robert
Brown en 1828, quien observo que las partculas de polen suspendidas en un
fluido se movan de una manera irregular.
5.1.2. Algunas aplicaciones de procesos de Markov de tiem-

po discreto
Los procesos de Markov han sido aplicados a diversos problemas. Aqu se
presentan algunos bien conocidos.
Proceso de ramificacion
Considerese un sistema que consiste inicialmente de un conjunto finito de
elementos. A medida que el tiempo pasa, cada elemento puede desaparecer
independientemente con probabilidad p0 o producir k otros elementos con
probabilidad pk (k = 1, 2, . . .. El comportamiento de los nuevos elementos
es igual al de sus padres. Sea Xn el tamano de la poblacion despues de n
de estos eventos. El proceso {Xn |n 0} es una cadena de Markov llamada
proceso de ramificacion.
41
Los proceso de ramificacion se usan en diferentes dominios de la ciencia y
la ingeniera: crecimiento de poblacion, expansion de una epidemia, fision
nuclear.
Movilidad social
En sociologa se ha usado cadenas de Markov para determinar como las
clases sociales de padre, abuelo, etc., afectan la clase social de los hijos.
Esto esta basado en el hecho que las personas pueden ser clasificadas en
tres niveles: clase alta, clase media, clase baja. Cuando las probabilidades
condicionales son conocidas, se pueden usar para representar las transicio-
nes entre clases de las generaciones sucesivas en una familia, modelando
la movilidad social como una cadena de Markov.
Proceso de decision de Markov
Un proceso de decision de Markov se usa para modelar sistemas dinami-
cos inciertos cuyos estados cambian con el tiempo. En tales sistemas, el
tomador de decision debe tomar una decision en el tiempo, con resultados
inciertos. Cada accion tomada por el decisor puede generar una recompen-
sa o un costo. El objetivo es encontrar una secuencia optima de acciones
que le permitan al decisor obtener la maxima recompensa esperada en un
intervalo de tiempo, finito o infinito.
5.1.3. Algunas aplicaciones de procesos de Markov de tiem-

po continuo
Aplicaciones de procesos de Markov en tiempo continuo ya han sido identi-
ficadas anteriormente en este libro. Aqu presentamos casos usuales.
Sistemas de filas
Como hemos visto, los sistemas de filas pueden encontrarse en multiples
aplicaciones. En general, un sistema de filas consiste de una fila y un
conjunto de servidores. Cuando la llegada de los elemento a la fila sigue
una distribucion de Poisson, y los servidores tienen un tiempo de servicio
distribuido exponencialmente, el numero de elementos se comporta como
una cadena de Markov.
Inventario
Supongamos una bodega donde se controla el inventario de cierto tipo
de producto mediante un mecanismo de reposicion, el cual opera por la
necesidad de responder a la demanda. Sea c la capacidad (en unidades) de
la bodega, In el numero de unidades de producto en el tiempo n y dn la
demanda de unidades en el mismo perodo. El administrador de la bodega
ha definido un modelo de reposicion que se aplica cada perodo: si el nivel
de inventario desciende mas abajo de un nivel permitido m, se pide la
cantidad necesaria para llegar hasta el nivel c, de lo contrario se repone
la cantidad demandada en el perodo. La variable siguiente representa el
42
comportamiento del numero de unidades de producto en inventario, al
inicio de cada perodo:
(
max{0, c dn } In1 m
In =
max{0, In1 dn } In1 > m
Si d1 , d2 , . . ., son independientes e identicamente distribuidas, el proceso

{In |n 0} es una cadena de Markov.
5.1.4. Ejemplos
A continuacion se presenta algunos ejemplos que dan cuenta de la variedad
de problemas que pueden ser modelados usando procesos de Markov.
Antiguamente, las universidades admitan solo estudiantes hombres. Su-

pongamos que en ese tiempo 80 % de los hijos de hombres que iban a
Harvard fueron a Harvard y el resto fue a Yale, 40 % de los hijos de los
hombres de Yale fueron a Yale, y el resto se divida entre Harvard y Dart-
mouth; y de los hijos de los hombres de Dartmouth, 70 % fue a Dartmouth,
20 % a Harvard y 10 % a Yale. La matriz de transiciones en este caso es

0, 8 0, 2 0
P = 0, 3 0, 4 0, 3
0, 2 0, 1 0, 7
El presidente de una nacion le dice a una persona A sobre su intencion de

ir a la re-eleccion. La persona A transmite a otra persona B esa intencion,
la persona B la transmite a C, etc. Supongamos que hay una probabilidad
a de que la intencion positiva se cambie a negativa cuando se transmite
el mensaje, y una probabilidad b de que la respuesta negativa se cambie a
positiva. Entonces, la matriz de transiciones de cambios en las respuestas
esta dada por:

1a a
P =
b 1b
El tipo mas simple de herencia en animales puede ser considerado mediante

un par de genes G y g. Un individuo puede tener una combinacion GG
o Gg, gG o gg. Usualmente, los tipos GG y Gg son indistinguibles en
apariencia, y se dice que G domina al gen g. Un individuo es llamado
dominante si tiene genes GG, recesivo si tiene genes gg y hbrido si tiene
una mezcla Gg (o gG).
En una pareja de animales, la cra hereda un gen del par de cada padre, y
el supuesto basico de la genetica es que esos genes son seleccionados alea-
toriamente, independientemente uno del otro. Este supuesto determina la
43
probabilidad de ocurrencia de cada tipo de cra. La cra de dos padres do-
minantes debe ser dominante, la de dos padres recesivos debe ser recesivo,
y la de uno dominante con uno recesivo debe ser hbrida.
En una pareja con un animal dominante y el otro hbrido, cada cra debe
obtener un gen G del primero y tiene igual probabilidad de obtener un G
o un g del segundo. Esto implica que hay una probabilidad igual de tener
una cra dominante o hbrida. Nuevamente, en una pareja de un recesivo
y un hbrido, hay igual probabilidad de obtener un recesivo o un hbrido.
En una pareja de dos hbridos, la cra tiene igual chance de tener un G
o un g de cada padre. En consecuencia, las probabilidades son 1/4 para
GG, 1/2 para Gg y 1/4 para gg.
Consideremos un proceso de emparejamientos continuos. Comencemos con
un individuo de caracter genetico conocido y emparejemoslo con un hbri-
do. Suponemos que hay al menos una cra. Una cra es elegida al azar y
es emparejada con un hbrido y este proceso es repetido a traves de un
numero de generaciones. El tipo genetico de la cra elegida en generaciones
sucesivas puede ser representado por una cadena de Markov. Los estados
son dominante, hbrido y recesivo. Las probabilidades de transicion son:

0, 5 0, 5 0
P = 0, 25 0, 5 0, 25
0 0, 5 0, 5
Considerese el ejemplo de inventario de la seccion 5.1.3. La probabilidad

de que el valor de demanda dj ocurra es expresada como P (dj = k) = ak .
De esta manera, si el estado del inventario en un momento es Ij , una
demanda dj = k implica que el inventario hace una transicion a Ij + k
con probabilidad de transicion ak . Entonces, si se define como estados
del proceso los valores de inventario m, m + 1, m + 2, . . . , c, la matriz de
transiciones de probabilidad que indica el cambio de un nivel de inventario
a otro puede escribirse como

a0 0 ... ... ... 1 a0

a1 a0 ... ... ... 1 F (1)

a2 a1 ... ... ... 1 F (2)
P =

... ... ... ... ... ...

acm1 acm2 ... ... ... 1 F (c m 1)
acm acm1 ... ... ... 1 F (c m)
Pj
donde F (j) = r=0 ar .
44
5.2. Cadenas de Markov de tiempo discreto
5.2.1. Introduccion
El proceso de tiempo discreto {Xk , k = 0, 1, 2, . . .} es llamado una cadena
de Markov si para todo i, j, k, . . . , m, se cumple lo siguiente:
P (Xk = j|Xk1 = i, Xk2 = n, . . . , X0 = m) = P (Xk = j|Xk1 = i) = pijk

(5.6)
La cantidad pijk es llamada la probabilidad de transicion de estado, que es
la probabilidad condicional que el proceso estara en el estado j, en el tiempo
k inmediatamente despues de la transicion, dado que esta en el estado i en el
tiempo k 1. Una cadena de Markov que obedece esta regla es llamada cadena
de Markov no homogenea. Se habla de una cadena de Markov homogenea cuando
esta no depende de la unidad de tiempo, es decir, pijk = pij :
P (Xk = j|Xk1 = i, Xk2 = n, . . . , X0 = m) = P (Xk = j|Xk1 = i) = pij ,

(5.7)
que es llamada la probabilidad de transicion de estado homogenea, que satisface
las siguientes condiciones:
1. 0 pij 1;
P
2. i pij = 1, i = 1, 2, . . ..
De la definicion precedente se obtiene la siguiente regla de la cadena de Markov :
P (Xk = j, Xk1 = i1 , Xk2 = i2 , . . . , X0 = ik ) (5.8)

= P (Xk = j|Xk1 = i1 )P (Xk1 = i1 , Xk2 = i2 , . . . , X0 = ik )
= P (Xk = j|Xk1 = i1 )P (Xk1 = i1 |Xk2 = i2 )
P (Xk1 = i1 , Xk2 = i2 , . . . , X0 = ik )
...
= pi1 j pi2 i1 . . . pik ik1 P (X0 = ik )
5.2.2. Ecuaciones de Chapman-Kolmogorov

Dada una cadena de Markov, supongase que se desea conocer la probabilidad
de que el sistema este en el estado j en el tiempo t1 . Esta probabilidad se
determina considerando que en t0 el sistema puede estar en alguno de los estados
i del sistema y que se hace una transicion desde ah segun probabilidad de
transicion pij :
qj1 = q10 p1j + q20 p2j + q30 p3j + . . . .

X
= qi0 pij .
i
45
En el caso general se tiene
qjn = q1(n1) p1j + q2(n1) p2j + q3(n1) p3j + . . . .

X
= qi(n1) pij
i
X
= q1(n2) p1i + q2(n2) p2i + q3(n2) p3i + . . . pij
i
X X
= qk(n2) pki pij
k i
(2) P
Usualmente se define pkj = i pki pij , como la probabilidad de ir de k a j en
dos pasos. Se puede demostrar por induccion que
(n)
X
qjn = qk0 pkj .
k
Las ecuaciones de Chapman-Kolmogorov se definen como

(n)
X (n1)
pkj = pki pij i, j (5.9)
i
En terminos generales, las ecuaciones de Chapman-Kolmogorov se escriben

como
(n)
X (nr) (r)
pkj = pki pij k, j (5.10)
i
Esto se puede probar si se observa lo siguiente:
(n)
pkj = P [Xn = j|X0 = k] (5.11)
X
= P [Xn = j, Xr = i|X0 = k] (5.12)
i
X
= P [Xn = j|Xr = i, X0 = k]P [Xr = i|X0 = k] (5.13)
i
X
= P [Xn = j|Xr = i]P [Xr = i|X0 = k] (5.14)
i
(nr) (r)
X
= pki pij (5.15)
i
En notacion matricial, (5.10) equivale a
P (n) = P (n1) P, (5.16)

donde P (n) es la matriz de transiciones en n pasos. En consecuencia, definiendo
~qn = (q1n , q2n , . . .), se puede escribir
46
~qn = ~q0 P (n) .
5.2.3. Teoremas de cadenas de Markov

Definicion 1. Un estado i de una cadena de Markov se dice absorbente si es
imposible dejarlo, es decir, pii = 1. Una cadena de Markov es absorbente si ella
tiene al menos un estado absorbente y si es posible ir de cada estado a un estado
absorbente (no necesariamente en un paso).
Definicion 2. En una cadena de Markov absorbente, un estado que no es ab-
sorbente es llamado estado transiente.
Ejemplo 2. Consideremos como ejemplo la matriz siguiente:

1 0 0
P = 0, 25 0, 5 0, 25 . (5.17)
0 0 1
En este caso, los estados 1 y 3 son abosrbentes, mientras que el estado 2 es
transiente. La cadena se dice absorbente y cuando el proceso alcanza un estado
absorbente se dice que es absorbido.
Forma Canonica de una cadena absorbente

Consideremos una matriz de transicion de una cadena de Markov, con t
estados transientes y r estados absorbentes. Entonces, podemos acomodar las
filas de la matriz de tal manera que se tiene la representacion siguiente:

Q R
P = . (5.18)
0 I
Q es una matriz de t t estados transientes, R es una matriz de t r, I es una
matriz de r r estados absorbentes. Se puede mostrar la propiedad siguiente:
(n)
Q *
P (n) = , (5.19)
0 I
tal que lmn Q(n) 0.
Teorema 2. En una cadena de Markov absorbente, la probabilidad que el pro-
ceso sea absorbido es 1 (es decir, Q(n) 0).
Ejemplo 3. Consideremos la matriz siguiente:

1 0 0
P = 0, 25 0, 5 0, 25 . (5.20)
0, 3 0, 3 0, 4
47
En este caso, por el teorema anterior es facil ver que las potencias de la matriz
de transiciones convergen a la siguiente matriz (verifquelo):

1 0 0
(n)
P = 1 0 0 . (5.21)
1 0 0
Teorema de cadenas regulares

Definicion 3. Una cadena de Markov se dice ergodica si es posible ir de cual-
quier estado a cualquier estado (no necesariamente en un paso).
Definicion 4. Una cadena de Markov se dice regular si alguna potencia de la
matriz de transicion tiene solo elementos positivos.
Ejemplo 4. La matriz siguiente es ergodica, pero no regular:

0 0 1
P = 1 0 0 . (5.22)
0 1 0
Una caracterstica interesante de esta matriz es la periodicidad. Verifique que
P (1) = P (3k+1) , k = 1, 2, . . ..
Cualquier matriz que no tiene ceros es una matriz regular. Sin embargo, una
matriz regular puede tener ceros. Un ejemplo de eso es la matriz siguiente:

0, 25 0, 75 0
P = 0, 4 0, 3 0, 3 . (5.23)
0, 3 0, 3 0, 4
que converge a la siguiente matriz (verifquelo)

0, 33 0, 45 0, 22
P (n) = 0, 33 0, 45 0, 22 . (5.24)
0, 33 0, 45 0, 22
Teorema 3. Sea P la matriz de transiciones de una cadena y sea q el vector de
probabilidad que representa la distribucion de partida. Entonces, la probabilidad
de la cadena de estar en el estado i luego de n pasos esta en la i-esima entrada
del vector
q (n) = qP (n) (5.25)

Teorema 4 (Fundamental del lmite para cadenas regulares). Sea P la matriz
de transiciones de una cadena regular. Entonces, si n , la matriz P (n) se
aproxima a una matriz W con todas sus filas iguales al vector = {1 , 2 , . . .}.
Este vector es estrictamente positivo, es decir, lmn qjn = j (j), tal que,
X
j = i pij (5.26)
i
48
P
donde, j j = 1.
Demostracion. 1 :
Sea X una cadena de Markov con matriz de transiciones P , partiendo en el
estado si . Sea Y una cadena de Markov con matriz de transiciones P , partiendo
con probabilidades iniciales dadas por el vector fijo . Los procesos X e Y se
suponen independientes.
Consideremos una tercera cadena de Markov con matriz de transiciones P ,
que observa los procesos X e Y . Los estados de P son los pares ordenados (i, j),
es decir, los pares tales que X = i y Y = j al mismo tiempo. Las probabilidades
de transicion estan dadas por
P [(i, j), (k, l)] = pik pjl ,

indicando que el proceso X hace una transicion de i a k, y en el mismo
intervalo de tiempo el proceso Y hace una transicion de j a l. Dado que P es
(n)
regular, hay un n tal que pik > 0 para todo i y k. Entonces para P tambien
es posible ir de (i, j) a otro estado (k, l) en a lo mas n pasos. Esto implica que
P tambien es una cadena regular.
Consideremos T el tiempo en que P llega por primera vez al estado (k, k),
es decir, X e Y estan en el mismo estado. A partir de ese primer momento, en
el largo plazo X e Y no debieran tener diferencias pues estan gobernadas por
la misma matriz de transiciones. Es facil ver que P (T > n) 0 si n . Si
n T , dado que X e Y estan en el mismo estado en el tiempo T , se verifica
P (Xn = j, n T ) = P (Yn = j, n T ).
Multiplicando ambos lados de la ecuacion anterior por P (n T ), la formula de
probabilidad condicional implica
P (Xn = j | n T ) = P (Yn = j | n T ).
Sabemos que para todo n, P (Yn = j) = j (consecuencia de la ecuacion (5.10)).
Ademas,
P (Yn = j) = P (Yn = j, n T ) + P (Yn = j, n < T ).

Pero P (Yn = j, n < T ) 0 si n , pues P (n < T ) 0 cuando n . De
manera que,
P (Yn = j, n T ) j , si n
Esto implica
P (Xn = j, n T ) j , si n
1 W. Doeblin, Expose de la Theorie des Chaines Simple Constantes de Markov a un Nombre
Fini dEtats, Rev. Mach. de lUnion Interbalkanique, vol. 2 (1937), pp. 77-105.
49
Pero, usando el mismo razonamiento anterior, dado que P (n < T ) 0 cuando
n , se puede concluir,
P (Xn = j) j , si n ,
lo que demuestra el teorema.
Notese que si = {1 , 2 , . . .}, la expresion (5.26) puede ser escrita como
= P, (5.27)
de manera que se interpreta como el vector propio por la izquierda de P .
Corolario (calculo del lmite de la probabilidad de estado )

Sea P (X(0) = i) la probabilidad de que el proceso esta en el estado i antes
de que se haga la primera transicion. Entonces el conjunto de todas las posi-
bilidades, es decir, {P (X(0) = i)}, define la condicion inicial, tal que para un
proceso de n estados se tiene
n
X
P (X(0) = i) = 1. (5.28)
i=1
Sea P (X(m) = j) la probabilidad de que el proceso este en el estado j al

final de m transiciones, entonces para un proceso de n estados se tiene
n
(m)
X
P (X(m) = j) = P (X(0) = i)pij . (5.29)
i=1
Por el teorema anterior, se sabe que P (X(m) = j) se aproxima a una constante

a medida que m , es decir,
lm P (X(m) = j) = j . (5.30)
m
Pero, de la ecuacion 5.10 se sabe que

(m)
X (m1)
pij = pik pkj i, j, (5.31)
k
con lo cual se tiene
(m1)
X
j = lm pik pkj (5.32)
m
k
X
= k pkj (5.33)
k
50
Ejemplo:
Considerese la matriz de probabilidades siguiente:

0, 6 0, 4
P = (5.34)
0, 35 0, 65
Determnese las probabilidades lmite de estado.
Solucion:
Por la ecuacion (5.26),
1 = 0, 61 + 0, 352 (5.35)
2 = 0, 41 + 0, 652 (5.36)
1 = 1 + 2 (5.37)
Hay tres ecuaciones y dos variables, por lo cual una de las ecuaciones
es redundante. Usando la primera y tercera ecuaciones se puede mostrar
facilmente que = {1 , 2 } = {7/15, 8/15}.
El teorema siguiente proporciona una base para calcular las probabilidades

de estado mediante simulacion.
Teorema 5 (Ley de los grandes numeros para cadenas de Markov ergodicas).
Sea Hjn la proporcion de veces en n pasos que una cadena ergodica (seccion
5.2.4) esta en el estado j. Entonces, para cualquier > 0,
lm P (|Hjn j | > ) 0, (5.38)

n
independiente del estado de partida.
Ejemplo:
Suponga que la matriz de transiciones que representa los cambios de mo-
dulacion en un canal inalambrico es la siguiente :

1/2 1/4 1/4
P = 1/2 0 1/2
1/4 1/4 1/2
Determnese las probabilidades lmite de estado.

Simule el sistema para mostrar que las proporciones de ocurrencia de esta-
do se acercan a las probabilidades lmite. Corra simulaciones de distintas
duraciones.
51
El valor medio de capacidad de canal en cada estado es dado por los valores
siguientes:
1 = 500kbps
2 = 1mbps
3 = 2mbps
(5.39)
Calcule la esperanza de la capacidad del canal mediante simulacion y

usando las probabilidades de estado.
5.2.4. Tiempos de retorno

(n)
Sea fjj la probabilidad de regresar al estado j en n pasos. Entonces, se
tiene:
(1)
pjj = fjj
(2) (2) (1)
pjj = fjj + fjj pjj
(3) (3) (2) (1) (2)
pjj = fjj + fjj pjj + fjj pjj
...
(n) (n) (n1) (n2) (2) (1) (n1)
pjj = fjj + fjj pjj + fjj pjj + . . . + fjj pjj ,
es decir,
n1
(n) (n) (nk) (k)
X
pjj = fjj + fjj pjj . (5.40)
k=1
Esto implica
n1
(n) (n) (nk) (k)
X
fjj = pjj fjj pjj . (5.41)
k=1
(n)
El sistema puede retornar a j en 1, 2, 3, . . . , n, . . . pasos. Luego, fjj define una
P (n)
distribucion de probabilidad si n=1 fjj = fjj = 1. En ese caso, el sistema
vuelve al estado j. El tiempo medio de regreso es definido como

(n)
X
jj = nfjj (5.42)
n=1
Segun el valor de jj y fjj , los estados de una cadena de Markov se pueden

clasificar como sigue:
Una cadena es irreducible si todos sus estados son ergodicos.
52
estado transitorio fjj < 1
estado recurrente fjj = 1
estado recurrente nulo jj =
estado recurrente no-nulo jj <
(n)
estado periodico, de perodo T pjj = 0 si (n mod T 6= 0)
estado recurrente ergodico si no-nulo y aperiodico
estado absorbente j es absorbente si pjj = 1
Se puede demostrar que el tiempo medio de retorno esta asociado a las

probabilidades de estado lmite de la siguiente manera:
1
j = si jj 6= 0 (5.43)
jj
Ejemplo 5. Consideremos como ejemplo la matriz siguiente:

0, 25 0, 5 0, 25
P = 0, 4 0, 3 0, 3 .
0, 3 0, 3 0, 4
En este caso, la matriz corresponde a una cadena regular y las probabilidades de
estado lmite corresponden a = {0, 32; 0, 36; 0, 32}. Realizando la simulacion
del proceso en 14 pasos se obtiene (compruebelo):

11 3, 1
22 = 2, 8 ,
33 3, 0
lo que permite verificar en cada caso j = 1/jj .
5.3. Cadenas de Markov de tiempo continuo

5.3.1. Definicion
Un proceso estocastico {X(t)|t 0} es una cadena de Markov de tiempo
continuo si, para todo s, t 0 y enteros no negativos i, j, k se cumple
P (X(t + s) = j|X(s) = i, X(u) = k, 0 u s) = P (X(t + s) = j|X(s) = i).

(5.44)
Esta ecuacion implica que la probabilidad de ir de i a j en el tiempo t depende
solo del estado en el tiempo s, es decir, es independiente del pasado. Si la
probabilidad P (X(t+s) = j|X(s) = i) es independiente de s entonces el proceso
estocastico se dice homogeneo en el tiempo. Las cadenas de Markov homogeneas
en el tiempo tienen probabilidades de transicion homogeneas o estacionarias:
53
pij (t) = P (X(t + s) = j|X(s) = i), (5.45)
pj (t) = P (X(t) = j), (5.46)
donde, pij (t) es la probabilidad de que el proceso ira desde el estado i al estado
j en un tiempo t, y pj (t) es la probabilidad de que el sistema esta en el estado
j en el tiempo t. Dado que estas son probabilidades, se tiene
X
pij (t) = 1, (5.47)
j
X
pj (t) = 1. (5.48)
j
5.3.2. Ecuacion de Chapman-Kolmogorov en tiempo contnuo

Considerese la siguiente ecuacion:
X
pij (t + s) = P (X(t + s) = j, X(t) = k|X(0) = i),
k
X P (X(t + s) = j, X(t) = k, X(0) = i)
= ,
P (X(0) = i)
k
X P (X(t) = k, X(0) = i) P (X(t + s) = j, X(t) = k, X(0) = i)
= ,
P (X(0) = i) P (X(t) = k, X(0) = i))
k
X
= P (X(t) = k|X(0) = i)P (X(t + s) = j|X(t) = k, X(0) = i),
k
X
= P (X(t) = k|X(0) = i)P (X(t + s) = j|X(t) = k),
k
con lo cual se obtiene:

X
pij (t + s) = pik (t)pkj (s). (5.49)
k
Esta es la ecuacion de Chapman-Kolmogorov para el caso de cadenas de Markov

de tiempo contnuo.
5.3.3. Propiedad de falta de memoria

Consideremos una cadena de Markov de tiempo contnuo, homogenea. Sea Ti
la variable que representa el tiempo que el proceso ha gastado desde un instante
0 hasta que se encuentra en el estado j. Asimismo, consideremos 4Ti el tiempo
que el proceso pasa en el estado i antes de encontrarse en j. Entonces, se observa
que la igualdad
54
P (X(t + s) = j|X(s) = i) = P (X(t) = j|X(0) = i),
equivale a
P (Ti > t + s|Ti > s) = P (4Ti > t|s + 4Ti > s)

= P (4Ti > t|4Ti > 0)
= P (4Ti > t). (5.50)
Hay una distribucion de probabilidad que tiene esta propiedad, llamada falta de
memoria, que es
P (4Ti > t) = et ,
es decir, la distribucion exponencial con funcion de densidad f (t) = et . En
efecto, se tiene la siguiente relacion
P (Ti > t + s, Ti > s)

P (Ti > t + s | Ti > s) = ,
P (Ti > s)
P (Ti > t + s)
= ,
P (Ti > s)
e(t+s)
= ,
es
= et ,
= P (4Ti > t).
5.3.4. Procesos estacionarios

Supongamos un proceso {X(t)|t 0} y X(t) N, en estado estacionario, tal
que el proceso puede realizar transiciones de un estado a otro adyacente como
si fuera un proceso de conteo. Entonces, sea
- n, estado actual del proceso;

- n , frecuencia esperada de cambio desde el estado n al n + 1 (nacimiento),
por unidad de tiempo ;
- n , frecuencia esperada de cambio desde el estado n al n 1 (muerte),

por unidad de tiempo;
- pn (t), probabilidad de que el proceso este en el estado n en el tiempo t.
En estado estable, los flujos de ingreso y salida del sistema deben igualarse.
Entonces, para que el sistema se estabilice en el estado n, debe suceder
55
n1 pn1 (t) + n+1 pn+1 (t) = (n + n )pn (t) n = 1, 2, . . . . (5.51)
es decir, las tasas esperadas de llegada y de salida en el estado n deben igualarse,

manteniendo el equilibrio de flujos. Esto es equivalente al razonamiento que
permite obtener las probabilidades de estado en el caso de filas de espera.
Consideremos ahora la posibilidad que el proceso pueda realizar transiciones
desde o hacia un estado j desde cualquier otro estado i = 1, 2, . . .. Entonces, sea
- i , tasa esperada de salida desde el estado i a cualquier otro estado, por

unidad de tiempo;
- ij , tasa esperada de salida desde el estado i al estado j, por unidad de
tiempo;
- pi (t), probabilidad de que el proceso este en el estado i en el tiempo t.
Para que el sistema este en equilibrio en j, es decir, que las entradas igualen las
salidas, se debe cumplir2
X
ij pi (t) = j pj (t) j = 1, 2, . . . . (5.52)
i6=j
Ademas, si el proceso es ergodico, entonces se cumple

X
ij i = j j j = 1, 2, . . . , (5.53)
i6=j
donde i , i = 1, 2, . . ., corresponden a las probabilidades de estado lmite, defi-

nidas por
i = lm pij (t) j = 1, 2, . . . , (5.54)

t
que satisfacen
X
i pij (t) = j j = 1, 2, . . . . (5.55)
i
Ejemplo 6. Consideremos como ejemplo dos equipos de proyecto sometidos a

un programa de desarrollo de un sistema crtico. Cada uno de los equipos de tra-
bajo puede desarrollar continuamente. Sin embargo, por diferentes condiciones
los equipos se retrasan. Cuando eso ocurre, se asigna recurso adicional al equipo
retrasado, pero ese recurso alcanza solo para un equipo a la vez. El tiempo medio
de retraso de cada equipo es de 1 da, el que debe recuperarse lo antes posible.
El tiempo medio de recuperacion es de 1/2 da.
2 Notese que en el caso del proceso de conteo, dado el estado n la frecuencia esperada de
cambio es tal que n = n + n .
56
Definamos la variable aleatoria X(t), numero de equipos retrasados en el
tiempo t. Luego, X(t) {0, 1, 2}. Si la unidad temporal es 1 da, entonces se
puede ver lo siguiente:
w0 = 0 (5.56)
w1 = 1 + 1
w2 = 2
Notemos que si los equipos estan desarrollando normalmente, la tasa potencial

de retraso en un da sera igual a 0 = 2, pues ambos equipos podran fallar. En
cambio, si uno de los equipos se retraso, solo un equipo podra entrar en retraso
en un da, es decir, 1 = 1. Por otro lado, la tasa de recuperacion depende del
recurso asignado de tal manera que 1 = 2 y 2 = 2. Por lo tanto,
w0 = 2 (5.57)
w1 = 3
w2 = 2
Usando la ecuacion (5.53) se llega a:
20 = 21 (5.58)
31 = 20 + 22
22 = 1
Sabiendo ademas que 0 + 1 + 2 = 1, se puede determinar facilmente que

(0 , 1 , 2 ) = (2/5, 2/5, 1/5).
5.4. Cadenas de Markov con recompensa

5.4.1. Proceso con recompensa
Se dice que una cadena de Markov genera recompensas si una transicion
implica una ganancia (o perdida). Dada que las transiciones se realizan en pro-
babilidad, la recompensa obtenida a partir de un estado inicial corresponde a
una ganancia (o perdida) esperada.
Ejemplo 7. Supongamos un sitio Web de noticias que tiene tres tipos de pagi-
nas: 1, noticias polticas; 2, noticias economicas, 3, noticias deportivas. Luego
57
de un experimento desarrollado con una muestra relevante de usuarios se deter-
mino que un usuario puede hacer transiciones de un tipo de pagina a otro segun
la siguiente matriz de transiciones:

0, 25 0, 5 0, 25
P = 0, 4 0, 3 0, 3 ,
0, 3 0, 3 0, 4
Cada vez que un usuario realiza un cambio de estado el periodico digital recibe
una recompensa neta que proviene de los anuncios pagados por las empresas que
publicitan en el medio. Supongamos que la ganancia neta por cada cambio de
estado queda definida por la siguiente matriz

10 5 2, 5
R= 5 3 4 .
4 1 2
El periodico esta interesado en saber cual es la ganancia que obtiene por
un usuario que visita el sitio durante n minutos. Entonces, sea gi,n la ganancia
esperada en n pasos, a partir del estado i = 1. Luego, la ganancia esperada en un
paso, a partir de i = 1, se calcula como 100, 25+50, 5+2, 50, 25. Asimismo,
la ganancia esperada en dos pasos a partir de i = 1, gi,2 , esta determinada por
3
X
gi,2 = pij {rij + gj,1 } .
j=1
Para el ejemplo se tiene
gi,2 = 0, 25 {10 + (10 0, 25 + 5 0, 5 + 2, 5 0, 25)} +

= 0, 5 {5 + (5 0, 4 + 3 0, 3 + 4 0, 3)} +
= 0, 25 {2, 5 + (4 0, 3 1 0, 3 + 2 0, 4)} .
En terminos generales, se tiene lo siguiente

m
X
gi,n = pij {rij + gj,n1 } .
j=1
5.4.2. Proceso de decision markoviano

En el ejemplo de la seccion 5.4.1, supongamos que una vez que se llega a un
estado el periodico tiene la opcion de realizar una accion que cambia el mode-
lo de recompensa y las probabilidades de transicion. Por ejemplo, para evitar
la perdida que puede implicar la transicion desde el estado 3 al estado 2, el
editor puede introducir un anuncio viral que aumenta la posibilidad de perma-
nencia del usuario en la pagina de noticias. Entonces, supongase que el editor
del periodico tiene dos acciones posibles: introducir un anuncio viral (accion 1),
58
o no introducir el anuncio (accion 2). Las opciones disponibles conducen a las
matrices de transicion y recompensas siguientes:

0, 30 0, 4 0, 3
1
P = 0, 225 0, 375 0, 4 ,
0, 5 0, 25 0, 25

7 7 3
R1 = 4 6 2 .
5 2 1

0, 25 0, 5 0, 25
P 2 = 0, 4 0, 3 0, 3 ,
0, 3 0, 3 0, 4

10 5 2, 5
R2 = 5 3 4 .
4 1 2
Entonces, el editor del periodico se enfrenta al problema de determinar cual
sera la estrategia que le genere el mayor retorno esperado en una sesion de
usuario tpica. Si k representa el numero de una accion, entonces un editor que
desea maximizar sus ganancias aplicara la siguiente funcion para determinar la
ganancia esperada en n minutos, dado un estado inicial i:

Xm
pkij rij
k

gi,n = max + gj,n1 .
k{1,2}
j=1
Notese que esta es una formula recursiva que indica que la ganancia esperada
en n pasos, a partir del estado i, depende de las acciones futuras del tomador
de decision. Este modelo de calculo es llamado programacion dinamica donde el
resultados se puede determinar calculando los terminos en gj,1 , gj,2 , . . . , gj,n1 ,
etc., hasta llegar a gj,n .
59
Bibliografa
[1] Banks, J., Carson, J., Nelson, B. and Nicol, D., Discrete-Event System Si-
mulation. 3rd edition, Prentice-Hall, 2001.
[2] Feller, W., An Introduction to Probability Theory and Its Applications,

second edition, John Wiley & Sons, 1971.
[3] Prawda, J., Metodos y Modelos de Investigacion de Operaciones. Volumen
II, Modelos Estocasticos, Editorial Limusa, 1987.
[4] Ross, S., Introduction to Probability Models, Eight Edition, Academic Press,
2003.
[5] Taha, H., Investigacion de Operaciones, Alfaomega, 1995.
[6] Winston, W., Operations Research: Applications and Algorithms, Duxbury
Press, 1994.
60

Modelos Estocasticos 561d3b9c089de PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Modelos Estocasticos 561d3b9c089de PDF

Uploaded by

Copyright:

Available Formats

Modelos Estocasticos

Javier Pereira1, Fernando Paredes2,

1. Revision de conceptos de probabilidades 4

4. Modelos de Filas de Espera 30

A B, union de los puntos muestrales de los eventos A y B.

Sea F una familia de subconjuntos de con las propiedades siguientes:

El conjunto F es llamado una -algebra. Una medida de probabilidad defini-

P [A1 A2 . . . An ] = P [A1 ] + P [A2 ] + . . . + P [An ].

La tripla (, F, P ) es llamada un espacio de probabilidad. Algunas propieda-

P [A B] = P [A] + P [B] P [A B].

1.1.2. Probabilidad condicional

1.1.4. Teorema de Bayes

Entonces, si P [A] 6= 0, i = 1, . . . , n, la expresion

se dice la probabilidad total de A. Ahora, suponiendo que el evento A ha

Sabiendo que P [A | Ak ] = P [Ak A]/P [Ak ], se puede escribir

Esta es llamada la regla de Bayes. En esta formula P [Ak ] es llamada probabi-

1.2. Variables aleatorias

A5 = {(1, 4), (2, 3), (3, 2), (4, 1)}.

1.2.1. Variables aleatorias discretas

1.2.2. Variables aleatorias continuas

La funcion de densidad de probabilidad, o PDF (probability distribution fun-

Se ve claramente que el momento central con n = 2 corresponde a la varianza,

1.3. Transformadas de una variable aleatoria

con lo cual se tiene que s = 0 implica

Una propiedad importante de esta transformada es la siguiente:

con lo cual se tiene que z = 1 implica

1.4. Expresiones para variables aleatorias

pXY (x, y) = P [X = x, Y = y].

pXY (x, y) = pX (x)pY (y).

Variables aleatorias continuas Sean X e Y variables aleatorias discretas,

Si X e Y son variables aleatorias independientes, entonces

fXY (x, y) = fX (x)fY (y).

Covarianza y coeficiente de correlacion Sean X e Y dos variables alea-

Cov(X, Y ) = E[(X X )(Y Y )],

Si X e Y son independientes, E[XY ] = E[X]E[Y ] con lo cual Cov(X, Y ) = 0.

1.4.2. Suma de dos variables aleatorias

As, consideremos la CDF de S como la expresion

La PDF de esta expresion se puede obtener como

Esta ultima expresion es conocida como la integral de convolucion y se denota

fS (s) = fX (s) fY (s).

fS (s) = fX1 (s) fX2 (s) . . . fXn (s).

1.5. Distribuciones de probabilidad

1.5.2. Distribucion Binomial

1.5.3. Distribucion Geometrica

FX (x) = P [X x] = 1 (1 p)x (1.2)

1.5.5. Distribucion de Poisson

1.5.6. Distribucion Exponencial

1.5.7. Distribucion de Erlang

1.5.8. Distribucion Normal

Para el caso especial en que X = 0 y X = 1 se tiene

Si T es un intervalo en R, el proceso es llamado proceso estocastico de

Cada valor X(t, s) es llamado un estado. Se dice espacio de estados E el conjunto

Si E es continuo, el proceso es llamado proceso estocastico de estado con-

Cuando el numero X se asocie sin ambiguedad a la variable s , se tendra X(t, s) =

FX (xn , . . . , x2 , x1 ) = P [X(tn ) xn , . . . , X(t2 ) x2 , X(t1 ) x1 ] n,

define competamente el proceso estocastico. En consecuencia, la media del pro-

RXX (t, t + ) = E[X(t)X(t + )].

2.2.1. Proceso estocastico estacionario en sentido estricto

P [X(tn ) xn , . . . , X(t1 ) x1 ] = P [X(tn + ) xn , . . . , X(t1 + ) x1 ] n.

Por definicion de la invariante, es facil ver que un proceso estocastico estacio-

por lo cual escribimos X (0) = X y RXX (0, ) = RXX ( ).

2.2.2. Proceso estocastico estacionario en sentido amplio

Un proceso de conteo tiene incrementos independientes si para todo 0 s

P [X(tn ) xn , . . . , X(t1 ) x1 ] = P [X(tn + ) xn , . . . , X(t1 + ) x1 ] n.