1

Tema 3: Estimadores de m
axima verosimilitud

(basado en el material de A. Jach (http://www.est.uc3m.es/ajach/)

y A. Alonso (http://www.est.uc3m.es/amalonso/))

Planteamiento del problema: motivaci

on

Metodo de obtenci
on del E.M.V.

Propiedades del E.M.V.

Estadstica I

A. Arribas Gil

Planteamiento del problema

Hasta ahora hemos visto:

Poblaci
on y muestra

Estadsticos y parametros

Estimadores y sus propiedades

C
omo conseguir estimadores con buenas propiedades?

A veces tenemos un estimador natural: X para , S 2 para 2 , etc.

A veces podemos deducirlo de forma intuitiva: n+1

n max{X1 , . . . , Xn } para
b, siendo la distribuci
on de interes U(0, b) (Ejemplo 1, Tema 2).

Y en el resto de los casos?

Estadstica I

A. Arribas Gil

Planteamiento del problema

Ejemplo

1.

En una urna hay 4 bolas que pueden ser blancas o negras. La proporcion,
, de bolas blancas en la urna es desconocida.
Nuestro objetivo es estimar el valor de . Para ello, extraemos de la urna 2
bolas con reemplazamiento. Supongamos que la primera bola extrada es
blanca (B) y la segunda es negra (N).
Que valor de te resulta mas verosmil?

verosmil.
1. adj. Que tiene apariencia de verdadero.
2. adj. Creble por no ofrecer caracter alguno de falsedad.
c Todos los derechos reservados.
Real Academia Espa
nola

http://www.rae.es

Estadstica I

A. Arribas Gil

Planteamiento del problema

Ejemplo 1 (cont.) Buscaremos el valor de (entre todos los posibles) que
haga mas verosmil (mas probable) el resultado que hemos obtenido.
Para ello calcularemos
P(B, N|)
y elegiremos el valor de que nos de una probabilidad mayor.

Es decir, buscamos el valor de que maximiza la funci

on de probabilidad
conjunta P(B, N|), tambien llamada verosimilitud.
La estimaci
on as obtenida se llama estimaci
on de maxima verosimilitud
(EMV): usamos la informaci
on disponible en la muestra para elegir el valor del
parametro para el cual es mas probable haber obsservado ese resultado
muestral.
Estadstica I

A. Arribas Gil

Verosimilitud
Definici
on

1.

Sea X1 , . . . , Xn una muestra aleatoria (no necesariamente simple) de una

poblacion X con funci
on de probabilidad P (o con funcion de densidad f ).
Para cada muestra particular (x1 , . . . , xn ), la funci
on de verosimilitud se define
como la funci
on de probabilidad (o de densidad) conjunta de (X1 , . . . , Xn )
evaluada en (x1 , . . . , xn ).
L() = L(x1 , . . . , xn ; ) = P (X1 = x1 , . . . , Xn = xn ) si X es discreta
L() = L(x1 , . . . , xn ; ) = f (x1 , . . . , xn )

si X es continua

Observaciones:

La notaci
on L() indica que L es una funci
on de y no de (x1 , . . . , xn ).

puede ser un escalar o un vector ( = (1 , . . . , k )).

El subndice en la funci
on de probabilidad o de densidad indica que
dicha funci
on depende del valor del parametro. Utilizaremos tambien las
notaciones P( ; ) y f ( ; ).

Estadstica I

A. Arribas Gil

Verosimilitud
Ejemplo 1 (cont.) Escribir la funci
on de verosimilitud en el caso de extraer
dos bolas de la urna con reemplazamiento.
Al extraer una bola al azar

X =

1
0

si es blanca
si es negra

B()

Tenemos una m.a.s. de tama

no 2, es decir, X1 , X2 B() i.i.d.
Para una muestra particular cualquiera (x1 , x2 ):
L(x1 , x2 ; )

indep.

= P(X1 = x1 , X2 = x2 ; ) = P(X1 = x1 ; ) P(X2 = x2 ; )

h
i h
i
1x
1x
= x1 (1 ) 1 x2 (1 ) 2

Si realizamos la extracci
on sin reemplazamiento, cual sera la funcion de
verosimilitud?
Estadstica I

A. Arribas Gil

Verosimilitud
El caso mas frecuente (y el que vais a tener en el examen) es aquel en el que
las v.a. son i.i.d., es decir, tenemos una muestra aleatoria simple.

X v.a. discreta P( ; ). X1 , . . . , Xn m.a.s. de X :

L(x1 , . . . , xn ; )

=
indep.

i.d.

P(X1 = x1 , . . . , Xn = xn ; )
P(X1 = x1 ; ) . . . P(Xn = xn ; )
n
Y
P(X = xi ; )
i=1

X v.a. continua f ( ; ). X1 , . . . , Xn m.a.s. de X :

L(x1 , . . . , xn ; )

=
indep.

i.d.

f (x1 , . . . , xn ; )
fX1 (x1 ; ) . . . fXn (xn ; )
n
Y
f (xi ; )
i=1

Estadstica I

A. Arribas Gil

Verosimilitud
Ejemplo

2.

Sea X1 , . . . , Xn una m.a.s. de X N(, ).

Funci
on de densidad de X :

f (x ; , ) =

(x)2
1
e 22 ,
2

x R.

Funci
on de verosimilitud de = (, ):
L(x1 , . . . , xn ; , )

indep.

= f (x1 , . . . , xn ; ) =

n
Y

i.d.

fXi (xi ; , ) =

i=1
n
Y

n
Y

f (xi ; , )

i=1



1
(xi )2
exp
=
2 2
2
i=1
(
)

n
n
1
1 X
2

exp 2
(xi )
=
2
2
i=1

x1 , . . . , xn R
Estadstica I

A. Arribas Gil

Estimador de maxima verosimilitud

Definici
on 2.
Sea X1 , . . . , Xn una muestra aleatoria de una poblaci
on X con funcion de
verosimilitud L(). Para cada muestra particular (x1 , . . . , xn ), la estimacion de
maxima verosimilitud de es el valor MV que maximiza la verosimilitud. Es
decir:
L(x1 , . . . , xn ; MV ) = max L(x1 , . . . , xn ; )

El estimador de maxima verosimilitud, MV (X1 , . . . , Xn ), es aquel que evaluado

en cada muestra particular nos da la estimaci
on de maxima verosimilitud
(MV (x1 , . . . , xn )).
Observaciones:

Muchas veces se utiliza el termino estimador de maxima verosimilitud

para denotar tanto el estimador como cualquier estimacion particular.

Ambos se denotan por MV y se abrevian por E.M.V.

Estadstica I

A. Arribas Gil

10

Estimador de maxima verosimilitud

Sea = (1 , . . . , k ). Procedimiento para obtener el E.M.V. de j dada una
muestra particular (x1 , . . . , xn ):
1. Escribir la verosimilitud: L() = L(x1 , . . . , xn ; )
2. Escribir el logaritmo de la verosimilitud: `() = ln L()
`() se llama funci
on soporte o log-verosimilitud.
3. Obtener el j tal que

`() = 0
j
y denotarlo por j .
4. Comprobar que realmente es un maximo, es decir, que
2
`()|j =j < 0
j2
Estadstica I

A. Arribas Gil

11

Estimador de maxima verosimilitud

Ejemplo

3.

Sea X1 , . . . , Xn una m.a.s. de X N(, ). Obtener el E.M.V. de .

1. Escribir la verosimilitud (Ejemplo 2):

L() =

n
exp

n
1 X
2
2
(xi )
2

i=1

2. Escribir la funci
on soporte:
`() = ln L() = n ln

n

1 X
2
2 2
(xi )
2
i=1

Estadstica I

A. Arribas Gil

12

Estimador de maxima verosimilitud

3 (cont.)

Ejemplo

3. Obtener el valor de tal que

`()

= 21 2

`()

Pn

i=1

`()

2 (xi ) =

= 0.
1
2

Pn

i=1

(xi ) =

1
2

n +

Pn

i=1 xi

Pn
Pn
n + i=1 xi = 0 n + i=1 xi = 0
Pn
Pn
n = i=1 xi = n1 i=1 xi = x

=0

1
2

Por tanto
= x.
4. Comprobar que realmente es un maximo, es decir, que
2
n
`() = 2 < 0
2

2 `()|=

<0

2
`()|= < 0
2

Por tanto la estimaci

on maximo verosmil para una muestra dada es
MV = x,
y el estimador maximo verosmil es
MV = X .
Estadstica I

A. Arribas Gil

13

Estimador de maxima verosimilitud

Ejemplo

4.

Sea X1 , . . . , Xn una m.a.s. de X . Obtener:

El E.M.V. de 2 si X N(, ) con conocida.

El E.M.V. de (, 2 ) si X N(, ).

El E.M.V. de p si X B(p).

El E.M.V. de si X Exp().

El E.M.V. de si X P().

Estadstica I

A. Arribas Gil

14

Propiedades del E.M.V.

Los E.M.V. tienen muy buenas propiedades.
1. INVARIANZA:
Si MV es el estimador maximo verosmil de , entonces h(MV ) es el
estimador maximo verosmil de h().
Ejemplo

5.

Sea X1 , . . . , Xn una m.a.s. de X N(, ). Sabemos que

MV = X .
Quienes son los E.M.V. de 3, 2 y 1/?
2
c2
c MV = 3X ,
Por el principio de invarianza tenemos que 3
MV = X y
d
1/
MV = 1/X .
2. CONSISTENCIA:
Bajo ciertas condiciones generales, MV es un estimador consistente de .

3. INSESGADEZ ASINTOTICA:
Se verifica que limn E [nMV ] = .
Estadstica I

A. Arribas Gil

15

Propiedades del E.M.V.

4. NORMALIDAD ASINTOTICA:
Bajo ciertas condiciones generales,

n(MV ) N(0,

donde

"
i() = E

p
i()1 )

ln f (X ; )

2 #

es la cantidad de informaci
on de Fisher correspondiente a una observacion.
La cantidad de informaci
on de Fisher correspondiente a n observaciones es
"
"
2 #
2 #

m.a.s.
ln f (X1 , . . . , Xn ; )
= nE
ln f (X ; )
I () = E

= n i()
Estadstica I

A. Arribas Gil

16

Propiedades del E.M.V.

4. NORMALIDAD ASINTOTICA
(cont.):
Se tiene que
"
I () = E

ln f (X1 , . . . , Xn ; )

La varianza asint
otica de MV es:
h
i
1
1
A
=
Var MV =
n i()
I ()

2 #


= E

i
ln f (X1 , . . . , Xn ; )
1
2
2 `()|=MV
E

2
ln f (X1 , . . . , Xn ; )
2

2
2

La aproximaci
on final es muy u
til en la practica.
Estadstica I

A. Arribas Gil

17

Propiedades del E.M.V.

Ejemplo

6.

Sea X1 , . . . , Xn una m.a.s. de X N(, ). Obtener la varianza asintotica de

MV .
Sabemos que

Por tanto

Var [
MV ]

Var [
MV ]

1
2
MV
2 `()|=

2
n
`() = 2 .
2

2
.
n

Observacion: en este caso, al tratarse del estadstico media muestral sabemos

2
que su varianza es exactamente n y no s
olo asint
oticamente.
Ademas, al tratarse de la distribuci
on normal, sabemos que la distribucion del
estadstico media muestral es exactamente normal y no s
olo asintoticamente.
Estadstica I

A. Arribas Gil

18

Propiedades del E.M.V.

Ejemplo

7.

Sea X1 , . . . , Xn una m.a.s. de X Exp(). Hemos visto, que en este caso, el

MV = 1 .
estimador maximo-verosmil de es
X
Cual su varianza asint
otica?
h
i A
MV
Var

2
2

2
1

1
= n
= MV
2 |= MV
n
`()|= MV

Si observamos la muestra particular (0.37, 2.16, 0.07, 1.86, 7.11, 0.67, 0.49,
0.11), cual es la estimaci
on maximo-verosmil de para esta muestra? Y la
aproximacion de la varianza asint
otica del estimador maximo-verosmil?
MV =
Estimacion maximo-verosmil:

1
x

1
1.605

0.623.

MV (estimador):
Aproximacion de la varianza asint
otica de
h
i A
2
0.6232
MV
MV
Var
=
= 0.049
n
8
Estadstica I

A. Arribas Gil