Estimacin de mxima verosimilitud

Programa de doctorado en Estadstica, Anlisis de datos y Bioestadstica Fundamentos de Inferencia Estadstica Jordi Ocaa Rebull
Departament dEstadstica Divisi de Cincies Experimentals i Matemtiques

Contenido
Concepto de estimacin de mxima

verosimilitud (MLE) Relacin con la suficiencia Equivariancia Obtencin prctica de MLE. Ecuaciones de verosimilitud Mtodos numricos de obtencin de MLE Algoritmo de Newton-Raphson

Concepto de estimacin de mxima verosimilitud MLE

Dada una funcin de verosimilitud L

para un parmetro q Q , una estimacin de mxima verosimilitud es Q tal que un valor q ) = max L (q ) L (q
q Q

Escoger aquel valor que d las mximas oportunidades a los hechos observados Fisher en su formulacin actual, orgenes en el siglo XVIII (Bernouilli, Lambert)

Comentarios sobre el concepto de estimacin MLE

Q no tiene por que ser numrico Puede no existir Puede no ser nica Pero en general existe y es nica. Entonces se puede hablar con propiedad de la MLE Maximizacin sobre Q, no sobre los

valores matemticamente admisibles A menudo sin expresin cerrada, para y concreto buscar numricamente max L

Relacin con la suficiencia

Supongamos que existe una (o la)

estimacin MLE de q, q . Entonces se puede afirmar que es funcin de cualquier estadstico suficiente: = h (T (y )) T (y ) suficiente para q q
Consecuencia del teorema de factorizacin Maximizar L (q ) f (y ; q ) equivale a maximizar L (q ) g (t ; q )

Equivariancia
La MLE es invariante frente a

transformaciones biyectivas: Sea y : Q Y biyect iva.

MLE de q q

) MLE de y (q ) y (q

Si y no biyectiva lo anterior cierto si se

considera verosimilitud inducida: L Y (y ) = max L (q )

{q:y (q )= y }

Obtencin prctica de MLE. Ecuaciones de verosimilitud

Maximizar L equivalente a maximizar la

log-verosimilitud, l, cosa que suele ser ms fcil. El problema se suele reducir a resolver las ecuaciones de d verosimilitud l (q ) = 0 dq
2 d Slo condicin necesaria. Estudiar ) l (qtambin las segundas derivadas,d q (d q )' q= q

Si no, estudio detallado de L o l

Mtodos numricos de obtencin de MLE

Estos problemas son tema importante

de la Estadstica computacional Dos situaciones distintas:

Obtencin directa del mximo de L o de l Si es posible derivar analticamente l: solucin numrica de las equaciones de verosimilitud (problema ms fcil)

Muchas tcnicas aplicables: bsica es

el algoritmo de Newton-Raphson

Algoritmo de Newton-Raphson
(expresin general)

Objetivo: solucionar la ecuacin g(x)=0 Procedimiento: valor inicial x0 propuesto como solucin aproximada iteracin con sucesivas soluciones aproximadas x0, x1, ..., xs, ... Mediante

xs + 1 = xs -

detenida al cumplirse algn criterio de convergencia

- 1 d g (x s ) g (x s ) dx

Algoritmo de Newton-Raphson
(aplicado a la estimacin MLE)

d l (q ) Ahora x = q, g (q ) = dq Procedimiento: (p.e. mtodo de los momentos) inicial q 0

iteracin

q s+ 1

d d = qs - l (qs ) l q ( s ) dq d q d q '
2

- 1

detenida al cumplirse algn criterio de convergencia, p.e. d

dq

l (q ) < e