_______________________________________________________________

________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
225
IND 1113 - Estatstica para Engenharia de Produo
Mnica Barros
Estimao de Parmetros
Objetivos
1) dada uma amostra aleatria de uma distribuio f(.) que depende de
parmetros desconhecidos, encontrar um "chute educado" para os valores
dos parmetros da distribuio. Isto chamado de estimao pontual.
2) dada uma amostra aleatria de uma distribuio f(.), encontrar um
intervalo que contenha o parmetro desconhecido com uma probabilidade
pr-especificada. Este procedimento chamado de estimao por
intervalos, e gera intervalos de confiana para o(s) parmetro(s)
desconhecido(s).
Definio (Estimador)
Seja X
1
, X
2
,...., X
n
uma amostra aleatria de uma distribuio de probabilidade
f(.), que depende de um parmetro . Uma funo = h(X
1
, X
2
,...., X
n
) usada
para estimar um estimador de . Note que uma varivel aleatria, pois
X
1
, X
2
,...., X
n
so variveis aleatrias.
Ao observarmos os valores X
1
= x
1
, X
2
= x
2
,....., X
n
= x
n
o estimador Y toma o
valor h(x
1
,x
2
,...., x
n
). Este valor uma estimativa pontual do parmetro , isto
o valor que foi "chutado" para aps observarmos a amostra. Ao tomarmos outra
amostra da mesma populao a estimativa pontual ser diferente.
Exemplo
Geramos 5 amostras de tamanho 20 de uma densidade N(0,1). As estatsticas
descritivas das 5 amostras esto abaixo.
Amostra mdia mediana desvio padro mnimo mximo
1 -0.123 -0.110 0.995 -1.625 1.248
2 0.394 0.265 1.175 -1.765 2.580
3 -0.058 -0.050 0.952 -1.521 2.209
4 -0.178 -0.177 1.021 -1.760 2.441
5 -0.053 0.002 0.987 -1.682 2.095
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
226
Note que os valores estimados da mdia em cada amostra so todos diferentes
entre si, e diferentes do valor real da mdia da populao, que = 0. Da
mesma maneira, as estimativas do desvio padro (cujo valor real 1) so
todas diferentes do valor real, e diferentes entre si. Note que, na prtica, os
valores de e so desconhecidos, o que no acontece neste exemplo, onde
geramos amostras de uma distribuio conhecida.
Uma preocupao fundamental aqui garantir que os estimadores
pontuais encontrados apresentem propriedades "desejveis". Para isso
preciso definir primeiro o que consideramos um "bom" estimador.
Problemas de estimao de parmetros surgem freqentemente em cincias e
engenharia. Por exemplo, muitas vezes desejamos estimar os seguintes
parmetros:
- a mdia de uma populao,
- a varincia ou desvio padro de uma populao,
- a proporo de tens numa populao que pertencem a uma classe de
interesse,
- a diferena das mdias de duas populaes,
Como estimar estas quantidades? Alguns estimadores razoveis nestas
situaes so:
- a mdia amostral,
- a varincia ou desvio padro amostrais,
- a proporo de tens na amostra que pertencem classe de interesse,
- a diferena entre as mdias amostrais de 2 amostras independentes,
cada uma representando uma das populaes.
Existem potencialmente milhares de estimadores para um certo
parmetro. Por exemplo, para estimar a mdia de uma populao
poderamos usar a mdia amostral, a mediana amostral, a mdia entre a
menor e a maior observao na amostra e uma infinidade de outros
estimadores "razoveis". Como escolher dentre eles? Quais sero os
critrios usados para comparar estimadores e caracterizar os bons
estimadores?
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
227
Uma propriedade desejvel de um estimador que ele esteja "perto" do
parmetro desconhecido que ele pretende estimar. Uma medida de
"proximidade" entre o estimador e o parmetro dada a seguir.
Definio (Estimador no tendencioso)
Um estimador
$
do parmetro chamado de estimador no tendencioso de
se: E(
$
) = . Do contrrio, se E(
$
) dizemos que
$
um estimador
tendencioso de .
Logo, um estimador
$
no tendencioso se a mdia de sua distribuio de
probabilidade , o parmetro que ele pretende estimar.
Exemplo
Seja X
1
, X
2
,...., X
n
uma amostra aleatria de uma distribuio de probabilidade
qualquer com mdia e varincia
2
. Sejam X e S
2
a mdia e varincia
amostrais. Mostre que X e S
2
so estimadores no tendenciosos de e
2
.
Soluo
( ) ( ) ( ) E X = E
1
n
X =
1
n
E X =
1
n
=
1
n
=
i
i 1
n
i
i 1
n
i 1
n

_
,

n
( )
( ) ( )
( )
( )
E S E
n
X X
n
E X X
n
E X X X X
n
E X n X
n
E X
n
n
E X
i
i
n
i
i
n
i i
i
n
i
i
n
i
i
n
2
2
1
2
1
2 2
1
2 2
1
2
1
2
1
1
1
1
1
1
2
1
1
1
1 1
= = =
= = =
=

_
,

_
,

_
,

_
,

_
,

Mas,
( )
( ) ( ) { }
E X Var X E X
n
i i i
2
2
2
2
= = + +

e tambm:
( )
( ) ( ) { }
E X Var X E X
n
2
2
2
2
= = + +

Logo:
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
228
( ) ( )
[ ] ( )
E S
n
n
n n
n
n n n
n
n
i
n
2 2 2
1
2
2
2 2 2 2 2 2
1
1 1
1
1
1
1
= =
= =

1
]
1
1

_
,

e conclui-se que S
2
um estimador no tendencioso da varincia da populao.
Definio (erro quadrtico mdio)
O erro quadrtico mdio (EQM) de um estimador
$
definido como:
( ) ( )
EQM E
$ $
=

'

2
Note que a expresso que define o EQM pode ser reescrita como:
( ) ( ) ( ) ( )
[ ]
( ) ( ) ( ) ( ) ( ) ( )
[ ]
( ) ( )
[ ]
( ) ( ) ( ) ( )
[ ]
( ) ( ) ( )
[ ]
( ) ( ) ( )
EQM E E E E
E E E E E E E
E E E E Var E E
Var Bias
$ $ $ $ $
$ $ $ $ $ $
$ $ $ $ $
$ $




= = =
= =
= =
=

1
]
1
+
+ +
+ +
+
2 2
2 2
2 2 2
2
2
onde Bias(
$
) = E( - E(
$
)) = E(
$
) - a diferena entre a mdia do estimador
$
e o parmetro que ele est estimando. Claramente, se
$
um estimador no
tendencioso, Bias(
$
) = 0 e o erro quadrtico mdio reduz-se varincia de
$
.
O erro quadrtico mdio importante na comparao de diversos estimadores
para o mesmo parmetro. Sejam
$

1
e
$

2
dois estimadores diferentes para um
parmetro desconhecido . Ento a eficincia de
$

1
em relao a
$

2
medida
atravs de:
eficiencia
EQM
EQM
=
(
$
)
(
$
)

1
2
Se esta razo menor que 1 dizemos que
$

1
mais eficiente que
$

2
. Do
contrrio
$

2
mais eficiente que
$

1
.
Exemplo
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
229
Sejam X
1
, X
2
,...., X
n
uma amostra aleatria de uma densidade qualquer onde
E(X
i
) = e VAR(X
i
) =
2
. Ento X , a mdia amostral, um estimador de , mas
X
1
tambm o . Qual dos dois mais eficiente?
Note que ambos X e X
1
so no tendenciosos, e assim os erros quadrticos
mdios reduzem-se s respectivas varincias. Logo, a eficincia de X em
relao a X
1
medida por:
( )
( )
eff
VAR X
VAR X
n
n
= = =
1
2
2
1

/
Logo, para qualquer n > 1 (tamanho da amostra maior que 1), a mdia amostral
um estimador mais eficiente da mdia (desconhecida) da populao do que
qualquer uma das observaes na amostra. Isso razovel, pois ningum teria o
trabalho de tirar a mdia de uma amostra se isso no representasse um ganho
(em termos de decrscimo na incerteza) em relao soluo mais simples, que
seria considerar apenas uma observao!
Nota:
Encontrar o melhor estimador (em termos de menor EQM) dentre
todos os estimadores possveis de um parmetro freqentemente uma
misso impossvel. Por isso, muitas vezes procuramos o estimador com
menor EQM numa classe mais restrita, a dos estimadores no
tendenciosos.
Como o EQM apenas a varincia no caso dos estimadores no
tendenciosos, o melhor estimador no tendencioso aquele que apresenta
varincia mnima.
O prximo teorema nos fornece um limite inferior para a varincia de
um estimador no tendencioso. Se conseguirmos encontrar um estimador
no tendencioso cuja varincia igual a este limite mnimo,
automaticamente deduzimos que o estimador encontrado o "melhor"
possvel dentre os no tendenciosos. Este limite inferior para a varincia de
estimadores no tendenciosos chamado de Limite Inferior de Cramr e
Rao.
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
230
Teorema (Desigualdade de Cramr e Rao)
Seja X uma varivel aleatria com densidade f(x, ). Seja
$
um estimador no
tendencioso do parmetro . Ento a varincia de
$
est limitada abaixo, e
satisfaz a seguinte desigualdade:
( )
( ) ( )
VAR
n E
d f x
d
$
log ( ,

1
]
1
1
1
2
(25.1)
Se um estimador no tendencioso
$
satisfaz:
( )
( ) ( )
VAR
n E
d f x
d
$
log ( ,

=
1
2

1
]
1
1
ento este estimador um estimador eficiente, que representa, em certo sentido,
o estimador ideal, pois o estimador no tendencioso com a menor varincia
possvel.
A desigualdade (25.1) chamada de "desigualdade de Cramr e Rao". A
demonstrao deste teorema foge aos objetivos do nosso curso.
O termo:
( ) ( )
1
2
n E
d f x
d

1
]
1
1
log ( ,

chamado de limite inferior de Cramr e Rao.

Nota:
Nem sempre possvel encontrar um estimador eficiente! Na verdade,
estimadores eficientes s existem em situaes muito simples!
O problema que o limite inferior de Cramr e Rao e muito pequeno, e em
muitos casos o estimador no tendencioso de varincia mnima tem
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
231
varincia estritamente maior que este limite, isto , o melhor estimador no
tendencioso no consegue atingir o limite inferior de Cramr e Rao.
Exemplo
Sejam X
1
, X
2
,...., X
n
iid com distribuio N(,
2
) onde
2
um nmero
conhecido. Mostre que X , a mdia amostral, o estimador no tendencioso de
varincia mnima, isto , o melhor estimador no tendencioso.
Soluo
J vimos que X no tendencioso. Tambm, VAR( X ) =
2
/n. Agora resta
provar que sua varincia igual ao limite inferior de Cramr e Rao, ou seja, que
X tem a menor varincia possvel.
A densidade de cada X
i
dada por:
( )
( )
f x
x
( , ) exp
/

= 2
2
2
1 2
2
2

'

Tomando-se o logaritmo natural temos:

( )
( )
( )
log ( , ) log f x
x

=

+

'

1
2
2
2
2
2
2
Derivando-se esta ltima expresso em relao a (que o nico parmetro
desconhecido):
( )
{ }
( )
( )
d f x
d
d
d
x x
x
x
log ( ,

= =
=

1
2
2
1
2
2 2
2
2
2 2
2 2
Elevando-se esta ltima expresso ao quadrado e tomando-se o valor esperado
temos:
( ) ( ) ( )
E
d f x
d
E
x
VAR x)
log ,
(

_
,

_
,

2
2
4 4
2
4 2
1
= = = =
O limite inferior de Cramr e Rao :
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
232
( ) ( )
1 1
1
2
2
2
n E
d f x
d
n
n

_
,

_
,

log ,

= =
Mas, note que VAR( X ) igual a este limite, e como X no tendencioso para
conclumos que ele o estimador no tendencioso de varincia mnima.
Exemplo
Sejam X
1
, X
2
,...., X
n
iid com distribuio Exponencial com parmetro .
Sabemos que E(X
i
) = 1/ e VAR(X
i
) = 1/
2
. Como estimar = 1/?
A seguir apresentamos 2 estimadores no tendenciosos para = 1/ e
comparamos as suas varincias.
Soluo
Note que E( X ) = = 1/ e VAR( X ) = VAR(X
i
)/n =
2
/n = 1/(n
2
)
Mas, X no o nico estimador no tendencioso para . Note que X
(1)
=
mn(X
1
, X
2
,..., X
n
) tem distribuio Exponencial com parmetro n. Logo:
( )
E X
n
( ) 1
1
=

e fazendo-se Z = n.X
(1)
obtemos E(Z) = 1/ = , e ento Z tambm um
estimador no tendencioso para .
Qual estimador (Z ou X) tem menor varincia?
( )
( )
( ) ( )
VAR X
n
n
VAR Z VAR n X n VAR X n
n
= =
= = = = =

2
2
1
2
1
2
2 2 2
2
1
1 1

( ) ( )
Logo, para n > 1 X melhor estimador que Z, pois tem menor varincia.
Note que a varincia de Z no decai medida que o tamanho da amostra cresce,
e este um ponto fundamental contrrio ao uso deste estimador.
Uma outra medida de "proximidade" entre um estimador e o parmetro que ele
procura estimar chamada de "consistncia" e definida a seguir.
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
233
Definio (estimador consistente)
Seja
$
um estimador do parmetro desconhecido . Ento dizemos que
$
um
estimador consistente para se:
( )
lim Pr |
$
| > para todo > 0 0
ou, de maneira equivalente,
( )
lim Pr |
$
| para todo > 0 1
Nota: difcil verificar a consistncia de um estimador atravs desta
definio. Uma condio mais fcil (e equivalente) mostrada no prximo
teorema.
Teorema
Um estimador
$
de um parmetro consistente se:
1)
$
$
lim E( ) = e
2) lim ( ) = 0
n
n

VAR
Onde os limites referem-se a n (tamanho da amostra) tendendo a infinito.
Este teorema conseqncia direta da desigualdade de Chebyshev.
Estas duas condies so facilmente verificadas para a maioria dos estimadores,
e equivalem a dizer que o erro quadrtico mdio do estimador tende a zero
quando o tamanho da amostra aumenta.
Exemplo
Considere o exemplo anterior (Exponencial). Do teorema notamos que X
consistente, mas Z no . Note que, em ambos os casos, a condio 1) do
teorema automaticamente satisfeita, pois os estimadores so no
tendenciosos.
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
234
p p Mtodos para encontrar estimadores pontuais
O mtodo da mxima verossimilhana (maximum likelihood)
Este um mtodo relativamente simples com um nome indigesto! "Likelihood"
em ingls uma palavra de uso corrente, que indica "plausibilidade". Ao
contrrio, "verossimilhana" em portugus no significa absolutamente nada
para a maioria das pessoas. Mas enfim, quem a "verossimilhana"?
Definio (funo de verossimilhana)
Sejam X
1
, X
2
,....., X
n
uma amostra aleatria de uma distribuio f(x,). A
verossimilhana da amostra apenas a densidade conjunta dos X
i
's encarada
no mais como funo dos X
i
's, e sim como funo do parmetro desconhecido
. Isto :
( ) ( ) ( ) ( ) L f x f x f x
n
=
1 2
, , , K
A partir da verossimilhana podemos encontrar um estimador, o estimador de
mxima verossimilhana (MLE). O MLE obtido a partir da maximizao da
verossimilhana, geralmente (nem sempre!) feita atravs da equao dL()/d =
0.
Definio (estimador de mxima verossimilhana (MLE))
O estimador de mxima verossimilhana do parmetro aquele valor que
corresponde ao mximo da verossimilhana. Nos casos usuais, o MLE obtido
fazendo-se:
dL
d
( )

= 0
ou, de maneira equivalente, fazendo-se:
dl
d
( )

= 0
onde l() = log (L()) o logaritmo natural da verossimilhana, tambm
conhecido como funo log-verossimilhana. Note que o valor de que maximiza
L() o mesmo que o valor que maximiza l().
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
235
Na prtica mais conveniente trabalhar com a log-verossimilhana.
Isto acontece por que a maioria das densidades j estudadas tem a forma
exp(...) ou elevado a alguma potncia, o que as torna muito simples
quando tomamos o logaritmo.
A equao
dL
d
( )

= 0
algumas vezes no fornece o estimador de mxima verossimilhana. Isto
acontece, tipicamente, no caso da densidade Uniforme, onde surgem
complicaes por que o conjunto de valores possveis dos X
i
's depende do
parmetro desconhecido que se quer estimar.
A equao de verossimilhana
As equaes:

( ) ( ) dL
d
dl
d

= ou = 0 0
quando resolvidas para fornecem (na maioria dos casos) o estimador de
mxima verossimilhana de .
Caso bivariado
Se = (, ) ento os MLEs de e so encontrados atravs da soluo do
sistema:
( ) ( )

l l , ,
= e = 0 0
Os estimadores de mxima verossimilhana apresentam uma
propriedade importante, conhecida como o "princpio da invarincia dos
MLEs". Este resultado mostrado abaixo.
Teorema (princpio da invarincia dos estimadores de mxima
verossimilhana)
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
236
Seja
$
o MLE de um parmetro qualquer e seja h() uma funo qualquer
deste parmetro. Ento o MLE de h() h(
$
).
Exemplo
Sejam X
1
, X
2
,....., X
n
variveis aleatrias iid com distribuio Bernoulli com
parmetro p. Logo, a densidade de cada X
i
:
( ) ( ) f x p p p
i
x x
i
i i
, = onde x = ou 1

1 0
1
Note que Y = X
i
tem densidade Binomial com parmetros n e p. A
verossimilhana dada por:
( ) ( )
( )
L p f x p p p
p p
i
i
n
x x
i
n
y
n y
i i
( ) , = = =
= onde y = x
i
i=1
n

1
1
1
1
1
A log-verossimilhana :
( ) ( ) ( ) ( ) l p y p n y p = + log log 1
Derivando-se l(p) em relao a p e igualando a zero leva a:
( )
( )
( )
dl p
dp
y
p
n y
p
y
p p
p p
n
p
p
n
y
p
y
n
= =
=
= =

_
,

_
,

_
,

1 1
1
0
1
1 1
1
Ou seja, o estimador de mxima verossimilhana de p apenas o estimador
"natural" j encontrado, a saber, o nmero de sucessos em n repeties
independentes de uma experincia.
Pelo princpio da invarincia dos MLEs, o estimador de mxima verossimilhana
de q = 1- p apenas:
q p
y
n
n y
n
= = = 1 1

_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
237
Exemplo
Sejam X
1
, X
2
,....., X
n
variveis aleatrias iid com distribuio Poisson().
Encontre os estimadores de mxima verossimilhana de e de Pr(X
i
1).
Soluo
A densidade de cada X
i
:
( ) f x
e
x
i
x
i
i
,
!

A verossimilhana :
( ) ( )
( )
L f x
e
x
n
x
i
i
n x
i
x
i
i
n
i
n
i i

= = = ,
!
exp
!

1
1
1
A log-verossimilhana :
( ) ( ) ( ) ( )
l n x x
i i
= +

log log !
Derivando-se a log-verossimilhana em relao a e igualando a zero leva a:
( ) dl
d
n
x x
n
x
i i

= = = = +

0
Agora precisamos estimar Pr(X
i
1). Note que Pr(X
i
1) = Pr(X
i
= 0) + Pr(X
i
= 1)
= exp(-) + . exp(-) = exp(-).{ 1 + }. Pelo princpio de invarincia dos MLEs,
o estimador de mxima verossimilhana desta funo de apenas a prpria
funo aplicada ao MLE de . Isto , o MLE de Pr(X
i
1)
( ) ( ) exp + x x 1
Exemplo
Sejam X
1
, X
2
,...., X
n
iid com distribuio Exponencial com parmetro . Encontre
o MLE de e de = 1/.
Soluo
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
238
( ) ( )
( ) ( )
L X
l n X
dl
d
n
X
X
n
X
n
i
i
i
i




=
=
= = = =

exp
log
0 0
Pela invarincia dos MLEs, o estimador de mxima verossimilhana de = 1/
$
= 1/ X . Note que este estimador diferente dos estimadores encontrados
anteriormente. O estimador de mxima verossimilhana de 1/ no
tendencioso? (No, mas meio complicado provar isso, voc tem que usar o fato
da soma dos X
i
ter densidade Gama).
Exemplo
Sejam X
1
, X
2
,...., X
n
iid com distribuio N(, 1). Mostre que o estimador de
mxima verossimilhana de X , a mdia amostral.
Soluo
A soluo deste problema exatamente igual quando a varincia for um nmero
qualquer
2
conhecido. Aqui escrevemos
2
= 1 apenas para simplificar as
contas. A verossimilhana :
( )
( )
L
x
i
i
n

=
1
2
2
2
1

'

exp
A log-verossimilhana :
( ) ( )
( )
( )
( )
l
n
x
n
x x
i
i
n
i i
i
n

=
=

2
2
2
2
2
2
2
2
1
2 2
1
log
log
Derivando-se isto com relao a e igualando a zero resulta em:
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
239
( )
( )
dl
d
X n
X
n
X
i
i
n
i
i
n

= =
= =
0
1
2
2 2 0
1
1

'

Exemplo
Sejam X
1
, X
2
,...., X
n
iid com distribuio N(,
2
) onde ambos e
2
so
desconhecidos. Encontre os estimadores de mxima verossimilhana de e
2
.
Soluo
A verossimilhana , neste caso, funo de 2 parmetros desconhecidos, e
2
e dada por:
( )
( )
( )
( )
L
X
X
i
i
n
n
i
i
n

,
exp
exp
/
2
2
2
2
1
2
2
2
1
2
1
2
2
2
2
=
=
=

'

'

A log-verossimilhana :
( ) ( )
( )
( ) ( )
l
X
n
X X
n
i
i
n
i i
i
n

, log
log
/
2 2
2
2
1
2
2
2
2 2
1
2
2
2
2
1
2
2
= =
=
+

'

_
,
+

'

Derivando a log-verossimilhana em relao a leva a:

l
X n X
i
i
n
= = =

'

1
2
2 2 0
2
1
Derivando a log-verossimilhana em relao a
2
resulta em:
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
240
( )
( )
( )
( )

l n
X
n
X
n
X
n
X X
i
i
n
i
i
n
i
i
n
i
i
n
2 2 4
2
1
2
1
2
2
2
1
2
1
2
1 1
2
0
0
1
1
= =
=
=
Substituindo por seu MLE X leva a :
=
2

_
,

_
,

_
,

_
,

_
,

_
,

Note que este estimador diferente da varincia amostral S

2
dada por:
( ) S
n
X X
i
i
n
2
2
1
1
1
=

J provamos antes que S

2
no tendencioso para
2
. Logo, o MLE de
2
um
estimador tendencioso de
2
.
Exemplo (grfico da log-verossimilhana)
Sejam X
1
,...., X
10
iid Poisson(), onde um parmetro desconhecido.
Observa-se X
i
= 18. Faa um grfico da log-verossimilhana neste caso, e
indique a posio do estimador de mxima verossimilhana.
Soluo
A verossimilhana :
( )
( )
L
X
i
i

=
exp
!

10
18
1
10
A log-verossimilhana :
l() = -10. + 18.log() - c onde c uma constante que representa o
denominador na expresso da verossimilhana, e pode ser excluda do grfico
por que no depende de .
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
241
A seguir exibimos o grfico da funo -10. + 18.log(). Note que o estimador de
mxima verossimilhana de 18/10 = 1.8.
L o g -ver o s s i mi l hana ( a menos d e uma const ant e)
-35
-30
-25
-20
-15
-10
-5
0
0,2 0,4 0,6 0,8 1 1,2 1,4 1,6 1,8 2 2,2 2,4 2,6 2,8 3 3,2 3,4 3,6 3,8 4
Pelo grfico notamos que o mximo desta funo ocorre quando = 1.8.
Exemplo (MLE para os parmetros da distribuio Gama)
Sejam X
1
, X
2
,..., X
n
iid com densidade Gama(, ) dada por:
( )
( )
f x x e
x
, ,

= , onde x 0

1
A log-verossimilhana :
( ) ( ) ( ) ( ) ( ) { }
( ) ( ) ( ) ( )
l X X
n X n X n
i i
i
n
i
i
n


, log log log
log log log
= =
=
+
+

1
1
1
1

Tomando-se as derivadas parciais da log-verossimilhana em relao a e

leva a:
( )
( )

l
n X
n
i
i
n
= +

log log
.

1
(26.1)
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
242

l n
n X =


(26.2)
Igualando-se (26.2) a zero leva a:

=
X
Logo, o MLE de funo do MLE de .
O MLE de encontrado fazendo-se a expresso (26.1) igual a zero e
substituindo o MLE de na expresso resultante. Isto leva a:
( )
( )
n n X X
n
i
i
n
+

log log log

1
0 =
(26.3)
Esta equao no tem soluo analtica, e precisamos resolv-la iterativamente.
Note que a soluo desta equao est longe do trivial, pois envolve a funo
Gama e sua derivada, ambas com um argumento desconhecido, que o MLE de
.
Para exemplificar o tipo de soluo encontrada aqui geramos uma amostra
aleatria com 50 observaes da densidade Gama com parmetros = 2 e =
2. Nesta amostra temos:
n = 50
X = 1.143
log X
i
= -7.428
E a equao (26.3) reduz-se a:
[ ]
50 50 1143 7 428 50 + log(
$
) log( . ) ( . ) ' (
$
) / (
$
) = 0
Ou seja:
[ ]
[ ]
50 50 14111

log(
$
) ' (
$
) / (
$
) .
log(
$
) ' (
$
) / (
$
)




= 0
= 0.282
Resolvendo esta ltima equao iterativamente leva a:
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
243
$
$
= 1.923 e assim = 1.923 / 1.143 = 1.682
Posteriormente compararemos esta soluo com a obtida atravs de um outro
mtodo de estimao, o mtodo dos momentos. A soluo deste problema pelo
mtodo dos momentos muito mais fcil que a soluo por mxima
verossimilhana e produz estimadores que podem servir de "chute" inicial para
na equao (26.3).
importante perceber tambm que, na prtica, os valores dos parmetros da
densidade so desconhecidos, e este exemplo (parmetros conhecidos) serve
apenas para ilustrar que as estimativas encontradas variam de amostra para
amostra, e que os valores estimados no so necessariamente iguais aos
parmetros que procuramos estimar.
Exemplo (densidade Uniforme)
Este exemplo representa um caso tpico onde a derivada da verossimilhana (ou
do seu logaritmo) no produz o estimador de mxima verossimilhana.
Sejam X
1
, X
2
,..., X
n
iid com densidade Uniforme(0,). Encontre o estimador de
mxima verossimilhana de .
Note que a densidade de cada X
i
:
( ) f x,

=
se x [0, ]
0 se x [0, ]
1

'

A verossimilhana apenas o produto das densidades de cada X

i
, isto :
( )
( )
L x x
e
L x
n
n
i

= se x
= se algum
1
0 0 0
0 0
1 2

'

[ , ], [ , ],...., [ , ]
[ , ]
O leitor deve verificar que ao igualarmos a primeira derivada da verossimilhana
a zero no encontramos um resultado coerente. Enfim, o que est
acontecendo?
O problema que o conjunto dos valores possveis dos X
i
depende do parmetro
desconhecido . Uma forma mais sinttica de expressar a verossimilhana
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
244
atravs das estatsticas de ordem - em especial devemos nos concentrar ao
mximo da amostra.
Note que a condio que torna a verossimilhana maior que zero : "todo x
i
no
intervalo [0,]". Mas, podemos escrever esta mesma condio de maneira a mais
resumida como: " 0 x
(1)
x
(n)
onde x
(1)
e x
(n)
so, respectivamente, o
mnimo e o mximo da amostra. Reescrevendo parte desta desigualdade temos:
x
(n)
garante que a verossimilhana estritamente maior que zero, e isto nos
d uma condio para o parmetro desconhecido . Logo, para no intervalo
[x
(n)
, ) sabemos que a verossimilhana positiva. Mas, qual o valor mximo da
verossimilhana? Note que L() = 1/
n
uma funo decrescente de , e assim o
valor mximo de L() ocorre quando = x
(n)
= mx(x
1
, x
2
,......, x
n
).
Assim, o estimador de mxima verossimilhana de x
(n)
= mx(x
1
, x
2
,......, x
n
).
Este resultado intuitivamente razovel, como indicado nos prximos
argumentos.
Suponha que tomamos uma amostra de tamanho 10 de uma Unif(0,) e o
mximo da amostra 1.47. O que isto nos diz? deve ser maior ou igual a 1.47.
Suponha que tomamos amostras de tamanho cada vez maior desta mesma
densidade e encontramos os seguintes resultados:
tamanho da amostra mximo da amostra
10 1.47
20 1.62
30 1.62
50 1.84
500 1.99
O que isto nos diz? Intuitivamente, como as observaes na amostra esto
restritas ao intervalo [0,], medida que tomamos uma amostra cada vez maior,
o valor do mximo da amostra deve estar se aproximando do valor real e
desconhecido do parmetro . Logo, se tomamos uma amostra de 500
observaes, o mximo desta amostra (1.99) deve estar bem prximo do valor
real de , e portanto o mximo da amostra um estimador que, pelo menos, faz
sentido usar para estimar .
Quebra cabeas....
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
245
Como voc encontraria o estimador de mxima verossimilhana de a
partir de uma amostra da densidade Uniforme(, 4)? Note que este limite
superior (4) completamente arbitrrio, a resposta seria a mesma para uma
amostra da densidade Uniforme(, k) onde k um nmero conhecido qualquer. E
se voc precisasse encontrar o estimador de mxima verossimilhana de
usando uma amostra das densidades Uniforme(-, ) e Uniforme(-d, +d), onde
d um nmero conhecido? Dica: neste ltimo caso o estimador de mxima
verossimilhana no nico, existem inmeras respostas possveis. Se voc
conseguiu "matar" a resposta em todos os casos, parabns! A maioria dos
alunos dificilmente considera este tipo de problema trivial!
Algumas propriedades dos estimadores de mxima verossimilhana
1) Os estimadores de mxima verossimilhana podem ser tendenciosos. Por
exemplo, no caso de uma amostra Normal com mdia e varincia
desconhecidas, o estimador de mxima verossimilhana da varincia
tendencioso. No entanto, muitas vezes fcil transformar um estimador
tendencioso num outro parecido mas no tendencioso. Por exemplo, suponha
que
$
o estimador de mxima verossimilhana de , e E() = c. onde c 1, e
portanto
$
tendencioso. Como transformar
$
num estimador no tendencioso?
A resposta clara - basta dividir
$
por c, e o resultado um estimador no
tendencioso de .
2) Os estimadores de mxima verossimilhana so, na maioria dos casos
prticos, consistentes, isto , eles se aproximam da quantidade que pretendem
estimar medida que o tamanho da amostra usado na estimao cresce.
3) Os estimadores de mxima verossimilhana tm a propriedade de
invarincia, isto , se
$
o estimador de mxima verossimilhana de e g(.)
uma funo qualquer contnua, ento g(
$
) o estimador de mxima
verossimilhana de g().
Alm destas 3 propriedades, os estimadores de mxima verossimilhana tm
uma distribuio assinttica (quando o tamanho da amostra tende a infinito) fcil
de calcular. Se o tamanho da amostra grande, qualquer estimador de mxima
verossimilhana, por mais complicado, aproximadamente Normal.
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
246
Teorema (distribuio assinttica dos estimadores de mxima
verossimilhana)
Seja
$
um estimador de mxima verossimilhana de um parmetro
desconhecido . Ento
$
assintticamente no tendencioso (isto , a sua
tendncia ou bias cai para zero medida que o tamanho da amostra aumenta),
e tambm a sua distribuio assinttica Normal. Mais precisamente, quando n
(tamanho da amostra) grande, a varivel aleatria:
( )
n
$

aproximadamente Normal com mdia 0 e varincia igual a V dada por:
( )
V
E
d f x
d
=
1
2
log ,

_
,

1
]
1
1
Em outras palavras, se n suficientemente grande, a varivel aleatria
$
tem,
aproximadamente, uma distribuio Normal com mdia e varincia V/n.
Note que o limite inferior de Cramr e Rao apenas V/n.
Exemplo (densidade Exponencial)
Sejam X
1
, X
2
,...., X
n
iid com densidade Exponencial dada por:
f(x) = .exp(-x).
Qual a distribuio assinttica do estimador de mxima verossimilhana de ?
Soluo
Neste caso E(X
i
) = 1/ e VAR(X
i
) = 1/
2
.A verossimilhana :
( ) ( ) L X n X
n
i
i
n
n
= =

_
,

exp exp
1
A log-verossimilhana :
( ) l n n X = log
Derivando a log-verossimilhana com relao a e igualando a zero nos d:
n
n X
X
= =
1
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
247
A distribuio deste estimador no trivial. Note que X (a mdia amostral) tem
uma distribuio que um mltiplo da densidade Gama (pois a soma de
variveis Exponenciais independentes tem densidade Gama). No entanto, a
densidade de 1/ X (que o estimador de mxima verossimilhana de ) , a
princpio, meio complicada.
Mas, a distribuio assinttica de
$
fcil de calcular a partir do teorema
anterior. O clculo da varincia assinttica simples, pois:
( ) ( ) ( ) f x x f x x , exp log , log = =
( ) d f x
d
x x
log ,

= =
1 1

_
,

( )
( )
V
E
d f x
d
E X
VAR X
= = = = =
1 1
1
1
1 1
1 2 2
2
2
log ,
( )

_
,

1
]
1
1

_
,

_
,

_
,

Logo, o estimador de mxima verossimilhana tem distribuio assinttica

Normal com mdia e varincia V/n, isto :
$
aproximadamente Normal com mdia e varincia
2
/n quando n .
p p O Mtodo dos Momentos
O mtodo dos momentos uma alternativa simples ao mtodo de mxima
verossimilhana quando procuramos encontrar estimadores de parmetros
desconhecidos.
Lembre-se da definio do k-simo momento de uma distribuio:
( )
( ) E X x f x
x X x)
k k
k
todo x
= dx =
= =

.Pr(
De maneira semelhante, o k-simo momento da amostra definido como:
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
248
m
X
n
k
i
k
i
n
=

1
Suponha que uma distribuio de probabilidade depende de r parmetros
desconhecidos. O algoritmo para obter estimadores pelo mtodo dos momentos
muito simples - iguale os momentos da amostra aos momentos da distribuio
tantas vezes quanto necessrio. E quantas vezes ser necessrio fazer isso? Se
a sua distribuio tem r parmetros desconhecidos voc ter que igualar os r
primeiros momentos da distribuio aos r primeiros momentos da amostra. Por
exemplo, se a distribuio tem 2 parmetros desconhecidos, voc deve igualar
os dois primeiros momentos da amostra e da distribuio.
Qual a intuio por trs deste procedimento? Se voc se lembra da lei dos
grandes nmeros, voc deve se lembrar que a mdia amostral (primeiro
momento da amostra) converge para o mdia da distribuio. O mesmo
verdade para os outros momentos - se o tamanho da amostra grande espera-
se que o k-simo momento da amostra esteja "perto" do k-simo momento da
distribuio. Isso justifica o mtodo dos momentos como "gerador" de
estimadores de parmetros.
Alm desta justificativa, o mtodo dos momentos produz estimadores geralmente
muito fceis de calcular. Isto vantajoso quando o mtodo de mxima
verossimilhana produz estimadores cujo clculo complicado, como no caso da
distribuio Gama. Em alguns casos tambm, os estimadores por mtodo de
momentos e por mxima verossimilhana coincidem.
Exemplo (distribuio Gama)
Sejam X
1
, X
2
,..., X
n
iid com densidade Gama(, ) dada por:
( )
( )
f x x e
x
, ,

= , onde x 0

1
J vimos que os estimadores de mxima verossimilhana de e so dados
por:
$
$

=
X
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
249
( )
( )
n n X X
n
i
i
n
+

log
$
log log
$
$

1
0 =
Quais so os estimadores por mtodo dos momentos de e ?
Igualando o primeiro momento da amostra ao primeiro momento da populao
temos:
X E X
X
i
( )
~
~
= =

O segundo momento da populao E(X
2
), que pode ser escrito como:
( )
( ) ( ) { }
( ) { }
E X E X
2
2
2 2 2
= VAR X = / = 1/
2 2
+ + + /
Igualando E(X
2
) ao segundo momento da amostra encontramos:
( ) ( )
( )
( )
1
1 1
1
1
1
2 2
2
1
2
2
1
2
2
2
1
2
1
2
2
2
1
2
2
1
2
2
2
1
n
X E X
n
X
n X
X
X
nX
n X
X
n X
X n X
n X
X X
n X
i
i
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
n
+ +
+

( )
~
~
~ ~ ~
~
~
.
~
~ ~
~
~
~
~
= =
= = =
= = =

( )
2
2
1 n S
onde S
2
a varincia amostral.
Exemplo (amostra gerada a partir de uma distribuio Gama)
Geramos uma amostra aleatria com 30 observaes a partir de uma distribuio
Gama(2,1). Calcule os estimadores de mxima verossimilhana e pelo mtodo
dos momentos de e . Algumas estatsticas descritivas da amostra esto a
seguir.
mdia amostral = 1.7832
desvio padro amostral = 1.2571
varincia amostral = 1.5804
log X
i
= 8.1281
mnimo da amostra = 0.100
mximo da amostra = 4.759
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
250
O histograma (distribuio de freqncia) dos dados na amostra mostrado a
seguir.
Histograma - amostra de 30 observaes da
densidade Gama(2,1)
0
1
2
3
4
5
6
7
8
9
10
1 2 3 4 5
F
r
e
q

n
c
i
a
O estimador de mxima verossimilhana de encontrado pela equao:
( )
( )
n n X X
n
i
i
n
+

log
$
log log
$
$

1
0 =
Isto :
[ ]
30 30 17832 81281 30 + log(
$
) log( . ) . ' (
$
) / (
$
) = 0
A soluo disso :
$
= 1.7746
O estimador por mtodo de momentos de :
( )
( )
( )
~
.
.
. = = =
n X
n S

2
2
2
1
30 17832
29 15804
20814
Os estimadores por mxima verossimilhana e mtodo dos momentos do
parmetro so encontrados a partir dos respectivos estimadores de atravs
da frmula:

= =
X 17832 .
Em resumo:
estimador por mx.
verossimilhana
estimador por mtodo de
momentos
1.7746 2.0814
_______________________________________________________________
________________________________________________________________
Estatstica para Engenharia de Produo - Mnica Barros - PUC-Rio
251
0.9952 1.1672