Resumo de Inferencia

Tiago Maia Magalhaes

1
o
Semestre 2009
Estatstica Suciente. Dizemos que T = T (X
1
, . . . , X
n
) e suciente para , quando
a distribui cao condicional de X
1
, . . . , X
n
dado T for independente de .
Criterio da Fatoracao de Neyman. Sejam X
1
, . . . , X
n
uma amostra aleatoria da
distribui cao da variavel aleatoria X com fun cao densidade (ou de probabilidade) f (x|)
e fun cao de verossimilhan ca L(; x). Temos, entao, que a estatstica T = T (X
1
, . . . , X
n
)
e suciente para , se e somente se, pudermos escrever
L(; x) = h(x
1
, . . . , x
n
) g

(T (x
1
, . . . , x
n
)),
em que h(x
1
, . . . , x
n
) e uma fun cao que depende apenas de x
1
, . . . , x
n
(nao depende
de ) e g

(T (x
1
, . . . , x
n
)) depende de e x
1
, . . . , x
n
somente atraves de T.
Estatstica Suciente Minimal. Se T e uma estatstica suciente e e fun cao de qual-
quer outra estatstica suciente, ou seja, T (X) = h
S
(S (x)) para qualquer outra estatstica
suciente S, entao T e uma estatstica suciente minimal.
Teorema ESM. Seja f (x, ) uma f.d.p ou f.p. Suponha que exista uma fun cao T (X)
tal que para dois pontos amostrais x e y, a razao f (x, ) /f (y, ) e constante em , se e
somente se, T (x) = T (y). Entao T (X) e uma estatstica suciente minimal para .
Observa cao. Se o conjunto do x tais que f.d.p. ou f.p. > 0 depende de . Entao
para a razao ser constante em o numerador e denominador devem ser positivas para
exatamente os mesmos valores de .
Estatstica Ancilar. Uma estatsticaa U (X) e ancilar para se sua distribui cao nao
depende de .
Famlia Completa. A famlia de f.d.p. ou f.p. f (x, ) e completa se, para toda
fun cao g (x) a igualdade E[g (X)] = 0 implica que g (x) = 0 para todo x, P(g (x) = 0) = 1.
Estatstica Suciente Completa. Se a distribui cao da estatstica suciente T per-
tence a uma famlia completa, entao T e uma estatstica suciente e completa.
1
Magalh aes, T. M. Resumo de Inferencia 2
Generalizacao. X
1
, . . . , X
n
variaveis aleatorias i.i.d. com f.d.p. f (x, ) , e um
parametro de loca cao. Entao X
(n)
X
(1)
e uma estatstica ancilar.
X
1
, . . . , X
n
variaveis aleatorias i.i.d. com f.d.p. ou f.p. f (x, ) , e um parametro de
escala. Qualquer estatstica que depende da amostra atraves de
X
1
X
n
,
X
2
X
n
, . . . ,
X
n1
X
n
e uma
estatstica ancilar.
Teorema de Basu. Seja T = T (X) uma estatstica suciente e completa para e
U = U (X) e uma estatstica ancilar para . Entao T e U sao independentes.
Famlia Exponencial. A distribui cao da variavel aleatoria pertence `a famlia exponen-
cial unidimensional se
f (x, ) = exp {c () T (x) + d () + S (x)} x A(nao depende de ) . (1)
Observa cao. Considere a famlia exponencial de distribui coes com f.d.p. (f.p.) da
forma
f (x|) = c () exp {() d (x)} v (x) ,
em que, as fun coes c (.), d (.), (.), v (.) sao conhecidas sendo que c (.), (.) tem suas
duas primeiras derivadas e c () > 0, para qualquer pertencente ao espa co parametrico.
Alem disto, v (x) > 0 para todo x pertencente ao suporte da distribui cao. Assumindo que
as condi coes de regularidade estao satisfeita, temos que:
E[d (X)] = ()
V ar (d (X)) =

()

()
() =
c

()
c ()

()
Teorema. Sejam X
1
, . . . , X
n
uma amostra aleatoria de tamanho n da variavel aleato-
ria X, com fun cao de densidade (ou de probabilidade) dada por (1). Entao, a distribui cao
conjunta de X
1
, . . . , X
n
e dada por
f
X
(x, ) = exp
_
c

()
n

i=1
T (x
i
) + d

() + S

(x)
_
x A
n
que tambem e da famlia exponencial com T (X) =

n
i=1
T (x
i
), c

() = c (), d

() =
nd () e S

(X) =

n
i=1
S (x
i
). E temos, pelo criterio da fatora cao, que a estatstica T (X)
e suciente para .
Famlia Exponencial de Dimensao k. A distribui cao da variavel aleatoria X pertence
`a famlia exponencial de dimensao k se
f (x, ) = exp
_
k

j=1
c
j
()T
j
(x) + d () + S (x)
_
x A. (2)
Profa. M onica Sandoval Probabilidade e Inferencia I IME-USP
Magalh aes, T. M. Resumo de Inferencia 3
Teorema. Se X = (X
1
, . . . , X
n
) com f.d.p. ou f.p. na famlia exponencial de dimen-
sao k.
f (x, ) = exp
_
k

j=1
c
j
()
n

i=1
T
j
(x
i
) + d

() + S

(x)
_
, x A
n
, .
em que T

j
(x) =

n
i=1
T
j
(x
i
), c

j
() = c
j
(), S

(x) =

n
i=1
S (x
i
) e d

() = nd ().
Temos T = (T
1
(x), . . . , T
k
(x)) e uma estatstica conjuntamente suciente para . E T
sera minimal e completa se contem retangulos k-dimensionais.
Reparametriza cao: forma natural ou canonica. Seja
j
= c
j
(), parametros cano-
nicos.
f (x, ) = exp
_
k

j=1

j
T
j
(x) + d
0
() + S (x)
_
x A. (3)
unidimensional. c e inversvel. d
0
() = d (c
1
()), H.
Resultado. Se X tem f.d.p. (f.p.) pertencente `a famlia exponencial unidimensional
na forma canonica, a fun cao geradora de momentos de T (X) existe e e dada por:
M
T
(s) = exp {d
0
() d
0
(s + )}
E[T (X)] = d

0
()
V ar (T (X)) = d

0
()
k-dimensional.
E[T
j
(X)] =
d
0
()

j
V ar (T
j
(X)) =

2
d
0
()

2
j
Cov (T
i
(X) , T
j
(X)) =

2
d
0
()

j
i = j
Metodo dos Momentos.
m
r
=
1
n
n

i=1
X
r
i
= E[X
r
] =
r
Metodo da Maxima Verossimilhanca. Qualquer fun cao

=

(X
1
, . . . , X
n
) tal
que sup {L(, x) : } e denominado estimador de maxima verossimilhan ca de .
Se = (
1
, . . . ,
p
)
Profa. M onica Sandoval Probabilidade e Inferencia I IME-USP
Magalh aes, T. M. Resumo de Inferencia 4
l (, x)

i
= 0 i = 1, . . . p
mostrar que uma fun cao H (
1
,
2
) tem maximo em
_

1
,

2
_
a)
H (
1
,
2
)

1
=

1
,
2
=

2
= 0
H (
1
,
2
)

1
=

1
,
2
=

2
= 0
b) Pelo menos 1:

2
H (
1
,
2
)

2
1

1
=

1
,
2
=

2
< 0

2
H (
1
,
2
)

2
2

1
=

1
,
2
=

2
< 0
c)

2
H(
1
,
2
)

2
1

2
H(
1
,
2
)

2
H(
1
,
2
)

2
H(
1
,
2
)

2
2

1
=

1
,
2
=

2
> 0
Propriedades do EMV. Se T = T (X
1
, . . . , X
n
) uma estatstica suciente para e
existe um unico EMV

para , entao

e fun cao de T.
- encontrar um EMV

- vericar se

e unico
- vericar se

e uma estatstica suciente

e uma estatstica suciente minimal.
Princpio da Invariancia.

EMV para g
_

_
EMV para g ().

=
_

1
, . . . ,

k
_
EMV para = (
1
, . . . ,
k
) g
_

_
=
_
g
_

1
_
, . . . , g
_

k
__
EMV
para g () = (g (
1
) , . . . , g (
k
))
EMV na Famlia Exponencial. Se a distribui cao da v.a. X pertence a famlia expo-
nencial unidimensional, entao o EMV de e solu cao da equa cao:
E[T (X)] = T (X)
k-dimensional.
E[T
j
(X)] = T
j
(X) j = 1, . . . k
Profa. M onica Sandoval Probabilidade e Inferencia I IME-USP
Magalh aes, T. M. Resumo de Inferencia 5
Criterio para Avalia cao de Estimadores.
Estimador Nao Viesado. = (X
1
, . . . , X
n
) e um estimador nao viesado para
g () se E[ ] = g (), para todo .
Vies. b ( ) = E[ ] g (). Se e nao viesado b ( ) = 0.
Observa cao. Se e um estimador nao viesado para , nao implica que g ( ) e nao
viesado para g ().
Erro Quadratico Medio. Erro quadratico medio (EQM) do estimador de g ()
e dado por
EQM ( ) = E
_
( g ())
2

= V ar ( ) + b
2
( )
Se e um estimador nao viesado
EQM ( ) = V ar ( ) .
-
1
e melhor que
2
se EQM (
1
) EQM (
2
) , .
-

e otimo se EQM (

) EQM ( ) ,
-

e o melhor estimador nao viesado de g (), se V ar (

) V ar ( ) , , isto e, e
ENVVUM para g ().
Fun cao Escore.
U () =
log f (x|)

Informacao de Fisher.
I () = E
_
_
log f (x|)

_
2
_
Um

Unica Observa cao X
1
.
U
X
1
() =
log f (x
1
|)

I
X
1
() = E
_
_
log f (x
1
|)

_
2
_
X
1
, . . . , X
n
v.a. independentes
U () =
n

i=1
U
X
i
()
Profa. M onica Sandoval Probabilidade e Inferencia I IME-USP
Magalh aes, T. M. Resumo de Inferencia 6
Condi coes de Regularidade.
log f (x|)

existe e e nita.

_
A
h(x) f (x, ) dx =
_
A
h(x)

f (x, ) dx
0 < I () <
Sob Condi coes de Regularidade.
E[U ()] = 0
I () = E
_
_
log f (x|)

_
2
_
= E
_

2
log f (x|)

2
_
Seja = (
1
, . . . ,
k
).
Fun cao Escore.
log f (x, )

=
_
log f (x, )

i
_
i
Matriz de 2
a
Derivadas.
H =
_
_

2
log f (x, )

j
_
ij
_
I () = E[H ()]
I () = E
_
U
2
()

= V ar (U ())
Se X
1
, . . . , X
n
independentes:
I () = E
_

2
log f (x|)

2
_
= E
_
n
i=1

2
log f (x
i
|)

2
_
=
n

i=1
E
_

2
log f (x
i
|)

2
_
=
n

i=1
I
X
i
() = nI
X
1
()
Desigualdade de Cramer-Rao. Sob as condi coes de regularidade:
1. Se T (X) e um estimador qualquer:
V ar (T)
_

E[T (X)]

2
I ()
.
Profa. M onica Sandoval Probabilidade e Inferencia I IME-USP
Magalh aes, T. M. Resumo de Inferencia 7
2. Se T (X) e um estimador para g ():
E
_
(T (X) g ())
2

_
g

() b

()
_
2
I ()
.
3. Se T (X) e um estimador nao viesado para g ():
V ar (T)
_
g

()
_
2
I ()
.
4. Se T (X) e um estimador nao viesado para :
V ar (T)
1
I ()
.
Famlia Exponencial Unidimensional. T (X) e um estimador nao viesado para g (),
entao V ar (T (X)) atinge o limite inferior de Cramer-Rao.
Eciencia de um Estimador. A eciencia de um estimador nao viesado de g () e
denida por:
e ( ) =
_
g

()
_
2
I()
V ar ( )
.
Se e ( ) = 1 e um estimador eciente para g ().
Estimador Nao Viciado de Variancia Uniformemente Mnima. Um ENVVUM
e um estimador otimo entre os estimadores nao viesados.
Teorema de Rao-Blackwell. Sejam X e Y variaveis aleatorias com E[Y ] = ,
V ar (Y ) < . Seja (x) = E[Y |X = x]. Entao E[(x)] = e V ar ((x)) V ar (Y )
com igualdade se Y = (x).
Lema: Seja T uma estatstica suciente para e U e um estimador nao viesado
para g (). Entao (t) = E[U|X = x] nao e fun cao de . E[(t)] = g () para .
V ar ((t)) V ar (U).
Teorema de Lehmann-Schee. Seja T uma estatstica suciente e completa para .
Se E[(T)] = g (), para todo , para alguma fun cao (.) entao
(t) e unico
(t) tem a menor variancia entre todos estimadores nao viesados para g ().
1. Encontrar T suciente e completa. Se E[(T)] = g (). Entao (t) e ENVVUM
para g ().
2. Encontrar T suciente e completa. S tal que E[S] = g (). S e nao viesado para
g () e nao e fun cao de T. E[S|T] e ENVVUM.
Profa. M onica Sandoval Probabilidade e Inferencia I IME-USP
Magalh aes, T. M. Resumo de Inferencia 8
Propriedades Assintoticas. Seja a sequencia T
n
= t
n
(X
1
, . . . , ).
Estimador Assintoticamente Nao Viesado. T
n
e um estimador assintoticamente
nao viesado para g () se
lim
n
b
g()
(T
n
) = 0
Estimador Consistente. T
n
e um estimador consistente para g () se T
n
p
g (),
.
P(|T
n
g ()| )
n
0, e .
Estimador Consistente em Media Quadratica. T
n
e um estimador consistente
em media quadratica para g (), se E
_
(T
n
g ())
2

n
0
EQM (T
n
)
n
0.
E T
n
e um estimador consistente para g ().
Observa cao. a
1
, a
2
, . . . , b
1
, b
2
, . . . sequencias de constantes satisfazendo
lim
n
a
n
= 1 e lim
n
b
n
= 0
Entao
U
n
= a
n
T
n
+ b
n
p
g ()
Estimador Assintoticamente Eciente. T
n
e um estimador assintoticamente e-
ciente para g () se
lim
n
e (T
n
) = 1.
- Os EMV sao ecientes, sob condi coes de regularidade.
- O LICR pode ser usado como uma aproxima cao para a variancia dos EMV.
V ar (T
n
)
_
g

()
_
2
E
_

2
log L(,x)

2
_ =
_
g

()
_
2

2
log L(,x)

2
Em que,

2
log L(,x)

2
e informa cao observada.
Distribui cao Assintotica dos Estimadores. TCL: X
1
, . . . , X
n
variaveis aleatorias
independentes e identicamentes distribuidas com E[X
i
] = e V ar (X
i
) =
2
> 0 e nita.
Entao

n
_

X
_
d
N
_
0,
2
_
Profa. M onica Sandoval Probabilidade e Inferencia I IME-USP
Magalh aes, T. M. Resumo de Inferencia 9
Metodo Delta. Se

n
_

X
_
d
N (0,
2
), entao

n(h(T
n
) h())
d
N
_
0,
2
_
h

()
_
2
_
, h

() = 0.
Observa cao. Se h

() = 0:
n(h(T
n
) h())
d

1
2

2
h

()
2
1
, h

() = 0.
Normalidade Assintotica dos EMVs. X
1
, . . . , X
n
v.a. i.i.d.s com f (x, ) satisfa-
zendo as c.r. Entao o EMV

de e tal que

n
_

_
d
N
_
0, I
1
X
1
()
_
.

N
_
, (nI
X
1
())
1
_
= N
_
, (I ())
1
_
.
Invariancia e Metodo Delta.

n
_
g
_

_
()
_
d
N
_
0,
_
g

()
_
2
I
X
1
()
_
.
Estimador Consistente Assintoticamente Normal. T
n
e um estimador consitente
assintoticamente normal (CAN) se

n(T
n
)
d
N
_
0, J
2
()
_
.
Estimador Eciente Assintoticamente Normal. T
n
e um estimador consitente as-
sintoticamente normal se

n(T
n
)
d
N
_
0, I
1
X
1
()
_
.
Se

n(T
n
)
d
N
_
0, J
2
1
()
_
.

n(G
n
)
d
N
_
0, J
2
2
()
_
.
Entao:
e (T
n
, G
n
) =
J
2
2
()
J
2
1
()
BAN. Chamado de melhor estimador assintoticamente normal. T

n
e o melhor
(BAN) se:

n(T

n
)
d
N
_
0, J
2
X
()
_
T
n
,

n(T
n
)
d
N
_
0, J
2
()
_
, J
2
X
() J
2
() .
Profa. M onica Sandoval Probabilidade e Inferencia I IME-USP
Magalh aes, T. M. Resumo de Inferencia 10
Estima cao por Intervalos. X
1
, . . . , X
n
variaveis aleatorias com distribui cao conjunta
f (x, ). Sejam L(X) e U (X) sao duas estatsticas satisfazendo L(x) U (x) tais que
P(L(x) U (x)) = , 0 < < 1. O intervalo aleatorio [L(X) , U (X)] e
chamado de intervalo de conan ca com coeciente de conan ca .
Metodo da Quantidade Pivotal. Quantidade pivotal e uma fun cao g (x, ) das ob-
serva coes e do parametro cuja distribui cao nao depende de .
Intervalos de Conanca para Amostras Grandes. Seja g (x, ) com distribui cao
assintotica que nao depende de . Pelo Teorema Central do Limite, podemos aproximar
o intervalo de conan ca para usando a distribui cao normal.
Intervalo Aproximado Utilizando EMV. Sob as condi coes de regularidade

n
_

_
d
N
_
0, I
1
X
1
()
_

n
_

_
I
1/2
X
1
()
a
N (0, 1)

n
_

_
I
1/2
X
1
_

_
a
N (0, 1)

p
, I
1/2
X
1
_

_
p
I
1/2
X
1
()
IC () =
_
_
z
I
1/2
X
1
_

n
;

+ z
I
1/2
X
1
_

n
_
_

n
_
g
_

_
g ()
_
_
[
g

)]
2
I
X
1
()
d
N (0, 1)
IC [g ()] =
_

_
g
_

_
z

_
_
g

__
2
nI
X
1
()
; g
_

_
+ z

_
_
g

__
2
nI
X
1
()
_

_
Profa. M onica Sandoval Probabilidade e Inferencia I IME-USP