MAGCEA Econometria IN709 - Otoo 2008

Universidad de Chile
Departamento de Ingeniera Industrial
Profesor: Mattia Makovec (mmakovec@dii.uchile.cl)
Auxiliares: Felipe Avils, Gonzalo Valds

Clase 12
18/4/08
(Versin preliminar, no difundir)

1. Teora asinttica: Ley de los Grandes Numeros y Teorema Cen-

tral del Limite
Para comprobar la normalidad asinttica del estimador de mnimos cuadrados ordinarios, se introducen
algunos teoremas estadisticos fondamentales que utlizaremos en la pruebas de los apartados siguientes: la
Ley de los Grandes Numeros (de Kinthcin), y del Teorema Central del Limite en las versiones de Lindberg-
Levy y de Lindberg-Feller. Esos teoremas se formulan en la versin multivariante que es facilmente aplicable
al caso univariante.

1.1. Ley de los Grandes Numeros (Kintchin)

Sea X1 ; X2 :::::XN una sucesin de vectores aleatorios independientes y identicamente distribuidos tal que:

E(Xk ) = 8k = 1; 2::::N
p
entonces la sucesin de medias muestrales X1 ; X2 :::::XN converge en probabilidad a : XN ! o:

plimXN =

Este resultado es muy importante dado que nos permite determinar un estimador consistente de la media
desconocida de una muestra aleatoria sin hacer ningun supuesto sobre la distribucin de los vector aleatorios
considerados, utilizando unicamente los supuestos que los Xk sean i.i.d. y tengan identica media .

1.2. Teorema Central del Limite (Lindberg-Levy)

Sea X1 ; X2 :::::XN una sucesin de vectores aleatorios independientes y identicamente distribuidos tal que:

E(Xk ) = 8k = 1; 2::::N
V ar(Xk ) = 8k = 1; 2::::N

entonces la sucesin de medias muestrales X1 ; X2 :::::XN converge en distribucin a una distribucin normal
multivariante con media y matriz de varianza y covarianza limite :
d
XN ! N ( ; )

La importancia de este resultado es evidente: podemos establecer que la distribucin asinttica de la media
muestral de una muestra aleatoria es una distribucin normal multivariata con media y varianza respectiva-
mente iguales a la media y a la varianza de cada vector aleatorio de la sucesin, sin necesitar ningun supuesto
sobre la distribucin de Xk , utilizando unicamente los supuestos que Xk sean i.i.d. y tengan identicas medias
y varianzas :

1
 1.3. Teorema Central del Limite (Lindberg-Feller)
Esta formulacin es diferente respecto a la anterior dado que se relaja el supuesto de igualdad de las var-
ianzas de los vectores aleatorios: sea X1 ; X2 :::::XN una sucesin de vectores aleatorios independientes y
identicamente distribuidos tal que:

E(Xk ) = 8k = 1; 2::::N
V ar(Xk ) = k 8k = 1; 2::::N

Bajo el supuesto adicional:

P
N
k
k=1
lim =
N !1 N
donde es una matriz nita, la sucesin de medias muestrales X1 ; X2 :::::XN converge en distribucin a una
normal multivariante con media y matriz de varianza y covarianza limite :
d
XN ! N ( ; )

2. Normalidad asinttica del estimador de Mnimos cuadrados or-

dinarios
0
Se demuestra que, bajo los supuestos usuales H1-H5 y el supuesto adicional limN !1 XNX = Q, donde
Q es una matriz denida positiva, sin aadir nigun supesto adicional sobre la distribucin de los errores,
el estimador de mnimos cuadrados ordinarios tiene una distribucin asinttica normal. Se considera la
denicin de ^ M CO :
^ = + (X 0 X) 1 X 0 "
M CO

Multiplicando y dividiendo por N el segundo termino se obtiene:

1
^ X 0X X 0"
M CO = +
N N
1
^ X 0X X 0"
M CO =
N N
p
Ahora multiplicando a la derecha y a la izquierda por N :
p 1 p
X 0X X 0"
N ( ^ M CO )= N
N N

La prueba de la normalidad asinttica de ^ M CO se basa en dos etapas:

p 0
Paso 1: se determina la distribucin limite (o asinttica) del termino N ( XN" )
0 1p 0
Paso 2: se determina la distribucin limite del termino XNX N XN" que, siendo igual a la distribucin
p
de N ( ^ M CO ), nos permite determinar la distribucin asinttica de ^ M CO :

Paso 1:
P
N
Se considera el vector aleatorio X 0 " expresandolo como: X 0 " = xi "i (el producto A0 A por cualquiera
i=i
P
N
matriz A se puede escribir como A0 A = ai a0i , siendo ai un vector columna cuyos k elementos son
(N k) i=1 (k 1)
los elementos de una generica la i de la matriz original A; con i = 1; 2::::N ; igualmente, el producto X 0 X
P
N
se puede escribir como X 0 X = xi x0i donde el vector xi contiene los k regresores de la la i en la matriz
i=1 (k 1)

2
original X). Se dene el vector aleatorio wi = xi "i y se comprueba que wi satisface los supuestos
(k 1) (k 1)(1 1)
del Teorema Central del Limite en la versin de Lindberg-Feller.

wi son i.i.d. dado que los errores "i son i.i.d.

E(wi ) = E(xi "i ) = xi E("i ) = xi 0 = 0 8i:
| {z }
=0

V ar(wi ) = E[(wi E(wi ))(wi E(wi ))0 ] = E [wi wi 0 ] = E[xi "i "0i x0i ] = xi E("i "0i )x0i = 2
xi x0i 8i:
| {z } | {z } | {z }
=0 =0 = 2I

P
N
V ar(wi )
i=1
limN !1 N tiene que ser una matriz nita:

P
N P
N
2
P
N
V ar(wi ) xi x0i xi x0i
i=1 i=1 2 i=1 2
lim = lim = lim = Q
N !1 N N !1 N N !1 N
P
N
xi x0i
i=1 X 0X
dado el supuesto lim = lim =Q
N !1 N N !1 N

Dado que se cumplen todo los supuestos del Teorema Central del Limite (Lindberg-Feller), se puede
aplicar el teorema al vector aleatorio wi = xi "i y derivar la distribucin asinttica de la media muestral
P
N
xi "i
de xi "i = N :
i=1

0 P
N 1
0 1
N
X V ar(xi "i )
p xi "i d B C
N@ E(xi "i )A ! N B
@E(xi "i ); Nlim
i=1 C
A
N | {z } |
!1
{z N }
i=1
=0
= 2Q

N
!
p X xi "i d 2
N ! N (0; Q)
i=1
N
p X 0" d 2
N ! N (0; Q)
N

Paso 2:
0 1p 0
Se determina la distribucin asinttica de XNX N XN" utilizando la siguiente propiedad obtenida
como implicacin del teorema de la funcin continua en la clase anterior: dada una sucesin de vectores
d p
aleatorios i.i.d. Z1 ; Z2 ; ::::ZN ; si ZN ! Z s (0; ) y AN ! A, siendo AN una sucesin de matrices aleatorias
d
convergente a la matriz de constantes A; entonces: AN ZN ! AZ s (0; A A0 ): En ese caso, dado que por
0 1 p p 0 d
los supuestos iniciales XNX ! Q 1 y dado que N XN" ! N (0; 2 Q) por el Paso 1, aplicando la
propiedad anterior se obtiene:
1 p
X 0X X 0" d 1 2 1
N ! N (0; Q QQ )
N N
1 p
X 0X X 0" d 2 1
N ! N (0; Q )
N N
1 p p
X 0X X 0" d
N = N ( ^ M CO ) ! N (0; 2
Q 1
)
N N
1
^ d 2Q
M CO !N ;
N

3
 1
X0X 1 1
Se observa que, por el supuesto inicial limN !1 N =Q ; podemos sustituir el termino Q en la
1
X0X
expresin de la varianza limite con N = N (X 0 X) 1
y obtener:

0 1
^ d 2 N (X X)
M CO !N ;
N
^ d 2
M CO !N ; (X 0 X) 1

Conclusin: el estimador de mnimos cuadrados ordinarios tiende asintticamente a una distribucin normal
multivariante con media y matriz de varianza-covarianza asinttica 2 (X 0 X) 1 , la misma distribucin a
la cual tendria bajo el supuesto de normalidad de los errores.

3. Consistencia de ^ 2M CO
Se demuestra que el estimador de mnimos cuadrados ordinarios de 2 ; ^ 2M CO = (^"0 ^")=(N k), es un
estimador consistente de 2 ; es decir: plim^ 2M CO = 2 : Re-escribimos ^ 2M CO en forma conveniente:

^"0 ^"
^ 2M CO =
N k
"0 M "
= multiplicando y dividiendo por N
N k
N "0 M "
= sustituyendo la denicin de M
N k N
N "0 I X(X 0 X) 1 X 0 "
=
N k N
" #
0 1
N "" "0 X X 0X X 0"
=
N k N N N N

Ahora consideramos el producto limite de la expresin anterior:

" #
1
2 N "0 " "0 X X 0X X 0"
p lim ^ M CO = p lim
N k N N N N
" #
1
N "0 " "0 X X 0X X 0"
= p lim p lim p lim p lim p lim
N k N N N N

1
X0X
Resolviendo por cada termino en la expresin se obtiene: p lim NN k = limN !1 N
N k = 1; p lim N =
0
1 X "
Q por los supuestos iniciales; se demuestra que p lim N = 0 utilizando el Teorema de Markov, es decir

4
 X0" X0" X0"
enseando que N converge en media cuadratica a 0: E N = 0 y limN !1 V ar N = 0:

X 0" 1
lim V ar = lim E[(X 0 " E(X 0 "))(X 0 " E(X 0 "))0 ]
N !1 N N !1 N2 | {z } | {z }
=0 =0
1
= lim E [(X 0 ")(X 0 ")0 ]
N !1 N 2
1
= lim E [(X 0 ""0 X)]
N !1 N 2
1 0
= lim X E(""0 )X
N !1 N 2
2
X 0X
= lim
N !1 N N
2
X 0X
= lim lim =0 Q=0
N !1 N N !1 N
| {z }| {z }
=0 =Q

Entonces se obtiene:
2 3

N 6 "0 " "0 X X 0X

1
X 0" 7
6 7
p lim ^ 2M CO = p lim 6p lim p lim p lim p lim 7
N k4 N N N N 5
| {z } | {z }| {z }
=1 =Q 1 =0

"0 "
p lim ^ 2M CO = p lim
N
0
Se utiliza ahora la Ley de los Grandes Numeros para enesar que p lim "N" = 2
: El producto "0 " se puede
P
N
P
N "2i
"0 "
expresar como: "0 " = "2i ; entonces N = i=1
N representa la media muestral de las variables aleatorias "2i ,
i=1
iid, tales que E("2i ) = V ar("i ) = 2 8i. Utilizando la Ley de Los Grandes Numeros, podemos determinar
que la media muestral de "2i converge en probabilidad a E("2i ) = 2 :

P
N
"2i
i=1 p
! E("2i ) = 2
N
Con este resultado se completa la prueba:

P
N
"2i
"0 " i=1
p lim ^ 2M CO = p lim = p lim = 2
N N
Conclusin: este resultado nos permite obtener un estimador consistente de la varianza asinttica del
estimador de mnimos cuadrados ordinarios, basada en la estimacin de 2 con su estimador consistente
^ 2M CO :
\
V ar( ^ ) = ^2 (X 0 X) 1
M CO M CO

\
V ar( ^ ^
M CO ) es un estimador consistente de la varianza asinttica de M CO y coincide con el estimador de
V ar( ^ M CO ) bajo la hipotesis de normalidad de los errores.

5
4. Test asintticos
En las secciones anteriores hemos determinado que:
p d
N ( ^ M CO ) ! N (0; 2
Q 1
)

Podemos utilizar la normalidad asinttica de ^ M CO para construir test asintticos (independientes del
supuesto de normalidad de los errores) sobre un conjunto de q 1 restricciones lineales. Estamos interesados
a realizar tests sobre la usual hipotesis nula bilateral:

H0 : R =r
H1 : R =
6 r
p
Premultiplicando N ( ^ M CO ) por la matriz R de restricciones lineales y utilizando la propiedades de
(q k)
la distribucin normal multivariante se determina la distribucin de:
p d
N (R ^ M CO R ) ! N (0; 2 RQ 1 R0 )

Bajo H0 , R = r, sustituyendo R = r en la expresin anterior, se obtiene la distribucin asinttica del

estimador ^ M CO restringido:
p d
N (R ^ M CO r) ! N (0; 2
RQ 1
R0 ) bajo H0 : R = r
1
X0X 1
Consideramos el supuesto habitual: limN !1 N =Q , premultiplicando por R y postmultiplicando
0
por R la condicin es:
1
X 0X
lim R R0 = RQ 1
R0
N !1 N
Por el teorema de Slutsky, dado que plim^ 2M CO = 2
; se obtiene:
1
X 0X
p lim ^ 2M CO R R0 = 2
RQ 1
R0
N

Podemos aplicar entonces la propiedad considerada en la clase anterior, segun la cual dada una sucesin de
d
vectores aleatorios iid Z1 ; Z2 ; ::::ZN ; si ZN ! Z s (0; ) y si ^ 1 es un estimador consistente de ;
(k 1) (k k)
d p X0X
1
entonces ZN0 ^ 1
ZN ! 2
(k) , correspondiendo ahora N (R ^ M CO r) al vector ZN y ^ 2M CO R N R0
^
a la matriz :
" # 1
p 1 p
X 0X d
N (R ^ M CO r)0
^ 2M CO R R 0
N (R ^ M CO r) ! 2
(q)
N
h i 1
1 d
(R ^ M CO r)0 ^ 2M CO R (X 0 X) R0 (R ^ M CO r) ! 2
(q)

h i 1
1
Se observa que el (R ^ M CO r)0 ^ 2M CO R (X 0 X) R0 (R ^ M CO r) =q es la expresin del test estadis-
tico de q 1 restricciones lineales bajo el supuesto de normalidad de los errores; hemos comprobado en las
clases anteriores que ese estadistico tiene una distribucin exacta Fq;N k . Por lo tanto:
h i 1
1 d
(R ^ M CO r)0 ^ 2M CO R (X 0 X) R0 (R ^ M CO r) = qFq;N k
! 2
(q)

6
En el caso particular de q = 1; el test estadstico que acabamos de obtener tiene una distribucin asinttica
N (0; 1) bajo H0 : R = r :
p d
dado que : N (R ^ M CO r) ! N (0; 2
RQ 1
R0 )
1
X 0X p
y que : ^ 2M CO R R0 ! 2 RQ 1 R0
N
p
N (R ^ M CO r) d
se obtiene : q ! N (0; 1)
0 1
^ 2M CO R XNX R0
p
N (R ^ M CO r) d
p q 2 1 0
! N (0; 1)
0
N ^ M CO R (X X) R
(R ^ M CO r) d
q ! N (0; 1)
1
^ 2M CO R (X 0 X) R0

Conclusin: este resultado implica que, bajo las hipotesis H1-H5 y algunos supuestos adicionales, podemos
realizar tests asintticos sobre la validez de q 1 restricciones lineales sin hacer ningun supuesto sobre la
distribucin de los errores, utilizando como estadistico qFq;N k , siendo Fq;N k el valor del test estadistico
obtenido bajo el supuesto de normalidad de los errores, y confrontando este valor con los valores criticos de
una distribucin 2(q) .
Podemos resumir los resultados obtenidos sobre los test de hipotesis con y sin el supuesto de normalidad
de los errores en la tabla siguiente que ensea la distribucin de los test estadsticos apropiados bajo diferentes
supuestos:

" s N (0; 2 IN ) Distribucin de " no especicada

a
test de q 1 restricciones lineales test s Fq;N k test s 2(q)
a
test de q = 1 restriccin lineal test s tN k test s N (0; 1)

En un contexto de estimacion asinttica, una pregunta empirica habitual es cual es el tamao muestral
apropiado para que los resultados teoricos obtenidos cuando N ! 1 sean validos. No existe una respuesta
apropiada a esta pregunta, dado que no es posible disponer de una muestra innita; sin embargo, prac-
ticamente se puede establecer que ya una muestra de alrededor 5.000-10.000 observaciones permite a un
investigador defender la armacin que, en el caso de una regresin de mnimos cuadrados ordinarios, el es-
timador tenga propiedades asintticas conocidas y que sea posible utilizar test de signicatividad asintticos
sin imponer el supuesto de normalidad de los errores.