MiFee - CL - 6. Perturbaciones No Esfericas

Introduccion
Perturbaciones no Esfericas
Heteroscedasticidad
Mnimos Cuadrados Generalizados
Mnimos Cuadrados Factibles
Estimacion robusta
Deteccion de Heterocedasticidad
Perturbaciones no esfericas
Econometria
Edgardo Cerda Espinoza
1 semestre, 2013
Edgardo Cerda Espinoza Perturbaciones no esfericas

Introduccion
Heteroscedasticidad
Estimacion robusta
Tabla de Contenidos
1 Perturbaciones no Esfericas
2 Heteroscedasticidad
3 Mnimos Cuadrados Generalizados
4 Mnimos Cuadrados Factibles
5 Estimacion robusta
6 Deteccion de Heterocedasticidad

Introduccion
Heteroscedasticidad
Estimacion robusta
Introduccion
Un supuesto importante del modelo clasico de regresion lineal es que las

perturbaciones ui que aparecen en la funcion de regresion poblacional son
homoscedasticas y no autocorrelacionadas; es decir, que las perturbaciones
son esfericas.
A continuacion analizaremos la validez de dicho supuesto, y que ocurre si
no se cumple.

Introduccion
Heteroscedasticidad
Estimacion robusta
Recordemos que la matriz de varianzas y covarianzas del termino de error
esta dada por:
E(u21 )

E(u1 u2 ) ... E(u1 un )
E(u2 u1 ) E(u22 ) ... E(u2 un )
V (u) = E(uu0 ) =

.. .. .. ..
. . . .
E(un u1 ) E(un u2 ) ... E(u2n )
Sin embargo:
Bajo el supuesto de Homocedasticidad:
E(u2i ) = 2 i
Bajo el supuesto de No Autocorrelacion:

E(ui uj ) = 0 i 6= j
Introduccion
Heteroscedasticidad
Estimacion robusta
De esta forma, bajo los supuestos de homocedasticidad, la varianza sera:

2
0 ... 0
0 2 ... 0
E(uu0 ) = .

.. . . ..
.. . . .
0 0 ... 2
Finalmente:
E(uu0 ) = 2 Inn
Esto es lo que denominaremos Perturbaciones Esfericas

Introduccion
Heteroscedasticidad
Estimacion robusta
Si no se cumple el supuesto de homocedasticidad o de no autocorrelacion

del termino de error, diremos que las perturbaciones son no esfericas, y
pueden ser expresadas de la forma:
E(uu0 ) = 2
Donde es una matriz definida positiva, y entrega la estructura de la
matriz de varianzas y covarianzas del termino de error.

Introduccion
Heteroscedasticidad
Estimacion robusta
Como afecta las estimaciones?

Recordemos que:
= (X 0 X)1 X 0 Y
= + (X 0 X)1 X 0 u
Como el supuesto de que E[u/X] = 0 se mantiene, tenemos que:
E[] =
Por lo tanto, el estimador MCO con perturbaciones no esfericas sigue
siendo insesgado y consistente.

Introduccion
Heteroscedasticidad
Estimacion robusta
En terminos de eficiencia:
h i
V () = E ( )( )0
= E[(X 0 X)1 X 0 uu0 X(X 0 X)1 ]
= 2 (X 0 X)1 X 0 X(X 0 X)1
De esta forma, solo si = In la matriz de covarianzas de sera igual a

2 (X 0 X)1 , por lo tanto, el estimador MCO en presencia de perturbacio-
nes no esfericas no tendra varianza mnima, es decir, no sera eficiente.
Entonces cualquier inferencia basada en 2 (X 0 X)1 llevara a conclusiones
erroneas.

Introduccion
Heteroscedasticidad
Estimacion robusta
Por lo tanto, ante perturbaciones no esfericas, tendremos que:

Estimaciones seguiran siendo insesgadas bajo MCO
Estimaciones seran ineficientes
Dado que MCO supone una estructura de la varianza distinta,
inferencia sera incorrecta
Esto se dara si tenemos Heteroscedasticidad y/o Autocorrelacion en el

termino de error.

Introduccion
Heteroscedasticidad
Estimacion robusta
Heteroscedasticidad
A diferencia de la Autocorrelacion, la Heteroscedasticidad es un problema

bastante recurrente en modelos econometricos, especialmente al trabajar
con datos de corte transversal.
Diremos que existe Heteroscedasticidad si la varianza es distinta para cada
observacion:
2 2
1 ... 0 1 ... 0
E(uu0 ) = 2 = ... . . . ... = 2 ... . . . ..

.
0 ... n2 0 ... n2

Introduccion
Heteroscedasticidad
Estimacion robusta
Heteroscedasticidad
Supongamos que tenemos el modelo:
Y = 4 + 2X1 + 15X2 + u
Donde las perturbaciones fueron generadas asumiendo:
i = 25 exp(0,05 X2)
Es decir, el modelo es Heterocedastico, ya que la varianza no es constante
para todas las observaciones.

Introduccion
Heteroscedasticidad
Estimacion robusta
Heterocedasticidad
Al analizar con respecto a la variable X2 se obtiene

3000
2000
1000
0
-1000
20 40 60 80
X2
Y Fitted values

Introduccion
Heteroscedasticidad
Estimacion robusta
Heterocedasticidad
Al analizar los residuos predichos del modelo versus la variable X2 se
obtiene:
2000
1000
Residuals
0
-1000
-2000
20 40 60 80
X2
Introduccion
Heteroscedasticidad
Estimacion robusta
Heterocedasticidad
Ojo que en exactamente el mismo modelo, con los mismos datos, al obser-
var con respecto a la variable X1 no se obtiene el mismo resultado, por lo
que el analisis grafico no es suficiente para descartar heterocedasticidad.
Por que?
3000
2000
1000
0
-1000
-200 -100 0 100 200

X1
Y Fitted values
Introduccion
Heteroscedasticidad
Estimacion robusta
Heterocedasticidad
A su vez, podemos ver que las estimaciones seguiran siendo insesgadas:

.
. reg Y X1 X2
Source SS df MS Number of obs = 1000

F( 2, 997) = 117.87
Model 30864810.5 2 15432405.3 Prob > F = 0.0000
Residual 130540093 997 130932.891 R-squared = 0.1912
Adj R-squared = 0.1896
Total 161404903 999 161566.47 Root MSE = 361.85
Y Coef. Std. Err. t P>|t| [95% Conf. Interval]
X1 2.169129 .2267754 9.57 0.000 1.724118 2.614141

X2 14.48735 1.184923 12.23 0.000 12.16212 16.81258
_cons 38.39997 60.36424 0.64 0.525 -80.05557 156.8555

Introduccion
Heteroscedasticidad
Estimacion robusta
Heteroscedasticidad
Algunas razones por las que ui puede ser heteroscedastico:
Naturaleza del modelo: Modelos de aprendizaje. Relajo de

restricciones presupuestarias. Etc.
Presencia de observaciones atpicas o outliers
Omision de variables relevantes
Asimetra en la distribucion de una o mas variables del modelo
Forma funcional incorrecta

Introduccion
Heteroscedasticidad
Estimacion robusta
Como fue demostrado, en presencia de heteroscedasticidad el estimador

MCO seguira siendo insesgado, pero ya no tendra varianza mnima.
El estimador que si cumple con la propiedad MELI en presencia de errores
no esfericos es Mnimos Cuarados Generalizados (MCG).
Este estimador, en vez de minimizar la suma de los errores cuadraticos u0 u,
propone minimizar la suma ponderada de los errores cuadraticos u0 1 u.

Introduccion
Heteroscedasticidad
Estimacion robusta
De esta forma, el estimador de Mnimos Cuadrados Generalizados corres-

ponde a:
1
M CG = X 0 1 X X 0 1 Y

Introduccion
Heteroscedasticidad
Estimacion robusta
Es simple demostrar que:
M CG = + (X 0 1 X)1 X 0 1 u
Se sigue manteniendo que en el modelo poblacional E[u/X] = 0, por lo
que:
E[M CG ] =
Es decir, el estimador sigue siendo insesgado.

Introduccion
Heteroscedasticidad
Estimacion robusta
Mnimos Cuadrados Generalizado

Y en cuanto a la varianza:
h i
V (M CG ) = E ( )( )0
= E[(X 0 1 X)1 X 0 1 uu0 1 X(X 0 1 X)1 ]
= (X 0 1 X)1 X 0 1 2 1 X(X 0 1 X)1
= 2 (X 0 1 X)1 X 0 1 X(X 0 1 X)1
V (M CG ) = 2 (X 0 1 X)1
Se puede demostrar que:
V (M CG ) = 2 (X 0 1 X)1 V (M CO ) = 2 (X 0 X)1 X 0 X(X 0 X)1

Introduccion
Heteroscedasticidad
Estimacion robusta
Una forma mas sencilla de entender que hace el estimador MCG es uti-
lizar que la inversa de toda matriz simetrica definida positiva puede ser
expresada como la multiplicacion de 2 matrices cuadradas: 1 = P 0 P
De esta forma:
M CG = (X 0 1 X)1 X 0 1 Y
= (X 0 P 0 P X)1 X 0 P 0 P Y
= ((P X)0 (P X))1 (P X)0 (P Y )
M CG =(X0 X )1 X0 Y

Introduccion
Heteroscedasticidad
Estimacion robusta

Es decir, es equivalente a estimar por MCO el modelo transformado:
P Y = P X + P u
Y = X + u
Donde se cumple que:
V ar(u ) =E[u u0 ]
= 2 P P 0
= 2 P P 1 P 01 P 0
= 2 In
Es decir, el modelo transformado es Homoscedastico.

Introduccion
Heteroscedasticidad
Estimacion robusta

En el ejemplo anterior, sabemos que i = 25 exp(0,05 X2i ), por lo que
el modelo transformado debe ser:
Yi 1 X1i X2i
= 0 +1 +2
exp(0,05 X2i ) exp(0,05 X2i ) exp(0,05 X2i ) exp(0,05 X2i )
Esto se puede hacer de manera simple en Stata:
.
. gen sigmai = exp(0.05*X2)
. gen Ymcg = Y/sigmai
. gen X1mcg = X1/sigmai
. gen X2mcg = X2/sigmai
. gen consmcg = 1/sigmai

Introduccion
Heteroscedasticidad
Estimacion robusta
Y regresionamos por MCG:

. do "C:\Users\Edgar\AppData\Local\Temp\STD01000000.tmp"
. reg Ymcg X1mcg X2mcg consmcg, noconstant

F( 3, 997) = 2123.43
Model 3919672.24 3 1306557.41 Prob > F = 0.0000
Residual 613458.892 997 615.304807 R-squared = 0.8647
Total 4533131.13 1000 4533.13113 Root MSE = 24.805
Ymcg Coef. Std. Err. t P>|t| [95% Conf. Interval]
X1mcg 2.032668 .1507552 13.48 0.000 1.736834 2.328502

X2mcg 15.09913 .7710024 19.58 0.000 13.58616 16.61211
consmcg 7.865894 32.41588 0.24 0.808 -55.74528 71.47706

Introduccion
Heteroscedasticidad
Estimacion robusta
Al comparar con el resultado MCO:

.
. reg Y X1 X2

F( 2, 997) = 117.87
Model 30864810.5 2 15432405.3 Prob > F = 0.0000
Total 161404903 999 161566.47 Root MSE = 361.85
X1 2.169129 .2267754 9.57 0.000 1.724118 2.614141

X2 14.48735 1.184923 12.23 0.000 12.16212 16.81258
_cons 38.39997 60.36424 0.64 0.525 -80.05557 156.8555

Introduccion
Heteroscedasticidad
Estimacion robusta

Podemos ver que el modelo transformado es ahora Homocedastico:
200
150
100
50
0
-50
0 2 4 6 8
X2mcg
Ymcg Fitted values

Introduccion
Heteroscedasticidad
Estimacion robusta
Anteriormente asumimos que era conocida, en este caso una simple

transformacion del modelo de regresion lineal lleva a una matriz de cova-
rianza esferica.
En la practica, es desconocida y es necesario estimar los parametros al
interior de esta matriz.
Entonces lo que debemos hacer es sustituir por un estimador de ella: .
Esto se denomina estimador Mnimos Cuadrados Factibles (MCF), donde
el estimador de se define de la siguiente forma:
M CF = (X 0 1 X)X 0 1 Y

Introduccion
Heteroscedasticidad
Estimacion robusta
El problema es que tenemos mas incognitas (n(n + 1)/2) en que obser-

vaciones
En la practica para lograr la estimacion de debemos asumir que es
funcion de un numero fijo y reducido de parametros .
El problema se reduce a encontrar y usarlo para computar = ()

Introduccion
Heteroscedasticidad
Estimacion robusta
En el caso de presencia solo de heteroscedasticidad, la funcion de MCF

puede ser aproximada por una funcion:
V (u/X) = 2 h(Z)
Donde h es una funcion positiva (Recordar que varianza es siempre posi-

tiva) y creciente, como exp, y Z son funciones de las variables X.

Introduccion
Heteroscedasticidad
Estimacion robusta
Minimos Cuadrados Factibles
Algunos supuestos razonables sobre el patron de Heterocedasticidad:
Varianza es proporcional a un Xh2
i2 = 2 Xh2
Varianza proporcional a una suma ponderada de X 2
i2 = 2 (0 + 1 X12 + ... + k Xk2 )
Logartmo de la varianza proporcional a X
i2 = 2 exp(0 + 1 X1 + ... + k Xk )

Introduccion
Heteroscedasticidad
Estimacion robusta
Estimacion robusta
Habamos mencionado que un problema ante la presencia de Heteroce-

dasticidad es que al inferencia ya no es correcta. Esto se debe a que los
programas estadsticos calculan la varianza de los estimadores asumiendo
Homocedasticidad, es decir, utilizando:
V () = 2 (X 0 X)1
Sin embargo, ante Heterocedasticidad la varianza correcta de los estima-

dores MCO es:
V () = 2 (X 0 X)1 X 0 X(X 0 X)1

Introduccion
Heteroscedasticidad
Estimacion robusta
Estimacion Robusta
White (1980) propone un estimador de la matriz de covarianzas de MCO

que no requiere una representacion especfica de la forma funcional que
adopta la heterocedasticidad.
Este estimador se denomina indistintamente Estimador de White, de Huber-
White o estimacion robusta de la Matriz de Covarianzas. El estimador es:
" N
#
X
0 1 1
V () = n (X X) n ui xi xi (X 0 X)1
2 0
i=1

Introduccion
Heteroscedasticidad
Estimacion robusta
Estimacion Robusta
Este estimador es consistente con o sin presencia de Heterocedasticidad,

por lo que, a menos que tenga certeza de que no hay problemas de Hete-
rocedasticidad, es conveniente utilizarlo.
Este estimador es particularmente util, ya que no requiere conocer la na-
turaleza de la heterocedasticidad (a diferencia de MCG o MCF), y por lo
tanto, permite realizar inferencia correcta.

Introduccion
Heteroscedasticidad
Estimacion robusta
Estimacion Robusta
Al estimar utilizando la matriz de Varianzas y Covarianzas de Huber-White:

. do "C:\Users\Edgar\AppData\Local\Temp\STD01000000.tmp"
. reg Y X1 X2, robust
Linear regression Number of obs = 1000

F( 2, 997) = 88.94
Prob > F = 0.0000
R-squared = 0.1912
Root MSE = 361.85
Robust
X1 2.169129 .2278018 9.52 0.000 1.722104 2.616155

X2 14.48735 1.497092 9.68 0.000 11.54954 17.42517
_cons 38.39997 67.76917 0.57 0.571 -94.58661 171.3865

Introduccion
Heteroscedasticidad
Estimacion robusta
Estimacion Robusta
Nuevamente al comparar con MCO:

.
. reg Y X1 X2

F( 2, 997) = 117.87
Model 30864810.5 2 15432405.3 Prob > F = 0.0000
Total 161404903 999 161566.47 Root MSE = 361.85
X1 2.169129 .2267754 9.57 0.000 1.724118 2.614141

X2 14.48735 1.184923 12.23 0.000 12.16212 16.81258
_cons 38.39997 60.36424 0.64 0.525 -80.05557 156.8555

Introduccion
Heteroscedasticidad
Estimacion robusta
Naturaleza del problema

Con mucha frecuencia la naturaleza del problema en consideracion sugiere
la posibilidad de heteroscedasticidad.

Introduccion
Heteroscedasticidad
Estimacion robusta
Metodo grafico
Si no hay informacion a priori o emprica sobre la naturaleza de la heteros-

cedasticidad, en la practica se puede llevar a cabo un analisis de regresion
con el supuesto de que no hay heteroscedasticidad y luego hacer un examen
de los residuos elevados al cuadrado, u2 , para ver si exhiben algun patron
sistematico.

Introduccion
Heteroscedasticidad
Estimacion robusta
Metodo grafico
.
. * grficos:
. .
. quietly reg Y X1 X2 . quietly reg Y X1
. predict u1, residuals . predict u2, residuals
. predict y1, xb . predict y2, xb
. scatter u1 y1 . scatter u2 y2
2000
3000
2000
1000
Residuals
Residuals
1000
0
0
-1000
-1000
-2000
200 400 600 800 1000 1200 400 600 800 1000 1200
Linear prediction Linear prediction

Introduccion
Heteroscedasticidad
Estimacion robusta
Test de Breusch-Pagan
Supongamos que la varianza del termino de error de cada observacion

depende de un vector de variables Zi de dimension p, es decir:
i2 = h(zi0 ) = h(0 + 1 z2i + ... + p zpi )
Notemos que si todos los coeficientes s, excepto el correspondiente a 0

fuesen cero, tendramos una situacion de Homocedasticidad.
Esto testea el test de Breusch-Pagan, que:
H0 : 1 = 2 = ... = p = 0
Es decir, la hipotesis nula es la Homcedasticidad.

Introduccion
Heteroscedasticidad
Estimacion robusta
Test de Breuch-Pagan
Para utilizar este test, utilizamos el comando estat hettest despues de una
regresion:
. quietly reg Y X1 X2
. estat hettest
Breusch-Pagan / Cook-Weisberg test for heteroskedasticity

Ho: Constant variance
Variables: fitted values of Y
chi2(1) = 207.83
Prob > chi2 = 0.0000

Introduccion
Heteroscedasticidad
Estimacion robusta
Test de Breuch-Pagan
. quietly reg Y X1
. estat hettest
Breusch-Pagan / Cook-Weisberg test for heteroskedasticity

Ho: Constant variance
Variables: fitted values of Y
chi2(1) = 0.01
Prob > chi2 = 0.9156

MiFee - CL - 6. Perturbaciones No Esfericas

Uploaded by

Document Information

Original Description:

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

MiFee - CL - 6. Perturbaciones No Esfericas

Uploaded by

Copyright:

Available Formats

Introduccion

Edgardo Cerda Espinoza

Edgardo Cerda Espinoza Perturbaciones no esfericas

3 Mnimos Cuadrados Generalizados

4 Mnimos Cuadrados Factibles

Edgardo Cerda Espinoza Perturbaciones no esfericas

Un supuesto importante del modelo clasico de regresion lineal es que las

Edgardo Cerda Espinoza Perturbaciones no esfericas

Bajo el supuesto de No Autocorrelacion:

De esta forma, bajo los supuestos de homocedasticidad, la varianza sera:

Esto es lo que denominaremos Perturbaciones Esfericas

Edgardo Cerda Espinoza Perturbaciones no esfericas

Si no se cumple el supuesto de homocedasticidad o de no autocorrelacion

Edgardo Cerda Espinoza Perturbaciones no esfericas

Como afecta las estimaciones?

Como el supuesto de que E[u/X] = 0 se mantiene, tenemos que:

Edgardo Cerda Espinoza Perturbaciones no esfericas

De esta forma, solo si = In la matriz de covarianzas de sera igual a

Edgardo Cerda Espinoza Perturbaciones no esfericas

Por lo tanto, ante perturbaciones no esfericas, tendremos que:

Esto se dara si tenemos Heteroscedasticidad y/o Autocorrelacion en el

Edgardo Cerda Espinoza Perturbaciones no esfericas

A diferencia de la Autocorrelacion, la Heteroscedasticidad es un problema

Edgardo Cerda Espinoza Perturbaciones no esfericas

Supongamos que tenemos el modelo:

Donde las perturbaciones fueron generadas asumiendo:

Edgardo Cerda Espinoza Perturbaciones no esfericas

Al analizar con respecto a la variable X2 se obtiene

Edgardo Cerda Espinoza Perturbaciones no esfericas

-200 -100 0 100 200

A su vez, podemos ver que las estimaciones seguiran siendo insesgadas:

Source SS df MS Number of obs = 1000

Y Coef. Std. Err. t P>|t| [95% Conf. Interval]

X1 2.169129 .2267754 9.57 0.000 1.724118 2.614141

Edgardo Cerda Espinoza Perturbaciones no esfericas

Algunas razones por las que ui puede ser heteroscedastico:

Naturaleza del modelo: Modelos de aprendizaje. Relajo de

Edgardo Cerda Espinoza Perturbaciones no esfericas

Mnimos Cuadrados Generalizados

Como fue demostrado, en presencia de heteroscedasticidad el estimador

Edgardo Cerda Espinoza Perturbaciones no esfericas

Mnimos Cuadrados Generalizados

De esta forma, el estimador de Mnimos Cuadrados Generalizados corres-

Edgardo Cerda Espinoza Perturbaciones no esfericas

Mnimos Cuadrados Generalizados

Es simple demostrar que:

Edgardo Cerda Espinoza Perturbaciones no esfericas

Mnimos Cuadrados Generalizado

Se puede demostrar que:

V (M CG ) = 2 (X 0 1 X)1 V (M CO ) = 2 (X 0 X)1 X 0 X(X 0 X)1

Edgardo Cerda Espinoza Perturbaciones no esfericas

Mnimos Cuadrados Generalizados

Edgardo Cerda Espinoza Perturbaciones no esfericas

Mnimos Cuadrados Generalizados

Es decir, el modelo transformado es Homoscedastico.

Mnimos Cuadrados Generalizados

. gen Ymcg = Y/sigmai

. gen X1mcg = X1/sigmai

. gen X2mcg = X2/sigmai

. gen consmcg = 1/sigmai

Edgardo Cerda Espinoza Perturbaciones no esfericas

Mnimos Cuadrados Generalizados