MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Heteroscdasticidad y MCG
Walter Sosa-Escudero

May 24, 2009

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Modelo lineal clasico:

1 2 3 4

Linealidad: Y = X + u. Exogeneidad: E (u) = 0 No Multicolinealidad: (X ) = K . No heteroscedasticidad ni correlacion serial: V (u) = 2 In .

= (X X )1 X Y es el mejor Teorema de Gauss/Markov estimador lineal insesgado. ) = S 2 (X X )1 es insesgado para V ( ) = 2 (X X )1 . ( V

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Que sucede si relajamos el supusto de homocedasticidad? (el estimador MCO) es lineal e insesgado (porque?). Pero no es mas el de minima varianza. ) = S 2 (X X )1 es sesgado. Invalida los estadisticos t y ( V F.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Intuition:

La presencia de heterocedasticidad no altera la posicion centralde la linea de MCO (insesgadez). MCO pondera a todas las observaciones por igual. Pero en este caso parece mas razonable prestar mas atencion a aquellas en donde la varianza es mas chica.
Walter Sosa-Escudero Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Plan: que hacer con la heterocedasticidad?.

1 2

Antes de abandonar MCO: tests de heterocedasticidad. Estrategia 1: Proponer otro estimador insesgado y eciente para (minimos cuadrados ponderados (WLS)) y un estimador apropiado para su varianza. Estrategia 2: Mantener OLS (es insesgado, si bien ineciente), pero reemplazar la varianza (la estandar es sesgada bajo heterocedasticidad).

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Tests de Heterocedasticidad
a) Test de Breusch-Pagan/Godfrey/Koenker
Chequea si ciertas variables causan heterocedasticidad. Consideremos el siguiente modelo heterocedastico: Y = X + u, ui normal, con E (u) = 0 y V (ui ) = h(1 + 2 Z2i + 3 Z3i + . . . + p Zpi ) donde h( ) es cualquier funcion positiva con dos derivadas. Cuando 2 = . . . = p = 0, V (ui ) = h(1 ), una constante!! Entonces, homocedasticidad H0 : 2 = 3 = . . . = p = 0, y HA : 2 = 0 3 = 0 . . . p = 0.
Walter Sosa-Escudero Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Pasos para implementar el test:

1 2

Estimar por MCO y guardar los residuos al cuadrado, e2 i. Regresar e2 i en las variables Zik , k = 2, . . . , p and get (ESS). El estadistico es: 1 ESS 2 (p 1) 2 (p) 2 bajo H0 , asintoticamente. Rechazamos si es demasiado grande.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Comentarios: Intuicion: El modelo auxiliar puede ser visto como un intento de modelar la varianza del termino de error. Si el R2 de esta regresion es alto, entonces se puede explicar el comportamiento de los residuos al cuadrado, lo cual es compatible con que la varianza no es constante. Aceptar la hipotesis nula no implica que no haya heterocedasticidad. Porque? Test de muestras grandes.
2 , que ademas es valido si Koenker (1980) propone usar nRA los errores son no-normales.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

b) Test de White
H0 : no heteroscedasticidad, HA : heterocedasticidad de alguna forma. Consideremos un caso simple, con K = 3: Yi = 1 + 2 X2i + 3 X3i + ui 1, . . . , n

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Pasos para implementar el test:

1 2

Estimar por MCO, guardar los residuos al cuadrado e2 . Regresar e2 en todas las varaibles, sus cuadrados y todos los posibles productos cruzados no redundantes. En nuestro caso, 2 , X 2 , X X , obtener el R2 de esta regresar e2 en 1, X2 , X3 , X2 2 3 3 regresion auxiliar. Bajo H0 , nR2 2 (p). p = numero de variables explicativas en el modelo auxiliar, menos una. Rechzar H0 si nR2 es demasiado grande.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Comentarios: Intucion: hipotesis nula mas general que el de BPK. Informativo si no se rechaza la hipotesis nula (no heterocedasticidad). Si rechaza H0 : hay heterocedasticidad. No tenemos informacion de que la causa.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Estimacion e inferencia bajo heterocedasticidad

Por simplicidad, consideremos el caso de dos variables Yi = 1 + 2 Xi + ui en donde ahora el termino de error es heteroscedastico, esto es
2 V (ui ) = i ,

i = 1, . . . , n

Supondremos que todos los otros supuestos clasicos valen.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Dividamos cada observacion por i : Yi 1 Xi ui = 1 + 2 + i i i i Yi = 1 X1 + X + k Xki + u 2 2i i i Notar que V (u i ) = V (ui /i ) = 1, entonces, los residuos de este modelo transformado son homoscedasticos.
2 , el MELI es simplemente el estimador Entonces, si conocemos i de MCO usando las variables transformadas.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

En nuestro caso, el estimador MCO del modelo transformado es 2,wls =

n i=1 xi yi n 2 i=1 xi

1,wls = Y 2,wls X con Yi = Yi /i , Xi = Xi /i , y las letras minuscuas indican diferencias con respecto a las medias muestrales. Este es el estimador de minimos cuadrados ponderados.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

El nombre minimos cuadrados ponderados viene del hecho de que este estimador se puede obtener resolviendo el siguiente problema de minimizacion: n 1 2 min 2 ei , i i=1 esto es, los errores entran en la SRC ponderados por la inversa de la varianza de cada observaciono: estamos prestando mas atencion a las observaciones con menor varianza.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

2 . Esto conduce a dos Problema: en la practica no conocemos i estrategias.

1

Usas WLS: Pros: estimaciones insesgadas y ecientes. Contra: es necesario saber las varianzas de antemano (o realizar supuestos) Mantener MCO pero cambiar la estimacion de la varianza: Pensemos en los efectos de la heterocedasticidad. MCO es insesgado pero ineciente (not esta tan mal...). But, S 2 (X X )1 is biased, which invalidates inference (this is bad!). Then, a second strategy: keeping OLS for and look for a valid estimator for its variance. Pros: no hacen falta supuestos, unbiased. Cons: perdermos eciencia, pero con respecto a WLS (si esta disponible).

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

1) Varianza conocida: WLS

Consideremos el caso simple con dos variables: Yi = 1 + 2 Xi + ui Estrategia: suponer alguna forma particular de heterocedasticidad. a) V (ui ) = 2 Xi2 2 es una constante desconocida. Dividamos todas las observaciones por Xi Yi Xi = 1 1 ui + 2 + Xi Xi

Yi = 1 X0 i + 2 + ui 2 2 i 2 Notar que E (u i ) = E (ui /Xi ) = X 2 =

i

X2

Los errores del modelo transformado son homocedaticos: MCO en Walter Sosa-Escudero Heteroscdasticidad y MCG el modelo transformado!

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

No hace falta conocer 2 . Hemos dividido solo por la parte del error estandar que varia con las obervaciones, Xi . Esta estrategia prove una estimacion WLS. Cuidado con las interpretaciones. El intercepto de este modelo transformado es la pendiente del original y la pendiente del transformado es el intercepto del original.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

b) V (u) = 2 Xi Y i Xi 1 = 1 + 2 Xi ui Xi + Xi

Yi = 1 X0 i + 2 X1i + ui

Con respecto a la implementacion e interpretacioon, notar que este modelo transformado no tiene intercepto, y que el coeciente de la primera variable explicativa se corresponde con el intercepto y la segudna con la pendiente del modelo original. Problema con estas estrategias: es muy dicil encontrar una forma exacta de heterocedasticidad.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

2) Estructura de varianza desconocida

Estrategia alternativa: retener MCO (insesgado pero no eciente) y buscar un estimador valido para la varianza. Bajo OLS es: heterocedasticidad, la varianza de OLS ) = (X X )1 X X (X X )1 V (
2 , 2 , . . . , 2 ). = diag (1 n 2

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

White (1980): un estimador consistentente para X X es X DX , 2 2 D = diag (e2 1 , e2 , . . . , en ), ei s son los residuos de MCO. Entonces, un estimador consistente bajo heteroscedasticity para la varianza es: OLS )HC = (X X )1 X DX (X X )1 ( V Estrategia: usar MCO pero reemplazar S 2 (X X )1 por el estimador de White. Esta estrategia no es eciente, pero mo requiere supuestos acerca de la estructura de la heterocedasticidad.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Resumen La heterocedasicidad hace que MCO sea ineciente e invalida el estimador estandar de la varianza, y por consiguiente, los procesos inferenciales estandar (t tests, F tests, etc.). El estimador WLS es eciente e insesgado, pero depende de conocer la estructura de varianza. En la practica es muy raro que este disponible. En la practica es mas comun mantener el esimador MCO y reemplazar el estimador de la varianza pr el de White, que no requiere supuestos.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

El model generalizado y MCG

Supongamos que todos los supuestos clasicos valen, pero ahora V (u|X ) = 2 en donde es cualquier matriz simetrica n n y positiva denida. Estamos permitiendo heterocedasticidad y/o correlacion serial, pero no estamos imponiendo ninguna estrucutra sobre . Plan
1 2

Consecuencias de relajar V (u|X ) = 2 In . Entontrar un estimador optimo (MCG).

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Consecuencias de relajar V (u|X ) = 2 In

lineal e insesgado, Gauss Markov Theorem no vale. |X ) es ahora 2 (X X )1 (X X )1 (probar este V ( resultado). ). S 2 (X X )1 es sesgado para V ( Los tests t no tienen distribucion t. Los tests F tampoco son validos. Entonces, ignorar heterocedasticidad o correlacion serial, esto es, yV |X ) = S 2 (X X )1 , prserva la propiedad de insesadez, ( usar perdiendo eciencia, pero la inferencia estandar deja de ser valida.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Minimos Cuadrados Generalizados

Necesitamos priemro un resultado simple: si es n n simetrica y pod, entonces existe una matriz n n, C , no singular tal que: 1 = C C
Que signica esto, intuitivamente?

Consideremos el siguiente modelo transformado Y = X + u con Y = CY , X = CX y u = Cu.

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Es facil vericar:
1 2 3 4

Y = X + u , so the transformed model is trivially linear. E (u |X ) = CE (u|X ) = 0 (X ) = (CX ) = K , w.p.1. V (u |X ) =

(CX is a rank preserving tranformation of X !).

V (Cu|X ) = E (CuuC |X ) = CE (uu |X )C = C 2 C = 2 C [1 ]1 C = 2 C (C C )1 = In Entonces...?

2 1

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Dado que el modelo transformado satisface todos los supuestsos clasicos, vale el Teorema de Gauss-Markov Theorem para el modelo transformado, entonces, el MELI es: gls = (X X )1 X Y Este es el estimador de minimos cuadrados generalizado Cuidado: el estimador de MCG es un estimador MCO para un modelo transformado. Provee un MELI bajo heterocedasticidad o correlacion serial. es ineciente. Ahoa es claro en que sentido Es importante ver que las propiedades estadisticas dependen de la estructura subyacente (no son propiedades del estimador per-se).

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

Notar que gls = (X X )1 X Y = (X C CX )1 X C CY = (X 1 X )X 1 Y gls = . Cuando = In , gls require conocer (si bien La implementacion practica de 2 no .) gls ) = 2 (X X )1 . Es facil chequear que V (

Walter Sosa-Escudero

Heteroscdasticidad y MCG

MCO bajo Heterocedasticidad Tests de Heterocedasticidad Minimos Cuadrados Generalizados

MGC Factible

. Supongamos que existe un estimador para , que llamaremos Entonces, reemplazando por : f gls = (X 1 X )X 1 Y Este es el estimador de MCG factible. Es lineal e insesgado? Eciente?

Walter Sosa-Escudero

Heteroscdasticidad y MCG