Dpto.

de Economa Cuantitativa
Universidad Complutense de Madrid

ECONOMETRIA
Regresi
on lineal
Marcos Bujosa

Trasparencias de clase para la asignatura econometra de los grados en

Economa y Administraci
on y Direccion de Empresas de la Universidad
Complutense de Madrid.

20102012 Marcos Bujosa

marcos.bujosa@ccee.ucm.es
Version 0.1.04

Actualizado el: 8 de marzo de 2012

Copyright 20102012 Marcos Bujosa marcos.bujosa@ccee.ucm.es

Este material docente se distribuye bajo la Creative Commons Attribution-Share Alike 3.0 Spain. Para
ver una copia de esta licencia, visite http://creativecommons.org/licenses/by-sa/3.0/es/.

Tabla de Contenido
1.

2.

Regresi
on Lineal por Mnimos Cuadrados Ordinarios (MCO) . . . . . . . . . . . . . . . . .

1.1.

Introducci
on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2.

Ajuste mnimo cuadr

atico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3.

Algunas expresiones que seran empleadas frecuentemente . . . . . . . . . . . . . . .

1.4.

Algunos casos particulares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

Propiedades algebraicas de la estimacion MCO . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.1.

Propiedades b
asicas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.2.

Medidas de ajuste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

Ap
endices

24

1.

Derivaci
on tradicional de las Ecuaciones Normales . . . . . . . . . . . . . . . . . . . . . . . 24

2.

Otro caso particular: modelo con tres regresores . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.

M
as propiedades algebraicas de la regresion por mnimos cuadrados. . . . . . . . . . . . . . 29

Bibliografa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
Soluciones a los Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

1. Regresi
on Lineal por Mnimos Cuadrados Ordinarios (MCO)
Captulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
1.1. Introducci
on
En el tema anterior vimos que al relacionar un conjunto de datos de con otros conjuntos de informaci
on,
es posible lograr una mejor comprensi
on de los datos.
El primer ejemplo lo vimos con datos temporales; comprobado que si estos se representan graficamente relacionandolos con sus fechas correspondientes, se entienden mejor que si no incorporamos dicha
informaci
on temporal (vease la transparencia 27 del Tema 1, Pagina 17).
El seg
undo ejemplo (el que m
as nos interesa en este momento) usaba unos datos sobre el volumen de
ventas; y vimos que la la magnitud de las ventas era mas comprensible, si se relacionaban con los datos
sobre la antig
uedad de los vendedores:

C
odigo: ventas.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl

Relacionar una variables con otras puede mejorar la comprensi

on

En este ejemplo (simulado) parece que hay una relacion lineal entre el volumen de ventas y la antig
uedad
del vendedor. Es decir, parece que los datos conjuntos de ventas y antig
uedad estan dispuestos aproximadamente a lo largo de una linea recta
y = a + b x;
aunque los puntos no est
an perfectamente alineados sobre la recta. Es como si la relacion entre ventas
y antig
uedad fuera del tipo
V entas = a + b Antig + OtrasCosas;
donde OtrasCosas es lo que desplaza los puntos fuera de la linea recta y = a + b x.
Podemos aproximar los datos de ventas como una funcion lineal de la antig
uedad
V\
entas = a + b Antig ?
C
omo calculamos la magnitud de los par
ametros a y b? es decir, cuales son los valores de la constante y
la pendiente de esta supuesta relaci
on lineal? Como evaluamos la bondad del ajuste de esta aproximaci
on
lineal?
2

En este tema vamos a ver c

omo calcular estas magnitudes.

1.2. Ajuste mnimo cuadr

atico

Ejemplo 1. [funci
on de consumo:] Supongamos que el consumo y la renta disponible de las personas
se relaciona del siguiente modo:
CONn = 1 + 2 RDn + Un
donde CONn y RDn son el consumo y la renta disponible del individuo n-esimo respectivamente, y Un
son otros factores que afectan al consumo del individuo n-esimo distintos a su renta disponible (activos
financieros, estado de
animo, etc.).
d , como una
Si dispusieramos de datos sobre renta y consuno, podramos ajustar el consumo, con
funci
on lineal de la renta disponible, rd,
" #
i
h
1
c
c
d = 1 1 + 2 rd =
con
1 rd
2
Aqu llamamos
regresando (o variable a explicar) al vector de datos de consumo; con
regresores (o variables explicativas) al vector de unos (1) junto al vector de datos de renta disponible
(rd)
h
i
rd = X

vector de par
ametros a
" #
1
=
2

Ejemplo 2. [precio de las viviendas:]

C
odigo: EjPvivienda.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl
Suponga que dispone de los siguientes datos:
n
1
2
3
4
5
6
7
8
9
10
11
12
13
14

Precio
199.9
228.0
235.0
285.0
239.0
293.0
285.0
365.0
295.0
290.0
385.0
505.0
425.0
415.0

Superficie
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000

Cuadro 1: Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de d
olares) (Ramanathan, 2002, pp. 78)

Podemos suponer que el modelo que describe los precios es Y n = a + bXn + Un , donde Y n es el precio
del piso n-esimo, Xn es su superficie, y Un son otros factores que influyen en el precio del piso (situaci
on,
estado de mantenimiento, servicios, etc.)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso.
" #
h
i
1
c1 1 +
c2 x =
b =
= X.
y
1 x
2
As,

c1 1 +
c2 x =
b=
y

yb1
yb2
yb3
yb4
yb5
yb6
yb7
yb8
yb9
yb10
yb11
yb12
yb13
yb14

1065
1
1254
1

1300
1

1577
1

1600
1

1750
1

c 1 c 1800
=
= 1 + 2
1870
1

1935
1

1948
1

2254
1

2600
1

2800
1

3000

1
1

1
1

1065
1254

1300

1577

1600

1750
" #
1800
1
= X.

1870
2
1935

1948

2254

2600

2800
3000

de manera que, por ejemplo, precio ajustado a la superficie del septimo piso de la muestra sera
yb7

c1 +
c2 x7

c1 +
c2 1800.

Recta de regresi
on

ZC
odigo: EjPvivienda.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl

price versus sqft

550

ea

500
e
> 0

450

a
ct

de

u
aj

Re

price

400
y12

350

300

y7

250
200
150

1500

2000
sqft

2500

3000

c1 y
c2 de la recta y
c1 1 +
c2 x?
b =
C
omo calcular los par
ametos

st

y12

lin

Modelos lineales en los par

ametros

El ajuste del regresando yb

yb1
.
.
.
ybn

es una combinacion lineal de los regresores; por lo tanto

x12
x13
x1k
1

c2 .. +
c3 .. + +
ck ..
c1 .. +
=
.
.
.

.
1
xN 2
xN 3
xN k

c1 1H2 +
c2 xH2
yb =

c3 xH3
+

ck xHk
+ +

h
i
= 1, xH2 , . . . , xHk b

= X b ;

b1
.
.
donde b =
. ;
bk

h
i
X = 1, xH2 , . . . , xHk ,

yb = X
[N 1]

[N k]

b
[k1]

T
ermino de error

Los errores cometidos por el ajuste ye para un hipotetico valor e y una muestra concreta y y X son
ee

y ye

e
y X ;

es decir, el error cometido por el ajuste para el individuo n es

een = yn xn . e = yn yf
n;
h

donde xn . = 1,

xn2 , ,

xnk .

y = ye + ee .

N
otese que descomponemos los datos en dos partes:

Consideremos la Suma de los Residuos al Cuadrado para todo n

e
SRC()

N
X
n=1

e2n =

N
X

yn yf
n

2

e | (y X )
e = ee| ee
= (y X )

n=1

Es decir, el ajuste para el individuo n-esimo dada la muestra {xn . } y los parametros e es:

e1
h
i

e
f
. f f
yf
n = xn . = 1, xn2 , , xnk .. = 1 + 2 xn2 + + k xnk .
ek

Ajuste lineal: geometra

Tenemos una muestra de y y X; es decir, disponemos de

1
y1

1
y2

y =
.. X = ..
.
.
1
yN
!
e
a
y buscamos e = e tales que
b
y = X e + ee

x1

x2
..

.
xN

y donde queremos que ee sea peque

no.

Ajuste lineal: geometra

ee

ebX H2

e
ye = X

X H2

e
a1

"


X = 1, xH2 ;

e =

e
a
eb

#
;

y = ye + ee;

e
ye = X ;

ee = y ye

Ajuste lineal: geometra MCO

eb

bX H2
X H2

b
yb = X

a1

"


X = 1, xH2 ;

b =

b
a
bb

#
;

y = yb + eb ;

yb = X b ;

eb = y yb

Ajuste mnimo cuadr

atico: Ecuaciones normales

e es mnima para valores b tales que los errores son ortogonales a los regresores de la muestra
La SRC()
X
eb X X| eb = 0.
As
X| eb = 0;



X| y X b = 0;

X| y X| X b = 0

es decir
X| X b =X| y

(1.1)

El c
alculo MCO de lo parametros es la solucion b a dichas ecuaciones

e es mnima para e = b .
Proposici
on 1.1. La suma de residuos al cuadrado SRC()
Demostraci
on. Sea e una estimaci
on de , entonces
e | (y X )
e =(y X b + X b X )
e | (y X b + X b X );
e
sumando y restando X b
ee| ee = (y X )

| 

e
e ;
= eb + X(b )
eb + X(b )
sustituyendo y X b por eb
e | X| X(b );
e
=b
e| eb + (b )

ya que X| eb = 0.

e | X| X(b )
e es una suma de cuadrados (y por tanto semi-definido
Y puesto que el segundo termino (b )
positivo), se deduce que
e = ee| ee eb| eb = SRC().
b
SRC(cualquier )

La demostraci
on anterior es, para mi gusto, mas elegante que la que aparece en la mayora de los manuales
(b
usqueda del mnimo de la suma residual igualando a cero las primeras derivadas). No obstante, en la
Secci
on 1 del apendice se muestra la derivacion tradicional de las ecuaciones normales.

Para que la soluci

on al sistema de ecuaciones normales (1.1) sea u
nica es necesario que se cumpla una
condici
on en la matriz de regresores:

Condici
on para que las ecuaciones normales tengan soluci
on u
nica

Las ecuaciones normales

X| X b =X| y
tienen soluci
on u
nica si y s
olo si X| X es de rango completo.
Es decir, podemos obtener unos valores para b solo si

rango


X

=k

[N k]

En tal caso
b =(X| X)-1 X| y

(1.2)

Esta condici
on de independencia lineal de las columnas de X implica que X| X es de rango completo, es
decir, que existe la matriz (X| X)-1 .
Se dice que existe multicolinealidad perfecta cuando esta condicion no se satisface; es decir, cuando
hay dependencia lineal entre los regresores.
Esta condici
on garantiza la unicidad de las soluciones. Si no se cumple, no es posible encontrar unos
b
ametros del modelo lineal (ya que entonces hay infinitas soluciones posibles).
valores u
nicos, , para los par

Ejemplo 3. [ecuaci
on de salarios:] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = e1 +2 EDU Cn +3 AN T IGn +4 EXP ERn +Un ;
donde SALARn es el salario del individuo n-esimo, EDU Cn son sus a
nos de educacion, AN T IGn sus a
nos
de antig
uedad en la empresa, y EXP ERn sus a
nos de experiencia en el sector de la empresa y Un son
otros factores distintos de los anteriores (Wooldridge, 2006, ejemplo 3.2).
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn ) que es lineal en los parametros:
ln(SALARn ) = 1 + 2 EDU Cn + 3 AN T IGn + 4 EXP ERn + Un
En este ejemplo que pasa si tenemos una muestra en la que ning
un trabajador ha cambiado de
empresa? pues ocurre que las columnas de la matriz de regresores X correspondientes a a
nos de experiencia
|
y a
nos de antig
uedad son iguales; y por tanto linealmente dependientes; as que X X no es invertible.
Como en ese caso a
nos de experiencia y a
nos de antig
uedad coinciden; no es posible discriminar el
efecto por separado de ambas variables; s
olo podemos calcular su efecto conjunto:
ln(SALARn ) = 1 + 2 EDU Cn + (3 + 4 )EXP ERn + Un .

1.3. Algunas expresiones que ser

an empleadas frecuentemente
Las expresiones que aparecen a continuacion seran empleadas repetidamente durante el curso.
Denotamos a la media aritmetica de los elementos del vector y de orden N como:
P
y| 1
yn
y=
=
N
N
y al vector de valores medios como:


y
1


y

1
= y . = y 1.
y
.
.
.
.
.
y
1

Nota 1. Sean x e y vectores de orden N , entonces

X
X
(yn y)(xn x) =
yn (xn x)
n

para n = 1, . . . , N ;

o lo que es lo mismo
|

(y y) (x x) = y| (x x).

Demostraci
on.
X
X
X
(yn y)(xn x) =
yn (xn x) y
(xn x)
n

yn (xn x) y 0

y puesto que

(xn x) = 0

yn (xn x)

para n = 1, . . . , N.

La misma demostraci
on pero ahora con notacion vectorial es:
|

(y y) (x x) =y| (x x) y| (x x);

aplicando la propiedad distributiva.

Veamos que el segundo termino de la derecha, y| (x x), es igual a cero:

y| (x x) =y 1 | (x x)


=y 1| x 1| x


=y N x N x = 0

puesto que y 1 | = y |
aplicando la propiedad distributiva
puesto que x =

x| 1
.
N

Nota 2. Sean x e y vectores de orden N , entonces

X
X
|
(y y) (x x) =
(yn y)(xn x) =
yn xn N y x = y| x N y x.
n

Ejercicio 4. Compruebe la igualdad de la nota anterior.

Denotamos la covarianza muestral entre las columnas de datos X e Y como
P
|
|
(y y) (x x)
(y y) (x x)
(xn x)(yn y)
.
sxy = n
=
=
N
N
1| 1
Por tanto,
|

N sxy = (y y) (x x) =

(xn x)(yn y) = y| x N y x;

(1.3)

por tanto, la expresi

on de m
as arriba es el analogo muestral de Cov(X, Y ) = E([X E(X)][Y E(Y )]) =
E(XY ) E(X) E(Y ) .
Nota 3. Sea z un vector de orden N , entonces
X
X
|
(z z) (z z) =
(zn z)2 =
zn2 N z 2 = z| z N z 2
n

Demostraci
on. Basta con sustituir x e y por z en las notas 1 y 2 para comprobar que:
|

(z z) (z z) = z| (z z) = z| z N z 2 .

As pues,
z| z
z2;
(1.4)
N
N
donde s2z es la varianza muestral de los elementos de z; por tanto, la expresion anterior es el analogo




2
muestral de Var(Z) = E [Z E(Z)]2 = E Z2 [E(Z)] .
s2z

n (zn

z)2

1.4. Algunos casos particulares

Modelo con solo una constante

10

Modelo 1: una constante como u

nico regresor

Veamos en que consiste el ajuste MCO cuando X = 1 :

b = (X| X)-1 X| y
se reduce a
c1 = (1 | 1 )-1 1 | y,

y calculando los productos escalares,

1| 1 = N ;

1| y =

yn ;

tenemos que
P

yn
= y;
N

c1 =

yb = X b = y 1 y.

(1.5)

N
otese como la estimaci
on MCO consiste en calcular la media aritmetica de los datos y.
En este caso los residuos del modelo son las desviaciones de los datos respecto a su media, ya que
eb = y yb = y y 1 y y.

(1.6)

Modelo 2: Modelo Lineal Simple

11

Modelo Lineal Simple

Un regresor adicional a la constante:

y1

y2

y =
.. ;
.
yN

1
X=
..
.
1

x1

x2
..
;
.
xN

!
b
a
bb .

b =

Las ecuaciones normales son

X| X b = X| y
es decir
1
x1

1
!
1
... 1
.

. . . xN ..
1

1
x2

x1
!

x2 b
a
..
b =
. b
xN

1
x1

1
x2

...
...

y1
!
y2
1
.

xN ..

yN

Por una parte

"
X| X
[22]

1
x2 |

x2
|

1| 1

x2| 1

10

1| x2
x2| x2

xn

P
P

xn
x2n

y por otra
"
X| y
[21]

1
x2 |

|

y
|

1| y

|
x2 y

yn

.
xn yn

Por tanto, el sistema de equaciones normales en el caso del modelo lineal simple es

P " # P
yn
N
xn
a
b

b =

P
P
P 2
b
xn yn
xn
xn

Ejercicio 5. Sesuelva el sistema de ecuaciones normales X| X b = X| y para el caso del modelo lineal
simple:
|

1 y
1| 1
1| x2 " #
a

b =
.
b
x2| 1 x2| x2
x2| y

Modelo 2: Modelo Lineal Simple

P
+ bb
xn
P 2
b
+ b
xn

b
aN
P
b
a
xn

12

P
yn
;
P
xn yn

=
=

(1.7)

dividiendo por N la primera igualdad, despejando b

a y sustituyendo en la segunda, y empleando (1.3) y
(1.4)
y
b
a + bb x =
(1.8)
bb s2
=
s
xy
x
es decir
bb= sx2y
s

(1.9)

b
a =y- bb x

(1.10)

Relaci
on entre el estimador de la pendiente y el coeficiente de correlaci
on lineal

As pues, el modelo lineal simple

s
bb = xy
=
s2x

sxy
s2x

sy
sy

sxy
sx sy

sy
sx

rxy

sy
sx

13

es decir
bb = rxy

sy
sx

Ejercicio 6. C
omo afectara al problema de estimacion que la variable x fuera un vector de constantes
c?

Ejemplo 7. [precio de las viviendas:]

11

ZC
odigo: EjPvivienda.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl

n
1
2
3
4
5
6
7
8
9
10
11
12
13
14

Precio
199.9
228.0
235.0
285.0
239.0
293.0
285.0
365.0
295.0
290.0
385.0
505.0
425.0
415.0

Superficie
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000

Cuadro 2: Superficie (pies al cuadrado) y precio de venta de los pisos (miles de d

olares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios:

" #
h
i
1
c
c
b = 1 1 + 2 x =
y
= X.
1 x
2

Calculando
X

xn = 26 753

x2n = 55 462 515

yn = 4 444.9

xn yn = 9 095 985.5

y sustituyendo en el sistema de ecuaciones lineales 1.7 en la pagina anterior:

bb 26 753
b
a 14
+
b
b
a 26 753 + b 55 462 515

=
4 444.9
= 9 095 985.5

cuya soluci
on es la estimaci
on por mnimos cuadrados de a y b:
b
a = 52.3509

bb = 0.13875.

O bien:
a partir de (1.9) y (1.10) en la p
agina anterior tenemos:

bb =

sxy
s2x

b
a = y xbb = 52.3509

= 0.13875;

Es decir
[ = 52.35 + 0.139 sqft
price
Por ejemplo, con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados, ser
a de
yb7 = 52.35 + 0.139 1800 = 302.1 miles de dolares.
sin embargo y7 = 285. Esta discrepancia (el error eb7 puede deberse a que dicho piso esta en una mala
situaci
on, dispone de pocos servicios, etc.)

12

Precio

Superficie

1
2
3
4
5
6
7
8
9
10
11
12
13
14

199.9
228.0
235.0
285.0
239.0
293.0
285.0
365.0
295.0
290.0
385.0
505.0
425.0
415.0

1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000

Precio ajustado
por el modelo lineal
200.1200
226.3438
232.7263
271.1602
274.3514
295.1640
302.1015
311.8140
320.8328
322.6365
365.0941
413.1017
440.8518
468.6019

Error
eb
-0.22000
1.65619
2.27368
13.83984
-35.35142
-2.16397
-17.10148
53.18600
-25.83278
-32.63653
19.90587
91.89826
-15.85180
-53.60187

Cuadro 3: Superficie (en pies al cuadrado), precio de venta (en miles de d

olares), precio estimado, y errores estimados.

ZC
odigo: EjPvivienda.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl
# leemos el archivo de datos data3-1
open data3-1
# vamos a pintar el digrama de dispersion con GNUPLOT
gnuplot price sqft --suppress-fitted --output="display"
# Vamos a estimar el modelo;
ols price const sqft
# Los vamos a copiar en la variable phat1
genr phat = $yhat
# vamos a copiar los residuos en la variable ehat
genr ehat = $uhat
# Vamos escribir las columnas de precios precios, superficies, precios estimados y errores
print -o price sqft phat ehat
# Otra forma de obtener los valores ajustados es restar los errores de los precios
genr phat2 = price - ehat
# Y otra forma mas... con mayores errores de redondeo...
genr phat3 = 52.351+(0.139*sqft)
# Vamos a ver como coinciden estas formas de calcular
print -o phat phat2 phat3
# vamos a pintar la recta de regresion estimada
gnuplot price sqft --output="display"

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .!

Modelo con tres regresores: el plano de regresion

En el apendice puede encontrar esta parte desarrollada con mas profundidad. Aqu solo vamos a ver
con un ejemplo simulado que el ajuste lineal es un plano de regresion que corta una nube puntos.
Modelo simulado Pn = 100 + 3Sn 130Dn + Un
C
odigo: EjPviviendaSimulado.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl

13

ZC
odigo: EjPviviendaSimulado.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl
El c
odigo SimuladorEjPvivienda permite generar mas ejemplos, pudiendo jugar con los parametros de
la simulaci
on.
ZC
odigo: SimuladorEjPvivienda.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl
nulldata 500

# nulldata fija el tamano de la muestra

# genr define una nueva variable y normal genera datos con distrib. Normal
genr S = normal(70,10)

# generamos los datos de la superficie

genr D = normal(0.7,0.2)

# generamos distancia

genr U = normal(0,250)

# perturbaciones

genr P = 100 +3*S -130*D +U # precios como funcion lineal de los regresores
summary P S D
corr

# resumen de estadisticos de las variables

# matriz de correlaciones

P S D

Modelo1

<- ols S 0 D

# regresion de la superficie sobre la distancia

Modelo2

<- ols P 0 S

# modelo incompleto (sin distancia)

Modelo3

<- ols P 0 D

# modelo incompleto (sin superficie)

ModeloCompleto <- ols P 0 S D

# estimamos los paramentros del modelo correcto

genr S0 = S - mean(S)

# S en desviciones respecto de su media

genr D0 = D - mean(D)

# D en desviciones respecto de su media

ModeloEnDesviaciones <- ols P const S0 D0

# modelo con nuevos regresores

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .!

2. Propiedades algebraicas de la estimaci

on MCO
2.1. Propiedades b
asicas
Captulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)

14

14

Mnimos cuadrados ordinarios: Vectores ortogonales

La estimaci
on MCO de

T7

implica que
eb X

Y como yb = X b
yb| eb

X| eb =0 .

|
b X| eb

|
b 0 = 0.

Por tanto
X| eb =0

yb| eb =0

Recuerdese que dos vectores de n

umeros a y b son ortogonales si a| b =

(2.1)

ai bi = 0.

Por construccion el termino de error MCO, eb , es ortogonal a todos y cada uno de los regresores.
Del mismo modo que hemos definido eb como eb = y Xb , definimos los valores ajustados yb como
yb = X b ;
|

entonces yb | = b X| , y por tanto

yb| eb = b X| eb = b 0 = 0;
es decir, los errores tambien son ortogonales a los valores ajustados (no poda ser de otra forma, ya que
los valores ajustados son una combinaci
on lineal de los regresores, que son ortogonales a eb .)

Pr
actica 8. Con alg
un programa econometrico estime un modelo del tipo
Y n = 1 + 2 Xn2 + 3 Xn3 + Un .
Obtenga los residuos eb y los valores ajustados yb . Compruebe que
x1| eb =0
x2| eb =0
yb| eb =0
Calcule los valores medios de eb , yb e y. Explique los resultados.
Soluci
on: Por ejemplo, podemos usar el conjunto de datos de consumo percatica de textiles, de Henri
Theil, Principios de Econometra, Nueva York: Wiley, 1971, p. 102.
El conjunto de datos consta de 17 observaciones anuales de series de tiempo, para 1923 a 1939, en el
consumo de textiles en los Pases Bajos. Todas las variables son expresadas como ndices con base 100 en
1925.
ZC
odigo: TextilTheil.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl
open theil
Modelo <- ols consume const income relprice
residuos=$uhat
summary residuos
corr residuos income relprice

...............................!

15

Mnimos cuadrados ordinarios: T de Pit

agoras

y| y = yb| yb + eb| eb

15

(T Pitagoras T7 )

(2.2)

Ya que
|

y| y =(b
y + eb) (b
y + eb)

puesto que eb = y yb

=b
y| yb + 2b
y| eb + eb| eb

desarrollando el producto

=b
y| yb + eb| eb

ya que de (2.1) yb| eb = 0

Sumas de cuadrados

SRC

N
X

16

2
b| eb
ec
n =e

6= N s2eb (por regla general)

n=1

ST C

N
X

(yn y)2 = y| y N y 2

= N s2y

n=1

SEC

N
X

(c
yn y)2 = yb| yb + N y 2 2N yb
y

6= N s2yb (por regla general)

n=1

Por tanto, ST C = N s2y donde s2y es la varianza muestral de y; por el contrario, las sumas SRC y SEC
no son necesariamente N veces las varianzas de eb y yb (aunque veremos que as ocurre si el modelo tiene
termino cte.).

Ejercicio 9. Verifique las igualdades de la transparencia anterior.

Caso especial (Modelos con termino constante). Cuando hay termino constante en el modelo (el primer
regresor es un vector de unos tal y como hemos presentado el modelo aqu) se verifica que
1| eb = 0;

N
X

ec
n =0

eb =0 .

(2.3)

n=1

Y puesto que para cada n, se verifica que yn = yc

c
n +e
n , entonces sumando para n = 1, . . . , N
N
X
n=1

yn =

N
X

yc
n +0

1| y = 1| yb

o bien

y =b
y

(2.4)

n=1

Adem
as, de (2.2 Tma. Pit
agoras)
X

yn2 =

2
yc
n +

eb2 ;

(2.5)
2

restando a derecha e izquierda N y 2 (que en este caso especial es igual a N yb ),

X
X 2
X
2
2
yc
b +
eb ;
yn2 N y 2 =
n Ny
y empleando el resultado de la Nota 3 en la p
agina9
N
X

(yn y)2 =

n=1

N
X

(c
yn yb)2 +

n=1

N
X

2
ec
n

o bien

n=1

16

(y y) (y y) = (b
y yb ) (b
y yb ) + eb| eb .

Dividiendo por N tenemos

s2y = s2yb + s2eb

(2.6)

ya que eb = 0; y donde s2z es la varianza muestral de z.

Ejercicio 10. Demuestre que yb| yb = yb| y; es decir,

2
yc
n =

yc
n yn .

Pista.
yb = y eb
yb| eb = 0

Caso especial (Modelos con termino constante). La suma explicada de cuadrados, SEC, se puede expresar como:
SEC =b
y| yb + N y 2 2N yb
y
=b
y| yb N y 2

ya que y = yb por haber termino cte.

=N s2yb

por la Nota 3

otras expresiones son:

=b| X| X b N y 2

sustituyendo yb por X b

=b
y| y N yby

por Ejercicio 10 y por y = yb

=N syb y

por la Nota 1

Adem
as, en este caso en particular, la suma total de cuadrados, ST C, se puede descomponer en la
suma:
ST C = SEC + SRC
ya que
y| y =b
y| yb + eb| eb
|

de (2.2) (T. Pit

agoras)
|

restando a ambos lados N y 2

y y N y =b
y yb N y + eb eb
ST C =b
y| yb N y 2 + SRC

por definici
on de ST C y SRC

ST C =SEC + SRC

por haber termino constante y = yb

Comentario. Esta relaci

on sugiere el nombre de suma explicada de cuadrados, ya que descomponemos
la variabilidad de la variable que queremos estudiar (y) en dos partes: SRC es la variabilidad de los
residuos (aquello que el modelo no explica) y SEC es la variabilidad de yb , que es la estimaci
on de la
esperanza condicionada a los datos (aquello que explica el modelo).
En esta discusi
on se debe tener presente que el termino explicaci
on es enga
noso. En el ejemplo del
precio de las viviendas y su superficie, es sensato suponer que los precios dependen de las caractersticas
de las viviendas, y en particular, que parte de las variaciones de los precios se deben a la variaci
on en la
superficie de las viviendas; por ello, el nombre de suma explicada de cuadrados toma todo su sentido.
Ahora bien, suponga que estima el modelo:
Sn = 1 + 2 Pn + Un .
En este modelo, la superficie es funci
on del precio de la vivienda, y por ser un modelo lineal con termino
constante, la relaci
on algebraica ST C = SEC + SRC se cumple. Pero no tiene sentido suponer que
las caractersticas de la vivienda se deben al precio; de lo contrario podramos suponer que si el piso
17

experimenta un alza en su precio, entonces, en consecuencia su superficie aumentar

a. Esto es absurdo, y
podemos concluir que la relaci
on ST C = SEC + SRC es puramente algebraica, y que su interpretaci
on
s
olo es posible cuando el modelo estimado tiene sentido desde el punto de vista de la Teora Econ
omica.
La u
nica interpretaci
on posible a las estimaciones es de car
acter puramente estadstico (y no de Teora
Econ
omica): si un piso tiene un precio muy elevado, cabe esperar que el piso sea grande.

Sumas de cuadrados: Caso de modelos con cte.

y =b
y + eb

17

(siempre)

seb yb =0

(siempre)

s2y =s2yb + s2eb 2 seb yb = s2yb + s2eb

(siempre)

Si adem
as el modelo incluye un vector de constantes, entonces
eb| 1 = 0

SRC

N
X

eb = 0;

2
b| eb N eb
ec
n =e

= N s2eb

(yn y)2 = y| y N y 2

= N s2y

n=1

ST C

N
X

(siempre)

n=1

Entonces

SEC = N s2yb

ST C = SEC + SRC .

Puede encontrar m
as propiedades algebr
aicas en una seccion del apendice.

2.2. Medidas de ajuste

Las medidas de ajuste sirven para
Cuantificar la reducci
on de incertidumbre que proporciona el modelo estimado.
Comparar la bondad de modelos alternativos para la misma muestra

Coeficiente de determinacion o R2
Es una medida de ajuste de uso frecuente. Cuando el modelo contiene un regresor constante, muestra el
poder explicativo de los regresores no constantes. Se define como
SRC
R2 1
;
ST C
y puesto que SRC y ST C son siempre mayores o iguales a cero, R2 1.

18

Medidas de ajuste: Coeficiente de determinaci

on R2

R2 1

SRC
;
ST C

R2 1

18

(no acotado inferiormente)

Cuando el modelo no tiene termino constante, la SRC puede ser mayor que ST C, por lo que R2 no
est
a acotado inferiormente.

Pr
actica 11. Ejecute el siguiente gui
on de Gretl donde, al estimar un modelo sin termino constante, se
calcula un coeficiente de determinaci
on negativo:

ZC
odigo: R2ModeloConySinConstante.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Gretl
# simulacion
nulldata 1000
genr u=normal()
genr x=5+2*normal()
genr y=120-x+u
# Estimacion sin cte
ModeloSin

<- ols y x

genr yhatSin = $yhat

figuraSin <- gnuplot yhatSin y

x --output="display"

genr Coef DetSin = 1 - $ess/var(y)/($T-1)

# Estimacion con cte
ModeloCon

<- ols y const x

genr yhatcon = $yhat

figuraCon <- gnuplot yhatcon y

x --output="display"

genr Coef DetCon = 1 - $ess/var(y)/($T-1)

....................................................................................................!
Una vez ejecutado el guion de Gretl, dentro de la ventana de vista de iconos, pinche en Escalares.
Ah ver
a los valores de los coeficientes de determinacion en ambos casos (como puede observar, Gretl altera
el c
omputo del coeficiente cuando no hay termino constante1 aunque incorrectamente lo sigue llamando
1 El programa Gretl (Gnu Regression, Econometrics and Time-series Library) realiza un c
alculo especial de R2 cuando
el modelo no tiene t
ermino cte. En este caso el R-cuadrado es calculado como el cuadrado de la correlaci
on entre los valores
observado y ajustado de la variable dependiente (V
ease Ramanathan, 2002, Secci
on 4.2).

19

R2 ).

Coeficiente de determinaci
on cuando hay t
ermino constante

SEC
;
ST C
y entonces,
R2 =

C
omo

SEC = N syb y

0 R2 1

19

(acotado)

2

2
2

2
syb y
SEC
SEC
N
q
= ryb y ,
R2 =
=
=
=
ST C
ST C SEC
N s2y N s2yb
N2
s2y s2yb


N syb y

donde ryb y es la correlaci

on lineal simple entre yb e y.

Caso especial (Modelos con termino constante). Si el modelo tiene termino constante, el coeficiente R2
mide el porcentaje de variaci
on de y explicado2 por los regresores no constantes del modelo; ya que
R2 = 1

SRC
ST C SRC
SEC
=
=
ST C
ST C
ST C

0 R2 1.

y por tanto

Recuerdese adem
as que cuando hay termino constante SEC = N syb y y entonces,

2
2


2
N
s
2
2
syb y
by
y
SEC
SEC
N
= ryb y ,
q
R2 =
=
=
=
ST C
ST C SEC
N s2y N s2yb
N2
s2y s2

(2.7)

b
y

donde ryb y =

syb y
syb sy

es el coeficiente de correlaci
on lineal simple entre yb e y.

Pr
actica 12. Calcule el coeficiente de determinacion R2 para el el ejemplo del precio de las viviendas,
empleando el coeficiente de correlaci
on entre los precios y los precios ajustados.
Pista. Calcule el coeficiente de correlaci
on lineal simple entre yb y y y elevelo al cuadrado.
Soluci
on: Soluci
on numerica en el recuadro del ejemplo del precio de las viviendas (pagina 22).

odigo: EjPviviendaR2.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl

ZC

open data3-1
ols price const sqft
genr phat

= $yhat

# leemos el archivo de datos data3-1

# estimacion MCO
# guardamos los precios ajustados

Coef detR2 = corr(price,phat)^2 # calculo del coeficiente de determinacion

...............................!

Ejercicio 13. Calcule el coeficiente de determinacion para un modelo en el que el u

nico regresor es el
vector de constantes (Modelo 1 T10 ).
Pista. piense cuanto vale SEC en este caso.
2 Recuerde

el comentario que aparece en la p

agina17.

20

Ejercicio 14. Verifique que, para el caso del Modelo Lineal Simple el coeficiente de determinacion R2 es
el cuadrado del coeficiente de correlaci
on simple entre el regresando y y el regresor x; es decir, que en este
caso R2 = ry2 x . (N
otese que este resultado es diferente de (2.7)).
El coeficiente de determinaci
on R2 tiene algunos problemas al medir la bondad del ajuste.
a
nadir nuevas variables al modelo (cualesquiera que sean) nunca hace crecer SRC pero esta suma si
pude disminuir (vease la p
agina 34)
Por tanto el R2 de un modelo al que se agregan nuevos regresores nunca puede ser menor que el del
modelo inicial.
2
Para evitar este efecto se emplea el coeficiente de determinacion corregido (o ajustado) R
2 de define como
El coeficiente de determinaci
on corregido R
2 1
R

SRC
N k
ST C
N 1

Pero si hay termino constante, entonces

2 1
R

SRC
N k
ST C
N 1

;= 1

s2eb
s2y

2 es uno menos la fracci

es decir, si hay constante en el modelo, coeficiente de determinacion corregido R
on
de la cuasivarianza de los errores con la cuasivarianza muestral del regresando. Por ello tambien es siempre
menor o igual a uno.
2 son:
Las caractersticas del coeficiente de determinacion corregido R
1. compara estimadores insesgados de la varianza residual y de la varianza de la variable dependiente
2. penaliza modelos con un elevado numero de parametros, al corregir por el n
umero de grados de
libertad N k.

Otras medidas de ajuste

R2 corregido

Otras medidas de ajuste

20

(mejor cuanto m
as elevado)
2 1
R

SRC
N k
ST C
N 1

=1

N 1
(1 R2 )
N k

Criterios de informaci
on de Akaike y de Schwartz
(mejor cuanto mas bajos)
 | 
eb eb
AIC =N ln(2) + N ln
+ N + 2(k + 1)
N
 | 
eb eb
SBC =N ln(2) + N ln
+ N + (k + 1) ln(N )
N

Otras medidas de la bondad del ajuste son los criterios de informacion de Akaike y de Schwartz (mejor
cuanto m
as bajos)
Akaike prima la capacidad predictiva del modelo (pero tiende a sobreparametrizar)
Schwartz prima la correcta especificaci
on

21

Estimaciones MCO utilizando las 14 observaciones 114

Variable dependiente: price

Variable
const
sqft

Coeficiente

Desv. tpica

52,3509
0,138750

Estadstico t

37,2855
0,0187329

Media de la var. dependiente

D.T. de la variable dependiente
Suma de cuadrados de los residuos
Desviaci
on tpica de los residuos (
)
R2
2 corregido
R
Grados de libertad
Criterio de informaci
on de Akaike
Criterio de informaci
on Bayesiano de Schwarz

1,4041
7,4068

valor p
0,1857
0,0000

317,493
88,4982
18273,6
39,0230
0,820522
0,805565
12
144,168
145,447

Salida del programa libre Gretl (Gnu Regression, Econometrics and Time-series Library): http://gretl.sourceforge.net/gretl_espanol.
html

ZC
odigo: EjPvivienda.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl

Los coeficientes de determinaci

on nos dan informacion sobre el grado de ajuste del modelo, pero ojo! nos
pueden conducir a enga
nos. No es recomendable darles demasiada importancia, hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo. . .

Ejemplo 15. [peso de ni

nos seg
un su edad:]

C
odigo: PesoEdad.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl
n
1
2
3
4
5
6
7
8

Peso Kg
39
40
42
49
51
54
56
58

Edad
7
7
8
10
10
11
12
14

Cuadro 4: Peso (en kilogramos) y edad (en a

nos)

22

(Modelo 1 Pn = 1 + 2 EDADn + Un )
Peso con respecto a Edad (observado y estimado)
65
60

Peso Kg

55
50
45
40
35

E( P | e) = a + b e + c e2 + d e3
estimada
observada
6

10

11
Edad

12

13

14

15

\
Peso
Kg = 19, 6910 + 2, 93003 Edad
(6,999)

T = 8 R = 0, 9405

(10,564)

F (1, 6) = 111, 6

= 1, 8161

(entre parentesis, los estadsticos t)

gr
afico
(Modelo 2 Pn = 1 + 2 EDADn + 3 EDAD2n + Un )
Peso con respecto a Edad (observado y estimado)
65
60

Peso Kg

55
50
45
40
35

E( P | e) = a + b e + c e2 + d e3
estimada
observada
6

10

11
Edad

12

13

14

15

\
Peso
Kg = 5, 11497 + 8, 06835 Edad 0, 252102 Edad2
(0,664)

(5,159)

2 = 0, 9776
T =8 R

(3,305)

F (2, 5) = 153, 57
= 1, 1148

(entre parentesis, los estadsticos t)

gr
afico
(Modelo 3 Pn = 1 + 2 EDADn + 3 EDAD2n + 4 EDAD3n + Un )
Peso con respecto a Edad (observado y estimado)
65
60

Peso Kg

55
50
45
40
35

E( P | e) = a + b e + c e2 + d e3
estimada
observada
6

10

11
Edad

12

13

14

15

\
Peso
Kg = 81, 7714 18, 5964 Edad + 2, 37778 Edad2 0, 0836541 Edad3
(1,904)

(1,419)

2 = 0, 9863
T =8 R

(1,845)

(2,043)

F (3, 4) = 168, 75
= 0, 87188

(entre parentesis, los estadsticos t)

gr
afico

23

21

Regresograma y recta de regressi

on

C
odigo: EstCondVentas.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl
La media es un estimador insesgado de la esperanza
en el regresograma: E( Y n | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador insesgado de la

esperanza condicional
E Y n | xn .

Ap
endices
1. Derivaci
on tradicional de las Ecuaciones Normales

Mnimos cuadrados ordinarios: Ecuaciones normales (Tradicional)

22

e = y| y 2e| X| y + e| X| X e
SRC()
b
Buscamos un vector que
minimice SRC
mnb

b
SRC()
= 0;
b

SRC(b )

2X| y + 2X| X b = 0

con lo que obtenemos las ecuaciones normales

X| X b = X| y

(1.1)

Estimaci
on MCO es la solucion a dichas ecuaciones

e =(y X )
e | (y X )
e
SRC()


|
e
= y | e X| (Y X )

e | = e X|
puesto que (X )

|
|
=y| y e X| y y | X e + e X| X e
|
=y| y 2y | X e + e X| X e

24

|
ya que el escalar e X| y es igual a su traspuesta y | X e (por ser escalar)

Renombremos algunos terminos. . . por una parte definimos a y | X y por otra C X| X, entonces
e = y| y 2a e + e| C .
e
SRC()
e respecto de e es
Puesto que y| y no depende de e la diferencial de SRC()
e
SRC()
= 2a + 2C e
e

por las propiedades de derivacion matricial

= 2X| y + 2X| X e

sustituyendo a y C;

que igualando a cero nos da

2X| y + 2X| X e = 0

X| X e = X| y

Las condiciones de segundo orden son:

e
SRC()
e e|

= 2X| X

que es una matriz definida positiva.

2. Otro caso particular: modelo con tres regresores

Ejercicio 16. Repita los pasos dados en la transparencia T11 y llegue hasta el sistema de ecuaciones
equivalente a ( 1.7 en la p
agina11) para los siguientes modelos:
(a) (Modelo sin termino constante) yb = b
a x1 + bbx2 + b
c x3
(b) (Modelo con termino constante)

yb = b
a 1 + bbx2 + b
c x3

Ejercicio 17. Obtenga la siguiente soluci

on del segundo sistema de ecuaciones del ejercicio anterior (para
el caso con constante).
b
a =y bb x2 b
c x3

(2.1)

bb =

sx2 y s2x3 sx3 y sx2 x3

2
s2x2 s2x3 sx2 x3

(2.2)

b
c=

sx3 y s2x2 sx2 y sx2 x3

2
s2x2 s2x3 sx2 x3

(2.3)

N
otese que si la covarianza muestral entre x2 y x3 es cero, la estimacion de bb del modelo con tres
a 1 + bbx2 + b
c x3 , coincide exactamente con la estimacion de bb en el modelo lineal simple,
regresores, yb = b
yb = b
a 1 + bbx2 , donde no aparece el trecer regresor x3 .
Ejercicio 18. Si la covarianza entre x2 y x3 es cero, con la estimacion de que modelo coincide la
estimaci
on de b
c?
Nota 4. Si los regresores de una regresi
on m
ultiple tienen correlacion muestral cero entre si (por tanto
son ortogonales), entonces las estimaciones de las pendientes de la regresion m
ultiple son las mismas que
las estimaciones de las pendientes de las regresiones simples.

25

Multicolinealidad perfecta:
Ejercicio 19. C
omo afectara al problema de estimacion que los regresores x2 y x3 tuvieran un coeficiente de correlaci
on muestral con valor absoluto igual a uno?
Relaci
on entre los modelos de tres regresores y los de dos:
X3 y los siguientes modelos de regresi
on simple
Regresi
on 1: XH2 = ax2 x3 + bx2 x3 XH3 + U H :

Considere las variables Y , X2 y

Regresion de XH2 sobre XH3

Regresi
on 2: Y H = ayx2 + byx2 XH2 + U H :

Regresion de Y H sobre XH2

Regresi
on 3: Y H = ayx3 + byx3 XH3 + U H :

Regresion de Y H sobre XH3

(N
otese como los subndices de los coeficientes describen cada regresion)
Que relaci
on tienen las tres regresiones anteriores las estimaciones MCO del modelo de tres variables
Y H = a + bXH2 + cXH3 + U H :

Regresion de Y H sobre XH2 y XH3

descritas en las ecuaciones (2.2) y (2.2)? Veamoslo:

Si multiplicamos y dividimos las ecuaciones (2.2) y (2.2) de la pagina 25 por s2x2 s2x3 obtenemos las
siguientes expresiones en terminos de los coeficientes MCO de las tres regresiones anteriores:
d
d[
bb = byx2 byx3 bx2 x3
1 rx22 x3

(2.4)

d[
bd
yx3 byx2 bx2 x3
1 rx22 x3

(2.5)

b
c=

donde rx2 x3 es la correlaci

on muestral entre ambos regresores.
xH3

Y que pasara si dicha correlaci

on rx2 x3 es cero?. . . pues entonces la covarianza muestral entre xH2 y
tambien es cero. . . pero entonces en la primera regresion
XH2 = ax2 x3 + bx2 x3 XH3 + U H :

la pendiente estimada (vease 1.9 en la p

agina11) es tambien cero
sx2 x3
0
b[
= 2 = 0;
x2 x3 =
2
sx2
sx2
y resulta que
d
d[
d
d
bb = byx2 byx3 bx2 x3 = byx2 byx3 0 = bd
yx2 ,
1 rx22 x3
10

que es la pendiente de la regresion 2

d[
d
bd
bd
yx3 byx2 0
yx3 byx2 bx2 x3
=
= bd
yx3 ,
1 rx22 x3
10

que es la pendiente de la regresion 3

b
c=

As pues, si la correlaci
on muestral entre xH2 y xH3 es cero, podemos estimar independientemente los
par
ametros b y c del modelo de tres variables con las dos regresiones auxiliares 2 y 3.
Y que pasa con la estimaci
on del termino constante a? De 2.1 sabemos que b
a = y bb x2 b
c x3 ;
as que, a no ser que las medias de xH2 y xH3 sean cero, los coeficientes estimados para la constante de las
regresiones 2 y 3 ser
an distintos de la estimacion de a en la regresion con tres variables.

Ejemplo 20. Veamos el siguiente ejemplo simulado:

26

Modelo simulado Pn = 100 + 3Sn 130Dn + Un

Estadsticos principales, usando las observaciones 1 - 500

Variable

Media

Mediana

Mnimo

precio
superfic
distanci

218,374
69,8442
0,705542

218,547
69,6608
0,714829

47,3599
37,5752
0,164484

359,642
98,8857
1,35108

Variable

Desv. Tp.

C.V.

Asimetra

Exc. de curtosis

precio
superfic
distanci

47,0678
9,85856
0,202598

0,215537
0,141151
0,287152

0,0258830
0,130216
0,0538992

Maximo

0,272774
0,0233318
0,118554

Relaci
on lineal entre los regresores S y D:
Estimaci
on Modelo 1 Sn = 1 + 2 Dn + Un
b
S = 69, 0650 + 1, 10439 D
(1,6001)

T = 500 R = 0, 0015

(2,1800)

F (1, 498) = 0, 25665

= 9, 8659

(Desviaciones tpicas entre parentesis)

Si se fija en el coeficiente de determinancion de esta regresion entre las variables explicativas obvervar
a que, en este ejemplo, las variables S y D son cuasi-ortogonales.
Modelo simulado Pn = 100 + 3Sn 130Dn + Un
Estimaci
on Modelo 2 Pn = 1 + 2 Sn + Un
b = 8, 86429 + 2, 99968 S
P
(11,740)

2 = 0, 3935
T = 500 R

(0,16644)

F (1, 498) = 324, 81

= 36, 654

(Desviaciones tpicas entre parentesis)

27

Modelo simulado Pn = 100 + 3Sn 130Dn + Un

Estimaci
on Modelo 3 Pn = 1 + 2 Dn + Un
b = 310, 482 130, 549 D
P
(6,3208)

T = 500 R = 0, 3144

(8,6114)

F (1, 498) = 229, 82

= 38, 973

(Desviaciones tpicas entre parentesis)

Modelo simulado: Pn = 100 + 3Sn 130Dn + Un

Estimaci
on Modelo completo Pn = 1 + 2 Sn + 3 Dn + Un
b = 98, 9950 + 3, 06214 S 133, 931 D
P
(8,7033)

(0,11194)

2 = 0, 7258
T = 500 R

(5,4471)

F (2, 497) = 661, 51

= 24, 645

(Desviaciones tpicas entre parentesis)

Ejercicio 21. Coinciden los valores estimados para los parametros 2 y 3 en el modelo Pn = 1 +
2 Sn 3 Dn + Un con los valores obtenidos para las pendientes en los modelos restringidos anteriores?
Que podemos afirmar entonces sobre la covarianza muestral de los regresores distancia y superficie?

ZC
odigo: EjPviviendaSimulado.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Gretl

open datos/EjPviviendaSimulado.gdt
summary P S D
gnuplot D S

--suppress-fitted --output="display"

gnuplot P S

--suppress-fitted --output="display"

gnuplot P D

--suppress-fitted --output="display"

Modelo1

<- ols S 0 D

# regresion de la superficie sobre la distancia

Modelo2

<- ols P 0 S

# modelo incompleto (sin distancia)

Modelo3

<- ols P 0 D

# modelo incompleto (sin superficie)

ModeloCompleto <- ols P 0 S D

# estimamos los paramentros del modelo correcto

rho=corr(S,D)

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .!
El c
odigo SimuladorEjPvivienda permite generar mas ejemplos, pudiendo jugar con los parametros de
la simulaci
on.

C
odigo: SimuladorEjPvivienda.inp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gretl

28

3. M
as propiedades algebraicas de la regresi
on por mnimos cuadrados.

Proyectores ortogonales
Definici
on 1. Decimos que una matriz Q es simetrica si se verifica que Q| = Q.
Definici
on 2. Decimos que una matriz Q es idempotente si se verifica que QQ = Q.
Definici
on 3. Sea Q una matriz idempotente (QQ = Q). Si adem
as la matriz es simetrica (Q = Q| ),
entonces se dice que la matriz Q es un proyector ortogonal.

Revisi
on de la estimaci
on MCO con proyecciones Si se cumple el cuarto supuesto, entonces X| X
es de rango completo y existe la matriz (X| X)-1 . Solo entonces, es posible despejar b en las ecuaciones
normales (1.1) para obtener la expresi
on:
b = (X| X)-1 X| y.
Llamamos estimaci
on MCO de y a
b = X b
y
que es igual a
b = X b = X(X| X)-1 X| y.
y
Por otra parte,
b = y X b
eb =y y
=y X(X| X)-1 X| y
=(I X(X| X)-1 X| )y
Si llamamos P X(X| X)-1 X| y M I P, entonces
b = Py yX;
y

eb = My yX.

donde yX es la parte de y que se puede expresar como funcion lineal de las X; e yX es la parte de y
perpendicular (ortogonal) a las X.
As pues, las siguientes tres expresiones son equivalentes, y representan la misma descomposici
on
ortogonal del vector y:
y =b
y + eb
=Py + My
=yX + yX
(vease la Figura 1 en la p
agina siguiente).

Para poder realizar los siguientes ejercicios, vamos a recordar antes un par de resultados de Algebra
lineal:
Nota 5.


|
La inversa de una matriz simetrica es simetrica, as pues, (X| X)-1 = (X| X)-1 .
|

La traspuesta de un producto de matrices A y B es [AB] = B| A| . . .

29

As que . . .
|

Ejercicio 22. Cu
al ser
a la expresi
on de la traspuesta del producto de tres matrices (ABC) ?
Ahora ya podemos verificar las siguentes cuestiones:
Ejercicio 23.
(a) Verifique que P y M son proyectores ortogonales.
(b) Verifique que P X =X
(c) Verifique que M X =0
(d) Verifique que P + M = I.
(e) Demuestre que P| M = 0.

Revisitaci
on de las propiedades algebr
aicas, pero empleando proyectores ortogonales
mostraci
on de que los errores son perpendiculares a los regresores. . .

De-

X| eb = X| My = X| M| y = 0| y = 0.
b y eb son ortogonales. . .
Demostraci
on de que los vectores y
yb| eb = (Py)| My = y | P| My = y | 0y = 0.

eb = My = yX

yb = Py = yX

C (X)
Figura 1: La regresi
on MCO es la proyecci
on ortogonal del regresando y sobre el espacio vectorial C (X) generado por los
regresores (las columnas de X).

Y puesto que los vectores y, yb y eb forman un triangulo (vease la figura 1) que es rectangulo por ser yb
y eb perpendiculares entre si nos queda demostrar la u
ltima propiedad, referida a triangulos rectangulos
(Teorema de Pit
agoras):

| 

y| y = Py + My
Py + My
=y | P| Py + y | M| My

pues P| M = PM| = 0

=b
y| yb + eb| eb

As pues, la matriz P es una aplicaci

on lineal que proyecta el vector y sobre las X (sobre el espacio
vectorial C (X) expandido por las columnas los regresores de la matriz X); y la matriz M es una


aplicaci
on lineal que proyecta el vector y sobre el espacio N X| ortogonal a las columnas de X.
30

Por tanto, podemos concluir que:

b y eb , perpendiculares entre si.
La estimaci
on MCO separa el vector y en dos componentes, y
b es una combinaci
La primera componente y
on lineal de los regresores Py (la parte de y que se
puede describir mediante una combinaci
on lineal (suma ponderada) de las variables explicativas
yX). La segunda componente, eb , es la parte de y ortogonal a los regresores, yX = My .
y =b
y + eb
=Py + My
=yX + yX.

Regresion particionada
Wooldridge (p
aginas 85 y ejercicio 3.17 de la pagina 119 2006). Pero mejor en:
Johnston y Dinardo (p
aginas 88 a 95 y 116 a 118 2001)
Novales (paginas 85 a 86 1993)
Pe
na (paginas 390 a 392 2002)
En esta subsecci
on vamos a hacer uso intensivo de las ideas expuestas en la u
ltima seccion, esto es que
-1
on) de z sobre el conjunto de regresores
si Pw = W(W| W) W| , entonces Pw z es la regresion (proyecci
W; y si Mw = I Pw , entonces, Mw z son los residuos de dicha regresion. . . comencemos. . .
En ocasiones es necesario operar con sub-vectores de , uno de ellos con l parametros, y el otro con los
[k1]

m restantes (m = k l).

1

= ,
[k1]
2

donde

1
[l1]

2 ;
[m1]

(l + m = k);

consecuentemente, tambien necesitaremos particionar la matriz de regresores en dos submatrices una con
las l columnas correspondientes a 1 y la otra con las m columnas restantes:
X =
[N k]


.
X1 .. X2 .
[N l] [N m]

Con estas particiones de y X vamos a reescribir el modelo lineal como Y =X1 1 +X2 2 +U y tambien
las ecuaciones normales 1.1 que aparecen en la pagina 7:
|
|
c1

X1
X1

 .. 

X2 . X2 = y
|
|
c2
X2
X2

c1



..

c1 y
c2 ; (l + m = k).
donde X = X1 . X2 , y donde b = , con

[N k]
[N l] [N m]
[
l1
]
[
m1
]
c2

Operando en estas ecuaciones normales en su version particionada obtenemos el sistema

c1 + X1 | X2
c2 = X1 | y
X1 | X1
c1 + X2 | X2
c2 = X2 | y
X2 | X1

31

(3.1)

Si pre-multiplicamos la primera de las ecuaciones del sistema por X2 | X1 (X1 | X1 )-1 y la restamos de
la segunda, tenemos


c2 = X2 | y X2 | X1 (X1 | X1 )-1 X1 | y
X2 | X2 X2 | X1 (X1 | X1 )-1 X1 | X2
(3.2)
Vamos ha definir los proyectores
P1 = X1 (X1 | X1 )-1 X1 |

M1 = I P1

La matriz P1 es una aplicaci

on lineal que proyecta cualquier vector z sobre el espacio generado
por los regresores X1 , mientras que M1 proyecta a z sobre el espacio ortogonal al primero. Por tanto
on MCO del vector z sobre los regresores X1 y M1 z son los residuos (los errores) de
P1 z realiza la regresi
dicha regresi
on.
Sustituyendo P1 y M1 en (3.2) tenemos
c2 = (X2 | M1 X2 )1 X2 | M1 y;

(3.3)

y sustituyendo esta expresi

on en las ecuaciones normales tenemos (3.1)
c1 = (X1 | X1 )-1 X1 | (y X2
c2 )

(3.4)

Puesto que M1 es un proyector ortogonal, sabemos que M|1 = M1 , y que M|1 M1 = M1 . Entonces,
podemos reescribir (3.3) como
c2 = (X2 | M| M1 X2 )1 X2 | M| M1 y.

1
1
En esta expresi
on, M1 y son los residuos obtenidos al realizar la regresion de y sobre el subconjunto
de regresores X1 (la parte de y ortogonal a X1 ). Y M1 X2 es una matriz cuyas columnas son los residuos
obtenidos realizando la regresi
on de cada una de las columnas de X2 sobre X1 (la parte de X2 ortogonal
a X1 ).
N
otese que si llamamos yX1 = M1 y a los residuos de la primera regresion, y X2X1 = M1 X2 a la matriz
de residuos de las regresiones de las columnas de X2 , entonces (3.3) se puede escribir como
c2 = (X2 X | X2 X )-1 X2 X | y X

1
1
1
1
c2 mediante regresiones auxiliares:
Este resultado nos indica que podemos estimar
Paso 1: Realizamos la regresi
on de y sobre el primer conjunto de regresores X1 y obtenemos el vector de
residuos yX1
Paso 2: Realizamos las regresiones de cada una de las columnas de X2 sobre las variables X1 , almacenando
los residuos de cada regresi
on en las columnas de X2X1 .
c2 = (X2 X | X2 X )-1 X2 X | y X
c2 se obtiene de la regresion de y X sobre X2 X , es decir,
Paso 3: por u
ltimo,
1
1
1
1
1
1
(que es precisamente lo que dice la ecuacion (3.3))
c1 se pueden recuperar de empleando la ecuacion (3.4)
Paso 4: las estimaciones de

 . 
Regresi
on ortogonal particionada. Suponga que ambos grupos de regresores, X1 .. X2 , son ortogonales entre si, es decir, supongamos que
X1 | X2 = 0,
y por tanto no hay correlaci
on entre los regresores del primer grupo y los del segundo (los regresores X1
est
an incorrelados con los regresores de X2 ).

32

En este caso, las ecuaciones 3.1 en la pagina31 se reducen a

c1 = X1 | y
X1 | X1
c2 = X2 | y
X2 | X2

c1 y
c2 se pueden estimar por separado. Los primeros proyectando y sobre X1 ,
y por tanto los vectores
y los regundos proyectando y sobre X2 . Esta es una generalizacion de la Nota 4 en la pagina25.

Regresion en desviaciones respecto a la media

Wooldridge (p
aginas 63, 64, 90 2006). Pero mejor:
Novales (paginas 86 a 91 1993)
Johnston y Dinardo (p
aginas 84 a 88 2001)
Gujarati (Secci
on 6.1 2003, hay versi
on castellana de este manual)
nico parametro), entonces la
N
otese que si 2 = 2 ; es decir, si el sub-vector se reduce a un escalar (un u
expresi
on (3.3) se reduce a
c2 = ( x2 | M1 x2 )1 x2 | M1 y =
c2 =

[1N ] [N N ] [N 1]

x2 | M1 y

(3.5)

x2 | M1 x2
[1N ] [N N ] [N 1]

Un caso particular de la regresi

on particionada es que en un modelo con constante, separemos como
primer grupo de regresores a la columna de unos por un lado, y el resto de regresores por el otro. Es decir
 . 
X = 1 .. X , donde X = 1. En este caso
2

P1 = X1 (X1 | X1 )-1 X1 |

1
N

|
1
1

1
| -1 |
= 1(1 1) 1 =
=
N
N

1
N

1
N

1
N

.
..
1

1
N

..
.

1
N

por lo que

1
N

1
P1 y =
N

1
N

1
N
1
N

.
..
1

1
N

y
y1

y
y
1 2

N . = . = y = y1.
.. .. ..
.
yN
y
1
N

Entonces

y1 y

y2 y
= y1
M1 y = (I P1 )y = y y =
.. y
.
yN y
es decir, y
= M1 y son las desviaciones de los elementos del vector columna y respecto de su media
muestral y (los residuos y1 de la primera regresion en el paso 1 de la pagina 32; donde X1 = 1).3 .
2 en la que aparecen las desviaciones
De manera similar, M1 X2 da como resultado una matriz X2X1 X
de los datos de cada una de las columnas de X2 respecto de sus respectivas medias (son los residuos de las
regresiones auxiliares del paso 2 de la p
agina 32).
3 V
ease

tambi
en la Ecuaci
on 1.6 en la p
agina10

33

c2 como
Ahora es inmediato estimar
c2 = (X
2|X
2 )-1 X
2|y

(3.6)

que es el paso 3; es decir, en un modelo con termino constante, la estimacion de todos los parametros, excepto el de la constante, se pueden obtener mediante la regresion de las variables del modelo en desviaciones
respecto a su media.
Por u
ltimo, realizando el paso 4, podemos estimar el parametro asociado al termino constante 1 :
c2 )
1| (y X2
c1 = (1| 1)-1 1| (y X2
c2 ) =
c2 x2
c3 x3
ck xk

=y
N

(3.7)

En definitiva, si en el modelo Y n = 1 + 2 X2n + + k Xkn deseamos estimar por MCO solo 2 ,

3 , . . . , k ; nos basta con restar la media muestral a cada una de las variables del modelo, y realizar
la regresi
on en un nuevo modelo sin termino constante y con las nuevas variables transformadas. Yn =
2n + + k X
kn .
2 X
Pr
actica 24. Verifique con un programa econometrico la afirmacion anterior.
N
otese adem
as, que la expresi
on (3.6) se puede reescribir como:

1 

1 |
1 |
c
X2 X2
X2 y
;
2 =
N
N
2 es la matriz de covarianzas muestrales de los regresores, y 1 X
2|X
| es el vector de covarianzas
donde N1 X
N 2 y
muestrales entre los regresores y el regresando (que es la contrapartida muestral de la Ecuacion ?? en la
p
agina??).

A
nadiendo regresores
Suponga que ha estimado por MCO el siguiente modelo
Y = X + U.
Posteriormente decide incluir como regresor adicional la variable Z; por lo que el modelo ampliado ser
a:
Y = X + cZ + U .
En este contexto, podemos aplicar los resultados de la regresion particionada para obtener el coeficiente, c, asociado al nuevo regresor Z aplicando primero la Ecuacion (3.3) de la pagina 32:
c = (z | Mz)1 z | My = (ZX| ZX )-1 ZX| yX;

(3.8)

donde yX son los residuos de la regresi

on MCO de y sobre X (la parte de y ortogonal a las X), y zX son
los residuos de la regresi
on MCO de z sobre X (la parte de z ortogonal a las X), es decir zX = Mz, e


yX=My; donde M = I X(X| X)-1 X| .

Pr
actica 25. Verifique con un programa econometrico la afirmacion anterior. Los pasos a seguir son
1. Calcule los residuos MCO con el modelo reducido.
2. Calcule los coeficientes estimados en el modelo ampliado. Fjese en el valor obtenido para el coeficiente
c asociado al nuevo regresor4 .
3. Calcule los residuos en la regresi
on de la nueva variable explicativa z sobre los antiguos regresores
X.
4 N
otese

que el resto de coeficientes puede diferir respecto de los obtenidos en la nueva regresi
on. Esto ser
a as siempre
que el nuevo regresor tenga correlaci
on con los del modelo inicial.

34

4. Calcule por MCO la regresi

on de los residuos del punto 3 sobre los residuos del punto 1; y compare
el valor estimado con el obtenido en el punto 2.

C
omo afecta el a
nadir m
as regresores a la suma de residuos? Cuando se a
naden regresores a
un modelo, la suma de residuos al cuadrado nunca crece; de hecho suele disminuir. Esto se cumple incluso
si la variable a
nadida no tiene ning
un sentido dentro del modelo (ninguna relacion teorica). Veamoslo:
Pensemos en el caso anteri
or, cuando a
nadimos un regresor adicional Z al modelo inicial.
Los residuos del modelo inicial son
eb = y X b ;
por otra parte, los residuos con el modelo ampliado son
c zb
c.
eb = y X
c ; y que si b
(n
otese que si X| z 6= 0 entonces b =
6
c 6= 0 entonces eb 6= eb .)
De (3.4) sabemos que
c = (X| X)-1 X| (y zb

c ) = b (X| X)-1 X| zb
c.
c en eb obtenemos
Sustituyendo
c zb
c
eb =y X b + X(X| X)-1 X| zb
=b
e Mzb
c
=b
e zXb
c

de (3.8)

As pues,


|
c 2 zX| zX 2b
c zX| eb
eb eb = eb| eb + b
Teniendo en cuenta que de (3.8) b
c = (ZX| ZX )-1 ZX| yX y que eb = My = yX tenemos






b
c 2 zX| zX = b
c zX| zX b
c=b
c zX| zX (ZX| ZX )-1 ZX| yX = b
c zX| yX = b
c zX| eb .
Por lo que finalmente


|
eb eb = eb| eb b
c 2 zX| zX ,
| {z } |{z} | {z }
SRC

SRC

(3.9)

puesto que el u
ltimo termino siempre ser
a mayor o igual a cero, la suma de residuos al cuadrado del modelo

ampliado SRC nunca ser

a mayor que la del modelo reducido SRC.

Correlaciones parciales
Suponga que tiene tres variables; por ejemplo, la renta r, la edad e y el n
umero de a
nos de estudio o
formaci
on f de una serie de individuos.
Rn = 1 + 2 Fn + 3 En + Un
Querramos saber el grado de relaci
on lineal entre dos de ellas, una vez descontado la relacion lineal que
la tercera tiene con ellas. En nuestro ejemplo nos podra interesar conocer el grado de relacion lineal de la
renta con la formaci
on, una vez descontado el efecto lineal que la edad tiene con ambas (notese que tanto
para formarse como para generar rentas es necesario el transcurso del tiempo, por lo que generalmente
hay una relaci
on directa entre la edad y las otras dos variables).
La soluci
on es tomar la parte de ambas variables, renta y educacion, ortogonal a la tercera,
laedad; y observar la correlaci
on de dichas partes (que ya no mantienen relacion lineal ninguna con la
variable edad).
El modo de hacerlo es sencillo una vez visto lo anterior, y constara de los siguientes pasos:

35

1. Se toman los residuos de la regresi

on de la variable renta r sobre la variable edad e y la constante
(modelo lineal simple); es decir, se obtiene rE.
2. Se toman los residuos de la regresi
on de la variable formacion f sobre la variable edad e y la constante
(modelo lineal simple); es decir, se obtiene fE.
3. Por u
ltimo se calcula el coeficiente de correlacion simple de ambos residuos rrEfE .
Dicho coeficiente es la correlaci
on parcial de la variable renta r con la variable formacion f , una vez
descontado el efecto de la edad e sobre ambas variables. Notese que ambos residuos tiene media cero
por ser residuos de un modelo con termino constante.
Suponga por tanto que dividimos la matriz de regresores X en dos columnas; por ejemplo la primera
variable no cte. x2 y el resto de k 1 regresores (incluyendo el termino cte.) W.


.
X = x2 .. W
as variables
entonces el coeficiente de correlaci
on parcial de y con x2 una vez descontado el efecto de las dem
(incluida la constante) W es
sy x2 W
y | MW x2

W
r(y ,x2 ) Z = q
=r
q
p

y | MW y x2 | MW x2
s2y
s2x2 ,
W

donde MW = I W(W| W)-1 W| .

Bibliografa
Gujarati, D. N. (2003). Basic Econometrics. McGraw-Hill, cuarta ed. ISBN 0-07-112342-3. International
edition. 33
Johnston, J. y Dinardo, J. (2001). Metodos de Econometra. Vicens Vives, Barcelona, Espa
na, primera
ed. ISBN 84-316-6116-x. 31, 33
Novales, A. (1993). Econometra. McGraw-Hill, segunda ed. 31, 33
Pe
na, D. (2002). Regresi
on y dise
no de experimentos. Alianza Editorial, Madrid. ISBN 84-206-8695-6. 31
Ramanathan, R. (2002). Introductory Econometrics with applications. South-Western, Mason, Ohio,
quinta ed. ISBN 0-03-034186-8. 3, 19
Wooldridge, J. M. (2006). Introducci
on a la econometra. Un enfoque moderno. Thomson Learning, Inc.,
segunda ed. 2, 8, 14, 31, 33

36

Soluciones a los Ejercicios

P
P
Ejercicio 4. Por la Nota 1 en la p
agina8 sabemos que n (xn x)(yn y) = n yn (xn x); por tanto,
operando
X
X
yn (xn x)
(xn x)(yn y) =
n

yn xn x

yn

yn xn N y x

O bien, usando notaci

on vectorial
|

(y y) (x x) =y| x y| x y| x + y| x
=y| x y| 1x y1| x + y1| 1x
=y| x N yx yN x + yN x
=y| x N yx
Ejercicio 4
Ejercicio 5. Por una parte, la primera ecuacion del sistema es
X
X
b
a N + bb
xn =
yn ;
dividiendo por N obtenemos directamente b
a + bb x = y; por lo que b
a = y bb x .
Por otra parte, dividiendo la segunda por N tenemos
P 2
P
xn
xn yn
b
a x + bb
=
N
N
o lo que es lo mismo, tenemos
x| y
x| x
=b
a x + bb
expresando los sumatorios como productos escalares
N
N


|
x x
sustituyendo b
a
= y bb x x + bb
N
|
x x
= x y bb x2 + bb
operando en el parentesis
N
 x| x

= x y + bb
x2
sacando bb factor com
un
N
es decir
 x| x

x| y
x y = bb
x2
N
N
2
bb = sx2y .
por lo que empleando (1.3) y (1.4) tenemos bb s = sxy o
x

sx

Ejercicio 5
Ejercicio 6. Entonces la condici
on de rango sobre la matrix de regresores X no se cumplira, pues x sera
un m
ultiplo del vector de unos ya que x = c1.
En tal situaci
on el sistema de ecuaciones normales (1.7) se reducira a:
P
bb P xn
b
aN
+
=
yn
P
P
cb
a N + c bb
xn = c yn
donde la segunda ecuaci
on es c veces la primera, por lo que realmente tenemos mas incognitas que ecuaciones linealmente independientes (situaci
on de multicolinealidad perfecta).

37

Adem
as, la varianza de un vector constante es cero, por lo que s2x = 0 y tambien sxy =
y| 1
c N

on
cy = 0; as que la expresi
bb =

sxy
s2x

y| x
N

yx =

0
0

es indeterminada.
Ejercicio 6
Ejercicio 9. La primera es cierta por definicion de SRC. La segundad tambien lo es por la Nota 3 en la
p
agina9. Veamos la tercera que es un poco mas complicada (aunque no mucho) :
N
X

y y) (b
y y)
(c
yn y)2 = (b

n=1

= yb| yb yb| y y| yb + y| y
= yb| yb 2b
y| y

ya que yb| y =

+ N y2 ;

|
b
yc
ny = y y

= yb| yb + N y 2 2N yb
y;
y| 1y = 2N yby.
ya que 2b
y| y = 2b
Ejercicio 9
Ejercicio 10.
yb| yb = yb| (y eb) = yb| y yb| eb = yb| y 0 = yb| y
Ejercicio 10
P
2
Ejercicio 13. Por una parte, SEC =
(c
yn y) ; pero en este modelo los valores ajustados son constantes
iguales a la media muestral de y, es decir yc
n = y. Por tanto SEC = 0.
Por otra parte, este modelo tiene termino cte. y, entonces, R2 =

SEC
ST C

= 0.

Es decir, un modelo que consiste u

nicamente en un constante, no tiene ninguna capacidad de explicar las variaciones de la variable dependiente.
Otra forma de verlo es la siguiente. En este modelo sabemos que yc
que
n = y. As
X
2
SEC =
(c
yn y) = yb| yb + N y 2 2N yb
y
por T16
2

= yb| yb N yb

pues en este caso yb = y

=y 1| yb N yb
2

b es un vector de constantes y
pues y

=N yb N yb = 0

pues en este caso yb = y

Ejercicio 13

Ejercicio 14. En este caso

bb =

sxy
s2x

b
a = y xbb,

por tanto
yc
a + bbxn = y + bb(xn x);
n =b

b
yc
n y = b(xn x).

Entonces
SEC =

(c
yn y)2 = bb 2

(xn x)2

y consiguientemente (por tener un termino constante el Modelo Lineal General)

2

2
bb 2 P (xn x)2
N s2x
sxy
sxy
SEC
2
R =
= P
=
= 2 2 = ry2 x

2
2
2
ST C
(yn y)2
N
s
sx sy
y
sx
Ejercicio 14

38

Ejercicio 16(a)

x1| x1

x2| x1

x3| x1

x1| x2
x2| x2
x3| x2

x1| x3

|
b
x y
a
1
|

b
x2 x3 b = x2| y

c
x3| y
b
x3| x3

o bien
P
b
a x1 2n
P
b
a x2n x1n
P
b
a x3n x1n

P
+ bb x1n x2n
bb P x2 2
+
n
P
+ bb x3n x2n

P
+ b
c x1n x2n
P
+ b
c x2n x3n
P
+
b
c x3 2n

=
=
=

P
x1n yn
P
x2n yn
P
x3n yn


Ejercicio 16(b)

1| 1

x2| 1

x3| 1

1| x2
x2| x2
x3| x2

1| x3

|
b
1 y
a

b
=
x2 x3 b x2| y

c
x3| y
b
x3| x3

o bien
b
aN
P
b
a x2n
P
b
a x3n

bb P x2n
+
bb P x2 2
+
n
P
+ bb x3n x2n

P
+
b
c x2n
P
+ b
c x2n x3n
P
+
b
c x3 2n

=
=
=

P
yn
P
x2n yn
P
x3n yn


Ejercicio 17. Dividiendo la primera ecuacion del sistema anterior por N obtenemos
y=b
a + bb x2 + b
c x3
esta ecuaci
on indica que el plano de regresion pasa por el punto de los valores medios de las variables del
sistema.
Despejando b
a tenemos
c x3
b
a = y bb x2 b
que se puede sustituir en las otras dos ecuaciones del sistema:
X

X
X
X
c x3
x2n + bb
x2 2n + b
c
x2n x3n
x2n yn = y bbx2 b

X
X
X
X
x3n yn = y bbx2 b
c x3
x3n + bb
x3n x2n + b
c
x3 2n ;
operando
X
X
puesto que

x2n yn =y

x3n yn =y

x2n bbx2

x3n bbx2

x2n b
c x3

x3n b
c x3

x2n + bb

x3n + bb

x2 2n + b
c

x2n x3n
X
x3n x2n + b
c
x3 2n ;

P
x2n = N x2 y
x3n = N x3 , sustituyendo
X
X
X
x2n yn =N y x2 N bb x2 x2 N b
c x3 x2 + bb
x2 2n + b
c
x2n x3n
X
X
X
x3n yn =N y x3 N bb x2 x3 N b
c x3 x3 + bb
x3n x2n + b
c
x3 2n ;

sustituyendo los sumatorios que restan por productos escalares:

x2| y =N y x2 N bb x2 x2 N b
c x3 x2 + bb x2| x2 + b
c x2| x3
x3| y =N y x3 N bb x2 x3 N b
c x3 x3 + bb x3| x2 + b
c x3| x3 ;
reordenando terminos:




x2| y N y x2 =bb x2| x2 N x2 2 + b
c x2| x3 N x3 x2




x3| y N y x3 =bb x3| x2 N x2 x3 + b
c x3| x3 N x3 2 ;
39

y teniendo en cuenta las notas 1 a 3 en la pagina9

N sx2 y =bb N s2x2 + b
c N sx2 x3
N sx3 y =bb N sx2 x3 + b
c N s2x3 ;
o bien;
X

yn (x2n x2 ) =bb

x2n (x2n x2 ) + b
c

yn (x3n x3 ) =bb

x3n (x2n x2 )

x3n (x2n x2 ) + b
c

x3n (x3n x3 );

por tanto, resolviendo el sistema, obtenemos los dos u

ltimos resultados
bb =

sx2 y s2x3 sx3 y sx2 x3

2
s2x2 s2x3 sx2 x3

b
c=

sx3 y s2x2 sx2 y sx2 x3

2
s2x2 s2x3 sx2 x3
Ejercicio 17

Ejercicio 18. Con la estimaci

on de la pendiente en el modelo yb = b
a 1 + bbx3 ,
Ejercicio 18
Ejercicio 19. Un coeficiente de correlaci
on muestral con valor absoluto igual a uno significa que hay una
dependencia lineal entre los regresores, por lo que la condicion sobre el rango de la matrix X| X deja de
cumplirse; y por tanto el sistema de ecuaciones normales tiene infinitas soluciones.
En tal caso las expresiones (2.1), (2.2) y (2.3) dejan de estar definidas ya que, en este caso


  sx x 

2 3
 

 = 1,
rx2 x3  =  q

 s2x2 s2x3 

 q


2

 

lo que implica que sx2 x3  =  s2x2 s2x3  y por tanto s2x2 s2x3 = sx2 x3 ; y los denominadores de de las
expresiones (2.2) y (2.3) son cero.
Ejercicio 19
Ejercicio 21. Los valores estimados en los modelos restringidos y sin restringir difieren. Por lo tanto,
podemos afirmar que la covarianza muestral entre los regresores Sn y Dn en esta simulacion es distinta de
cero; pero, puesto que los valores estimados para las pendientes cambian muy poco, la correlacion entre
ambos regresores es bajsima (son cuasi-ortogonales).
Ejercicio 21
Ejercicio 22.
|

(ABC) = ((AB)C) = C| (AB) = C| B| A| .

Ejercicio 22
Ejercicio 23(a)

|

|
1. P| = X(X| X)-1 X| = (X| )| (X| X)-1 (X)| = X(X| X)-1 X| = P

Por la Nota 5 en la pagina29

2. PP = X(X| X)-1 X| X(X| X)-1 X| = X(X| X)-1 IX| = X(X| X)-1 X| = P

h
i|
3. M| = I P = I| P| = I P = M
h
ih
i
4. MM = I P I P = I P P + PP = I P P + P = I P = M
40


Ejercicio 23(b) PX = X(X| X)-1 X| X = XI = X

Ejercicio 23(c) MX =(I-P)X =X-PX =X-X =0

Ejercicio 23(d) P + M = P + I P = I

Ejercicio 23(e) Puesto que P| = P y que PP = P
P| M = P(I P) = P PP = P P = 0


41