Professional Documents
Culture Documents
Licenciado en Estadística
Doctor en Finanzas Públicas
Celular 2281048466
Análisis de Regresión
Contenido
1. El Modelo de regresión lineal simple (MRLS)
1. El Modelo de Regresión Lineal Simple (MRLS)
2. Estimadores de mínimos cuadrados
3. Propiedades de los Estimadores
4. Inferencia en el modelo de regresión lineal simple
1. Inferencia para los coeficientes de regresión
2. Inferencia para la función de regresión
3. Predicción
Análisis de Regresión
Contenido
2. Diagnóstico y Medidas Remédiales
1. Análisis gráfico de los residuos
2. Observaciones de influencia y outliers
3. Transformaciones
1. Transformaciones en la variable respuesta
2. Transformaciones en las variables explicatorias
3. Transformaciones a ambos lados
4. Transformación de Box-Cox
4. Colinealidad
1. Remedio de la Colinealidad
5. Proceso de modelación estadística
1. Selección de variables
Análisis de Regresión
Contenido
3. El Modelo de Regresión Lineal Múltiple
1. El Modelo de regresión lineal múltiple
2. Estimadores de mínimos cuadrados.
3. Propiedades de los estimadores.
4. Inferencia en el modelo de regresión lineal múltiple
Total de clases: 12
Criterios de Evaluación:
Asistencia
Participación
Ejercicios en clase
Exposición de trabajo final
Análisis de Regresión
Un modelo es la forma de representar un objeto o fenómeno específicos,
conceptualizados o entendidos de manera abstracta, ya que su ocurrencia
puede ser real o simulada. El objetivo de la modelación es explicar,
representar y simular comportamiento determinados de una o más
variables de estudios.
Cuando son dos variables continuas las que se encuentran bajo estudio, y trata de
estimarse su nivel de asociación, se pueden presentar diferentes situaciones:
1. En la medida en que una variable se incrementa la otra también lo hace.
2. A medida que una variable se incrementa la otra disminuye.
3. Los cambios en una variable son completamente ajenos a los cambios en la
otra variable.
Estos comportamientos de la asociación entre variables, suelen explicarse
matemáticamente en términos de correlación.
La correlación mide el grado de asociación entre dos variables en términos
lineales.
Análisis de Regresión
.
.
. .
.
.
.
.
.
.
. .
.
.
Tipos de Correlación
Correlación Negativa
Visualmente, el comportamiento de los datos representa una recta
decreciente, asociada a las dos variables bajo estudio.
. .
. .
. .
.
. .
.
.
.
.
. .
.
. .
Tipos de Correlación
Correlación Nula
Visualmente, el comportamiento de los datos no puede asociarse a una
recta por su gran dispersión.
. .
.
. .
. . .
.
.
. .
. .
. . . .
. . .
.
.
.
.
.
Grado de Correlación
Correlación Fuerte
Mientras más cercanos estén los puntos a la recta más fuerte será la
correlación.
.
.
. .
.
.
.
.
.
.
. .
.
.
Grado de Correlación
Correlación Débil
Mientras más separados estén los puntos a la recta más débil será la
correlación.
. .
.
. . .
. . .
.
.
.
Grado de Correlación
Correlación Nula
Se percibe una correlación nula cuando los puntos tienen una forma
redondeada.
. .
.
. .
. . .
.
.
. .
. .
. . . .
. . .
.
.
.
.
.
Análisis de Regresión
Práctica 1
Con base en la tabla de excel enviada identificar mediante un gráfico de
dispersión el tipo de correlación que existe entre las variables, creando la
variable de población en edad dependiente (población de 0 a 14 años
más la de 65 años y más).
1. Población total
2. Población femenina
3. Población masculina
4. Población de 0 a 14 años
5. Población de 15 a 64 años
6. Población de 65 años y más
7. Población en edad dependiente
Análisis de Regresión
Cuando se identifica una correlación positiva o negativa, también se observa
un nivel de inclinación de la recta, a la cual le llamamos pendiente, y se
expresa como el número de unidades en que cambia la variable
dependiente (Y) con respecto a cada unidad de cambio de la variable
independiente (X).
Por otro lado, al punto donde la recta atraviesa el eje Y, y que corresponde
al punto donde la variable X es igual a 0, se le conoce como intercepto.
Análisis de Regresión
Estos términos se emplean en la ecuación de una línea recta de la siguiente
manera:
Y = β0 + β1x1
Donde β0 es el intercepto y β1 es la pendiente.
X
Población de 15 a 64 años
1000
900
800
700
600
500
400
300
200
100
0
0 50 100 150 200 250 300 350 400
Análisis de Regresión
Supuestos del MRL
Regresión k-1
Error n-2
Total n-1
Los Grados de libertad:
Es el valor que indica la cantidad de términos independientes (k) en los datos que
se encuentran asociados a cada una de las sumas de cuadrados, según sea el
caso.
1 n
Sxy = ∑ (Yi – Ӯ)(Xi – )
n i=1
III IV
Análisis de Regresión
III IV
II I
III IV
Para determinar que tan bueno es el ajuste de la recta de regresión estimada
se emplea el Coeficiente de Determinación R2, el cual indica la variabilidad
ocurrida en la variable Y explicada por el modelo.
SCR =
[ ∑xy -
∑x ∑y 2
n ] SCT = ∑y2 -
(∑y)2
(∑x)2 n
2
∑x -
n
SCR SCE =∑(Yi – Ŷ)2
R2 =
SCT
Otro estimador que permite identificar la calidad del ajuste de la recta de
regresión estimada es el Coeficiente de Determinación Ajustado R2A, el
cual resta variabilidad y explica en mayor proporción la variabilidad
ocurrida en la variable Y explicada por el modelo.
n-1
R2A = 1- (1-R2)
n-p
Donde:
n es el número de pares de datos
p es el número de coeficientes a estimar
Práctica 2
Con base en los datos de la siguiente diapositiva obtener el gráfico de
dispersión e identificar el tipo de correlación que existe entre las
variables.
SCR =
[ ∑xy -
n ]
∑x ∑y 2
SCT = ∑y2 -
(∑y)2
(∑x)2 n
∑x2 -
n
SCR
R2 =
SCT
n-1
R2A = 1- (1-R2)
n-p
Análisis de Regresión
∑x ∑y (40)*(690)
∑xy - 1554.9 - 20
β1 = m = n =
(∑x)2 1600
∑x2 - 93.56 - 20
n
2255.90044
R2 = 2373
= 0.9507
n-1 20 - 1
R2A = 1- (1-R2) = 1- 20 - 2 (1- .9507) = 0.948
n-p
Análisis de Regresión
X
Análisis de Residuos
Los residuos son las diferencias existentes entre los valores observados y los
valores estimados, que son medidos a partir de la recta.
La suma de cuadrados de los residuos no puede bajo ningún caso ser mayor
que la suma de cuadrados totales.
Análisis de Residuos
0
0 10 20 30 40 50 60
-2
-4
-6
Residuos ê
8
0
0 10 20 30 40 50 60
-2
-4
-6
Análisis de Residuos
Homocedasticidad
Esta cualidad es necesaria, para que en un modelo los coeficientes estimados sean los
mejores o más eficientes, tanto para coeficientes lineales como para insesgados..
Ŷ = β0 + β1X
X
La heteroscedasticidad se presenta cuando la varianza de las observaciones no es
constante.
Lo cual conlleva a el incumplimiento de una de las hipótesis básicas sobre las que se
asienta el modelo de regresión lineal; es decir, la heterogeneidad de los datos es
originada porque sus distribuciones de probabilidad tienen distinta varianza.
Ŷ = β0 + β1X
X
Análisis de Residuos
• Grados de libertad
• Sumas de Cuadrados
• Cuadrados medios
• Estadístico F
Análisis de Residuos
SCR =
[ ∑xy -
∑x ∑y 2
n ] SCT = ∑y2 -
(∑y)
n
2
(∑x)2
∑x2 -
n
Suma de cuadrados para el
error (SSE)
SCR SCE
CMR = CME =
glr gle
Análisis de Residuos
El Estadístico F:
CMR
FC =
CME
Donde:
Fc es el Estadístico calculado de F.
a. Sí p > 0.1.Se declara que no existe evidencia suficiente para rechazar Ho.
b. Sí 0.05 < p ≤ 0.1. Se declara que hay evidencia, pero baja, es decir, se
rechaza Ho con baja significancia.
c. Sí 0.01 < p ≤ 0.05. Se dice que existe suficiente evidencia para rechazar
Ho. Se rechaza Ho con evidencia significativa.
Regresión k-1
Error 18
SCE = SCT – SCR
Total 19
Análisis de Residuos
Así también, el análisis de varianza se basa en que la variabilidad total de la muestra puede
descomponerse en la variabilidad debida a las diferencias entre grupos y la debida a la
diferencia dentro de los grupos. A partir de este supuesto, el análisis de varianza proporciona,
para contrastar la H0 de igualdad de medias entre los grupos, el estadístico F (compara la
variabilidad debida a las diferencias entre grupos con la debida a las diferencias dentro de los
grupos).
Cuanto mayor sea el valor de F y menor su significación, hay más probabilidad de que existan
diferencias significativas entre los grupos.
1. Las dos varianzas son iguales, por lo que la prueba se basa en una
distribución t-Student, tomando como grados de libertad el tamaño de
la muestra.
gl =
[S2n1-1
n1 ] +
S2n2-1
n2
2 2
( n ) +( n )
S2
n1-1
1
S 2
n2-1
2
n1-1 n2-1
Homocedasticidad
Prueba de Levene
Prueba de Levene
Prueba de Levene
En primer lugar estimaremos la diferencia (en valor absoluto) entre cada valor y la
media de su grupo:
Dij = |Yij – Ӯj|
donde:
Yij es la puntuación del sujeto i perteneciente al grupo j.
Prueba de Levene
donde:
Prueba de Levene
El paso siguiente consiste en estimar la media total de las diferencias
n m
∑ ∑ Dij
__ i=1 j=1
Dt =
N
donde:
n m
∑ ∑ Dij es la suma de las puntuaciones D de todos los sujetos
i=1 j=1
Prueba de Levene
Seguido estimaremos la suma de cuadrados intragrupo e intergrupo
n m _
Suma de cuadrados intragrupo (SCintra): ∑ ∑ (Dij - Dj)2
i=1 j=1
m _ _
Suma de cuadrados intergrupo (SCinter): ∑ nj(Dj - Dt)2
j=1
Homocedasticidad
Prueba de Levene
Así también se estimarán los grados de libertad:
glinter = m – 1
m
glintra = ∑ (nj – 1)
j=1
Prueba de Levene
Las últimas estimaciones corresponden a las medias cuadráticas y el valor Fc:
Prueba de Levene
Los datos obtenidos se registran en las variables Noche1, Noche2 y
Noche3, que indican el número de horas dormidas en las tres noches.
Prueba de Levene
Así mismo, se agregaron tres variables más relacionadas con las terapias
que han recibido los pacientes. Todas ellas toman los valores 1, si el
sujeto ha recibido la terapia, y 0 en caso contrario.
Prueba de Levene
Suma de cuadrados
Media1 (Yi) 15.40
intragrupo (SCintra): 33.50
Media2 (Yi) 22.24
Media3 (Yi) 18.53
Media (Yi) 18.735 suma de cuadrados
intergrupo (SCinter) 1.47
n1 7 Media cuadrática
n2 7 intragrupos (MCintra) 1.97
n3 6
Fc 0.374
Análisis de Residuos
Regresión 1
Error 18
SCE = SCT – SCR
Total 19
Análisis de Residuos
Estimación del Valor Crítico p-value
Bajo la consideración de que estamos en un modelo de regresión que cumple la
condición de homocedasticidad, estimaremos el valor crítico para t (p-value).
En primer lugar estimaremos el error estándar de los coeficientes del modelo (β0 y
β1 ) para probar la confiabilidad de nuestra ecuación de regresión.
n
∑ (Yi – Ŷ)2
Se = S2e = i=1
= SCE
(n-2) (n-2)
Nota:
Una propiedad de este indicador es que con base en los supuestos del
modelo la varianza residual al S2e se le considera un estimador insesgado
de σ2
Análisis de Residuos
Estimación del Valor Crítico p-value
Así para estimar el p-valor, tomaremos como base el resultado del estadístico T y
los buscaremos en la tabla de la distribución t a un nivel de α o de α/2, según sea el
caso de la hipótesis alterna.
Para el caso del intercepto, el error estándar del estimador corresponde a SE( β0)
1 2
2
SE2( β0) = Se +
n n
∑ (Xi – )2
i=1
Puede darse el caso, que aún así, el modelo siga siendo correcto, ya que
al realizar una transformación en cualquiera de las dos o en ambas
variables X e Y (por ejemplo: lg, 1/x, 1/y, y2), la relación se vuelva lineal.
Transformaciones
Casos de transformaciones son:
Modelo Transformación X Transformación Y
Simple Ŷ = β0 + β1X1 t(x)= x t(y)= Ŷ
Exponencial Ŷ = exp (β0 + β1X1) t(x)= x t(y)= log10(Ŷ)
1
Recíproca Y Ŷ = β0 + β1X1 t(x)= x t(y)= 1/Ŷ
2
4 9 7.501 7.5 7.501 8 7.0009 2
0
0
5 11 8.501 8.5 8.501 8 7.0009 0 5 10 15
0 5 10 15
6 14 10 10 10 8 7.0009
7 6 6.001 6 6.001 8 7.0009
8 4 5.001 5 5.001 19 12.502 Ŷ3 Ŷ4
12 14
9 12 9.001 9 9.001 8 7.0009 12 y = 0.5001x + 3.0001
10 y = 0.5001x + 3.0001
10 7 6.501 6.5 6.501 8 7.0009 8
10
Rx Ry Ex lnx Y2 Yt2
Num X2 Xt2 Y2 Yt2 Yt2 Yt2 10 0.4
Si se desconoce σi2: Bajo el supuesto de que σi2 es proporcional a Xi. Si hay más de un X en el
modelo, utilizamos el X más adecuado. Si hay más de uno adecuado, utilizamos el valor medio
estimado de Y.
Si se desconoce σi2: Bajo el supuesto de que σi2 es proporcional a Xi2. Si los residuos muestran un
patrón como en la figura, es decir aumentan proporcionalmente al cuadrado de X , la
transformación adecuada es dividir ambos lados del modelo por X.
En algunos casos se podría sugerir cambiar de modelo mediante una transformación logarítmica,
a través de la cual se reduce la escala en que se estimó cada variable, reduciendo así la
variabilidad.
Transformaciones
Algunos tipos de comportamiento de los modelos transformados son:
Simple Y = β0 + β1X1
Transformaciones
Algunos tipos de comportamiento de los modelos transformados son:
1
Recíproca Y Y = β0 + β1X1
Transformaciones
Algunos tipos de comportamiento de los modelos transformados son:
Logarítmica Y = β0 + β1ln(X1)
Transformaciones
Algunos tipos de comportamiento de los modelos transformados son:
Múltiple Y = β0 X1β1
Transformaciones
Identificación de Heterocedasticidad
Dada la siguiente base de datos con dos variables cualesquiera, generar el modelo lineal.
ê2 ê2 ê2
0 Ŷ 0 Ŷ Ŷ
a) 0
b) c)
ê2 ê2
0 Ŷ 0 Ŷ
d) e)
Casos de comportamientos hipotéticos de los residuos que
permiten identificar Heterocedasticidad
ê2
0 Ŷ
Casos de comportamientos hipotéticos de los residuos que
permiten identificar Heterocedasticidad
ê2
0 Ŷ
Casos de comportamientos hipotéticos de los residuos que
permiten identificar Heterocedasticidad
Transformaciones
Definición de Box-Cox:
y -1
Si 0
Z() =
lg(y) Si = 0
Transformaciones
La transformación de los datos, mediante Box-Cox, para ser normalizados, emplean el
método de máxima verosimilitud y se estima bajo el siguiente procedimiento, en el caso
particular de diferentes valores de :
y - 1
K1*y - 1 Si 0 Si 0
K2 (-1)
U() = U() =
K2*lg(y) Si = 0 K2 lg(y) Si = 0
Recordemos que el método de máxima verosimilitud se emplea para ajustar un modelo y encontrar sus
parámetros, donde las observaciones de una muestra son independientes y provienen de una función de
distribución desconocida.
De esta forma, el estimador de máxima verosimilitud es el resultado de aplicar el método de máxima
verosimilitud que estima el valor de un parámetro específico siempre y cuando se acerque al valor real del
parámetro, buscando maximizar la función de verosimilitud.
Transformaciones
Donde:
K2 = (y1·y2·…·yn)1/n es la media geométrica de la variable Y.
Y 1
K1=
K2(-1)
Esto se hace aplicando el método de máxima verosimilitud bajo el supuesto que β0 ~ N(0, Iσ2) para el valor
seleccionado de . Una vez obtenido el valor de adecuado, se puede ajustar un nuevo modelo con
error normalmente distribuido, independiente y varianza homogénea, empleando el método de máxima
verosimilitud.
Sin embargo, no es necesario ejecutar el método de máxima verosimilitud, sino ejecutar los siguientes
pasos:
http://www.virtual.unal.edu.co/cursos/ciencias/2007315/html/un6/cont_17_78.html
Transformaciones
1. Seleccionar un rango determinado para los posibles valores de , generalmente es (-1, 1), sin
embargo, algunos autores también sugieren (-2, 2) o incluso ampliar éste último rango, de ahí
generar entre 11 y 21 posibles valores para .
3. Ajustar el modelo lineal Ûi = β0 + β1x1 y estimar la suma de Cuadrados del Error SCE con base en el
método de mínimos cuadrados.
4. Graficar los valores de la suma de cuadrados del error contra los valores de .
5. Identificar y seleccionar el valor de que registró el valor más bajo de la suma de cuadrados del
error, el cual representará el valor estimado de máxima verosimilitud de . Se pueden hacer
aproximaciones en caso de ser valores cercanos a 0, 0.5 o 1.
http://www.virtual.unal.edu.co/cursos/ciencias/2007315/html/un6/cont_17_78.html
Transformaciones
La transformación de los datos, mediante Box-Cox, para ser normalizados, emplean
el método de máxima verosimilitud y se estima bajo el siguiente procedimiento, en
el caso particular de diferentes valores de :
y - 1
Si 0
ŷ(-1)
U() =
ŷ lg(y) Si = 0
Donde
ŷ = (y1 y2 … yn)1/n es la media geométrica de la variable Y.
Para cada , se obtiene el conjunto de valores {Ui()}i = 1-n
La función de verosimilitud es:
-n n
L() = ln(∑ (Ui() - Ū())2
2 i=1
Transformaciones
Para el caso práctico L() se estima mediante un enrejado (grid) de valores de que a su
vez facilita la aproximación gráfica de la función L(), obteniéndose su máximo mediante:
^
MV = 0 | L(0) ≥ L(),
Los valores más empleados para el parámetro son:
Valor Transformación
-1 Z() = 1/Y
-½ Z() = 1/ Y
0 Z() = ln(y)
½ Z() = Y
1 Z() = Y
Transformaciones
Al dibujar el gráfico de los pares de puntos ( i, Ŝi) se realiza un ajuste con base en
los logaritmos de ambas componentes del modelo.
Ŝi = K i lg Ŝi = lg K + lg i
Transformaciones
1. Dada la variable Y, donde para cada grupo de residuos, según el tratamiento, se calcula
la media de la respuesta, i., y la desviación típica de los residuos, Ŝi(e).
2. Al dibujar el gráfico de los pares de puntos ( i, Ŝi) se realiza un ajuste con base en los
logaritmos de ambas componentes del modelo.
Ŝi = K i lg Ŝi = lg K + lg i
3. Conclusión:
Si = 0 los residuos son homocedásticos.
Si = 1 hay heterocedasticidad y la transformación a realizar es tomar logaritmos.
En otro caso, hay heterocedasticidad y se deben transformar los datos según la
transformación de Box-Cox con = 1 - .
RLS - STATISTICA
RLS - STATISTICA
RLS - STATISTICA
RLS - STATISTICA
RLS - STATISTICA
RLS - STATISTICA
Recordar que la
y -1
transformación de Box-Cox Si 0
dependerá de un
Z() =
parámetro por
determinarse, que está
lg(y) Si = 0
dado por:
RLS-MINITAB
RLS-MINITAB
RLS-MINITAB
RLS-MINITAB
RLS-MINITAB
RLS-MINITAB
RLS-SPSS
RLS-SPSS
RLS-SPSS
RLS-SPSS
RLS-SPSS
RLS-SPSS
RLS-SPSS
Práctica 4
Al tomar la medida de la tensión arterial diastólica en treinta y cinco individuos de los que
se conoce además, su edad, colesterol e índice de masa corporal. Se tiene conocimiento de
que el valor de la tensión arterial diastólica varía en función del colesterol e índice de masa
corporal de cada sujeto.
Estimar para el siguiente caso el R2, y determinar su nivel de explicación del modelo, entre
las variables de edad y colesterol, en caso de ser necesario realizar una transformación y
determinar el resultado.
Estudio de Casos
No. EDAD (X) COLESTEROL (Y) No. EDAD (X) COLESTEROL (Y)
1 42 292 19 53 198
2 64 235 20 59 218
3 47 200 21 65 215
4 56 200 22 67 254
5 54 300 23 49 218
6 48 215 24 53 221
7 57 216 25 57 237
8 52 254 26 47 244
9 67 310 27 58 223
10 46 237 28 48 198
11 58 220 29 51 234
12 62 233 30 49 175
13 49 240 31 68 230
14 56 295 32 58 248
15 63 310 33 54 218
16 64 268 34 59 285
17 67 243 35 45 253
18 49 239
Num x y Num x y
1 77 84 13 87 79 Ejemplo
14 116 155 “El siguiente conjunto de datos fue tomado sobre
2 137 116
15 102 101 grupos de trabajadoras de Inglaterra y Galés en el
3 117 123 período de 1970-72. Cada grupo estaba formado por
4 94 128 16 111 118
trabajadoras de la misma profesión (médicos,
5 88 104 17 93 113 decoradores, trabajadores textiles,...etc.), en cada
6 102 88 18 112 96 uno de los veinticinco grupos muestreados se
7 91 104 19 113 144 observaron dos variables: el índice estandarizado de
8 104 129 20 110 139 consumo de cigarrillos (variable regresora, x) y el
107 86 21 125 113 índice de muertes por cáncer de pulmón (variable
9
22 91 85 dependiente, y). Se desea estudiar la relación entre
10 133 146
100 120 estas dos variables.”
11 115 128 23
12 105 115 24 76 60
25 66 51
∑x ∑y β0 = - β1
∑xy -
β1 = m = n
(∑x)2
∑x2 - Y = Ŷ = β0 + β1x1
n
SCR =
[ ∑xy -
n ]
∑x ∑y 2
SCT = ∑y2 -
(∑y)2
(∑x)2 n
∑x2 -
n
SCR
R2 =
SCT
n-1
R2A = 1- (1-R2)
n-p
Análisis de Residuos
Los Grados de libertad:
Cuadrado medio de la
CMR regresión (CMR)
FC = SCR
CME CMR =
glr
Transformaciones
Casos de transformaciones son:
Modelo Transformación X Transformación Y
Simple Ŷ = β0 + β1X1 t(x)= x t(y)= Ŷ
Exponencial Ŷ = exp (β0 + β1X1) t(x)= x t(y)= log10(Ŷ)
1
Recíproca Y Ŷ = β0 + β1X1 t(x)= x t(y)= 1/Ŷ
Gibergans Bàguena, Josep; Regresión Lineal Múltiple; P03/75057/01014; Universitat Oberta de Catalunya, España.
Regresión Lineal Múltiple
donde:
Y: es el vector columna de tamaño n correspondiente a la variable Y.
X: es la matriz de tamaño (n, k+1) observaciones. Siendo la primera columna de valor uno; cada columna Xi
tiene las observaciones correspondientes a cada una de las variables involucradas en el análisis.
β: es el vector columna de tamaño k que contiene los coeficientes de la regresión.
e: es el vector columna de tamaño n que contiene los residuos o errores.
Regresión Lineal Múltiple
Derivado del modelo:
e son los errores o residuos que explican el impacto de las variables externas (no
incluidas en el modelo) pero que también influyen en la variable Y.
Para el caso del análisis de regresión lineal múltiple, se emplea el mismo criterio del
modelo de regresión lineal simple, para estimación de la recta que mejor se ajuste bajo el
procedimiento delos mínimos cuadrados; en este sentido, se emplea un procedimiento
similar mediante la suma de los errores o residuos al cuadrado y la determinación de los
parámetros del modelo que conjuntamente explicarán la suma con el menor valor.
ei = Yi - Ŷi = Yi – Xβ
Regresión Lineal Múltiple
Ajuste del modelo
Para encontrar los valores de los parámetros que hacen mínima esta suma, se aplica la
derivada parcial de la SCE con respecto de β, quedando:
– 2XtY + 2XtXβ
Para encontrar los valores que hacen nulas las derivadas parciales igualamos –2XtY + 2XtXβ
=0 sí la derivada parcial de la SCE con respecto de β es igual a cero.
Simplificando quedaría:
XtXβ = XtY
Regresión Lineal Múltiple
Ajuste del modelo
Donde:
ei es el vector de los residuos
Ŷ es el vector de las estimaciones de Y
X es la matriz de observaciones
β es el vector de los parámetros de la regresión
Regresión Lineal Múltiple
Ajuste del modelo
Para calcular la suma de los cuadrados de los elementos de un vector, se realiza el producto
escalar del vector por sí mismo; es decir, el producto matricial del vector transpuesto por el
mismo vector.
n n
SCE = ∑ ei2 = ∑ (Yi – Ŷi)2 = (Y – Xβ)t (Y – Xβ)
i=1 i=1
Aplicando los productos señalados y con referencia a las propiedades del cálculo matricial,
la suma de los cuadrados de los residuos queda como:
n
SCE = ∑ ei2 = (Y – Xβ)t (Y – Xβ) = YtY – 2βXtY + βtXtXβ
i=1
Regresión Lineal Múltiple
Ajuste del modelo
Estimando el vector de parámetros quedaría:
^ = (XtX)-1 XtY
β
Donde:
^β es el vector de los estimadores mínimos cuadráticos de los parámetros.
Regresión Lineal Múltiple
Ajuste del modelo
Finalmente, al realizar las operaciones matriciales, en la ecuación XtXβ^ = XtY, se obtiene el
siguiente sistema de ecuaciones, conocido como sistema de ecuaciones normales de la
regresión:
n n n n
n ∑ xi1 ∑ xi2 … ∑ xik ^ ∑ yi
i=1 i=1 i=1 β0 i=1
n n n n n
∑ xi1 ∑ xi1 2 ∑ xi1 xi2 … ∑ xik xi1 ^β ∑ xi1yi
i=1 i=1 i=1 i=1 i=1
1
n n
∑ xi2 ∑ xi1 xi2
n
∑ x2i2
n
… ∑ xik xi2
= n
∑ xi2 yi
i=1 i=1 i=1 i=1
^Β i=1
2
… … … … … … …
n n n n n
∑ xik ∑ xik xi1 ∑ xik xi2 … ∑ xik
2 ^ ∑ xik yi
βk
i=1 i=1 i=1 i=1 i=1
Regresión Lineal Múltiple
Interpretando los β
Derivado del modelo de regresión lineal múltiple, la interpretación de los parámetros es
determinante, por lo que se debe considerar lo siguiente:
n
SCE = ∑ ei2
i=1
1- R2 = n
∑(Yi – ӯ)2
i=1
Cuando todos los puntos se encuentran sobre la recta de regresión estimada, es decir, se
logra "el ajuste es perfecto", la suma de cuadrados de residuos, SCE, toma el valor cero y ,
por tanto, R2 = 1. El denominador en este caso es una medida de la variabilidad total de las
n observaciones de la variable respuesta.
Regresión Lineal Múltiple
Caso práctico:
Gastos de los empleados según su antigüedad y las horas diarias de trabajo
Se desea encontrar una explicación de los gastos (en miles de pesos/año) que generan los
empleados de un departamento comercial a partir de su antigüedad (en años) y del
número de horas diarias que trabajan (horas/día).
Se tomó a cinco empleados como muestra y se obtuvieron los siguientes resultados:
Bajo el esquema del sistema de ecuaciones los datos de los empleados, se representan de
la siguiente manera:
Y1 = β0 + β1 + 11 β2 + e1
Y2 = β0 + 3 β1 + 13 β2 + e2
Y3 = β0 + 4 β1 + 13 β2 + e3
Y4 = β0 + 4 β1 + 14 β2 + e4
Y5 = β0 + 2 β1 + 12 β2 + e5
Regresión Lineal Múltiple
24.6 1 1 11 e1
33.0 1 3 13 β0 e2
Y= 36.6 X= 1 4 13 β = β1 e = e3
39.8 1 4 14 β2 e4
28.6 1 2 12 e5
Y = Xβ + ei
Regresión Lineal Múltiple
Siguiendo las operaciones correspondientes, la matriz transpuesta de la matriz X es:
1 1 1 1 1
Xt = 1 3 4 4 2
11 13 13 14 12
Seguido:
1 1 1 1 1 1 1 11 5 14 63
XtX = 1 3 4 4 2 1 3 13 = 14 46 182
11 13 13 14 12 1 4 13 63 182 799
1 4 14
1 2 12
Regresión Lineal Múltiple
Estimando la matriz inversa de XtX, se obtiene:
5 14 63 -1 181.5 14 -17, 5
(XtX)-1 = 14 46 182 = 14 1.3 –1.4
63 182 799 –17. 5 –1.4 1.7
1 1 1 1 1 24.6 162.60
XtY = 1 3 4 4 2 33.0 = 486.40
11 13 13 14 12 36.6 2075.80
39.8
28.6
Regresión Lineal Múltiple
–5
β = (XtX)-1 XtY = 2.6
2.4
Quedando nuestro modelo de regresión como: Y = -5.0 + 2.6x1 + 2.4x2
Regresión Lineal Múltiple
Predicciones
Como ya se ha comentado la utilidad del análisis de regresión radica en la predicción
(estimación) del valor que puede tomar la variable Y, con base en los posibles valores que
tomarían las variables Xi.
Por tanto si la dos variables están presentes en el modelo se deberá excluir la que menor
información aporte.
Cov(Xi, Xj)
r=
Var(Xi) Var(Xj)
Regresión Lineal Múltiple
Correlaciones
Donde: Cov(Xi, Xj) es la covarianza muestral entre Xi y Xj, determinada por:
1 n
Cov(Xi, Xj) = ∑(Xij – j) (Xik – k)
n i=1
• Gujarati, Damodar. Econometría , Segunda edición. Editorial Mc Graw Hill. Bogotá, 1990.
• Lomax W. R., Saul A.J. Laboratory Work in Hydraulics. Bolton Institute of Technology. Great Britain 1979.
• Laboratory Work in Hydraulics
• Ang Alkfredo H-S, Teng Wilson H. Probability Concepts in engineering Planning and Design. Volumen I. Basic Principles.
John Wiley & Sons
• Jornadas de Educación Matemática de la Comunidad Valenciana