Proyecto 1: Estimadores para los parmetros de una regresin

lineal
Josue Baltodano Leiva/B50819

27/3/2019

Introducción
En un modelo de regresión lineal se supone una distribución de la respuesta Y (la cual es
una variable cuantitativa continua) condicional a la variable X. Esto equivale a mencionar
que para cada valor de X se puede encontrar un numero infinito de valores Y, los cuales
tendrán su propia distribución y esta obtendrá el nombre de distribución condicional. Cada
valor de la respuesta puede descomponerse como la suma de la media condicional mas una
cantidad aleatoria a la cual llamamos error. De la siguiente forma:
𝑌 = 𝑋𝛽 + 𝜖, 𝑑𝑜𝑛𝑑𝑒 𝜖 ∼ 𝑖𝑖𝑑𝑁(0, 𝜎 2 )
Es posible observar en la expresión anterior que la ecuación de regresión posee dos
parámetros poblacionales, el primero de ellos es 𝛽 y el segundo es 𝜎 2 el cual equivale a la
varianza del error.
Debemos recordar que los estadísticos muestrales son aquellos valores que nos permiten
estimar los parámetros poblacionales. Son valores calculados a partir de la muestra que
operan como referencia del valor desconocido que corresponde a la población. En principio
se pueden llegar a obtener infinitos valores para estimar un parámetro. A pesar de esto
para cada parámetro existirá un estadístico muestral que es su mejor estimador. Cabe
recordar que un estimador es un suceso aleatorio que asume diversos valores con
probabilidades diferentes. En resumen, un estimador varia en forma aleatoria en torno al
parámetro poblacional. Es acá donde surge la gran incógnita ¿Cómo puedo corroborar que
tan bueno es cierto estadístico para estimar su determinado parámetro? O mejor aun ¿Por
qué se utilizan ciertos estadísticos para estimar los correspondientes parámetros? Es acá
donde entran un conjunto de propiedades que permiten evaluar al estimador. En
particular, se ha mencionado que un estimador debe ser insesgado, consistente, eficiente y
suficiente.
En cuanto al caso presentado anteriormente de la regresión lineal, se busca elegir un
estimador para 𝛽 de tal forma que los valores estimados de Y estén tan cerca como sea
posible de las observaciones reales. Para ello se utiliza el estimador de mínimos cuadrados:
𝛽 𝑒 = (𝑋 𝑡 𝑋)−1 (𝑋 𝑡 𝑌)
Con respecto a la estimación de la varianza del error se utiliza la siguiente estimación:
𝑆𝐶𝑅𝑒𝑠
𝜎2 =
𝑛−𝑝
Es por estas razones, que los objetivos principales del presente reporte reporte serían:
1- Comparar mediante un estudio de Montecarlo las propiedades de dos estimadores tanto
para 𝛽 como para 𝜎 2 .
2- Demostrar que tanto el estimador de mínimos cuadrados como el estimador de la
varianza del error cumplen con las propiedades de un buen estimador.
Desarrollo
En cuanto al procedimiento llevado a cabo, se procedió a realizar un estudio de Montecarlo,
el cual lo que realiza es una construcción de un modelo matemático que se encarga de
simular un sistema real. Se realizan un gran numero de replicas aleatorias con varios fines,
en este caso se procedió a comparar las propiedades de dos estimadores. En este caso se
calculó una muestra 1000 veces, a cada una de estas 1000 muestras se les calculo tanto el
estimador de mínimos cuadrados como el estimador de la varianza del error, además de
eso se realizo el mismo proceso con dos estimadores basados en estos mencionados
anteriormente, pero con ligeros ajustes. Presento los estimadores a comparar a
continuación:
Estimador de minimos cuadrados:
𝛽 𝑒 = (𝑋 𝑡 𝑋)−1 (𝑋 𝑡 𝑌)
Estimador un poco alterado:
𝛽 𝑎𝑙𝑡 = ([𝑋 − 𝑚𝑒𝑎𝑛(𝑋)]𝑡 [𝑋 − 𝑚𝑒𝑎𝑛(𝑋)])−1 ([𝑋 − 𝑚𝑒𝑎𝑛(𝑋)]𝑡 [𝑌 − 𝑚𝑒𝑎𝑛(𝑌)])
Estimador de la varianza del error:
𝑆𝐶𝑅𝑒𝑠
𝜎2 =
𝑛−𝑝
Estimador un poco alterado:
𝑆𝐶𝑅𝑒𝑠
𝜎2 =
𝑛
Al realizar el estudio de montecarlo, se obtuvieron los siguientes resultados: