Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Estadstica Bayesiana
Modelos uniparamtricos Ms Carlos Lpez de Castilla Vsquez
Universidad Nacional Agraria La Molina

2013-0

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribucin binomial Relaciones entre la media a priori y posterior Distribuciones a priori no informativas Familias conjugadas Familias exponenciales

Distribucin binomial
Permite estimar una proporcin poblacional a partir de una secuencia de ensayos independientes de Bernoulli y1 , , yn cuyos resultados son xito o fracaso. Debido a la propiedad de intercambiabilidad los datos pueden resumirse usando y el nmero total de xitos en los n ensayos. El modelo binomial queda denido por:

n y (1 )ny f (y |) = y

Si la distribucin a priori es U (0, 1) entonces:

|y BE (y + 1, n y + 1)
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribucin binomial Relaciones entre la media a priori y posterior Distribuciones a priori no informativas Familias conjugadas Familias exponenciales

Distribucin binomial
La distribucin predictiva a priori es: 1 n y d = 1 n y f (y ) = y (1 ) n+1 0

y = 0, 1, , n

La probabilidad de obtener xito en un nuevo ensayo usando la distribucin predictiva posterior es:

Pr ( y = 1|y ) =

1 1

Pr ( y = 1|) f (|y ) d

f (|y ) d = E (|y ) =

y +1 n+2

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribucin binomial Relaciones entre la media a priori y posterior Distribuciones a priori no informativas Familias conjugadas Familias exponenciales

Relaciones entre la media a priori y posterior

Es natural esperar que existan algunas relaciones entre la distribucin a priori y la distribucin posterior. Se podra esperar que la distribucin posterior, que incorpora la informacin de los datos, sea menos variable que la distribucin a priori. La media posterior se encuentra entre la media a priori y el EMV de si:

E (|y ) = w E () + (1 w )

0<w <1

En el ejemplo binomial anterior la media posterior se encuentra entre la media a priori y la proporcin muestral de xitos.
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribucin binomial Relaciones entre la media a priori y posterior Distribuciones a priori no informativas Familias conjugadas Familias exponenciales

Distribuciones a priori no informativas

Cmo se puede justicar la eleccin de una distribucin a priori uniforme para ? La distribucin a priori debe incluir todos los valores posibles de , pero no tiene que estar necesariamente concentrada en torno al verdadero valor ya que la informacin en los datos modicar y dominar cualquier especicacin probabilstica inicial. El razonamiento de Laplace para la densidad a priori uniforme es llamado principio de la razn insuciente, el cual indica que si nada es conocido acerca de , entonces no hay ninguna razn para asignar probabilidades diferentes a algunos de sus valores.
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribucin binomial Relaciones entre la media a priori y posterior Distribuciones a priori no informativas Familias conjugadas Familias exponenciales

Familias conjugadas
La funcin de verosimilitud binomial es de la forma:

f (y |) y (1 )ny
Si la distribucin a priori tiene la misma estructura:

f () 1 (1 ) 1
La densidad posterior para es:

f (|y ) BE (y + , n y + )
Se dice que la distribucin beta es una familia conjugada con la verosimilitud binomial.
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribucin binomial Relaciones entre la media a priori y posterior Distribuciones a priori no informativas Familias conjugadas Familias exponenciales

Familias conjugadas
Si F es una clase de distribuciones muestrales f (y |) y P es una clase de distribuciones a priori para entonces la clase P es conjugada para F si:

f (|y ) P para todo f (|) F y f () P .

El inters fundamental estar en las familias de distribuciones a priori conjugadas naturales, las cuales se denen al tomar a P como el conjunto de todas las densidades que tienen la misma estructura que la verosimilitud. A pesar que las distribuciones a priori conjugadas tienen la ventaja de ser convenientes para el clculo en la prctica podran no ser aplicables en modelos ms complicados.
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribucin binomial Relaciones entre la media a priori y posterior Distribuciones a priori no informativas Familias conjugadas Familias exponenciales

Ejemplo
Un mdico sugiere un nuevo tratamiento para una forma de cncer. Sea la probabilidad de que un paciente con el nuevo tratamiento sobreviva ms de seis meses. Se sabe que: E () = 0,45 Var () = 0,012

Suponga que el mdico decide representar sus creencias usando la distribucin beta cules seran los parmetros? Un ao ms tarde 15 pacientes han recibido el tratamiento y 6 de ellos han sobrevivido ms de seis meses. Hallar la distribucin posterior del mdico para el parmetro .
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribucin binomial Relaciones entre la media a priori y posterior Distribuciones a priori no informativas Familias conjugadas Familias exponenciales

Familias exponenciales
La clase F es una familia exponencial si todos sus miembros tienen la forma:

f (yi |) = h (yi ) g () exp ()T u (yi )

El vector () es llamado el parmetro natural de la familia F . La funcin de verosimilitud para y1 , , yn es:

l (|y) =

n i =1

h (yi ) g ()n exp ()T

n i =1

u (yi )

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribucin binomial Relaciones entre la media a priori y posterior Distribuciones a priori no informativas Familias conjugadas Familias exponenciales

Familias exponenciales
La estructura de la funcin de verosimilitud con respecto de es: l (|y) g ()n exp ()T t (y) donde t (y) = Si la distribucin a priori es:

n u (y ) es una estadstica suciente. i i =1

f () g () exp ()T
La distribucin posterior es:

f (|y) g ()+n exp ()T ( + t (y))

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Estimacin de la media con varianza conocida Estimacin de la varianza con media conocida

Modelo normal para una observacin

La distribucin de muestreo para una observacin y es: 1 1 exp 2 (y )2 2 2

f (y |) =

La distribucin a priori conjugada es:

2 N 0 , 0 2 donde: La distribucin posterior |y N 1 , 1
2 0

1 =

0 +
1 2 0

1 2

1 1 1 2 = 2 + 2 1 0
Estadstica Bayesiana

Ms Carlos Lpez de Castilla Vsquez

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Estimacin de la media con varianza conocida Estimacin de la varianza con media conocida

Distribucin predictiva posterior

La distribucin predictiva posterior para una nueva observacin es: f ( y |y ) = f ( y |) f (|y ) d

Se puede demostrar que:

2 |y N 1 , 2 + 1 y

La distribucin predictiva posterior tiene una media igual a la media posterior y dos componentes de variancia: la variancia del modelo y la variancia debida a la incertidumbre posterior sobre .
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Estimacin de la media con varianza conocida Estimacin de la varianza con media conocida

Modelo normal para mltiples observaciones

Se tiene una muestra y = (y1 , , yn ) de observaciones independientes e idnticamente distribuidas. La distribucin a priori se combina con la funcin de verosimilitud:

f (|y) f () l (|y )
2 donde: La distribucin posterior |y N n , n
2 0

n =

ny 0 + 2
1 2 0

n + 2

1 1 n = 2+ 2 2 n 0
Estadstica Bayesiana

Ms Carlos Lpez de Castilla Vsquez

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Estimacin de la media con varianza conocida Estimacin de la varianza con media conocida

Funcin de verosimilitud
Suponga que f y |, 2 = N y |, 2 con conocida y 2 desconocida. La funcin de verosimilitud para un vector y = (y1 , , yn ) de observaciones independientes es:

l 2 |y

n exp
2 n/2

1 2 2

n i =1 n

(yi )2

exp

2 2

La estadstica suciente es:

n i =1

(yi )2

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Estimacin de la media con varianza conocida Estimacin de la varianza con media conocida

Distribucin a priori conjugada

La distribucin a priori es:
2 2 2 inversa de escala 0 , 0

La densidad posterior es:

f 2 |y

l 2 |y f 2 1 2 + n exp 2 0 0 2

((n+0 )/2+1)

y as:

2 |y 2 inversa de escala 0 + n,
Ms Carlos Lpez de Castilla Vsquez

2 + n 0 0 0 + n

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Estimacin de la media con varianza conocida Estimacin de la varianza con media conocida

Ejemplo
Un pequeo estudio piloto evalu la efectividad de una droga experimental en el control de la presin sangunea de pacientes con moderada hipertensin. El cambio en la presin sangunea de los pacientes (en mmHg) despus de tomar la droga tiene una distribucin normal con media desconocida y variancia 25. El experimento fue llevado a cabo con una muestra de 8 pacientes obtenindose los siguientes resultados (valores negativos signican que la droga disminuy la presin sangunea, valores positivos que la increment): 3.7, 6.7, 10.5, 6.1, 17.6, 2.3, 7.9 y 8.9.
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Estimacin de la media con varianza conocida Estimacin de la varianza con media conocida

Ejemplo
Calcule la distribucin posterior para la media a partir de una distribucin a priori:

N (0, 100)
La droga ser aceptable si la probabilidad posterior de que le disminuya la presin sangunea a un paciente es mayor al 90 %. Cul es el valor de esta probabilidad usando la distribucion posterior? Hallar la distribucin predictiva posterior para el cambio en la presin sangunea de un nuevo paciente.

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Funcin de verosimilitud Distribucin a priori conjugada

Funcin de verosimilitud
Si y tiene distribucin de Poisson con tasa media de ocurrencias entonces:

f (y |) =

y exp {} y!

y = 0, 1,

Para y = (y1 , , yn ) la funcin de verosimilitud es:

l (|y) t (y) exp {n}

La estadstica suciente es t (y) =

n y. i =1 i

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Funcin de verosimilitud Distribucin a priori conjugada

Distribucin a priori conjugada

La distribucin a priori conjugada es :

G (, )
La distribucin posterior es:

|y G ( + ny , + n)
La distribucin predictiva a priori considerando solo una observacin y es: y BN (, )

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Funcin de verosimilitud Distribucin a priori conjugada

Ejemplo
Suponga que el nmero de incendios semanales ocurridos en una ciudad tiene distribucin de Poisson con parmetro . Se decide utilizar una distribucin a priori conjugada G (, ). La media y variancia de la distribucin marginal del nmero de incendios semanales ocurridos son 1 y 2 respectivamente. Hallar la distribucin a priori para y luego su distribucin posterior si el nmero de incendios observados en una muestra de 100 semanas fue 40.

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Funcin de densidad Distribucin posterior

Funcin de densidad
La distribucin exponencial es usada para modelar tiempos de espera. Su funcin de densidad es:

f (y |) = exp {y }
y el parmetro es llamado la tasa.

y >0

Se trata de un caso especial de la distribucin gamma con parmetros (, ) = (1, ). La distribucin exponencial tiene la propiedad de prdida de memoria, lo cual la convierte en un modelo natural para informacin de supervivencia o tiempos de vida.

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Funcin de densidad Distribucin posterior

Distribucin posterior
Para n observaciones independientes y1 , , yn con tasa constante , la funcin de verosimilitud es:

l (|y) = n exp {ny }

La distribucin a priori conjugada es:

G (, )
La correspondiente distribucin posterior es:

|y G ( + n, + ny )

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Funcin de densidad Distribucin posterior

Ejemplo
Suponga que el tiempo de vida de un componente elctrico tiene distribucin exponencial con parmetro y que su distribucin a priori G (45, 5). En una muestra de 100 componentes se encontraron las siguientes medidas de resumen (en miles de horas): Media Desviacin estndar 0.1125 0.0283

Hallar la distribucin posterior para y luego la probabilidad que el tiempo medio de vida sea mayor de 100 horas.
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribuciones a priori no informativas Distribuciones a priori propias e impropias Principio de invariancia de Jereys Mixtura de distribuciones a priori

Distribuciones no informativas
Muchas veces se desea contar con distribuciones a priori que puedan garantizar una mnima inuencia en la distribucin posterior. Tales distribuciones son algunas veces llamadas distribuciones a priori de referencia y la densidad a priori es descrita como vaga, plana, difusa o no informativa. La razn para utilizar distribuciones a priori no informativas es dejar que los datos hablen por s mismos de modo que el proceso de inferencia no se encuentre afectado por informacin externa a ellos.

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribuciones a priori no informativas Distribuciones a priori propias e impropias Principio de invariancia de Jereys Mixtura de distribuciones a priori

Distribuciones a priori propias e impropias

Suponga nuevamente que f y |, 2 = N y |, 2 con 2 conocida. Si la distribucin a priori f () 1 entonces la distribucin posterior es: 2 |y N y ,

La distribucin inicial no es tcnicamente posible ya que su integral es innito lo cual viola el supuesto para una funcin de densidad. Se llamar a una densidad a priori propia si no depende de los datos y su integral es igual a uno.
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribuciones a priori no informativas Distribuciones a priori propias e impropias Principio de invariancia de Jereys Mixtura de distribuciones a priori

Distribuciones a priori propias e impropias

Si la densidad a priori integra a cualquier valor positivo nito ser llamada una densidad no normalizada ya que puede ser multiplicada por una constante para que su integral sea igual a uno. A pesar de que la distribucin a priori del ejemplo anterior es impropia, la distribucin posterior resultante es propia. Considere como segundo ejemplo f y |, 2 = N y |, 2 con conocida. Si la distribucin a priori f 2 2 entonces la distribucin posterior es: 2 |y 2 inversa (n, )
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribuciones a priori no informativas Distribuciones a priori propias e impropias Principio de invariancia de Jereys Mixtura de distribuciones a priori

Principio de invariancia de Jereys

Una aproximacin usada para denir distribuciones a priori no informativas fue desarrollada por Jereys, quien se bas en transformaciones uno a uno del parmetro = h (). Por transformacin de variables la densidad a priori es equivalente a la siguiente densidad a priori para :

f () = f ()

d d

El principio de Jereys es que cualquier regla para determinar la densidad a priori f () debe conducir a un resultado equivalente si se aplica al parmetro transformado.
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribuciones a priori no informativas Distribuciones a priori propias e impropias Principio de invariancia de Jereys Mixtura de distribuciones a priori

Principio de invariancia de Jereys

La distribucin a priori no informativa de Jereys es:

f () [J ()]1/2
donde J () es la informacin de Fisher:

J ( ) = E

d log f (y |) d

= E

d 2 log f (y |) d 2

Los resultados anteriores pueden ser extendidos a modelos multiparamtricos pero los resultados son controvertidos.

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribuciones a priori no informativas Distribuciones a priori propias e impropias Principio de invariancia de Jereys Mixtura de distribuciones a priori

Ejemplos
Sea la distribucin fundamental:

y | BI (n, )
Hallar la distribucin a priori no informativa de Jereys para . Sea la distribucin fundamental:

y |, 2 N , 2
con 2 conocida. Hallar la distribucin a priori no informativa de Jereys para . Hallar la distribucin a priori no informativa de Jereys para 2 considerando que es conocida.
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribuciones a priori no informativas Distribuciones a priori propias e impropias Principio de invariancia de Jereys Mixtura de distribuciones a priori

Principio de invariancia de Jereys

La versin multivariada para la distribucin a priori no informativa de Jereys es:

f ( ) [J ( )]1/2
donde J ( ) es el determinante de la matriz de informacin de Fisher: d log f (y | ) J ( ) = E d Una alternativa es considerar una distribucin a priori con parmetros independientes y luego usar el producto de sus distribuciones a priori de Jereys.
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribuciones a priori no informativas Distribuciones a priori propias e impropias Principio de invariancia de Jereys Mixtura de distribuciones a priori

Mixtura de distribuciones a priori

Suponga que f1 () , , fk () son distribuciones a priori conjugadas para las que conducen a las distribuciones posteriores: f1 (|y ) , , fk (|y ) respectivamente. Considere la siguiente mixtura de distribuciones:

f () =

k i =1

wi fi ()

donde wi es el peso o ponderacin de la distribucin a priori fi () en f ().

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribuciones a priori no informativas Distribuciones a priori propias e impropias Principio de invariancia de Jereys Mixtura de distribuciones a priori

Mixtura de distribuciones a priori

La distribucin posterior es:

f (|y ) f () f (y |) k wi fi () f (y |) i =1 k = wi fi (|y ) i =1

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribuciones a priori no informativas Distribuciones a priori propias e impropias Principio de invariancia de Jereys Mixtura de distribuciones a priori

Mixtura de distribuciones a priori

Se observa que la distribucin posterior pertenece a la misma familia de distribuciones mixtas. En general las ponderaciones en la distribucin posterior wi sern diferentes que aquellas de la distribucin a priori. El uso de una mixtura de distribuciones a priori conjugadas puede ser implementado sin mayor dicultad con el apoyo de algn software. First Bayes permite usar mixturas de distribuciones a priori para los cuatro modelos conjugados ms comunes (modelo binomial, Poisson, exponencial y normal). Tener presente que el uso de una mixtura de distribuciones a priori no est limitado al uso de familias conjugadas.
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Distribucin binomial Distribucin normal Distribucin de Poisson Distribucin exponencial Distribuciones a priori no informativas

Distribuciones a priori no informativas Distribuciones a priori propias e impropias Principio de invariancia de Jereys Mixtura de distribuciones a priori

Ejemplo
Suponga que una moneda se hace girar sobre una mesa y sea la probabilidad de que aparezca cara. Dada las posibles imperfecciones en el borde de la moneda, se podra pensar que es aproximadamente 0.3 0.7. Como la distribucin beta es una familia conjugada para la verosimilitud binomial podra usarse la distribucin a priori: 1 1 BE (|6, 14) + BE (|14, 6) 2 2 Hallar la distribucion posterior asumiendo que en diez lanzamientos de la moneda se observaron 4 caras y 6 sellos.
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana