You are on page 1of 41

Introducción a la inferencia bayesiana

Repaso de conceptos generales

Christian Amao Suxo

Universidad Nacional de Ingenierı́a


Escuela Profesional de Ingenierı́a Estadı́stica

Marzo, 2018

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 1 / 41


Temario

1 Descubriendo el enfoque bayesiano: conceptos necesarios


El concepto de modelo
El concepto de información
El concepto de probabilidad

2 Conceptos matemáticos y estadı́sticos necesarios


Notaciones básicas del curso
Resultados de probabilidad importantes

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 2 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios

¿Qué hace la estadı́stica?

1 La estadı́stica se encarga de estudiar todas aquellas situaciones en las


que la incertidumbre está presente.
2 Para estudiar las situaciones de incertidumbre la estadı́stica elabora
modelos probabilı́sticos con el fin de sintetizar la información
relevante disponible.
3 Entre los principales objetivos del análisis estadı́stico se pueden
identificar dos:
Comprender la realidad: Para lo cual se hacen uso de la estimación
y pruebas de hipótesis.
Tomar decisiones: Haciendo uso de la predicción.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 3 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios

¿Qué hace la estadı́stica?

1 La estadı́stica se encarga de estudiar todas aquellas situaciones en las


que la incertidumbre está presente.
2 Para estudiar las situaciones de incertidumbre la estadı́stica elabora
modelos probabilı́sticos con el fin de sintetizar la información
relevante disponible.
3 Entre los principales objetivos del análisis estadı́stico se pueden
identificar dos:
Comprender la realidad: Para lo cual se hacen uso de la estimación
y pruebas de hipótesis.
Tomar decisiones: Haciendo uso de la predicción.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 4 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios

¿Qué hace la estadı́stica?

1 La estadı́stica se encarga de estudiar todas aquellas situaciones en las


que la incertidumbre está presente.
2 Para estudiar las situaciones de incertidumbre la estadı́stica elabora
modelos probabilı́sticos con el fin de sintetizar la información
relevante disponible.
3 Entre los principales objetivos del análisis estadı́stico se pueden
identificar dos:
Comprender la realidad: Para lo cual se hacen uso de la estimación
y pruebas de hipótesis.
Tomar decisiones: Haciendo uso de la predicción.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 5 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios

¿Qué hace la estadı́stica?

1 La estadı́stica se encarga de estudiar todas aquellas situaciones en las


que la incertidumbre está presente.
2 Para estudiar las situaciones de incertidumbre la estadı́stica elabora
modelos probabilı́sticos con el fin de sintetizar la información
relevante disponible.
3 Entre los principales objetivos del análisis estadı́stico se pueden
identificar dos:
Comprender la realidad: Para lo cual se hacen uso de la estimación
y pruebas de hipótesis.
Tomar decisiones: Haciendo uso de la predicción.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 6 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de modelo

1 Descubriendo el enfoque bayesiano: conceptos necesarios


El concepto de modelo
El concepto de información
El concepto de probabilidad

2 Conceptos matemáticos y estadı́sticos necesarios


Notaciones básicas del curso
Resultados de probabilidad importantes

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 7 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de modelo

¿Qué es un modelo?
Modelo
Un modelo es una colección formal de reglas coherentes describiendo, de
manera simplificada, algún problema del mundo real.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 8 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de modelo

¿Qué se busca en un modelo?

Para construir un modelo se tiene que conseguir un balance entre:


1 La parsimonia: El modelo debe tener un nivel apropiado de
complejidad, incluyendo tantos aspectos de la realidad como sea
posible.
2 La precisión: En este contexto, se refiere a la habilidad de describir
un problema de la forma más concisa posible.

’El arte de construir un modelo se basa en el deseo de balancear la


necesidad de incluir tantos aspectos de la realidad como sea posible
manteniéndolo lo más simple posible para su uso’

Helio Migón, Profesor de la UFRJ - Brasil.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 9 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de modelo

¿Qué se busca en un modelo?

Para construir un modelo se tiene que conseguir un balance entre:


1 La parsimonia: El modelo debe tener un nivel apropiado de
complejidad, incluyendo tantos aspectos de la realidad como sea
posible.
2 La precisión: En este contexto, se refiere a la habilidad de describir
un problema de la forma más concisa posible.

’El arte de construir un modelo se basa en el deseo de balancear la


necesidad de incluir tantos aspectos de la realidad como sea posible
manteniéndolo lo más simple posible para su uso’

Helio Migón, Profesor de la UFRJ - Brasil.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 10 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de información

1 Descubriendo el enfoque bayesiano: conceptos necesarios


El concepto de modelo
El concepto de información
El concepto de probabilidad

2 Conceptos matemáticos y estadı́sticos necesarios


Notaciones básicas del curso
Resultados de probabilidad importantes

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 11 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de información

¿Cómo usan los estadı́sticos la información disponible?

Al momento de plantear un modelo, se requiere reunir tanta


información como sea posible con el fin de reducir nuestra
incertidumbre inicial sobre un problema.

entonces ... ¿Qué tipo de información es relevante y deberı́a ser, por


tanto, considerada en el análisis?

1 Respuesta 1: Toda la información disponible es útil y debe ser


tomada en consideración. (enfoque bayesiano o ’subjetivo’).
2 Respuesta 2: Se deben evitar arbitrariedades y considerar solo
información objetiva proveniente de un proceso de muestreo.
(enfoque clásico o frecuentista).

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 12 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de información

¿Cómo usan los estadı́sticos la información disponible?

Al momento de plantear un modelo, se requiere reunir tanta


información como sea posible con el fin de reducir nuestra
incertidumbre inicial sobre un problema.

entonces ... ¿Qué tipo de información es relevante y deberı́a ser, por


tanto, considerada en el análisis?

1 Respuesta 1: Toda la información disponible es útil y debe ser


tomada en consideración. (enfoque bayesiano o ’subjetivo’).
2 Respuesta 2: Se deben evitar arbitrariedades y considerar solo
información objetiva proveniente de un proceso de muestreo.
(enfoque clásico o frecuentista).

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 13 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de información

¿Cómo usan los estadı́sticos la información disponible?

Al momento de plantear un modelo, se requiere reunir tanta


información como sea posible con el fin de reducir nuestra
incertidumbre inicial sobre un problema.

entonces ... ¿Qué tipo de información es relevante y deberı́a ser, por


tanto, considerada en el análisis?

1 Respuesta 1: Toda la información disponible es útil y debe ser


tomada en consideración. (enfoque bayesiano o ’subjetivo’).
2 Respuesta 2: Se deben evitar arbitrariedades y considerar solo
información objetiva proveniente de un proceso de muestreo.
(enfoque clásico o frecuentista).

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 14 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de información

¿Cómo usan los estadı́sticos la información disponible?

Al momento de plantear un modelo, se requiere reunir tanta


información como sea posible con el fin de reducir nuestra
incertidumbre inicial sobre un problema.

entonces ... ¿Qué tipo de información es relevante y deberı́a ser, por


tanto, considerada en el análisis?

1 Respuesta 1: Toda la información disponible es útil y debe ser


tomada en consideración. (enfoque bayesiano o ’subjetivo’).
2 Respuesta 2: Se deben evitar arbitrariedades y considerar solo
información objetiva proveniente de un proceso de muestreo.
(enfoque clásico o frecuentista).

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 15 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de información

¿Cómo usan los estadı́sticos la información disponible?

Al momento de plantear un modelo, se requiere reunir tanta


información como sea posible con el fin de reducir nuestra
incertidumbre inicial sobre un problema.

entonces ... ¿Qué tipo de información es relevante y deberı́a ser, por


tanto, considerada en el análisis?

1 Respuesta 1: Toda la información disponible es útil y debe ser


tomada en consideración. (enfoque bayesiano o ’subjetivo’).
2 Respuesta 2: Se deben evitar arbitrariedades y considerar solo
información objetiva proveniente de un proceso de muestreo.
(enfoque clásico o frecuentista).

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 16 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de información

¿Qué respuesta escoger?

Analicemos estos tres casos para tener una idea:


1 Un músico experto, especializado en música clásica, afirma que es capaz de
distinguir si una pieza musical es una composición de Beethoven o Mozart.
10 pequeñas piezas musicales de ambos autores son seleccionadas
aleatoriamente y el experimento consiste en tocarlas y que el músico
identifique su procedencia. El músico acierta en los 10 intentos.
2 Un hombre ebrio afirma que puede adivinar correctamente el resultado de un
lanzamiento de moneda. Luego de 10 lanzamientos de monedas el hombre
ebrio acierta correctamente los 10 tiros.
3 Una mujer anciana afirma que tiene la habilidad de distinguir si en una
preparación de café con leche fue introducido primero o el café o la leche.
Se preparan 10 tazas de café con leche introduciendo en un orden aleatorio
el café y la leche. La anciana acierta el orden en las 10 preparaciones.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 17 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de información

¿Qué respuesta escoger?

Analicemos estos tres casos para tener una idea:


1 Un músico experto, especializado en música clásica, afirma que es capaz de
distinguir si una pieza musical es una composición de Beethoven o Mozart.
10 pequeñas piezas musicales de ambos autores son seleccionadas
aleatoriamente y el experimento consiste en tocarlas y que el músico
identifique su procedencia. El músico acierta en los 10 intentos.
2 Un hombre ebrio afirma que puede adivinar correctamente el resultado de un
lanzamiento de moneda. Luego de 10 lanzamientos de monedas el hombre
ebrio acierta correctamente los 10 tiros.
3 Una mujer anciana afirma que tiene la habilidad de distinguir si en una
preparación de café con leche fue introducido primero o el café o la leche.
Se preparan 10 tazas de café con leche introduciendo en un orden aleatorio
el café y la leche. La anciana acierta el orden en las 10 preparaciones.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 18 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de información

¿Qué respuesta escoger?

Analicemos estos tres casos para tener una idea:


1 Un músico experto, especializado en música clásica, afirma que es capaz de
distinguir si una pieza musical es una composición de Beethoven o Mozart.
10 pequeñas piezas musicales de ambos autores son seleccionadas
aleatoriamente y el experimento consiste en tocarlas y que el músico
identifique su procedencia. El músico acierta en los 10 intentos.
2 Un hombre ebrio afirma que puede adivinar correctamente el resultado de un
lanzamiento de moneda. Luego de 10 lanzamientos de monedas el hombre
ebrio acierta correctamente los 10 tiros.
3 Una mujer anciana afirma que tiene la habilidad de distinguir si en una
preparación de café con leche fue introducido primero o el café o la leche.
Se preparan 10 tazas de café con leche introduciendo en un orden aleatorio
el café y la leche. La anciana acierta el orden en las 10 preparaciones.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 19 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de información

¿Qué respuesta escoger?

Si se desea probar la veracidad de las afirmaciones dadas por las personas,


entonces:
1 Si se toma en cuenta solo la información de la muestra, cualquier test
considerará un porcentaje de aciertos del 100% por lo que, con un mismo
nivel de confianza, en todos los casos las afirmaciones dichas por las
personas son ciertas. (¡He aquı́ el enfoque clásico!)
2 Si se toma en cuenta toda la información disponible, entonces los
resultados no tendrı́an sentido! Hay mayores razones para creer en la
autenticidad del músico que de la anciana y, ciertamente, mucho mayor que
en el hombre ebrio. Indudablemente los resultados del experimento
incrementan la veracidad de las afirmaciones pero no podemos, al menos de
forma razonable, afirmar que las tres afirmaciones tienen la misma
confianza. (¡He aquı́ el enfoque bayesiano!)

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 20 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de información

¿Qué respuesta escoger?

Si se desea probar la veracidad de las afirmaciones dadas por las personas,


entonces:
1 Si se toma en cuenta solo la información de la muestra, cualquier test
considerará un porcentaje de aciertos del 100% por lo que, con un mismo
nivel de confianza, en todos los casos las afirmaciones dichas por las
personas son ciertas. (¡He aquı́ el enfoque clásico!)
2 Si se toma en cuenta toda la información disponible, entonces los
resultados no tendrı́an sentido! Hay mayores razones para creer en la
autenticidad del músico que de la anciana y, ciertamente, mucho mayor que
en el hombre ebrio. Indudablemente los resultados del experimento
incrementan la veracidad de las afirmaciones pero no podemos, al menos de
forma razonable, afirmar que las tres afirmaciones tienen la misma
confianza. (¡He aquı́ el enfoque bayesiano!)

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 21 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de información

¿Qué respuesta escoger?

Si se desea probar la veracidad de las afirmaciones dadas por las personas,


entonces:
1 Si se toma en cuenta solo la información de la muestra, cualquier test
considerará un porcentaje de aciertos del 100% por lo que, con un mismo
nivel de confianza, en todos los casos las afirmaciones dichas por las
personas son ciertas. (¡He aquı́ el enfoque clásico!)
2 Si se toma en cuenta toda la información disponible, entonces los
resultados no tendrı́an sentido! Hay mayores razones para creer en la
autenticidad del músico que de la anciana y, ciertamente, mucho mayor que
en el hombre ebrio. Indudablemente los resultados del experimento
incrementan la veracidad de las afirmaciones pero no podemos, al menos de
forma razonable, afirmar que las tres afirmaciones tienen la misma
confianza. (¡He aquı́ el enfoque bayesiano!)

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 22 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de probabilidad

1 Descubriendo el enfoque bayesiano: conceptos necesarios


El concepto de modelo
El concepto de información
El concepto de probabilidad

2 Conceptos matemáticos y estadı́sticos necesarios


Notaciones básicas del curso
Resultados de probabilidad importantes

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 23 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de probabilidad

¿Qué es la probabilidad?

La definición formal de probabilidad es dada por la teorı́a de la


medida. Sin embargo, su interpretación puede variar:
Interpretación clásica
La probabilidad de cualquier evento se define como el ratio entre el
número de resultados favorables con el número total de resultados
experimentales posibles
Número de resultados favorables
P(A) =
Total de resultados posibles
Esta interpretación asume que todos los eventos elementales tienen la
misma posibilidad de ocurrir, pero ...

¿Cómo podemos reconocer eventos elementales de igual probabilidad? ¿En todo


experimento aleatorio los eventos elementales tiene igual posibilidad de ocurrir?

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 24 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de probabilidad

¿Qué es la probabilidad?

La definición formal de probabilidad es dada por la teorı́a de la


medida. Sin embargo, su interpretación puede variar:
Interpretación clásica
La probabilidad de cualquier evento se define como el ratio entre el
número de resultados favorables con el número total de resultados
experimentales posibles
Número de resultados favorables
P(A) =
Total de resultados posibles
Esta interpretación asume que todos los eventos elementales tienen la
misma posibilidad de ocurrir, pero ...

¿Cómo podemos reconocer eventos elementales de igual probabilidad? ¿En todo


experimento aleatorio los eventos elementales tiene igual posibilidad de ocurrir?

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 25 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de probabilidad

¿Cuáles son las interpretaciones de la probabilidad?

Interpretación frecuentista
Dado un evento A, se define
m
P(A) = lim ,
n→∞ n

donde m es el número de veces que A ha ocurrido en n ensayos


experimentales idénticos e independientes.

Problemas:
El lı́mite no puede ser entendido como un lı́mite matemático.
En experimentos reales, n no llega a infinito y por tanto no existe
forma de asegurar la existencia de tal lı́mite.
Esta definiciı́on está limitada a eventos observables; sin embargo ...
también evaluamos eventos no observables!

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 26 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de probabilidad

¿Cuáles son las interpretaciones de la probabilidad?


Interpretación subjetiva
La probabilidad de un evento A es una medida del grado de creencia (de
un individuo) sobre el evento A. Esta probabilidad es denotada por

P(A|H),

donde H representa el conjunto de información disponible (historia) del


individuo.
Por ejemplo, sea A el evento “está lloviendo en Desaguadero, Bolivia”.
Si uno se encuentra en Lima y no sabe nada acerca del clima en
Desaguadero afirma ,razonablemente,

P(A|H1 ) = 0.5, (1)

donde H1 representa el conocimiento del individuo.


Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 27 / 41
Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de probabilidad

¿Cuáles son las interpretaciones de la probabilidad?

Por otro lado, una persona local de Puno podrı́a establecer que

0.75 , si llueve en Puno.
P(A|H2 ) = (2)
0.25 , si no llueve en Puno.

Pero alguien en Desaguadero establece que



1 , si llueve.
P(A|H3 ) = (3)
0 , si no llueve.

Note que H1 ⊂ H2 ⊂ H3 y A ⊂ H3 . Los valores de P(A|H) no son iguales


porque dependen de la información de cada individuo, la cual es
diferente para cada caso.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 28 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de probabilidad

¿Qué se hace en inferencia bayesiana?

Note también que con la interpretación subjetiva se puede asociar una


probabilidad para los casos no resueltos por las otras escuelas.
Sin embargo, ¿Es objetivo basarse en el grado de creencia de un
individuo cualquiera? ¿Cómo usar la historia de la manera más
objetiva posible?

El enfoque bayesiano consiste en hacer uso de la información priori


disponible y actualizarla mediante la información dada por la muestra con
el fin de reforzar sus creencias sobre un evento de interés.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 29 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de probabilidad

¿Qué se hace en inferencia bayesiana?

Note también que con la interpretación subjetiva se puede asociar una


probabilidad para los casos no resueltos por las otras escuelas.
Sin embargo, ¿Es objetivo basarse en el grado de creencia de un
individuo cualquiera? ¿Cómo usar la historia de la manera más
objetiva posible?

El enfoque bayesiano consiste en hacer uso de la información priori


disponible y actualizarla mediante la información dada por la muestra con
el fin de reforzar sus creencias sobre un evento de interés.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 30 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de probabilidad

El enfoque bayesiano: una nueva filosofı́a


Conocimiento previo: Apriori

𝑃 𝜃 𝑃 𝐷𝑎𝑡𝑜𝑠 𝜃)
𝑃 𝜃 𝐷𝑎𝑡𝑜𝑠) =
𝑃(𝐷𝑎𝑡𝑜𝑠)
Conocimiento de los
Conocimiento
datos: Verosimilitud
actualizado: A posteriori

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 31 / 41


Descubriendo el enfoque bayesiano: conceptos necesarios El concepto de probabilidad

Una nueva filosofı́a ha nacido: la filosofı́a bayesiana

Lo que “sabemos” hoy no es lo que “sabremos” mañana


C. A. S.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 32 / 41


Conceptos matemáticos y estadı́sticos necesarios Notaciones básicas del curso

1 Descubriendo el enfoque bayesiano: conceptos necesarios


El concepto de modelo
El concepto de información
El concepto de probabilidad

2 Conceptos matemáticos y estadı́sticos necesarios


Notaciones básicas del curso
Resultados de probabilidad importantes

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 33 / 41


Conceptos matemáticos y estadı́sticos necesarios Notaciones básicas del curso

¿Qué notaciones se usarán en el curso?

Sean X = (X1 , . . . , Xp )0 , Y = (Y1 , . . . , Yq )0 y Z = (Z1 , . . . , Zr )0 tres


vectores aleatorios definidos sobre los espacios muestrales X , Y y Z
respectivamente (p, q, r ≥ 1).
Notaciones
1 p(x, y, z) representa la función de probabilidad conjunta de X, Y y Z.

2 p(x) denota la función de probabilidad (o densidad) marginal de X.


3 p(z|x, y) denota la función de probabilidad (densidad) condicional de
Z|X = x, Y = y.
4 X ∼ p denota que X tiene función de probabilidad p.
D
5 X → p denota que X converge en distribución a la variable aleatoria
con densidad p.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 34 / 41


Conceptos matemáticos y estadı́sticos necesarios Resultados de probabilidad importantes

1 Descubriendo el enfoque bayesiano: conceptos necesarios


El concepto de modelo
El concepto de información
El concepto de probabilidad

2 Conceptos matemáticos y estadı́sticos necesarios


Notaciones básicas del curso
Resultados de probabilidad importantes

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 35 / 41


Conceptos matemáticos y estadı́sticos necesarios Resultados de probabilidad importantes

¿Qué resultados de probabilidad se usarán?


Resultados del cálculo de probabilidad importantes
Sean X = (X1 , . . . , Xp )0 , Y = (Y1 , . . . , Yq )0 y Z = (Z1 , . . . , Zr )0 definidos
como antes. Entonces:
Z
p(x) = p(x, y)dy. (4)
Y

p(x, y)
p(x|y) = . (5)
p(y)
Z
p(x|z) = p(x, y|z)dy. (6)
Y

p(x, y|z)
p(x|y, z) = . (7)
p(y|z)

Si las variables son discretas las integrales se cambian por sumas.


Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 36 / 41
Conceptos matemáticos y estadı́sticos necesarios Resultados de probabilidad importantes

¿Qué resultados de probabilidad se usarán?


Resultados del cálculo de probabilidad importantes
Sean X = (X1 , . . . , Xp )0 , Y = (Y1 , . . . , Yq )0 y Z = (Z1 , . . . , Zr )0 definidos
como antes. Entonces:
Z
p(x) = p(x, y)dy. (8)
Y

p(x, y)
p(x|y) = . (9)
p(y)
Z
p(x|z) = p(x, y|z)dy. (10)
Y

p(x, y|z)
p(x|y, z) = . (11)
p(y|z)

Si las variables son discretas las integrales se cambian por sumas.


Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 37 / 41
Conceptos matemáticos y estadı́sticos necesarios Resultados de probabilidad importantes

¿Qué resultados de probabilidad se usarán?

Transformación de vectores aleatorios


Sean X y Y dos vectores aleatorios p−dimensionales definidos sobre los
espacios continuos X e Y, respectivamente. Si X e Y están relacionadas
mediante la transformación Y = g (X), siendo g biyectiva e inversa
g −1 = h ambas diferenciables. Entonces, las densidades de f (x) y p(y) se
relacionan mediante
 
∂h(y)
p(y) = f (h(y)) · abs
, y ∈ Y = g (X ), (12)
∂y

donde ∂h(y)
∂y denota el Jacobiano de h (el determinante de la matriz

∂h(y)
∂y ).

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 38 / 41


Conceptos matemáticos y estadı́sticos necesarios Resultados de probabilidad importantes

¿Qué resultados de probabilidad se usarán?

Proposición 1
Sean X e Y dos vectores aleatorios p−dimensionales con matrices de
covarianzas A = V (X) y B = V (Y). A > B si y solo si

V (b 0 X) > V (b 0 Y), ∀b ∈ Rp − {0}. (13)

Proposición 2
Sean X e Y dos variables aleatorios, entonces se cumplen las siguientes
dos identidades:
E(X ) = E(E(X |Y )) (14)
V (X ) = E(V (X |Y )) + V (E(X |Y )). (15)

Ejercicio
1 Pruebe la proposición dos para el caso de vectores aleatorios.
Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 39 / 41
Conceptos matemáticos y estadı́sticos necesarios Resultados de probabilidad importantes

¿Qué resultados de probabilidad se usarán?

Proposición 3
Si X e Y son dos vectores aleatorios y h : Y → R una función medible,
entonces
E(h(Y) · X|Y) = h(Y)E(X|Y) (16)

Proposición 4
Si X es una variable aleatoria positiva, entonces
Z ∞
E(X ) = P(X > x)dx. (17)
0

Ejercicio
1 Pruebe la proposición 4.

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 40 / 41


Conceptos matemáticos y estadı́sticos necesarios Resultados de probabilidad importantes

¿Preguntas?

Christian Amao Suxo (UNI) Introducción a la inferencia bayesiana Marzo, 2018 41 / 41