Maestra en Ingeniera nfasis en Telecomunicaciones. Universidad del Quindo.

Tarea 1. Entropa
Bolaos, Ana Isabel
aibolanosm@uqvirtual.edu.co
Universidad del Quindo

1. Asuma las probabilidades conjuntas p (x; y) presentadas en la Tabla 1. Encuentre:

(a)
(b)
(c)
(d)
(e)
(f)
(g)

() ()
(/) (/)
(, )
() (/)
(; )
Dibuje el diagrama de Venn para las cantidades en los numerales (a) a (e)
Realice un programa en Matlab que genere un par de variables aleatorias con las probabilidades conjuntas de la
Tabla 1. Compruebe las cantidades encontradas en los numerales (a) a (e).
1 p(x)
\ 0
0
1/2 1/4 3/4
1
0 1/4 1/4
p(y) 1/2 1/2
1
3 1

1 1

(a) La distribucin marginal de X es (4 , 4) y la distribucin marginal de Y es (2 , 2), entonces:

() = ()2 () = ()2

1
()

3
4 1
() = 2 + 2 4 = 0.31125 + 0.5 = 0.81125
4
3 4
1
1
() = 2 2 + 2 2 = 0.5 + 0.5 = 1
2
2
(b) La entropa condicional est dada por:
(/) = ( = )(/ = )

(/) = ( = )(/ = )

(/) = ( = )(/ = ) = ( = 1)(/ = 1) + ( = 2)(/ = 2)

=1

1
1
1 1
1
(/) = (1,0) + ( , ) =
2
2
2 2
2

Teora de la Informacin - 2015

Maestra en Ingeniera nfasis en Telecomunicaciones. Universidad del Quindo.

3
2 1
1
(/) = ( , ) + (0,1) = 0.6887
4
3 3
4
(c) La entropa conjunta est dada por:
(, ) = () + (/) = () + (/)
(, ) = 0.81125 + 0.6887 = 1.49995
(d) () (/) = 1 0.6887 = 0.3113
(e) La informacin mutua est dada por:
(; ) = () + () (, ) = 0.81125 + 1 1.49995 = 0.3113
(f) Diagrama de Venn
H(X,Y)=1.5 bits
H(X)

H(Y)

I(X;Y)
0.3113 bits
H(X/Y) = 0.5 bits

H(Y/X) = 0.6887 bits

(g) Programa en Matlab

%% TAREA 1: ENTROPA
%ANA ISABEL BOLAOS
%UNIVERSIDAD DEL QUINDO
%TEORA DE LA INFORMACION
%MAESTRA EN INGENIERA
clc;
clear all;
n=100000;
u1=rand(n,1)';%Se genera un vector aleatorio de longitud n que servir para generar la
V.A X
u2=rand(n,1)';%Se genera un vector aleatorio de longitud n que servir para generar la
V.A Y
X=1*(u1<=1/4)+0*(u1>1/4);%Se genera la V.A X con una probabilidad de 1/4 de que sea 1
Y=(X==0).*1.*(u2<=1/3)+(X==1).*1;%Se genera la V.A Y condicionada a los valores de X y
de esta manera generar la tabla de distribucin conjunta.
%La V.A Y siempre va a ser 1 cuando X==1
%Tabla de frecuencias de cada V.A

Teora de la Informacin - 2015

Maestra en Ingeniera nfasis en Telecomunicaciones. Universidad del Quindo.

disp('V.A. X')
tabulate(X)
disp('V.A. Y')
tabulate(Y)
%Se almacenan las tablas de frecuencias en las variables x y y, respectivamente
x=tabulate(X);
y=tabulate(Y);
disp('Distribucin Conjunta')
a=crosstab(X,Y)/n%Se genera la tabla de distribucin conjunta con ayuda de la funcin
de tabulacin cruzada en Matlab
%Vectores que almacenan las Probabilidades de x y y
disp('Probabilidades')
px=[x(1,3)/100 x(2,3)/100]
py=[y(1,3)/100 y(2,3)/100]
disp('Entropia de X')
Hx = entropia_TI(px)%Se crea una funcin que calcula la entropa
disp('Entropia de Y')
Hy = entropia_TI(py)
Hxdadoy=0; % Inicializacin de variable
Hydadox=0;
for i=1:2
Haux=py(i)*entropia_TI([a(1,i)/py(i) a(2,i)/py(i)]);
Hxdadoy=Hxdadoy+Haux;
end
disp('Entropa de X dado Y: H(X/Y)')
Hxdadoy
for i=1:2 % para cada fila
Haux=px(i)*entropia_TI([a(i,1)/px(i) a(i,2)/px(i)]);
Hydadox=Hydadox+Haux;
end
disp('Entropa de Y dado X: H(Y/X)')
Hydadox
disp('H(X,Y)')
Hxy=Hx+Hydadox
disp('I(X;Y)')
Ixy=Hx-Hxdadoy

Funcin entropa_TI
function H = entropia_TI(x)
%Funcin que calcula la entropa y recibe un vector de probabilidades como
%parmetro
H= sum(-(x(x>0).*(log2(x(x>0)))));
end

Resultados Obtenidos
V.A. X
Value Count
0 74939
1 25061
V.A. Y
Value Count
0 50016
1 49984

Percent
74.94%
25.06%
Percent
50.02%
49.98%

Teora de la Informacin - 2015

Maestra en Ingeniera nfasis en Telecomunicaciones. Universidad del Quindo.

Distribucin Conjunta
a=
0.5002 0.2492
0
0.2506
Probabilidades
px =
0.7494 0.2506
py =
0.5002 0.4998
Entropia de X
Hx =
0.8122
Entropia de Y
Hy =
1.0000
Entropa de X dado Y: H(X/Y)
Hxdadoy =
0.4998
Entropa de Y dado X: H(Y/X)
Hydadox =
0.6876
H(X,Y)
Hxy =
1.4998
I(X;Y)
Ixy =
0.3124
2. En la serie final de la NBA se encuentran dos equipos R y T. Gana la serie el equipo que consiga ganar 4 partidos.
Sea X una variable aleatoria que representa la serie, por ejemplo RRRR, o RTRTRTR, y considere Y el nmero
de juegos realizados, que va de 4 a 7. Asumiendo que cada equipo tiene igual oportunidad de ganar, y que los
juegos son independientes, calcule:
(a)
(b)
(c)
(d)
(e)

() ()
(/) (/)
(, )
() (/)
(; )

= .
= . : 4, 5, 6 7
De acuerdo a las condiciones del problema, hay dos formas en las cuales la Serie Final de la NBA slo dure cuatro
juegos y es cuando alguno de los dos equipos gane los 4 partidos, es decir, RRRR y TTTT.
Para que la serie dure 5 juegos, existen ocho posibilidades:
RRRTR
RRTRR
RTRRR
TRRRR

TTTRT
TTRTT
TRTTT
RTTTT

Teora de la Informacin - 2015

Maestra en Ingeniera nfasis en Telecomunicaciones. Universidad del Quindo.

Se puede observar que para ganar la serie cada equipo debe ganar el ltimo juego y tres de los partidos restantes. Por
ejemplo, una serie puede durar 6 juegos si el ganador gana tres de los cinco primeros juegos y gana el ltimo. Cuando
el nmero de juegos aumenta ya no es tan fcil visualizar las posibilidades, por esta razn se recurre a la distribucin
binomial negativa, donde la variable aleatoria X representa el nmero de pruebas de Bernoulli (pruebas
independientes en las cuales slo se puede obtener un resultado: xito o fracaso) hasta que ocurra el r-simo xito,
incluyendo la prueba en que ocurre ste (Spiegel, Schiller, & Srinivasan, 2014).
1
() = ( = ) = (
) : = , + 1,
1
En el problema de estudio se toma como xito que cualquiera de los equipos gane el partido y la probabilidad para que
esto suceda es de ya que slo hay dos posibilidades: ganar o perder.
( = ) = probabilidad de que ocurran r xitos en k partidos y que el ltimo de ellos que es el r-simo, ocurra en
el k-simo partido que es el ltimo.
= nmero de xitos, que sera igual a 4 que corresponden a los 4 partidos que se deben ganar
= nmero de partidos para obtener r xitos, k tomara valores de 4, 5, 6 y 7
= p (xito)=1/2
= p (fracaso) = 1-p = 1/2
41
3
( = 4) = (
) (1/2)4 (1/2)44 = ( ) (1/2)4 (1/2)0 = 1(1/2)4 = 1/16
41
3
4
51
( = 5) = (
) (1/2)4 (1/2)54 = ( ) (1/2)4 (1/2)1 = 4(1/2)5 = 1/8
3
41
61
5
( = 6) = (
) (1/2)4 (1/2)64 = ( ) (1/2)4 (1/2)2 = 10(1/2)6 = 5/32
41
3
71
6
( = 7) = (
) (1/2)4 (1/2)74 = ( ) (1/2)4 (1/2)3 = 20(1/2)7 = 5/32
41
3
Se debe tener en cuenta que al ser dos equipos los que tienen la posibilidad de ganar la serie mundial, los resultados
posibles de la serie deben duplicarse.
Si = . = 70
1
16
1
8 () =
32
=
1
20 () =
64
1
40

()
=
{
128
2 () =

(a) La entropa de X y la entropa de Y son:

() = 2

1
1
1
1
1 5 15 35 93
2 16 + 8 2 32 + 20 2 64 + 40
2 128 = + +
+
=
= 5.8125
16
32
64
128
2 4 8 16 16

1
1
5
16 5
16 3 1
() = 2 8 + 2 4 + 2
+ 2
= + + 0.5243 + 0.5243 = 1.9238
8
4
16
5 16
5
8 2

Teora de la Informacin - 2015

Maestra en Ingeniera nfasis en Telecomunicaciones. Universidad del Quindo.

(b) La entropa condicional (/) es la cantidad de incertidumbre en X conocida Y y (/) es la cantidad de

incertidumbre en Y conocida X. En este caso si se conoce el resultado de la serie (X), la incertidumbre en Y es
cero.
(/) = 0
Lo anterior se puede representar de la siguiente manera:

H(X) = H(X,Y)
H(X/Y)

H(Y)

I(X;Y)

(, ) = () + (/) = () + (/)
(/) = (, ) () = 5.8125 1.9238 = 3.8887

(c) La entropa conjunta est dada por (, ) = () + () = () + 0 = () = 5.812

(d) () (/) = 1.9238 0 = 1.9238
(e) La informacin mutua est dada por:
(; ) = () + () (, ) = 5.8125 + 1.9238 5.8125 = 1.9238 = ()
3. Suponga que X es una variable aleatoria discreta con valores positivos o negativos, y Y una funcin de X.
(a) Demuestre que () ()
(b) La relacin entre () () si:
i.
ii.

= cos( 10 )

(a) Sea Y=f(X),

Utilizando la regla de la cadena para entropa:

(1 , 2 , , ) = ( |1 , , 1 )
=1

Teora de la Informacin - 2015

Maestra en Ingeniera nfasis en Telecomunicaciones. Universidad del Quindo.

(, ()) = () + (()|)
Como se haba indicado anteriormente (()|) es la cantidad de incertidumbre en () si se conoce , como ()
es una funcin de , esta incertidumbre es cero.
(()|) = 0
(, ()) = ()
Si se aplica nuevamente la regla de la cadena, se tiene:
(, ()) = (()) + (|())
(|()) 0, la igualdad se da cuando es una funcin de () o () es una funcin inyectiva.
(, ()) (())
() (())
() ()
De acuerdo a lo anterior, se deduce que si es una funcin de la variable aleatoria , pueden ocurrir dos cosas con
(), que se reduzca o que se haga igual a ().
(b) Si graficamos = , se obtiene:

Y=e^X
25

20
15
10
5
0
-4

-3

-2

-1

Como se indic en el literal (a) la igualdad se da cuando () es una funcin inyectiva, as que lo que se debe analizar
es el comportamiento de la funcin.
= es una funcin inyectiva porque no existen dos puntos en los que la funcin toma el mismo valor (Salas &
Hille, 1984), por lo tanto () = ().

Por su parte, la grfica de = cos( 10 ) es:

Teora de la Informacin - 2015

Maestra en Ingeniera nfasis en Telecomunicaciones. Universidad del Quindo.

Y=cos(X*Pi/10)
1,5
1
0,5
0
-30

-20

-10

10

20

30

-0,5
-1
-1,5

Se puede observar que no corresponde a una funcin inyectiva, por lo tanto () < ().
4. Queremos identificar un objeto aleatorio ~(). Se realiza una pregunta aleatoria ~(), independiente de .
El resultado es una respuesta determinista = (, ) {1 , 2 , }. Demuestre que (; , ) = (/).
Interprete este resultado. Demuestre que realizar dos preguntas tiene menos valor que el doble de una sola.
(; , ) = (/)
(; , ) = (, ) (, |)
(; , ) = () + (|) (, |)
(; , ) = () + (|) (|) (|, )
(; , ) = () + (|) () (|, )

(; , ) = () + (|) ()
(; , ) = (|)

(; ) = () (|)
(, ) = () + (|)
(, |) = (|) + (|, )
(; ) = () (|) => Si y son
independientes, entonces (; ) = 0, por lo tanto
() = (|). Para el ejercicio ~() es
independiente de , entonces (|) = ().
El resultado es una respuesta determinista
=
(, ) {1 , 2 , }, por lo tanto, (|, ) = 0
La reduccin en la incertidumbre de debido a , es
igual a la cantidad de incertidumbre de si se conoce

Para demostrar que realizar dos preguntas tiene menos valor que el doble de una sola, se procede de la siguiente manera:
(; 1 , 1 , 2 , 2 ) = (; 1 ) + (; 1 |1 ) + (; 2 |1 , 1 ) + (; 2 |1 , 1 , 2 )
(; 1 , 1 , 2 , 2 ) = (; 1 |1 ) + (; 2 |1 , 1 ) + (; 2 |1 , 1 , 2 )
(; 1 , 1 , 2 , 2 ) = (; 1 |1 ) + (2 |1 , 1 ) (2 |, 1 , 1 ) + (; 2 |1 , 1 , 2 )

Se aplica Regla
de la Cadena
y 1 son
independientes
2
es
independiente de
, 1 , 1

(; 1 , 1 , 2 , 2 ) = (; 1 |1 ) + (; 2 |1 , 1 , 2 )
(; 1 , 1 , 2 , 2 ) = (; 1 |1 ) + (2 |1 , 1 , 2 ) (2 |, 1 , 1 , 2 )

Teora de la Informacin - 2015

La cantidad de
incertidumbre
de 2
si
se

Maestra en Ingeniera nfasis en Telecomunicaciones. Universidad del Quindo.

conoce , 2 es
cero
La cantidad de
incertidumbre en
2
(segunda
pregunta)
es
menor porque ya
se realiz la
primera pregunta
Se aplica lo
demostrado en el
literal (a)

(; 1 , 1 , 2 , 2 ) = (; 1 |1 ) + (2 |1 , 1 , 2 )

(; 1 , 1 , 2 , 2 ) (; 1 |1 ) + (2 |2 )
(; 1 , 1 , 2 , 2 ) 2(; 1 |1 )

5. Dada una variable aleatoria X con tres posibles valores [a, b, c], considere las dos distribuciones mostradas en la
Tabla 2, y calcule:
(a) () ()
(b) (||) (||)

a
b
c

p(x)
1/2
1/4
1/4

q(x)
1/3
1/3
1/3

(a) () ()
1
2
() = 2 2 + 2 4 = 0.5 + 1 = 1.5
2
4
3
() = 2 3 = 1.5850
3
(b) (||) (||)
(||) = ()2

()
()

1
1
1
2
1
3 2
3
2
(||) = 2 + 2 4 = 2 + 2 = 0.2924 0.2075 = 0.0848
1 4
1 2
2
2 4
4
3
3
1
1
1
1
1
1
1
2 1
4 1
4
3
3
(||) = 2 + 2 + 2 3 = 2 + 2 + 2 = 0.19499 + 0.27669
1 3
1 3
1 3
3
3 3
3 3
3
2
4
4
= 0.0817

Teora de la Informacin - 2015

Maestra en Ingeniera nfasis en Telecomunicaciones. Universidad del Quindo.

I. BIBLIOGRAFA
Cover, T., & Thomas, J. (2006). Elements of Information Theory. Hoboken, New Jersey: John Wiley & Sons, Inc.
Salas, S. L., & Hille, E. (1984). Calculus de una y varias variables con Geometra analtica. Caracas: Editorial Reverte
Venezolana. S. A.
Spiegel, M. R., Schiller, J., & Srinivasan, R. (2014). Probabilidad y estadstica. Naucalpan de Jurez: Mc Graw Hill.

Teora de la Informacin - 2015

10