Apresentação ICA

Analise de Componentes Independentes
Nicols Bulla1
1 Departamento de Engenharia Eltrica
Universidade Federal do Rio de Janeiro
ICA, 2015
Nicols Bulla (UFRJ)
ICA, 2015
1 / 79
Roteiro
1
Introduo
Conceito bsico
Representao lineal de dados multivarivel
Separao cega de fontes
Analise de componentes independentes
Vetores Aleatrios e Independncia

As distribuies de probabilidade e densidades
Expectativa e momentos
No-correlao e independncia
Densidade condicional e regra de Bayes
Densidade gaussiana multivarivel
Densidade de uma transformao
Estatstica de ordem superior
Processos estocsticos
Nicols Bulla (UFRJ)
ICA, 2015
2 / 79
Roteiro
1
Introduo
Conceito bsico

Nicols Bulla (UFRJ)
ICA, 2015
3 / 79
Conceito bsico
ICA um mtodo para encontrar factores subjacentes ou componentes

de dados estatsticos multidimensionais.
A diferena de outros mtodos, ICA procura que os componentes
sejam independentes estatsticamente e no-gaussianos.
Nicols Bulla (UFRJ)
ICA, 2015
4 / 79
Roteiro
1
Introduo
Conceito bsico

Nicols Bulla (UFRJ)
ICA, 2015
5 / 79
Ajuste estatstico geral
Como encontrar a representao adequada dos dados multivarivel:

mais visvel ou acessvel.
Qual deveria ser a funo tal que a varivel transformada entregue
informao dos dados que de outro modo estariam ocultos num
grande nmero de dados: fatores ou componentes subjacentes.
Nicols Bulla (UFRJ)
ICA, 2015
6 / 79

Assumindo: xi (t) observaes, i = 1, ..., m e t = 1, ..., T
m nmero de variveis, e T nmero de observaes
X
yi (t) =
wij xj (t)
j
para i = 1, ..., n, j = 1, ..., m

wij so coeficientes.
y1 (t)
y2 (t)
..
.
yn (t)
Nicols Bulla (UFRJ)
= W
x1 (t)
x2 (t)
..
.
xm (t)
ICA, 2015
7 / 79
Para determinar o vetor W so usados alguns princpios estatsticos:

Reduo das dimenses: so escolhidas as componentes com maior
informao (PCA).
Independncia estatstica: nenhum valor de uma componente deve dar
informao de algum valor em outra componente.
Nicols Bulla (UFRJ)
ICA, 2015
8 / 79
Roteiro
1
Introduo
Conceito bsico

Nicols Bulla (UFRJ)
ICA, 2015
9 / 79
chamada de cega porque temos muito pouco conhecimento sobre as

fontes originais.
Assumindo trs sinais observadas x1 (t), x2 (t), x3 (t), e os sinais
originais s1 (t), s2 (t), s3 (t).
xi (t) representa a soma ponderada de si (t) onde os coeficientes dependem
da distncia entre a fonte e o sensor.
x1 (t) = a11 s1 (t) + a12 s2 (t) + a13 s3 (t)
x2 (t) = a21 s1 (t) + a22 s2 (t) + a23 s3 (t)
x3 (t) = a31 s1 (t) + a32 s2 (t) + a33 s3 (t)
Nicols Bulla (UFRJ)
ICA, 2015
10 / 79
Podemos assumir que os coeficientes de mistura aij so

suficientemente diferentes para fazer invertvel a matriz que eles
formam.
Existe uma matriz W de coeficientes wij que pode separa si .
s1 (t) = w11 x1 (t) + w12 x2 (t) + w13 x3 (t)
s2 (t) = w21 x1 (t) + w22 x2 (t) + w23 x3 (t)
s3 (t) = w31 x1 (t) + w32 x2 (t) + w33 x3 (t)
Nicols Bulla (UFRJ)
ICA, 2015
11 / 79
Como estimar os coeficientes wij ?

Considerando a independncia estatstica dos sinais
(no-gaussianidade) possvel determinar os coeficientes wij .
y1 (t) = w11 x1 (t) + w12 x2 (t) + w13 x3 (t)
y2 (t) = w21 x1 (t) + w22 x2 (t) + w23 x3 (t)
y3 (t) = w31 x1 (t) + w32 x2 (t) + w33 x3 (t)
Se as sinais y1 , y2 , y3 so independentes, ento so iguais as sinais
originais s1 , s2 , s3 .
Nicols Bulla (UFRJ)
ICA, 2015
12 / 79
Roteiro
1
Introduo
Conceito bsico

Nicols Bulla (UFRJ)
ICA, 2015
13 / 79
Dado um conjunto de observaes de variveis aleatrias x1 (t), x2 (t),

x3 (t), assuma-se uma mistura lineal de componentes independentes:
s1 (t)
x1 (t)
s2 (t)
x2 (t)
.. = A ..
.
.
xn (t)
sn (t)
onde A uma matriz desconhecida.

ICA consiste em estimar A e si (t), somente conhecendo xi (t).
preciso que os componentes si (t) sejam no-gaussianos.
Nicols Bulla (UFRJ)
ICA, 2015
14 / 79

Aplicaes
Imagens do crebro.
Econometria
Extrao de caractersticas em imagens.
Como encontrar os componentes independentes?

No suficiente ser no-correlacionado. PCA no consegue separar
sinais.
Nicols Bulla (UFRJ)
ICA, 2015
15 / 79
Uma decorrelao no-linear o mtodo bsico do ICA.

Se s1 e s2 so independentes, ento qualquer transformao no-linear
g (s1 ) e h(s2 ) so no-correlacionadas.
Principio 1 de estimao de ICA - Decorrelao no-linear.

Encontrada a matriz W para qualquer i 6= j, os componentes yi e yj so
no-correlacionados, e as componentes transformadas g (s1 ) e h(s2 ) so
no-correlacionadas quando g e h so funes no-lineais apropriadas.
Nicols Bulla (UFRJ)
ICA, 2015
16 / 79
Como so escolhidas as funes g e h?

Teoria da estimao: Mtodo do mximo likelihood.
Teoria da informao: Informao mutua.
Os componentes independentes so componentes maximamente

no-gaussianos.
Principio 2 de estimao de ICA - Mxima no-gaussianidade.

P
Encontrar a mxima no-gaussianidade da combinao lineal y = i bi xi
com a restrio que a variana de y constante. Cada mximo local
fornece um componente independente.
Nicols Bulla (UFRJ)
ICA, 2015
17 / 79
Na prtica para medir a no-gaussianidade usada a curtose.

A curtose uma medida de disperso que caracteriza o pico ou
achatamento da curva da funo de distribuio de probabilidade.
A mxima no-gaussianidade apresenta uma conexo entre ICA e a
tcnica busca de projeo e a tcnica de codificao esparsa.
A busca de projeo procura a mxima combinao lineal
no-gaussiana.
A codificao esparse usada em teorias neuro-cientificas para
representar dados com poucas componentes ativas ao mesmo tempo.
Nicols Bulla (UFRJ)
ICA, 2015
18 / 79
A estimao do ICA precisa mais do que a covariana. O ICA utiliza

estatstica de ordem superior.
Os mtodos numricos so tipicamente baseados em otimizao de
algumas funes objetivo. FastICA
Nicols Bulla (UFRJ)
ICA, 2015
19 / 79
Roteiro
1
Introduo
Conceito bsico

Nicols Bulla (UFRJ)
ICA, 2015
20 / 79
Distribuio de uma varivel aleatria

A funo de distribuio cumulativa (cdf) Fx de uma v.a. x no ponto
x = x0 definida como a probabilidade de que x x0
Fx (x0 ) = P(x x0 )
cdf para uma v.a. continua no-negativa, no-decrescente,
0 Fx (x) 1. Fx () = 0 e Fx (+) = 0
Usualmente a distribuio de probabilidade caracterizada em termos
da funo de densidade em vez da sua cdf.
Formalmente a funo de densidade de probabilidad (pdf) px (x) de
uma v.a. x determinada pela derivada da cdf.
px (x0 ) =
Nicols Bulla (UFRJ)
dFx (x)
|x=x0
dx
ICA, 2015
21 / 79

Na prtica a cdf calculada a partir pdf conhecida usando a relao
inversa.
2
Z x0
d
Fx (x0 ) =
exp
2
Exemplo: A distribuio Gaussiana. m: mdia, : desvio padro

(x m)2
exp
px (x) =
2 2
2 2
1
Nicols Bulla (UFRJ)
ICA, 2015
22 / 79
A cdf calculada usando valores tabulados da funo de erro. m = 0

e 2 = 1.
1
erf (x) =
2
Nicols Bulla (UFRJ)
Z
0
2
exp
d
2
ICA, 2015
23 / 79
Distribuio de um vetor aleatrio
Assumimos um vetor aleatrio n-dimensional x = x1 , x2 , ..., xn . Os

componente de x so variveis aleatrias continuas.
A cdf de x definida por Fx (x0 ) = P(x x0 ).
A cdf no-decrescente, 0 FX (x) 1.
FX (x) = 1 se xi +
FX (x) = 0 se xi
A pdf multivarivel px (x) de x a derivada da cdf FX (x) com respeito

a todos os componentes do vec.a. x.
pX (X0 ) =
Nicols Bulla (UFRJ)
...
FX (X) |X=X0
x1 x2 xn
ICA, 2015
24 / 79
x0,1
x0,2
FX (x) =
x0,n
...
pX (X)dxn ...dx2 d1
x0,i o i-esimo componente do vetor x0

Z
pX (X)dx = 1
Nicols Bulla (UFRJ)
ICA, 2015
25 / 79

Exemplo: Assumimos a pdf de vec.a. bi-dimensional z.
3
7 (2 x)(x + y ), x [0, 2], y [0, 1]
pz (z) = px,y (x, y ) =
0,
outros casos
A cpf de z:
Z
Fz (z) = Fx,y (x, y ) =

0
Fz (z) =
Nicols Bulla (UFRJ)
3
(2 )( + )dd
7
0,
3
1 2
1
7 xy (x + y 3 x 4 xy ),
3
1 2
3
7 x(1 + 4 x 3 x ),
6
2
1
7 y ( 3 + 2 y ),
1,
x 0 ou y 0
0 < x 2, 0 < y 1
0 < x 2, y > 1
x > 2, 0 < y 1
x >2ey >1
ICA, 2015
26 / 79
Distribuio conjunta e marginal
A distribuio conjunta de dois vetores aleatrios diferentes pode ser

tratada da mesma forma.
Sejam y e x dois vetores aleatrios de com diferentes dimenses, m e n
respectivamente.
Os vetores x e y podem ser concatenados no vetor zT = (xT , yT ).
A cdf chamada de funo de distribuio conjunta de x e y
Fx,y (x0 , y0 ) = P(x x0 , y y0 )
A funo de densidade conjunta Px,y (x, y) definida pelo diferencial da
funo de distribuio conjunta Fx,y (x, y).
Z x0 Z y0
px,y (, )dd
Fx,y (x0 , y0 ) =
Nicols Bulla (UFRJ)
ICA, 2015
27 / 79
A densidade marginal px (x) de x e py (y) de y obtida integrando

sobre o outro vetor aleatrio na sua densidade conjunta.
Z
px (x) =
px,y (x, )d
px,y (xi, y)d
py (y) =
Nicols Bulla (UFRJ)
ICA, 2015
28 / 79
Exemplo: Considerando a pdf do exemplo anterior, as densidades marginais

so:
Z 1
3
px (x) =
(2 x)(x + y )dy , x [0, 2]
0 7
3
3
2
x [0, 2]
7 (1 + 2 x x )
=
0
outros casos
Z 2
3
(2 x)(x + y )dx, x [0, 1]
py (y ) =
0 7
2
x [0, 1]
7 (2 + 3y )
=
0
outros casos
Nicols Bulla (UFRJ)
ICA, 2015
29 / 79
Roteiro
1
Introduo
Conceito bsico

Nicols Bulla (UFRJ)
ICA, 2015
30 / 79
Na prtica a densidade de probabilidade exata de um vetor ou varivel
escalar aleatria usualmente desconhecida.
Pode ser usado a expectativa de algumas funes de uma varivel
aleatria para o anlise e o processamento.
A expectativa pode ser estimada diretamente com os dados, embora
eles sejam formalmente definidos em termos da funo de densidade.
Seja g(x) uma quantidade caculada a partir de x.
Z
E {g(x)} =
g(x)px (x)dx
A integral calculada sobre todos os componentes de x.

O resultado outro vetor ou matriz do mesmo tamanho.
Se g(x) = x ento E {g(x)} = E {x}.
Nicols Bulla (UFRJ)
ICA, 2015
31 / 79
Propriedades
Linealidade: xi conjunto de vetores aleatrios diferentes, e ai
coeficientes escalares no aleatrios.
( m
)
m
X
X
E
ai x i =
ai E {xi }
i=1
i=1
Transformao lineal: x vetor aleatrio m-dimensional, A e B matrizes

no aleatrias de k m e m l
E {Ax} = AE {x}
E {xB} = E {x}B
Transformao invarincia: seja y = g (x) uma funo vetorial do

vetor x
Z
Z
ypy (y )dy =
g (x)px (x)dx
Nicols Bulla (UFRJ)
ICA, 2015
32 / 79
Vetor de mdias e matriz de correlao

Os momentos de um vetor aleatrio x so tipicamente expectativas
usadas para caracteriz-lo.
O primeiro momento do vetor aleatrio x chamado de vetor de
mdias mx de x.
Z
xpx (x)dx
mx = E {x} =
Cada componente da mxi do n-vetor mx dado por

Z
Z
mxi = E {xi } =
xi px (x)dx =
xi pxi (xi )dxi
pxi a densidade marginal do componente xi de x.
Nicols Bulla (UFRJ)
ICA, 2015
33 / 79
Vetor de mdias e matriz de correlao
O segundo momento permite obter a correlao.

A correlao rij entre os componentes i e j de x est dada por
Z
Z Z
rij = E {xi xj } =
xi xj px (x)dx =
xi xj pxi ,xj (xi , xj )dxj dxi
A matriz de correlao n n Rx = E {xxT } do vetor x representa

todas as correlaes, rij seria o elemento da linhas i e coluna j de Rx
Nicols Bulla (UFRJ)
ICA, 2015
34 / 79
Propriedades da matriz de correlao
uma matriz simtrica Rx = RT

x
Semi definida positiva aT Rx a 0 para todos os n-vetores de a.
Todos os valores prprios de Rx so reais no-negativos. Todos os
vetores prprios de Rx so reais e so mutuamente ortonormais.
Nicols Bulla (UFRJ)
ICA, 2015
35 / 79
Covariana e momento conjunto
Os momentos centrais so definidos de maneira similar aos outros

momentos, mas inclui a substrao do vetor de mdias.
Os momentos centrais s tm significado por encima da primeira
ordem.
A matriz de correlao de Rx chamada de matriz de covariana de
Cx de x
Cx = E {(x mx )(x mx )T }
Os elementos da matriz
cij = E {(xi mi )(xj mj )}
Nicols Bulla (UFRJ)
ICA, 2015
36 / 79
Covariana e momentos conjuntos
A matriz de covariana Cx satisfaz as mesmas propriedades da matriz

de correlao Rx .
Usando as propriedades da expectativa
Rx = Cx + mx mT
x
Se mx = 0 ento Rx = Cx
Se preciso durante o preprocessamento dos dados a igualada a
zero.
Nicols Bulla (UFRJ)
ICA, 2015
37 / 79
Para uma v.a. simples x, o vetor de mdias reduiz-se a mx = E {x}.

A matriz de correlao ao segundo momento E {x 2 }.
A matriz de covariana a variana de x.
x2 = E {(x mx )2 }
Com isso possvel chegar a E x 2 = 2 x + mx2
Nicols Bulla (UFRJ)
ICA, 2015
38 / 79
A operao da expectativa pode ser estendida para vetores aleatrios

em termos da sua densidade conjunta.
Z Z
E {g(x, y)} =
g(x, y)px,y (x, y)dydx
A expectativa conjunta mais usada a matriz de correlao cruzada

Rxy = E {xyT }
e a matriz de covariana cruzada
Cxy = E {(x mx )(y my )T }
Nicols Bulla (UFRJ)
ICA, 2015
39 / 79
As matrizes cruzadas no so necessariamente quadradas.

Rxy = RT
xy ,
Cxy = CT
xy ,
Se o vetor de mdias de x e y as matrizes de correlao cruzada e

covariana cruzada so a mesma.
A matriz de covariana Cx+y da soma de dois vetores aleatrios x e y
tendo a mesma dimenso usado frequentemente na prtica.
Cx+y = Cx + Cxy + Cyx + Cy
Nicols Bulla (UFRJ)
ICA, 2015
40 / 79
Nicols Bulla (UFRJ)
ICA, 2015
41 / 79
Estimao da expectativa
Usualmente a densidade de probabilidade de um vetor aleatrio x
desconhecido, mas esto disponveis um conjunto de K amostras
x1 , ..., xK .
A expectativa estimada
K
1 X
E {g(x)}
g (xj )
K
j=1
Exemplo: Obtemos para o vetor de mdias mx de x seu estimado

padro, a mdia das amostras
K
1 X
m
xj
x =
K
j=1
Nicols Bulla (UFRJ)
ICA, 2015
42 / 79
Estimao da expectativa
Se em lugar da densidade conjunta px,y dos vetores aleatrios x e y,
conhecemos K pares de amostras (x1 , y1 ), ..., (xK , yK ), a expectativa
conjunta estimada
E {g(x,y)}
K
1 X
g (xj , yj )
K
j=1
Para a matriz de correlao cruzada

K
X
xy = 1
R
xj yT
j
K
j=1
Formulas similares so facilmente obtidas para outros tipos de

matrizes de correlao.
Nicols Bulla (UFRJ)
ICA, 2015
43 / 79
Roteiro
1
Introduo
Conceito bsico

Nicols Bulla (UFRJ)
ICA, 2015
44 / 79
No-correlao e brancura
Dois vetores aleatrios so no-correlacionados se a sua matriz de
covariana cruzada uma matriz zero
Cxy = E {(x mx )(y my )T } = 0
equivalente condio
Rxy = E {(xyT } = E {x}E {yT } = mx mT
y
Duas variveis aleatrios escalares diferentes, x e y so
no-correlacionadas se sua covariana cxy zero
cxy = E {(x mx )(y my )} = 0
Equivalentemente
rxy = E {xy } = E {x}E {y } = mx my
Nicols Bulla (UFRJ)
ICA, 2015
45 / 79
Pela correlao entre componentes de um vetor aleatrio nico x a

condio de no-correlao est definida por
Cx = E {(x mx )(x mx )T } = D
D uma matriz diagonal n n
D = diag (c11 , c22 , ..., cnn ) = diag (x21 , x22 , ..., x2n )
Os n elementos da diagonal so a variana 2 = E {xi mxi } = cii
dos componentes xi de x.
Nicols Bulla (UFRJ)
ICA, 2015
46 / 79
Vetores aleatrios com mdia zero e matriz de covariana unitria,
possivelmente multiplicado por uma variana constante 2 , so ditos
de brancos.
mx = 0,
Rx = Cx = I
Assumindo que aplicamos uma matriz de transformao T ao vetor
aleatrio x
y = Tx , onde TT T = TTT = I
Se x branco, ento
my = E {Tx } = TE {x} = Tmx = 0
e
Cy = Ry = E {Tx (Tx )T } = TE {xxT }TT = TRx TT = TTT = I
Nicols Bulla (UFRJ)
ICA, 2015
47 / 79
Independncia estatstica
Constitui o fundamento do ICA.

Duas variveis aleatrias x e y so independentes, se conhecendo um
valor de y no obtenho alguma informao sobre os valores de x.
A independncia estatstica definida em termos da densidade de
probabilidade.
A densidade conjunta px,y (x, y ) de x e y deve se fatorizar nos
produtos de suas densidades marginais px (x) e py (y ).
As funes de distribuio tambm devem ser fatorizveis.
Nicols Bulla (UFRJ)
ICA, 2015
48 / 79
Variveis aleatrias independentes satisfazem a propriedade bsica

E {g (x)h(y )} = E {g (x)}E {h(y )}
A definio de independncia estatstica pode ser generalizada para
diferentes dimenses.
Nicols Bulla (UFRJ)
ICA, 2015
49 / 79
Exemplo A:

px,y (x, y ) =
3
7 (2
x)(x + y ), x [0, 2], y [0, 1]

0,
outros casos
Exemplo B:

px,y (x, y) =
Nicols Bulla (UFRJ)
(x1 + 3x2 )y , x [0, 2], y [0, 1]

0,
outros casos
ICA, 2015
50 / 79
Roteiro
1
Introduo
Conceito bsico

Nicols Bulla (UFRJ)
ICA, 2015
51 / 79
Densidade condicional
Qual a densidade de probabilidade de um vetor aleatrio x dado que

outro vetor aleatrio y tem um valor fixo y0 ?
Assumindo uma densidade conjunta px,y (x, y) de x e y e suas
densidades marginais, a densidade de probabilidade condicional de x
dado y
px,y (x, y)
px|y (x | y) =
py (y)
Nicols Bulla (UFRJ)
ICA, 2015
52 / 79
Exemplo:
py |x (y | x0 ) =
Nicols Bulla (UFRJ)
px,y (x0 , y )
px (x0 )
ICA, 2015
53 / 79
Nicols Bulla (UFRJ)
py |x (y | x0 ) =
px,y (x0 , y )
px (x0 )
px|y (x | y0 ) =
px,y (x, y0 )
py (y0 )
ICA, 2015
54 / 79
Se dois vetores aleatrios x e y so estatsticamente independentes, a

densidade condicional px|y (x | y) igual densidade no-condicional
de px (x).
e com a definio de independncia podemos encontrar uma soluo
para a densidade de y condiciona em x
py|x (y | x) =
px|y (x | y)py (y)

px (x)
onde o denominador pode ser calculado integrando o numerador se

necessario
Z
px|y (x | )py ()d
px (x) =
Nicols Bulla (UFRJ)
ICA, 2015
55 / 79
Regra de Bayes
Regra importante na teoria de estimao estatstica.

A regra de Bayes permite o calculo da densidade py|x (y | x) do
parmetro y, dada uma observao especfica do vetor x, e assumindo
o conhecimento da distribuio py (y)
Nicols Bulla (UFRJ)
ICA, 2015
56 / 79
Roteiro
1
Introduo
Conceito bsico

Nicols Bulla (UFRJ)
ICA, 2015
57 / 79
Funo de densidade de probabilidade

px (x) =
1
exp( (x mx )T C1
x (x mx ))
2
(2) (detCx )
n
2
1
2
S tem importncia a estatstica de primeiro e segundo ordem

E {x} = mx ,
E {(x mx )(x mx )T } = Cx
Transformaes lineais so gaussianas.

Densidades marginais e condicional so gaussianas.
Variveis aleatrias gaussianas no correlacionadas so independentes.
Nicols Bulla (UFRJ)
ICA, 2015
58 / 79
Teorema do limite central

Quando o tamanho da amostra aumenta, o distribuio amostral da
sua mdia aproxima-se cada vez mais de uma distribuio normal.
xk =
k
X
zi
i=1
xk a soma parcial da varivel aleatria zi ,

yk =
xk mxk
xk
yk uma varivel padronizada, mxk a mdia de xk e xk o desvio

padro de xk .
A distribuio de yk converge a uma distribuio gaussiana quando
k .
Nicols Bulla (UFRJ)
ICA, 2015
59 / 79
Roteiro
1
Introduo
Conceito bsico

Nicols Bulla (UFRJ)
ICA, 2015
60 / 79
Se dois vetores aleatrios n-dimensionais x e y esto relacionados por

um vetor de mapeamento y = g(x) e existe um nico mapeamento
inverso x = g1 (y) ento possvel obter a densidade py (y) a partir
de px (x)
py (y) =
1
px (g1 (y))
| detJg(g1 (y)) |
Jg a matriz Jacobiana.
Nicols Bulla (UFRJ)
ICA, 2015
61 / 79
Roteiro
1
Introduo
Conceito bsico

Nicols Bulla (UFRJ)
ICA, 2015
62 / 79
considerada de ordem superior quando a ordem maior que 2.

O j-simo momento dado por
Z
j
j = E {x } =
j px ()d,
j = 1, 2, ...
O j-simo momento central

Z
j
j = E {(x 1 ) } =
( mx )j px ()d,
j = 1, 2, ...
Nicols Bulla (UFRJ)
ICA, 2015
63 / 79
Primeiro momento E {x} = mx = 1 mdia

Segundo momento E {x 2 } = 2 potncia mdia
Segundo momento central E {(x mx )2 } = 2 = 2 varincia
Terceiro momento centralE {(x mx )3 } = 3 assimetria, usada para
medir a assimetria de uma funo de distribuio
Nicols Bulla (UFRJ)
ICA, 2015
64 / 79
Curtose e classificao de densidade
Quarto momento E {x 4 } = 4
Quarto momento central E {(x mx )4 } = 4
A curtose definida por
kurt(x) = E {x 4 } 3(E {x 2 })2
Para dados branqueados (E {x 2 } = 1)
kurt(x) = E {x 4 } 3
Nicols Bulla (UFRJ)
ICA, 2015
65 / 79
Curtose e classificao de densidade
Para variveis aleatrias gaussianas a curtose zero.

Se a curtose positiva, a distribuio chamada de super-gaussiana
ou leptocrtica.
Se a curtose negativa, a distribuio chamada de sub-gaussiana ou
platicrtica.
Nicols Bulla (UFRJ)
ICA, 2015
66 / 79
Cumulantes, momentos, e propriedades

Assumindo uma varivel aleatria de mdia zero x, com funo de
densidade de probabilidade px (x).
A primeira funo caracterstica () definida como a transformada
continua de Fourier de px (x)
Z
exp(jx)px (x)dx
() = E {exp(jx)} =
a varivel transformada correspondente a x, e j = 1.

Expandida em series de Taylor
!
Z X
X
x k (j)k
(j)k
() =
px (x)dx =
E {x k }
k!
k!
k=0
k=0
Os coeficientes so momentos de x.
Nicols Bulla (UFRJ)
ICA, 2015
67 / 79
A segunda funo caracterstica de x, a funo geradora de

cumulantes
() = ln(()) = ln(E {exp(jx)})
Expandida em series de Taylor
() =
X
k=0
(j)k
k!
Os cumulantes so os coeficientes, onde o k-simo cumulante

k = (j)k
Nicols Bulla (UFRJ)
d k ()
|=0
d k
ICA, 2015
68 / 79
Para variveis aleatrias os primeiros 4 cumulantes

1
2
3
4
= E {x}
= E {x 2 } (E {x})2
= E {x 3 } 3E {x 2 }E {x} + 2(E {x})3
= E {x 4 }3(E {x 2 })2 4E {x 3 }E {x}+12E {x 2 }(E {x})2 6(E {x})4
Os cumulantes do vetor aleatrio x com mdia zero

cum(xi , xj ) = E {xi xj }
cum(xi , xj , xk ) = E {xi xj xk }
cum(xi , xj , xk , xl ) =
E {xi xj xk xl } E {xi xj }E {xk xl } E {xi xk }E {xj xl } E {xi xl }E {xj xk }
Nicols Bulla (UFRJ)
ICA, 2015
69 / 79
Propriedades dos cumulantes que no possuem os momentos

Seja x e y vetores aleatrios estatsticamente independentes, da mesma
dimenso, o cumulante de sua soma z = x + y igual a soma dos
cumulantes de x e y.
Se a distribuio do vetor aleatrio ou processo x multivarivel
gaussiana, todos os cumulantes de ordem 3 ou superior so zero.
Para usar estatstica de ordem superior preciso de muitas mais

amostras do que a estatstica de segundo ordem.
A estatstica de ordem superior pode ser muito sensvel a dados
atpicos.
Nicols Bulla (UFRJ)
ICA, 2015
70 / 79
Roteiro
1
Introduo
Conceito bsico

Nicols Bulla (UFRJ)
ICA, 2015
71 / 79
Processos estocsticos ou aleatrios so funes aleatrias de tempo.

Caractersticas bsicas
So funes no tempo: observadas num intervalo de tempo.
So aleatrias: antes da experincia no possvel descrever
exatamente a forma da onda observada.
Nicols Bulla (UFRJ)
ICA, 2015
72 / 79
Estacionalidade, funes de mdia e auto-correlao
Um processo estocstico estacionrio se sua densidade conjunta

invariante num deslocamento do tempo de origem.
Os processos estocsticos so caracterizados pelo primeiro e segundo
momento, as funes de mdia e autocorrelao ou auto-covariana.
Funo de mdia
Z
mx (t) = E {x(t)} =
x(t)px (x(t))dx(t)
Funo de varincia
x2 (t) = E {(x(t) mx (t))2 } =
(x(t) mx (t))2 px (x(t))dx(t)
Nicols Bulla (UFRJ)
ICA, 2015
73 / 79
Estacionalidade, funes de mdia e autocorrelao

Funo de auto-covarincia
cx (t, ) = cov (x(t), x(t )) = E {(x(t)mx (t))(x(t )mx (t ))}
um tempo constante de atraso entre as observaes t e t
Funo de auto-correlao
rx (t, ) = E {x(t)x(t )}
Para dois processos estocsticos x(t) e y (t)
Funo de correlao cruzada
rxy (t, ) = E {x(t)y (t )}
Funo de covarincia cruzada
cxy (t, ) = E {(x(t) mx (t))(y (t ) my (t ))}
Nicols Bulla (UFRJ)
ICA, 2015
74 / 79
Processos estacionrios no sentido amplo
Processos estacionrios no sentido amplo satisfazem as propriedades

A funo de mdias mx (t) de todo o processo uma constante mx
para todo t.
A funo de autocorrelao independente do deslocamento do tempo:
E {x(t)x(t )} = rx ( ) para todo t.
A variana, ou o valor quadrtico mdio rx (0) = E {x 2 (t)} do processo
finito.
Nicols Bulla (UFRJ)
ICA, 2015
75 / 79
Mdias de tempo e ergodicidade
Mdias de tempo ou mdias amostrais de longo prazo o clculo

realizado da mdia a partir de uma nica realizao disponvel.
A mdia de estimada para um processo que contem K amostras
m
x (K ) =
K
1 X
x(k)
K
k=1
A funo de auto-correlao estimada para um valor de atraso de l

rx (l, K ) =
K l
1 X
x(k + l)x(k)
K l
k=1
Nicols Bulla (UFRJ)
ICA, 2015
76 / 79
Mdias de tempo e ergodicidade
Os processos estocsticos so chamados ergdicos se sua mdia

ensemble e equiparada com a mdia de tempo.
Um processo aleatrio ergdico com respeito a sua funo de mdia
e auto-correlao, se estacionrio.
Nicols Bulla (UFRJ)
ICA, 2015
77 / 79
Potncia espectral
O espectro de potncia ou densidade espectral descreve a frequncia
contidas num do processo estocstico, mostrando quais frequncias
esto presentes e quanta potncia elas possuem.
A potncia espectral definida como a transformada discreta de
Fourier da sequencia de auto-correlao rx (0), rx (1), ...
Sx () =
rx (k)exp(jk)
k=
A representao no dominio do tempo

Z
1
Sx ()exp(jk)d
rx (k) =
2
Nicols Bulla (UFRJ)
k = 1, 2, ...
ICA, 2015
78 / 79
Modelos de sinais estocsticos

Os processos estocsticos frequentemente so modelados em termos
de processos auto-regressivos
x(n) =
M
X
ai x(n i) + v (n)
i=1
v (n) ruido branco, ai so coeficientes constantes do modelo AR, e

M a ordem do modelo, que da o nmero de amostras previas em que
o valor atual x(n) do processo AR depende.
Os processos auto-regressivos so um caso especial de processos
auto-regressivos de mdia mvel
x(n) +
M
X
i=1
Nicols Bulla (UFRJ)
ai x(n i) = v (n) +
N
X
bi v (n i)
i=1
ICA, 2015
79 / 79

Apresentação ICA

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Apresentação ICA

Uploaded by

Copyright:

Available Formats

Analise de Componentes Independentes

Nicols Bulla (UFRJ)

Analise de Componentes Independentes

Vetores Aleatrios e Independncia

Analise de Componentes Independentes

Vetores Aleatrios e Independncia

Analise de Componentes Independentes

ICA um mtodo para encontrar factores subjacentes ou componentes

Nicols Bulla (UFRJ)

Analise de Componentes Independentes

Vetores Aleatrios e Independncia

Analise de Componentes Independentes

Ajuste estatstico geral

Como encontrar a representao adequada dos dados multivarivel:

Nicols Bulla (UFRJ)

Analise de Componentes Independentes

Representao lineal de dados multivarivel

para i = 1, ..., n, j = 1, ..., m

Nicols Bulla (UFRJ)

Analise de Componentes Independentes

Representao lineal de dados multivarivel

Para determinar o vetor W so usados alguns princpios estatsticos:

Nicols Bulla (UFRJ)

Analise de Componentes Independentes

Vetores Aleatrios e Independncia

Analise de Componentes Independentes

Separao cega de fontes

chamada de cega porque temos muito pouco conhecimento sobre as

Nicols Bulla (UFRJ)

Analise de Componentes Independentes

Separao cega de fontes

Podemos assumir que os coeficientes de mistura aij so

Nicols Bulla (UFRJ)

Analise de Componentes Independentes

Separao cega de fontes

Como estimar os coeficientes wij ?

Nicols Bulla (UFRJ)

Analise de Componentes Independentes

Vetores Aleatrios e Independncia

Analise de Componentes Independentes

Analise de componentes independentes

Dado um conjunto de observaes de variveis aleatrias x1 (t), x2 (t),

onde A uma matriz desconhecida.

Nicols Bulla (UFRJ)

Analise de Componentes Independentes

Analise de componentes independentes

Como encontrar os componentes independentes?

Nicols Bulla (UFRJ)

Analise de Componentes Independentes

Analise de componentes independentes

Uma decorrelao no-linear o mtodo bsico do ICA.

Principio 1 de estimao de ICA - Decorrelao no-linear.

Nicols Bulla (UFRJ)

Analise de Componentes Independentes

Analise de componentes independentes

Como so escolhidas as funes g e h?

Os componentes independentes so componentes maximamente

Principio 2 de estimao de ICA - Mxima no-gaussianidade.

Nicols Bulla (UFRJ)

Analise de Componentes Independentes

Analise de componentes independentes

Na prtica para medir a no-gaussianidade usada a curtose.

Nicols Bulla (UFRJ)

Analise de Componentes Independentes