Professional Documents
Culture Documents
Abril 2010
Indice
Qu e es el Compressed Sensing?
Ejemplo
Aproximaci on
Qu e es el Compressed Sensing?
Compresi on
x (n)
Tx
q (Tx )
Se nal
Transformada
Cuantizaci on
Compresi on
1000 900 800 700 600 500 400 300 200 100 0
K << N
DFT
Coeficientes significativos
2000
4000
6000
8000
10000
12000
14000
2000
4000
6000
8000
10000
12000
14000
Qu e es el Compressed Sensing?
Compresi on
x (n)
Tx
q (Tx )
Se nal
Transformada
Cuantizaci on
Compresi on
1000 900 800 700 600 500 400 300 200 100 0
K << N
DFT
Coeficientes significativos
2000
4000
6000
8000
10000
12000
14000
2000
4000
6000
8000
10000
12000
14000
Qu e es el Compressed Sensing?
Compresi on
x (n)
Tx
q (Tx )
Se nal
Transformada
Cuantizaci on
Compresi on
400
350
300
DFT
250
200
150
100
50
Qu e es el Compressed Sensing?
K << N
DFT
Coeficientes significativos
2000
4000
6000
8000
10000
12000
14000
2000
4000
6000
8000
10000
12000
14000
T Se nales objeto
00000 11111 00000 11111 000000000 111111111 00000 11111 111111111 000000000 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111
Subespacios coordenados
Qu e es el Compressed Sensing?
K << N
DFT
Coeficientes significativos
2000
4000
6000
8000
10000
12000
14000
2000
4000
6000
8000
10000
12000
14000
T Se nales objeto
00000 11111 00000 11111 000000000 111111111 00000 11111 111111111 000000000 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 000000000000000 111111111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111 00000 11111 000000000 111111111
Subespacios coordenados
Qu e es el Compressed Sensing?
Compressed Sensing
Adquisici on de la se nal (SENSING)
Qu e es el Compressed Sensing?
Compressed Sensing
Adquisici on de la se nal (SENSING)
Medidas generalizadas = [1 , 2 , . . . , n ] , x = m
Qu e es el Compressed Sensing?
Compressed Sensing
Adquisici on de la se nal (SENSING)
yk = k , x , M
y
1 2
N.
M N
Qu e es el Compressed Sensing?
Compressed Sensing
Adquisici on de la se nal (SENSING)
yk = k , x , M
y
1 2
N.
M N
Qu e es el Compressed Sensing?
Compressed Sensing
Adquisici on de la se nal (SENSING)
yk = k , x , M
y
1 2
N.
M N
Ejemplo
Ejemplo
Ejemplo
% N % K
Ejemplo
x es K -disperso x
0
= {j | |xj | = 0} K
K + K = 2K inc ognitas M 2K
N 1
Ejemplo
x
i1 xi1
i2
xi2
x es K -disperso x
0
= {j | |xj | = 0} K
K + K = 2K inc ognitas
iK xi
M 2K
N 1
Ejemplo
x
i1 xi1
i2
xi2
x es K -disperso x
0
= {j | |xj | = 0} K
K + K = 2K inc ognitas
iK xi
M 2K
N 1
Ejemplo
x K = {u RN | u
K }, x es K -dispersa
Ejemplo
x K = {u RN | u
K }, x es K -dispersa
Ejemplo
K }, x , x son K -dispersas
matriz de medidas. x = y = x
x + ker x
Ejemplo
K }, x son K -dispersa
matriz de medidas. x = y = x
x + ker x
Ejemplo
Ejemplo
i1
i2
i2K
Ejemplo
i1
i2
i2K
Ejemplo
Condici on necesaria ker 2K = {0} todo conjunto de 2K columnas es l.i. Para una reconstrucci on efectiva no es suciente
Ejemplo
i1
i2
i2K
Posible soluci on
Ejemplo
Esfera M-dimensional
Sea v = [0, . . . , 0, 1] RM
Ejemplo
Esfera M-dimensional
Sea v = [0, . . . , 0, 1] RM f (w) = v, w para w S M 1 (continua) P (|f (w)| < ) = Area Area Total
Ejemplo
Esfera M-dimensional
Sea v = [0, . . . , 0, 1] RM f (w) = v, w para w S M 1 (continua) Ap. desigualdad de Brunn-Minkowsky P (f (w) > 0) = P (f (w) < 0) =
1 2
Ejemplo
Esfera M-dimensional
Sea v = [0, . . . , 0, 1] RM f (w) = v, w para w S M 1 (continua) Ap. desigualdad de Brunn-Minkowsky P (f (w) > 0) = P (f (w) < 0) =
1 2
2 /4
Ejemplo
Esfera M-dimensional
Sea v = [0, . . . , 0, 1] RM f (w) = v, w para w S M 1 (continua) Ap. desigualdad de Brunn-Minkowsky P (f (w) > 0) = P (f (w) < 0) =
1 2
2 /4
2 /4
Ejemplo
Esfera M-dimensional
Sea v = [0, . . . , 0, 1] RM f (w) = v, w para w S M 1 (continua) Ap. desigualdad de Brunn-Minkowsky P (f (w) > 0) = P (f (w) < 0) =
1 2
2 /4
Utilizar el azar para que todo conjunto de 2K columnas de sea casi ortonormal
Ejemplo
Matriz de medidas % M % A % % A Numero de medidas = 300; A matriz gaussiana = randn(M,N); Ortogonalizaci on filas de A = orth(A);
Ejemplo
Ejemplo
Ejemplo
tal que z = y
Ejemplo
tal que z = y
()
Ejemplo
p p
= |x1 |p + + |xN |p 1
Las normas
Ejemplo
p p
= |x1 |p + + |xN |p 1
Las normas
Ejemplo
N 1
M N
K disperso
x K x = argminz RN z
1
tal que z = x
Ejemplo
x K x = argminz RN z
1
tal que z = x
Ejemplo
x K x = argminz RN z
1
tal que z = x
x =x
Un poco de Teor a
Aproximaci on
x + ker
cs
cs
1 2
M N
N 1
Objetivo Contruir matrices capaces de codicar la informaci on del mayor conjunto posible de se nales
N = {i }N i =1 base ortonormal de R
x=
i =1
i i ,
i = x , i
N = {i }N i =1 base ortonormal de R
x=
i =1
i i ,
i = x , i
N = {i }N i =1 base ortonormal de R
x=
i =1
i i ,
i = x , i
N = {i }N i =1 base ortonormal de R
x=
i =1
i i ,
i = x , i
x=
i =1
i i ,
i = x , i
M N
N 1
M N
N 1
i1 i2
cs
iS
Para cada entero 1 S M sea S el n umero m as peque no que verica s c Tz 2 (1 S ) (1 + S ), z RS z 2 para cada subconjunto T {1, 2, . . . , N } de cardinalidad S . Si 0 < S < 1 cs es una isometr a restringida de orden S .
N)
Para cada entero 1 S M sea S el n umero m as peque no que verica s c Tz 2 (1 + S ), z RS (1 S ) z 2 para cada subconjunto T {1, 2, . . . , N } de cardinalidad S . Si 0 < S < 1 cs es una isometr a restringida de orden S .
N)
Para cada entero 1 S M sea S el n umero m as peque no que verica s c Tz 2 (1 + S ), z RS (1 S ) z 2 para cada subconjunto T {1, 2, . . . , N } de cardinalidad S . Si 0 < S < 1 cs es una isometr a restringida de orden S .
Propiedad RIP
Geometr a de la propiedad RIP
z 2
s c T
z 2
RS
RM
Propiedad RIP
Geometr a de la propiedad RIP
Cuanto menor sea S m as cerca s de ser estar an las secciones c T isometr as S mide la ortonormalidad de las columnas de las secciones s c T con |T | = S
Si S = 0 todos los conjuntos de columnas de S elementos son ortonormales. Si S = 1 existe una submatriz s tal que rank c T < S.
RS
z 2
s c T
z 2
RM
Propiedad RIP
Geometr a de la propiedad RIP
Cuanto menor sea S m as cerca s de ser estar an las secciones c T isometr as S mide la ortonormalidad de las columnas de las secciones s c T con |T | = S
Si S = 0 todos los conjuntos de columnas de S elementos son ortonormales. Si S = 1 existe una submatriz s tal que rank c T < S.
RS
z 2
s c T
z 2
RM
Propiedad RIP
Geometr a de la propiedad RIP
Cuanto menor sea S m as cerca c s estar an las secciones T de ser isometr as S mide la ortonormalidad de las columnas de las secciones s c T con |T | = S Una isometr a restringida puede permitir una reconstrucci on robusta
x d x
cs
cs
CS y matrices RIP
CS y matrices RIP
cs RM N isometr a restringida de orden S Objetivos
S K
+ Se nales codicadas
Propiedad RIP
C alculo de S
T {1, 2, . . . , N } con |T | = S .
s cs 2 2 ((c T ) T ) [(1 S ) , (1 + S ) ]
Propiedad RIP
C alculo de S
T {1, 2, . . . , N } con |T | = S .
s cs 2 2 ((c T ) T ) [(1 S ) , (1 + S ) ]
Propiedad RIP
C alculo de S
T {1, 2, . . . , N } con |T | = S .
s cs 2 2 ((c T ) T ) [(1 S ) , (1 + S ) ]
Hay
N S
N! S !(N S )!
s matrices c T con |T | = S
Propiedad RIP
C alculo de S
Propiedad RIP
C alculo de S
No hay forma efectiva de comprobar si una matriz cs verica RIP No hay algoritmos deterministas que construyan matrices RIP con S grande (de Vore 07)
Propiedad RIP
C alculo de S
No hay forma efectiva de comprobar si una matriz cs verica RIP No hay algoritmos deterministas que construyan matrices RIP con S grande (de Vore 07) Soluci on: hacer intervenir al azar
Matrices RIP
Matrices gaussianas y de Rademacher
Si RM N , Matriz gaussiana ij = Xij i.i.d. N (0, 1/M ) Matriz de Rademacher 1 ij = Xij N Xij i.i.d. P (Xij = 1) = 1 2
Matrices RIP
Matrices gaussianas y de Rademacher
Si RM N , Matriz gaussiana ij = Xij i.i.d. N (0, 1/M ) Matriz de Rademacher 1 ij = Xij N Xij i.i.d. P (Xij = 1) = 1 2
Matrices RIP
Matrices gaussianas y de Rademacher
Si RM N , Matriz gaussiana ij = Xij i.i.d. N (0, 1/M ) Matriz de Rademacher 1 ij = Xij N Xij i.i.d. P (Xij = 1) = 1 2 < 1 c1 ( ), c2 ( ) > 0
log(N /S )S c1 M S () <
con probabilidad 1 2e c2 M
Matrices RIP
Proyecciones aleatorias
= {i }N i =1 base ortonormal {i1 , i2 , . . . , iM } {1, 2, . . . , N } elegido al azar con probabilidad uniforme en los subconjuntos de M elementos de {1, 2, . . . , N } i1 i 2 = . . . iM
1 .2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . N
Matrices RIP
Proyecciones aleatorias
= {i }N i =1 base ortonormal {i1 , i2 , . . . , iM } {1, 2, . . . , N } elegido al azar con probabilidad uniforme en los subconjuntos de M elementos de {1, 2, . . . , N } i1 i 2 = . . . iM
1 2 . . . i1 . . . i2 . . . . . . . . . . . . . . . iM N
i1 i2 . . . . . . iM
Matrices RIP
Proyecciones aleatorias
= {i }N i =1 base ortonormal {i1 , i2 , . . . , iM } {1, 2, . . . , N } elegido al azar con probabilidad uniforme en los subconjuntos de M elementos de {1, 2, . . . , N } i1 i 2 = . . . iM < 1 ( ) > 0
con probabilidad 1 N c
Matrices RIP
Proyecciones aleatorias
< 1 ( ) > 0 = {i }N i =1 base ortonormal {i1 , i2 , . . . , iM } {1, 2, . . . , N } elegido al azar con probabilidad uniforme en los subconjuntos de M elementos de {1, 2, . . . , N } i1 i 2 = . . . iM
con probabilidad 1 N c ( ) = m ax | k , j |
1k ,j N
1 ( ) , 1 N
Matrices RIP
Proyecciones aleatorias
Ejemplo F base de Fourier = IdN 1 (F ) = N proyecci on aleatoria obtenida de F escogiendo al azar M las.
< 1 ( ) > 0
con probabilidad 1 N c
Matrices RIP
Proyecciones aleatorias
x R256
6 4 2
50 2 4 6
100
150
200
250
DFT(x)
20
15
10
50
100
150
200
250
Matrices RIP
Proyecciones aleatorias
x R256
6 4 2
y R80
50 100 150 200 250
4
4
2
6
DFT(x)
20
50 2
100
150
200
250
15
10
50
100
150
200
250
Matrices RIP
Proyecciones aleatorias
x R256
6 4 2
y R80
4 2
50 2
100
150
200
250
50 2
100
150
200
250
4
6
DFT(x)
20
Reconstrucci on
6 4 2
15
10
2
50
100
150
200
250
5
4 6
50
100
150
200
250
= argmin z
x[ij] = z[ij], = x
Aproximaci on
Aproximaci on
x + ker
Aproximaci on
x=
i =1
x [i ]i
1 2 3
|x |
Aproximaci on
x=
i =1
x [i ]i
1 2 3
N 1 2 3
|x |
o| |x
Aproximaci on
x=
i =1
x [i ]i
xK
1 2 3
N 1 2 K
|x |
o| |x
xK =
k =1
o x [k ]ik
Aproximaci on
x=
i =1
x [i ]i
xK
1 2 3
N 1 2 K
|x |
o| |x
x xK
k >K
o |x [k ]|2
Aproximaci on
Aproximaci on
Teorema Fundamental
Y = x + W Teorema Sea cs = . Supongamos que K es tal que 3K (cs ) < 1/3. Sea X = donde = argminz RN z
1
vericando cs z Y
C K
o |x [k ]| + C W k >K
Aproximaci on
Aproximaci on
Comentarios al teorema
Aproximaci on
Resumen teorema Una se nal K dispersa puede ser rescontruida de forma exacta si 3K (cs ) < 1/3 K = M /(log N /M )
Aproximaci on
Resumen teorema Una se nal K dispersa puede ser rescontruida de forma exacta si 3K (cs ) < 1/3 K = M /(log N /M ) Estimaciones de suelen ser pesimistas
Aproximaci on
Resumen teorema Una se nal K dispersa puede ser rescontruida de forma exacta si 3K (cs ) < 1/3 K = M /(log N /M ) Estimaciones de suelen ser pesimistas
Utilizando t ecnicas estad sticas M = 100, gaussiana N 512 1024 2048 4096 M/K 6,2 7,7 11 16
Aproximaci on
Aproximaci on
Preguntas?