Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Singular Value Decomposition (SVD) and Application in MatLab:

Resolving the sign ambiguity in the SVD.

Autor: Walner Mendona dos Santos c

walner@alu.ufc.br

13 de Janeiro de 2012 Fortaleza-CE, Brasil Universidade Federal do Ceara

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Sumario
1 2 3 4 5 6 7 8

Apresentacao Introducao Historia Matrizes EVD SVD Aplicacoes Referencias

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Tudo comeca com um pouco de ideia e bastante disposicao...

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Apresentacao

Metodos de analise Mtodos modernos de anlise de dados; e a Decomposio em Valores Singulares (SVD); ca Decomposio em Autovalores (EVD); ca Aplicaes de tais mtodos. co e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Apresentacao

Nessa jornada... Passearemos um pouco pela a lgebra linear; a Contemplaremos a pureza dos autovalores; Discutiremos a teoria da SVD; Nos deliciaremos com algumas aplicaes. co

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Introducao

Motivacoes Implicaes tericas; co o A importncia prtica; a a Aplicaes. co

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Introducao

Objetivos Desenvolver uma teoria razovel; a Apresentar os principais resultados; Construir a SVD; Mostrar aplicaes. co

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Introducao

Topicos Tpicos Matriciais; o Autovalores e Autovetores; Decomposio em Valores Singulares (SVD); ca Compresso de Imagens; a Sinalizao Amb ca gua; Eigenfaces.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Introducao

Abordagem Apresentar; Idealizar; Construir; Reforar; c Aplicar.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Historia

Eugenio Beltrami (italiano)(1873) Foi o desenvolvedor da SVD; Criou um algoritmo prprio para o clculo da SVD; o a Seu mtodo tinha limitaes: matrizes reais, quadradas, e co no-singular e com autovalores distintos. a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Historia

Camille Jordan (frances)(1874) Descobriu a SVD um ano depois de Beltrami; Sua ttica: reduzir uma forma bilinear a uma forma diagonal a por substituies ortogonais; co Soluo mais elegante do que a de Beltrami; ca Tcnica sem o devido reconhecimento. e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Historia

James Sylvester (ingles)(1889) Obteve resultados similares ao de Jordan; Seu mtodo envolvia ignorar termos de segunda ordem. e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Historia

Erhard Schmidt (alemao)(1907) Foi o primeiro a introduzir a SVD em equaoes integrais; c Usou a SVD para obter uma melhor aproximao de um ca operador.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Historia

Herman Weyl (alemao)(1912) Desenvolveu uma teoria de perturbao geral; ca Deu uma elegante prova do teorema da aproximao. ca

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Historia

Gene Golub (norte-americano)(1970) Um dos principais contribuintes para algoritmos para decomposio de matrizes; ca Criou um algoritmo estvel e eciente que at hoje usado. a e e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Historia

Curiosidades Historicos A expresso valores singularespartiu provavelmente da teoria a das equaes diferenciais; co No usado de forma consistente at meados do sculo XX. a e e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Parte I MATRIZES

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao Uma matriz Amn um agrupamento retangular de m n e nmeros. Os nmeros deste agrupamento so chamdos entradas u u a da matriz e so representados por indexaes do tipo aij . a co

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Representacao Quando se interessa em mostrar a matriz, costuma-se represent-la a da seguinte forma: a11 a12 a13 a1n a21 a22 a23 a2n A = a31 a32 a33 a3n . . . . .. . . . . . . . . . am1 am2 am3 amn

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Nomenclatura Quando for desejado uma notao mais compacta para representar ca uma matriz Amn , podemos escrever da seguinte forma: Amn = [aij ]mn ou A = [aij ]

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Matriz quadrada Dizemos que uma matriz quadrada quando o nmero de linhas e u dela coincidir com o nmero de colunas. u Diagonal de uma matriz Chamamos o conjuto de elementos a11 , a22 , a33 , ..., aij , onde i = j de diagonal da matriz A (no necessariamente quadrada). a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Exemplos de matrizes 9 16 1 A = 3 22 0 8 10 0 9 6 0 15 B = 5 2 15 70 7 1 20 0, 9

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Igualdade entre matrizes) Duas matrizes A e B so iguais se, e somente se, tiverem o mesmo a tamanho m n e se as entradas aij e bij forem iguais para todo i m e j n.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Soma de matrizes) Se A e B so matrizes do mesmo tamanho, ento a soma A + B a a e a matriz obtida somando as entrada de A `s entradas a correspondetes de B. Matrizes de tamanho distintos no podem a ser somadas ou subtra das.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Proriedades da Soma 1 A + B = B + A
2 3 4

A + (B + C) = (A + B) + C A+0=A A + (A) = 0

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Produto de matrizes por escalares) Se A uma matriz e c um escalar, ento o produto cA a e e a e matriz obtida pela multiplicao de cada entrada da matriz A por ca c. A matriz cA chamada de mltiplo escalar de A. e u

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Proriedades do produto de matrizes por escalares 1 a(bA) = (ab)A

2 3 4

1A = A (a + b)A = aA + bA a(A + B) = aA + aB

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes
Definicao (Produto entre duas matrizes) Sejam Amn e Bnp duas matrizes com o nmero de colunas de A u igual ao nmero de linhas de B. Denimos o produto entre elas u como a matriz m p, C = AB, com as entradas cij calculadas da seguinte forma:
n

cij =
k=1

aik bkj ,

para i = 1, ..., m e j = 1, ..., p. Observacao No se deni o produto entre matrizes quando o nmero de a u colunas de A no for igual ao nmero de linhas de B. a u

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Exemplo de produto entre duas matrizes 5 6 1 2 3 2 0 ,B = 0 A= 0 4 2 1 52+60+11 11 AB = 3 2 + 2 0 + 0 1 = 6 02+40+21 2

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Proriedades do produto entre matrizes 1 A(BC) = (AB)C

2 3 4

A(B + C) = AB + AC (A + B)C = AC + BC a(AB) = (aA)B = A(aB)

Observacao No vale necessariamente a comutatividade em relao ao produto a ca de matrizes. Ou seja, AB = BA nem sempre verdade. e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Mais proriedades da aritmetica matricial 1 A A = 0

2 3 4 5

0 A = A 0A = 0 0A = 0; A0 = 0 Im A = A; AIn = A

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Transposta) Se A uma matriz m n qualquer, ento a transposta de A, e a denota-se por AT , denida como a matriz n m que resulta da e permutao das linhas com as colunas de A; ou seja, a i-sima ca e coluna de AT i-sima linha de A. e e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Exemplos de matrizes transpotas 5 6 1 A = 3 2 0 AT = 0 4 2 2 B = 0 BT = 2 1

5 3 0 6 2 4 1 0 2 0 1

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Propriedades da trasnposta
1 2 3 4

(AT )T = A (A + B)T = AT + BT (A)T = AT (CD)T = DT CT (note a ordem dos fatores)

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Matriz Simetrica) Se uma matriz satisfaz AT = A, dizemos que ela uma matriz e simtrica. e Teorema 1 Toda matriz diagonal quadrada simtrica. e e
2 3 4

A matriz AT A simtrica, qualquer que seja a matriz A. e e A matriz AAT simtrica, qualquer que seja a matriz A. e e Se A simtrica, ento A pode ser escrita como e e a A = BBT = CT C, para alguma matriz B ou C.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Exemplos de matrizes simetricas 5 3 0 0 1 0 3 2 4 A = 1 2 4 , B = 0 4 2 0 4 8 1 3 7 0 1 2 3 0 1 2 3 0 2 1 3

1 3 7 9 1 3 3 13

C=

CCT =

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Inversa) Se A e B so duas matrizes tais que AB = BA = I, dizemos que a B a matriz inversa de A e a denotamos por A1 . e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Exemplo de matriz inversa 2 1 4 3

3 2 1 2

1 0 0 1

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Usando o MatLab (Inversa de uma Matriz) Sintxe: a B = inv(A) Retorna a inversa (quando existir) de uma matriz quadrada.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Propriedades da inversa 1 Se B invesersa de A e C tambm , ento B = C e e e a

2 3 4 5

(A1 )1 = A (AB)1 = B1 A1 (note a ordem dos fatores) (A1 )T = (AT )1

1 (A)1 = A1

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Menor) Seja A uma matriz de ordem m n. Denota-se por Aij a matriz menor de A sobre a entrada ij. Esta matriz a matriz A sem a e linha i e a coluna j. Em outras palavras, Aij = [akl ], para 1 k m; k = i e 1 l n; l = j.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Exemplos de matrizes menores 9 16 1 A = 3 22 0 8 10 0 A11 = 22 0 10 0 ; A22 = 9 1 8 0 ; A33 = 9 16 3 22

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Usando o MatLab (Matriz Menor) Sintxe: a B = menor(A,i,j) Retorna a menor (i,j) da matriz A.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Determinante) Seja A uma matriz quadrada de ordem n. Chama-se determinante da matriz A o valor da funo denida recursivamente da seguinte ca forma
n

det (A) =
k=1

(1)1+k a1k det (A1k )

onde det ([a11 ]) = a11 (determinate de uma matriz 1 1 igual ao e valor da sua unica entrada).

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Propriedades do determinante 1 O determinante de uma matriz n n que possui pelo menos uma linha ou coluna nula zero. e
2 3

O determinante da matriz identidade um. e Se uma matriz n n possui pelo menos uma linha(coluna) mltipla de outra linha(coluna), seu determinante nulo. u e Se uma matriz n n possui uma linha(coluna) que pode ser escrita como combinao linear das demais linhas(colunas), ca seu determinante nulo. e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Exemplo de determinante de uma matriz det(A) = 3 0 1 1 0 0 0 1 3

= (1)1+1 3

0 0 1 0 1 0 +(1)1+2 0 +(1)1+3 1 1 3 0 3 0 1 det(A) = 0 0 + 1 = 1

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Usando o MatLab (Determinante) Sintxe: a d = det(A) Retorna o determinante da matriz A quadrada pelo mtodo de e Lagrange.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Mais propriedades do determinante 1 Se o determinante de uma matriz nulo, ento seus vetores e a colunas (ou vetores linhas) so linearmente dependentes. a
2 3 4

det(AB) = det(A) det(B) det(A1 ) = (det(A))1 det(A) = det(AT )

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Matriz Diagonal) Uma matriz m n dita matriz diagonal se todo elemento no e a pertencente ` diagonal dela for nulo. Escrevemos a A = diag(a1 , a2 , a3 , . . . , ap )mn Teorema O determinante de uma matriz diagonal n n igual ao produto e dos n elementos de sua diagonal.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Exemplos de matrizes diagonais A = diag(5, 7, 11)53 =

5 0 0 0 0

0 0 7 0 0 11 0 0 0 0 0 0 0 1 0 0 0 1 0 0 0 0

B = diag(9, 1, 1, 0)44

9 0 = 0 0

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Matriz Ortogonal) Uma matriz A dita ortogonal se AAT = I. Portanto, A ter que e a ser uma matriz quadrada. Teorema Se A uma matriz ortogonal, ento det(A) = 1 e a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Exemplos de matrizes ortogonais R = cos() sen() 0 0 1 0 B= 0 0 0 1 sen() cos() 1 0 0 0 0 1 0 0

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Similaridade) Sejam A e B matrizes quadradas n n. Dizemos que A similar ` e a B (escrevemos A B) se existir uma matriz X n n invert tal vel que A = XBX1 Teorema Matrizes similares possuem o mesmo determinante.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Exemplo de matrizes similares 1 2 6 6 1 2 6 6 = 2 1 0 3 2 1 0 3 5 3 3 2

2 3 3 5

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Produto Interno Vetorial) O produto interno de dois vetores uma funo Rn Rn R e ca denida por
n

x, y =
i=1

xi yi

Equivalentemente, e mais conveniente, temos x, y = xT y Nessa segunda forma, os vetores so tratados como matrizes n 1 a e os escalares como matrizes 1 1.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Produto Interno Matricial) O produto interno de duas matrizes uma funo e ca Rmn Rmn R denida por
m n

A, B =
i=1 j=1

aij bij

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Usando o MatLab (Produto Interno) Sintxe: a x = interno(u,v) x = interno(A,B) Retorna o porduto interno vetorial (matricial) de dois vetores (matrizes) u e v (A e B).

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Propriedades do produto interno 1 v, v = 0 v = 0

2 3 4 5

v, v > 0, se v = 0 v, u = u, v v + u, w = v, w + u, w u, v = v, u Todas essas propriedades do produto interno vetorial tambm e so vlidas para o produto interno matricial. a a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Norma Eclidiana de Vetores) A norma padro (Euclidiana) de vetores uma funo a e ca Rn R[0, ] denida por x = de modo equivalente, temos x =
n

x, x

xT x

=
i=1

xi2

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Norma de Matrizes) A norma (2) de matrizes uma funo Rmn R[0, ] denida e ca por A = max (svd(A))

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Definicao (Norma Frobenius) A norma de Frobenius de uma matriz uma funo e ca mn R[0, ] denida por R A de modo equivalente, temos
m n 2 aij i=1 j=1 F

A, A

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Usando o MatLab (Norma) Sintxe: a n = norm(v) n = norm(A,p) Retorna a norma padro do vetor v. a Retorna a norma como o maior valor singular da matriz A. [p=2] Retorna a norma de Frobenius da matriz A. [p=fro]

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes

Propriedades da norma 1 v =0v=0

2 3 4

v > 0, se v = 0 v = || v v+u v + u Todas essa propriedades so vlidas para qualquer norma aqui a a denida.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes
Definicao (Cosseno do Angulo Entre Vetores) O cosseno do ngulo entre dois vetores uma funo a e ca n Rn R[1, 1] denida por R cos() = u, v u v

onde = ang(u, v) o ngulo entre os vetores u e v. e a Observacao Apesar do ngulo entre vetores no estar bem denido, a denio a a ca acima nos satisfatria para o que pretendemos aplic-la. A idia e o a e de ngulo deve ser sugerida como um valor real para tal que o a cos() seja como est acima. a
Walner Mendona c Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Matrizes
Propriedades do cosseno do angulo entre vetores 1 cos() [1, 1] R
2

Quanto mais prximo de 1 for o mdulo do cosseno do ngulo o o a entre dois vetores, mais prximos de serem paraleloseles o estaro. a Se o cosseno do ngulo entre dois vetores for 1, ento eles a a esto na mesma direo e no mesmo sentido. a ca Se o cosseno do ngulo entre dois vetores for -1, ento eles a a esto na mesma direo, mas em sentidos opostos. a ca Se o cosseno do ngulo dois vetores for 0, ento eles so a a a perpendiculares (a projeo de um sobre o outro nula). ca e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Parte II AUTOVALORES & AUTOVETORES

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Definicao (Autovalores e Autovetores) Seja A Rnn uma matriz quadrada. Um vetor no-nulo x Rn a e um autovetor ou um vetor caracter stico de A, e R o e autovalor ou um valor caracter stico correspondente, se Ax = x. Consequencias da definicao 1 A cada autovetor, corresponde um unico autovalor.
2

A cada autovalor, uma innidade de autovetores o corresponde.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores
Usando o MatLab (Eigen Show) Sintxe: a eigshow(A) Demonstrao grca dos autovalores para matrizes 2 2. ca a Observacao Quando x for paralelo a Ax, teremos x sendo um autovetor da matriz. A norma de Ax o correspondente autovalor. e Questoes 1 Quais matrizes dos eigshow so ortogonais? a
2

Quais matrizes dos eigshow so singulares? a

Walner Mendona c Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Usando o MatLab (Autovalores e Autovetores) Sintxe: a [V, E] = eig(A) [V, E] = eigs(A) V a matriz dos autovetores. e E a matriz diagonal dos autovalores. e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Teorema Seja A uma matriz n n e um escalar em R. Os seguintes enunciados so equivalentes: a

1 2 3

um autovalor de A. e (A I)x = 0 tem uma soluo no trivial. ca a det(A I) = 0

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Definicao (Polinomio Caracter stico) Seja A uma matriz n n e um escalar em R. O polinmio o caracter stico da matriz A o polinmio e o PA () = det(A I). Teorema uma autovalor de A se, e somente se, raiz do polinmio e e o caracter stico PA (). Em outras palavas, para algum x, satisfaz Ax = x PA () = det(A I) = 0.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Usando o MatLab (Matematica Simbolica) Sintxe: a S = sym(A) Transforma a estrura de dados A em um objeto simblico S. o

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Usando o MatLab (Polinomio Caracter stico) Sintxe: a p = poly(A) Exibe os coecientes do polinmio caracter o stico da matriz A. Quando A for uma estrutura simblica, poly(A) retornar o o a polinmio caracter o stico na forma simblica. o

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Usando o MatLab (Fatoracao) Sintxe: a p = factor(poly(A)) Exibe o polinmio caracter o stico fatorado na forma simblica. o

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Procedimento para o calculo de autovalores 1 Encontrar o polinmio caracter o stico da matriz. PA () = det(A I)
2

Achar as ra do polinmio caracter zes o stico. Estas sero os a autovalores. PA () = 0 Resolver o sistema (A i I)x = 0, para cada autovalor i . Cada vetor soluo ser um autovetor da matriz A. ca a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores
Exemplo 2 3 1 A = 1 2 1 PA () = 1 3 2 2 3 1 1 2 1 1 3 2

PA () = ( 1)2 1 = 0, 2 = 3 = 1

2 i 1 (A i I)x = 1

3 2 i 3

1 xi 0 yi = 0 1 zi 0 2 i

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores
Exemplo (continuacao) Para i = 1, temos 1 = 0 20 3 1 x1 0 2 0 1 y1 = 0 (A 1 I)x = 1 1 3 20 z1 0 2x1 3y1 + 1z1 = 0 1x1 2y1 + 1z1 = 0 1x1 3y1 + 2z1 = 0 (x1 , y1 , z1 ) = (1, 1, 1) x1 = z1 y1 = z1

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores
Exemplo (continuacao) Para i = 2 = 3, temos 2 = 3 = 1 21 3 1 x2 0 2 1 1 y2 = 0 (A 2 I)x = 1 1 3 21 z2 0 1x2 3y2 + 1z2 = 0 1x2 3y2 + 1z2 = 0 z2 = 3y2 x2 1x2 3y2 + 1z2 = 0 (x2 , y2 , z3 ) = (x3 , y3 , z3 ) = (, , 3) = (1, 0, 1)+(0, 1, 3)

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Exemplo (continuacao) Concluso: a Autovalor Multiplicidade Autovetor associado Espao gerado c 0 1 (1,1,1) (1, 1, 1) 1 2 (1,1,2) (1, 0, 1) + (0, 1, 3)

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Propriedades dos autovalores 1 Os autovalores de uma matriz diagonal so os elementos de a sua diagonal.
2

Os autovalores da transposta de A so os mesmos autovalores a de A. Os autovalores de uma matriz simtrica so todos reais. e a Matrizes similares possuem os mesmos autovalores.

3 4

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Propriedades de uma matriz diagonal 1 A = diag(a , a , ..., a ), B = diag(b , b , ..., b ) 1 2 n 1 2 n AB = diag(a1 b1 , a2 b2 , ..., an bn )
2 3 4

Toda matriz diagonal quadrada simtrica. e e A1 = diag(a1 , a1 , ..., a1 ) n 1 2 O determinante de uma matriz diagonal n n igual ao e produto dos n elementos de sua diagonal. Os autovalores de uma matriz diagonal so os elementos de a sua diagonal.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Definicao (Matriz Diagonalizavel) Uma matriz n n, A, dita diagonalizvel se existe uma matriz e a no singular X e uma matriz diagonal tais que a A = XX1 Dizemos que X diagonaliza A.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Propriedades de uma matriz diagonalizavel 1 Os vetores colunas da matriz diagonalizante X so a autovetores de A.

2

Os elementos da diagonal de so os autovalores de A a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Teorema Uma k-sima potncia de A similar a uma k-sima potncia de e e e e e sendo X a matriz diagonalizante. Ak = Xk X1

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Teorema Uma matriz A diagonalizvel se, e somente se, o determinante e a da matriz, cuja as colunas so formadas por autovetores de A, for a no-nulo. a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores
Propriedades de uma matriz ortogonal Seja A uma matriz ortogonal.
1 2 3 4 5 6

A1 = AT Se A uma matriz ortogonal, ento det(A) = 1 e a Ax, Ay = x, y A =1 Ax = x Os autovalores reais de uma matriz ortogonal igual a 1 ou e 1. Se B uma matriz ortogonal, ento AB tambm ortogonal. e a e e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores
Decomposicao de Schur Se A uma matriz n n com entradas reais e autovalores reais, e ento existe uma matriz ortogonal Q tal que a A = QQ1 onde uma matriz triangular superior da forma e 1 0 2 = 0 0 3 . . . .. . . . . . . . . . . 0 0 0 n com i sendo autovalores de A repetidos de acordo com a multiplicidade.
Walner Mendona c Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Usando o MatLab (Decomposicao de Schur) Sintxe: a [U,T] = schur(A) U a matriz ortogonal da decomposio. e ca T a matriz de Schur. e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores
Decomposicao de Hessenberg Uma decomposio de Hessenberg de qualquer matriz A, n n ca e uma fatorao do seguinte tipo, onde Q uma matriz ortogonal e ca e uma matriz Hessenberg superior. e A = QQ1 0 . 0 0 .. . . . .. . . . . . . . 0 0 0 0 . . . . . . . . . 0
Singular Value Decomposition (SVD)

= 0 0

Walner Mendona c

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Usando o MatLab (Decomposicao de Hessenberg) Sintxe: a [P,H] = hess(A) P a matriz ortogonal da decomposio. e ca H a matriz de Hessenberg. e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Autovalores e Autovetores

Decomposicao em Autovalores (EVD) Uma decomposio em autovalores (EVD) da matriz simtrica ca e n n, A, uma fatorao da seguinte forma e ca A = QQ1 onde Q uma matriz ortogonal e = diag(1 , 2 , ..., n ), com i e sendo autovalores de A.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Parte III DECOMPOSICAO EM VALORES SINGULARES

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Definicao (Decomposicao em Valores Singulares) Sejam as matrizes A RI J ; U = {u1 , u2 , . . . , uI } RI I ; V = {v1 , v2 , . . . , vJ } RJJ ; RI J Uma decomposio do tipo ca A = UVT satisfazendo certas propriedades dita uma decomposio em e ca valores singulares.
Walner Mendona c Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Propriedades
T AI J = UI I I J VJJ

UUT = IdI (Ortogonal de ordem I); VVT = IdJ (Ortogonal de ordem J); = diag(1 , 2 , . . . , P )I J , com P = min(I , J) e 1 2 P 0.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Nomenclatura Os k pertencentes ` matriz chamam-se valores singulares; a Os vetores colunas uk da matriz U so os vetores singulares a esquerdos; Os vetores colunas vk da matriz V so os vetores singulares a direitos.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Ilustracao da SVD

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Usando o MatLab (SVD) Sintxe: a [U, S, V] = svd(A) [U, S, V] = svds(A) U a matriz dos vetores singulares esquerdos. e V a matriz dos vetores singulares direitos. e S a matriz dos valore singulares da matriz A. e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Exemplo Considere o seguinte exemplo simples: 4 22 3 1 5 1 A= 11 69 10 11 69 10

5 1 14 14

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Comando svd Usando svd para calcular a SVD vetores singulares esquerdos 0.22 0.97 0.05 0.06 U= 0.69 0.16 0.69 0.16

de A, temos os seguintes 0.07 0.00 1.00 0.00 0.03 0.71 0.03 0.71

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Comando svds No entanto, svds troca os sinais dos primeiros trs pares de e vetores singulares. Abaixo os vetores singulares esquerdos so a mostrados (os vetores singulares direitos tm um sinal e correspondente). 0.22 0.97 0.07 0.00 0.05 0.06 1.00 0.00 U= 0.69 0.16 0.03 0.71 0.69 0.16 0.03 0.71

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Usando o MatLab (Eigen & Singular Value Show) Sintxe: a eigshow(A) Demonstrao grca dos valores singulares para matrizes ca a 2 2. Observacao Quando Ax for perpendicular a Ay, teremos:
1 2

Os vetores x e y so os vetores singulares direitos da matriz; a Os vetores Ax e Ay, normalizados, so os vetores singulares a esquerdos da matriz; A norma de Ax e Ay so os valores singulares. a
Walner Mendona c Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Propriedades da SVD
1 2 3 4 5

A = UVT AT = VT UT AT A = VT UT UVT = V(T )VT AAT = UVT VT UT = U(T )UT T AAT eig (T ) = eig (AAT ) i2 = i i = i onde i i-simo autovalor de AAT . O outro caso ( que e e segue (2) ) anlogo e se chega ao mesmo resultado. e a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Propriedades da SVD
1

Segue de (2) que V diagonaliza AT A, portanto os vi , vetores singulares esquerdos de A, so autovetores de AT A. a Segue de (3) que U diagonaliza AAT , portanto os ui , vetores singulares direitos de A, so autovetores de AAT . a Segue de (5) um meio de calcular os autovalores de A: i = i

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Teorema Se A uma matriz simtrica, ento a SVD de A se resumo a EVD e e a de A. Observacao Se A uma matriz simtrica, ento as matrizes ortogonais da SVD e e a de A sero as mesmas. Consequentemente, os autovalores de A a sero iguais aos seus valores singulares. a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Exemplo 1 1 A= 1 1 0 0 1 1 1 1 0 2 2 1 1 = AT A = 1 1 0 2 2 0 0 1 1 2 2 0 1 1 0 AAT = 1 1 = 2 2 0 1 1 0 0 0 0 0 0

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Exemplo (continuacao) Polinmio caracter o stico: PAT A () = 2 2 2 2 = ( 4)

Autovalores e valores singulare: 1 = 4, 2 = 0 1 = 2, 2 = 0 Autovetores: 2 i 2 2 2 i xi yi = 0 0 (2 i )xi + 2yi 2xi + (2 i )yi =0 =0

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Exemplo (continuacao) (2 4)x1 + 2y1 = 0 2x1 + (2 4)y1 = 0 2x1 + 2y1 = 0 2x1 2y1 = 0

x1 = y1 (x1 , y1 ) = (1, 1) Exemplo (continuacao) (2 0)x2 + 2y2 = 0 2x2 + (2 0)y2 = 0 2x2 + 2y2 = 0 2x2 + 2y2 = 0

x2 = y2 (x2 , y2 ) = (1, 1)

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Exemplo (continuacao) Matriz dos vetores singulares direitos: vi = (xi , yi ) (1, 1) (1, 1) v1 = ; v2 = (xi , yi ) 2 2 1 2 V= 1 2 1 2 1 2

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Exemplo (continuacao) Polinmio caracter o stico: PAAT () = Auto vetores: 2 2 0 2 2 0 0 0 0 = 2 ( 4)

2 i 2 0

2 2 i 0

0 0 xi 0 yi = 0 z1 i 0 =0 =0 =0

(2 i )xi + 2yi 2x + (2 i )yi i 0xi + 0yi z1

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Exemplo (continuacao) x1 = y1 ; z1 = 0 (x1 , y1 , z1 ) = (1, 1, 0) x2 = y2 ; z2 = 0 (x2 , y2 , z2 ) = (1, 1, 0) x3 = y3 = 0; z3 = (x3 , y3 , z3 ) = (0, 0, 1)

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Exemplo (continuacao) A matriz U dos vetores singulares esquerdos: ui = (1, 1, 0) (1, 1, 0) (0, 0, 1) (xi , yi , zi ) u1 = ; u2 = ; u2 = (xi , yi , zi ) 2 2 1 1 2 1 U= 2 0 1 2 1 2 0 0

0 1

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Exemplo (continuacao) 1 2 1 A = UVT = 2 0 1 2 1 2 0 0 1 2 1 2

1 2 0 2 0 0 0 1 0 0 2 1

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Exemplo (continuacao) Concluso: a Autovalor Valor singular Vetor singular direito Vetor singular esquerdo 4 2 1 1 ( 2 , 2 ) 1 1 ( 2 , 2 , 0) 0 0 1 1 ( 2 , 2 ) 1 1 ( 2 , 2 , 0); (0, 0, 1)

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Definicao (Pseudo-inversa) A pseudo-inversa de uma matriz I J,A, uma matriz odtida do e produto das seguintes matrizes A1 = V1 UT
1 1 1 onde 1 = diag(1 , 2 , . . . , P )JI , com P = min(I , J). Se algum valor i singular da matriz for nulo, considera-se 1 = 0. i

Observacao A pseudo-inversa de uma matriz quadrada a inversa antes e denida.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Usando o MatLab (Pseudo-inversa) Sintxe: a B = pinv(A) Retorna a pseudo-inversa da matriz A.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

O Teorema da SVD 1 Sempre poss e vel decompor uma matriz A em valores singulares.
2

Os valores singulares de uma matriz A so unicamente a determinados.

Observacao Os valores singulares 1 , ..., p so unicos; entretanto, as matrizes a U e V no so unicas. a a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Definicao (rank de uma matriz) O rank de uma matriz I J, A, o nmero de valores singulares e u distintos. Observacao O rank de uma matriz na verdade o nmero de colunas (ou e u linhas) linearmente independentes, o que equivalente ao nmero e u de valores singulares.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Usando o MatLab (Rank de uma Matriz) Sintxe: a k = rank(A) Retorna o rank da matriz A.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Forma truncada
K T A UK K VK = = k=1 T k uk vk = A(k)

com K min(I , J) Onde UK = {u1 , u2 , . . . , uK } RI K ; VK = {v1 , v2 , . . . , vK } RJK ; K = diag(1 , 2 , . . . , K ) RK K .

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Ilustracao da forma truncada da SVD

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Teorema Seja A = UVT a SVD da matriz A RI J e A(K ) a truncada de A de ordem K . Se K rank(A), ento A A(K ) = k+1 . a Demonstracao Lembrando a denio da norma matricial A = max (svd(A)). ca Portanto, segue que A A(K ) = UVT U(K ) VT = U(T (K ) )VT = k+1
Walner Mendona c Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Propriedades da truncada 1 Segue da denio de matriz truncada que, para ca K < rank(A) P = min(I , J), A=
T UK K VK

T T T T = 1 u1 v1 + 2 u2 v2 + ... + K uK vK + ... + P uP vP T T T 1 u1 v1 + 2 u2 v2 + ... + K uK vK

2

K P
3

lim [ A A(K ) ] = 0 lim [ang(A, A(K ) )] = 0

K P

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Usando o MatLab (Truncada de uma Matriz) Sintxe: a B = truncada(A,k) Retorna a forma truncada de ordem k de uma matriz de posto r k.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Decomposicao em Valores Singulares (SVD)

Reflexividade
T T k uk vk = k (uk )(vk )

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Parte IV APLICACOES

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Aplicacoes da SVD

Atributos da SVD Simplicao de dados; ca Praticidade no tratamento dos dados; Ortogonalizao de espaos; ca c Aproximaes; co Maximizao do desempenho. ca

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Aplicacoes da SVD

Algumas dos metodos mais comum Anlise de Componentes Principais (PCA); a Indexamento Semntico Latente (LSI)); a Seleo induzida de hipertextos tpicos (HITS); ca o Anlise de Classicaes, Anlise de agrupamentos; a co a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Aplicacoes da SVD

Aplicacoes apresentadas aqui Indexamento Semntico Latente (LSI); a Compresso de Imagens; a Algoritmo SignFlip; Anlise de Dados Espectrais; a Anlise de Componentes Principais (PCA); a Eigenfaces.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Parte IV APLICACOES
Aplicao 1 ca Indexamento Semntico Latente (LSI) a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Indexamento Semantico Latente (LSI)

Metodo de Busca Rotina:
1 2

Carregar base de dados. Montar a matriz de frequncia das palavras-chave e (previamente denidas). [A] Normalizar a matriz. [Q] Ler palavras-chave (com base nas palavras-chave dos aquivos da base de dados). Formar um vetor de busca. [v] Normalizar o vetor de busca. [x] Calcular o vetor de correlao. [y = QT x] ca O arquivo que melhor se ajusta ao critrio de busca aquele e e correpondente ao yi mais prximo de 1. o
Walner Mendona c Singular Value Decomposition (SVD)

3 4

5 6 7 8

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Indexamento Semantico Latente (LSI)

Frequencia das Palavras-Chave Palavras-chave determinante autovalores linear matrizes numrico e ortogonalidade espaos c sistemas transformaes co vetor M1 0 0 5 6 0 0 0 5 0 0 M2 6 0 4 5 0 0 0 3 0 4 M3 3 0 4 3 0 0 5 3 0 4 Mdulos o M4 M5 0 1 0 0 5 4 3 4 0 3 0 4 2 3 2 4 5 1 3 4 M6 0 5 0 4 0 6 3 2 3 1 M7 1 3 3 3 4 0 0 1 1 0 M8 1 2 3 2 3 2 1 1 0 3

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Indexamento Semantico Latente (LSI)

Matriz de Frequencia das 0 6 3 0 0 0 5 4 4 6 5 3 0 0 0 A= 0 0 0 0 0 5 5 3 3 0 0 0 0 4 4

Palavras-Chave 0 1 0 1 1 0 0 5 3 2 5 4 0 3 3 3 4 4 3 2 0 3 0 4 3 0 4 6 0 2 2 3 3 0 1 2 4 2 1 1 5 1 3 1 0 3 4 1 0 3

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Indexamento Semantico Latente (LSI)

Matriz de Frequencia das Palavras-Chave Normalizada Q= 0, 00 0, 00 0, 54 0, 65 0, 00 0, 00 0, 00 5, 00 0, 00 0, 00 0, 59 0, 00 0, 40 0, 50 0, 00 0, 00 0, 00 0, 30 0, 00 0, 40 0, 33 0, 00 0, 44 0, 33 0, 00 0, 00 0, 55 0, 33 0, 00 0, 44 0, 00 0, 00 0, 57 0, 34 0, 00 0, 00 0, 23 0, 23 0, 57 0, 34 0, 10 0, 00 0, 40 0, 40 0, 30 0, 40 0, 30 0, 40 0, 10 0, 40 0, 00 0, 50 0, 00 0, 40 0, 00 0, 60 0, 30 0, 20 0, 30 0, 10 0, 15 0, 44 0, 44 0, 44 0, 60 0, 00 0, 00 0, 15 0, 15 0, 00 0, 15 0, 31 0, 46 0, 31 0, 46 0, 31 0, 15 0, 15 0, 00 0, 46

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Indexamento Semantico Latente (LSI)

Ler Palvras-Chave; Formar um Vetor de Busca; Normalizar o Vetor de Busca Palavras-chaves: ortogonalidade; espaos; vetor. c a= 0 0 0 0 0 1 1 0 0 1 0.00 0.00 0.00 0.00 0.00 0.58 0.58 0.00 0.00 0.58

x= a x= a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Indexamento Semantico Latente (LSI)

Calcular o Vetor de Correlacao y = QT x yi = qT x = cos()i i y= 0.00 0.23 0.57 0.33 0.64 0.58 0.00 0.54
T

Conclusao O mdulo 5 o que melhor se ajusta ao nosso critrio de busca. o e e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Indexamento Semantico Latente (LSI)

Aproximando a Base de Dados Devido a problemas de polissemia e sinon mia, nosso mtodo e de busca no perfeito. a e Suponha que fosse poss corrigir esse problemas e chegar a vel uma matriz de dados perfeita P. Podemos pensar em E = Q P como uma matriz que representa o erro da aproximao. ca Encotremos uma aproximao de Q mais simples, Q1 (com ca posto menor). Q1 ser a truncada de Q de ordem k. a Veja que pode acontecer de E1 ser menor que E .

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Indexamento Semantico Latente (LSI)

Aproximando a Base de Dados A multiplicao QT x requer um total de mn multiplicaes de ca co escalares. Se r min(m, n)/2, a multiplicao Q1 = V1 1 UT e a ca 1 multiplicao QT x requerem juntas um total de r (m + n + 1) ca 1 multiplicaes de escalares. co

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Parte IV APLICACOES
Aplicao 2 ca Compresso de Imagens a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Compressao de Imagens

Usando o MatLab (Compressao de Imagens) Rotina:

1 2 3 4 5

Carregar imagem. Transforma a imagem numa matriz. Calcular a forma truncada de ordem k por meio da SVD. Transforma a matriz numa imagem. Exibir a imagem.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Parte IV APLICACOES
Aplicao 3 ca Ambiguidade no sinal da SVD Algoritmo SignFlip

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Essencia do Metodo

Idealizacao Matematicamente, no h maneira de evitar a ambiguidade a a do sinal de um termo multiplicativo, como o par de vetores singulares. A m de identicar o sinal de um vetor singular, sugere-se que seja semelhante ao sinal da maioria dos vetores que est a representando. Geometricamente, ele deve apontar na mesma direo, e no ca a na direo oposta dos pontos que esto representando. ca a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Exemplo
Quatro exemplos de matrizes 102 aleatorias

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Exemplo
Exemplo de uma matriz de dados

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Funcao SignFlip

Entradas: X RI J e sua (possivelmente truncadas) decomposio em ca valores singulares (U,V,).

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Funcao SignFlip
1 passo Para cada vetor singular ` esquerda, k = 1, 2, ..., K e para yj sendo a a j-sima coluna de Y e
K

Y =X
m=1,m=k J esquerdo Seja sk = j=1

T m um vm

sign(uT yj )(uT yj )2 k k

m do para

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Funcao SignFlip
2 passo Para cada vetor singular ` direita, k = 1, 2, ..., K e para yi sendo a a i-sima linha transposta de Y e
K

Y =X
m=1,m=k I direito Seja sk = i=1

T m u m vm

T T sign(vk yi )(vk yi )2

m do para

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Funcao SignFlip
3 passo Para cada vetor singular, k = 1, 2, ..., K
esquerdo direito ) < 0, ento se (sk )(sk a esquerdo direito ), ento se (sk ) < (sk a esquerdo esquerdo sk = sk se no, a direito = s direito sk k m do se m do se

(...)

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Funcao SignFlip

3 passo (continuao) ca Para cada vetor singular, k = 1, 2, ..., K (...)

esquerdo uk = sign(sk )uk direito k = sign(sk v )vk

m do para

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Funcao SignFlip

Sa das: u e ( vetores singulares ` esquerda e ` direita com sinais v a a apropriados).

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Parte IV APLICACOES
Aplicao 4 ca Exemplos de uso da conveno de sinais: ca Dados Espectrais

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

O efeito da sinalizacao amb gua em Dados Espectrais

Dados espectrais Um exemplo para a ilustraco da ambiguidade no sinal da SVD a a e anlise de Dados Espectrais. a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

O efeito da sinalizacao amb gua em Dados Espectrais

Dados espectrais

Figura: Sesenta e uma emises de espectros uorescentes o 201-dimensionais.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

O efeito da sinalizacao amb gua em Dados Espectrais

Dados espectrais

Figura: Bootstrapped dos trs primeiros vetores singulares direitos a e partir da Figura 6 antes (superior) e depois (inferior) da correo do sinal. ca
Walner Mendona c Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Parte IV APLICACOES
Aplicao 5 ca Anlise de Componentes Principais (PCA) a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Analise de Componentes Principais (PCA)

Metodologia Rotina:
1 2 3 4

Carregar base de dados. Montar a matriz correpondente a base de dados. [A] Calcular a matriz dos desvios mdio. [X] e Computar a matriz de covarincia. [S = a
XT X n1 ]

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Analise de Componentes Principais (PCA)

Notas da turma de matematica da Universidade de Massachusetts Dartmouth Graus Trabalhos Provas Parciais Prova Final 198 200 196 160 165 165 158 158 133 150 165 91 175 182 151 134 165 101 152 136 80 161 163 131

Aluno S1 S2 S3 S4 S5 S6 S7 Mdia e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Analise de Componentes Principais (PCA)

Matriz dos desvios X= 37 37 65 1 2 34 3 5 2 11 2 40 14 19 20 27 28 30 9 27 51

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Analise de Componentes Principais (PCA)

Normalizando os desvios x1 x2 u1 = ; u2 = x1 x2

e u3 =

x3 x3

Matriz dos desvios normalizada 0, 74 0, 65 0, 62 0, 02 0, 03 0, 33 0, 06 0, 09 0, 02 U = 0, 22 0, 03 0, 38 0, 28 0, 33 0, 19 0, 54 0, 49 0, 29 0, 18 0, 47 0, 49

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Analise de Componentes Principais (PCA)

Relacao angular entre os vetores cos() = xT x2 1 0, 92 x1 x2

Matriz de correlacao 1 0, 92 0, 83 1 0, 83 C = UT U = 0, 92 0, 83 0, 83 1

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Analise de Componentes Principais (PCA)

Variancia s2 = 1 n1
n

xi2 =
i=1

xT x n1

Covariancia cov(X1 , X2 ) = Matriz de covariancia S= XT X n1 xT x2 1 n1

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Analise de Componentes Principais (PCA)

Matriz de covariancia 37 1 3 11 14 27 9 1 37 2 5 2 19 28 27 S= 6 65 34 2 40 20 30 51 37 37 65 1 2 34 3 5 2 11 2 40 14 19 20 27 28 30 9 27 51

417, 7 437, 5 725, 7 = 437, 5 546, 0 830, 0 725, 7 830, 0 1814, 3

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Analise de Componentes Principais (PCA)

Componentes Principais Evitar a correlao entre os dados. ca Tornar os fatores hipotticos no correlacionados. [yi ] e a Portanto, queremos introduzir vetores mutuamente ortogonais, yi , correspondentes aos fatores hipotticos. e Alm disso, queremos numerar esse vetores em ordem e decrescente de varincia. a

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Analise de Componentes Principais (PCA)

Problema das componentes principais Queremos, portanto, fatorar a matriz de dados X (m n, onde n e o nmero de fatores hipotticos - testes) da seguinte forma u e X = UW onde U a matriz das componentes principais normalizadas e W e e a matriz que mede em que extenso cada teste depende dos a fatores hipotticos. e

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Analise de Componentes Principais (PCA)

Problema das componentes principais Em geral, a SVD resolve a PCA. Se X tem posto r e sua SVD, X = UV (truncada), ento os vetores componente principais so a a dados por y1 = 1 u1 , ..., yr = r ur Os vetore ` esquerda u1 , ..., un so os vetores componentes a a principais normalizados. Se zermos W = VT , ento a X = UW

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Parte IV APLICACOES
Aplicao 6 ca Eigenfaces

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Eigenfaces

Eigenfaces Um exemplo para a ilustraco da ambiguidade no sinal da SVD e a da PCA uma tcnica bem conhecida chamada Eigenfaces, muitas e e vezes usado no reconhecimento de faces.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Eigenfaces
Usando o MatLab (Eigenfaces) Rotina: (1 Parte - Preparar o banco de faces)
1 2

Carregar base de n faces. Cada face uma matriz NL NC . e Vetorizar as matrizes correspondente a cada face: ei , M 1, onde M = NL NC . Computar o vetor face mdia: . e Subtrair de cada vetor-face a face mdia (Matriz dos Desvios): e i = ei

3 4

Computar a matriz de covarincia: a C = T

Walner Mendona c Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Eigenfaces

Usando o MatLab (Eigenfaces) Rotina: (2 Parte - Computar o Eigenspace)

1

Calcular os autovetores da matriz de covarincia C = T , a (M M): (INVIAVEL!) Calcular os autovetores da matriz L = T , (n n). eig(T ) = svd(T ) = VT VT Portanto, V a matriz dos autovetores de L. e Computar o Eigenspace: U = EV, onde E = [e1 , ..., en ].

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Eigenfaces
Usando o MatLab (Eigenfaces) Rotina: (3 Parte - Comparando as Projees) co
1 2

Projetar a face-teste (z) no Eigenspace: w = UT (z ) Projetar os vetores-faces (ei ) no Eigenspace: yi = UT (ei ) Y = UT

Calcular a distncia entre a face-teste projetada (w) e os a vetores-faces proetados (yi ): disti = yi w

Pegar o vetor-face projetado menos distante da face-teste projetada e a sua numerao (dist min , k). ca
Walner Mendona c Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Eigenfaces
Usando o MatLab (Eigenfaces) Rotina: (4 Parte - Classicando a Imagem)
1

Assuma um limite tolerncia: a Limite = i rank(L)

Se dist min > Limite, ento a face-teste no pertence ao banco a a de faces e nem ao menos possui uma similar. Se dist min < Limite e dist min = 0, ento a face-teste possui a uma similar no banco de faces (a face k). Se dist min < Limite e dist min = 0, ento a face-teste pertence a ao banco de faces, sendo k a sua numerao. ca

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

O efeito da sinalizacao amb gua em Eigenfaces

Eigenfaces

Figura: Eigenfaces correspondentes aos trs primeiros vetores singulares e obtidos em execues diferentes do mtodo svd em MATLAB, quando co e 200 de 265 imagens so aleatoriamente amostradas em cada execuo. a ca
Walner Mendona c Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

O efeito da sinalizacao amb gua em Eigenfaces

Eigenfaces

Figura: Eigenfaces correspondentes aos trs primeiros vetores singulares e obtidos de forma consistente em execues diferentes com a funo co ca SignFlip quando 200 de 265 imagens so aleatoriamente amostradas em a cada execuo. ca

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

E tudo termina com muitas ideias.

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Lista de funcoes usadas no MatLab

inv (inversa) menor (menor de uma matriz) det (determinante) interno (porduto interno matricial e vetorial cannico) o norm (norma) cos (cosseno) eigshow (eigen-singular show) eig (autovalores e autovetores) sym (manipulao simblica) ca o poly (polinmio caracter o stico)

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Lista de funcoes usadas no MatLab

factor (fatorizao) ca schur (decomposio de Schur) ca hess (decomposio de Hessenberg) ca svd (decomposio em valores singulares completa) ca svds (decomposio em valores singulares parcial) ca rank (rank de uma matriz) truncada (truncada de uma matriz) pinv (pseudo-inversa de uma matriz) signflip (funo signip) ca svdimagens (rotina de compresses de imagens) o

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Referencias

Banco de faces Pode-se encontrar o banco de faces usado a aplicao Eigenface no ca seguinte site: http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html

Walner Mendona c

Singular Value Decomposition (SVD)

Apresentao ca

Introduo ca

Histria o

Matrizes

EVD

SVD

Aplicaes co

Referncias e

Referencias
1

Linear Algebra; Kenneth Homan & Ray Kunze; editora Prentice Hall, 2ed. Algebra Linear com aplicaes; Steven J. Leon; editora LTC, co 8ed. Singular value decomposition, eigenfaces, and 3D reconstructions; Muller, N., Magaia, L. and Herbst B. M; SIAM Review, Vol. 46 Issue 3, pp. 518545. Dec. 2004. On the early history of the singular value decomposition; G. W. Stewart; IMA Preprint Series n952, abril de 1992. Singular Value Decomposition Tutorial; Kirk Baker; March 29, 2005; http://www.cs.wits.ac.za/ michael/SVDTut.pdf Resolvign the sign ambiguity in the singular value decomposition; R. Broa, E. Acar e Tamara G. Kolda; J. Chemometrics 2008, 22, 135-140.
Walner Mendona c Singular Value Decomposition (SVD)