BAG-OF-FEATURES

Carolina Toledo Ferraz Raissa Tavares

Viso Computacional 12-06-2012

AGENDA
Introduo Bag-of-Words Bag-of-features Aplicaes Referncias

INTRODUO
Gerenciamento e recuperao de imagens com eficincia Recuperao de imagens por contedo (CBIR Content Based Image Retrieval) Bag-of-words Bag-of-features

BAG-OF-WORDS
Aplicada em recuperao de informaes textuais (RI -Information Retrieval) Cria um dicionrio de palavras responsvel pela categorizao textual quando aplicado a recuperao textual Estima a probabilidade de uma palavra estar em um determinado contexto
4

BAG-OF-WORDS
Usado para a representao de documentos: frequncias de palavras de um dicionrio.
Hoje o dia dos namorados. O dia dos namorados comemorado hoje. Feliz dia dos namorados!
Dicionrio={1: "hoje" 2:" " 3: "dia" 4: "dos" 5: "namorados" 6:" o" 7:" comemorado" 8: "feliz"} [1 1 1 1 1 1 0 0] [1 1 2 2 2 1 1 1]

Dicionrio com 8 palavras visuais

Frequncia das palavras visuais

BAG-OF-FEATURES
Extrao de caractersticas

Fase 1

Aprendizado Aprendizado do do vocabulrio vocabulrio visual visual

Fase Fase 2 2
Quantificao Quantificao dos dos recursos recursos utilizando utilizando o vocabulrio o visual vocabulrio visual Representao Representao das imagens das imagens por meio das por frequncias meio das de palavras visuais frequncias de palavras visuais
6

Fase Fase 3 3

BAG-OF-FEATURES FASE 1
Fase 1
Identificar trechos locais de interesse em um conjunto de imagens:
Grid Regular [1],[2] Detector de ponto de interesse [3],[2],[4] Amostragem aleatria [5] Segmentao baseada em fragmentos (patches) [6]

Representao dos (Descritores Visuais)

trechos

locais
7

IDENTIFICAR TRECHOS LOCAIS DE

INTERESSE EM UM CONJUNTO DE IMAGENS
Grid Regular

Fase 1

IDENTIFICAR TRECHOS LOCAIS DE

INTERESSE EM UM CONJUNTO DE IMAGENS
Detector de pontos de interesse

Fase 1

IDENTIFICAR TRECHOS LOCAIS DE

INTERESSE EM UM CONJUNTO DE IMAGENS
Segmentao (patches) baseada em fragmentos

Fase 1

Deteco de fragmentos (patches)

10

REPRESENTAO DOS TRECHOS LOCAIS (DESCRITORES VISUAIS)

SURF Speeded Up Robust Features [7]

Fase 1

SIFT Scale Invariant Feature Tranform [8] GLOH Gradient Location and Orientation Histogram [9] LESH Local Histogram [10] Energy based Shape

11

BAG-OF-FEATURES FASE 2
Fase 2
Agrupar as caractersticas conjunto de imagens
Clusterizao: k-means

extradas

do

Representao de uma palavra visual: centro de cada agrupamento CODE BOOK: vocabulrio visual composto pelas palavras visuais identificadas * Outras formas de gerar codebooks:
Mapas auto-organizveis [11] Abordagem estatstica [12]
12

AGRUPAR AS CARACTERSTICAS
EXTRADAS DO CONJUNTO DE IMAGENS
Clusterizao: k-means

Fase 2

Cada patch representado por um Vetor de Caractersticas

13

AGRUPAR AS CARACTERSTICAS
EXTRADAS DO CONJUNTO DE IMAGENS
Clusterizao: k-means

Fase 2
Cada Vetor representa um ponto no espao multi-dimensional

14

AGRUPAR AS CARACTERSTICAS
EXTRADAS DO CONJUNTO DE IMAGENS
Clusterizao: k-means

Fase 2

Clustering

15

REPRESENTAO DE UMA PALAVRA VISUAL:

CENTRO DE CADA AGRUPAMENTO

Fase 2

Palavra visual

Clustering

16

CODE BOOK:

VOCABULRIO VISUAL COMPOSTO

PELAS PALAVRAS VISUAIS IDENTIFICADAS

Fase 2

17

BAG-OF-FEATURES FASE 3
Fase 3
Quantificao das ocorrncias de cada palavra visual em uma determinada imagem
Histograma: passa a ser a representao da imagem

Aplicao de classificadores e/ou modelos de categorias para definir categorias para imagens (Paisagens, fotos de carros, retrato de uma pessoa,)
18

QUANTIFICAO DAS OCORRNCIAS DE CADA

PALAVRA IMAGEM VISUAL EM UMA DETERMINADA

Fase 3

Histograma: passa a ser a representao da imagem

19

APLICAO

DE CLASSIFICADORES E/OU MODELOS DE CATEGORIAS PARA DEFINIR CATEGORIAS PARA IMAGENS

Fase 3

Redes neurais, Sistemas Fuzzy, Algoritmos genticos, Classificadores de Bayes SVM (Support Vector Machine)

20

aprendizado

reconhecimento

Dicionrio de palavras visuais Deteco de caractersticas e representao Representao da imagem

Modelos de categorizao (e/ou (e/ ou) ) classificadores

Deciso:21 Deciso: categoria

BAG-OF-FEATURES
Aplicaes

REPRESENTING AND RECOGNIZING THE VISUAL APPEARANCE OF MATERIALS USING THREE-DIMENSIONAL TEXTONS THOMAS LEUNG AND JITENDRA MALIK - 2001

Problema:

23

OBJETIVOS
Construir um vocabulrio de textons 3D Reconhecer na base de modelos uma imagem de um destes materiais sob uma nova visualizao ou iluminao.

24

BANCO DE FILTROS

Fig. 1: Total de 48 filtros

25

TEXTONS 3D

26

CONSTRUINDO O MODELO PARA CADA

MATERIAL Para cada imagem da base de dados faa:
Encontre a distncia mnima entre o vetor de texton do dicionrio e o vetor resposta dos filtros no ponto Constri o histograma

27

RECONHECIMENTO DE TEXTURA MLTIPLAS IMAGENS

Amostras de diferentes iluminaes e visualizao Os rtulos so calculados O histograma calculado Achar a menor distncia do histograma da amostra com o histograma do modelo

28

Taxa de reconhecimento global: 95,6%

29

RECONHECIMENTO DE TEXTURA IMAGEM NICA

Problema:
Achar o rtulo do texton para cada pixel difcil Caractersticas fsicas diferentes podem ter a mesma aparncia Algoritmo Markov chain Monte Carlo (MCMC)

30

MCMC

31

32

Fig.2: Linha pontilhada material errado, linha contnua material correto

87% raio de deteco 13% falso alarme

33

A STATISTICAL APPROACH TO TEXTURE CLASSICATION FROM SINGLE IMAGES MANIK VARMA AND ANDREW ZISSERMAN - 2004

34

RESULTADOS

35

ANLISE COMPARATIVA ENTRE DESCRITORES VISUAIS APLICADOS

SEGMENTAO EM CENAS

TAMIRES TESSAROLLI DE SOUZA 2011

K-Means

Dicionrio de palavras visuais

Para cada arquivo extrai novamente as caractersticas das imagens

Compara cada arquivo com o dicionrio de palavras visuais

36

RESULTADOS DA SEGMENTAO
AUTOMTICA

37

RESULTADOS
Resultados similares com o Sift e o Surf Para limiares baixos, excesso de segmentao em cenas rpidas Para limiares muito altos, pouca segmentao em cenas lentas

38

VOCABULRIOS VISUAIS APLICADOS A DETECO DE EDIFCIOS EM FOTOGRAFIAS HISTRICAS NATLIA COSSE BATISTA 2009

39

PROCESSO

Sift

Codebook
Histograma de palavras visuais

40

RESULTADOS

Taxa de acerto

Matriz de confuso

41

NUDE DETECTION IN VIDEO USING BAG-OF-VISUAL-FEATURES ANA PAULA B. LOPESY, SANDRA E. F. DE AVILA, ANDERSON N. A. PEIXOTO, RODRIGO S. OLIVEIRA, MARCELO DE M. COELHOZ AND ARNALDO DE A. ARAJO SIBGRAPI 2009

42

MTODO

43

RESULTADOS

44

ROBUST FACE RECOGNITION USING BLOCK-BASED BAG OF WORDS ZISHENG LI JUN-ICHI IMAI MASAHIDE KANEKO - 2010

45

MTODO

46

EXEMPLO

47

RESULTADOS

48

RESULTADOS

49

REFERNCIAS
[1]Vogel, J.; Schiele, B. Natural scene retrieval based on a semantic modeling step. In: Conference on image and video retrieval, 2004, Dublin, Irlanda. Proceedings...2004. [2]Fei-Fei, L.; Perona, P. A Bayesian hierarchical model for learning natural scene categories. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, San Diego, CA, volume 2, pages 524-531, June 2005. [3]Csurka, G.; Bray, C.; Dance, C.; Fan, L. Visual categorization with bags of keypoints. In Workshop on Statistical Learning in Computer Vision, ECCV, pages 1-22, 2004. [4]Sivic, J.; Russell, B.; Efros, A.; Zisserman, A.; Freeman, W. Discovering object categories in image collections. Technical Report A. I. Memo 2005005, Massachusetts Institute of Technology, 2005. [5]Ullman, S.; Vidal-Naquet, M.; Sali, E. Visual features of intermediate complexity and their use in classification. Nature Neuroscience, v. 5, n. 7, 2002, pp. 1-6.

[6]Barnard, K.; Duygulu, P.; Freitas, N.; Forsyth, D.; Blei, D.; Jordan, M. Matching words and pictures. JMLR, 3:1107-1135, February 2003.
50

REFERNCIAS
[7]Bay, H.; Tuytelaars, T.; Gool, L. V. SURF: Speeded Up Robust Features. CVIU, Vol.110, No. 3, pp. 346-359, 2008. [8]Lowe, D. G. Distinctive image features from scale-invariant keypoints, Internacional Jornal of Computer Vision, v. 60, n. 2, p 91-110, 2004 [9]Mikolajczyk, K.; Schmid, C. A performance evaluation of local descriptors. IEEE Transactions on Pattern Analysis e Machine Intelligence, 27(10), pp. 16151630, 2005. [10]Sarfraz, M. S.; Hellwich, O. Head pose estimation in face recognition across pose scenarios. In International conference on Computer Vision Theory and Applications, pp. 235242, 2008 [11]Kinnunen, T. et al. Bag-of-Features Codebook Generation by SelfOrganisation. In: Workshop on advances in self-organizing maps, 7, 2009, Berlim, Alemanha. Proceedings... Springer-Verlag: Berlim. 2009, pp. 124132. [12]Zhang, Y.; Jin, R.; Zhou, Z.-H. Understanding bag-of-words model: A statistical framework. International Journal of Machine Learning and Cybernetics, v.1, n.1, 2010, pp. 43-52.

51

REFERNCIAS
[13] T. Leung and J. Malik. Representing and recognizing the visual

appearance of materials using three-dimensional textons. International Journal of Computer Vision, 43(1):29-44, June 2001. [14] M. Varma and A. Zisserman. A Statistical Approach to Texture Classication from Single Images. Kluwer Academic Publishers. 2004 [15] T. Tessarolli de Souza. Anlise comparativa entre descritores visuais aplicados segmentao em cenas. Monografia de concluso de curso. ICMC Usp So Carlos, 2011. [16] N. C. Batista. Vocabulrios visuais aplicados deteco de edifcios em fotografias histricas. Dissertao de mestrado. UFMG, 2009. [17] A. P. B. Lopes, S. E. F de Avila, A. N. M. Peixoto, R. S. Oliveira, M. M. Coelho, A. A. Araujo. XXII Brazilian Symposium on Computer Graphics and Image Processing, 2009; [18] Z. Lie, J. Imai and M. Kaneko. Robust Face Recognition Using Blockbased Bag of Words. 2010 International Conference on Pattern Recognition
52

53