INTRODUCCIN A LA DETECCIN DE OBJETOS

Caractersticas de pxel

Maria Vanrell
DEPARTAMENTO DE CIENCIAS DE LA COMPUTACIN
 INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

La extraccin de caractersticas construye los descriptores de los objetos de las imgenes

Imagen Sistema detector de objetos

Ventana/-s
Extraccin de
Generacin de
caractersticas
candidatos
Clasificacin de
candidatos
Refinacin de
+ la decisin
Objeto cara
(cara, mano, persona, ...) mano

persona
Descriptores de los objetos
INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Un descriptor simple: EL COLOR del pxel

Imagen de entrada: Objetivo:

Objeto: Regin de pxeles conectados que tienen color de piel.

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Consideraremos slo una parte del esquema general

Extraccin de Generacin de
caractersticas candidatos
Clasificacin de Refinacin de
candidatos la decisin
Generacin de Extraccin de
candidatos caractersticas

Clasificacin de descriptores

Descriptores simples de pxel

 INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Esquema:

Extraccin de Clasificacin de Generacin de

caractersticas candidatos ventanas

Para cada pxel, p(x,y), le Cada descriptor de pxel Para los pxeles de
asociamos un descriptor de se clasificar dentro o clase piel se extraern
3 dimensiones: fuera del cubo la clase las regiones conectadas
x1 R piel que se han formado
s
Descriptor ( p ) = x 2 = G G
x B ( Rp Gp Bp )
3
R
B Clase piel
INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Extraccin de caractersticas Clasificacin de descriptores

s
x1 R G
( Rp Gp Bp )
Descriptor ( p ) = x 2 = G
x B
3 R
B
Imagen entrada G G
ropa
s2
s3 s1
B B
piel
R R

( Rp Gp Bp )
fondo
INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Resultados:

Imagen entrada

Clase piel: ( R p Gp Bp ) = (117.5 66.0 38.5)

s1 = 113 s2 = 80 s3 = 77

Generacin de ventanas
INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Problema: Qu pasa si la imagen presenta cambios de intensidad, luz ms tenue

Clasificador Inicial
INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Solucin: Eliminar los efectos de la intensidad en la imagen, cambio de descriptor pasaremos

a un espacio de color invariante a la intensidad, son las coordenadas cromticas
 INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Nuevo descriptor:

Paso a coordenadas cromticas (divisin por la Intensidad)

R G B
(R G B)
R +G +B R +G +B R +G +B
Un cambio de intensidad en la imagen es un producto con un escalar

(R G B ) s (R G B ) (s R s G s B ) s

La intensidad se cancelar y el nuevo descriptor es invariante a la intensidad

sR sG sB sR sG sB
(sR sG SB ) =
sR + sG + sB sR + sG + sB sR + sG + sB s( R + G + B ) s( R + G + B ) s( R + G + B )

Importante: el nuevo descriptor es de dimensin 2, es una proyeccin sobre el plano G 1

R +G +B =1 1

1 R
B
INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Resultados:

Imagen
original

Coordenadas
Cromticas

Resultado
Clasificacin
INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Ms problemas: Qu pasa si la imagen presenta cambios de color, por cambio de luz o de cmara

Clasificador Inicial

El clasificador no funciona y adems es difcil re-definir sus parmetros para todas las condiciones.
INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Solucin: Eliminar los efectos del cambio de color directamente sobre la imagen original, y pasar a
una representacin cannica, una representacin donde una superficie blanca en la escena tenga
valores de RGB que sean (255, 255, 255), es el algoritmo de white-patch.
INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Algoritmo White-patch. Asume que los valores mximos de color en los tres canales de la
imagen es el color del blanco bajo la luz de la escena, entonces se elimina el efecto de esa luz y
se impone una luz blanca.
Estimacin del color de la luz de la escena de la imagen
Rmax ( I ) : valor mximo del canal R de la imagen I
(Rmax ( I ) Gmax ( I ) Bmax ( I ))
Gmax ( I ) : " G "
Bmax ( I ) : " B "
Suponemos el color de la luz blanca en este caso
(255 255 255 )

Eliminamos la luz de la escena e introducimos la luz blanca

255 255 255
(R G B ) R G B
R
max ( I ) Gmax ( I ) Bmax ( I )
INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Resultados:

Imagen
original

Algoritmo
White-patch

Clasificador
Inicial

Clasificador
adaptado
INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

En resumen: hemos trabajado en

Un esquema simple de deteccin de objetos

Un descriptor de objetos basado la caracterstica del color del pxel
El problema de la invariancia a los cambios de intensidad
El problema de la invariancia a los cambios de color (luz o cmara)
INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Ms problemas:

Qu pasa si el fondo de la imagen no presenta ninguna superficie blanca?

(white-patch puede dar imgenes desviadas hacia el color de la superficie ms
intensa de la escena)

Qu pasa si el fondo de la imagen tiene objetos que no son manos, pero son
de color piel?