Reconnaissance des formes

cours de D.E.A.

Introduction
S. Canu
psichaud.insa-rouen.fr/~scanu/RdF
Objectifs du cours
Principes de base de la RdF
rgle de dcision
cout, rgle de Bayes
matrice de confusion courbe C.O.R.
Mthode de dveloppement dune application de RdF
mthodes et Algorithmes
mthodes historiques (analyse discriminante)
kppv, CART (arbres de dcision)
rseaux de neurones : optimisation
EM
Ouvertures et perspectives (fusion de donnes, flou, DS,)
Aspects pratiques du cours
Exam final 50 % de la note
TP 1 : tude biblio : 15 %
TP 2 : page web : 15 %
TP 3 : programme matlab, octave, 15 %
quiz : 5 % (0 ou +1)
Biblio :
les livres du cours
K. Fukunaga, Introduction to Statistical Pattern Recognition (Second Edition), Academic Press, New York, 1990.
P.A. Devijver and J. Kittler, Pattern Recognition, a Statistical Approach, Prentice Hall, Englewood Cliffs, 1982.
R.O. Duda and P.E. Hart, Pattern classification and scene analysis, John Wiley & Sons, New York, 1973.
L. Breiman, J.H. Friedman, R.A. Olshen, and C.J. Stone, Classification and regression trees, Wadsworth, 1984.
L. Devroye, L. Gyrfi and G. Lugosi, A Probabilistic Theory of Pattern Recognition, (Springer-Verlag 1996)
S. Haykin, Neural Networks, a Comprehensive Foundation. (Macmillan, New York, NY., 1994)
V. N. Vapnik, The nature of statistical learning theory (Springer-Verlag, 1995)

B. Dubuisson, Diagnostic et reconnaissance des formes (Herms, 1990)
M. Milgram, Reconnaissance des formes, mthodes numriques et connexionnistes, (Armand Colin, collection 2ai, 1993

les journaux
pattern recognition
les confrences
Quelques exemples de RdF
Quelques exemples de RdF
Quelques exemples de RdF
Cest un rond, cest un carr, (une forme quoi !)
le feu est vert,
(je passe, ou je marrte ! Classe = action possible)
votre lectrocardiogramme est normal :
diagnostic = dtection : signal ou bruit (inspection : qualit, monitoring)
cest une facture tlphone (reconnaissance syntaxique : les rgles )
odeur : cest une madeleine
caractre - criture
(cest une lettre, un mot, une phrase, un sens)
parole (forme temporelle)
voix, identification : cest Chirac aux guignol, localisation dune source et sparation
visage (vision)
identification : visage + voix + odeur + empreintes : cest Chirac
une voiture (concept imprcis)
il va pleuvoir (fusion de donnes - dcision incertaine)
Aspects humains
Quelques problmes de RdF
Cest un rond, cest un carr, Distance avec des formes de rfrences
le feu est vert,
(je passe, ou je marrte) Reprsentation des caractristiques
votre lectrocardiogramme est normal :
diagnostic = dtection : signal ou bruit Cadre alatoire
cest une facture tlphone Modle = les rgles (mme source)
odeur : cest une madeleine capteur complexe
caractre - criture complexit de la tche
(cest une lettre, un mot,...) modlisation par apprentissage
parole (forme temporelle) Temps (systme volutif :environnement)
voix (cest Chirac aux guignol), complexit de lespace des caractristiques
visage (vision) invariances
identification fusion - (informations htrognes)
une voiture (concept imprcis) dfinition des classes (monitoring)
il va pleuvoir dcision alatoire
Les diffrentes phases des algorithmes
de reconnaissance des formes
source reprsentation caractristiques dcision
(action)
capteur
Prtraitement
extraction de
caractristiques
Algorithme
de
R des F
espace
des
sources
espace
des
caractristiques
espace
des
dcisions
{ }
K k
s s s ,..., ,...,
1
= S
d
R = X
{ }
L l
a a a ,..., ,...,
1
= A
Quelques problmes de RdF
problme sources caractristiques actions
Cest un rond, cest un carr,
le feu est vert,
(je passe, ou je marrte)
votre lectrocardiogramme est normal :
diagnostic = dtection : signal ou bruit
cest une facture tlphone
odeur : cest une madeleine
caractre - criture
(cest une lettre, un mot,...)
parole (forme temporelle)
voix (cest Chirac aux guignol),
visage (vision)
identification
une voiture (concept imprcis)
il va pleuvoir
Buts de la RdF
Algorithme
de
Reconnaissance
des Formes
Une forme x
(vecteur forme
des caractristiques)
Cest
la forme
y
1. Un algorithme de reconnaissance des formes est une rgle de
Dcision (dterministe dans le cours)





2. Une rgle de dcision dterministe tablie un
partitionnement de lespace des caractristiques

Cest le problme de discrimination
{ }
{ }
) (
,..., ,..., 1 : RdF
autres) (classes actions des ensemble ,..., 2 , 1
tiques caractris des espace
x D y x
L l R D
L y
R x
d
d
=

+ = e =
e

A e
je ne sais pas ,
inconnue
Sources - Actions - Classes
Rgles de dcision
X
n
X
1
+
+
+
+
+
+
+
+
+
+
+
+
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Frontire de dcision
fonction b(x)=0
telle que
D(x-e) = D(x+e)
prototypes
X
n
X
1
+
+
+
+
+
+
+
+
+
+
+
+
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Rejet de distance
X
n
X
1
+
+
+
+
+
+
+
+
+
+
+
+
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Rejet dambigut
Buts de la RdF
D : Algorithme
de
Reconnaissance
des Formes
Une forme x
(vecteur forme
des caractristiques)
Cest
la forme
y=D(x)
{ }
{ }
classe" vraie la " ,
) (
,..., ,..., 1 : RdF
dcisions des ensemble ,..., 2 , 1
tiques caractris des espace
= e

e
e
D(x) R x
x D x
L l R D
L y
R x
d
d
d

Nous voulons un algorithme de RdF performant

Cots : matrice de confusion
Vraie classe 1 2 3 k K
Dcision
1
2
3
.
.
.
L
?
??
Rejet

(ambigut et distance)
( ) ( )
l k l k
a s C a s
R C
, ,
: Cout

+
A S
Si je dcide laction a
l

alors que la vraie classe est s
k

Combien cote cette dcision ?
Cots : matrice de confusion
Vraie classe 1 2 3 k K
Dcision
1
2
3
.
.
.
L
?
??
Rejet

(ambigut et distance)
( ) ( )
l k l k
a s C a s
R C
, ,
: Cout

+
A S
Si je dcide laction a
l

alors que la vraie classe est s
k

Combien cote cette dcision ?
La ralit

notre dcision
1
100
Malade pas malade
0
0
Cots : matrice de confusion
Vraie classe 1 2 3 k K
Dcision
1
2
3
.
.
.
L
?
??
Rejet

(ambigut et distance)
( ) ( )
l k l k
a s C a s
R C
, ,
: Cout

+
A S
Sur les 1500 cas tests,
voici les rsultats de lalgorithmes
de RdF
La ralit

notre dcision
5
1
Malade pas malade
14
1480
Algorithme de cot minimum
( ) ( )
( ) ( )
( )
( ) ( ) ( ) ( ) ( )
( ) ( )
k X
D
k X
K
k
k
K
k
k
X k
K
k
k
x
k
l k l k
s P k x f D J
dx s P k x f x D s C X D s C E D J
k x f X s
s P x D s C D J D
R J
D
a s C a s
R C
, ) ( min
, ) ( , ) ( , ) (
, densit de alatoire variable une est , source la pour
) ( , ) (
:
dcision de rgle une d' Cout
, ,
: Cout
1 1
1
possibles
les tous

= =
|
|
|
.
|

\
|
=

e
= =
=
+
+
}


D
D
A S

Cot minimum : cadre probabiliste

( ) ( )
( ) ( )
( )
( ) ( ) ( ) ( ) ( )
( )
k
D
k X
K
k
k
K
k
k
X k
K
k
k
x
k
l k l k
s S P D J
dx s S P k x f x D s C X D s C E D J
k x f X s
s S P x D s C D J D
R J
D
a s C a s
R C
=
= = =
=
|
|
|
.
|

\
|
=

e
= =
=
+
+
}


) ( min
, ) ( , ) ( , ) (
, densit de alatoire variable une est , source la pour
) ( , ) (
:
dcision de rgle une d' Cout
, ,
: Cout
1 1
1
possibles
les tous
D
D
A S

La source
S est une variable alatoire

P(observer un E )




exemple des malades
P(malade) = 15/1000

cas quiprobable
P(S=s
k
) = 1/K
(1/2 si K=2)
Cot minimum : cadre probabiliste
( ) ( )
( ) ( )
( )
( ) ( ) ( ) ( ) ( )
( )
k
D
k X
K
k
k
K
k
k
X k
K
k
k
x
k
l k l k
s S P D J
dx s S P k x f x D s C X D s C E D J
k x f X s
s S P x D s C D J D
R J
D
a s C a s
R C
=
= = =
=
|
|
|
.
|

\
|
=

e
= =
=
+
+
}


) ( min
, ) ( , ) ( , ) (
, densit de alatoire variable une est , source la pour
) ( , ) (
:
dcision de rgle une d' Cout
, ,
: Cout
1 1
1
possibles
les tous
D
D
A S

La source
S est une variable alatoire

P(observer un E )




exemple des malades
P(malade) = 15/1000

cas quiprobable
P(S=s
k
) = 1/K
(1/2 si K=2)
f
(
x
)

:

f
o
n
c
t
i
o
n

d
e
n
s
i
t

e
classe 0
classe 1
Cot minimum : cadre probabiliste
( ) ( )
( ) ( )
( ) k x f X s
s S P x D s C D J D
R J
D
a s C a s
R C
X k
K
k
k
x
k
l k l k
, densit de alatoire variable une est , source la pour
) ( , ) (
:
dcision de rgle une d' Cout
, ,
: Cout
1
possibles
les tous

=
+
+
=
|
|
|
.
|

\
|
=

D
A S
Illustration 1d
pour deux classes
f
X
(x,0) ~ N(
0
,1)
f
X
(x,1) ~ N(
1
,1)
Cot minimum : cadre probabiliste
( ) ( )
( ) ( )
( )
( ) ( ) ( ) ( ) ( )
( ) ( )
k X
D
k X
K
k
k
K
k
k
X k
K
k
k
x
k
l k l k
s S P k x f D J
dx s S P k x f x D s C X D s C E D J
k x f X s
s S P x D s C D J D
R J
D
a s C a s
R C
=
= = =
=
|
|
|
.
|

\
|
=

e
= =
=
+
+
}


, ) ( min
, ) ( , ) ( , ) (
, densit de alatoire variable une est , source la pour
) ( , ) (
:
dcision de rgle une d' Cout
, ,
: Cout
1 1
1
possibles
les tous
D
D
A S

Toutes les
classes
En
moyenne
On recherche la rgle de dcision de cot minimum
A savoir
Variable alatoire
cas discret (un exemple)
cas continu (un exemple)
Probabilit, probabilit conditionnelle
fonction de rpartition et densit
loi usuelles : bernouilli, binomiale, poisson, normale
Esprance,
cas discret (un exemple)
cas continu (un exemple)
Variance
Quiz de 5 minutes la semaine prochaine
Buts de la RdF
2 points de vue : utilisateur - concepteur
Algorithme
de
Reconnaissance
des Formes
Une forme
(vecteur forme
des caractristiques)
Cest
la forme
y
Mthode de construction
de lAlgorithme de
Reconnaissance
des Formes
Les enjeux de la RdF
Lapprentissage :
ce quun bb ralise en deux ans, aucune machine
nest aujourdhui capable de la raliser :
et il a besoin dexemples
(cf les expriences folles du duc de Bavire)

modliser linformation, dpasser la complexit

fusion de donnes

reprsentation des incertitudes
Problmes de la RdF
Dcision

apprentissage

slection dentre

valuation des performances

prise en compte du temps

fusion de donnes htrognes
Les diffrentes tapes dune
application de RdF
Recueil des donnes brutes
gnration de caractristiques
slection des caractristiques pertinentes
tiquetage des classes
conception du classifieur
valuation du systme
notations
( )
( )
( )
( )
( ) x a P
s P k x f x f
s x P k x f
x a P
s P
l
k
k
X X
k X
l
k
, jointe loi
) , ( ) ( ns" observatio " des loi
(analogue ) , ( nce vraisembla
posteriori loi
priori loi

=
espace des sources
{ }
K k
s s s ,..., ,...,
1
= S
{ }
{ }
) (
,..., ,..., 1 : RdF
autres) (classes actions des ensemble ,..., 2 , 1
tiques caractris des espace
x D y x
L l R D
L
R
d
d
=

+ =

A
( ) ( )
l k l k
a s C a s
R C
, ,
: Cout

+
A S
J cot d une rgle de dcision
(erreur de prdiction)
Mthodes de RdF
La RdF par apprentissage