Analyse Numérique

Problèmes Pratiques

Méthodes itératives
Introduction 1/2

Quel est le point commun entre :

la résolution d'un système linéaire

par Jacobi
par Gauss-Seidel
par relaxation

le calcul des valeurs propres

par la puissance itérée

la résolution d'un système non linéaire

par Newton
par Quasi-Newton

Ph. Leray Analyse Numérique 1

Introduction 2/2

Réponse = Méthodes itératives !

On construit une suite uk+1 = g(uk) qui converge

vers û la solution du problème

On peut étudier les propriétés "générales" de ces

méthodes :
convergence
taux de convergence
accélération de la convergence

Ph. Leray Analyse Numérique 2

Convergence 1/3

On peut écrire les méthodes itératives sous la

forme :
Ax=b avec A = M - N et M régulière

-1 -1
M uk+1 =N uk + b uk+1 =M N uk + M b
-1 -1
uk+1 =M (M-A) uk + M b
-1 -1
uk+1 =(I - M A) uk + M b

û solution de A x = b vérifie
-1 -1
û =(I - M A) û + M b
Ph. Leray Analyse Numérique 3
Convergence 2/3

Erreur à la kème itération :

ek = û - uk
-1 -1 -1 -1
ek+1 = (I - M A) uk + M b - (I - M A) û - M b
-1 -1 k
ek+1 = (I - M A) ek = (I - M A) e0
k -1
ek = B e0 avec B = (I - M A)

Ré-écriture de la suite :
-1
uk+1 = B uk + c avec c = M b
Ph. Leray Analyse Numérique 4
Convergence 3/3

Théorème :
la suite uk converge vers û ssi (B) < 1

démonstration :
il faut que ek converge vers 0 quelque soit e0

Ph. Leray Analyse Numérique 5

Taux de convergence 1/8

En dimension 1 :
la suite (uk) converge vers û
si l'on arrive à trouver  et  tels que :
u k 1  û
lim 

k 
uk  û

alors la convergence est d'ordre ,

avec une erreur asymptotique 

Ph. Leray Analyse Numérique 6

Taux de convergence 2/8

En dimension 1 (suite) u k 1  û

lim 

k 
uk  û
Cas particuliers :
si =1, la suite a une convergence linéaire
si =2, la suite a une convergence quadratique

En général, plus si  est grand, plus la suite converge

vite.

Ph. Leray Analyse Numérique 7

Taux de convergence 3/8

En dimension 1 (suite) u k 1  û

lim 

k 
uk  û
Ex d'une suite de limite 0 :
convergence linéaire convergence quadratique

u k 1 u k 1
lim  0.5 lim 2
 0. 5
uk uk

u k 1 u k 1
 0.5 2
 0 .5
uk uk

u k  0  uk  ( 0.5 )k u0 u k  0  uk  ( 0.5 )2 k 1 u0
Ph. Leray Analyse Numérique 8
Taux de convergence 4/8

En dimension 1 (suite)

1

0.9
la convergence
0.8
linéaire
0.7

0.6
c'est bien...
0.5

0.4

0.3
la convergence
quadratique
linéaire
0.2
c'est mieux !
quadratique
0.1

0
1 2 3 4 5 6 7 8 9 10

Ph. Leray Analyse Numérique 9

Taux de convergence 5/8

En dimension n
taux de convergence = vitesse à laquelle ek tend vers 0

k
on a ek = B e0 donc ek  B k . e0

Définitions :
 : facteur moyen de réduction de l'erreur
ek k 1/ k
 
k
 B k
 B
e0

Ph. Leray Analyse Numérique 10

Taux de convergence 6/8

Définitions (suite)
Rk(B) : taux moyen de convergence pour k itérations
k 1/ k
Rk ( B )   ln B

R(B) : taux de convergence asymptotique

k 1/ k
 R( B )   ln  ( B ) en effet lim B  ( B )
k 

Ph. Leray Analyse Numérique 11

Taux de convergence 7/8

Application
combien faut-il d'itérations pour réduire l'erreur d'un
facteur  ?
étape 1 : convergence donc pour k assez grand
k 1/ k
Rk ( B )   ln B 0

puisque ek  B k . e0 on choisit B k  

ainsi : Rk ( B )   ln B k 1/ k 1
  ln  ln 
k k
Rk ( B )
problème : k dépend de Rk(B)

Ph. Leray Analyse Numérique 12

Taux de convergence 8/8

Application (suite) ln 
k
étape 2 : exprimer k en fonction de R(B) Rk ( B )

k 1/ k
 ( B )  ( B )  B ( B )  B
k k k
donc

k 1/ k
 ainsi :  ln  ( B )   ln B soit R( B )  Rk ( B )

ln 
conclusion : k
R( B )

Ph. Leray Analyse Numérique 13

Accélération de la convergence 1/5

Principe :
prendre une méthode itérative de convergence linéaire
construire une nouvelle suite qui converge plus vite.

Exemple :
soit une suite (uk) de convergence linéaire
supposons que pour k suffisamment grand,

u k 1  û u k  2  û

uk  û u k 1  û

Ph. Leray Analyse Numérique 14

Accélération de la convergence 2/5

Exemple (suite)
u k 1  û u k  2  û
 u k 2  u k  2u k 1 û  u k  2 u k  u k21
uk  û u k 1  û

û
u k 2 u k  u 2
k 1
 uk 

u k 1  u k 2

u k  2  u k  2u k 1 u k  2  2u k 1  u k

 Méthode du 2 d'Aitken
~ u  u uk
k 1 
2

la suite k
u
u k  2  2u k 1  u k
k

converge plus vite que la suite originale

Ph. Leray Analyse Numérique 15

Accélération de la convergence 3/5

En dimension n
uk+1 = B uk + c
~
on va chercher à construire une suite k qui converge
u
plus vite que uk

en général, on prend :

n n

 u k   ai u i avec  i  1
~ k  k 
a
i 0 i 0

Erreur à la kème itération :

n
 k  û  u k   ai B  0  Pk ( B ) 0 avec Pk ( t )   aik t k
k
~ k  i

i 0 i 0
Ph. Leray Analyse Numérique 16
Accélération de la convergence 4/5

En dimension n (suite)

pour que la nouvelle suite converge rapidement,
il faut que :
[Pk(B)] soit le plus petit possible n

Pk(1)=1  a   1
i 0
i
k

le calcul de la nouvelle suite ne soit pas trop lourd !

plusieurs méthodes d'accélération :

méthode de Tchebycheff
méthode de relaxation symétrique
...

Ph. Leray Analyse Numérique 17

Accélération de la convergence 5/5

En dimension n (suite)

Accélération de Tchébycheff
si B hermitienne, et si ses valeurs propres [-,]
alors :

u~k 1   n1 Bu~k  c  u~k 1   u~k 1 converge vers û

2 1
avec 1  1 2   n 1 
2 2 2
1 n
4

Ph. Leray Analyse Numérique 18

Conclusion
les méthodes itératives sont très courantes

propriétés des méthodes itératives

convergence (B) < 1

taux de convergence

accélération de la convergence :
en dimension 1 :
méthode d'Aitken (facile et pas "chère")
en dimension n :
plusieurs méthodes, mais assez lourdes en calcul
 il faut trouver un compromis
Ph. Leray Analyse Numérique 19