II.

ETHODES IT

ERATIVES DE R

ESOLUTION
DE SYST
`
EMES LIN

EAIRES
Analyse Numerique
Tronc Commun
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 1
Un exemple
On veut resoudre le syst`eme lineaire suivant :
2 x
1
x
2
= 0
x
1
+ 2 x
2
= 3
de solution x
1
= 1, x
2
= 2.
On proc`ede, pour cela, par approximations successives :
On se donne une solution initiale x
(0)
1
=
1
2
, x
(0)
2
=
3
2
.
1
e
iteration :
On determine x
1
, `a partir de la 1
e
equation, par
2x
(1)
1
x
(0)
2
= 0 donc x
(1)
1
=
3
4
On determine x
2
, `a partir de la 2
e
equation, par
x
(0)
1
+ 2x
(1)
2
= 3 donc x
(1)
2
=
7
4
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 2
2
e
iteration :
On determine x
1
, `a partir de la 1
e
equation, par
2x
(2)
1
x
(1)
2
= 0 donc x
(2)
1
=
7
8
On determine x
2
, `a partir de la 2
e
equation, par
x
(1)
1
+ 2x
(2)
2
= 3 donc x
(2)
2
=
15
8
3
e
iteration :
2x
(3)
1
x
(2)
2
= 0 donc x
(3)
1
=
15
16
x
(2)
1
+ 2x
(3)
2
= 3 donc x
(3)
2
=
31
16
Ainsi, une bonne approximation est obtenue en 3 iterations.
Nous avons ainsi presente la methode de Jacobi
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 3
Une methode iterative generique
Considerons le syst`eme lineaire
Ax = b
o` u A est une matrice carree dordre n, inversible.
Supposons que lon puisse ecrire
A = M N
o` u M est une matrice inversible, facile `a inverser.
Lequation Ax = b secrit encore Mx = Nx + b.

Etant donnee une solution initiale x

(0)
R
n
, on calcule sucessivement x
(1)
, x
(2)
, . . .
en resolvant successivement :
Mx
(1)
= Nx
(0)
+ b
Mx
(2)
= Nx
(1)
+ b
. . . . . .
ou encore
Mx
(k+1)
= Nx
(k)
+ b k = 0, 1, . . .
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 4
Convergence
Soit x R
n
; on denit la norme :
x :=

i =1
x
2
i
1
2
.
D

efinition
On dit que la methode iterative
Mx
(k+1)
= Nx
(k)
+ b
converge sil existe un vecteur x R
n
tel que
lim
k
x
(k)
x = 0
pour tout vecteur initial x
(0)
R
n
.
Remarquons que si on choisit pour x
(0)
la solution exacte du syst`eme, alors on a
Mx
(1)
= Nx
(0)
+ b = Mx
(0)
Comme M est inversible, on a convergence en 1 iteration.
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 5
Crit`ere de convergence
Quelles sont les conditions sur M et N pour que la methode iterative converge ?
D

efinition
On appelle rayon spectral de A ((A)) la plus grande valeur propre en module, i.e.
(A) := max {|
i
|;
i
valeur propre de A, 1 i n}.
Th

eor
`
eme
La methode iterative
Mx
(k+1)
= Nx
(k)
+ b
converge si et seulement si
(M
1
N) < 1.
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 6
Remarque
Remarque
On peut ecrire Mx
(k)
= Nx
(k1)
+ b
Donc
x
(k)
= M
1
N x
(k1)
+ M
1
b
= . . . . . .
= (M
1
N)
k
x
(0)
+
k1

=0
(M
1
N)

M
1
b
Ceci explique le crit`ere de convergence de la methode iterative.
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 7
Quelques methodes iteratives
On ecrit A sous la forme A = D + L + U : o` u
d
ij
=

a
ij
si i = j
0 sinon
,
ij
=

a
ij
si i > j
0 sinon
, u
ij
=

a
ij
si i < j
0 sinon
Exemple :

a
11
a
12
a
13
a
21
a
22
a
23
a
31
a
32
a
33

a
11
0 0
0 a
22
0
0 0 a
33

0 0 0
a
21
0 0
a
31
a
32
0

0 a
12
a
13
0 0 a
23
0 0 0

Methode de Jacobi :
D x + L x + U x = bD x
(k+1)
+ L x
(k)
+ U x
(k)
= b
ou encore
x
(k+1)
i
=
1
a
ii

b
i

j =i
a
ij
x
(k)
j

1 i n si a
ii
= 0
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 8
Ainsi
M x
(k+1)
= N x
(k)
+ b
D x
(k+1)
= (L + U) x
(k)
+ b
i.e.
M = D, N = (L + U)
Methode de GaussSeidel
Reprenons le 1
er
exemple :
2 x
1
x
2
= 0
x
1
+ 2 x
2
= 3
de solution x
1
= 1, x
2
= 2, avec la solution initiale x
(0)
1
=
1
2
, x
(0)
2
=
3
2
.
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 9
1
e
iteration :
On determine x
1
, `a partir de la 1
e
equation, par
2x
(1)
1
x
(0)
2
= 0 donc x
(1)
1
=
3
4
On determine x
2
, `a partir de la 2
e
equation, par
x
(1)
1
+ 2x
(1)
2
= 3 donc x
(1)
2
=
15
8
2
e
iteration :
2x
(2)
1
x
(1)
2
= 0 donc x
(2)
1
=
15
16
x
(2)
1
+ 2x
(2)
2
= 3 donc x
(2)
2
=
63
32
Nous approchons ainsi la solution exacte en 2 iterations
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 10
Methode de GaussSeidel :
D x + L x + U x = bD x
(k+1)
+ L x
(k+1)
+ U x
(k)
= b
ou encore
x
(k+1)
i
=
1
a
ii

b
i

j <i
a
ij
x
(k+1)
j

j >i
a
ij
x
(k)
j

1 i n si a
ii
= 0
Ainsi
M = D + L, N = U
Methode de relaxation

D+L

x =

DU

x +b

D+L

x
(k+1)
=

DU

x
(k)
+b k = 0, 1, . . .
pour > 0.
On retrouve ainsi la methode de Gauss-Seidel pour = 1.
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 11
Methode de Richardson
Pour resoudre le syst`eme Ax = b, on denit la methode suivante :
x
(k+1)
= x
(k)
+
k
r
(k)
o` u
r
(k)
= b Ax
(k)
est le residu `a literation k, et
k
est un coecient `a choisir.
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 12
Matrices symetriques denies positives
Th

eor
`
eme
Soit A une matrice symetrique denie positive et soit A = M N une decomposition
de A o` u M est inversible. On suppose que la matrice M
T
+ N est symetrique denie
positive. Alors, la methode iterative Mx
(k+1)
= Nx
(k)
+ b converge.
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 13
Corollaire
Si A est symetrique denie positive, la methode de relaxation avec 0 < < 2
converge.
D

emonstration
Pour la methode de relaxation, on a
M =
1

D + L, N =
1

D U.
Comme A est symetrique, on a L = U
T
. La diagonale de M est celle de D.
On en deduit que M est inversible puisque les elements d
ii
sont positifs.
Soit
M
T
+ N =
1

D + L
T
+
1

D L
T
=
2

D.
Cette matrice diagonale est denie positive si et seulement si 0 < < 2.
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 14
Corollaire
Soit A une matrice symetrique denie positive telle que 2D A soit denie positive.
Alors, la methode de Jacobi converge.
En eet, on a M
T
+ N = 2D A.
Th

eor
`
eme
On suppose que la matrice A est symetrique denie positive et que
k
> 0 est choisi
assez petit. Alors la methode de Richardson converge.
D

emonstration
Pour la methode de Richardson, on a
M = I , N = I
k
A.
Donc M
T
+ N = 2 I
k
A. Do` u le resultat.
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 15
Matrices `a diagonale dominante
D

efinition
On dit quune matrice A est `a diagonale dominante si on a

j =i
|a
ij
| |a
ii
| i = 1, . . . , n.
On dit quelle est `a diagonale strictement dominante si linegalite ci-dessus est stricte.
Th

eor
`
eme
Soit A une matrice `a diagonale strictement dominante ; alors A est inversible. De plus,
les methodes de Jacobi et de Gauss-Seidel convergent.
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 16
Demonstration
Montrons que A est inversible :
Soit x R
n
avec x = 0 et Ax = 0.
Soit i tel que |x
i
| |x
j
| pour tout j = 1, . . . , n.
a
ii
x
i
=

j =i
a
ij
x
j
.
Donc
|a
ii
||x
i
| =

j =i
a
ij
x
j

j =i
|a
ij
| |x
j
| |x
i
|

j =i
|a
ij
|.
Puisque x = 0, on en deduit
|a
ii
|

j =i
|a
ij
|.
Impossible ! ! Donc A est inversible.
Montrons la convergence :
On pose B = M
1
N.
Soit une valeur propre de B et x vecteur propre associe, i.e.
Bx = x, x = 0.
Puisque lon sinteresse `a la plus grande valeur propre en module, on suppose = 0.
On a ainsi

M
1

x = 0.
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 17
Pour la methode de Jacobi, cela devient

D +
1

L +
1

x = 0.
Soit
C = D +
1

L +
1

U.
Supposons, par contradiction, que || 1. On a
|c
ii
| = |a
ii
| >

j =i
|a
ij
|
1
||

j =i
|a
ij
| =

j =i
|c
ij
|.
On en deduit que C est `a diagonale strictement dominante, donc inversible. Donc
x = 0.
Ceci est une contradiction avec le fait que x est vecteur propre.
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 18
Pour la methode de Gauss-Seidel, on pose
C = D + L +
1

U.
Ici encore, par contradiction, si || 1, on deduit
|c
ii
| = |a
ii
| >

j =i
|a
ij
|

j <i
|a
ij
| +
1
||

j >i
|a
ij
| =

j =i
|c
ij
|.
On obtient encore une contradiction.
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 19
Quelques remarques
Lutilisation des methodes iteratives est generalement plus avantageuse lorsque
celles-ci convergent.
Les methodes de Jacobi, de Gauss-Seidel et de relaxation ne convergent le plus
souvent que dans les cas que nous avons decrits dans ce chapitre. Il existe des
methodes iteratives beaucoup plus elaborees et qui convergent dans des cas plus
generaux que ceux decrits ici.
La methode de Gauss-Seidel converge generalement plus vite et plus souvent que
la methode de Jacobi. La methode de relaxation necessite la connaissance dune
valeur optimale du param`etre de relaxation .
La convergence des methodes iteratives se teste generalement en utilisant un
param`etre de tolerance . On arrete ainsi les calculs d`es que lerreur relative est
assez petite :
x
(k+1)
x
(k)

x
(k)

< .
Une autre alternative est de tester le residu :
Ax
(k+1)
b < .
Analyse Numerique R. Touzani Syst`emes lineaires : Methodes iteratives 20