SILVIO JACKS DOS ANJOS GARNÉS

AJUSTAMENTO PARAMÉTRICO POR MÍNIMOS

QUADRADOS COM ANALISE NA
ESTABILIDADE DA SOLUÇÃO

Dissertação apresentada ao Curso de Pós-

Graduação em Ciências Geodésicas da
Universidade Federal do Paraná, como
requisito para a obtenção do grtau de
M estre em Ciências.

ORIENTADOR: D r. Raimundo J. B. de Sampaio

CO-ORIENTADOR: Dr. Quintino Dalmolin

CURITIBA
1996
 SIL VIO J A C K S D O S A N J O S G A R N É S

A J U S T A M E N T O P A R A M É T R I C O POR M Í N I M O S
QUADRADOS COM ANÁLISE NA
E S T A B I L I D A D E DA S O L U Ç Ã O

Dissertação apresentada ao curso de

Pós-Graduação em Ciências Geodésicas da
Universidade Federal do Paraná como
requisito p a r a a obtenção do grau de Mestre
em Ciências.

ORIENTADOR: Dr. Raimundo J. B. de Sampaio

CO-ORIENTADOR: Dr. Quintino Dalmolin

CU RITIBA

1996
 AJUSTAMENT O PARAMÉTRICO POR MÍNIMOS QUADRADOS COM

ANÁLISE NA ESTABILIDADE DA SOLUÇÃO.

POR

SILVIO JACKS DOS AN JOS GARNÉS

ENGENHEIRO AG RIMENSO R

D i s s e r t a ç ã o a p r o v a d a como requisito p a r c i a l p a r a a obtenção do grau de

Me stre em C iên c ia s no Curso de P ó s - G r a d u a ç ã o em Ciências Geodésicas da

U niv e rsidade F e d e ra l do Paraná, p e l a c o m issão form ada pe los seguintes

p ro f e s so r e s:

Prof. Dr. QUIMT'INO DALMOLIN - MEMBRO

Prof. MsC. ROMUALDO W ANDRESEN - MEMBRO

Curitiba, 03 de A bril de 1996

 DEDICATÓRIA

D e d i c o este tra b a lh o a:

E t e l v i n a dos Anjos S o a r e s

M in h a mãe, p e lo amor e p e l o a p o io , que sempre me deu f o r ç a s nos

m omen tos mais d i f i c e i s de m inha v i d a .

A l c i d e s L o r c a Garnés

F l á v i o dos Anjos Ga rn és

GÍElany dos Anjos Ga rn és

M eu pai e meus irm ãos , pelo co m panheris m o e c a r i n h o que mesmo

es ta n d o longe, estamos per to.

M a r i a A p a r e c i d a V a s c o n c e lo s dos Santos

R a f a e l V a s c o n c e lo s G ar nés

M a th e u s V a s c o n c e lo s Ga rn és

M in h a e s p o s a e meus f i l h o s p e l a co m p r e e n sã o , e s p e r a n ç a , c arinho e

amor.
 AGRADECIMENTOS

D e se jo externar aqui meus sinceros agradecimentos:

ao Prof. Dr. Raimundo J. B. de Sampaio, pe la ajuda na definição da

meta, p e l a v a l i o s a orientação e p e la s c o rr e ç õ e s durante a r e a l iz a ç ã o deste;

ao C o -o rien tad o r Prof. Dr. Quintino Dalmolin, pelo apoio, c orre çõe s e
idéias sugeridas;

ao Prof. Dr. Milton de Azevedo Campos, pelo apoio com re la ç ã o ao

tema no momento da esc olha do mesmo;

ao amigo Alfonso R. T. C r i o ll o p o r p r o p i c i a r discuções a c e r c a do

assunto;

ao Dr. Luiz Danilo D. F e r r e i r a , p e la s dicas in dis p ensáveis a res peito

do texto.

aos p r o f e s s o r e s do departamento de matemática que m inistraram o curso

de e s p e c ia liz a ç ã o de matem ática a p l i c a d a durante o ano de 1993, os quais

muito contribuíram p a ra o amadurecimento dos conhecimentos que foram

utilizados aqui;

e a todos aqueles que de uma form a ou de outra contribuiram p a r a a

rea liz aç ão deste trabalho.

 SU M Á RIO

L I S T A DE F I G U R A S x

L I S T A DE Q U A D R O S xi

L I S T A DE S Í M B O L O S xii

RESUMO xiv

ABSTRACT xv

1. I N T R O D U Ç Ã O 1

1.1 G E N E R A L I D A D E S 1

1.2 ES T R U T U R A DO TR ABA LHO 4

1.3 OB JE TIVOS D E S T A P ES Q U IS A 5

2. E L E M E N T O S DE A N Á L I S E E S I S T E M A S DE

EQ U A ÇÕ ES LINEARES 6

2.1 E SP A Ç O S VETOR IA IS 6

2.2 N O R M A S 7

2.2.1 N o r m a s in d u z i d a s 8

2.3 ES P A Ç O V E T O R IA L EUCLIDIANO 9

2.3.1 P ro d u to in te rn o 9

2.3.2 S u b e s p a ç o v e t o r i a l 10

2.4 S I S T E M A S D E EQ U A Ç Õ E S LI N E A RE S 10

2.4.1 Os s u b e s p a ç o s fu nd amentais 12

2.5 DERIV ADA DE M ATR IZ ES 14

2.5.1 D e r i v a d a p a r c i a l de m a t riz e s 16

2.5 .2 D e r i v a d a de e x p r e s s ã o l in e a r 17

2.5.3 D e r i v a d a da f o rm a b i l i n e a r 17

2.5.4 D e r i v a d a d a f o rm a q u a d r á t i c a 18

2.6 FUNÇÕES CO NVE XA S 18

v
2.6.1 Conjuntos co nvexos 18

2.6 .2 Fun ções c o nvexas 20

2.6.2.1 C o m b in açõ es de f u n ç õ e s c o n v e x a s 20

2 . 6 .2 . 2 P r o p r i e d a d e s de f u n ç õ e s c o n v e x a s d i f e r e n c i á v e i s ............... 21

2.6.3 Extremo de fu nções de v a l o r e s r e a i s ............................................. 24

2.6.4 M in i m iz a ç ã o de função c o n v e x a ...................................................... 25

2.7 C O N V ER G ÊN C IA DE S E Q U Ê N C I A S DE N Ú M E R O S R E A I S 26

3. S O L U Ç Ã O DO P R O B L E M A DE M Í N I M O S QUADR A DOS

L IN E A R 28
3.1 P R E L IM IN A R E S 28

3.2 SOLUÇÃO DO P R O B L E M A 30

3.2.1 I n te r p r e t a ç ã o g e o m é t r i c a 32

3 .2 .2 P r o p r i e d a d e s da s o l u ç ã o de m í n i m o s q u a d r a d o s ........................ 34

3 . 2 .2 . 1 C a r a c t e r i z a ç ã o do ótimo r e s i d u a l ................................................. 34

3.3 SOLUÇÃO DE C O M P R I M E N T O M Í N I M O DO PR O B L E M A

DE M ÍN I M O S QUA D R A D O S L I N E A R 38

3.3.1 Projeções 38

3 .3.1 .1 P r o j e ç õ e s r e l a c i o n a d a s ao p r o b l e m a de mínimos q u a d r a d o s 39

3. 3.2 I n v e rs a s g e n e r a l i z a d a s e p s e u d o - i n v e r s a ...................................... 40

3.3.3 I n te r p r e ta ç ã o g e o m é t r ic a da s o l u ç ã o de com primento

mínimo e p r o p r i e d a d e s da p s e u d o - i n v e r s a ................................... 41

3 .3 .4 D e t e r m in a ç ã o da p s e u d o - i n v e r s a e d e c o m p o s iç ã o de v a l o r

sin g u la r 42

3.4 O P R O B L E M A DE M Í N I M O S Q U A D R A D O S COM

PONDERAÇÃO 44

3.4.1 T r atam en to do p r o b l e m a 44

4. AN Á L IS E DO C O N D I C I O N A M E N T O DO P R O B L E M A
DE M ÍN IM O S Q U A D R A D O S 50

4.1 ANÁL ISE DO C O N D I C I O N A M E N T O D E S IST EM AS DE

vi
 E Q U A Ç Õ E S LINE AR ES C O N S I S T E N T E S ..................................... 50

4.1.1 S i s t e m a c o n s is t e n te com m at ri z i n v e r s í v e l .................................. 51

4 .1.1 .1 V a r i a ç ã o no termo in d e p e n d e n te ................................................ 53

4 . 1 .1 . 2 V a r i a ç ã o na matriz dos c o e f i c i e n t e s das in có g n itas ............. 54

4 .1 .2 C aso g e r a l do co n d icio n am en to de s i s t e m a s c o n s is te n te s .......... 55

4 . 1 .2 .1 V a r i a ç ã o do termo in d e p e n d e n t e ................................................ 56

4 . 1 . 2 . 2 P e r t u r b a ç ã o na m atriz A 57

4.2 A N Á L I S E DO C O N D IC IO N A M E N T O DO P R O B L E M A DE

M Í N I M O S Q UADR ADOS LINEAR 58

4.2.1 E q u a ç õ e s n o r m a is 58

4.2.1 .1 C o n d i c i o n a m e n t o qua drado das e q u a ç õ e s n o r m a is ................ 59

4 .2 .2 A n á l i s e do co n d icio n am en to do p r o b l e m a g er al ......................... 61

4.2.2.1 P e r t u r b a ç ã o do termo in d e p e n d e n te ............................................ 63

4 . 2 .2 . 2 P e r t u r b a ç ã o na matriz A 64

4.3 A D E C O M P O S I Ç Ã O DE VALOR S I N G U L A R E BA SE S PAR A

OS S U B E S P A Ç O S FU N D A M EN T A IS 66

4.4 E S T I M A Ç Ã O DO PO STO DE UMA M A T R I Z ............................... 67

4. 4.1 D i f i c u l d a d e na dete r m in a ç ã o do p o s t o ........................................... 67

4. 4.2 A d e c o m p o s i ç ã o de v a l o r s in g u lar na d e c i s ã o do p o s to ............ 68

5. M É T O D O S NÜM ÉR IC O S PARA S O L U Ç Ã O DO PRO B LEM A

DE M Í N I M O S Q U A D R A D O S L I N E A R 70

5.1 E L I M I N A Ç Ã O DE G A U S S - J O R D AN 70

5.1.1 O p e r a ç õ e s e le m e n t a r e s 72

5.1.2 S o l u ç ã o do s i s t e m a p o r G a u s s - J o r d a n ........................................... 73

5.1.3 S u b r o ti n a p a r a a eli m inação de G a u s s - J o r d a n ............................ 74

5.2 " S U B R O U T I N E VERSOL " 75

5.2.1 R e g r a de Chió 76

5.2.2 D e s e n v o l v i m e n t o do método ............................................................... 77

5.2.3 Subrotina versol ..................................................................................... 80

vi i
5.3 D E C O M P O S I Ç Ã O DE CH OLE S KY .................................................... 80

5.3.1 S u b r o ti n a " métod o de C h ole s ky" ................................................... 84

5.4 O M ÉTO D O DA D E C O M P O S IÇ Ã O QR 85

5.4.1 T r a n s f o r m a ç ã o de H o u s e h o l d e r 85

5.4.2 A d e c o m p o s i ç ã o QR 87

5.4.3 O método QR a p l i c a d o ao p r o b l e m a de mínimos q u a d r a d o s

lin e a r 88

5.4.4 S u b r o ti n a do método QR 89

5.5 D E C O M P O S I Ç Ã O DE VALOR SINGULAR .................................... 92

5.5.1 T r a n s f o r m a ç ã o de Given s 92

5.5.2 O alg o r it m o QR 94

5.5.2. 1 O a lg o r itm o QR 94

5 . 5 .2 .2 O a lg o r itm o Q R - m o d i f i c a d o ......................................................... 95

5.5.3 C álc u lo d a d e c o m p o s iç ã o de v a l o r s in g u l a r ................................. 97

5.5.3. 1 R e duç ão a f o rm a b i d i a g o n a l 98

5 . 5 .3 . 2 D e c o m p o s i ç ã o de v a l o r s in g u la r da m a triz b i d i a g o n a l ......... 100

5.5.3. 3 Teste de c o n v e r g ê n c i a 105

5 .5.3 .4 F o r m a ç ã o da d e c o m p o s iç ã o de v a l o r s in g u la r de A .............. 107

5. 5.3 .5 S u b r o ti n a p a r a a d e c o m p o s iç ã o de v a l o r sin gular ................. 108

6. T E S T E S R E A L I Z A D O S P A R A O P R O B L E M A DE

M ÍNIM O S QUADRADOS LINEAR 113

6.1 D E S C R I Ç Õ E S P R E L I M I N A R E S 113

6.2 T E S T E S 115

7. P R O B L E M A D E M Í N I M O S Q U A D R A D O S N Ã O - L I N E A R 128

7.1 M ÉTO D O D E G A U S S - N E W T O N 129

7.2 M É T O D O S D E M IN IM IZ A Ç Ã O SEM RE S TR IÇ Ã O 132

7.2.1 M é to d o de N e w t o n 132

7.2.2 M é to d o S t e e p e s t de s c e n t ou método do g r a d i e n t e ................... 133

7.2.3 M o d e l o s a p r o x i m a d o s p e l a r e g i ã o de c o n f ia n ç a ........................ 134

vi i i
7.2.4 Método de L e v e n berg-M a rq uard t 136

7.2.5 CritérioB de p a r a d a 138

7.3 APLICAÇÃO PRÁTICA DO PROBLEM A DE MÍNIMOS

QUADRADOS NÀO-LINEAR 139

8. CONCLUSÕES E RECOM ENDAÇÕES 143

8.1 CONCLUSÕES ............................................................................................. 143

8.2 RECOMENDAÇÕES ...................................................................................... 143

REFERÊNCIAS BIBLIOGRÁFICAS 147

ix
 L IST A DE F I G U R A S

FIGURA 01 CASOS PARA O PROBLEMA DE MÍNIMOS

QUADRADOS LINEAR ............................................................. 03

FIGURA 02 REPRESENT AÇÃO GEOM ÉTRICA DA CLASSIFICAÇÃO

DO SISTEMA LINEAR ............................................................... 15

FIGURA 03 CONVEXIDADE DOS CONJUNTOS .................................... 19

FIGURA 04 PROPRIEDADES DOS CONJUNTOS CONVEXOS ......... 19

FIGURA 05 FUNÇÕES CÔNCAVAS E CONVEXAS PARA

O CASO UNIDIMENSIONAL ................................................ 21

FIGURA 06 DEFINIÇÃO DE FUNÇÃO CONVEXA POR

DIFERENCIAÇÃO ......................................................................... 23

FIGURA 07 REPRESENT AÇÃO DO RESÍDUO ....................................... 29

FIGURA 08 INTERPRETAÇÃO GEOMÉTRICA DA SOLUÇÃO DE

M ÍN IM O S QUADRADOS ......................................................... 32

FIGURA 09 COMPO NE NTES DE UM VETOR EM « ( A ) E * ( À T) .. 35

FIGURA 10 BASES PARA OS SUBESPAÇOS FUNDAMENTAIS A

PA RTIR DA SVD ........................................................................... 66

FIGURA 11 CONVERGÊNCIA DO ALGORITMO QR ......................... 95

FIGURA 12 FO RMA S PREPARATÓRIAS PARA O PROBLEMA DOS

AUTOVALORES DO ALGORITMO QR .............................. 97

FIGURA 13 FORMA BIDIAGONAL SUPERIOR DE UMA MATRIZ .. 98

FIGURA 14 PR OCE SS O "CHASING" ............................................................ 104

FIGURA 15 SOLUÇÃO DA QUADRÁTICA NU MA REGIÃO DE

CONFIANÇA .................................................................................. 135

FIGURA 16 COMPO RTA MENTO DE S(p.) 136

x
 L I S T A DE Q U A D R O S

QUADRO 01 CONVERGÊNCIA DOS VALORES AJUSTADOS POR

GAUSS -NEWTON ......................................................................... 141

QUADRO 02 CONVERGÊNCIA DOS VALORES AJUSTADOS POR

LEVENBER-MARQUARDT ...................................................... 141

QUADRO 03 NÃ O-CONVERGÊNCIA DOS VALORES AJ USTADOS POR

GAUSS-NEWTON ......................................................................... 141

QUADRO 04 CONVERGÊNCIA DOS VALORES AJUSTADOS POR

LEV ENBERG-MARQUARDT .................................................... 142

 L I S T A DE S Í M B O L O S

(m.n) M a triz A com m-linhas e n-colunas.

C(A) N úm ero de condição de A.

C1 D ifere n cia v el continuamente.

C2 Duas vezes diferenciavel continuamente.

dA
D e r i v a d a de A com r e s p e i t o a t.
dt
H(x) Hess iana.

inf ínfimo.

L(X,Y) Espaço vetorial das transfo rm ações lin eares de X em Y.

max Máximo.

minCm.n) Mínimo entre m e n.

P osto(A ) Posto da matriz A.

R Conjunto dos números reais.

R” E sp a ço vetorial m-dimensional.

R” Espaço Vetorial n-dimensional.

A e R"” M a t r iz A com elementos r e a i s de m-linhas e n-colunas.

sup Supremo.

T raç o (A ) Soma dos elementos da diagonal de A.

N o rm a de vetor ou matriz.
âí
D e r i v a d a parc ial de Y com r e s p e ito a x.
ô*.
vflM Gradiente da função f(x).

«(A ) Esp aço coluna da matriz A.

*(A T ) Esp aço nulo de AT ou esp aço nulo a esq u erd a de A.

*(A) E sp aço nulo de A.

* (A T) E sp aço linha de A.

< x,y > Produto interno dos v e to re s x e y.

Xll
Leva em.

P a r a todo.

Diferente.

Aproximadamente.

I nfi nito.

Igual ou aproximadamente.

Exite.

Donde.

Conjunto vazio.

União.

I n terse cç ã o .

Pertence.

Não pertence.
 RESUMO

Este tra b a lh o tem como objetivo es tu d a r a s o l u ç ã o do aju sta men to

p a r a m é t r i c o pel o método de m ínim os q u a d r a d o s e os p r o b l e m a s que podem

o c o r r e r na b u s c a d e s s a s o lu ç ã o quanto a e s t a b il i d a d e .

F o r a m fe ita s as c o m p a r a ç õ e s de cinco métodos de s o l u ç ã o p a r a sistem a

de e q u a ç õ e s lineares r e d u n d a n t e s , m o s tr a n d o as va ntang ens e d e s v a n ta g e n s

de c a d a um atr a v é s de te stes .

Quando as equações r e s i d u a i s são n ã o - l i n e a r e s , são utilizados dois

m é to d o s p a r a ob ter a s o lu ç ã o , um com c a r a c t e r í s t i c a s de c o n v e r g ê n c i a local e

outro com característica de convergência global, e no fin a l é feita a

aplicação em um ex em plo prático da Geodésia para m ostrar essas

características.

N a co n c l u s ã o são c o m e n t a d o s os r e s u l t a d o s e f e i ta as r e c o m e n d a ç õ e s

s o b r e os m étodos a serem u t i l i z a d o s em d eter m in a d o s tipo de p r o b l e m a s .

xiv
 ABSTRACT

The p urp ose o f this work is to a p llie least squares methods for

adjustment para m eter problem that a p p ea r from Geodesy.

It w a s made comparison o f five methods o f solution for systems o f

redundant lin ear equations, point out the advantages and disadvantages from

each one o f them.

When the res id u al equation is no nline ar, they were a p plied two methods

to get the solution, one with local c h ar a c te r istc o f convergence and another

with global convergence. In the end, it is made aplicatio n to a practic al

exemple o f Geodesy to show those charac teristcs.

In the conclusion we comment the results and made same

recommendations about the methods to be applied in different kind o f

problems.

xv
 1

1. INTRODUÇÃO

1.1 GENERALIDADES

O problema ou método de minimos quadra dos nasceu

independentemente com dois grandes nomes da matemática; Gauss (1809) e

Legendre (1806). A p a rt i r dai, a m etod o lo g ia ganhou cre sc en te importância

e ap lica çõ e s de m aneir a que hoje é a p ri n c i p a l té c n ic a de ajustamento de

o b se rv aç õ es utilizado em Ciências como: Geodésia , T o po g rafia, Astronomia

e outras.

Também, tem concepçõ es di ferentes de pendendo da C iência que o

estuda. Por exemplo: em Matemática, o p r o b l e m a in te re s s a do ponto de v ista

da exis tê ncia da solução e dos métodos que podem f o r n e c e r esta solução.

Em E statístic a, o p r o b le m a de corre de o b se r v a ç õ e s e tem na sua concepção

a d istrib uiç ão de p r o b a b ilid a d e s.

As notações utilizadas em torno do p r o b le m a diferem tanto do

contexto em que é tratado, como também dos autores que tratam dum mesmo

contexto. Neste traba lho se rá u t il i z a d a a notação usual dos textos de

program açã o matemática.

O p r o b le m a de minimos quadrados pode se r enunciado como:

Minimizar (1 .1 )

onde:

V: RD-+R“ : é a função residu al;

e : é norma e u clid ia n a ao quadrado.

 2

Autores como DENNIS e SCHNABEL (1 9 83 ) tratam o problem a (1.1)

de duas fo rm as; prim eir o : quando V é lin ear, chamam (1.1) de pro b lem a de

mínimos q u a d r a d o s linear; segundo: quando V é n ã o -l i n e a r , chamam (1.1) de

p rob lem a de mínimos quadrados não-linear. N e ste tr ab alh o se r á feita e sta

distinção p a r a m aio r c la r ez a no entendimento dos métodos de solução.

No c a s o do p ro b lem a de mínimos qu a dra d o s linear, autores como

LAWSON e HANSO N (1974), o definem:

D a d a um a matriz real A x Q) de p o s t o ( k ) ^ m i n ( m , n ) 1 e um vetor real

b m -dim ensional, encontrar um vetor real x* que minimiza o quadrado da

norma e u c l i d i a n a de Ax-b.

Não fazem distinção quanto ao tamanho r e l a ti v o de m e n. Neste caso

o p r o b le m a p o d e ser formado por q ualq uer um dos casos ilustrado na

fig. 01 (LAWSON e HANSON 1974).

Neste tr a b a lh o serão enfatizados os casos 2a e 2b, ou seja, soluc iona r

um sistema de equações lin eares in consiste nte (impossível ou

inco m patível), com m>n, sem a co n sid eração de que o sistema seja formado

por o b se r v a ç õ e s .

Foi e s c o l h i d o , t rab a lh a r somente com a parte da solução do p ro blem a

de mínimos q u a dra d o s, apenas fazendo mensão quando necessário a parte

das o b s e r v a ç õ e s , porque a grande m a i o r i a das lite ra turas na área de

ajustamento, tratam a solução de um p r i s m a muito elementar, quando podem

oco rr er p r o b l e m a s graves nos re sulta dos enco n trad o s usando tal pri sm a

(pro blem a do mal-condicionamento como s e r á visto ad iante), além de que,

por si só a p a rte da solução j á é um assunto bastante extenso.

1 p o s t o , r a n k o u c a r a c t e r í s t i c a de u ma m a t r i z , s á o t e r m o s u t i l i z a d o s p a r a d i z e r
quantas linhas ou c o lu na s s3o l ine a r me nte i n d e p e n d e n t e s nesta.
 3

FIGURA 01 - CASOS PARA O PROBLEM A DE MÍNIMOS QUADRADOS

LINEAR.

caso l a caso lb

Ax = b Ax = b

po sto(A )= m=n posto(A)=k<m=n

caso 2a caso 2b

0 =

Ax = b Ax = b

posto (A )= n<m posto(A)=k<n<m

caso 3a caso 3b

Ax ■ b Ax = b

p o s t o ( A ) a*m<n posto(A)=k<m <n

Outra questão a ser l e v a n ta d a é com r elação ao título do trabalho.

Sa b e -se que p a r a a a p licação do c ri tér io de mínimos quadrados existe trSs

t écnicas muito comuns utiliza d as em ajustamento de o bse rv aç õ es , as quais
 4

são: a) Método das o b se r v a ç õ e s indiretas ou método paramétrico;

b) Método das o bservações diretas condic io nadas (LUGNANI 1983) ou

método dos corre latos ; c) Método combinado.

O nome ajustamento p aram étric o no titulo r e f e r e - s e ao caso da téc nica

(a), isso porque a m aio ria dos pro blem as formulados p a r a serem r es olv id o s

p e la té c n ic a (b) podem se r formulados p a r a serem r e s o l v id o s p e l a téc nica

(a). Mesmo utilizando as téc nicas (b) e (c) p a r a pro blem as lineares ou

mesmo não -lin eares, conforme tratou DALMOLIN (1976), o prob lem a é

re s o lv id o através da solução de uma seqüência de siste m a lineares o que

acaba sendo o caso l a mostrado na fig.01. Os métodos de solução do

pro b lem a de mínimos quadrados linear p a ra os casos 2a e 2b, são também

ap licados a esse caso ( p a r a o caso l b , dos métodos expostos aqui, somente

o método utilizando a decom posi ção de v a lo r singular pode ser usado).

1.2 ESTRUTURA DO TRABALHO

No capítulo 2 são c o lo c a d o s os conceitos b á sic o s a serem utilizados

no de c o r r e r do trabalho.

O capítulo 3 fornece as solução p a ra o problema de mínimos

quadrados linear por d iv er s o s caminhos, inclusive quando as equações são

ponderadas.

O capítulo 4 trata da análise do condicionamento do problema. Lá é

m o strad a a desvantagem em so lu c io n a r o p rob lem a atr avés das equações

normais e o que ocorre no p r o b le m a de mínimos q u a dra dos linear quando

são perturbados a matriz de c o eficien te s das incógnitas e o ve to r dos termos

independentes.

O capítulo 5 traz os métodos numéricos p a ra a so lução do pro b lem a de

mínimos quadrados linear, onde cad a método vem com uma subrotina. Os
 5

métodos c o n sid e r a d o s p a ra obter a solução do p ro blem a foram: Gauss-

Jorda n com pivôtamento completo; su bro utin a Versol; decomposição de

Cholesky; deco m po sição QR; e d eco m p o siçã o de V alor Singular.

O c apitu lo 6 mostra alguns tes tes r e a l iz a d o s com os métodos acima

quanto a e s t a b i li d a d e e a v e lo c id a d e n a solução, a fim de tirar algumas

conclusões para serem a p lic a d a s ao caso do problem a de mínimos

quadrados n â o - l i n e a r tratado no capitulo 7.

O cap itu lo 7 traz dois métodos de solução do problem a de mínimos

quadrados n ã o -lin ea r, são eles: o método de Gauss-Newton e o método de

L evenberg-M arquardt. O método de G a u ss-N ew to n porque é o mais b á sic o ,

tem c a r a c t e r í s t i c a s de c o nvergência local (os tipos convergência serão

definidos ad iante) e o método de L ev e n b erg-M a rq u ardt porque tem

características de convergência g lo bal. A in d a no mesmo capítulo, é

utilizado um exemplo prático e os r e s u l ta d o s da aplica çã o de um pr ogram a

computacional p a r a mostrar tais c a r a c t e r í s t i c a s .

P o r último é f e ita uma conclusã o a r e s p e i t o de todo o trabalho e

algumas r ecom end açõ es quanto aos métodos de solução a utilizar p a r a

r e s o l v e r o p r o b l e m a de mínimos qu adra dos.

1.3 OBJETIVOS DESTA PESQUISA

O ob jetiv o final deste trabalh o é i d e n t i fi c a r os problemas que podem

surgir na so lução do pro blem a de mínimos qu a dra dos e fornecer métodos

numéricos a ltern ativ o s p a ra a solução do mesmo, quanto a estab ilid a de,

v e lo c id a d e e con v ergência (no caso n ã o - l i n e a r ) p a r a a solução.

 6

2. ELEMENTOS DE ANÁLISE E SISTE M A S DE EQUAÇÕES

L IN E A R E S .

Neste capítulo se rão a p re s e n t a d a s as ferramentas e s s e n c i a is usa das no

d e c o r r e r do trabalho. Serão f o r n e c id o s os conceitos de eBpaço ve to riai,

espaço normado, si stem a de equações lineares, derivada de matrizes,

conjunto e funções conv exas, c o ndiç ões de otim alidade e c o n v e r g ê n c ia de

se quência de números r e a is.

2.1 ESPAÇOS VETORIAIS

Definição: Espaço v e t o r i a i , é um conjunto V, n â o -v a zio , sobre o qual

estão definidos as o p e ra ç õ e s de adição (+) : VxV ->V e m u lt i p li c a ç ã o por

e s c a l a r (•) : RxV —» V , tais que com estas operações se cumpre os seguintes

axiomas:

a) Em rela çã o à adição
i) (u+v)+w = u + (v + w ) , V u,v,nr e V;
ii) u+v = v+u , V u ,v e V ;
iii) 3 0 e V , V u e V, u + 0 = u ;
iv) V n € V , 3 (-u ) e V , u+(-u)=0.

b) Em relação a m u ltip lic a ç ã o p o r e sc a la r

P a r a qualquer u,v e V e V a , P e R
vi) ( a p ) u = ct(pu);
v i i) ( a + P ) u = a u + p n ;
v iii) a ( u + v ) = a u + a v ;
ix) la = a .
 7

Os elementos pe rtencente s ao esp aço v e to r ia l V são chamados de

vetores, não importando sua natureza.

Quando, p a r a o conjunto dos e s c a l a r e s da definição acima for tomado o

conjunto C dos números complexos, o esp aço v e to r ia l V é chamado de

espaço veto ri al complexo.

2.2 N O R M A S

Seja V um espaço v e to r ia l real. D iz -s e que cp:V —» R é uma norma em

V, se:

i) <p(x) ^ 0, V x e V e

cp(x) = 0 se, e somente se x=0 ;

ii) <p(*.x) = |X|.cp(x) , V X € R , x e V ;

üi) <p(x+y) ^ <p(x)+q>(y), v x >y e v

Define-se a d istâ n c ia entre dois pontos quais quer do espaço como:

d(x,y) = <p(x-y).

É claro que o v a lo r vai depender de qual for a norma e sco lh id a j á que

existem infinitas normas.

Aqui a norma de um vetor se rá de no ta da p or ||-||. Algumas das normas

mais comuns em R a são:

Hi = Ê N ( norma-l) ( 2 . 1)
i- l

ii) ||x|2 = £ > i | 2)1/2 ( norma-2 ou e u clid ia n a) ( 2 .2 )

i- l

"*) H L = m a x ( Kl ) ( norma máxima ou infinita) (2 .3 )

ISiSfl
iv) l*lp = ( Z l xi|P)I,P * (norma P) (2 .4 )
i- i

A norma de uma matriz também se rá denota da por |)-||.

Se ja W = L(X,Y), e A e W. A norma de A é d e fin id a como :

 ii H ||Ax|l
llA ll= s u p - j n p • (2-5)
«#o If IIx
Uma s im p le s v erificação m o stra que a norma de A satisfaz às seguintes

condições:

i) ||A|| £ 0 , V A e W

ii) | | ^ A | | = |X|.||A|| , V X e R , V A e W

iii) ||A+ B|| * ||A||+||B|| , V A , B e W.

2.2.1 N o rm as induzidas

D e fin iç ão : P a r a qualquer matriz A e uma norma de v e to r ||*||, a norma

de matriz in d u z i d a ou subordinada ||A|| é de fin id a por:

||A||= i n f ( M e R :||Ax|<;M|xj|} . (2.6)

algumas vezes é mais conveniente e x p re ss a r a definição acima como:

A||= n j | x ||Au||, onde u=p ou (2.7)

, o IlAxII
<2 -8 >

As normas de matrizes subordinadas ou induzidas mais comuns são:

Ajjj = m;ax { ija.jlj } (máx.absoluto da soma de col.) (2.9)

A||2 = cr^^A) (maior v a lo r singular de A) (2.10)

||A||a) = m ax { llaj.jlj } (máx. absoluto da soma de lin.) (2.11)

A norm a de um vetor e a norma de uma matriz su b o rdinada são sempre

compatíveis.

A c o m p a tib ilid a d e entre a norma de uma matriz ||'||' e a norma de uma

vetor ||’||, é p o s s i v e l se for s a tis f e ita a seguinte condição:

l|A x || * | | A | r . || x | | . (2.12)
 9

Cabe destacar mais duas normas importantes que não são induzidas p e ia

norma de vetores. São elas :

||A||a = max{ |a4j| } ( norm a ab solu ta ) (2 .1 3)

MIf = ( Z Z | aü f )ia (norm a Frobenius) (2.1 4)

M j-í

e sta ú ltim a satisfaz a re la ç ã o

|(à |£ = traço(ATA). (2.1 5)

A norma de Frobenius é co mpatível com a norma de v e to r euclidiana,

isto é, p a r a qualquer A e x

<21<í>

2.3 ESPAÇO VETORIAL EUCLIDIANO

Chama-se espaço v e t o r i a l e u c l id i a n o , a um esp aço v e to r i a l real

normado de dimensão finita, no qual e stá definido a norma-2.

2.3.1 Produto interno

Produto interno em um esp aço v eto rial real V é uma função de

VxV —» R que a todo par de v e to r e s (u,v) e VxV a s s o c i a um número real,

ind ic ad o por n.v ou (u,v), tal que os axiomas a seguir se v e rifiq u em :

i) u.v = v.n ;

ii) n.(v+w) = u .v+ u.w ;

iii) (au)v = a(u.v) , V a e R ;

iv) a . a ^ 0 e a . a = 0 se, e só se u=0 .

 10

2.3.2 Subespaço vetorial

S e ja V um espaço v e to rial , e W c V. W é subespaço ve to rial de V se:

i) P a r a quaisquer dois v e to r e s x , y e W , sua soma x+y e W;

ii) V X e R, x e W, À.x e W.

2.4 SISTEMAS DE EQUAÇÕES LINEARES

Uma equ ação linear é uma equação d a forma:

a i * l + a 2 * 2 + - + a n *n = b > (2.17)

onde:
x,,x2,...,xn € R são variá v eis;

a ,^ ,...^ e R são coeficientes das v a riá v e is; e

b e R é o termo independente.

Os valores das v a riá v e is que tornam verdadeira a equação são

chamadas r a i z e s da equação linear.

Um siBtema de equações lineares é um conjunto de equações lin eares da

forma:

a11 x, +aj2 x 2 + + am*n = b i

a21X1^"a22 *2 ^ + a2n*n=b 2

(2.18)

a ml X1 + a xn2 X2 + • ‘ *n = b

Os v a l o r e s das va riá v eis que sa tisfazem as equaç ões do sistema são

chamadas r a i z e s do sistema de equações l in e a r e s (solução do sistema).

Os sistemas podem ser c la s s if i c a d o s segundo suas soluções , como:

i) Siste m a p o s s ív e l (consistente ou c o m p a tív e l) e determinado;

 11

ii) Sistema po ss ív el e indeterminado;

iii) Sistema impossível ( incons istente ou incompatível ).

Um sistem a é possív el se admitir raizes ou soluções.

O sist ema po ss ív el é de terminado quando admite solução única.

O siste m a poss ív el é indeterm inado quando admite infinitas soluções.

O sistem a é impossível quando não admite solução.

Dois sistemas são equ iv ale ntes quando admitem as mesmas raizes ou

soluções.

O siste m a de equações lin e are s (2.18) pode ser escrito na forma

matricial como:

a a a X1 b
U 12 la 1
a21 a 22 ã X b2
2n 2
(2.19)

a ml, am2V a X b
mn n m

e r ep re se nta d o por Ax=b.

A c la s s ifi c a ç ã o de (2.19) é usualmente feita analisando o posto de A, o

posto de A=[A,b] ( co nh ecid a como matriz ampliada ) e o número de

v ariáveis.

A seguir s e r á feito um breve resumo d esta c la ssif icação .

Se ja um sistema de equações lin eares Ax=b, com A(nwn), x (n>l) e b (nU) ou

mais explicitamente como em (2.19). A matriz ampliada à será:

a a a b
11 12 ln 1
a 21 a 22 a b
2a 2
Ã= ( 2.20)

a a m2 a mn bn
 12

Uma man eira de c a l c u l a r o posto de uma matriz é r e d u z i - l a à forma

e s c a d a através de o p e ra ç õ e s elementares. O posto da matriz s e r á o número de

linhas com elementos não t od o s nulos de uma matriz e q u iv a le n te red uzid a à

form a escada.

Uma c la s s if i c a ç ã o g e ra l não importando a dimensão do siste m a p o derá

ser feito da seguinte forma:

i) se p o s t o ( A ) = p o s t o ( Ã ) = k , o sistema é p o ss ív e l;

ii) se p osto(A ) < p o s t o ( Ã ) , o sistema é im possível;

se o sistema for p o s s ív e l , p o d e r á ser:

iii) determinado se k=n ;

iv) indeterminado se k<n.

2.4.1 Os sube spaços fundamentais

As afirmações a n te r io r e s quanto a c la s s if i c a ç ã o dos sistemas de

equações lineares, farão maiB sentido depois desta se c ç ã o , p ois se r á dada

uma interpr etação g e o m é tr ic a p a r a a solução dos sistemas.

Considere os seguintes subespaços obtidos das matrizes dos

coeficientes:

1) O espaço l i n h a de A; se for aplicado em A o p r o c e ss o de

eliminação, reduzindo A à f o r m a eBcada, o número de linhas com elementos

não todos nulos se rá o p o s t o fA)=k e essas linhas for marão uma base p a ra o

espaço linha de A.

2) O espaço n u l o de A\ O espaço nulo de A tem dimensão n-k, que é o

número de v a r i á v e i s l iv r e s do sist em a Ax=0. Uma base p a r a esse subespaço é

obtido atribuindo v a lo r e s a e s s a s v a ri á v e i s livres.

3) O espaço c o l u n a de A\ tem dimensão igual ao e sp aç o linha de A,ou

seja, posto(A)=k. Uma base p a r a esse espaço pode ser o b t id a verificando-se

 13

na matriz red u z id a à forma e sca d a quais das colunas tem p iv ô s, aB

c orre sp o nd e nte s colunas em A formarão uma base p a r a esse Subespaço.

4) O esp aço n u l o de AT; Este su bespaço é constituído dos ve to res y

tal que ATy = 0 . A dimensão p a r a esse subesp aço é m-k. Uma base pode ser

fo rm ad a das últimas m-k linhas de L-IP, onde : L é uma matriz de operações

ele m entares e P uma matriz de permutaç ão que quando ap lica d as a matriz A,

g e ra a matriz U, re d u z id a à forma eBcada (d ec o m p o siçã o LU).

A s i m b o lo g ia p a r a os subeBpaços acima bem como suas dimensões são

resu m id a s abaixo:

i) 91 ( A T) = espaço linha de A ; dimensão k.

ii) x(A) = esp aço nulo de A ; dimensão n-k.

iii) 91(A) = espaço coluna de A; dimensão k.

iv) * ( A T) = espaço nulo de AT; dimensão m-k.

Uma vez de poss e dos con ceito s sobre os quatro subespaços

relacionadoB ao sistema Ax=b, p o d e -s e checar a c la ss ifica çã o dada

anteriorm ente, utilizando agora os subespaços.

Foi dito que um sistema é p o s s ív e l se o p o s t o ( A ) for igual ao p o s t o ( K ) .

Analisando esse fato, segue que po sto(A ) s i g n if ic a exatamente o número de

linhas ou colunas linearmente independentes da matriz A. O mesmo

aco ntecen do com a matriz Ã, pois, p o s t o ( Ã ) equiv ale ao número de linhas ou

colunas linearmente independente de Ã.

D a afirm ação acima, conclui-se que uma linha (uma coluna) de à deve
se r linearmente dependente p a r a que o BÍstema s e j a p o ss ív e l. Em pa rticular o

v e to r b j á que o mesmo foi acrescid o as colunaB de A p a r a formar Ã.

Daí, c o n clu i- se sobre as a firm ações (i) e (ii) no critério de

c l a s s if i c a ç ã o que:
 14

a) Se o vetor b for combinação lin ear das colunas de A, então o sistema

é p o ss ív e l;

b) Se o ve to r b não fo r combinação linear das colunas de A, o sistema é

impossível.

Do ponto de vista g eom étrico isso quer dizer que se o vetor

b e W(A), então o sistema s e r á p o s s ív e l e se rá im p o ssív el caso contrário

( v e r fig. 02).

Caso b g 9 l( A ) , então, as co n d iç õ es (iii) e (iv) devem se r v erificad as,

ou se ja, se b é formado unicamente ou não.

O sistem a p o s s ív e l s e r á de te rminado se o espaço c o lu n a t iv e r dimensão

total, ou seja, todas as colunas de A forem linearmente independente (posto

completo). Isto si gn ific a que só existe uma maneira de com b in ar as colunas

de A (atra v és de um v e to r x ) p a r a fo rm ar b.

Se alguma coluna de A for linearmente dependente, isso im plica numa

d e f i c iê n c i a de posto, e o e spaç o coluna se rá gerado p o r uma base de

dimensão menor do que (n) . N e ste caso as colunas de A fo rm arão apenas um

espaço de dimensão k<n. Assim sendo, b p o d e ria se r e scrito de infinitas

maneiras.

Observe que p a r a estas inte r p re ta ç õ e s foi utilizado somente o espaço

coluna de A, de modo que é suficiente. Já os demais se rão estudados na

análise do pro b lem a de mínimos quadrados.

2.5 DERIVADA DE MATRIZES

Se ja x e R " com elementos xi função de t g R e pe lo menos uma vez

d ifere n ciav e l em t. Então, a d e r i v a d a de x com res peito a t será:

FIGURA 02 - REPRESENTAÇÃO GEOM ÉTRICA DA CLASSIFICAÇÃO

DO SISTEMA LINEAR.

2.a Sistema possível 2.b Sistema impossível

De m an e ir a análoga a d eriv ad a de uma matriz A(J1U1) com re speito a t

será:

dau da da
dt dt dt
dA ( 2 .2 2 )
dt
da da da
ml__
dt dt dt

exemplo:
x =(e‘ sen(t) cos(f) )7 — =(e' cos(t) + e1sen(t) - sen(t) )T ;
dt
 16

cos(t) sen(t) -set(t) cos(t)

dA
A=
1 e 2‘ ' ’ dt 0 2e21

Sejara agora duas matrizes A e B. Suponha ser p o s s ív e l o produto entre

elas. Entâo, a d e ri v a d a do produto de A por B escreve-s e:

tf(ÀB) d(A) A d(B)

—---- - = ^B + A — ^ (2.23)
dt dt dt K }

2.5.1 D e r iv a d a p a rc ial de uma matriz

S e ja y e R m e x e R ” com y; função de Xj então as d e riv a d as p a rc iais de

yx com respeito a Xj escreve-se:

át (2.24)

àxx àx2 âxn

a (2.24) é conhec ida como matriz j a c o b ia n o .

Exemplo :

3x 1 + 4x2 +5
3 4
10x2 + 3x3 , -T _ 20x 9x2
1 2 i 2
■X
x' + 2x 3x2i 4 x2
1 2

o diferencial de y pode ser esc rito como:

 17

d y - — dx
âx

2.5.2 De riv a d a de express ão linear

Se ja y - Ax (2 .2 6)
onde:
y e R “;
A e R “ ", com elementos constantes ;
xeR", vetor das variáveis independentes.

Entâo:
dy = d(Ax)= Í W dx , (2.27)
âx
logo a d eriv ad a de y com res p eito a x será:

(2.28)

2.5.3 D e riv a d a da forma b ilin e a r

Chama-se forma b ilin e a r a e xpre ssão:

u=xTAy (2.29)
onde:

u e R;
A e R " 1", cora elementos constantes;
yeR" ;
x e R ™ , v e t o r das variáveis independentes.

O diferencial se exp ressa (LUGNANI 1983) por:

du=xTA d y + d x TAy (2.30)

 18

2.5.4 D e r i v a d a da forma quadrática

A form a q u a drá tic a é defida p e la ex p re ss ão :

q = x TAx (2.31)
onde:

q e R;

A e R nín, simétrica;

x e R n.

O c álculo da d e riv a d a é (MIKHAIL e GRACIE 1981):

4 r-=2 x TA (2.32)
âx

2.6 FUNÇÕES CONVEXAS

As p r o p r i e d a d e s que esta cla sse de funções possui sâo de grande

im p o rtân cia na t e o r i a de otimização. Uma vez que a função é iden tificada

a -p r io r i, certos resulta dos ficam ass egu rad os. No caso do pro blem a de

mínimos q ua dra dos linear, a função r e s i d u a l a se r minimizada pertence a

classe das funções convexas. Este é o motivo d e s t a secção.

Para introduzir alguns conceitos sobre funções convexas, é útil

primeiram ente definir conjuntos convexos.

2.6.1 Conjuntos convexos

D efin iç ão : Um conjunto C no E* (esp aço eu clid ian o ) é dito ser convexo

se p a r a q ualq uer Xj,x2 € C e qualquer número re a l a , 0 < a < l , o ponto

âx, +(1- a)x2 € C.

 19

E sta definição pode se r i nte rp retad a geométricamente como: se dois

pontos quaisquer pertencente ao conjunto forem unidos através de um

segmento de reta, qualquer ponto tomado ao longo deste segmento pertence ao

conjunto, v e r fig.03.

FIGURA 03 - CONVEXIDADE DOS CONJUNTOS

3.a Conjunto não-convexo 3.b Conjunto convexo

Existem algumas o p e ra çõ e s que pr eservam a convexidade dos

conjuntos. São elas:

i) Se C é um conjunto convexo e p é um número real, o conjunto

PC = {x: x=Pc , c £ C 1 , é convexo.

ii) Se C e D são conjuntos convexos, então o conjunto

C+D= {x: x=c+d, c e C, d £ D} , é convexo.

iii) A interseçã o de um número a rb itr ár io de conjuntos convexos é um

conjunto convexo.

FIGURA 04 - PROPRIEDADES DOS CONJUNTOS CONVEXOS

4.a propriedade i 4.b propriedade ii 4.c propriedade iii

 20

2.6.2 Funções convexas

Uma função f definida em um conjunto convexo £2 é dita se r convexa se,

V x, , x 2 e £2 e V À, O^À^l, o c o rr e r que:

fí^ X j+ íl-A jx ^A ftX jH l-^ !) . (2.33)

Se

(2.34)

então, f é dita se r estritamente convexa.

Geometricamente, uma função é convexa se a linha que une os pontos

(x,4(x,)) e (x2,f(x2)) , não fica r abaixo do gráfico da função.

Uma função f é côncava se -(f) for convexa.

2.6.2.1 Combinações de funções convexas

P r o p o s i ç ã o 1. Se ja f, e f2 funções convexas em um conjunto convexo

£2. Então a função f, + f 2 é convexa em £2.

Prova: s e j a x, , x 2 e£2 e 0 < a < 1, então:

f,(ox2 - K l- a j x ^ f 2(ax2 - K l - a ) x ^ 4 f , ( x 2)+f2(x2)]-K l- ^ ( x , ) ^ ^ ) ] =

= o(f, + f 2)(x2)+(l-Q:)(f1 + f 2)(x,) .

P r o p o s i ç ã o 2. Se ja f uma função convexa em um conjunto convexo

£2. Então, a f é convexa p a ra qualquer a^O.

Prova: imediata.

A p a rt i r das duas p r o p o siç õ e s acima pode ser demonstrado que uma

combinação p o s i t i v a de funções convexas re s u l ta numa função convexa.

P r o p o s i ç ã o 3. Se ja f uma função convexa em um conjunto convexo

£2. O conjunto Tt = { x :x e £2 , f(x)£ c} é convexo p a ra qualquer número real c.
 21

Prova: S e ja x, , x 2 eTt . Entâo f(x,)£ c, f(x2)£ c e p a ra 0«x<l ,

í(ax, +(1 - <z)x2)£ f l ^ x , ) - ^ - or)f(x2)£ c. Assim oxj +(1- a)x2 e Tt .

FIGURA 05 - FUNÇÕES CÔNCAVAS E CONVEXAS PARA O CASO

UNIDIMENSIONAL.

tf >1 *

5 . a Função convexa 5.b Função côncava

Note que, como consequê ncia é também convexo o conjunto de

pontos satisfazendo a: f ^ x ^ c , , f2(x)£c2 , . . . ^ „ ( x ^ c ,,, , onde cada Ç , l ^ i £ m ,

é uma função convexa. Como caso p a r t i c u l a r di sso, obtem-se que o conjunto

solução de um si stema de equações lin e are s é um conjunto convexo.

2.6.2.2 P r o p r i e d a d e s de funções convexas d if e r e n c iá v e is

Uma de finição equivalente a (2.3 3) pode se r formulada usando

d ifere n ciaç ão de função. A pro po sição 4 a seg uir é formulada p a ra funções

de c la sse C1 * e a p ro p o siç ão 5 p a ra funções de class e C2 ** .

* U m a f unç &o c u j a d e r i v a d a s p a r c i a i s e x i s t e m e s S o c o n t i n u a s é di t a s e r de c l a s s e
 22

P ro p o s iç ã o 4. Se ja f e C1. Então, f é convexa em um conjunto

convexo Q, se e somente se

, V x,,x2 e D . (2.35)

Prova: primeiro suponha f ser convexa. Então, a p a r t i r da definição

(2.33) tem-se que :

f(^x2 +(l->í)Xi)^Af(x2) + ( l - A)f(Xj) ou

f(Xj + A(x2 -Xj))^f(xi)f^(f(x2)-f(x1)) , assim p a ra 0<2,^1

Á
levando ao limite com X 0, vem que
f t x ^ f í x , ) ^ VfT(x,)(x2 - x , )

ou
f(x2)^f(x)>fVfT(Xi)(x2 - x ]) .

Com isso fic a de m onstrada a pa rte " somente se ".

Assuma agora
f(x2)>f(x1)4-VfT(x,)(x2 - x , ) , V x, , x 2 e Q.

Tomando dois pontos fixos y2 e y2 g Q , e chamando

Xj = A ( y j ) f ( l - A ) ( y 2) , sendo que alternativamente x2 = yt ou x 2 = y 2 , tem-se

que :
f(yi)^f(Xj}fVfT(xi)(yj -Xj) (2.36)

%2)^ f(Xi)+VfT(Xi)(y2 - X,) (2.37)

multiplicando (2.36) por X , (2 .3 7 ) p o r (1-2.) e somando ambas r e s u lta

H l-Â }y2- x j

substituindo x, , tem-se

+0 - ^ 2) •

Com isso completa-se a demonstraçã o da pro p osição 4.

 23

FIGURA 6 - DEFINIÇÃO DE FUNÇÃO CONVEXA POR

DIFERENCIAÇÃO

j '(')
í(><3)

A p r i m e i r a definição afirma que a in te rp o la ç ão line ar entre dois pontos

su perestim a a função, enquanto que a se gunda afirma que a aproximação

lin e ar b a s e a d a na d e riv a d a local subestima a função.

P a r a funções duas vezes continuamente d i f e r e n c i á v e i s , existe uma outra

cara c te r iz a ç ã o de convexidade.

P r o p o s i ç ã o 5. Se ja f e C2. Então f é convexa em um conjunto convexo

contendo um ponto interior*, se e somente se, a matriz h e s s ia n a

âiíi â xi

Prova : Do teo rem a de Taylor , tem-se:

p a r a algum X, Da definição de m atriz se m i-d e fin ida positiva,

(x2 -X j^ H íx, +/l(x2 -x,))(x2 -Xj)^0, sendo que na desigualdade estrita, H é

de fin ida positiva.

Vê-se claramente que se H em (2.38) é se m i-d e fin id a p ositiv a , r esulta

que :

* U m p o n t o é i n t e r i o r q u a n d o t o d a s as d i r e ç õ e s s õ o f a c t í v e i s .
 24

H x^íÇ x^V f^x.X xj-x,) (2.39)

e com v i s t a na p r o p o s i ç ã o 4, im p lica que f é convexa.

Suponha a gora que a matriz h e s s ia n a não s e j a se m i-d e fin id a p o s i t iv a em

algum ponto xt g £2. P e l a continuidade da h e s s ia n a pode ser assumido sem

p e r d a da g e n e r a lid a d e , que x, é um ponto in te r io r de £2. Existe um ponto x 2

g Q tal que (x2 - x ^ H f c , +A(x2 - x 1))(x2 - X j)< 0. Novamente p e la continuidade

da h essian a, x2 pode se r se lec io n a d o de modo que X, ,

( x 2 - X t ) TH (x + A (x 2 ~ X j))(x 2 - X i ) < 0 .

Com v i s t a em (2.38), im plica que (2.39) não ocorre e p e la proposição

4, i m p lic a que f é não-convexa.

2.6.3 Extremo de funções de v a lo r e s reais

E sta se cç ão e stá sendo in troduzid a com o objetivo de definir os

conceitos sobre maximização e minimização de funções de v á ria s variáveis.

Nã o se preten de aqui demonstrar as co n d iç õ es de otimalidade, mas tão

somente r e l e m b r a r essas condições p a r a a p li c a ç ã o no p ro b lem a que será

tratado.

Defin ição: Se f : U c R ‘ ->R é uma função de v a lo r r e a l , um ponto x*g U

é chamado um m l n itn o l o c a l de f se existe uma v izin hança V de x* tal que

p a r a todo ponto x € V, f ( x ) ^ f ( x ' ) . Sim ilarmente, x’ e U é um m á x im o

l o c a l se existe uma vizinh aç a V de x* tal que f(x)£f(x*) p a r a todo x g V. x*

g U é dito se r e x t r e m o l o c a l ou r e l a t i v o se ele for um máximo local ou um

mínimo local. Um ponto x* é um p o n t o c r i ti c o de f se Vf(x')=0. Um ponto

critic o que não é extremo local é chamado p o n t o de sela.

 25

Um ponto x* é c rí tic o se Vf(x*)=0, isto quer dizer que ele p o d e rá ser

ou um ponto de máximo, ou um ponto de mínimo, ou um ponto de sela.

P a r a sa b er qual a cla sse que o ponto x* pertence, pode ser feita a

seguite análise na matriz de d eriv as se gunda ( h e s sia a a ) d a função.

1. O ponto x* se rá um ponto de mínimo se a matriz h e s s i a n a for definida

p o s i t i v a (au tovalo res todos p ositiv o s ).

2. O ponto x* se rá um ponto de máximo se a matriz h e s s i a n a for definida

n e g ativ a (au tovalo res todos negativos).

3. O ponto x’ se rá um ponto de s e l a se a matriz h e s s i a n a fo r indefinida

(au to v a lo re s positiv os e negativos).

4. Se a matriz hessiana for ou se m i- d e f in id a p o s i t iv a ou se m i-definida

negativa, o ponto c rític o x* é chamado d e g e n e ra d o e uma análise da

função nas vizinhanças do ponto x* deve ser feita p a r a sa b e r que tipo

extremo será.

2.6.4 Minimização de função convexa

P r o p o s i ç ã o 1. S e j a f uma função convexa definida em um conjunto

convexo £2. Então, o conjunto T onde f alcança seu ponto de mínimo, é

convexo e qualquer mínimo local de f é mínimo global .

Prova: Se f não tem mínimo local, a p ro p o siç ão é ace ita por

v acuidade. Assumindo se r C0 o mínimo de f, pe la p r o p o s i ç ã o 3 da secção

( 2 . 6 .2 . 1 ) , o conjunto Tc = {x:xe£2, f(x)^C0} é convexo.

Suponha agora, x* e £2 ser um ponto de mínimo local de f e que

e xista outro ponto y e £2, tal que f(y)<f(x*). Então, na linha Áy+(1-Á)x”,

0<X<1, tem-se :

%Áy -Kl->l)x‘)£ f(x*)

contradizendo ao fato de que x* é mínimo local.

 26

P r o p o s i ç ã o 2. Se ja f 6 C1 e convexa em conjunto convexo Q. Então,

todo ponto de mínimo local em f é ponto de mínimo global.

Pro va: Suponha que x e y e Q sejam pontos de mínimo local de f.

Além di sso, sup onha ser f(y)<f(x). Assim, p e l a p r o p o siç ã o 4 da secção

(2.6.2 .2 ),
í(y)-f(x) ^ V f T(x)(y - x).

Isto i m p l i c a que V fT(x)(x-y)<0, o que si g nific a que a função f pode ser

d e c r e s c i d a a p a r t i r do ponto x, contradizendo ao fato de que x é ponto de

mínimo local.

M a i o r e s deta lh es a respeito da secção 2.6, podem se r encontrados em

LUENBERGER (1 973) e RAO (1979).

2.7 CONVERGÊNCIA DE SEQUÊNCIAS DE NÚMEROS REAIS

se ja x* g R e xj e R, i= 0 , l ,2 , . .. , então , a se qu ênc ia de números

reais {xj} = {xo,xi,X 2 , . . } é d ita convergir p a r a x* se

lim|xi -jc*| = 0
í-MO
A

Além d isso , se existe uma constante c g R e um inteiro i 20 tal que

A

V i2i
| xj + 1 -x*|<;c|xi-x*| (2.40)

então, {xj} é d ita se r q-linearmente convergênte p a r a x*.

Se p a r a alguma se quência {c j } que converge pa ra zero

|x;+1 -x*|£cj|xj-x*j (2.41)

então {x jj converge q-superline armente p a r a x*
A A

Se existe p > l , c^O e i 20 tal que ( x j ) converge p a r a x* e V i è i

|xí + i-x*|^ c|x í-x *|P (2.42)

então ( x j ) é d ita co n verg ir p a ra xj cora pelo menos q-ordem p.

 27

No caso pa rtic u la r de p=2, a co n verg ên c ia da se quência {xj} é dita ser

de ordem q-quadrática.

M ais detalhes a r espeito d e sta seçção são encontrados em DENIS e

SCHNABEL (1983).
 28

3. S O L U Ç Ã O DO P R O B L E M A DE M Í N I M O S QU ADRA DOS L I N E A R

0 pr oblem a de mínimos qu a d ra d o s linear foi definido na introdução

como: minimizar o quadrado do r esídu o (Ax-b) na norma e u clid ia n a, ou seja,

£ ‘?llA x - b í2 = m i n lV llr (3 1 )

onde:

V = Ax- b

A e R mxn;

b g Rm

3.1 P R E L IM IN A R E S

Antes de encontrar a solução em si, se r á feito um breve comentário em

torno do significado do resíduo Ax-b. J á se sabe do capítulo a n te r io r que um

sistema de equações lineares só po ssu i solução se o ve to r b fór combinação

lin e ar das colunas de A, ou seja, se o v e to r b e 91 (A). Caso b e 91 (A), o

c ri tér io de mínimos quadrados t o r n a r - s e - i a irrelevante, pois o pr oblem a

r e s u l t a r i a em apenas r e s o l v e r um siste m a de equações lin e are s compatível.

Uma vez que b £ 91(A), o s iste m a é impossível e a a p lica çã o do

cri t é r i o de minímos quadrados to rn a-se re le vante, pois tra ta - s e de escolher
dentre as soluções aproximadas ex is tentes, aquela que minimiza o quadrado

de uma certa norma .

Como qualquer vetor Ax g 91 (A), b g R m , e 91 (A) é su bespaço próprio

do R " , então em geral b € 9t(A). Ao v e to r Ax-b denomina-se resíduo.

 29

FIGURA 07 - REPRESENT AÇÃO DO RESÍDUO

Da p r ó p r i a ilu str ação pode ser o b se rv ad o que existe infinitos resíduos

V . A questão é e s c o l h e r aquele de menor norma.

Eis uma outra questão; qual a norma a u t il i z a r e p or que ? j á na p r ó p r i a

definição do p r o b l e m a foi proposto a norm a-2. Abaixo segue algumas

j u s t if i c a t iv a s da e sc o lh a de ssa norma.

a) A norm a-2 é d ifere n ciav e l para todo x e R n, tal que Ax-b*0.

b) E sta norma tem interpretação g eo m étr ica sim p le s e as leis de projeção

são v á lid a s p a r a ela.

c) Tem j u s t i f i c a ç ã o estatística; é um e s tim a d o r não-tendenc ioso e fornece

v a riâ n c ia mínima. Além disso, se as o b s e r v a ç õ e s seguem uma distribuição

normal, a e s tim a tiv a de mínimos quadrados, é também estimativa de máxima

v e ro s sim ilh an ç a (máxima pro b ab ilid a d e ).

Cabe apenas c ita r que minimizar Ax-b na norma-1 ou na norma infinita,

é equivalente a r e s o l v e r um problem a da p ro g r a m a ç ã o linear.

 30

3.2 SOLUÇÀO DO PROBLEMA

Se ja f : R “ - » R uma função definida por f(x) = | | Ax- b . O problema

(3.1) pode ser eBcrito como:

min fl[x)= ||Ax-b|g (3.2)

UBando a definiçã o da norma-2 tem-se:

f(x) = < A x-b,A x-b> = <Ax,Ax> -2<A x,b> + <b,b>. (3.3)

a p lica n d o a condição de otim a li dade em f(x) (Vf(x)=0), tem-se:

V f( x )=2(A TA ) x - 2 (ATb)=0 , donde

(AtA) x* = ATb (3.4)

onde: x‘ , é a solução de ótimo p a r a oprob lem a (3.2) . A expre ssão (3.4) é

c o nh ec id a como equação n o r m a l de m í n i m o s quadra dos.

Uma vez a p li c a d a a co n diç ão de otimalidade ao p r o b l e m a e obtida a

so lu ç ão x* de ótimo, deve Ber f e i t a uma análise p a ra sa b e r de qual ponto esta

so lução Be refere (máximo, mínimo, ou sela). Baseado nas afirmações da

se cç ão (2.6.3 ), deve ser c a l c u l a d a a matriz hessiana da função f(x), a qual

será:
H( x)=2(A tA). (3.5)

A go ra ficou bastante sim ple s p a r a analis ar x‘ , h a ja visto que H(x) é no

mínimo se m i-d e fin id a p ositiv a.

Pro va : Por definição, uma m atriz H e R ”“ é s e m i- d e f in id a p o s i t iv a se

V x € R n, com x^O xtH x ^ 0, sendo que na desigualdade e strita, H é definida

p ositiv a .

Assim
xtA tA x = < Ax,Ax >=||Ax ||j £0. (3.6)

Então, Ax=0 se e somente se, as colunas de A são linearmente

depe ndente s, o que si gn ific a que A não tem posto completo. Logo, para

qualq uer Bistema de eq u açõ es lin e are s redundantes, onde a matriz dos
 31

c o eficien te s das incógnitas t iv e r posto completo, e nele for aplicado o

c ri tér io de mínimos quadrados, a solução x* se rá ponto de mínimo, salvo em

sistemas " m al-condicio nados" (será definido adiante os termos mal-

co n dic io n ad os e bem -c o n d ic io n ad o s), onde devido a erros de arredondamento

do computador a matriz b essiana pode to r n a r - se se m i-defín ida p o s i t i v a ou até

indefinida.

A eBta altura j á se sabe que x‘ c o rresponde ao ponto que minimiza a

função res id u al f(x) de finida em (3.2) e (3.3). ReBta sa b e r se este ponto é

ponto de mínimo local ou mínimo global.

N a s p r o p o s i ç õ e s 1 e 2 da se cç ão (2 .6 .4 ) ficou demonstrado que Be uma

função f é convexa em um conjunto convexo, então, todo ponto de mínimo

local é ponto de mínimo global. Em v irtude desse fato, de v e-se p rov ar que

f(x) é convexa em um conjunto convexo.

Pro va: o R" de fato é convexo, p a r a v e rif ic a r basta ligar dois pontos

q uais quer do conjunto por uma reta, que qualquer ponto tomado ao longo

d e ssa r e t a p e rte n c e r á ao conjunto.

A convexidade de f(x) é a s s e g u r a d a p e l a proposição 5 da secção

(2.6 .2 .2 ), uma vez que a h essiana é s e m i- d e f ín id a p o s itiv a através do R n .

R e s t a p a ra concluir esta secção , s a b e r quanto da u nicidad e de x*. Isto

pode se r v e rif ic a d o p e l a p r o p o s i ç ã o a Beguir:

P r o p o s i ç ã o 1. Numa função convexa f e C2, onde f : R ” —>R, se existir

mais de um ponto de mínimo x‘ , então n e sta função existirão infinitos pontos

de mínimo.

Prova:
Se Xj e x2 são pontos de mínimo então toda combinação convexa de

xt e x2 é ponto de mínimo, pois o conjunto dos pontos de mínimo como foi

visto na p r o p o siç ã o 3 (se cç ão 2 .6.2 .1 ) é um conjunto convexo.

 32

3.2.1 Interpreta çã o geométrica

A solução do p ro b lem a de mínimos quadrados linear também pode ser

obtida por meio da geometria.

FIGURA 08 - INTERPRETAÇÃO GEOMÉTRICA DA SOLUÇÃO DE

MÍNIMOS QUADRADOS.

A (Fig.08) mostra três dos infinitos r esíd uo s que podem ocorrer. Na

pr ó p r ia figura pode ser observado que o resíduo de menor comprimento é

aquele no qual é obtido p e la projeção ortogonal de b em 9i(A), ou seja,

V- . = | A x - - b | . Como qualquer vetor do tipo Ay e 93 (A) V y e R n, e p a ra

que Ay se ja p e r p e n d i c u l a r ao resíduo de comprimento mínimo, deve-se ter

< Ay,Ax* - b >= |Ay)jjAx* -b|cos90°= 0 , ou

yTA TAx' - y TA Tb = yT(ATAx* - A Tb)= 0 (3.7)

como y pode se r esc olhido a rb ritrário , então

ATAx* - ATb = 0 O A tAx * = ATb (3.8)

que é a mesma (3.4) encontrada anteriormente.

 33

Quanto a questão de uniciade de x*. N a secção anterior foi visto que se

ATA for definida posi tiv a, x* é único ponto de mínimo da função

f(x )= ||A x-b |£ e se ATA for s e m i- d e f in i d a positiv a (extremo degenera do),

e xis tiram infinitos pontos de mínimo x* p a r a a função f(x).

Por causa da solução atr av és das de composições o rtogonais( resolvem

op r o b le m a diretamente sem usa r as equações normais), é importante

d emons trar que po6to (A) e p o s t o ( A TA) são iguais.

P r o p o s iç ã o 1. Para qualq uer matriz A(mxn) de p osto(A)= k, o produto

m atric ial ATA resulta numa matriz si m é t r i c a e seu posto também é k.

Prova:

P rim eira parte - v e rif ic a ç ã o da si m e t r i a de ATA.

Se At A é simétrica, então (ATA)T= A TA.. pelas propriedades de

tran s p o siçã o da6 matrizes, tem-se

(AtA)t = A t(At )t = à tA.

Segunda parte - v e ri fica çã o do p o sto ( A ) e p o s t o ( A TA).

Se for verificado que A e ATA tem o mesmo espaço nulo, então fica

de monstrado a igualdade entre o p o s t o ( A ) e p o sto ( A TA), j á que a dimensão

do e spaço nulo é o número de colunas menos o posto, e tanto A como ATA

tem (n) colunas.

Se x está no espaço nulo de A, então Ax=0 e se x está no espaço nulo

de At A , então ATAx = 0. Como Ax=0 im p l i c a que A ‘ 0 = 0 , mostrando que x

está em ambos espaços nulos.

Outro caminho para a v e r i f i c a ç ã o s e r i a tomando o produto interno com

x T, assim

x t A tA x = xt 0 x tA tA x = 0 , o que nada mais é que

||A x |£ = 0 , logo Ax=0.

Se po8to(A)=k=n , então ATA é não-singular e com isso inv ersiv el,

podendo assim fornecer uma solução a lt e r n a t iv a para (3.8), ou seja,

 34

x* = ( A TA ) 1 <ATb ) . ( 3 . 9)

3.2.2 P r o p r i e d a d e s da solução de mínimos qu adra dos

N e s t a se cç ão se rá feito o estudo do p r o b l e m a de mínimos quadrados

utilizando os su be spa ço s envolvidos, a fim de t i r a r alguns res ultados para a

análise do problem a.

R e cord a n d o que o espaço coluna de A (91 (A)) ,c onsiste de todos os

v eto re s m -dim ensionais que são combinações lin eares das colunas de A. O

subespaço complem entar é o espaço nulo de AT ( x ( A T)), ou seja, contém

todos os v e to r e s m-dimensionais que são ortogonais as colunas de A

( A Ty = 0).

A dimensão do espaço coluna de A é igual ao p o s to íA J^ k e a dimensão

do esp aço nulo de AT é igual a m-k.

3.2.2.1 C a rac te riz aç ão do ótimo residual

D ada uma matriz A, qualquer veto r não nulo c m-dimensional pode ser
expresso como a soma de um vetor cR e 91 (A) e um c* e x ( A T), ou mais

simplesmente
c = c R+ c N (3.10)

onde:
cR = componente de c em 91 (A)

c* = componente de c em x ( A T)

com , c / c * = 0 .

Os componentes cR e c* são únicos e satisfazem

cR = A ca , para algum cA e R n ;

A cn =0 .
 35

M ais facil s e r ia compr eender a unicidade dos veto res cR e

observando a figura abaixo.

FIGURA 09 - COMPONENTES DE UM VETOR EM 9t(A) E a ( A T)

cR é a p r o j e ç ã o de c no espaç o coluna de A e cN é a projeção de c no

espaço nulo de AT, desta man eira só existem um cR e um cw .

Embora cR s e j a único, cN só s e r á único se as colunas de A forem

linearmente independentes.

Devido as p r o p r i e d a d e s que a norma-2 tem na g eo m etr ia euclidiana,

(3.10) pode ser e s c r i t a como:

(3.11)

Estas o b s e r v a ç õ e s são de extrema r e l e v â n c ia p a r a o problema de

mínimos quadra dos, uma vez que b e V são veto res m-dimensionais e estão

rela cio nado s com os 6ubespaços mensionados. D e sta forma, b e V podem ser
escritos como:

b = b R+ b N , com b R = A b A ; (3.12)

v = vr + vw > com vr = A va . ,(3.13)

 36

E sc re v en d o o residual V em termos de V=Ax-b

v = vr + vn = A x - b R- b N (3.14)

como Ax € 91(A), V x e R \ então

vR = A x - b R e ví ) = - b N . (3.15)

Observando (3.14), po d e -s e notar que aosutrair Ax de b, não se altera

o componente de b que está no espaço nul o de AT, assim

IIa * - bll! = IM l! = K l ! + K l! =Ia * - M ! + K l! <3 16>

o que im p l i c a ser

IM I^ IM Ü (3.17 )
logo, minimizar j)Ax —b c o r r e s p o n d e em minimizar | A x - b R|£ . Como bR

e W (A) , então deve existir algum v e to r x n-dimensional tal que Ax-

b R=0 e d esta forma 0 resíduo (V) atinge seu mínimo quando Hvfl* = ||bN •

Isto conduz a duas importântes c ar ac ter iza çõ e s equivalentes , as quais

são:
x minimiza jjAx-b|£ se e somente se AT(Ax-b)=0 ;

x minimiza j]Ax —b s e e somente se A x = b R e jjAx —b = | | b N||! •

Um p r o b le m a de mínimos q ua dra do s é dito ser compatível se 0 res idual

ótimo ( b N) é zero , isso si g nific a exatamente que 0 vetor b esta^ no espaço
coluna de A. Caso s e ja b N 71 0 0 p r o b le m a é dito ser incompatível. P a ra

i lu s tra r essas p r o p r ie d a d e s con sid ere o seguinte exemplo:

S e ja

1 1 3
A= 1 0 b= 5
0 1 1

Um v eto r pertencente ao espaço coluna de A tem a forma

 37

1 1 c + c
1 2
1 0
c
L . 2J
0 1
L 2 J

p a ra qualq uer e s c a l a r c, , c2 .

Um v e to r pertencente ao espaço nul o de AT é dado por

1
^0 .^0 .'
o"
1 1 0 0
II

1 0 1
_d3_
[
0

sendo que d 2 =- d , e d3 = -dj . Assim para um e scalar c3 o vetor

pertencente ao e spaço nulo de AT será (c3 -c3 -c3)T . Como b = b R+ b N ,

entao

3 c + C
i 2 s
— +
5 c
i -C3
1
_ °2 _'C1
ou
1 1 1

1 0 -1

0 1 -1

cuja solução p a r a ct , c2 e c3 é : Cj = 4 ? c2 = 0 e c3 = -1. Assim os

componentes de b são: b R =(4 4 0)T e b N =(-1 1 1)T .

A so lu ção de Ax’ = b R , trará o ótimo r e s i d u a l V = b N =(-1 1 1)T de

modo que

1 1 4

1 0 4

0 1 0

resulta em
x* = (4 4) t
 38

3.3 SOLUÇÃO DE COMPRIMENTO MÍNIMO DO PROBLEMA DE

MÍNIMOS QUADRADOS LINEAR

Foi visto anteriormente que no sistema Ax=b incompatível, a solução

de mínimos quadrados é o b tid a a tra v és da6 equações normais de mínimos

qu adra dos, cuja uniciadade só se v e r i f i c a r á se A tiver posto completo, caso

co n tr á rio t e r - s e - a infinitas soluções.

O estudo desta secção t r a t a exatamente de quando A não tem posto

completo e busca escolher dentre as infinitas soluções existentes, aquela que

tem menor comprimento na norma-2.

O p ro b lem a pode ser formulado como:

Dado A e R mxa, b e R m , sendo posto(A)<n

m i n { | W l 2: IA x - b É ^ A x - b V x e R n} (3.18)
veR *

Uma vez formulado o p ro b lem a, se r á fornecido alguns conceitos para

f a c i l i t a r a compreensão da solução do mesmo.

3.3.1 P r o je çõ e s

D e fin iç ão : Se ja E um esp aço v e to r i a l , E ’ e E" dois subespaços

v e to r i a i s complementares em E e P a p r o j e ç ã o sobre E p a ra lelam e n te a E M. A

imagem por P de um ve to r b de E denomina-se p r o je ç ã o de b sobre E*

p ara lelam e n te a E " .

P a rtic ula rizando a definição geral acima para:

S e ja R “ = E , S=E* e S1 = E " , onde Sx pode ser melhor rep resen ta d o

p or
S1 = {t e R ” / t Ts= 0 V s e S).

Uma vez que S e Sx são com plementares em R m , então

 39

S + S1 = R m e S r\ S-»-={ }.
Qualquer ve to r b m-dimensional pode ser rep re senta do como b = b 8 +b j ,
,onde b g e S e b^ g S1 .

A p r o j e ç ã o P(nun) sobre S , denotado por Ps é a ú n ic a matriz que

possui as três seguintes prop rieda des.

i) Qualquer vetor do subespaço S pode ser esc rito como combinação

linear das colunas de P3 , isto é, b s e S se e somente se b s = Ps v, p a r a algum v

g R m;

ii) P.T= P S ( a matriz Ps é sim étrica);

•• • 2 •
m i ) Ps = P ( a matriz Ps é idempotente).

O signific ado d a projeção Ps conforme definição, diz que p a r a qualquer

vetor b m-dimensional, a a p licação Psb = b s e P5b5 = b5 eainda P5bs l =0.

A p r o j e ç ã o sobre o complemento ortogonal de S pode ser obtido

facilmente , fazendo
b = b „ + b sl b^ = b - b , , mas

( I - P 5)b = b - P 5b = b - b s = bjX , logo conclui-se que a matriz (I-P„) é a

pr o je ç ã o sobre S1 , a qual também cumpre com as três p r o p r i e d a d e s acima

descritas.

3.3.1.1 P r o je çõ e s rela cio n ad a s ao p r o b le m a de mínimos quadrados

Atravé s da secção (3 .2 .2.1 ) foi visto que x minimiza ||Ax-b|£ se e

somente se Ax = bR e V = b N , sendo b R o componente de b em 9Í (A) e b N o

componente de b em %(AT).

Em v i s t a disso, pode-s e dizer que existe uma p ro jeção P sobre o espaço

coluna SR(A) que pr oduz b R e uma p r o j e ç ã o ( I - P ) sobre x ( A T) que produz

*>*•
Tais p r o j e ç õ e s podem ser facilmente obtidas. Lembrando que
x =^A7AylA Tb e Ax* = b R , então:
 40

P*(A) = A(A tA ) 'A t e

P>r(A,) = I - A ( A tA) ‘A t , assim

= ^R > f» (A )K = ^R e =

3.3.2 Inversas g e n e r a liz a d a s e p se u do-inversa

De fine-se B como sendo a inversa de uma matriz qua dra da A quando

AB=I=BA, onde B é de notada por A'1.

Existem v á r i a s condições equivalentes p a ra a ex istê n cia de A'1 , uma

delas é que det(A)*0.

Quando A é q u a d ra d a com det(A)=0, ou A é retangular, a definição

usual acima de in versa não pode mais ser usada, dando lugar a um novo

conceito de in versa, as chamadas inv ersas g e n e r a liz a d a s .

Usando uma in versa g e n eralizada G, o sist em a Ax=b pode ser

representado explicitam ente por x=Gb mesmo quando não existe a inversa

ordinaria A'1. A i n v e r s a g e n eraliza da G não é única, existindo, dependendo

de suas p r o p r i e d a d e s denominações como: inv ersa a esquerda, inversa a

d ireta e outras v e r GEMAEL (1977).

Em p a r t i c u l a r existe uma inversa g e n e r a l i z a d a capaz de r es o lv er o

problema (3.18). E sta é única, sendo também a ú n ic a que satisfaz totas as

condições de Penrose (LAWSON e HANSON 1974)

i) AGA=A ;

ii) GAG=G ;
iii) (AG)T= AG ;

iv) (GA)t = GA ;

é denotada p or A + e conhecid a p or pse udo-inversa . Assim a solução de (3.18)

pode ser r ep re se n ta d o por

x = A"T>
 41

3.3.3 Interpretação ge om é tric a da solução de comprimento minimo e

p r o p r i e d a d e s da pse u do -in v ersa .

Um dos caminhos p a r a entender o efeito da p s e u d o - i n v e r s a é através da

geometria, o qual se rá visto a seguir.
Lembrando que x e R° pode se r eBcrito como x = xR+xN ,onde xR é o

componente de x em 9 t ( A T) e xN o componente de x em * (A ).

Conside rando a solução de comprimento .mínimo como x' = x R+xlí e

sendo 9 t ( A T) e x ( A ) complementos or togonais, o teorem a de pitá gora s pode

ser aplicado usando da norma-2. Assim,

Donde conclui-se facilmente que a solução de comprimento mínimo

(min I x ^ ), equivale em tornar igual a zero o componente a rbitrário do

espaço nulo de A. D e sta feita, a p r o j e ç ã o P*(A)b = b R = Ax* , fornece resíduo

mínimo ( bN ) e Ax’ = b R o A(xR+xJ,)=bR , tem solução de

comprimento mínimo quando AxR= b R , donde xR = A*bR.

Esse é exatamente o efeito da p se u d o - i n v e r s a quando se escreve

x’ = A*b, ou mais claramente, sua a p li c a ç ã o em b corresp on d e ao efeito

conjunto de p r o j e t a r b em 9t(A) obtendo b R (fornece o resíduo mínimo),

depois buBca o componente de x que esta inteiramente em 9 t ( A T)

desprezando a p a r t e a r b i t r á r i a de x* em x ( A ) , fornecendo assim a solução de

comprimento mínimo x*. STRANG ( 1 97 6 ) faz uma ilustração p a r a essa

interpretação.
A p s e u d o - i n v e r s a tem váriaB p r o p r i e d a d e s importantes, algumas delas

são listadas abaixo:

i) Se A(nv>) então A^.m) , A+ quando a p lica d a a um vetor b € R “

produz um x € R";
 42

ii) 0 espaço coluna de A + é o espaço linha de A, e o espaç o linha de

A+ é o espaço coluna de A, im plicando ser p ost o(A)=posto( A+);

iii) A p se u d o - in v e r sa de A+ é a p r ó p r i a A;

iv) Em geral AA+* I , uma vez que A pode não ter a Ad(inversa a
d ireita ), mas AA+ é sempre a p r o j e ç ã o PK(A) ;

v) (ATr = ( A T ;

vi) Se A e R nxn e p o sto(A )= n então A+ = A‘‘.

3.3.4 Determinação da p s e u d o - i n v e r s a através da de com posição de valor

singular

Existem vários caminhos p a r a determinar a p se u d o -in v ersa , em geral

através de decomposições e em p a r t i c u l a r com quase unanimidade entre os

autores, através da decom posição de v a lo r singular (SVD), a qual será

d e s c r i t a a seguir.

Definição: Seja A e R raxn e k=min{m,n}. A d eco m p o sição de valor

singular de A é A=UDVT, onde U 6 R mxra e V € R nxn são matrizes

or togonais, D e R m,n é d e fin id a por d11 = cri ^ 0 , i = l , . . . , k , 0^ = 0, i*j. As

quantidades <7„...,<Th são chamados v a lo r e s singulares de A.

P r o p o s iç ã o 1: Se ja A e R mxn. Então a SVD de A existe, os

elementos diagonal o[ de D são as raizes quadradas não-n egativas dos

au to valo res de AAT se m^n, ou de ATA se m>n , e as colunas de U e V são os

autovetores de AAT e ATA, respectiv am ente. O número de v a lo r e s singulares

não-nulos é posto(A).

Prova: A p rova da e x is tê n cia da SVD de A pode ser enco ntrad a em

(LAWSON e HANSON 1974). O res tante segue; uma vez que AAT = UDDTUT e
 43

At A = VD tDV t tem-se (AAT)U = U(DDT) , (ATA)V = V(DTD). Assim, se Uj e Vj são

respec tiv a m e n te as j-és im as colunas de U e V , então:

( A A T)Uj=/lj Uj , j = l , . . . , m ;

(ATA)Vj=^ Vj , j = l , . . . , n ,

onde os X}3 são os elementos da diagonal de DDT e DTD , Xj =(<Tj)2 ,

j = l ,. ..,m in { m ,n } ; e X- = 0, j=min{m,n} + l ,. . ., m a x { m , n ) . Assim a multiplicação

por uma matriz não-sigular não muda o posto, posto(A )= p o sto (D ), o número
de <jis nã o-nulos.

P r o p o s i ç ã o 2. Seja A e R raxn com SVD A = UDVT, com U,D,V como

d e fin id a acima. S e j a a p se u do -inv ersa de A d e fi n i d a como

A+ = VD^Ü7 , com

1/ 0 ~ i, i> 0

D += S / d: i= 0
cC = 0

D+ e R nxw . Então a única solução p a ra o p r o b le m a (3.18) é x= A*!).

Prova: A p a r t i r de A = UDVT o p r o b l e m a (3.18) é equivalente a

m in l |v H 1 !D v T * - ' u H í DVTx - U Tb| V x e R ”} (3.19)

xeK Í2

fazendo z = V Tx vem

D z - U Tb Vz e R n}. (3.20)
k K‘

Seja k o número de cr^ não-nulos em D. então

| D z - U Tb f = £(<7lZ,-(U Tb),)!+ f((W>)i)' ( 3.2 1)

M i-h + l
 44

0 qual é minimizado p or algum z tal que ^ =(UTb)Jeri , i = l , . . . , k . Dentre

todos z, Hzljj é minimizado p a r a aquele no qual z {=0 , i= k+l,...,ra , como

z = D +U +b é x=Vz , então, x = VD+UTb , logo x = A l o .

Esta p r o p o siç ã o , além de m ostrar uma maneira p a r a obter a pseudo-

inverBa, Berve p a ra d e m osntrar que através dela o problema (3.18) é

so lucio nado o que até aqui bó se tinha afirmado.

3.4 O PROBLEMA DE M ÍN IM OS QUADRADOS COM PONDERAÇÃO

Nas ciências o b s e r v a c i o n a i s a pondera ção é muito comun, uma vez que

tais pesos podem ser obtidos a tra v és da p r ó p r i a p rec isã o dos instrumentos de

m edidas utiliza dos, o que evidentemente traz maior confiança ao trabalho que

e stá sendo realizad o. Porém, como este trabalho não b usc a lig ação direta com

a t e o r i a das o b se rv aç ões, o p r o b l e m a é somente tratado quanto a solução.

3.4.1 Tratamento do p rob lem a

O p rob lem a de mínimos qu adra dos ponde rado pode se r tratad o por dois

cominhos diferentes; um de le s é p o n d e ra r todas as equações e p ro ce d er da

m an eir a usual. O outro é m inim izar o comprimento do r e s íd u o segundo uma

de terminada norma ( d e r i v a d a a p a rt i r da norma-2).

Por ser mais usual o p r im e ir o caso, se r á iniciado p or ele.

Considere o sistema Ax=b definido como:

Cuja solução x « ( A TA ) l ATb, é a m éd ia aritmética dos elementos de b ,

assim
 Mu ltip lican d o ambos os lados de (3.22) por um e s c a l a r diferente de

zero, w, o que c o rresponde que todas as equações tiveram a mesma

po ndera ção, logo (3.22) f icará:

T b11"
1— 1
1___ 1

w 1 b2
h

(3.24)
1 _b 3_

donde com uma sim p lificação de w, v o lta r ia - se novamente em (3.22) tendo

como solução (3.23).

Isto serve p a r a m ostrar que se todas as equações forem ponderadas

igualmente, a solução não so f r e r á mudança.

Uma man eira geral de v e r isso é e sc r e v e r (3.24) na forma

w 0 0
o
O
£

b
1
0 w 0 0 w 0 b ou
2
0 0 w b
o
o

_ 3_
1

1 0 0 1 0 0 b1
w 0 1 0 X = w 0 1 0 b2 ( 3 .2 5)
0 0 1 0 0 1
Lb».

que sim plificand o r es u lta

b1
(3.26)
L b 3.

que é o sistema original.

 46

Suponha agora que cada equação em (3.22) seja p o n d e ra d a

diferentemente, ou seja:

w 1 wl b i
1 1 1
w vçb,
2
W H -
_ 1

cuja solução se r á

(3.28)

que é a média po ndera da, onde os pesos são os w^2. A solução x w, neste caso

se ria maior influ enciada pelo maior dos \vf3, resulta ndo um va lo r diferente
para x w daquele obtido em (3.23).

Uma forma mais comun de e s c r e v e r (3.27) é

w 0 0 1 w 0 0 b
i 1
0 w 0 1 0 w 0 b2 (3.29)
X
II

2 2
*

1___

0 0 w. 1 0 0 w „
L_ aJ

a qual não pode se r sim plificada como no caso anterior.

Tanto (3 .25 ) como (3.29) podem ser rep re se n ta d a s numa form a

c ompactada como:

WAx=Wb (3.30)

Generalizan do o problem a usando as dimensões, (3.30) seria

dimensionada, onde:

W e R ”“”, A € R mxn, x e R n, b e R m.

Suponha se r A quadrada e nã o-sin gu la r, então (3.30) terá como solução

xw= ( W A ) ‘Wb = A 1b. (3.31)

 47

Uma vez que W é Bempre qua dra da e in versiv el, tal pon d e ra çã o não

m udaria em nada a soluç ão, mesmo sendo diferentes os v a l o r e s da diagonal

de W; infelizmente esse não é o caso geral. No caso geral, A é retangular com

mais linhas que colunas e não po ss ui a inversa o r d i n á r i a A'1, mas sim a

pse u d o -in v ersa A+, logo

xw=(WA)+Wb (3.3 2)

é a Bolução de (3.30).
Olhando p a r a (3 .32), porque não fazer (WA)+= A +W + e como W é

inv ersive l a Bolução de (3.30) f i c a r i a

xw = A+b (3.33)

e a ponde ração novamente não inf lu e n c ia ria na solução.

Acontece que ÍBto não é v e rd a d e e pode ser visto quando se compara

(3.23) e (3.28). O que de fato oc orre é que em geral ( W A ) V A +W + como

ficou demonstrado acima, po is x ^ x , quando w ^ w ^ j .

P a r a fechar esBecaminho, p o d e -s e ge neralizar ain da mais o problema.

Considere W em (3.31) s im étr ica , onde os elementos f o r a da diagonal

r eprese ntam o grau de d e p en d ê n cia entre as equações.

J á foi visto anteriormente que em qualquer s iste m a inconsistente

b < W(A) e a solução é o b t id a r e s o lv e n d o p a ra x o sistema:

AtAx = ATb . (3.34)

P a r a o caso do sistema (3 .3 1 ) , se Wb £ W(WA) , a so lu ção se r á obtida

p e lo mesmo caminho e p o d e r á se r t i r a d a a pa rtir do sistema

ATWTWAxw= ATWTWb. (3.35)

Denominado o produto W TW p or P, tem-se

 48

ATPA x w = ATPb (3.36)

a qual r e p r e s e n ta as equações norm ais de minimos quadrado s com

ponderação.

— O segundo caminho p a ra tratar do p rob lem a de mínimos quadrados

com p o n d e ra ç ã o é uBar uma nova definição p a ra o comprimento do vetor

residual.

Se ja W e R “*1“ uma matriz n ã o -s in g u la r e v um ve to r m-dimensional.

Denotando p o r x o produto de W por v tem-se

x=Wv.

O comprimento euclidiano de x é obtido fazendo

fx]^ = v/< x,x> = V< Wv,Wv > . (3.37)

C on side re agora uma nova norma p a r a vetores denotada p or |]-j e

d efinida como

IM l= V < w v ,w v > . (3.38)

D a mes ma forma, podemos definir um novo produto interno, ou seja:

<x,y >w=< W x,W y> (3.39)

onde: x e y r ep resen ta m vetores quais quer de iguais dimensões.

E sc re v e n d o novamente (3.38) atr av és do novo produto interno tem-se

(3.40)

sendo que a nova norma obedece as mesmas três cond ições das demais
0 IHL >0 , v x * 0 ;

]i)
 49

m IM L ^ IW U W l-
D e sta m a n e ir a fica g e n eralizado o p r o b le m a de mínimos quadrados

linear, podend o a gora ser formulado como:

m in I M t = m i n l l Ax- b Ê = m in < v >v > w ■ (3.41)

icE1

R ele m bra nd o que a p e rp e n d i c u l a r i d a d e de dois veto res acontece quando

o produto interno deles é nulo, então x e y são perp e n dicu lare s quando
< x , y > w= 0

Voltando ao pro b lem a original de mínimos quadrados. Lá tinha-se que o

ótimo r e s id u a l acontece quando b é p r o je ta d o ortogonalmente no espaço

coluna de A. Aqui se rá o mesmo só que o comprimento do resíduo deve ser

medido p or uma no v a e s c a l a ( |j’ Jw ) e a p e r p e n d i c u l a r i d a d e por um novo

produto interno ( < • , • > * ) .

Denotando p or pw=Axw a p ro jeção ortogonal de b em 91 (A) medida por

< ■ » • > „ , q ualq uer ve to r Ay e 91 (A) deve ser p e r p e n d i c u l a r a b-Axw . Assim

< Ay,b - Axw >w= 0 ou

(WAy)T(Wb - WAxw) = 0 e

yT(ATW TWb - A tW tWAxw)= 0 V y * 0, im p lica que

A TW TWb = A tW tWAxw , denotando W TW - P , r e s u l ta

A TPAxw= A fPb (3.42)

que é a mesma equação normal obtida anteriormente.

Como o b s e r v a ç ã o final cabe dizer que a matriz P é conhecida nas

c iê n cias o b s e r v a c i o n a i s como matriz dos p e so s, a qual corresponde a inversa

da matriz de c o v a r i â n c ia das o b se rv aç õ es m u lt i p li c a d a p e la v a riâ n c ia da

unidade de peso.
 50

4. ANÁL ISE DO CONDICIONAMENTO DO PROBLEMA DE

M ÍN IM O S Q U A D R A D O S

O problem a do mal-co ndicio namento é um p r o b l e m a crucial da

matemática aplicada. O corre tanto p a ra sistemas l in e a r e s quanto para

sistemas n ã o -linerares, principalm ente devido a limitações da p r e c i s ã o , seja

dos meios de formação do si stema, s e j a dos meios de obtenção da solução.

Por exemplo: se os dados para o sistema forem c olhid os através de

o bse rvaç õ es, haverá lim itação na p r ec isã o dos equipamentos e na acuidade

visual do operador. Se não o c o r r e r tal problema neste estágio, ele poderá

surgir na solução do sistem a (formado a partir de um determ inado modelo),

uma vez que c alcu lad ora s e computadores tem lim ita ção de precisão

numérica.

Neste trabalho foi d e sp r ez ad o o fato dos dados se rem obtidos através

de observações. No entanto, f i c a a in d a a parte concernente a limita ção de

p r e c i s ã o dos computadores.

P a r a analis ar o condicionam ento do p rob lem a de mínimos quadrados, é

vantagem primeiro a n a l is a r o condicionamento de sitem as de equações

lin e are s consistentes p a r a id e n t i f i c a r as diferenças com o p r o b l e m a de

mínimos quadrados.

4.1 ANÁLISE DO CONDICIONAMENTO DE SISTEMAS DE EQUAÇÕES

LINEARES CONSISTENTES.

A análise p a ra o condicio nam ento de sistemas lin eares s e r á d i v id id a

 51

em duas p a rte s; a p r i m e ir a p a ra quando A é não-singular e a segunda p a r a

quando A é retangular.

4.1.1 Sistema consistente com matriz in v ers ív e l

S e j a o sistem a

Ax=b (4.1)

onde :

A e R” 1

x,b e R"

e post o(A)=n , então a solução pode se r e s c r i t a como:

x = A"*b (4.2)

ou através do determinante e adjunta, como:

_ _ Adj(A)
x- n ^ r ( >
Em (4 .3 ), p o r imposição de que po sto(A )= n , im p lica que |Aj*0 ou que
Ãi * 0 , i = l , . . . , n .

Por d e finição, quando |A|=0, s ig n if ic a que a matriz A é singular e que x

tem infinitas so luções ou que o siste m a é incompatível. Geométricamente

falando; Suponha primeiramente o sistem a de duas equações a duas

incógnitas, então as retas formadas no plano a p a rt ir das equações se

so breporia m p a r a o caso indeterminado ou se riam p a r a l e l a s p a r a o caso

incompatível.

Suponha a g ora ser o sistema form ado por três equações e três

incógnitas, uma equação linear em duas v a r i a v e i s rep r e se n ta um plano no R 3.

P a ra o caso indeterminado, os três p lano s se in te rce ptariam através de uma

linha comum e qua lque r ponto d e ssa linha s e r i a solução p a r a o sistema. Para

o caso in co m patível, qualquer dois p lan os se in te rce ptariam ao longo de uma

linha p a r a l e l a a linha de interseção com qualq uer outros dois planos e desta
 52

forma não h a v e r ia nenhum ponto em comum para os três planos

simultaneamente.

Suponha agora que |A| s e j a próximo de zero e imagine que isso

si gn ific a ser as linhas ou colunas de A quase linearmente dependentes. Se

fosse penssa do nas duas retas, essas se riam quase p a r a l e l a s havendo assim

uma di ficuld ade muito grande em de termina r o ponto de interse ção das duas

retas e qualquer erro de arredondamento na busca da solução do sistema

t r a r i a consequências na determinação exata d e s t a interseção.

Olhando por esse lado, a n a lis a r se um sistem a merece ou não confiança

s e r i a muito simples, ou seja, se o determinante é próximo de zero a solução

do sist ema não é confiável.

Relembrando que o determinante de uma matriz q u a d ra d a triangular ou

de uma matriz esca lar é dado pelo produto dos elementos de sua diagonal

p ri n c i p a l ( p a r a este caso são seus au to v a lo re s). F aça, então o seguinte

r ac io cín io ; suponha uma matriz q u a d ra d a e s c a l a r onde os seus elementos da

diagonal são: a^ = 1(T10 V i=j , o det(A)=10'10n que é praticamente zero e o

menor auto valo r é A ^ I O 10 .

Através d e ssa simples análise é p o s s ív e l afirmar que este sistema não

merece confiança? Se a r e s p o s t a for sim, experimente m u lt ipli c ar todas as

equações por uma constante IO10, o c o r r e r i a que a matriz dos coeficientes das

incógnitas se t o rnaria identidade. Sa b e -se da á lgebra lin ear que a matriz

identidade forma a base canônica do e spaço que g e ra sendo portando

perfeitamente c ondic io nada (todas as linhas e colunas ortogonais umas com as

outras). D e sta forma uma sim ples ad eq u ação de e sc a la t o r n a r i a um sistema

m al-condicio nado (a solução não merece confiança) em um sistema

perfeitamente condicionado.

Em resumo; to da e ssa di sc ução foi no sentido de m ostrar que nem o

determinante e nem o menor a u to v a lo r são bons indicadores do

condicionamento de um sistema de equ ações lin eares.

 53

Uma definição um tanto g r o s s e i r a p a r a o condicionamento de um

sistema pode ser enunciada como:

Um sistema de equações lin e a re s é dito ser m al-co nd ic io n a d o se

"pequenas" va ria çõ e s nos elementos do termo independente ou nos elementos

da matriz dos coeficientes, g e ra r uma " grande" v a ria ç ã o na solução

c om parada com a solução não p ertubada. O sistema é dito ser bem-

condic io nado se essas v a ria ç õ e s não p ro v o ca rem d isc r e p â n c ia s significativas

entre as soluções.

4.1.1.1 V aria ção no termo independente.

Fazendo uma variação no termo independente de 5b, o sitema Ax=b

pode ser escrito como :

A ( x + 5 x ) ís(b+5 b) (4.4)
operando vem

Ax+A5x=b+5b

subtraindo b de Ax re sulta

(4.5)
D e se ja - se sãber qual é o v a lo r máximo que o erro rela tiv o da solução
||<3x|j/|jxj pode alcançar. Para conhecer isso , ||<íx|| deve ser tanto maior quanto

p ossiv e l.
P a r a ||áx|| ser máximo b a s t a a p l i c a r em (4.5) uma norma compatível

(tendo em mente a definição de norma, e q .(2 .8 )), ou seja

(4.6)

e p a r a |jx|| mínimo

INI* M M (4.7)

donde
 54

H 2 iiA i r (48)

De (4.6 ) e (4 .8) res ulta

■ «•»)

4.1.1.2 V a ria çã o na matriz dos co eficiente s das incógnitas

P a r a uma v a r i a ç ã o em A de 5A sem mudar o p osto(A ), Ax=b torna-se

(A+5 A ) ( x + 5 x ) = b (4.10)

Ax+Afi x+5 A(x+5 x)=b (4.11)

subtraindo Ax de b tem-se:

Afix+5 A(x+fix )=0 (4.12)

onde

Á. = - A ' 1áA(x + ác) , assim p a ra qualq uer norm a subordinada

jl&l^ljA^IJlIáAjllx+dxJ e

x+
U r iA " l i A | 1 '

m ultiplicando e div id in d o o segundo membro p or IlAll re s u l ta

||x+<fc|| 1 11 |A
Chamando jjA'1jjjjA| = C(A), então (4.9) e (4.13 ) tornam-se:

Z C (A ? L - J (4.1 4)
M N

áxii m
11 á C ( 4 ) i —i . (4.15)
fx+âtj ||A j|

A quantidade ”C(A)" é chamada n ú m e r o de c o n d iç ã o de A e fornece a

máxima am p liaç ão que o erro r elativ o da solução pode sofrer baseado na

mudança r e l a t i v a do vetor b ou da matriz A.
 55

O v a lo r do número de condição C(A) vai depender da norma utilizada,

mas p e la e q uiv alê n cia na magnitude das normas, os v a lo r e s entre os números

de condições são comparáveis. Existe também certas denominações p a ra o

número de condição dependendo da norma utilizada, ver LUGNANI (1975).

Facilmente pode se r demosntrado que o número de cond ição C(A) é

maior ou igual a unidade, po is p a r a qualquer norma de matriz subord inada a

matriz I tem norma igual a 1. De fato, como I = A ' ]A e p a r a uma norma

consistente | A‘' a J j||A|| , logo C ( A ) £ l .

Em v ista de que a matriz I é perfeitamente b e m -c o n d ic io n ad a e seu

número de condição C(I)=1 , pode-s e por analogia de duzir que toda matriz

b e m -c o nd ic ion ad a possui o número de condição próximo da unidade.

Observando (4.14) e (4 .1 5 ), pod e -s e tir a r duas importântes conclusões,

quais são:

a) Se for conhecido o número de condição da matriz A p o d e -s e saber qual

se rá o limite superior que o erro r e la tiv o vai alcançar em função da variação

r e l a t i v a em A ou em b.

b) Pod e -se num sistema e s t ip u l a r qual se rá o valo r mínimo que o número

de condição da matriz A pode ter, a p a rtir do erro re l a ti v o e da variação

r e l a t i v a na matriá A ou veto r b.

Uma outra forma de i d en tific ar se a matriz é m a l- c o n d ic io n a d a é

v e r i f i c a r se p a r a x d ife r e n te s m as de mesmo c o m p rim e n to , o comprimento do

ve to r Ax v a r i a "dramaticamente". Se essas variações forem "dramaticamente

diferentes" então a matriz A é m al-co nd icio n ad a. Se a matriz dos coeficientes

das incónitas de um sistema de equações lineares é m al-co n d ic io n a d a, então o

sistem a é dito ser m al-condicio nado.

4.1.2 Caso geral do condiciona mento de sistemas consistentes

S e j a o sistema
 56

Ax=b (4.16)

onde

À 6 R mxn } com po sto ( A ) £ n ;

x e R n;

b e R m , com b e 91 (A).

Este p r o b l e m a só difere do p ro b l e m a de mínimos q ua dra dos p or se r b

e 91 (A) e uma r á p i d a olhada em seu condicionamento não p o d e r i a p a s s a r em

branco, j á que é o passo antecedente a análise do p r o b le m a de mínimos

quadrados.

Uma vez que p o s t o ( A ) á n , a solução de comprimento mínimo de (4.16)

será:

x* = (4.17)

onde: A+ é a p s e u d o - in v e r sa de A.

4.1.2.1 Variação do termo independente

Considere 2b um vetor m-dimensional de pertubação do veto r b.

Suponha que b+Sb mantenha a c o m p a tibilid a d e de (4.16) , então o novo

sist ema s e r á

A(x+fix)=b+Sb (4.18)

subtraindo Ax de b re sulta

<&.= A +<5b (4.19)

Considerando as desig u ald ad es

(4.20)

e
( 4 .2 1 )

com uma sim ples combinação r e s u l t a

 Que é o mesmo resultado obtido na se cç ão an te rio r só que agora a

solução é a de comprimento mínimo (ob viamente se A tem posto completo a

solução é única) e o número de condição é obtido com auxilio da pseudo-

inversa.

4.1.2.2 Pe rtub aç ão na matriz A

Suponha ser SA uma matriz com mesma dimensão de A e que A+5A

tenha o mesmo esp aço coluna de A. Então o novo sistema se rá

(A+2 A)(x+ 5 x)=b (4.24)

de maneira que

5 A f ix - b => <5k=á\.V (4 25)

Um procedimento análogo ao da secção an te rio r conduz a

11 á C ( A ) L f (4.26)
jx* + &|

sendo x* a solução de comprimento mínimo e C(A)= |A+J||A|| .

As in te rp retaç õ e s de tais condições são idênt icas ao da secção (4.1.1),

apenas com a o b s e r v a ç ã o de que um sist ema pode ser m al-condicionado pa ra

quando posto(A)=k mas pode não ser quando p o s t o ( A ) = k - l .

 58

4.2 ANÁLISE DO CONDIC IONAMENTO DO PROBLEMA DE MÍNIMOS

QUADRADOS LINEAR

Foi visto acima v á r i a s m an e ira s p a r a iden tificar se um sistem a de

equações lineares consistente é m al-co nd icio n ad o ou não. Primeiramente

a tr av és das v ariaçõ es na matriz dos co eficien te s das incógnitas e no veto r de

termos independentes, depois a tr a v é s da magnitude do número de condição da

matriz dos coeficientes das incógnitas e por último através da a p li c a ç ã o de A

à v e to r e s diferentes de mesmo comprimento.

O pro blem a de minimos q u a d ra d o s é um pouco mais complexo de ser

a n a l is a d o , pois tanto as p e rt u b a ç õ e s quanto o número de c o ndiç ão deixam

falhas ( a não ser que s e ja form ado o siste m a de equações normais).

Quando se ut iliza o sistema compativel formado p e la s equações

no rm ais p a r a reso lver o p r o b l e m a , o condicionamento f i c a na ordem do

quadra do com relaçõ es ao s iste m a original.

A seguir se rá visto d e ta lh e s de tais afirmações.

4.2.1 Sistemas de equações norm ais

J á se sabe que qualq uer so lu ç ão do p ro blem a de mínimos quad rad os

é também solução do sistema de e q u aç õ es normais

ATAx = ATb (4.2 7)

sendo este sempre compatível (o v e to r ATb e 9 l ( A TA)).

A análise p a ra ver o condic io nam ento j á foi feita no c apitu lo anterior,

b a s t a encontrar o número de co n diç ão C(A TA), se este for e le vado com

relação a unidade é quase certo o mal-condicionamento do sistema de

e qu aç ões normais.
 59

O que deve ser mostrado agora é a desvantagem em se r e s o l v e r o

p ro b lem a através das equações normais quando comparado com os métodos

que reso lv em o p r o b le m a diretamente do sistem a original.

4.2.1.1. O condicionamento quadrado das equações normais

O número de condição de uma matriz A é definido como

C(A)= |A-‘J|A| (4.28)

p a ra uma norma consistente tem-se

!ATA | k | |A T||||A , logo

c (a ta )= ||(a ta )‘1||| a ta I í | a -1 H^a 1)"1||| a t | | a ||= c (a )1 (4.2?)

C(AtA)^C(A)2. (4.30)

E xemp lo :

Seja a matriz A definida como

1 1
1 1.00001

1 1.00001

usando três digitos sig nificativos, os v a lo r e s si ngulares de A serão

<7j = 2,45 e <y, = 5.77.10"6, a norma e u c l id i a n a será

J|A||2— 2,45 e o número de condição se rá

C(A)= —- = 433102.25.
<72

A matriz A TA arr e do n dad a na quinta c asa decimal se rá

 60

3 3.00002
AT A =
3.00002 3.00004

seus valre8 singulares (au to va lore s nesse caso) serão

= 6,00 e a 2 = 3,33.10'11

sua norma e u c lid ia n a se rá

A ta |, =6,00 e o número de condição se rá

C(ATA)=-^- = 1,80.10“.
<r2

No exemplo a cim a mostrou-se através da norma-2 que o número de

condição de ATA é aproximadamente o quadrado do número de condição de

A.

Se o sistem a original fosse compatível, a análise através da

s e cç ão (4 .1 ) mostra que se este fosse moderadamente mal-condiciona do a

formação das equações normais o deixariam terri velm en te mal-condicionado.

Esse é o p ri n c i p a l motivo de se evitar r e s o l v e r o p ro b lem a de mínimos

quadrados através da equações normais quando não se tem certeza do

condicionamento do sistem a a-priori.

O mesmo exemplo pode ser usado p a ra mostrar a p e r d a de informação

p e la formação do produto ATA.

Através dos v a lo r e s singulares de A po de -se ver que A tem posto

completo em se utilizando um computador que tenha unidade de

arredondamento u = IO"8, mas a matriz ATA com e ssa p r e c i s ã o é sigular, para

comprovar basta olhar p a ra seu menor v a lo r singular. Uma outra forma de

checar é c alcular seu determinante que se rá zero, pois o valo r exato na

posição (2,2) é 3 ,0 0 0 0 40 0 00 2 u ltrapassando a p r e c i s ã o u.

 61

A seguir será feita uma te n t a t i v a em fixar um va lo r p a ra o número de

condição de A p a ra r e s o l v e r com segurança o p ro b lem a de mínimos

quadrados através das equações normais.

Supondo primeiramente se r a unidade de arreondamento do computador

u, con si derando o número de con d iç ão na norma-2, então

C(A)= —— , donde quando crmin -> 0 => C(A) -> oo

^min
e A —» posto deficiente (o símbolo —►p a r a esse caso lê-se " tende para").

O número de condição de ATA é

C(ATA)= (4.31)
^rair ^min
A singularidade de ATA vai se r afetada somente p e l a pequenez de

e p a r a ser reconhecida a n ã o -s in g u la r id a d e deve ocorrer que >u. Sendo

assim, deve-se ter

C(ATA ) < - (4.3 2)

u
e p a ra o pro b lem a original

C(A)<-L (4.33)
vu
P a r a o exemplo anterior onde C(A)=433 102,25 só p o d e r á ser r e s o l v id o

através das aquações normais se for utiliza d o um computador com unidade de

arredondamento u = 1012, pois (4 .3 3 ) f i c a r i a 433102,25<1 000 000.

4 .2.2 Análise do condic io nam ento do problema geral

Foi visto acima que quando o p r o b l e m a de mínimos quadra dos é tratado

através das equações normais a a n ális e pode ser feita com base no número de

condição de ATA que se rá sempre da ordem do quadrado do número de

 62

condição A, isto sugere usar os métodos baseados em decompo sição

ortogonal, como o QR e o SVD. Suponha ain da que mesmo usando tais

métodos d e se ja -se conhecer o comportamento do problema, então, qual tipo

de análise deve-se proceder p a ra dete ctar se existe ou não o mal-

condicionamento do problem a? É exatamente esta análise que se rá

apre se ntada n e ssa secção.

A parte introd utória p a ra tal análise já foi anunciada quando

caracterizo u-se o ótimo r esid ual, secção (3.2.2.1). Lá foi visto que

dependendo da direção que o vetor de pertubação, 5b, tomar, ou ocorre

variação só na solução ou só no residuo. Aqui s e r á dada continuidade nessa

análise com mais detalhes e incluindo o tratamento do pro blem a de

comprimento mínimo.

O p r o b le m a de mínimos quadrados formulado em (3.18) é:

Se ja

Ax=b (4.34)

onde

A 6 R m*n , com posto(A)£n e m>n;

b e R ” , com b « 93 (A) ;

x e Rn ;
cujo objetivo é

/ w w < H :HA x - b É á A x - b V x e R n).

xeR*

Vale r e l e m b r a r a cara cterização de ótimo p a r a esse problema, que é

x = A 4!» , ou em termos dos componentes

**»=•>„ ; *„=0; v = b„. (4.35)

N o t a : xR e xN são os componentes de x em 93 ( A T) e x( A ) respectivamente

e b R e b N são os componetes de b em 93(A) e x ( A T) respectivamente.

 63

O problem a pode ser tratad o de v á r i a s formas: A n a lis ar de uma só vez

as consequências das p ertu baçõ es em A e em b com a ltera çã o do posto(A), ou

sem alteração do posto(A), ou ain da com pertubação em b sem pe rtubação em

A ou sem pertubação em b com p ertu bação em A, enfim como for

conveniente.

Achou-se conveniente tratar c a d a caso separadamente e mantendo o

p osto(A ) sem mudança. Quando o tratamento envolve muitos efeitos de uma só

vez, f i c a complicado uma i n te rp retaç ã o de man eira que é p refe riv e l uma

análise mais simples com inte rpretação.

4.2.2.1 Pertubação do termo independente

O p ro blem a (4.34) pertubado f i c a r á

A(x+5x)-b+5b. (4.36)

Considerando os componentes de b e Sb em 9t(A) e x ( A T) e os

componentes de x em 9 t ( A T) e x ( A ) , tem-se

(xR+ x N)f(<iR + <iN)= A (bR + b N)+A (á»R + A N) (4.37)

da c arac teriza çã o de ótimo obtém-se

= 0 ; x R - A*b R + A ^ n (4.38)

= 0 ; & R = A+<5bR + A +dbN. (4.39)

Por ser fl(A+)= >^AT), i m p lic a

xR —A 1b R e & R —At. db R. (4.40)

Usando uma norma compatível em (4 .4 0 ) e (4.35) obtém-se

II&rN aI IM e (4.41)

(4.42)

sendo ||bR||í 0 , ambas podem ser combinadas fornecendo

 64

(4.43)

onde:

O efeito da pertubaçâo ob no res id u al será

V +5V»A(x+8x)-(b+5b) (4.44)

como
Ax = b g V = bN e

5V=A5x-5b => A<5x*=dbR e <5V=<ibM. (4.45)

Analisando (4.4 3) e (4 .4 4 ) p o d e - s e ver que o número de condição da

matriz A, causa efeito somente no erro r elativ o da solução, isso ainda se o

veto r de pertubaçâo tive r componete no espaço coluna de A. Se 6b estiver

inteiramente em x ( A T), a solução não s o f r e r á variação. T a i s v a r i a ç õ e s serão

a ssim iladas somente pelo res id u al (v er teste 04).

4.2.2.2 Pertubaçâo na matriz A

Suponha ser 6A uma matriz de mesma dimensão de A e que A+8A

mantém o posto de A. Assim (4.3 4) pode ser escrito como:

(A+5 A ) ( x + 8 x ) BSb. (4.46 )

Como agora o sistema é incom patível pois b <t 9t(A), deve-se

p e rm itir ocorrer v a ria ç õ e s no e spaço coluna de A e no esp aço nulo de AT, de

forma que suas dimensões permaneç am as mesmas, uma vez que o posto é o

mesmo.

Suponha ser
(4.47)
 65

a m ed id a do efeito relativo da pertubação <54.p no espaço coluna de A e <SVN

no e spaço nulo de AT.

Se o componente b R de b for não-nulo demon stra-se que o erro r elativ o

da solução sa tis f a z (GILL et alii 1991)

H í 2 C ( A K + 4 C ( A ) !e * j j ^ + 0 ( 4 ) . (4.48)
f* II p r II

As qu an tid ades <SVR e em (4.47) são obtidas fazendo

á \ R = G Tá \ e SAV = K Tá \ (4.49)

onde:

G: é uma base ortonormal de 91 (A) ;

K: é uma base ortonormal de n (AT) ,

adiante se r á visto como se obtém tais b a se s a p a r t i r da SVD.

Do r e s i d u a l pertubado V + ÕV = b -(A + M.)(x* + ác) , resulta

||<5V|| ,
^ ^ "^2C(A)eN+ 0(6^,). (4.50)

A qua ntidade O(e^) em (4.48) e (4 .5 0 ) significa ter ordem de

magnitude igual ou possivelmente in ferior ao c orrespondente e^.

Olhando p a r a (4.48) e (4.50) p o d e - s e concluir, que se a matriz de

pertubação a fe tar somente o espaço c olu na de A, ou b não tiver componente

no espaço nulo de AT, então o condicionam ento quadrado não afeta oerro

r elativo d a so lu ç ão e o residual p e rm a n e c e r á inaltera do. Em compensação se

SA p e rt ub a r o espaço nulo de AT, o erro r e l a t i v o da solução passa a ser

ampliado pelo número de condição ao q u a d ra d o conforme mostra (4.48) e o

residual s o f r e r á alteração.
 66

4.3 A DECOMPOSIÇÃO DE VALOR SINGULAR E BASES PARA OS

SUBESPAÇOS FUNDAMENTAIS

Foi visto através das secções antecedentes a importân cia em se

conhecer a forma e a base p a r a os subespaços fundamentais. No capitulo 2foi

comentado alguns meios de se obter as bases p a r a tais subespaços mas nâo se

falou em b a ses ortonormais. A decomposição de v a lo r singular pro vid ên c ia

automaticamente tais bases. Aba ixo segue uma explanação de forma resumida.

Se ja

A^UDV7 (4.51)
onde
u («.m) ortonornial;
V(n_n) ortonornial;

D(mx) diagonal com v a lo r e s singulares a xV i=j.

observação: Se U ou V não e stiv erem norm alizadas pe lo algoritmo, pode-se

facilmente nor m aliza-las d i v id in d o cada elemento do v e to r coluna por seu
comprimento.

FIGURA 10 - BASES PA RA OS SUBESPAÇOS FUNDAMENTAIS

A PARTIR DA SVD

k m-k

U D
 67

Se posto(A)=k<n, então (4.53) tem a forma da fíg.10 e a interpretação é

c a r a c t e r i z a d a p e la s condições:

i) As colunas de U(bU) fornecem uma base ortonormal p a ra 91 (A);

ii) As coluna de U(nWB.k) formam uma base ortonormal p a r a ti (At );

iii) As colunas de V(lU) formam uma base ortonormal p a ra 91 (AT);

iv) As colunas de V(n>B_k) formam uma base ortonormal p a ra ti (A).

4.4 ESTIMAÇÃO DO POSTO DE UMA MATRIZ

Quando se f a l a que uma matriz tem posto=n, isto s ig n if ic a que existe n

linhas (ou colunas) linearmente independente na matriz o que

consequentemente é uin número inteiro. Supondo que ex is ta uma "quase

dependência" entre qualquer dessas linhas ou colunas, como f i c a r ia a

co n sid era çã o desse "quase", j á que o posto diz é ou não é, uma vez que é um

número inteiro.

Foi visto também que p a r a probl em as com posto deficiente o que

in te r e s s a é a solução de comprimento mínimo, ou melhor dizendo, se a

e sc o lh a do posto' estiv er e r r a d a as soluções podem se r completamente

diferentes daquelas esperadas.

4.4.1 D ificu ldade s na determinação do posto

A indagação acima só se constitui devido ao fato da p r e c i s ã o finita,

pois caso contrário qualquer informação por menor que fosse s e r i a de grande

importância. O que acontece é que não se sabe a origem d e ssa pequena

informação, sua causa pode ter oco rrid o devido a um arredondamento,

desp rezo de certas quantidades, ou mesmo serem v e rd a d e i r a s , ou ainda
 68

podendo se origin ar da incerteza de o b s e r v a ç õ e s se os dados assim fossem

obtidos.

O sim pie s exemplo abaixo pode e lu c id a r melhor isso.

Co nsidere

1 0 1
A = 0 1 1 «4.52)
1 1 2+g

se 5=0 a t e r c e i r a coluna é a soma das duas p r i m e ir a e posto(A)=2, mas se 5

for rela tiva m e n te pequeno, como fica o p o sto(A )? se os elementos de A

fossem c o le ta d o s de o b se rvaç õ es e essas tivess em p rec isã o menor que 5,

obviamente p o d e r i a - s e d esp rezar 5 e c o n s id e r a r post o(A)=2. 5 p o d e r i a ainda

ser pro v en ien te da soma das duas prim eiras colunas calculad as com pouca

precisão. Isto j á t r a r i a dificuldade na d ecisão do posto de A, pois f i c a r ia a

dúv ida se realmente aconteceu alguma im pre cisã o no cálculo ou se este

e sta r ia realmente correto.

4.4.2 A de co m p osiçã o de v a lo r singular na decisã o do posto

A d e co m po siçã o de v alo r singular é atualmente a técnic a mais segura

na determina çã o do posto de uma matriz, sendo utiliza d a para esse fim em

importantes pa co tes de análise numérica, como por exemplo: O MATLAB.

Já se sabe que o posto de uma matriz pode se r obtido pelo número de

valo re s singulare s nâ o-nu los fornecidos p e la SVD.

Suponha e xis tir um desses valo re s sing u lares relativamente pequeno

com r e l a ç ã o a unidade e discrepando grandemente dos demais. Por exemplo:

na matriz (4 .5 2) dois v a lo r e s singulares são de ordem 1 e o terceiro na ordem

 69

de 5. Dependendo se 6 é c o n s i d e r a d o "negligênciavel" ou nfto é como vai ser

carac teriza d o o posto.

O termo n egligênciavel p o de se r relacio n ad o com a p r e c i s ã o que serão

efetuados os cálculos mas mesmo assim é inerente ao p r o b l e m a em questão.

P o r exemplo: suponha <r, = 1, cr2 = 10l, <r3 = 10'2, . . ., c r ^ l O " os va lores

singulares de uma matriz mxn. Se fosse de sprezado aqu eles va lo res

singulares abaixo da un idad e de arredondamento poderia-se estar

desp rezando informações p r e c i o s a s e a solução se ria p r e ju d ic a d a .

Com a breve disc ussão a c i m a j á se pode ter uma i d é i a de quão ambiguo

é este assunto, p a r a o p r im e ir o caso s e r i a razoavel de sp r ez ar 5 se este fosse

relativamente pequeno, mas p a r a o segundo é muito q u estio nável desprezar

qualq uer informação.

P a ra e ssa análise e la b o r a m o s um progr am a no qual foi d ivid id o em

duas partes. Primeiro fo rnece a d ecom posição em si p a r a se r analisada,

de p ois permite calcu lar a so lu ç ão com valo res alterados se efetivamente

forem alterados. Esta situação é m o s t r a d a nos testes 4 e 5 do cap itu lo 6.
 70

5. M É T O D O S N U M É R I C O S PA RA A S O L U Ç Ã O DO P R O B L E M A DE

M Í N I M O S Q U ADRA DOS L IN E A R

Neste c apitu lo se r á descrito 5 dos métodos que podem se r usados p a ra

a obtenção da solução do prob lem a de mínimos quadra dos linear. Os três

p rim e iro s res o lv em o sistema consistente formado pelas equações normais de

minimos q u a d ra d o s e os dois últimos se utilizam da p r o p r i e d a d e esp ecial das

matrizes ort ogonais (conservam o comprimento de ve tores sob a norma-2) e

resolvem diretamente o problem a inconsistente (formado por equações

redundantes) original.

5.1 ELIMINAÇÃO DE GAUSS-JORDAN

Este método foi escolhido p a r a fazer p arte do conjunto de métodos que

reso lvem o p r o b le m a de mínimos q u a dra dos linear pe los motivos: primeiro;

ser simples, direto e tão estável quando a p lica do o pivotamento completo

quanto qualq uer outro método direto que r e s o l v a um sistema de equações

lineares consistente. Segundo; se utiliza d a elim inação de Gauss que é a base

da m a io r ia dos métodos de solução de sistemas de equações lineares. Uma

outra vantagem é que ao final do pro ce d im e n to dos cálculos, o método

fornece a i n v e r s a da matriz dos c o eficien te s das incógnitas que por certo

pode ser a p r o v e i ta d a ( matriz de c o v a r i â n c ia , ou r e s o l v e r novamente o

sist em a com outros veto res de termos independentes ).

O método de Gauss -Jo rdan pode so lu c io n a r um sistema de equações

lin eares com v á r i o s vetores de termos independentes simultaneamente. Isto é

 71

uma vantagem, mas se for olhado em termos de armazenamento computacional,

to r n a - s e - i a uma desvantagem.

O desenvolvimento do método é feito sob forma geral e segue-se

abaixo.

C on sid ere os sitemas abaixos

Axj “ bj

A x 2 « b2

(5.1)

Ax„ - b .

AY - I
onde:

A 6 R"“ ;

x'. e R";

V. e R n;

Y e R nin,

Cujas solu ç õ es podem ser esc ritas como:

Xj^A^bj

x 2«=A Jb2

(5.2)

x >“ A 1ba

Y = A ‘I

C onsidere a gora ob sistemas (5.1) e sc r ito s na forma:

 72

a X
11 a i2 ‘ ”X .l A lm *1. y,2 •- y i n -
••
■ • ! u ' u u u

a a . .. a X
_ nl rã kl A l A nm y rã •

"b b 1 0 ...0 ~
ii b ,3 lxn
= • 1 •
: u : U. . U : u (5.3
b
nl
bnm 0 0 • -i

ou de m an eir a compacta, como:

[A]-[x1ü x a U - ^ * . U Y ] = [b1U k , ü - ü k . U I ] (5 .4 )

onde U signific a o agrupamento das colunas. É facil v e r em (5 .3 ) que ,

i = l , . . . , n signific a o i-ésimo elemento do vetor solução x a s s o c i a d o ao j-

ésimo , j = l , . . . , m , ve to r b. A matriz y ó claramente v ista se r A -1 quando tiver

seus elementos determinados.

5.1.1 O p eraçõ es elementares

As opera ções elementares a p li c a d a s ao método de G a u ss - Jo r d a n são:

i) Permutando duas linhas de A e suas correspon de ntes linhas em b ’s e I,

tanto as sol uç ões x 's como Y não s o fre rão alterações (isto c orresponde em

apenas tr o c a r a ordem das equações lin e are s no sistema).

ii) O conjunto solução não muda no processo de escalonam en to quando

m u lt i p li c a - s e qualquer linha de A p o r um e scalar diferente de zero ou

su bstitu i-s e qualquer linha de A p or sua soma com outra linha previamente

m u l t i p li c a d a por um escalar diferente de zero, desde de que as

 73

c orre sp o nd e nte s op e ra ç õ e s são também realizadaB naB corre spondente linhas

doB b's e I.

iii) A p erm u tação de qualquer duas colunas de A não muda o conjunto

solução se BÍmultaneamente for permutadas as correspondente s linhas dos x ’s

e y. Em outras p a l a v r a s , a solução so f r e r á a lte r a ç ã o de sua posição original.

É interes sa nte ao final v olta r sua p o siç ã o original e p a r a isso devem ser

gua rdadas as p o s i ç õ e s das permutações r e a l iz a d a s .

5.1.2 Solução do sistem a por Gauss-Jordan

O método da eliminação de Gauss-Jordan usa uma ou mais das

op er aç õe s elem entares acima para transformar a matriz À na matriz

identidade (I). Quando isto é alcançado, I torna-Be A -1 e os vetores b's

tornam-se ob v e t o r e s s o lu ç õ e s x ’s.

Chama-se pivotamento a c olo cação a tra v és de permutações do maior

elemento da lin h a ou coluna em sua co rr e spo n de nte p o siç ão na diagonal

p rin cip al. Se não for realiz ado o pivotam ento, somente a operação (ii) se rá

usada.

Quando h ouver permutações somente nas de linhas A, de modo a lev a r o

m aior elemento d a linha que não foi e s c a l o n a d a ain da p a ra a diagonal

p r in cip al, se e stá rea liz an do um pivotamento p a rc ia l.

Quando as permutaçõeB são feitas nas linhas e colunas, então, diz-se

estar realizando um pivotamento completo.

A elim ina çã o de Ga uss-Jordan , sem o pivotamento pode se tornar

instável devido aos erros de arredondamento (com um elemento pivô grande

no denominador há um maior número de d igit o s sig nific ativos na hora da

d iv isão , o casion an d o menor p e rd a da precisão). Com o pivotamento

completo este método torna-se bastante estáv e l, apesa r de que com apenas o

pivotamento p a r c i a l ele é quase tão bom quanto com o pivotamento completo.

 74

5.1.3 Subrotina p a ra a eliminação de GauBS-Jordan

Abaixo segue uma subrotina em linguagem "Fortran" da eliminação de

G auss -Jo rdan, t i r a d a a p a rt i r de PRESS et alii (1986)

S UBROUTINA OAUSSJ (A, N, NP, B,M, MP)

A soluçõo do sistema de equaçffes pel a eliminação de Oeuss-Jordan, equação (5.4). A é a
matriz de en t ra d a de N x H elementos, guardados em um array de dimensão fisica NP x
NP. B í uma matriz de ent rada contendo N x M vet ores de termos independentes,
guardados em um array de dimensão fisica de NP x MP. Na saída, A é substituída por sua
matriz i n ver sa e B é substituído pelos corres po nd en te s conjuntos de vetores soluçdes.
PARÂMETROS (NMAX=50)
DIMENSÃO
A (N P , NP ) , B( NP .M P) , IP IV( NM AX) . 1NDXR (N MAX) , 1NDXC (N MAX)
Os v et ores IP1V.1NDXR e INDXC, são usados par a ma rc a r o pivotamento. NMAX deve
ser igual ao valor pré-det er mi nado N.
DO 11 J = 1,N
IPIV(J)=0
11 C ONTINUE
DO 22 1=1,N
BIO=0
DO 13 J= 1,N
1F (IPI V( J) , NE. 1) THEN
DO 12 K=1,N
1F (IPIV(K). EQ. O) THEN
IF (ABS (A( J ,K) ) .O E. BI O) THEN
BIO=ABS(A( J,K) )
IROW=J
ICOL=K
ENDIF
ELSE IF (IP1V(K).OT. 1) THEN
PAUSE ' Matriz singular 1
ENDIF
12 CONTI NUE
ENDIF
13 CONTI NUE
IP IV ( I COL )=IP IV ( I C O L ) + 1
Temos agora o elemento pivô, se n e c e s sá ri o houve per mut ação de linhas para colocar o
elemento pivd na diagonal. As colunas do i-ésimo elemento pivd não foram fisicamente
permut adas, mas sim anot adas em IND X( l) , enquanto INDXR(I) m a r c a a linha na qual o
elemento pivd foi originalmente colocado. Se INDXR(I)*1NDXC(1) existe uma permutação
de colunas implicita. Com esta forma de guardar as mudanças, as soluçdes B ’s e A*
t erminariam na ordem correta.
IF (I ROW.NE.1COL) THEN
DO 14 L=1,N
DUM=A(IROW,L)
A(I RO W, L) =A( I CO L, L)
A(I COL,L) =DUM
14 CONTINUE
DO 15 L=1,M
DUM = B(IROW,L)
 75

B ( I R 0W , L )= B (1 C 0L , L )
B(1C0L,L)=DUM
15 CONTINUE
ENDIF
1 NDX R( I )=I R0W Agora est amos pronto para dividir a linha do elemento piv6,
localizado em
I ND XC (I )= IC OL IROW e ICOL.
1F (A( ICOL, ICOL). EQ.O) PAUS E ' Mat ri z singular '
PIVINV=l/A(ICOL,lCOL)
A ( I CO L, I COL )=l
DO 16 L=1,N
A ( I C OL, L) = A( IC OL, L) *P I VI NV
16 CONTINUE
DO 17 L=1,M
B(ICOL, L) =B (I COL ,L) *P IV INV
17 CONTINUE
DO 21 LL=1,N Agora r eduzi remos as linhas exceto para o
1F ( LL. NE. ICOL) THEN el emento piv«.
DUM=A(LL, ICOL)
A(LL,ICOL)=0
DO 18 L=1,N
A (L L ,L )= A( LL , L) -A (1 C0 L, L) *D UM
18 CONTINUE
DO 19 L=1,M
B (LL, L) =B (LL, L) -B (I CO L, L) *D UM
19 CONTINUE
ENDIF
21 CONTINUE
22 CONTINUE Este é o fim do loop principal de redução de colunas
DO 24 L=N,1.-1 ele ficaria par a t r o c a r a solução no caso de per mut açao
IF ( I N DX R (L ) .N E. I ND X C( L )) THEN de colunas. Isto é feito
DO 23 K=1,N permutando as colunas aos pares na ordem
DUM=A(K,1NDXR(L)) i n ve rs a de que foram permutadas.
A ( K , I N D XR (L )) = A( K , IN D XC (L ))
A( K,INDXC(L)) =DUM
23 CONTINUE
ENDIF
24 CONTINUE
RETURN
END

5.2 " SUBROUTINE VERSOL "

A ” Subroutine Versol " é um algoritmo para i n v ers õ es de matrizes

q ua d ra das com elementos r e a i s , cujo autor é desconhecido. O motivo da

introdução deste algoritmo neste tr a b a lh o é devido ao fato de ter sido e ainda

e stá sendo usado em muitos t r a b a lh o s de ajustamento a p lic a d o nas Ciências

G e o d é s ic a s no Brasil. Isto nos le v a a confrontá-lo com os demais no intuito

de t i r a r algumas conclusões a r e s p e i t o do mesmo.

 76

Este método s e r á desenvolvido segundo (MODRO 1981), mas anteB se rá

feita uma b reve r e c o r d a ç ã o da regra de Chió p a ra reduzir a ordem do

determinante.

5.2.1 R e g ra de Chió

i) E s c o lh e r um elemento igual a 1 (ca so não exista, transformar por

o pera ções ele mentares).

ii) Su p rim ir a linha e a coluna que se cruzam no elemento de valo r 1

c onsiderado, ob ten do -se o menor complementar do r e f e r id o elemento.

iii) S u b tra ir de cada elemento do m enor complementar obtido, o

produto dos elementos que ficam nos pés das p e rp e n d i c u l a r e s traçadas do

elemento c o n s id e r a d o às filas suprimidas.

iv) M u l t i p l i c a r o determinante obtido no ( i i i ) itém por ( - l ) i+j , onde i e

j designam a ordem da linha e da coluna as quais p erten ce o elemento 1.

Exemplo:

13

23

a a 32 a
31 33

d e t í A ^ - l j 4 *det
 77

5.2.2 Desenvolvimento do método

O pro cesso da " Subroutine Versol " será desenv o lv id o p a r a uma

matriz A de dimensão l x l e po sterio rm en te com A de dimensão 2x2. Com

isso e sp e ra - se ser suficiente a compre ensão do algoritmo.

Considere A(11) , ou seja

(5.5)

(5.6)
-1 o

d i v id in d o a prim e ira linha por a„ , tem-se.

1 l/a
a
(5.7)
-1 0

a p lica n d o a regra de Chió em (5.7) de senvolvido p e la p r im e ir a linha e

p r i m e ir a coluna, resulta

d e « A " M - l ) w .[ 0 - ( - l ) . — ] = - (5.8)
^11 2-11
que é a in v e r s a de A=[a11].

Considere agora A(2;2) , ou s e j a

a a 12
li
A= a (5.9)
a
21 22

e suponha uma nova matriz da for m a

 78

a ii a
12 1
Á = a21 a22 0 (5 .1 0)
-1 0 0

divid indo a p r i m e ir a linha pelo elemento an , obtém-se:

1 a /a 1/ a
12 11 11

Âl = (5.11)
a a 0
21 22

-1 0 0

aplicando a re g r a de Chió em (5.11) desen volvido p e l a p r i m e i r a linha e

p r i m e ir a coluna, resulta

a22 a21 a 13 A a21 1

- 0 - _

í+i 11
det(A ) = (-!)
o - (-1) a o - ( -1 U -
an

11 12

,111
= A' (5.12)
21 22

Fazendo novamente
 79

c c 1
11 12
c21 c22 0 ( 5 .1 3 )
ÀV =
- 1 0 0

dividindo a p r i m e i r a linha por cn , obtém-se

c
c
11 11
Av =
c21 c22 0 (5.14)

-1 0 0

aplicando a r eg ra de Chió desenvolvido p e l a p r i m e ir a linha e p rim eir a

coluna, res u lta

c 22 c21 c 17 s,-1
í+i 11
det(Á ) = (-!) o - {-ixlsL . o - (-1)
II

C C
C 21 1+
22 -
C
11 11
(5.15)
12

a qual pode facilmente se r demonstrado ser A ^ 2) . Pro c e d e n d o - se desta forma,

pode ser e ncontrada a matriz inversa de qualque r matriz nã o-singular A(nn),

aplicando n vezes o p r o c e s s o acima descrito.

 80

5.2.3 Subrotina " ve rsol "

E sta subrotina em linguagem " Fortran" foi tira da de MODRO (1981).

SUBROUTINE VER SOL (A, B. 1)

IMPLICIT REAL (A-H, 0-3)
DIMENSION A(I,I); B(I)
IF ( I . E Q . l ) 0 0 TO 10
IM=I-1
DO 3 K=1,I
DO 2 J=1,IM
2 B(J)=A(1,J+ 1)/ A(1, 1)
B ( I) = 1 / A ( 1 , 1)
DO 4 L=1 ,1M
DO 3 J=1,IM
3 A(L,J)=A(L+ 1,J+ 1)- A(L+1,1)*B(J)
4 A(L,I)=-A(L+1,1)*B(I)
DO 5 J=1,I
5 A(I ,J )=B( J)
RETURN
10 A (l,l)=l/A (l,l)
RETURN
END.

5.3 DECOMPOSIÇÃO DE CHOLESK Y

Quando A é si m étrica e d e f i n i d a positiva* , A pode se r f a t o r a d a na

form a A = L L T, onde L é uma m atriz tria n gu la r inferior com elementos reais.

A fato ração de A = L L T é cham ada f a t o r a ç â o de Cholesky (ou decom posição

de Cholesky). Existem vá ria s m a n e ir a s de se obter a d eco m p osição de

Cholesky ( por exemplo: usando a de com posição LU e Q R ). Aqui se rá

d e sc r ito o método da raiz q u a d r a d a o qual a p lica diretamente a definição,

sendo que a matriz L é encontrada simplesmente esc re v en d o (n2 + n ) / 2

eq uações expressando cada elemento da parte triangular in ferior de A em

term os dos elementos de L. Assim:

A d e f i n i ç ã o de m at r iz d e fin id a p o s i t i v a p o d e s e r en c o n tra d a em (STRAN G 1 9 7 6 ) ,

(G I L L et alii 1 9 9 1 ) , ( L U EN BE R GE R 1 9 7 3 ) , (RAO 1 9 7 8 ) e o u tro s .
 81
— —- -- — — —■
a a a ln 1 . 1
11 12 11 F .. nl
a a22 a 1 1 . I n2
21 2n - 21 22

anl . ann 1 1 1 1
nl n2 nn nn
_ __ __ -

onde:

an = ifi

a2i = ^11^21

a nl - 1(1 • ^nl

a22 =(^2l) "Kl22)

a 32 = ^21 ^31 + ^22 ^32

an2 ~ ^21 ^nl + ^22 ^n2

a 33 = d 31) 2 + ( l 3 2 ) 2 - K l 3 3 ) 2

R esolvendo na ordem p a r a 1„ ,122 , . . . , l nl , \n ,\32 , . . . , l n2 > 133> ->ln3 L

desta forma f i c a r i a determinada.

P a r a conduzir a alguns detalhes importantes em torno de ssa fatoração,

serâo citadas algumas p r o p r ie d a d e s das matrizes simétricas e definidas

po sitiv as.
 82

Suponha se r A sim étrica e definida p o sitiv a , então:

i) a^ > 0 , p a ra todo i;

ii) Os maiore s elementos estão na diagonal;

iii) T odos a uto v a lo r e s de A são reais e estritamente po sitiv os .

iv) Qualquer matriz s e le c io n a d a simétricamente dentro de A deve ser

d e fin id a p o sitiv a .

v) Se a elim in ação de Gauss sem permutação de linhas ou colunas for

aplicada em A, a matriz equivalente será d e fin id a p o s itiv a em

qua lquer passo.

De poss e d e ssa s p ro p r i e d a d e s , j á se pode a n a lis a r alguns passos dessa

fatoração.
Como ln = , p e la p ro p r ie d a d e i , o elemento lu fica bem

determinado ( p o r convenção toma-se o v a lo r po sitiv o da raiz).

Os demais elementos da p r i m e ir a coluna de L podem ser calculados

p e la fórmula

la = - p , i= 2 -------- n. (5.16)
*n
O elemento 122 é fornecido p e l a express ão:

^22 = V®22 “ fla) (5.17)

Com isso p a r a que 122 fique determinado ^ - ( l , , ) 2 deve ser positivo,

isso é assegurado devido ao fato desta quantidade ser exatamente o elemento

da diagonal da matriz equivalente quando a p lica d o o primeiro passo da

eliminação de Gauss em A ( p r o p r ie d a d e v).

Os demais elementos da segunda coluna de L são cálculados p e la

fórmula
 Continuando desta forma c olu na p o r coluna obtem-se a form a fato ra d a

A = LLt

P a r a re solu çã o do sistema de e qu aç õ es normais usando a fatoração de

Cholesky p ro ce de-s e:

Ax = b o LLTx = b (5.19)
fazendo L y = b , r e s o lv e-se p a ra y e LTx = y r eso lve-se p a ra x, que é a solução

do sistema.

D ev id o A ser definida p o s i t i v a não se faz necessário perm utações p a ra

r e t e r a e s t a b i li d a d e na formação da f a to r a ç ã o de Cholesky. Isto vem do fato

de que existe uma limitação p a ra os elementos de L. P a ra c o m pro va r isso,

c o n sid ere que o elemento lkk no k-ésimo passo da fatoração é obtido p e la

e x pre ss ão

= a kk _ ^kl ~ ^K2 ^h-l (5.20)

e assim

a KK = Jkl + 1 k2 + + 1 kk • (5.21)

Como todos os termos da soma do lado direito são p o s i t iv o s , implica

que

(5.22)

Dess e modo todos os elementos da k-ésima coluna de L ficam limitados

p e l a magnitude da raiz qu adrada do k-ésimo elemento da diagonal de A.

Mesmo quando A é m a l- c o n d ic io n a d a , os elementos de L se comportam

bem no sentido da sa tisfazer o limite a - p r i o r i (5.22).

Apesar desse fato fav o rá v el, c aso s extremos podem acontecer. O

elemento lkk pode não ser definido p o r c ausa de erros de arrendondamento,

ou seja, em (5.20) o segundo membro to rn a-se negativo.

Mesmo ga ra n tid a p e la teo ria, a e st a b i li d a d e do método de Cholesky não

é man tida na p rática (ver testes). P a ra que exista a e stabilidade neste método,

A além de ser definida p o s i t iv a deve ser bem-condicionada.

 84

5.3.1 Subrotina " método de Cholesky "

Abaixo um "pr ocedur e" em "Algol" tirado a apartir de

GASTINEL (1 971) p a r a calcu lar a decom po sisã o de Cholesky e solução do

sistema de equações lineares.

p r o c e d u r e CHOLESK Y(A) LADO DIREITO: (B) ORDEM:(N) RESULTADO; (X) FALHA E SAl:
(IMPOSSÍVEL); V A L O R E S A,B;
a r r a y r e a l A,B,X; i n t e g e r N; l a b e i IMPOSSÍVEL;
c o m e n t á r i o RESOLVE AX=B (ONDE A É SIMÉTRICA EDEFINI DA POSITIVA) PELA
DECOMPOSIÇÃO A=R.RT (ONDE R É TRIANGULAR INFERIOR) E ENTÃO
SOLUCIONANDO RY=B E R TX=Y. A MATRIZ R É DEP OS ITADA NA PARTE TRIANGULAR
INFERIOR DE A;
b e g i n i n t e g e r I,J,K ; r e a l S,TX; i f A[1,1]S0 t h e n go to
IMPOSSÍVEL ; A[ 1,1 ]: =SQRT(A[ 1,1 ]);
for I:=2 « t ep 1 u n t i l N do A [ 1,1]:=A[1,1]/A[ 1,1 ];
f or j:=2 í t e p 1 u n t i l N do
b e g i n S:=0; f or I:=l s t e p 1 u nt i l j - 1 do
S:=S+A[J,I]*A[J,I];
S;=A[J,J]-S;
l f Sá 0 t h e n go to IMPOSSÍVEL;
A[J ,J ]: =S QRT( S) ;
for 1:=J + 1 s t e p 1 u n t i l N do
b e g i n S:=0; f o r K>1 s t e p 1 u n t i l J - l do
S;=S+A[1,K]*A[J,KJ;
S:=A[I,J]-S;
A[1,J ]:=S/A[ J,J ];
e nd ;
end;
f o r I:=l s t e p 1 u n t i l N do
b e g i n TX:=0; for J: = l s t e p 1 u n t i l 1-1 do
TX:=TX+A[I,J]*X[J];
X[I ]; =(B[1]-TX)/ A[I,I]; B[I]:=X[I];
end;
f o r I:=N s t e p -1 u nt i l 1 do
b e g i n TX:=Q; for J:=N s t e p -1 u n t i l I +1 do
TX:=TX + A[ J, I]*X[J];
X[I ]; =(B[1]-TX)/ A[I.I];
e nd ,
end;
 85

5.4 0 MÉTODO DA DECOM PO SIÇÃO QR

O método da decom posição QR consiste em transfo rm ar a matriz dos

coeficientes das incógnitas em uma triangular s u p e r io r através de

transfo rm ações ortogonais, este método vem sendo ultimamente bastante

utilizado na solução do p r o b le m a de mínimos quadrados. Nã o é tão potente

quanto o SVD mas em e s t a b i li d a d e são praticam ente equivalentes . As

transfo rm ações ortogonais podem se r obtidas ou p e lo processo de

Gram-Schmidt ou p e la s transfo rm ações de Househ older, sendo a úl tim a mais

recom endada p o r questões de eco nom ia computacional e estabilid a d e.

5.4.1 Transform ação de Householder

A transform ação de H ou seho lder tem utilid ad e p a r a muitos propÓBitos

da á lge b ra linear. Consiste basicamente em transformar um v e to r em outro de

meBmo comprimento euclidiano. A form aliz aç ã o pode ser o b tid a da seguinte

pro p osição .

P r o p o s i ç ã o 1: Dado um ve to r nã o-nulo a m-dimensional, existe uma

matriz sim étrica é ortogonal Q tal que

Q a = -o e , (5.23)

onde:
e, =(1 0 ••• 0)T e

P rim e ir a parte: p r o v a de (5.23)

de fina Q como

(5.24)

e tomando
 86

v = a + oe, ( 5 .2 5 )

então
„w T 2vTa
) a = a - v —j — =
V V V V

— g y
2(aTa + oe7a)'
. * — g ____ y
(aTa + aTa + 2cRe7a)
— - 1
aTa + a T0 Cj + 06^ + o5 a Ta + 2oejra + <?

como

tfW a
então
Qa= a - v = a - a - crb, = -ocj. (5.26)

o b serra çã o : O v a lo r de Q a pode também se r representado p or

Q a=-oj|a|e, , comv = a + oj|aj)e1 (5.27)

onde
/+i *
° ~ V-l k aj<0

sendo a, o elemento de a correspo n dente ao elemento 1 de el5 d esta forma o

componte de v correspondente s e r á sempre a crescido conservando o sinal de

aj sem o r i s c o de tornar-se nulo.

Segunda parte: prova da o r t o g o n a l id a d e e simetria de Q

Consi dere o vetor normalizado u como u = v/jjvj , então Q pode ser

d e fin id a como

Q = I„-2«uT (5.28)

Por definição de simetria Q = Q T, então

K - 2 =(!«,- - ««T 2)= - 2«uT • (5.29)

Por definição de ortogonalidade QQT = I, então

(^m —2®*T)(^m ~~2üUT)= I

I ^ - 2 u n T- 2 u u T+4«uT = 1 1=1. (5.30)

A matriz Q definida na proposição acima é conhecida como

tran sfo rm ação de Householder p o r t e r sido utilizada por A . S. H o useh old er

 87

p e la p r i m e ir a vez em pr oblemas de a uto va lo re s. O v e to r particular v é

chamado v e to r de Hou seh older.

5.4.2 A d e c o m p o s i ç ã o QR

P r o p o s i ç ã o 1: S e j a A e R “1“ como p osto(A)=n. Então existe uma matriz

ortogonal Q(ltvn0 tal que QTA=R, sendo R (nvn) com zeros abaixo da diagonal

principal.
v vT
Prova: P e r m i t a Qj = Im- 2 - M - , onde v, = a, + oja,||«i , sendo c definido
IME
como em (5 .2 7 ), a, e e, a pr im e ir a coluna da matriz A e matriz I

resp ectiv am en te, então

rn

0
(5.31)

A a p li c a ç ã o de Qj sobre A resu lta rá Q jA = A{2) , da forma

ln
a
2n
(5.32)

m2 xnn

Formando uma matriz ortogonal P ^ ^ com a se gunda coluna de A(2) a

p a rt ir do elemento p ivô , forma-se assim Q2 da forma

 88

1 0 . 0
0
( 5 .3 3 )

a p lic a n d o Q 2AP) = ACT , da forma

r 11 r 12 r 13 ln
0 r 2n

0 0 a O a © (5.34)
33 ■ 3n

0 0 a © ©
m3

P ro c ed e n d o desta m ane ira com no máximo n a p lic a ç õ e s da

tra nsfo rm ação de Hous eholder p o d e -s e transformar A em R, isto é:

Q„Qnl. Q,A = R (5.35)

chamando QT = Q nQ„-i~Qi> tem-se

A=QR . (5.36)

5.4.3 O método QR aplicado ao p r o b l e m a de mínimos quadrados linear

P r o p o s i ç ã o 1: Se ja m^n>0, b e R " , A e R ““ com posto completo. Então,

existe uma decomposição A = Q R , onde Q(mm) matriz ortogonal, R e R ” “ com

zeros abaixo da diagonal p rin cip al. S e j a ainda R n a matriz fo rm ada pela s n

p r i m e i r a s linhas de R de modo que R n é nã o-singula r e triang ular superior.

 89

Assim a solução única de xeR" é dada por x = R n1(QTb)n , onde

(QTb)n= [(QTb)i,.”>(QTb)n3 8^° 08 n p r im e ir o s componentes de QTb; o vetor

r e s id u a l V = IjAx-b)^ se rá V = ^ [ ( Q Tb)j]2.
1—
ih-1

Prova: A ex istência da d ecom posição QR segue a partir da

transform ação de Hou seh older e a não-singula rid ade de R n a p a r t i r da

i n d ep e n d ên c ia das linhas de A. Da pro p ried a d e da norma euclid ia n a

10^ =H vem

IlA i-b lH lC flfc-b lH I^ -Q H (5' 37>

e o p r o b le m a pode ser escrito como

s i ? l Rx" QTbl! • <5-3 8 )

Denotando (QTb)L= [(QTb)n+1,. . . ,(QTb),J, os componentes de QTb a pa rtir

de n+1 até m, tem-se

= ||R„I - ( Q Tb ) ^ + |(QTb ) , | (5.39)

o qual é minimizado quando

R , i - ( Q Tb)„=0 o R„x=(QTb), (5.40)

e o ótimo resid ual terá comprimento

concluin do-se assim a p r o v a da p r o p o siç ã o .

5.4.4 Subrotina do método QR

A subrotina abaixo foi t i r a d a a a p artir de (DENNIS e SCHNABEL

1983) é p a ra matrizes quadradas e n ã o -sin gu la res, mas pode facilmente ser

implementada p a r a o pro b lem a de mínimos quadra dos como descrito acima.

D E C O M P OS I Ç ÂO - Q R (QRDECOMP)
Propósito: calcula a decomposição QR de uma matriz quadrada M usando oalgoritmo de
S te war t[ 1973] no final do algoritmo a decomposição éar mazenada em M, Ml e M2 como descrito
abaixo.

P ar â me t ro s de entrada: n e Z (conjunto dos números inteiros)

 90

Parâmet ros de ent ra da e saída: M e R “ B( na salda, Q e R são embutidas em M, Ml e M2 como

descrito abaixo)
Parâmet ros de saída: Ml € R ” , M2 e R ”, sing e boolean
ConsideraçGes sobre o ar mazenament o
1) Não t n e c e ss ár io nenhum vet or ou matriz adicional
2) Na saída Q e R sfio g uar dadas como descrito por Stewart: R e st a contida na parte
triangular superior de M excet o a diagonal principal que e st a em M2, e Q T = Q n.i,-..>Qi onde
Qj , U j [ i ] = 0 , i = l ....... j-1, Uj[i]= M [ i j ] , i=j...... n , Xj = M l [ j ] .

Descrição:

A decomposição QR de M é realizada usando a t r a n sf o r m aç ã o de Householder pelo

8lgoritmo de St ewar t[ 1973]. A decomposição retorna sing=true se a singularidade de M é
det ect ada, sing=false caso contrário. A decomposição se completa mesmo com a singularidade
detectada.
Algoritmo:
1 sing <- false (sing t or na - se true se a singularidade éd et ec t ad a)
2 for k=l ro n - 1 do
2.1 ii m ax { | M [ M c ] l }
XSiSn ' 1
2.2 If ti=0
2.2.T Then (*matriz singular*)
2.2.T.1 M 1 [k] <- 0
2.2.T.2 M2[K] <- 0
2.2. T. 3 sing «- true
2.2.E Else (*Forma Q k e premultiplica M por ela *)

2.2. E. 1 For i=k t o n d o M[i,k] <—M[i,k]/r)

o
2.2. E. 2 o sign (M[k,k])* ( ] £ M [ Í , k ] 2)IQ
i-x
2 . 2 . E . 3 M[k,k] <- M[ k, k] +a
2 . 2 . E. 4 M 1[k] <— a * M[k,k]
2.2.E.5 M2[k] <- - ij ♦ o
2.2.E.6 For j =k +l to n do

2.2.E.6.1 ^ M[i,k]* M [ i j ] / M l [ k ] )
i- X

2 . 2 . E . 6.2 For i=k to n do

M[i,j] <- M[i,j]-i*M[i,k]
3 M2[n] <- M[n,n]
(* Retorno do algoritmo QRDECOMP *)
(* END do algoritmo *)

Subrotina RSOLVE
 91

Propósito: Resolve Rx=b para b, onde R é tri angul ar superior ar mazenada como descrito na
subrotina QRDECOMP

P a râ me t ro s de entrada: n e Z, M e R “ ", M2 e R” (M2 contém a diagonal de R, o r e s ta n t e de R

es t a contida na parte superior de M )
P ar â me t r o s de ent rada e saída: b e R” ( na sal da , b é sobreposto pela solução x)
P a râ m e t r o s de salda: nenhum
C ons id er aç ão de armazenamento:
1) Não é nec es sári o nenhum vetor ou mat ri z adicionais
Algoritmo

1. b[nJ b[n]/M2[n]
2. For i=n-l downto 1 do

b[i]-£M[ij]*b[j]
b[i]<-------- i±5-------------
1 M2[i]
(* Retorno do algoritmo RSOLVE *)
(♦ END do algoritmo RSOLVE ♦)

Subrotina QRSOLVE

Propósito: Resolve (QR)x=b para x, onde a mat ri z ortogonal Q e a triangular superior R são
a r ma z en a da s como descrito na subrotina Q RDEC OMP .
P a râ m e t r o s de entrada: n e Z, M e R'1Xn, Ml e R ”, M2 e R" (Q • R são embutidas em M, Ml e
M2 como descrito na subrotina QRDECOMP )
P a râ m e t r o s de salda: nenhum
C o n s i d e r a ç ó e s sobre o armazenamento:
1) Nenh uma matriz ou vetor adicionais são n e c e s s á r i o s
De scri ção:
1) Multiplica b por Q T, Q T é armazenado como Q T= Q n l ,...,Q[ . onde cada Q j é uma

t r a n s f o r m a ç ã o de Householder implícita • como descri to na subrotina ORDECOMP. Assim este

passo consiste de pré-multiplicar b por Q j , j = l n-1.

Algoritmo
(♦ b <- Q Tb +)
1. For j= 1 to n - 1 do
(* b <- Qjb*)
1.1 « - <i;M[ij]*b(j]/Mi[j])
i-i
1.2 For i=j to n do

b[i] <- b[i].t*M[i,j]

 92

(* b <- R ’b •)
2. CALL RS0LVE(n.M,M2,b) (♦ alg. RSOLVE*)
(* Retorno do QRSOLVE ♦)
(* END, QRSOLVE *)

5.5 DECOMPOSIÇÃO DE VALOR SINGULAR

N e sta secção Berá descrito ob p rocedim entos de como obter a

de com posição de v a l o r singular e uma subrotina em linguagem Fo rtran para

c alculá-l a. Sua a p li c a ç ã o ao p r o b le m a de mínimos quadrados lin ear j á foi

m o strada p e la s p r o p o s i ç õ e s da secção (3.3.4).

Antes de estud ar este fantástico algoritmo é n e c e s s á r io p rim eir o dar

uma olhada no algoritmo QR p a r a o p r o b le m a de a u to valo res e por causa da

estrutura esp ec ial daB matrizes que se r á u tilizada, também se rá usada a

transformação de Givens* .

5.5.1 Transform ação de Givens

A transform ação de Givens é uma matriz ortogonal que é utiliza da para

quando se d e s e j a to rnar nulo apenas um dos elementos do vetor. As

m o dificações no v e to r o c o rre rão somente em dois de seus componenteB.

A transfo rm ação de Givens pode ser d e fin id a p e l a seguinte proposição .

P r o p o s i ç ã o 1: S e j a o v e to r v = (v, v2 v3 ... vffl)T com pelo menos dois

componentes não nulos, existe uma matriz G(nvm) ortogonal

* Tr a n sf o r m a ç B o de Gi ve ns : dev ido a Givens 1954.

 93

C 8 0 . . . 0
-8 c 0 ... 0
0 0 1 ... 0
G = (5.42)

0 0 0 ... 1

tal que
G \ = ( J v l2+vl 0 v3 . . . v J T. (5.43)

Prova

p r i m e ir a parte: fazendo em G

c= s= ■ (5.44)
V vF ^ i ’ a/vi+vT

e m ultiplicando G p o r v (como de finido na p r o p o siç ã o ) r e s u l t a r á em (5.43).

Begunda parte: Ortogonalidade de G.

P e l a definição de ortogonalid ade GGT =1 e tomando só a parte superior

e sq u e r d a de G j á que o restante j á e sta sob a forma de I, tem-se

+ i 0
(5.45)
T
GG = 8
2 ,
+ C
2

como c 2 _ 1
= im p lica
vf+vj v^ +v

g g T=[ o l] (5.46)

O b s e r v a ç ã o : G pode se r e s c o l h i d a p a r a ser sim étrica e ortogonal, p a ra isso

b a s t a em (5.42) c o lo c a r o sinal negativo em um dos c's deixando ambos os

Bf8 com sinais positivos.

 94

5.5.2 0 algoritmo QR

Foi visto na se cç ão (5.4) como decompor uma m atriz A(in^ com m£n,

po sto completo e r e s o l v e r d e s t a fo rm a o problem a de minimos quadrados.

Aqui como uma p r e p a r a ç ã o p a r a a de composição de v a l o r singular, Berá

mostrado que uma se q u ê n c ia de de co m p osiçõ e s do tipo QR com A e R M" leva

a obtenção do a u to v a lo re s de A.

5.5.2.1 O algoritmo QR

Suponha A^ = A ser de co m p o sta em

A0 = QoR0 (5 .4 7)

e uma nova matriz semelhante a A0, d e fin id a invertendo a ordem do segundo

membro ( 5 . 4 7 ) ,ou seja

A , = R 0Q0 (5.48)

e s s a nova matriz c o n s e r v a os a u to v a lore s de A0 .

P a ra p r o v a r e s s a afirmação b a s t a fazer

Q X Q o = QlQ oRoQo = RoQo = A, (5 .4 9)

lembrando que o produto no p r im e ir o membro da igualdade não altera os

autovalores.

Montando uma Bequência e denotando k e k+1 o algoritmo fic a

Ak = QkR k (5.50)

Ak+1= R*Qh- (5.51)

Procedendo desta m an e ira y o algoritmo sob cir c un stânc ia s gerais
convergirá, ou seja, Ak se ap rox im a da forma tria n g u la r superior e os

elementos de sua diagonal se aproximam de seus autovalores.

 95

5 . S.2.2 O alg oritm o QR - modificado

O puro e simpleB algoritmo QR p a r a en con trar ob autovalores é bom e

te r á um a c r é s c i m o adicional na v e l o c i d a d e de convergência se for d a d a a

seguinte implementação.
À0 = À (5.52)

(Àk-<rkIn) = Q kR k (5.53)

Ah+1 = R kQ k +o-kI n (5.54)

onde k = 0 , l , 2 , 3 , . . . e crk um escalar. A m atriz A k+1 conserva os a u to valo res
de A k pe lo mesmo motivo de (5.48), p a r a v e r i f i c a r faça

Q X Q k = Q l(Q ,K »+ o-A », = K»Q»+o-A = Am (5.55)

a qua ntidade <rk é escolhido p a r a Ber um a u to v a lo r aproximado de A k, na

p r á t i c a o que se faz é tomar o elemento no canto inferior direito da matriz

que e sta sendo u tilizada para ser e s s a ap rox im aç ão . Após alguns p a s s o s do

algoritmo e sse elemento c o rr e sp o n d e r á a um autova lor aproximado de Ak.

Assim que este elemento for de signado p a r a se r um autovalor, toma-se a

submatriz de A k desprezando a linha e c o lu n a deste autovalor, como m o stra a

figura abaixo.

FIGURA 11 - CONVERGÊNCIA DO AL G O R ITM O QR

* * * *
* * * *

0 * * *
'•)
o
o
1

R e p e t e - s e o process o acima d e s c r i t o até r es tar a submatriz 2x2 no

canto s u p e r i o r eBquerdo. Se ainda f o r n e c e s s á r i o faz-se ainda mais alguns

p a s s o s , com íbso os dois elementos d a diagonal tornam-se os dois últimos

au to v a lo re s aproximados de A .
 96

Dem ostra-se que o algoritmo QR-modificado con verge quadraticamente

(LARSON e HANSON 1974) p a r a os autovalores de A.

Para se ter uma i d é i a da razão de co n verg ên cia de cada método,

consi dere a seguinte m atriz

4 2 1
5 7 2
A =
5 2 1

cujos autovalores com 14 decimais são:

Xx = 9 ,4 1 7 8 1 4 3 2 3 7 9 4 5 6 ;

X2 = 2 ,7 0 0 1 5 8 4 7 3 4 3 1 5 9 ;

A, = - 0 .1 1 7 9 7 2 7 9 7 2 2 6 1 6 .

Pa ra o sim ples algoritmo QR começando com k = 0 , 1,2,3,... , e truncando

na 6 casa decimal, os elementos da diagonal de A9 foram:

X ‘ = 9,417825 ;

X2 = 2,700147 ;

X ‘ =-0.1 1 79 7 2 .

Para o algoritmo QR-m odificad o, começando com k = 0 ,l , 2 , 3 , . .. , e

truncando na 6 casa decimal o elemento de A5 foi X3= - 0 . 117972 e os

elementos da submatriz A6 foram X2 = 2,700158 e X{ = 9 ,4 17 8 14 . Se for

comparado os re s u lta d o s e a ra p id e z na convergência, no ta - s e claramente a

maior e ficiê ncia por pa rte do algoritmo QR-modificado.

Através do exemplo po d e -se ver a melhora t r az id a ao algoritmo QR com

o parâmetro de v a r i a ç ã o a , mas e ssa melhora pode ser a m p l i a d a ainda mais

se a matriz A fo r p r e p a r a d a p a ra tal problema. Tal p r e p a r a ç ã o pode ser

r e a l iz a d a p e la tr ansfo rm ação de Householder deixando A na forma

He ss enbe rg ou t rid iago n a l. A forma de Hessenberg e trid iagonal são

mostradas na figura 12.

 97

FIGURA 12 - FORMAS PR EPARAT ÓRIAS PARA O PROBLEMA DOS

AUTOVALORES DO ALGORITMO QR

1
* * * * * * * 0 0

o
* * * * * * * * 0 0
0 * * * * 0 * * * 0
0 0 * * * 0 0 * * *
0 0 0 * * 0 0 0 * *

12.a Forma de Hessenberg 12.b Forma tridiagonal

C onsiderando A0 uma matriz com qualq uer uma d e ssa s formas obtida

fazendo A0 = Q TAQ, onde Q é uma matriz ortogonal ( a l c a n ç a d a através do

produto das transformações de H o u s eh o ld er) e aplicando o algoritmo QR a

essa matriz cujos autova lores são os mesmos de A (garantido por construção)
a se qu ên c ia de matrizes Ak mantém a forma de A0 , convergindo p a ra

triângular su p e rio r p a ra o caso de A0 ter a forma Hess enberg e p a r a diagonal

(se A é si m étrica ) ou bidiagonal s u p e r io r ( s e r á definida adiante) p a r a o caso

de A0 se r tridiagonal. Os autovalo res se rão os elementos da diagonal dessas

matrizes.

5.5.3 Cá lculo da decomposição de v a l o r singular

O procedimento p a r a a obtenção da decomposição de v a lo r singular

será d esen v o lv id o segundo descrito p o r LAWSON e HANSON (1974) e

GOLUB e REINSCH (1970), a subro tina p a r a o cálculo s e r á t ir a d a a apartir

de PRESS et alii (1986).

O cáculo é feito em dois estágios. Prim erio , faz-se a redução de A a

forma b idia gonal (ver fig. 13) e d e p o is através duma v a ri a n te no algoritmo

QR-modificado se obtém os v a lo r e s singulares da forma bid ia gonal.

 98

5.5.3.1 Re dução a forma bidiagonal

Foi dito na secção (5 .5 .2.2 ) como p r e p a r a r uma matriz para o p ro b lem a

dos a u to v a lore s d eix ando-a sob a forma de He ss enbe rg ou tridiagonal. Aqui a

matriz AeR™ deve ser r ed u z id a a forma bidiagonal superior p a r a que

p osterio rm ente a pré-m ultip lic aç ã o p or sua transposta gere uma matriz

sim étrica e trid iag on a l. A forma bidiagonal superior é mostrada na figura

abaixo.

FIGURA 13 - FORM A BIDIAGONAL SUPERIOR DE UMA MATRIZ

* *
0 0
* *
0 0
* *
0 0
*
0 0 0
0 0 0 0
0 0 0 0

A form a bidiago nal consiste de elementos não-nulos na diagonal

pri ncipal e uma diagonal imediatamente acima da p rin cip al, os demais

elementos da matriz são nulos.

A redução de A a forma bidiagonal é a lc an ç ad a por uma seq uên cia de

não mais do que 2n -l transformação de H o u s eh o ld er do tipo.

Q K= I m- 2 x ^ (k=l,2,...,n ) (5.56)

H k = I, - 2 y , y J (k-l,2,...,n-2) (5.57)

onde os ve to re s x e y j á estão norm alizados. Então

B = Qn...((Q2((Q1AJH1))H2)...Hn,2 (5.58)

cuja forma s e r á re p r e se n ta d a por

 99

qi !? 0
<2 e3

0 (5.59)
B = m

0 (m-n)

Denotando A, = A e definindo

A(k4)= Q kAk ( k = l , 2 ..... n) (5.60)

A(k+1) = A(k^ H k (k=l,2,...,n-2) (5.61)

então Qk é definido tal que

A j^ = 0 (i= k + l , . .. , m ) (5.62)

e H k como
Ag+1)=0 (j=k+2,...,n). (5.63)

Procedendo d e sta m a n e ir a os v a lo r e s singulares de B serão os mesmos

de A. P a ra v e ri fica r façamos
B = QnQn, . . Q !AH,..HIh2 (5 .6 4)

B t = H I 2...HÍAtQÍ...QI1QI (5.6 5)

o produto BtB será

BTB = H^2...H^ATAH1...Hn.2 . (5.6 6)

Observe que (5 .6 6 ) c o n s e r v a os autovalores de ATA mostrando assim a

v e ra c id a d e da afirmação acima.

Uma Yez que os Yalores singulares de A são os mesmos de B, a

dec om posição de Yalor singular de A pode ser ob tid a através da

dec om posição de valor singular de B.

Considere a de com posição de Y a l o r s i n g u l a r de B como

A A

B=USVt (5.67)
 100

onde U e V são ortogonal e S é diagonal. Então p e la condição de

o rto go n alid a de e sim etria de H, a d e c o m p o siç ã o de v a lo r singular de A se rá

A A

A = (QU)S(HV) t (5.68)

ou

A = USVt . (5.69)

5.5.3.2 D e c o m p o s iç ã o de v a lo r Bingular da matriz bidiagonal

N a s e c ç ã o (5.5.2.2) foi v isto a e f i c i ê n c i a do algoritmo QR-modificado

na d ete rm in ação dos autovalores de uma matriz quadrada. Ora, sendo B

b id ia gonal s u p e r i o r, o produto BTB é t r id i a g o n a l , caindo exatamente na forma

c o b iç a d a p a r a a a p licação do algoritmo QR-m odiflcad o o qual f i c a r i a mais

econômico se foss e utilizadas as tra n s fo r m a ç õ e s de Givens em vez das

tras form a çõ e s de Householder, po is r e s t a r i a bó um componente abaixo da

diagonal p r i n c i p a l p a r a ser zerado.

Pensando d esta forma nosso p r o b l e m a j á e sta r ia res o l v id o , b a s t a r i a

fazer o pro d u to B TB e a p lica r o alg oritm o QR-modiflcado p a r a a matriz

t rid iag o na l si m é t r i c a e ainda com g a r a n t ia da co nv erg ên c ia quadrática. O

algoritmo d e s t a forma j á s e r i a ótimo, mas melhor ain da se não housse a

n e c e s s i d a d e de e x p licitar BTB , p o is este p roduto pode conduzir a p e r d a de

informações p o r causa de erros de arreondamento. A SVD p revin e -se também

desse fato, sendo um dos motivos p o r se r a téc nic a r ecom end ad a p a r a a

determina çã o dos va lo re s singulares de uma matriz.

O p roce d im e n to p a ra obter a d e co m p o siçã o de v a lo r singular de B é um

p r o c e s s o i te r a tiv o da forma
(5.70)

k - 1 , 2 ,3 ,. . . (5.71)

onde Uk e VK são ortogonal. As m atriz es Vk são esco lhidas de modo que a

seq u ên cia M k = B kB k convergem p a r a a fo rm a diagonal, enquanto as matrizes

 101

Uk são e sc o lh id a s de modo que Bk p e rm a n e ç a bid ia gonal supe rior p a r a todo

k.

Um paBso deste algoritmo é d e sc r ito como segue.

D a d a B k> o algoritmo determina os a u tovalo res e À2 da submatriz
in f e r io r d i r e i t a de M k, aquele que mais se apro xim ar do elemento

in feri or d i r e i to de M k será e sco lh ido para se r <7k do algoritmo

QR -m odific ado .
A matriz Vk é determ inda pelo p r o c e ss o usual do algoritmo

QR -modificado

(M k-V n^V kR x (5.72)

onde R k é tria ng u la r superior.

A m atriz Uk é determinada de m a n e ir a que

B*« = D Í B kV, (5.73)

s e ja b id ia g o n al superior.

O p a s s o detalhado deste algoritmo não é feito como sugere (5.72) e

(5.73) , na ve rda de M k nunca é f orm ada e os a uto v a lo re s de são

calcu lad o s implicitamente.

Abandonando o índice k p o r co m o didade de notação e formando

M = Bt B onde B tem a forma (5.59) , a submatriz M (W) s e r á

t i + e n-l eA - l

(5.74)
eA - i <£ + e2

cuja equação c a r a c t e r í s t i c a se rá

t ô r ò r * ) ( q f r ^ ) - M . . i ) 2= o. (5.75)

Como p r o c u r a - s e o que mais se ap rox im a de q„+e^ , é conveniente

fazer a sub stitui ção

 102

ô = q2+e2 - X z> X = q2+e2 - 5 (5 .7 6)

e BubBtituindo X de (5 .7 6) em (5 .7 5 ) resulta

f ■Kq«+»L1-«£-<!)*- (5.77)
d iv id in do to da a e xp ressão p o r (enqn.j)2 tem-se

— j —- + (g°-L+e.°-i ~.q" ~ i=o (5.7 8)

(e» q«-i) (enqn-i)(enqfl-i)
chamando

r= ~ ~ i (5-79)
M n-l)
e
.2 _2 , J2 _2
f _ (qn- q n - i + e n- g n-i) (5.80 )
2(enqu-i)
e substituindo em (215) obtem -se
/ - 2 f /- l =0. (5.81)

Aplicando B a s k a ra p a r a obter as raizes tem-se

2
TF. (5.82)

Analisando (218), p e r c e b e - s e que uma raiz se r á sempre ne gativ a e outra

p ositiv a , além disso, uma vai s e r menos o inverso da outra, com base nisso

p od e -se esc rever

( 5 .8 3)

onde

-f-o-tf1)1* . r ao
t={ . st f<0

levando (5.83) em (5 .7 9 ) e p osterio rm ente em (5.76), r e s u l t a

(5.84 )
A

a=Á. (5.85)
 103

obse ry a çõ o: com t escolhido da for m a a cim a o Â, se rá Bempre o v a l o r maiB

próximo do elemento inferior d ireito de M(2^ .

A d e d u ç ã o acima forneceu o v a l o r de o a se r UBado em (5.72). A seguir

s e r á dado o procedimento p a r a oter U e V, mas antes porém deve ser

e nunciada uma p ro p o siç ão (LAWSON e HANSON 1974).

P r o p o s i ç ã o 1. Se M é t ridiago n a l com todos elementos não-nulos, V

é ortogonal, o é um esca lar a rb i t r á r i o ,

VtM V é tridiagonal
e a p r i m e i r a coluna de VT(M-cd) é zero abaixo do prim eiro elemento,

então V t( M - ítI) = R é triangular superior.

Note que a pr im e ir a coluna de ( M - o I ) é

q e2
(5.86)

e p e l a c o n d iç ão da pro po sição 1 de VT(M-of) ter zeros embaixo do p rim eir o

elemento e VT( M - o rl) = R , im p lica que VT deve anular o segundo componente

de (5.86). P a r a isso b a sta VT se r uma tras fo rm a çã o de Givens.

A co ntece que esta tras formação vai tir a r B da forma bidiagonal, pois
isto f a r i a g e r a r um elemento na p o s i ç ã o b21 . P a r a manter B na forma

bid ia go n al e conseqüentemente as co n d iç õ es da p ro p o siç ão 1, uma seq uên cia

de t ran s fo rm a çõ e s de Givens devem Ber a p li c a d a s na ordem

B= U n(...U3((ü2(BV2))V3)...Vn (5.87)

onde

®=®k+l »
B=Bk ;
 104

Vk=V2V3...Vn ;

UkT=Un...U3U2

com

1 0
0 \
1 C 8 (i-1)
ü = , i = 2,3,...,n
i -8 C (i)

e Vj n-dimensional é d e fin id a de form a análoga p a r a i=2,3,4,...,n. A V2 é

determinada p a r a z e r a r o segundo componete de (5.86), as demais p a r a manter

as condições m ensiona das anteriormente.

O comportamento d e ssa s transfo rm ações no p r o c e s s o de transição de

Bk- * B k+1 são m ost rados p e l a figura abaixo.

FIGURA 14 - PROCESSO " CHASING "

as quais tem a seguinte interpretação:

V2 não a n iq u ila n ada e g e r a b21 ;
 105

U2 a niq u ila b21 e g e ra b13 ;

V3 a niq u ila b,3 e g e ra bK ;

U* a niq u ila b ^j e não g e r a nada.

O procedimento d e sc r ito a cim a é um passo do algoritmo da

deco m posição de va lo r sin gular de B, a sua aplicação r e s u l t a na transição

de B k- > B k+1, lembrando que a co n v erg ên c ia se dá quando (5.70 ) é alcançada.

Existe ainda algumas observações com respeito ao p r o c e ss o de

co n verg ên cia e serão tratad os a seguir.

O procedimento de scrito acima é um passo do algoritmo da

decom posição de valo r singular de B, a sua aplicação r e s u l t a na transição

de Bk- > B k+1, lembrando que a c o n v e r g ê n c ia se dá quando (5.70 ) é alcançada.

Existe ain da algumas o b s e r v a ç õ e s com respeito ao p ro ce ss o de

c onvergência e serão tratados a seguir.

5.5.3.3 Teste de con v ergência

Suponha ser ô uma c e r t a to le rân c ia, se |en|^<£ a c e ita- s e |qn| como um

v a lo r sigular de A.e toma-se a submatriz de ordem n-1 de B k (no estágio em

questão) p a r a p rosseguir os c álculos. Entretanto, se |ek| ^ «Jpara k^n ,matriz

é d i v i d i d a em duas e os v a l o r e s singulares de cada b l o c o podem ser

tratad os independentemente.
Suponha que em algum estágio |qk|^<5V então por convenientes

transform ações de Givens a matriz pode ser d i v id i d a em dois blocos. O

pro cedimento é mostrado por:

= Tj^+jBjj (5.8 8)

sendo que
ek+1 é aniquilado por T ^ , mas bu+2 e J k+U são gerados ;
 bw+2 é an iq u ilad o por TKk+2 , bu+3 e 4 +2Jl são gerados ;

bM é aniq u ilad o por TM mas ô^ é gerado.

A matriz Bk f i c a r á com a forma

(k)

B \ 0 (k) (5.89)
V>1e*+2
0

o :c‘

Se fo r e scolh id o ^ujjB oL (u unidade de arredondamento

computador) então os elementos qk,Jk+1,...,í5‘n podem ser desprezados e

pode se r d i v i d i d a em dois blocos como

B 1 • (5.90)
B k=
0 B

e tra tados independentemente.

sendo qk de B! considerado nulo ek p o d e r á ser zerado por

seq u ên cia de transformação de Givens da forma

b ;tw...t , = b ; (5.91)
e qk p a s s a a se r um v a lo r singular de A.
 107

Se qk=0 , então p e lo menos um v alo r singular é zero e a mesma

s equ ên cia (5.88) pode se r a p l i c a d a ( a diferença é a não g e ra ç ã o dos <?u ,

i = k ,k + l ,...,n ) p a r a re d u z ir a ordem da matriz ou p a r c i o n á - l a conforme seja a

p o s i ç ã o de k.

5.5.3.4 Formação da d e co m p o siçã o de v a lo r Bingular de A

A decom posição de v a l o r sin gular de A

A = USVt (5.92 )

é fo rm ad a a p a r t i r d a SVD de B ,ver (5.67)

A A

B=UBVt . (5 .9 3 )

Uma vez que os elementos d a diagonal de B tende p a r a Beus valores

singulares, ou seja, a diagona l de S a c ad a passo do procesBo iterativo pela

a p lic a ç ã o do produto das tr ansfo rm a çõe s de Givens, então o produto de

todas as transformações a p l i c a d a s tenderão p a ra os a uto v e to re s de B.

Um detalhe é que a tra vés da a p li c a ç õ e s das t rans fo rm a çõe s de Givens

os elementos da diagonal de S podem v i r com sinais p o s i t i v o s ou negativos

e p o r se r BTB no mínimo se m i- d e f ín i d a p o sitiv a e sse s d e v er iam ser ou

nuloB ou p ositiv o s p a r a t o r n a r p o s i t iv o s os que estão n e g ativ os, deve-se

usar uma matriz diagonal D com elementos +1 e -1 conforme seja o

re s p e c t iv o sinal do elemento de S. Então

S=SD (5 .9 4 )
A A

a matriz U e V de (5 .9 3 ) s e r á fo r m a d a p or

U = U j...U j (5 .9 5 )
V = Vj... Vv (5 .9 6 )

a matriz Q e H de (5 .6 8) 6erá fo r m a d a p or

Q = QnQ ,1.. Q1 (5 97)

H = H,H3 (5 .9 8 )
de (5.68) : A = (QU)S(HV)T (5 .9 9 )
 108

assim
(5.100)

(5.10 1 )

e finalmente

À=USVT (5 .1 02 )

5.5.3.5 S u b ro tin a p a r a a decom posi ção de v a lo r singular

Como men8Íonado anteriormente e s s a subrotina foi t i r a d a a apart ir de

PRESS et a lii (1986). Nenhuma m o d if ica ç ão foi f e ita .

S U B R O U T IN E S V D C M P (A .M .N .M P .N P .W .V )
dada a m a t ir z A, com d im e n s lo ló g ic a M por N e d im e n s lo fis íc x MP por NP, e sta r o t in a
c á lc u la su a d e c o m p o s iç lo de v a l o r s in g u la r . A - U . W . V . A m a t r iz U s u b s t it u i A na s a id a . A
m a t r iz d ia g o n a l de v a lo r e s s in g u la r e s W é arm aze n ad a no v e to r W. A m a t r iz V (n lo V )é
a rm a ze n a d a com o V. M deve s e r m a io r o u i g u a l a N . S e f o r m e n o r e n t l o A deve s e r c o m p le ta d a
a té f i c a r q u a d r a d a c o m l i n h a s z e r o s .
PARAM ETER (N M A X -1 0 0 ) m á x im o v a l o r a n t e c i p a d o d e N
D IM E N S IO N A (M P ,N P ),W (N P ),V (N P ,N P ),R V 1 (N M A X )
I F ( M . L T . N ) P A U S E ' v o c e d e v e a u m e n t a r l i n h a s e x t r a s em A '
r e d u ç t o de H o u s e h o ld e r p a ra a fo rm a b id ia g o n a l.
0-0.0
SC A L E -0 .0
A N O R M -0 .0
D O 25 I - l . N
L = I+ 1
RV1 ( I) - S C A L E + O
0-0.0
S -0 .0
SC A L E -0 .0
IF 0 L E . M ) T H E N
DO II K - I.M
SC A L E -S C A L E + A B S (A (K ,Q )
11 C O N T I N U E
IF ( S C A L E . N E . 0 .0 ) T H E N
DO 12 K - I . M
A ( K , I) - A ( K , I) / S C A L E
S = S + A ( K .I)* A (K . I)
12 C O N T IN U E

F -A O .D
0 -- S IO N ( S Q R T ( S ) . F )
H = F *0 -S
A O , I) - F - 0
IF O .N E .N ) T H E N
DO 15 J - L . N
S -0 .0
DO 13 K - I . M
 109

S » S + A (K .I)*A (K . / )
13 C O N T I N U E
F -S/ H
DO 14 K - l . M
A ( K . .1) = A ( K . / ) + F • A ( K . J)
14 C O N T IN U E
15 C O N T I N U E
E N D IF
DO 16 K - I . M
A (K . I) “ S C A L E * A ( K . I)
16 C O N T I N U E
E N D IF
E N D IF
W ( I) - S C A L E * 0
0-0.0
S -0 .0
SC A L E -0 .0
IF ( ( I. L E . M ) . A N D . G -N E .N )) T H E N
DO 17 K - L . N

SCALE-SCALE+ABS(A(I.K))
17 C O N T I N U E
IF (SC A L E .N E .0 .0 ) T H E N
DO 18 K - L . N
A ( I, K ) “ A (I.K ) / S C A L E
S = S + A ( I, K )* A (I,K )
18 C O N T I N U E
F -A (I,L )
0 - - S IO N ( S Q R T ( S ) , F )
H = F *G -S
A G .L )-F -0
DO 19 K - L . N
R V 1 (K )= A 0 .K )/ H
19 C O N T I N U E
IF ( I. N E . M ) T H E N
D O 23 J - L . M
S -0 .0
D O 21 K - L . N
S — S + A ( J , K ) mA ( I . K )

21 C O N T I N U E
D O 22 K - L . N
A ( J . K ) - A (J .K ) + S * R V 1 (K )
22 C O N T I N U E
23 C O N T IN U E
E N D IF
D O 24 K - L . N
A (I,K )“ S C A L E *A O .K )
24 C O N T IN U E
E N D IF
E N D IF

A N O R M - M A X ( A N O R M , ( A B S ( W ( I ) ) + A B S ( R V 1 ( I) ) ) )
25 C O N T IN U E
a c u m u la ; lo d a s t ra n s f o r m a ?6 e a a d ir e it a
D O 3 2 I —N . l . - l
IF G -L T .N ) T H E N
I F ( O . N E .O . O ) T H E N
D O 26 J - L . N d u p la d i r i s l o p/ e r it a r s u b f lu x o
V ( J . I) -( A G ./ )/ A G . L )) / 0
26 C O N T I N U E
 110

D O 29 7 = L .N
S = 0 .0
D O 27 K = L .N
S « S + A (1 .K ) *V (K ,7 )
27 C O N T IN U E
D O 28 K = L ,N
<r(K.7)=V(K.7)+S*V(K.I)
28 C O N T IN U E
29 C O N T IN U E
E N D IF
D O 31 7 = L , N
V G .7 )» 0 .0
V (J.0 = 0 .0
31 C O N T I N U E
E N D IF
V ( 1 . D = 1 .0
G = R V 1 ( I)
L“I
32 C O N T IN U E
ic u m u t t ; lo d i e t r a t f o r m i f O ea d a e s q u e r d a
D O 39 I- N . l. - l
L-I+l
G - W ( I)

IF G -L T .N ) T H E N
D O 33 J= L .N
A G .0 = 0 .0
33 C O N T IN U E
E N D IF
IF (O .N E .0 .0 ) T H E N
0=1.0/0
IF G -N E .N ) T H E N
D O 36 7 = L ,N
S -0 .0
D O 34 K = L , M
S = S + A (K .I)*A (K .7 )
34 C O N T IN U E
F = (S / A G .0 )*G
D O 35 K = I, M

AG C .O =A G C .O +F*A (K .O
35 C O N T IN U E
36 C O N T IN U E
E N D IF
D O 37 J = I. M
A ( 7 ,I) = A ( 7 , I) *G
37 C O N T IN U E
ELSE
D O 38 7 = 1 .M
A ( J , I) = 0 . 0
38 C O N T IN U E
E N D IF

A G .0 = A G .0 + 1 0
39 C O N T IN U E
d ia g o n a liz a f lo da fo rm a b id r a g o n a l
D O 49 K “ N .1 .-1 lo o p e o b re r a lo r e s s in g u U r e t
D O 48 I T S = 1 .3 0 n u m . de it e rffle c p e r m ie s iv e is
D O 41 L - K . 1 , - 1
N M = L -1 rv l(l) i p e r m it d o s e r z e ro
IF ( ( A B S G ^ V 1 G O ) * A N O R M ) - E . Q . A N O R M ) OO TO 2
 Ill

I F ( ( A B S ( W ( N M ) ) * A N O R M ) .E Q . A N O R M ) 00 TO 1
41 C O N T I N U E
C -0 .0
S -1 .0
D O 43 I - L . K
F “ S * R V 1 ( I)
IF ( ( A B S ( F ) + A N O R M ) . N E . A N O R M ) THEN
0 -W (I)
H « S Q R T (F *F + 0 *G )
W ( I)- H
H -l.O / H
C -(0 *H )
S = -(F *H )
D O 42 J - l . M
V “ A (J ,N M )
Z = A ( J . I)
A (J ,N M )= (y *C )+ (Z *S )
A ( j , i) "- ( y * s ) + ( z * c )
42 C O N T IN U E
E N D IF
43 C O N T IN U E
2 Z -W (K )
IF (L .E Q .K ) T H E N c o n v e r g ê n c ia
IF (Z .L T .O .D ) T H E N v a lo r s in g u la r t f e it o p o s it iv o
W ( K ) = -Z
D O 44 Í- 1 . N
V (J .K )= -V (J .K )
44 C O N T IN U E
E N D IF
00 TO 3
E N D IF
IF ( IT S . E Q . 3 0 ) P A U S E 'N l o c o n v e rg e em 3 0 i t i r a f ò e s '
X = *W (L ) v a r i a ç I o a p a r t ir d a m a t r iz 2 x 2
MM'K-1
Y *= W (N M )
0 - R V l(N M )
H“RV1 (X)
F -((Y -Z )*(Y + Z )+ (0 -H )*(0 -H )/ (2 .0 *H *Y )
G -SQ R T (F *F + 1 .0 )
F - ( ( X - Z ) * ( X + Z ) + H * ( ( Y / ( F + S IO N ( O . F ) ) ) -H ))/ X
p r ó x im a t r a n s f o r m a ç ã o Q R
C -1 .0
S -1 .0
D O 47 J -L .N M
I=J+1
0 = R V 1 (D
Y = W ( I)
H *» S *0
G =C *0
Z -S Q R T (F *F + H *H )
R V 1 ( I) = Z
C -F / Z
S=H /Z
F = (X *C )+ (0 *S )
0 = -(X *S)+ (0 « C )
H "Y *S
Y -Y * C
D O 45 j ; - l , N
 112

X *= V (J J .J )
Z (J J .J )-(X *C )+ (Z « S )
V ( J J . I) *- ( X * S ) + ( Z *C )
A5 C O N T IN U E
Z » SQ R T (F *F + H *H )
W (J )“ Z i o U ç I o pod e s t i iibiViáiii s t Z -0
I F ( Z . N E . 0 .0 ) T H E N
Z -1 .0 / Z
C = F *Z
S -H *Z
E N D IF
F -(C » Q )+ (S *Y )
X = -(S *0 )+ (C *Y )
D O 46 J J - l. M
V = A (J J .J )
Z -A (J J .I)
A (J J ,J )= (Y *C )+ (Z *S )
A C JJ.O — ( Y * S ) + ( Z « C )
46 C O N T IN U E
47 C O N T IN U E
R V l(L )-0 .0
R V IO O - F
W (K )*= X
48 C O N T IN U E
3 C O N T IN U E
49 C O N T IN U E
RETURN
END
 113

6. TESTES REALIZADOS PARA O PROBLEMA DE M ÍN IM O S

QUADRA DOS L I N E A R

Este é dedicado exclusivam ente aos testes p a ra c o m p r o v a r o que foi

de scrito ao longo do dese nvolvimento teórico. Para isso escolhe u -se nove

testes a fim de e lucid ar os p r i n c i p a i s pontos a enfatizar.

Os resultados dos tes tes foram obtidos através da execução de um

program a computacional em linguagem "Turbo Pascal - v e rs ã o 6.0" em uma

computador 386-Sx. Este programa foi confeccionado utiliza ndo as

subroutinas de scritas ao longo do capítulo 5, algumas so fre ram algum tipo de

implementação, mas nada que mude a velocidade e a e s t a b i li d a d e das

6ubroutinas originais. O p rog ram a não se rá anexado neste, mas se rá for necida

uma c ó pia do mesmo ao Curso de Pós-G rad uação em C iências G e o d é s ic a s que

p o d e rá ser consuntado quando so licitad o.

6.1 DESCRIÇÕES PRELIMINARES

N e s t a secção s e r á f e i t a uma b rev e descrição dos o b j e t i v o s de cada

teste.

I o. teste: Este teste tem o sim p le s ob jetivo de mostrar a v a r i a ç ã o na solução

quando as equações são po n d e ra d a s p o r pesos iguais e por p e so s di ferentes .

2o. teste: Este teste m ostra a e q u iv a lê n c i a das soluções entre os métodos

deBcritos neste trabalho, quando o p ro b lem a é be m-condicionado.

 114

3o. teste: Este teste mostra a p e r d a de informações ao se formar as

equações normais de mínimoB qua drados p a r a a solução do problema.

4 o. teBte: Este teste tem por fin alid ad e m ostrar o comportamento da solução

e res íduo quando o v e to r b é pertur ba do no pro blem a de mínimos quadrados

linear.

5o. teste: Este teste tem por objetivo mostrar o comportamento da solução e

resíduo quando a matriz dos coeficientes é perturbada.

6o. teste: Este teste caracteriza v á ri o s pontos; ele mostra a desvantagem em

se formar as equações normais, c a r a c t e r i z a a dificuld ade na determinação do

posto de uma matriz, mostra a e q u iv a lê n c i a na solução p a ra os métodos

ba seados na d eco m p osição ortogonal, QR e SVD (quando não se cogita a

solução de comprimento mínimo).

7o. teste: N e ste teste, Cholesky de te cta a de fic iê n c ia de posto( enquanto

que os demais fornecem uma solução e rrada). A SVD é usada na análise e

fornece a solução de comprimento mínimo.

8o. teste: N e ste teste a matriz dos coefi cientes tem posto deficiente,

Cholesky nao d e te cta a deficiência, enquanto que os demais dectectam. A

análise é feita p e l a SVD que fornece a solução de comprimento mínimo.

9o. teste: Este teste não será im press o completamente no trabalho, é

colocado p a r a m ostrar o tempo gasto em cada método p a ra obter a solução e

matriz de c o v a r i â n c i a em um sistema inconsistente de 38 equação e 34

incógnitas.
 115

6.2 TESTES

TES TE 01: D ifere n ça entre as soluções do problem a pon d erad o p or pesos

iguais e por pesos diferentes.

a) p e s o s iguais:

M atriz A v e to r b desv. pad rõe s

3 2 1 1 5
4 5 9 2 5
2 1 0 4 5
3 4 5 7 5

V e t o r x ( s o l u ç ã o p o r QR) l|V||w =c omp. de r e s í d u o

- 2 . 1 9 3 5 4 8 387 1 0 . 6 6 0 4 0 0 660 40
5 . 8 7 0 967 741 9
- 2 . 0 6 4 5 16 129 0

b) p e s o s d i f e r e n t e s

desv. p a d r õ e s V e t o r x ( s o l u ç ã o p o r QR) comp. r e s í d u o

5 - 3 . 0 9 3 515 3 5 8 3 0 . 4 8 0 32 9 807 06
7 6 . 7 7 9 5 2 2 184 3
8 -2.1 69 283 2 7 6 5
1

T E S T E 02: E qu iv a lê n c ia dos métod os p a ra um problema bem-condicionado.

MAT RI Z A Vetor b

3 5 1 1
2 3 9 2
1 7 3 5
4 2 1 3

Os resulta dos obtidos p e lo p ro g r am a estão na t a b e la abaixo:

GausB-J Versol Cholesky QR SVD

0.14393627249 0.14393627249 0.14393627249 0.14393627249 0.14393627249

X 0.50089273451 0.50089273451 0.50089273451 0.50089273451 0.50089273452
0.05892047795 0 05892047795 0.058920477956 0.058920477935 0.058920477955 .
l|V|| 2.7053742035 2.7053742035 2.7053742035 2.7053742035 2.7053742035
 116

T ESTE 03: Perda de informaçõeB em se formar as equações normais de

mínimos quadrados e cuidados na Bolução.

Matriz A Vetor b

1 1.02 7
1 1 3
1 1 2

a) P re cisã o com un idade de a r r e d o n d a m e n t o u = J .0 E - J 2

M a t r i z At A V e t o r A^b V e t o r soluçBo

3. 0 3.02 12 -222.50
3.02 3.0404 12 .14 225.00

b) P re cisã o com unidade de a r r e d o n d a m e n t o u - 1 . 0 E - 0 4

M a t r i z A^A V e t o r A^b V e t o r soluçBo

3. 0 3.02 12 45 7
3.02 3.04 12 .1 4 -450

Comentário: P a r a a p rec isã o do p rim e iro caso, a matriz ATPA é definida

p o s i t i v a e a solução ve rd a d eir a , isso j á não acontece com a p r e c i s ã o reduzida

do segundo caso, a matriz ATPA to rna-se ind efin id a pois seus autovalores
com três digitos .significativos são: A]=-6,62 E -0 5 e A2=6,04 e a solução

completamente errada.

Este teste mostra o cuidado que se deve ter ao se l e c io n a r um método de

solução p a r a o pro blem a de mínimos quadra dos linear. P a r a o segundo caso

r e c o m e n d a r - s e - i a utilizar, QR ou o SVD. Por Cholesky o p r o b le m a seria

de te ctado mas p o r Qa uss-Jordan e Versol a solução f o r n e c i d a s e r i a errada.

T ES TE 04: Este teste tem a f in a l id a d e de m ostrar o comportamento da

solução e do residual quando o v e to r b é pertuba do inteiramente no espaço

coluna de A e no espaço nulo de A T.

 117

a) P roblem a o r i g i n a l ( sem p e r t u b a ç ã o )

MATRIZ A Vetor b

1 1 1
1 0 0
0 1 -5

Vetor x (so lu ç ã o p o r QR) Comp. do r es ídu o

2.0 00 3.464 101 615 1

-3 .0 0 0

b) O p r o b l e m a com o v e to r b p e r t u b a d o i n t e i r a m e n t e no esp aço coluna de A.

Vetor b+ôb Vetor x (solução p o r QR) Comp. do resíduo

1.002000 2.001 3.464 101 615 1

0.001000 -2.999
-4.999000

comentário: O c o rreu modificação na solução mas não no resíduo.

c) P e r tu b a ç ã o no v e t o r b i n te i r a m e n te no e sp a ç o n ulo de AT.

Vetor b Vetor x (solução por QR) Comp. do resíduo

1.001 2.000 3.465 833 665 9

-0.001 -3.000
-5.001

Cometário: N ã o o c o r r e u mudança na solução , mas houve mudança no resíduo.

Comentário final: Este teste mostra o c u id a d o que se deve ter ao analis ar se

um p r o b l e m a é ou não mal-con diciona do. Se fo r v o l t a d a a atenção somente

p a r a a so lu ção, v iu -se que dependendo da v a r i a ç ã o f e i t a no vetor b esta não

sofre mudança, mas isto não garante que o problema é bem-condionado, o

resíduo poderá ficar muito elevad o (nas c iê n c i a s ob se rv acionais, a

c o n seq u ência s e r i a n a v a r i â n c i a da unidade de p e so a -p o s te r io r i ).

 118

T ESTE 05: Este teste tem p o r o bjetiv o mostrar o comportamento da solução

e do resíduo quando a matriz A é pertubada.

a) P r o b le m a o r i g i n a l sem p e r t u b a ç ã o

MATRIZ, A Vetor b

1 1 2.000 00
1 1 0.000 01
1 1 4 . 0 0 0 01

M E T O D O DA D E C O M P. D E VALOR S I N G U L A R

MATRIZ U MATRIZ V

- 8 . 1 6 4 9 7 9 4 1 75E-01 - 5 . 7 7 3 4 8 3 4 4 6 9 E - 0 1 - 7 . 0 7 1 0 9 1 3 8 2 0 E - 0 1 - 7 . 0 7 1 0 4 4 2 4 1 6E-01
4 . 0 8 2 4 6 9 2 9 6 4 E - 0 1 -5 .7 7 3 5 1 23 14 4 E - 0 1 7 . 0 7 1 0 4 4 2 4 1 6 E - 0 1 - 7 . 0 7 1 09 1 3 8 2 0 E - 0 1
4 . 0 8 2 4 6 9 2 9 6 4 E - 0 1 - 3 . 7 7 3 5 1 23 1 4 4 E - 0 1

V e t o r W (v al o r es s i n g u l a r e s ) V etor X (solução)

5.77 3 4 8 2 2 2 5 7 E - 06 9 . 9 9 9 9 9 1 17 26E-01
2 . 4 4 9 4 9 7 9 0 7 8E+00 1.0000008827E+ 00

C o m p r im . do r e s í d u o = 2 . 8 2 8 4 2 7 1 2 4 8 E + 0 0

b) M a t r i z A p e r t u b a d a s o m e n t e no seu e s p a ç o coluna de A (a co lu n a não

nula da m a tr iz de p e r t u b a ç ã o è m ú l t i p l a da s egu nda c o lu n a de U no

p r o b l e m a (a) ).

MATRI Z A+ÔA

1.00001 1.00000
1.00001 1.00001
1.00001 1.00001
M E T O D O DA DECOMP. DE VALOR S I N G U L A R

MATRIZ U MATR IZ V

- 5 . 7 7 3 4 8 3 4 4 7 lE -0 1 8.1 6 4 9 7 9 4 1 7 4 E - 0 1 -7 . 0 7 1 0 7 95 96 8 E- 0 1 7 . 0 7 1 0 5 6 0 2 6 9 E - 0 1
-5.7735123143E-01 -4.0824692965E -01 -7 .0 7 1 05 6 0 2 6 9 E - 0 1 - 7 . 0 7 1 0 7 9 5 9 6 8 E - 0 1
- 5 . 7 7 3 5 1 23 143E-01 -4.0824692965E-01

V e t o r W ( v a l o r e s s in g u l a r e s ) Vetor x (solução)

2 . 4 4 9 5 1 01 5 5 2E+ 00 9.999890921 9 E -0 1
5.77 351 1 093 l E- 0 6 1 .0 0 0 0 0 0 9 0 7 9E+00

Co m p rim . do r e s í d u o = 2 . 8 2 8 4 2 7 1 2 4 8 E + 0 0
 119

c) P e r t u b a ç â o em A som en te no e s p a ç o c olu n a ( a c olu n a não nula da m atriz

de p e r t u b a ç â o é m ú l t i p l a da p r i m e i r a co lu na de U do p r o b l e m a (a) ).

MATRIZ A+ SA

100000 0.99998
100000 1.00002
100000 1.00002

METODO DA D E C O M P. D E VALOR S I N G U L A R

MATRIZ U MATRIZ V

-8.1650202420E-01 - 5 . 7 7 3 4 2 5 7 1 1 6E-01 -7.07 1 091 3 8 2 6 E - 0 1 - 7. 07 1 0 4 4 2 4 1 OE-01

4.0824284714E-01 - 5 . 7 7 3 5 4 1 1 8 1 6E-01 7 . 0 7 1 0 4 4 2 4 1 0E-01 -7.0710913826E-01
4 . 0 8 2 4 2 8 4 7 14E-01 - 5 . 7 7 3 5 4 1 1 8 16 E- 0 1

Vetor W (valores singulares) Vetor x (solução)

2.3093932540E-05 1. 7 5 0 0 0 4 6 9 9 5 E + 0 0
2 . 4 4 9 4 9 7 907 9 E + 0 0 2.5 0 0 0 0 3 0 0 4 7 E - 0 1

Comp rim . do r e s i d u o = 2 .8 28427 12 4 8 E + 0 0

d) P ert ubaçâo em A somente no espaço nulo de AT ( a coluna não nula da

matriz de p e rtu b a çâ o é m últipla da ú ltim a coluna de U, a qual não é calculada

pelo algoritmo apresentado. Tal pertubaçâo foi ob tid a conforme exposto no

exemplo da pg. 36).

MATRIZ A

1.00000 1.00000 •
1.00000 1.00000
1.00000 1.00002

METODO DA DECOMP. DE VALOR S I N G U L A R

MATRIZ U MATRIZ V

- 4 . 0 8 2 5 0 9 5 5 0 8E-01 5.7734834468E-01 -7.0710913821E-01 7 . 0 7 1 0 4 4 2 4 1 5E- 01

-4.0825106914 E - 0 1 5.7734834468E-01 7.0710442415E -01 7 . 0 7 1 0 9 1 3 8 2 1 E-01
8.1649385926E-01 5 .7 7 3 5 4 1 1 8 1 8 E - 0 1

Vetor W (valores singulares) Vetor X (solucao)

1.1546966064E-05 -1 .4999926775E+05
2 . 4 4 9 4 9 7 907 8 E + 00 1.5000026776E+05

Comprim. do r e s i d u o = 1.414206491 3E+00

 120

comentário: quando a pertubaç&o se dá somente no eBpaço coluna de A, o

reBÍduo não Bofre a lte r a ç ã o (ver equação (4.50 ), mas a solução sim. A maior

v a ri a ç ã o na solução é quando a p ert ub ação em A m últip la do menor v a lo r

singular. Quando a pertubação ocorre no esp aço nulo de AT, ambos sofrem

a ltera çõ e s, a solução e o resíduo.

TESTE 06: Este teste reune v á ria s c a r a c t e r í s t i c a s de uma só vez. Ele mostra

a desvantagem em Be formar aB equações normais, c a r a c t e r i z a a dificuldade

na determinação do posto e mostra a e q u iv a lê n c i a das sol uções pelo método

QR e SVD.

obs.: neste e nos próximos dois testes a segu ir s e r á im pre ssa a matriz de

c o v ariàn c ia s dos p arâ m etro s ajustados ( ver GEMAEL 1974) a fim de tornar

este trabalho mais a p lic a tiv o e m ostrar uma c a r a c t e r í s t i c a a mais na análise.

O program a foi implementado p a ra fazer esses cálculos.

MATRIZ A
-1 .3 4 0 5 5 5 0 0 0 0 E -0 1 -2 .0 1 6 2 8 3 0 0 0 0 E -0 1 -1 .6 9 3 0 7 8 0 0 0 0 E -0 1 -1 .8 9 7 1 9 9 0 0 0 0 E -0 1 -1 .7 3 8 7 2 3 0 0 0 0 E -0 1

-1.O 3794800O O E-01 - 1 .5 7 6 6 3 4 0 0 0 0 E -0 1 -1.33462 60O 0 O E -01 -1 .4 8 4 8 5 5 0 0 0 0 E -0 1 -1.359769O 0O O E-O 1

- 8 .7 7 9 5 9 7 0 0 0 0 E -0 2 - 1 .2 8 8 3 8 7 0 0 0 0 E -0 1 -1 .0 6 8 3 0 1 0 0 0 0 E -0 1 - 1 . 2 0 1 1 8 0 0 0 0 0 E -0 1 -1 .0 9 3 2 9 7 0 0 0 0 E -0 1

2 .0 3 8 5 5 4 0 0 0 0 E -0 2 3 .3 5 3 3 1 0 0 0 0 0 E -0 3 -1 .6 4 1 2 7 0 0 0 0 0 E -0 2 7 . 8 6 0 6 0 0 0 0 0 0 E -0 4 2 . 7 1 6 5 9 0 0 0 0 0 E -0 3

-3.248O 93O 0OO E-Q 2 -1 .8 7 6 7 9 9 0 0 0 0 E -0 2 4.1O 639O O 000E-O 3 - 1 .4 0 5 8 9 4 0 0 0 0 E -0 2 -1 .3 8 4 3 9 1 0 0 0 0 E -0 2

5 . 9 6 7 6 6 2 0 0 0 0 E -0 2 6.667714O O O O E-02 4 .3 5 2 1 5 3 0 0 0 0 E -0 2 5.740438O O 0O E-O 2 5.024 9 6 2 0 0 0 0 E - 0 2

6 .7 1 2 4 5 7 0 0 0 0 E -0 2 7 . 3 5 2 4 3 7 0 0 0 0 E -0 2 4 . 4 8 9 7 7 0 0 0 0 0 E -0 2 6 . 4 7 1 8 6 2 0 0 0 0 E -0 2 5 . 8 7 6 4 5 5 0 0 0 0 E -0 2

8 .6 8 7 1 8 6 0 0 0 0 E -0 2 9 .3 6 8 2 9 6 0 0 0 0 E - 0 2 5 .6 7 2 3 2 7 0 0 0 0 E -0 2 8.14 1 0 4 3 0 0 0 0 E -0 2 7 .3 0 2 3 2 0 0 0 0 0 E -0 2

2 .1 4 9 6 6 2 0 0 0 0 E -0 2 6.2226620O O O E-O 2 7 . 2 1 3 4 8 6 0 0 0 0 E -0 2 6.200069O 0O O E-O 2 5 . 5 7 0 9 3 1OO0OE-O2

6 .6 8 7 4 0 7 0 0 0 0 E -0 2 1 .0 3 4 4 5 1 0 0 0 0 E -0 1 9 .1 5 3 8 4 9 0 0 0 0 E -0 2 9.5 0 8 2 2 3 0 0 0 0 E -0 2 8 .3 9 3 6 6 7 0 0 0 0 E -0 2

1 .5 8 7 9 0 7 0 0 0 0 E -0 1 1 .8 0 8 8 3 4 0 0 0 0 E -0 1 1 .1 5 4 0 6 9 0 0 0 0 E -0 1 1.616 0 7 3 0 0 0 0 E -0 1 1 .4 7 9 6 4 8 0 0 0 0 E -0 1

1 .7 6 4 2 8 9 0 0 0 0 E -0 1 2 .0 3 6 1 8 3 0 0 0 0 E -0 1 1 .3 0 5 7 8 6 0 0 0 0 E -0 1 1 .8 3 8 5 7 3 0 0 0 0 E -0 1 1 .7 0 0 5 5 5 0 0 0 0 E -0 1

1 .1 4 1 4 0 8 0 0 0 0 E -0 1 1 .7 2 5 9 6 1 0 0 0 0 E -0 1 1 .4 8 1 6 4 7 0 0 0 0 E -0 1 1 .6 0 0 7 4 7 0 0 0 0 E -0 1 1 .4 3 7 4 1 0 0 0 0 0 E -0 1

7 .8 4 6 0 3 8 0 0 0 0 E -0 2 1 .4 6 6 9 5 6 0 0 0 0 E -0 1 1 .4 3 6 J 8 0 0 0 0 0 E -0 1 1 .4 0 0 3 8 4 0 0 0 0 E -0 1 1 .2 5 7 1 180OO0E-O1

1 .0 8 0 3 1 8 0 0 0 0 E -0 1 1 .6 9 9 4 6 2 0 0 0 0 E -0 1 1.49715 2 0 0 0 0 E -0 1 1 .5 8 8 5 3 1 0 0 0 0 E -0 1 1 .4 3 0 1 5 5 0 0 0 0 E -0 1
 121

Vetor b desv. p a d rõ e s

-0 .4 3 6 1 0 0 1.000000
- 0 .3 43 7 00 1.000000
- 0 .2 65 7 00 1.000000
-0.039200 1. 000000
0.01 9 30 0 1.000000
0.07 4 70 0 1.000000
0.09 3 50 0 1.000000
0.10 7 90 0 1.000000
0.19 3 00 0 1.000 000
0 .2 05 8 00 1.000000
0 .2 60 6 00 1.000000
0.31 4 20 0 1.000000
0.35 2 90 0 1.000000
0 .3 61 5 00 1.000000
0.36 4 70 0 1.000000

M E T O D O DA ELI M. DE G A U S S - J O R D A N

VETOR X ( s o l u c a o )
- 6 . 3 5 5 4 9 7 7 127E-01
- 2 .4 5 3 6 9 4 8 3 96 E+ 00
2.0545839088E+00
-2.4429301 733E+00
6.5 0 8 6 4 9 2 2 4 9 E + 00

C o m p r im . do r e s í d u o = 1 .3 92 63 1 1 2 0 8 E - 0 4

V a r i a n c i a da unidade peso a - p o s t e r i o r i = 1.9394214386E-09

M ATR IZ CO VARIANCIA
•1.1572290549E+03 1.6070657777E+03 -1.2752070849E+03 1.4832983693E+03 -1.3481476116E+03
1.6092387117E+03 -2.2322645150E+03 1.7740784638E+03 -2.0692511446E+03 1.87S2342029E+03
-1.2745334034E+03 1.7707484479E+03 -1.4042286634E+03 1.6316147406E+03 -1.4837181109E+03
1.4776132562E+03 -2.0585709253E+03 1.6262135403E+03 -1.8767367706E+03 1.7122187088E+03
• 1.3451201753E+03 1.8714985226E+03 -1.4811668562E+03 1.7149612776E+03 -1.5621537109E+03

M E T O D O DA 'SUBROT. V E R S O L*

VETOR X ( s o l u ç ã o )

- 2 .2 5 OOOOOOOOE+OO
O.OOOOOOOOOOE+OO
2 .- 5 0 0 0 0 0 0 0 0 0 E - 0 1
-1.0000000000E+00
4.7 5 OOOOOOOOE+OO

C o m p r im . do r e s í d u o = 1 . 4 7 8 8 3 6 2 2 1 6 E - 0 1

V a r i a n c i a da unidade pe so a - p o s t e r i o r i = 2.1 8 6 9 5 6 5 7 0 4 E - 0 3
 122

MATRIZ CO VARI ÂN CIA

•9.3282762505E+08 1.2968386265E+09 -1.0274931333E+09 1.1919963570E+09 -1.0847694497E+09
1.2955086700E+09 -1.7982087964E+09 1.4278595897E+09 -1.6628652123E+09 1.5104783275E+09
-1.0279054639E+09 1.4298977448E+09 -1.1319469553E+09 1.3111882164E+09 -1.1941082220E+09
1.1954759624E+09 -1.6694021007E+09 1.3144940514E+09 -1.5081938694E+09 1.3798557355E+09
-1.0866224 090E+09 1.5146009385E+09 -1.1956697317E+09 1.3781771307E+09 -1.2581069067E+09

MÉ T O DO DE C H O L E S K Y

A m a t r i z ATP A n a o e de fi n i d a p o s i t i v a e a s o l u c a o fo ge ao a l c a n c e do
m é t o d o de CH OLE SKY . Pa r a e s te caso , a s o l u c a o do p r o b l e m a de m i n i m o s
quad rad os l i n e a r a tr a vé s das e q u a c o e s n o r m a i s nao e c o nf iá ve l.

ME T O DO QR

V e t o r X ( so lu ç& o)

-8.3 7 43 4 27 23 4 E + 00
8.292250941 9E+00
- 6 . 4 7 3 4 9 8 3 0 2 0 E + 00
7.47 9 1 7 9 3 8 8 9 E + 0 0
-2.508361691 9E+00

Comprim. do r e s í d u o = 1. 39 2 3 3 1 0 9 8 8 E - 0 4

Va riancia da un i d a d e p e s o a - p o s t e r i o r i = 1. 9 3 8 5 8 5 8 8 8 7 E - 0 9

MATRIZ CO VARI ÂN CIA

1.3909023107E+04 -1.9307891586E+04 1.5329458090E+04 -1.7848618743E+04 1.6214630675E+04
-1.9307891586E+04 2.6804875492E+04 -2.1278897545E+04 2.4770089112E+04 -2.2504932802E+04
1.5329458090E+04 -2.1278897545E+04 1.6895194108E+D4 -1.96734 16645E+04 1.7871607401E+04
-1.7848618743E+04 2.4770089112E+04 -1.9673416645E+04 2.2921269324E+04 -2.0816428075E+04
1.6214630675E+04 -2.2504932802E+04 1.7871607401E+04 -2.0816428075E+04 1.8907302042E+04

MÉ T O DO DA DECOMP. DE VALOR S I N G U L A R

V e t or W ( v a l o r e s s i n g u l a r e s )

1.00000001 92E+00
1. 0 0 0 0 0 0 0 3 6 2 E - 0 1
9.9999558899E-03
1.3963999608E-07
9.99896067 93E-06
 123

Vetor X (solucao)

-8.3740741 624E+00
8 . 2 9 1 8 7 8 2 6 3 4 E + 00
•6.47 3 2 0 2 2 7 5 8 E + 0 0
7.478834431 9E+00
-2.5080484386E +00

Co m p r im . do r e s í d u o = 1.39233 10 9 2 4 E -0 4

V a r i â n c i a da u ni dad e p e s o a - p o s t e r i o r i = 1. 9 3 8 5 8 5 8 7 0 8 E - 0 9

MATRIZ CO VARIÂNCIA
1 .3 9 0 8 9 9 6 5 4 8 E + 0 4 - 1 . 9 3 0 7 8 5 4 8 1 7 E + 0 4 1.53294 2 8 7 8 8 E + 0 4 - 1 . 7 8 4 8 5 8 4 4 0 3 E + 0 4 1 .6 2 1 4 5 9 9 5 7 7 E + 0 4

-1 .9 3 0 7 8 5 4 8 1 7 E + 0 4 2 .6 8 0 4 8 2 4 5 8 8 E + 0 4 -2 .1 2 7 8 8 5 6 9 7 9 E + 0 4 2 .4770 041570E+O 4 -2 .2 5 0 4 8 8 9 7 4 8 E + 0 4

1 .5 3 2 9 4 2 8 7 8 8 E + 0 4 - 2 . 1 2 7 8 8 5 6 9 7 9 E + 0 4 1 .6 8 9 5 1 6 1 7 8 0 E + 0 4 - 1 . 9 6 7 3 3 7 8 7 5 9 E + 0 4 1 .7 8 7 1 5 7 3 0 9 0 E + 0 4

• 1 .7 8 4 8 5 8 4 4 0 3 E + 0 4 2 .4 7 7 0 0 4 1 5 7 0 E + 0 4 -1 .9 6 7 3 3 7 8 7 5 9 E + 0 4 2 .2 9 2 1 2 2 4 9 2 6 E + 0 4 -2 .0 8 1 6 3 8 7 8 6 7 E + 0 4

1 .6 2 1 4 5 9 9 5 7 7 E + 0 4 -2 .2 5 0 4 8 8 9 7 4 8 E + 0 4 1 .7 8 7 1 5 7 3 0 9 0 E + 0 4 -2 .0 8 1 6 3 8 7 8 6 7 E + 0 4 1 .8 9 0 7 2 6 5 6 2 9 E + 0 4

TESTE 07: Neste teste, Cholesky detecta a d e fi c iê n c i a de p o sto na matriz A,

enquanto que Oa uss-Jo rdan e Versol fornecem uma solução e rr a d a p a ra o

problema. A SVD é u sa d a p a r a a determinação do posto e fornece a solução

de comprimento mínimo.

MATRIZ A vetor b

1 2 2 6
7 6 10 6
4 4 6 8
1 0 1

M E T O D O DA ELI M. DE G A U S S - J O R D A N

VETOR X ( s o l u c a o )

-8.5714285714E-01
2.37 1 4 2 8 5 7 1 4 E + 0 0
-1.42857 14284E-01

C o m p rim . do r e s í d u o = 5 . 2 9 1 50 26 22 1E+ -0 0

V a r ia n c ia da unidade p e s o a - p o s t e r i o r i = 2 . 8 0 0 0 0 0 0 0 0 0 E + 0 1

MATRIZ CO VARIANCIA

2 . 7 4 8 7 7 9 0 6 9 4 E + 1 1 1. 3 7 4 3 8 9 5 3 4 6 E + 1 1 - 2 . 7 4 8 7 7 9 0 6 9 4 E + 1 1
1. 3 7 4 3 8 9 5 3 4 6 E + 1 1 6.87 19 4 7 6 7 5 5 E + 1 0 - 1 . 3 7 4 3 8 9 5 3 4 8 E + 11
* 2 .7 4 8 7 7 9 0 6 9 4 E + 1 1 - 1 . 3 7 4 3 8 9 5 3 4 8 E + 1 1 2 . 7 4 8 7 7 9 0 6 9 5 E + 1 1
 124

M E T O D O DA ’ 3UBROT. V E R S O L*

VETOR X ( s o l u c a o )

2. OOOOOOOOOOE+OO
3.0000000000E+00
- 2 . OOOOOOOOOOE+OO

Co m p r im . do r e s í d u o = 7 . OOOOOOOOOOE+OO

V a r i a n c i a da unidade p e s o a - p o s t e r i o r i — 4 . 9 0 0 0 0 0 0 0 0 0 E + 0 1

MATRIZ CO VARIANCIA

8 . 4 1 8 1 3 5 9 0 0 4 E + 1 1 4 . 2 0 9 0 6 7 9 4 9 9 E + 1 1 - 8 . 4 1 81 3 5 9 0 0 2 E + 1 1
4 . 2 0 9 0 6 7 9 4 9 9 E + 1 1 2.1 0 4 5 3 3 9 7 5 3 E + 1 1 - 4 . 2 0 9 0 6 7 9 5 01 E + 11
- 8 . 4 1 8 1 3 5 9 0 0 2 E + 1 1 - 4 . 2 0 9 0 6 7 95 01 E + 1 1 8.4 1 81 3 5 9 0 0 2 E + 1 1

METODO DE C H O L E S K Y

A m a t r i z ATPA nao e d e fi n i d a p o s i t i v a e a s o l u c a o foge ao alcance do

m e t o d o de CHOLESKY. P a r a e s te c a so , a s o l u c a o do p r o b le m a de m i n i m o s
q u a d ra d o s l in e a r através das e q u a c o e s n o r m a i s nao e confiável.

METODO QR

Vetor X (solucao)

1 . 5 3 1 5 2 9 4 0 0 6 E + 10
7 . 6 5 7 6 4 7 0 0 5 8 E + 09
-1 .53 1 5 2 94 0 07 E+ 1 0

C o m p rim . do r e s í d u o = 5 . 27 6 0 9 3 0 S 14 E + 0 0

V a r i a n c i a da unidade pe so a - p o s t e r i o r i = 2 . 7 8 3 7 1 5 8 2 0 3 E + 0 1

MATRIZ CO VARIANCIA

5 . 2 5 3 1 6 0 4 7 5 6 E + 2 3 . 2 . 6 2 6 5 8 0 2 3 7 8 E + 2 3 -5 .25 3 1 6 0 4 7 5 6E+23
2. 62 65 80 237 8E+2 3 1 . 3 1 3 2 9 0 1 1 8 9 E + 23 - 2 .Ó 2 6 5 8 0 2 3 7 8 E + 2 3
-5 .2 5 3 1 604756E+23 -2.6265802378E+23 5. 25 31 6 0 4 7 5 5 E + 23

M E T O D O DA DECOMP. DE VALOR S I NGULAR

V e t o r W ( v a l o r e s s in g u l a re s )

1.62 07 9 64 87 7 E + 01
7.7397363334E -12
1 . 1 4 0 9 9 7 1 6 7 1 E+ 00

Num. de c o n d i c a o na n o r m a 2 = 2 .0 9 4 1 2 3 6 4 7 0 E + 1 2

V etor X (solucao)

1 . 0 4 8 6 9 2 6 3 5 7 E + 11
5 . 2 4 3 4 63 1785E+1 0
- 1 . 0 4 8 6 9 2 6 3 5 7 E + 11
 125

Comprim. do r e s i d u o = 6.1 0 9 6 7 4 7 0 4 9 E + 0 0

Var ian cia da u ni da de p e s o a - p o s t e r i o r i = 3 .7 3 2 8 1 2 5 0 0 0 E + 0 1

MATRIZ CO VARIANCIA

2 . 7 6 9 4 9 9 7 2 0 6 E + 23 1 . 3 8 4 7 4 9 8 6 0 3 E + 2 3 - 2 . 7 6 9 4 9 9 7 2 0 6 E + 2 3
1 . 3 8 4 7 4 9 8 6 0 3 E + 23 6 . 9 2 3 7 4 9 3 0 1 3 E + 2 2 - 1 . 3 8 4 7 4 9 8 6 0 3 E + 2 3
*2.7 6 9 4 9 9 7 2 0 6 E + 2 3 - 1 . 3 8 4 7 4 9 8 6 0 3 E + 2 3 2 . 7 6 9 4 9 9 7 2 Ò 6 E + 2 3

MÉ T O D O DA DECOMP. DE VALOR S I N G U L A R

Vetor W (valores singulares)

1.6207964877E + 0 1
7.7397363334E-1 2
1 .1 4 0997167lE+00

Num. de c o n d i c a o na n o r m a 2 = 2.0 94 1 2 3 6 4 7 0E+ 1 2

Vetor W (valores singulares)

1. 6 2 0 7 9 6 4 8 7 7 E + 01
O.OOOOOOOOOOE+OO
1.1409971671 E+00

Vetor X ( s o l u c a o de c o m p r i m e n t o m in im o)

- 1 . 1 1 1 1 1 1 1 1 1 1E + 0 0
2 .4 4 4 4 4 4 4 4 4 5 E+00
1 . 1 1 1 1 1 1 1 1 1 OE-01

Com prim. do r e s í d u o = 5.291 5 0 2 6 2 21 E+00

Varia nc ia da u ni da de p e s o a - p o s t e r i o r i = 2 . 8 0 0 0 0 0 0 0 0 0 E + 0 1

MATRIZ CO VARIANCIA

6 .5 2 2 4 1 7 1 5 3 9 E + 0 0 -9.7 1 5 3 99 6 1 OOE+OO 1. 6 6 4 7 17 3 4 8 9 E + 0 0
-9.7 1 53 99 6 1 OOE+OO 1 . 4 6 2 7 6 8 0 3 1 2E+01 -2 .4 01 5 5 9 4 5 4 2 E + 0 0
1 . 6 6 4 7 1 7 34 8 9 E + 0 0 -2 .4 01 5 5 9 4 5 4 2 E + 0 0 4 .6 3 93 7 62 1 8 5 E - 0 1

TESTE 08: Este teste é aplicado a uma matriz de posto deficiente p a ra

mostrar que nem sempre Cholesky detecta o problem a, também mostra a

vantagem d a SVD p a r a a análise e fornece a solução de comprimento mínimo.

MATRIZ A Vetor b

5 5 6
5 5 4
5 5 4
 126

ELIMIN. DE G A U S S - J O R D A N

Pa u s a 2 em G a u s s J - A m at r iz A nao tem p o s t o c o m p l e t o e a e l i m i n a c a o
nao pode c o n ti n u a r.

ME T O DO DA "SUBROT. V E R S O L"

E s t e p r o b l e m a nao pode s e r r e s o l v i d o pela ' s u b r o t i n a v e r s o l ' , p o i s a

m a t r iz A nao t e m p o s t o c o m p l e to .

M E T O D O DE C H OL E S KY

Vetor X (solucao)

-6.6666666666E-02
l.OOOOOOOOOOE+OO

Co mprim. do r e s í d u o = 1 .6 3 2 9 9 3 1 61 9E+ 0 0
V a ria nc ia da un i d a d e p e s o a - p o s t e r i o r i = 2 . 6 6 6 6 6 6 6 6 6 7 E + 00

MATRIZ CO VARIANCIA

2 . 2 9 0 6 4 9 2 2 4 5 E + 10 - 2 . 2 9 0 6 4 9 2 2 4 5 E + 10
-2.2 9 064 9 2 2 4 5 E + 1 0 2 . 2 9 0 6 4 9 2 2 4 5 E + 1 0

M E T O D O QR

Est a m a t r i z nao p o s s u i p o s t o c o m p l e t o e nao se ra p o s s i v e l

c o n t i n u a r ate a s o lu c a o ,

METODO DA DECOMP. DE VALOR S I N G U L A R

V e t o r W ( v a l o r e s s in g u l a r e s )

1.4551915 2 2 8 E - 1 1
1 . 2 2 4 7 4 4 8 7 1 4E+ 01 .

Num. de c o n d i c a o na no r m a 2 = 8.4 1 6 3 8 2 6 6 9 7 E + 1 1

Vetor X (solucao)

- 7 . 9 3 5 0 4 1 67 8 4 E + 3 0
7.93 5041 67 8 5 E + 1 0

Co mprim . do r e s í d u o = 2 .5 9 8 0 7 6 2 1 14E+00

V a ria nc ia da u n id ad e p e s o a - p o s t e r i o r i = 6.7 5 OOOOOOOOE+OO

MATRIZ CO VARIANCIA

1 . 5 9 3 7 9 S 6 S 8 0 E + 2 2 - 1.5 937 9 8 Ó 8 8 0 E + 2 2
-1.5 937 9 8 6 8 8 0 E + 2 2 1.59 3 7 9 8 6 8 8 0 E + 2 2
 127

ME T O DO DA DECOMP. DE VALOR S I N G U L A R

V e t o r W ( v al o r es s i n g u l a r e s )

1. 4 5 5 1 9 1 5 2 2 8 E - 1 1
1 . 2 2 4 7 4 4 8 7 1 4E+01

Num. de c o n d ic a o na n o r m a 2 ■» 8.41 6 3 8 2 6 6 9 7 E + 1 1

Vetor W (valores singulares)

0.0000000000E+00
1 . 2 2 4 7 4 4 8 7 14E+01

V e t o r X ( s o l u c a o de c o m p r i m e n t o m i n i m o )

4.6666666667E-01
4.6666666667E-01

Comp rim . do r e s í d u o = 1 . 6 3 2 9 9 3 16 19 E + 0 0

V a ri a n c ia da unidade p e s o a - p o s t e r i o r i = 2 . 6 6 6 6 6 6 6 6 6 7 E + 0 0

MATRIZ CO VARIANCIA

8 . 8 8 8 8 8 8 8 8 8 8 E -03 8.8888888888E -03

8 . 8 8 8 8 8 8 8 8 8 8E-03 8.8888888888E-03

TESTE 09: Este teste faz compa ração do tempo gasto p e lo s métodos em se

obter a solução e posterio rm ente p a r a obter a matriz de c o v a r i â n c ia s dos

parâmetros. Foi colocado no intuito de compa rar a v e lo c id a d e de cada um dos

métodos. Os tempos na obtenção dos r esulta do s são m ed id o s atr av és de uma

subroutina c olo cada no prog rama (su broutina V E R H O R A S ) . Sua localização

no program a principal determina a igualdade de cond ições na comparação da

medição dos tempos. Neste teste a matriz A tem 38 linhas p o r 34 colunas, os

tempos obtidos estão r e l a c i o n a d o s na t a b e la a seguir

Método Tempo p/ ob ter a Tempo p/ obter a Tempo Total

solução e ||V|J matriz cov ariân c ia
Ga uss -Jordan 3.52 s 1.98 s 5.50 s
VerBol 3.29 s 2.04 s 5.33 8
Cholesky 1.76 8 2.64 8 4.40 8
QR 1.97 8 2.64 8 4.61 8
SVD 12.86 8 8.02 8 20.88 8
 128

7. P R O B L E M A DE M Í N I M O S Q U A D R A D O S N Â O - L I N E A R

Até aqui foi discutido amplamente o p ro b lem a de mínimos quadrados

linear. Conclu i-se que p a r a manter a e s ta b ilid a d e na solução quando o

sistema é suspeito de se r m al-con d icio n ad o deve-se u t il i z a r a decomposição

de v a lo r sin gular (SVD) ou a decom posi ção QR. Também vi u-se que na

solução do p rob lem a, o método mais rápid o é o método utilizando a

decomposição de Cholesky.

T ais c o nclu sões devem serem re t i d a s na mente quando for tratado o

problem a de mínimos quadradoB n ã o -lin ea r, pois este é solucionado

iterativamente e em c a d a ite ração deve ser r e s o l v id o um p r o b le m a de

mínimos q ua dra dos linear.

O p r o b l e m a de mínimos qua drados equação (1.1) generalizad o através

da p o nd e ra çã o po de ser definido como:

(7.1)

onde:

f : Rn->R , função objetivo

V : Rn->Rm > n ã o -l i n e a r em x ;
I ' : é a nor ma como d e fin id a em (3.40).

Uma m a n e ir a equivalente em defin ir o p r o b le m a é:

min = VTPV (7.2)

onde:
 129

P : matriz dos pesos;

V : função de x (fica im plícito).

P a r a a solução de (7.1) s e r á prop o sto dois métodos tirados da

progamação oã o-linear. O método de GauBs-Newton e o método de

L evenberg- Marqu ardt.

O método de Ga uss-New ton é o método mais bá sico e mais comumente

usado, principalm en te em G e o d ésia . O método de Levenberg-M arq uardt

porque é um método de con v ergência global* e utiliza o que de maiB recente

vem sendo p e squ isa d o p a r a minimização de funções n ã o -lin ea r es , que é a

região de confiança.

A seguir s e r á descrito c a d a um deles e ao final serão feitaB algumas

comparações quanto a con v erg ên c ia e número de ite rações que cada leva p a ra

a lc a n ç a r a solução dentro de uma de term inada p r e c i s ã o , aplicádoB a um

p ro b lem a simples da Geodésia.

7.1 MÉTODO DE GAUSS-NEWTON

O método de Gauss -New ton utiliza um modelo afim de V em um ponto

aproximado, x 0. Pe rm ita que V ( x 0 ) rep re se nte a equação residu al a v alia d a

no ponto aproximado xo. O modelo afim de V(x) é então de finido por:

Vç(x )= V ( x 0)+ J ( x 0) ( x - x 0 ) (7.3)

onde:

V c(x) : é a aproximação lin ear p a r a V(x) no p o n t o ( x 0 );

J ( x 0) : é a matriz j a c o b i a n o c alcu lad a no ponto x 0

Se en te n d e p o r m é t o d o de c o n v e r g ê n c i a g lo ba l, aq uele m é t o d o que a p a r t i r de qualquer

p o n t o in ic ia l c o n v e r g e para um m i n i m o l o c a l , que po de n#o s e r o m ín i m o gl obal da
funçS o ( m í n im o s doa m í n i m o s ) .
 130

( x - x 0 )=Ax : vetor das correçõeB aos parâmetros aproximados.

O probem a de mínimos q u a d ra d o s não-linear torn ou-se agora um

p r o b l e m a de mínimos quadrado s lin ear, pois (7.3) rep r e se n ta um sistema de

eq u açõ es lineares inconsistente e o caminho agora é r e s o l v e - l o UBando o

c r i t é r i o de mínimos quadrados.

m ia ||V X = VCTP v c (7.4)

A soluç ão p a ra (7.4) pode ser o b t i d a p e la s decomposiçõe s QR ou SVD

ou a in d a p or qualquer dos métodos que se utilizam das equaç ões normais,

p a r a e ssa s a solução p a ra o p r o b l e m a torn a-se :

A x = - [ J ( x 0) T p j ( * 0 ) ] - l J ( x 0 )Tp V ( x 0 ) (7.5)

desde que [ J ( x 0 )TP J ( x 0 )] tenha i n v e r s a o rdinária, x é então c alculad o como:

x = x 0+Ax (7.6)

O parâmetro x só se rá ponto de mínimo de f(x) se V(x) for linear, caso

co n trá rio x corresponde apenas a um v a lo r melhorado de x 0> numa d ireção de

d ecrescim ento f(x) (desde de que J ( x 0 ) tenha posto completo).

Em muitas ap lica çõ e s da G e o d é s i a e s s a pri meira ite ração j á fornece

par&metros considerados como bons, mas isso vai depender muito do valo r

apro xim ado inicial x 0.

Quando busca-se a solução p a r a que a condição de ot im alidade de f(x)

no ponto de mínimo se ja sa tisfeito , ou se ja, Vf(x*)=:0, é n e c e s s á r io um

procesBo iterativo.

P a r a r e a l iz a r esse p r o c e s s o ite r a tiv o , considere xj como sendo o va lo r

de x numa iteração i e xj+i> o v a l o r de x na iteração consequente.

E sse pasBO é calculado por:

 131

x i + ] = xj - [ J ( x i ) T p j ( x i ) ] * l J(xi)Tp V (Xi) (7.7)

para quando P = I, (7.7) torna-se:

* i + l = * i - (•H*i)TJ ( * i ) ] - , J<*i>TV(xi) (7.8)

Resta sa ber agora, como é o comportamento desse método quanto a sua

convergência. DENNIS e SCHNABEL (1983) diz isso através das seguintes

vantagenB e desvantagens do método, são elas:

Vantagens

1. Se o p r o b l e m a de mínimos quadrados élinear, o método res olve o

p rob lem a com apenas uma iteração;

2. Se V(x*)=0, o método de Gauss-Newton é localmente q-quadraticamente

convergente;

3. Se as equações residuais V(x) são pouco nã o -lin ea res e V(x*) são

pequenos, o método de Gauss-Newton é localmente rapidamente

q-linearmente convergente

Desvantagens

1. Se J ( x j ) não tem posto completo a seq uên cia {xj} não é bem definida;

2. Não tem co n v ergên cia global;

3. Não converge localmente em problem as com grandes residuais ou

altamente nã o-lineares;

4. Para p ro blem as com res iduais razoavelmente grandes ou razoavelmente

n ão -lin eares a convergência é lentamente localmente q-linearmente.

N o t a : O termo grande residual é para quando a função objetivo f(x) atinge

valor grande no ponto de ótimo, o inverso se dá p a r a pequenos residuais.

 132

Algumas d e ssa s c a r a c t e r í s t i c a s serão mostradas no exemplo do final

desse capítulo.

7.2. MÉTODOS DE MINIMIZAÇÂO SEM RESTRIÇÃO

P a ra melhor entender como funciona o método de Levenberg-M arquardt,

se rá muito rapidamente apre se ntado o método de Newton, o método

Steep est-Descent ( ou método do gr adiente) e os conceitos sobre região de

confiança.

7.2.1 Método de Newton

O método de Newton p a r a r e s o l v e r o problem a (1.1 ), utiliza-se da

aproximação q u a d rá tic a da sé rie de T aylor em ura ponto aproxim ado x 0 . Isto

é:
m (x)=f(x0) + V f (x 0 ) ( x - x 0 )+-^ (x-x 0) V 2f ( x 0) ( x - x 0) (7.9)

onde:

H ( x 0)=V 2f ( x 0 ) : matriz h e ssia n a .

Aplicando as condições de otim alidade em (7.9) obtém-se um passo do

método de Newton

x i+1=x; - [ H ( x i ) ] - i V f ( x i ) (7.10)

O método de Newton tem como vantagem de se r q-quadraticamente

convergente próximo da solução, razão porque a grande m a i o r i a dos métodos

g lo b ais de solução de equações n ã o -l i n e a r e s ou métodos de miniminização de

 133

funçõeB não- lin ea re s sem restrição* procuram quando próximos da Bolução

utilizar o p ass o de N ew t o n (a demostração da conve rg ên cia quadrática do

método de N e w t o n pode ser encontrado em DENNIS e SCHNABEL (1983)).

As desvantagens do método de N e w ton é que a matriz h e s s ia n a H(x) é

em ge ral im praticável de ser o b t id a analiticamente e muito c a r a do ponto de

v ista computacional de ser a v a l i a d a p or diferenças finitas.

Uma ou tra desvantagem do método de Newton, é que ele não é

globalmente convergente.

7.2.2 Mé todo Steepest descent ou método do gradiente

Dem onstra-se que a direção -Vf(x) é a direção de m aio r decrescim ento

da função, "d ir e ç ã o Bteepest descent" ( RAO 1978).

Com base nisto Cauchy em 1847, criou o método steepeBt descent para

minimização de funções.

O algor ítimo p a r a esse método é dado abaixo:

Dado f: R ° ->R , difere nciave l continuamente em xi e R n p a r a cada

iteração i.

1. co m ece com X) , faça i = l ;

2. encontre a d ireç ão Si=-Vf(xj);

3. encontre Xj* que minimiza f(xi+XSj);

4. Faça Xi+]=Xj+Xj*Si;
5. v e rifiq u e se xj é ótimo

se sim, fa ç a x o p t = X j +1 e pare; Benão

fa ça i = i + l e v o lte para 2.

O t e r m o r e s t r i ç f i o é c o m o e s t a m o s t r a d u z i n d o “co nstra int*. Em G e o d é s i a tal t e r m o é

t r a d u z id o c o m o injunç&o.
 134

0 método acima apesa r de caminhar sempre na máxima direção de

decrescimento da função, dependendo da topolo gia da função a convergência

d® {*i> pode ser extremamente lenta. Já se a função tem uma top olo gia

regular e a função bem comportada, a se quência {xj} converge rapidamente

p a ra a solução.

A propriedade do método de caminhar sempre na direç ão de

decrescimento da função é apro ve ita d a na implementação de algoritmos de

convergência global mais sofisticados.

7.2.3 M o d e los a pro xim ados p e l a região de confiança

Suponha que s e j a p o s s ív e l conhecer um 5c no qual po de -se adequar com

confiança um modelo qu adrá tic o m(x) à função f(x) e então, utilizando tal

modelo quadrático n-di mensional, calcu lar a direç ão do passo S c a ser dado

a p a rtir do ponto aprox im ado x c e assim calcu lar opróximo ponto x+, restrito

a i|Sc!l2= 5 c . Assim,
x+ = x c+ S c (7.11)

O prob lem a acima pode se r enunciado como:

min m (x c+S) = f ( x c) + V f ( x c)TS + ^ S T H C S (7.12)

sujeito a: ||S||2á ô c

A seguir se rá dada a i d é i a p rin cipal p a r a a solução do p r o b l e m a (7.12).

Chamando o p a sso de Newton de e lembrando que ele minimiza uma

função qu a drá tic a na p r i m e r ia ite ração, então se

l|S?||,=||- H ( i c ) ' 1Vf(xc )||2£ ô ç (7.13)

 135

x*=sx c+ g 14, sendo x* o ponto de mínimo da quadrática

Agora, se ô c^||Sf||2 , então d e v e - s e encontrar um p a sso S tal que

l|S|la«*c.

FIGURA 15 - SOLUÇÃO DA QUADRÁTICA NUMA REGIÃO DE

CONFIANÇA

Se S é solução do p r o b le m a , então para qualque r d istân cia

a rb itrariam e nte pequena a p a r t i r de x c-fg, a distância com r e l a ç ã o a x c deve

aumentar. Se p rep resen ta r uma d i r e ç ã o de decrescimento de m a p a rt ir de

x c+g. Então a condição

pT Vm(xc+ S )=pT[ H ( x c ) S + V f(x c )]<0 (7.14)

deve se r s a tis f e ita e ainda, p a r a que um a d ireç ão p a p a rtir de x c+ s aumente

a d i s t â n c ia em relação a x c . O ângulo entre os vetores S e p deve se r menor

do que x/2. daí

PTS>0. (7.15)

As sim p a r a S solução do p r o b l e m a (7 .12), qualquer p que satis faça

(7 .1 4) deve sa tisfazer (7.15), o que s i g n i f ic a que a direção S é a mesma de

-V m (xc+ s ) •
 136

Ago ra p a r a uma constante p>0

p.S=-Vm(xc+j})=-[H(xc)S+ V f(xc)]

donde

p.S+H(xc) S = - V f ( x c) , r esulta

S(p.)= -[H (x c)+ p .I ]'1Vf(xc) (7.16)

que é a solução p a r a o problem a (7.12) flg. 15. A in d a pode ser demonstrado

que tal solução é única.

O comportamento de S(p) é mostrado na figur a 16. Observe que, S(p.)

v a ri a d a d i r e ç ã o de Newton p a ra a direção do gradiente conforme s e ja ji. e o

comprimento de ô c

FIGURA 16 - COMPORTAMENTO DE S(|i)

7.2.4 M é tod o de Levenberg-M arquardt

Considere o p r o b le m a de encontrar x+ p e l a aproximação da região de

confiança a p a r t i r d e x c
 137

(7.17)

sujeito a: jjx'*'- Xj J| £ <?c

Cuja solução (DENNIS e SCHNABEL 1983) é:

x + = x c - [ J ( x c) T j ( x c)+fi cI ] - l J ( x c)TV(Xc) (7.18)

onde !Lc=0 se 6 c ^lI(J(x c)^,^(x c)) ^J(x c ) ^ ^ ( x c) Ü2 e M-c>0 caso contrário.

Quando o p r o b le m a é ponderado a fórmula (7.18) torn a-se :

x + = x c- [ J ( x c)Tp J ( x c )+p.cI J - l J ( x c )Tp V ( x c ). (7.19)

A utilização da fórmula (7.18) e (7.19) foi s u g e r i d a por Levenberg

(1944) e M a rq u ard a t (1963), o Bignificado do p a sso S(p.) j á foi visto na

secção anterior. O p a sso S= x + - x c , v a r i a suavemente da d ireç ão do método

do gradiente "Steep est d escent” quando x c está longe da solução p a ra o paBso

de Newton quando x c está próximo da solução. Tal método é conhecido como

método de Lev enb erg -M arq uard t (também conhecid o por método de
marquardt).

Existem muitas estratégias p a ra esco lh er p.c e ô c . No entanto, neste

trabalho será e s c o l h i d a a e stratégia tr a z id a em PRESS et a lii (1986), que é

m ost ra da pelo seguinte algoritmo.

1. adote como v a lo r p a r a Px=0,001;

2. avalie f(x c ) e J ( x c );

3. r e s o l v a o sist em a de equações lineares

[JÍX ç^JÍX cJ+ M cIlS = * J ( x c )TV ( x c ) p a r a S ; e a valie f ( x c+S);

4. se f ( x c+ S ) £ f ( x c ), aumente p.c por um fator de 10 e vol te p a r a 3 ;
 138

5. Be f ( x c+ S ) < f ( x c ), diminua jjlc p or um fator de 10, atualize a solução

x c= x c+S, verifique se e l a é ótima. Se sim faça x 0p t = x c> senão volte

p a ra 2.

A ordem de co n v erg ên c ia do método de L e v e n b erg -M a rq u ard t, é

semelhante a do método de Gauss -New to n. P a r a problem as gran d e s r esid uais

ou pro b lem as muito n ã o -l i n e a r e s o método de M a rq u ard t é lentamente

convergente.

Uma vantagem do método de M a r q u a r d t é que mesmo se J ( x c ) não tem

posto completo, o método é bem definido. Outra vantagem é quando o passo

de Ga uss -New ton é muito longo, o p a sso de Marquardt é aprox im adamente na

d ireção "steepest deBcent''e com comprimento superior ao p a s s o dado usando

busca unidimensional. N a p r á t i c a tal método segundo autores como DENNIS e

SCHNABEL (1983), PRESS et alii (1 98 6 ), tem tido c o n v e r g ê n c i a global

sendo também o método atualmente recom endado por eles p a r a r e s o l v e r o

p ro b lem a de mínimos quadrado s n ão-linear.

7.2.5 C r ité r io s de p a ra d a

Existe algúnB c ri t é r i o s especiais para o método de Levenberg-

Marq u ardt quanto a constante p.c e p a r a o pro blem a de mínimos quadrados

n ã o -l in ea r em si, mas se r á c o lo c a d o aqui apenas os c r i t é r i o s utiliza d o s de

uma m an e ir a geral p a r a minimização de funções não-lineares .

Os c ritério s mais comuns são:

2. < to le rân c ia 2;
 139

3. |V f l ^ iJ L < t o le r â n c i a 3.

P a r a uma maior c erteza de que realmente se encontrou o ponto de

mínimo da função f(x) ou se e stá próximo dele o suficiente p a r a negligenciar

as demais iterações, d e v e r i a - s e utilizar os três c rité r io s acima até que os três

fossem satisfeitos.

7.3. APLICAÇÃO PRÁTICA DO PROBLEMA DE MÍN IMOS QUADRADOS

NÂO-LINEAR

P a r a a a p lic a ç ã o p r á t i c a dos dois métodos acima se rá utilizado um

exercício dado por GEMAEL (19 74) e solucio nado pelo p ro cesso iterativo

em DALMOLIN (1976). Com isso, pretende-se com pa rar os resultados com

aqueles lá encontrados.

E nunciado:

Foi medido a p a rtir de um ponto P de c o ord e n ad a s desconhecida s as

distànciaB 11 , 1 2 >Í3 © Í 4 até 4 pontos de coordenada s conhecidas P1,P2,P3 e

P4. Também foi medido o ângulo P1PP2. Em todas as medidas é conhecido 0

desvio padrão o i , i = l , . . . , 5 . Os dados seguem abaixo:

Est. X(m) Y(m) d i s t â n c ia até desvio

0 Pto P padrão
PI 842,281 925,523 244,512 m 0 ,0 12 m
P2 1337,544 996,249 321,570 m 0,016 m
P3 1831,727 723,962 773,154 m 0,038 m
P4 840,408 658,345 279,992 m 0,014 m
Est ********* ********* ângulo
P 123°38'01.4" 2 ,0 "

pede-se as coord enadas de P aju sta das p or mínimos quadrados.

 140

• Equ ações Residuais

v i = [ ( * r * P)2 + ( y i - y p)2] l/2 - h ;

v2=[<*2-xp)2+(y2-yp ) 2 ] ^ - l 2;
v 3 = [ ( x 3 - x p)2+ ( y 3 - y p ) 2] 1/2- l 3 ;

v 4= [ ( x 4-Xp)2+(y4-yp)2]i/2-l4;
X “ X X -X
v5 = arctg[ -]-arctg[ -]- c >5 ( v 5 deve ter como unidade segundos)
y2 - y ( yryP

• M a triz Ja cobiano

(Xp-X^/lic ( y P- y i V h c
(Xp-XjVljc ( yp- yi )/l!c

J(*p) = (X p-X l)/llc (yp-yi)/lic

(xp*X] )/l i c (yP- y i ) / l i c

(y.-yp) (yz-yp^,
o ky o*)' " ‘ a*)J Ou)'
onde: p"= l / s e n 1" e o indíce c r e p r e s e n ta o v a lo r c alcu lado p a ra as

d istân c ia s num ponto aproximado.

A matriz dos pesos P c o n s i d e r a d a diagonal, tem como elementos:

p l = l / ( 0 . 0 1 2 ) 2 ; p 2 = l / ( 0 . 0 1 6 ) 2 ; p3 = l / ( 0 , 0 3 8 ) 2;
p 4 = l / ( 0 , 014)2; p5 = l /( 2 , 0 ) 2

Os resultados a serem m ostrados a seguir foram obtid os através de um

pro g ram a computacional em linguagem " turbo pascal 6.0". Serão utilizados

dois v a lo re s inic iais p a r a testa r os métodos. Primeiro o program a será

executado com os v a lo re s (1065;825) e depois com os v a lo r e s (825;1065) , os

r es ulta d os dos pa râmetros encontrados estão nos quadros abaixo.

 141

QUADRO 01 - COVERGÊNCIA DOS VALORES AJUSTADOS POR

GAUSS-NEWTON

xn Xl x2 »3

. xp 1065,00 1 065,255 4895 1 065,255 402 1 065,255 402

-IP-, 825,00 825,185 719 1 825,185 719 41 825,185 719 1

N a 3 o. i t e r a ç ã o o c o r re u a c o n v e r g ê n c i a u s a n d o o cr i té ri o ||xj+ í -Xj||oc< l e - 8 .

QUADRO 02 - COVERGÊNCIA DOS VALORES AJUSTADOS POR

LEVENBERG-MARQUARDT

*0 Xl x? x?
xp 1065,00 1 065,255 286 7 1 065,255 402 1 065,255 402

yp 825,00 825,185 431 8 825,185 719 07 825,185 719 1

0,001 0,0001 le-05 le-06

N a 3o. ite raç ão ocorreu a convergên cia usando o critério ||xj+1 -xi|joc< l e - 8 .

QUADRO 03 - NÃO-COVERGÊNCIA DOS VALORES AJUSTADOS POR

GAUSS-NEWTON

Xo Xt *7. Xl ftfi

XP 825,00 314,544 627 25 106,888 819 32 -13 474,495 020

-ZP.. 1065,00 1 022,170 538 9 -1 333,524 914 4 -15 897,367 574

Não o c o rre u con vergência com 100 iterações.

 142

QUADRO 04 - COVERGÊNCIA DOS VALORES AJUSTADOS POR

LEVENBERG-MARQUARDT

Xl XR

xp 825,00 315,590 670 21 242,490 370 03 1 192,122 004 7

IP 1065,00 1 025,627 327 -144,829 613 47 144,334 959 54

JA 0,001 0,0001 0,1 0,1

*in *11 *12 *n

XP 988,3456 1 193,111 0811 1 085,355 378 1 065,478 926 2

yp 632,4211 846,533 281 64 803,024 112 82 8 25,7 69 004 8

iL ._ 0,1 0,01 0,001 0,0001

x 14 *15 x is
xp 1 065,255 767 8 1 065,255 402 1 065,255 402

yp 825,186 108 8 825,185 719 11 825,185 719 1

JA le-05 le - 0 6 le-07

Na 16°. i te raç ão ocorre u a conv ergência usando o critério

ll*i+l-*ill«c<le-8 e ||Vf(x)||oc< l e - 0 4 .
 143

8. CONCLUSÕES E RECOMENDAÇÕES

Com base na t e o r i a expoBta e depois compr ov ada a tra v és dos vários

testes rea liz a d o s no capítulo 6 e no final do capítulo 7 é que chegamos as

conclusões e recom en daçõ es a seguir.

8.1 CONCLUSÕES

Problema de m ín im o s q u a d ra d o s lin e a r:

método mais rá pido : método de Cholesky;

método mais estável : método da de com posição de v a lo r singular.

Problema de m ín im o s q u a d ra d o s n ã o - lin e a r:

método mais eficiente : método de L evenberg- Marquardt.

N ão b a sta apenas saber Bobre certas c a r a c t e r í s t i c a s de determinado

método com re la ç ã o a outros métodos, deve-se também ter em mente o

momento de a p lica r um ou outro método. Nas r eco m en d açõ es a seguir foi

colo cad o alguns dos procedimentos que podem aju dar na esco lh a da

m etodologia a ser adota da na solução de prob lem as de ajustamento.

8.2 RECOMENDAÇÕES

Quando se trata de r e s o l v e r um p ro b lem a de mínimos qu adra dos linear,

e o siBtema é bem condicionado , este deve ser re s o lv id o pelo método mais

ráp id o , o método de Cholesky.

 144

Quando o si stem a tem tendências de Ber m al-con d ic io n a d o, deve-se

evitar de r e s o l v e - l o através das equ ações no rmais, po is estaB podem deixó-lo

ainda pior, nesse caso deve-se r e s o l v e r o sistema pelo método QR, pois este

reso lve o p r o b l e m a usando as equações o rig in ais e é o segundo mais rápido.

Quando se d e s e j a r e s o l v e r o sÍBtema de equações normais com mais de

um ve to r de termoB independentes e o sist ema é bem co nd ic io nado , pode -se

utilizar o método de G auss -Jo rdan, pois este permite a en tr ad a com mais de
um v e to r de termos independentes.

Quando fo r n e c e s s á r i a a inv ersão de uma matriz q u a d ra d a e de seja -se

uma subroutina sim ples p a r a fazer isso, pode ser usa da a subroutina "versol".

E ssa subroutina mostrou através dos testes se r mais r á p i d a que Gauss -Jo rdan

na solução do p r o b l e m a de mínimos quadradoB linear e com c a r a c t e r í s t i c a s de

e s tab ilid a d e semelhantes.

P a r a a n a l is a r se um sistema é ou não m al-condicio nado através de

v a ri a çõ e s na matriz dos co eficien tes ou no termo independente d e v e-se tomar

os cuidados de a n alis ar a v a r i a ç ã o da solução e também a v a ria ç ã o do

resíduo, os testes 4 e 5 mostram e sse s resulta dos.

Quando o tempo p a r a obter a solução não é importante, o método mais

indicado é o da decom posição de v a lo r singular, pois e s s a além de manter a

e stab ilid a d e, fornece os v a lo r e s singulares e consequentemente o número de

condição d a m atriz dos coefi cientes. O mais importante é que a a n ális e pode

ser feita através dos va lo re s singulares. Se esses se encontrarem espaç ados

entre si de m an e ira aproximadamente iguais, o sistema tem indicativaB de ser

bem-condicionad o, agora, se houver grandeB disc rep â n cias entre os va lo re s

singulares, com c er te z a o siste m a é mal-co ndicio nado. Uma a p li c a ç ã o p r á t i c a

da SVD é que ob v a lo r e s singulares eBtão r ela cio n ad o s com os se m i-eix os do

elip8Óide dos e rr o s n-dimensional e a matriz V fornece as d i r e ç õ e s desBes

semi-eixos.
 145

Um outro fator importante é que a decom posição de v a lo r singular

fornece a p se u d o - i n v e r s a quando o sistem a tem posto defic ie n te e com ísbo a

Bolução de comprimento minimo do p r o b le m a de minimos quadra dos linear.

Sobre o problema de mínimos quadrados n ã o -l inea r. Quando for

t rabalh ar com o método de G auss-New to n é recom endado resolver o

p ro b lem a de mínimos q ua dra do s lin e ar em cada ite raç ão pelo método QR,

p a ra mais ga rantia de se estar numa di reção de de crescim ento da função,

eq. (7.1). Se tal método não é d i s p o n ív e l, recomendamos então a utilização

de Cholesky. Quando a se q u ê n c i a convergir é util r e s o l v e r mais uma vez pe la

SVD p a r a uma análise maiB d e ta lh a d a do problema.

Quando não se tem certez a de um bom v a lo r aproximado p a ra inic iar a

solução do p ro b lem a, re com end a -se utilizar o método de

Levenberg -M arquardt p o r c a u sa de sua convergência global. Qualquer dos

métodos anteriores podem se r usados na solução de c ad a iteração, a

p r e f e r ê n c i a f i c a com cholesky e QR.

Para não a c e it a r um ponto falso (PITFALLS) como solução,

recomenda-Be reBolver o p r o b l e m a mais de uma vez com v a l o r e s opostos ao

obtido na prim e ra solução e também com pontos mais afastados. Se a Bolução

p e r s i s t i r a mesma, com c erteza aquele ponto de minimo é o ponto de ótimo
p a r a o problema. Se o c o r r e r mais de uma solução de mínimo deve-se

v e r i f i c a r através de algum meio qual solução satisfaz o p r o b l e m a em questão.

Um outro fator f a v o r á v e l p a r a a u tilização do método de marquardt é

que através dos pa cotes de prog ram as matemáticos hoje disponíveis no

mercado e com linguagem computacional p r ó p r i a e subroutinas prontas,

pr og ram ar um algoritmo como o dado na Becção (7.2.4) f i c a bastante

sim plificado.

P a r a um futuro trab a lh o , pretend em os aprofundar a in d a mais nos

métodos que se utilizam de reg iã o de confiança, tra b a lh a r com métodos de

 146

mínimizaç&o com restri ção o também dar ao p rob lem a uma abordagem
eBtatística.
 147

REFERÊNCIAS BIBLIOGRÁFICAS

01 DALMOLIN, Q. Ajustamento de o b se rv aç õ es pelo p ro cesso iterativo .

Curitiba, 1976. D issertação (M e strad o em G e od ésia ) - Curso de
P ó s - G r a d u a ç ã o em Ciências G e o d és ic as , UFPr.

02 DENIS, J. E ; SCHNABEL, R. B. N um eri cal methods fo r unconstrained

optim iza tion and nonlinear e q u a tio n s . N e w Jersey: Prentice
H a l l,I n c ..E g l e w o o d Cliffs, 1983. 378p.

03 GASTINEL, N. Linear numerical analysis. New York: Academic

P re ss , 1971. 350 p.

04 GEMAEL, C. A p lic a ç õ e s do cálculo m atric ial em geodésia. 2f parte:

ajustamento de o b s e r v a ç õ e s . Curso de P ó s -G ra d u aç ão em Ciências
G e o d é s ic a s , UFPr, Curitiba. 1974.

05 . Inv ers as g e n e r a liz a d a s. Curso de P ó s -G ra d u aç ão em Ciências

G e o d é s ic a s , UFPr, Curitiba, 1977. 30 p.

06 GILL, P. E ; MURRAY, W; WRIGHT, M.H. Num erical lin ear algebra

and op tim iza tion , v o l . l . C a liforn ia : A dd ison -W esle y Publishing
Company,. 1991. 426 p.

07 GOLUB, G.H.; REINSCH, C. Singular value decomposition and least

squares solutions. Handbook se r ie s lin e ar algebra. N e w York, 28
Numer Math 14.403, 403-4 2 0,19 7 0.

08 HAMILTON, W.C. Statistics in physical scienc e estimation,

hypothesis testing, and least s q u a r e s . N e w York: The Ronald Press
Company, 1964. 225 p.

09 KRAKIWSKY, E.J. A svntesis o f rec ent advances in the^ method o f

lea st s q u a r e s . Canadá: Dep. o f Surveying Engineering University
o f N e w B rusw ic k , F red ericto n, 1975. 125 p.

10 LAWSON, C.L ; HANSON,R.J. Solving least squa res p r o b lem s. New

Jersey: P r e n t ic e -H a l l, Inc., E ngle wood Cliffs, N .J ., 1974. 340 p.
 148

11 LUENBERGER.D.G. Introdução to lin e ar and n o n lin e a r programming.

California: A ddiso n-W esle y Publishing company, 1973. 356 p.

12 LUGNANI, J.B. O prob lem a dos Bistemas de e q uaç õ es lineares mal

co n d ic io n a d o s e suas im plicações em g e o d é s i a . Curitiba, 1975.
D i s s e rt a ç ã o (M est rado em G e o désia ) - Curso de Pós-Graduaç ão
em Ciência s G eodésic as, UFPr.

13 ______ . Introdução ao ajustamento. Curso de P ó s -G ra du aç ão em

Ciências G e o d és ic as , UFPr, C uritiba, 1983. 125 p.

14 MARSDEN, J. E ; TROMB, A. J. Vector c a l c u l u s . San Francisco:

W.H.F reem an and Company, 1976. 449 p.

15 MIKHAIL, E. M; ACKERMAM, F. O bservations and least sq u a res.

Boston : Thomas y Crowell Company, Inc, 1976. 497 p.

16 ;GRACIE, G. Analysis and adjustment o f survey

mensurements. N e w York: Van Nostr an d R e in ho ld Company offices,
1981. 340 p.

17 MODRO, N. M é tod o s p a ra inversão de matrizes i ap licaçõ es às

c iê ncias g e o d é s i c a s . Curitiba, 1981. D i s s e r t a ç ã o (M estrado em
G e od és ia ) - Curso de Pó s-G ra du aç ão em C iê n c ia s Geodésicas,
UFPr.

18 NOBLE, B.; DANIEL, J.W. A p p lied lin ear a l g e b r a . P r e n t ic e - H a l l, inc,

1969. 477 p.

19 P R E S S,W.H; FLANNERY ,B.P; TEUKOLSKY,S.A; VETTERLING,W.T.

Nu m erical r e c i p e s the art o f sc ientific computing. Cambrige:
Cambrige University Press, 1986. 818 p.

20 RAO, S. S. Optimization theory and a p p l i c a t i o n s . N e w York: John

W iley & Sons, 1978. 703 p.

21 STEINBRUCH, A; WINTERLE, P. Á lg e b ra l i n e a r . 2. ed.. São Paulo:

MC G r a w - H ill, 1987. 583 p.

22 STRANG, G. L in ear alg eb ra and its a p p li c a t io n . 2. ed.. N e w York:

Academic P r e s s , Inc, 1976. 414 p.

23 TROMPSON, E. H. An introduction to the a lg e b r a o f matrices with

some a p p l i c a t i o n s . Canadá: The University o f Toronto Press , 1969.