O Mtodo dos Mnimos Quadrados

Rafael Alves Batista

Instituto de Fsica Gleb Wataghin Universidade Estadual de Campinas (Dated: 08 de Agosto de 2011.)

I.

INTRODUO

O mtodo dos mnimos quadrados foi primeiramente utilizado pelo clebre matemtico alemo Carl Friedrich Gauss (17771855), em 1795. A primeira demonstrao da robusteza deste mtodo ocorreu na virada do sculo XVIII para o sculo XIX, quando um ajuste de dados referentes ao asteride Ceres permitiram prever sua posio aps uma passagem atrs do Sol. No entanto, o primeiro a publicar o mtodo dos mnimos quadrados foi o francs Adrien-Marie Legendre (1752-1833), em 1805 (o trabalho de Gauss s fora publicado em 1809). O mtodo dos mnimos quadrados uma tcnica muito popular para realizar ajustes em conjuntos de dados diversos. A verso mais simples deste mtodo no leva em conta os erros associados aos conjuntos de dados, de forma que pode ser vantajoso em determinados problemas aplicar a verso mais sosticada do mtodo.
II. AJUSTE DE UMA FUNO LINEAR

A equao de uma reta da forma

y = a x + b.

(1)

Portanto
y a x b = 0.

(2)

Considere um conjunto de medidas {(x 1 , y 1 ), (x 2 , y 2 ), ..., (x N , y N )}. Naturalmente, deseja-se que este conjunto de dados satisfaa equao
y i a x i b = 0.

(3)

No entanto, medidas experimentais nem sempre ocorrem como esperado. Uma forma de ajustar um conjunto de dados minimizar a varincia de y i a x i b . este o mtodo dos mnimos quadrados, que consite na minimizao de uma grandeza chamada 2 (se as grandezas x e y tiverem distribuio gaussiana). Pode-se escrever o 2 de uma funo linear como:
N

E(a , b ) = 2 =
i =1

1
2 i

y i (a x i + b )

(4)

onde i o desvio padro da gaussiana do conjunto de dados {y i }, ou seja, o erro associado a esta grandeza. Como a e b so constantes desconhecidas, e a princpio x i e y i foram medidos, pode-se minimizar o 2 derivando com relao a estas constantes. Assim:
E 1 = 2 y i (a x i + b ) (x i ) 2 a i =1 i E 1 = 2 y i (a x i + b ) (1). 2 b i =1 i
N N

(5) (6)

Como este um problema de minimizao, deve-se igualar as derivadas a zero. Assim:

N i =1

1
2 i N

y i (a x i + b ) x i = 0 1 y i (a x i + b ) = 0.

(7) (8)

i =1

2 i

O Mtodo dos Mnimos Quadrados Por simplicidade, ser feita uma substituio de variveis:
N

c1 =
i =1

x 2, 2 i

c2 =
i =1

x , 2 i

c3 =
i =1

x , 2 i

c4 =
i =1

, 2

k1 =
i =1

yx , 2 i i

k2 =
i =1

1
2 i

yi .

(9)

Reescrevendo o sistema de equaes em termos destas novas variveis:

1 (k 1 b c 2 ) c1 1 a c 3 + b c 4 = k 2 a = (k 2 b c 4 ). c3 a c1 + b c2 = k1 a =

(10) (11)

Igualando as equaes, tem-se que:

(k 1 b c 2 )c 3 = c 1 (k 2 b c 4 ).

(12)

Colocando b em evidncia:
k 1c 3 c 1 k 2 = b (c 2 c 3 c 1 c 4 ),

(13)

e portanto
b= k 1c 3 k 2c 1 . c 2c 3 c 1c 4

(14)

Substituindo na equao ??, tem-se que:

a= k 1c 3 k 2c 1 1 k1 c2 . c1 c 2c 3 c 1c 4

(15)

Reescrevendo, obtem-se a equao:

a= k 2c 2 k 1c 4 . c 2c 3 c 1c 4

(16)

Agora resta voltar s variveis originais, utilizando as relaes apresentadas em 9. Assim as expresses de a e b deduzidas so reduzidas a:
N 1 2 yi i N i =1 N i =1 1 2 xi i 2 1 2 xi i N

a=

i =1

i =1 N

1 2 i

N i =1 N

1 2 yi x i i

(17)

i =1

1 2 i

i =1

1 2 2 xi i

e
N 1 2 x i yi i N i =1 N i =1 1 2 xi i 2 1 2 xi i N

b=

i =1

i =1 1 2 i

yi 2 i N i =1

N i =1

1 2 2 xi i

(18)

i =1

1 2 2 xi i

Os erros dos parmetros a (a ) e b (b ) so dados por

1 2 i =1 i 2 N N

(a ) =

N i =1

1 2 xi i

i =1

1 2 i

N i =1

(19)
1 2 2 xi i

e
N 1 2 2 xi i N i =1 1 2 i N i =1

(b ) =

N i =1

i =1 2 1 2 xi i

.
1 2 2 xi i

(20)

O Mtodo dos Mnimos Quadrados Se as varincias so iguais, isto , se i = constante, ento

N N N i =1

yi
N

a=

i =1

xi N
2

i =1 N

yi x i , x i2

(21)

i =1

xi

i =1

e
N N N N i =1

x i yi
N

b=

i =1

xi
2

i =1

yi
N

i =1

x i2 .

(22)

i =1

xi

i =1

x i2

Neste caso, as equaes 19 e 20 se reduzem a

(a )2 = N
N i =1 2 N

2 , x i2

(23)

xi

i =1

e
N i =1 2

x i2
N

(b )2

N i =1

2 . x i2

(24)

xi

i =1

III.

EXEMPLO DE UM AJUSTE LINEAR COM O MTODO DOS MNIMOS QUADRADOS

Suponha o conjunto de medidas mostrados na tabela I, onde s designa a distncia percorrida por uma partcula, com erro associado s , e t o tempo de percurso, com erro t . Os dados da tabela 1 so apresentados no grco mostrado na gura 1. Tabela I: Valores das medidas de distncia (s ) e tempo (t ), com seus respectivos erros.
s (m) s (m) t (s) t (s)

8,1 7,4 6,9 6,1 5,4 4,6

0,5 0,5 0,5 0,5 0,5 0,5

32,0 30,3 28,9 26,5 23,2 20,8

0,5 0,5 0,5 0,5 0,5 0,5

Suponha que o objetivo do experimento calcular a velocidade v , relacionada a s e t pela expresso s = v t . Ajustando o grco mostrado na gura 1 possvel obter o valor do coeciente linear (b) e angular (a) de uma reta da forma y = a x + b . Para realizar o ajuste linear, ser utilizado o mtodo dos mnimos quadrados. Para isto, ser construda a tabela II, com os termos a serem calculados, isto , com x i2 , x i , y i e x i y i . No caso em questo, x corresponde a t e y a s .
i i i i

O clculo restante a soma de cada valor de uma mesma coluna da tabela II e o resultado obtido :
6

x i = 161, 7
i =1 6

x i2 = 4450, 43
i =1 6

y i = 34, 5
i =1 6

x i y i = 1065, 44.
i =1

O Mtodo dos Mnimos Quadrados

Figura 1: Grco dos dados apresentados na tabela I. Tabela II: Clculos intermedirios do mtodo dos mnimos quadrados
yi xi x i2

8,1 7,4 6,9 6,1 5,4 4,6

32,0 30,3 28,9 26,5 23,2 20,8

65,61 54,76 47,61 37,21 29,16 21,16

xi y i 259,20 224,22 199,41 161,65 125,28 95,68

Por questo simplicidade, neste exemplo o mtodo dos mnimos quadrados no leva em conta os erros das medidas de s e t . Substituindo estes valores na equao 21, e negligenciando o termo N ( possvel mostrar que as equaes 21 e 22 so equivalentes a fazer N = 1, no caso de no se levar em contas os erros das medidas). Assim, tem-se que
6 6 6

a=

i =1

yi
6

i =1

xi
2

i =1 6

x i yi = x i2
6

i =1

xi

34, 5 161, 7 1065, 44 4513, 21 = = 0, 21 2 (161, 7) 4450, 43 21696, 46

6 6 6

i =1

b=

i =1

x i yi

i =1

xi
2

i =1 6

yi

i =1

x i2 =

6 i =1

xi

i =1

x i2

18741, 813 = 0, 86. 21696, 46

Continuando estes clculos, possvel calcular tambm os erros a e b dos coecientes angular e linear. Note que a a mdia de s 5, 75 m e de t 26, 95 s , de modo que a velocidade mdia calculada diretamente, neste exemplo, seria aproximadamente 0, 21 m /s , o que indica que provavelmente no houve nenhum erro durante os clculos. O ajuste linear no grco mostrado na gura 1 com os coecientes obtidos, mostrado na gura 2.

O Mtodo dos Mnimos Quadrados

Figura 2: Ajuste linear dados apresentados na tabela I.

[1] H. L. Seal. The historical development of the Gauss linear model. Biometrika, (1967) 54, 123. [2] Stephen M. Stigler. The History of Statistics: The Measurement of Uncertainty Before 1900. Cambridge, MA: Belknap Press of Harvard University Press, 1986.. [3] Jos Henrique Vuolo. Fundamentos da Teoria de Erros, Editora Edgard Blcher.