TESTE DE HIPTESE E INTERVALO DE CONFIANA PARA O COEFICIENTE DE FIDEDIGNIDADE DE UM INSTRUMENTO DE MEDIDA

Maria Teminha Aibanese

i - INTRODUO
No dia-a-dia a palavra medigo tem um sentido claro e conciso. Para medir em situaes prticas, geralmente dispomos de instrumentos fsicos que nos do resultados precisos; em forma de escores. No entanto, a situao diferente quando queremos medir variveis psicolgicas, em que nos deparamos com problemas de escalonamento muito complexos. Para que um instrumento de medida ou teste possa ser usado, produzindo resultados dignos de confiana, ele deve ser vlido e fidedigno. A validade refere-se ao fato do instrumento medir realmente o que pretendemos, e a fidedignidade, se,o teste mede de forma consistente e precisa, isto , se ao retomarmos a apliclo nas mesmas condies e as mesmas pessoas, obtemos os mesmos resultados. Esses dois conceitos esto fortemente relacionados Um coeficiente de fidedignidade alto uma condio necessria, mas no suficiente, para um coeficiente de validade tambm alto. intil um teste ser altamente fidedigno, se a sua validade Mo puder ser considerada satisfatria. Este artigo trata da fidedignidade de um teste, sob a suposio que suavalidadej foi comprovada. O coeficiente de fidedignidade afetado em diferentes graus por fatores relativos ao teste (nmero de itens, amplitude de dificuldade e interdependncia dos itens etc.) e aos respondentes (condies fsicas, ambientais, velocidade na realizao do teste etc.) Portanto, podemos obter, com um mesmo teste e mtodo de estimao, diferentes estimativas para a fidedignidade, dependendo da heterogeneidade do grupo. Em conseqncia, pouco signiicativo dispor somente do valor numrico deste coeficiente para descrever um teste como um instrumento de medida.
*Departamento de Estatstica da Universidade Federal do Rio Grande do Sul.

Entretanto, se pudermos supor que os escores dos itens ou subtestes tm distribuio Normal Multivariada com iguais varincias e iguais covarincias, poderemos determinar um estimador de mxima verossimilhana da fidedignidade, e a partir de sua distribuio amostrai, construir intervalos de confiana e realizar teste de hipteses para este coeficiente, solucionando o problemp anteriormente mencionado.

z - MODELO LINEAR PARA TESTES DE T w n o FIXO

Suposies

Seja X uma varivel aleatria defmida sobre uma populao P de pessoas, tomando valores x, correspondentes aos escores observados das diferentes pessoas. Seja T uma vanvel aleatria, assumindo d o r e s T , correspondentes aos escores verdadeiros, no observveis destas pessoas. Ento a varivel aleat6na erro ( E ) defuiida pela relao linear X = T +
E

(21)

sobre P. Para uma determinada pessoa, T uma constante, enquanto que X e E so variveis aleatrias. 2 Sejam os smbolos E, o e p utilizados para representar esperanas, varincias e correlaes, respectivamente. As suposies do modelo limear incluem a equao (21) e as apresentadas a seguir:

E()
p(T,
1

E)

O, = O,
=

(2.2) (2.3)

P ( E . E.)

p (E.1 T1 = O, para qualquer tr i # j, . )

(24)

(2.5)

que so vlidas sob qualquer subpopulao no nula de P. As conseqncias imediatas destas suposies so que E(X) = W ) , E(X/T=T) = T , $(X)=J(T) + 2 ( ~ (X, T) = 2 (T)/ d (X).

Medidas Paralelas Deffio: Sejam as variveis aleatrias X e x tal que X = T +

E

e X = .T

2e

OZ ( E ) = 2 ( 2 ), em qualquer subpopuiao no nuia de P.

Ento X e XSo denominadas medidas paralelas.

Segue-se imediatamente desta defmio e das suposies do modelo linear que

E00

=E@), =o(y)e (X, X) = d (T),

J(x)

(2.10) (2.11)

( 212)

em qualquer subpopulao no nula de P. Dasequaes(2.10), (2.11)e (2.12), obtemos

p(x, X)
que equivalente a p (X, T).

Z(T)id(X),

(2.13)

Medidas compostas par K componentes

A teoria apresentada anteriormente pode ser estendida facilmente para o modelo linear de testes compostos, isto , testes formados por um conjunto de itens que, freqiierb temente, esto agrupados em subtestes. Precisamos somente considerar que cada item, subteste ou teste gera uma medida e que a medida do subteste determinada de forma aditiva a partir dos itens, e a do teste determinada de forma semelhante a partir dos sub testes. Nestas condies, dizemos que a medida do teste composta e que suas partes so componentes de medida. Esta extenso ser representada a seguir.
(X, T,

Sejam as medidas (Yi, Ti, 5) assumindo valores (yi, 7i, ei), para i = 1, 2, . . ., k. Seja E uma medida composta, assumindo o valor (x, 7 ,e). e d e f ~ d a ) por k (2.14) x = C Y? i=l

Ento podemos dizer que

Das equaes (2.2), (2.4) e (2.14) segue-se que as mdias de X, T e E so dadas, respectivamente, por

E(X)

E(

k C

Yi) = B E(Yi),
i= 1 k
i =1

i=l k E(T) = E ( i= 1

Z Ti) = B E(Ti) e

e as vanncias por

OZ (X)

k C d (Yi) + B C dYi, Yj) u(YJ u(Yj>, i =1 i +j

(2.15)

67

: i =kz1 o' ( T ~ ) (TI

=

B P(T~, ~ U(TJ I(T~) e T )

i f j

o'()

k
=

o'(q).

i=l

3 - COEFICIENTE DE FIDEDIGNIDADE

O coeficiente de fidedignidade de um teste defmido como o quadrado da correlao entre o escore verdadeiro e o observado, isto ,

Portanto, a fidedignidade de um teste representa a proporo da varincia do escore observado, qu$ explica3gela varincia do escore verdadeiro. I ( E), o coeficiente de fidedignidade assume valores no intervalo Como I (X) [O, 1 ] .Quanto maior a varincia do erro, menor a fidedignidade do teste. Da equao (2.13) temos que, quando dispomos de duas medidas paralelas X e X, ento o coeficiente de fidedignidade defmido pela correlao entre estas medidas. Portanto, supondo que, no mnimo, um par de medidas paralelas pode ser obtido, podemos ', expressar uma quantidade no observvel pz (X, T), em termos de P (X,X) um p d metro da distribuio bivariada do escore observado. Assim, a estimao de pz Q, T) fica reduzida i estimao de p Q, X). Uma extenso para o caso em que dispomos de k medidas paralelas dada pelo teorema a seguir, tambm conhecido como a frmula de Spearman-Brown para a determinao do coeficiente de fidedignidade de um teste composto por k componentes paralelas.

>

Teorema - Se Y1, Yu

.. .,Yk so k medidas paralelas e

k
X =

>: Yi
i =1

ento

onde p (Y, Y)

p (Y+ Y ) V i j,

# j.

Demonstrao hrd-Novick (1968) provaram que

ocorrendo a igualdade quando as medidas so paralelas. Da equao ( 2.1 i),

o' (Y1)
68

d (Y2)

=.

. . = d (Yk).

A partir desse resultado, e da extenso da equao (2.15) para o caso de k medidas paralelas, segue-se que

d ( X ) = k o'(Y)[i + ( k - l ) p ( Y , Y ' ) l

Substituindo estes dois l b o s resultados na expresso dada por Lord-Novick, obtemos o membro da direita da equao (3. i).

A partir da definio do coeficiente de fidedignidade, temos que ele um parmetro desconhecido e, portanto, a sua determinao fica reduzida h estimao desse parmetro, que implica na necessidade de medidas repetidas de uma amostra de pessoas Estas mltiplas medidas podem ser obtidas de duas maneiras: (a) usando basicamente o mesmo teste ou (b) usando partes comparveis do teste.
N a segunda situao, a fidedignidade de um teste obtida a partir da fidedignidade das partes que o compem, enquanto que na primeira situao suaobteno direta. Nessas condies, somos levados a concluir que a situao (b) exige uma teoria estatstica mais complexa do que a situao (a). No entanto, o oposto verdadeiro. Poucos trabalhos com nfase nessa situao tm sido realizados, enquanto que na situao (b) os artigos so numerosos. Na estimao desse coeficiente temos que, alm de considerar estas duas situaes, supor que os esmres dos itens ou dos subtestespossuem determinada distribuio de probabilidade ou, ento, no considerar esta suposio. Conforme j nos referimos na introduo, analisar somente o valor numrica (estimativa pontual) do coeficiente de fidedignidade pouco significativo para considerar um teste como um instrumento de medida, uma vez que ele influenciado fortemente por fatores relativos ao teste e aos respondenter. A soluo que propomos considera estes fatores e de. senvolve-se usando a situao (b), bem como a distribuio de probabilidade dos escores dos itens ou subtestes, e permite, sob condies que sero apresentadas a seguir, determinar intervalos de confiana e teste de hipteses para o coeficiente de fidedignidade.

Estimador de Mxima Verossim'lhanp

Suposii5es Consideremos um teste dividido em k partes ou subtestes, k > 2, com mesma estrutw ra fatorial, tal que os escores destas partes tem distribuio Normal Multiariada, com iguais varincias e iguais covarincias. Suponhamos, alm disso, que tomamos uma amostra aleatria de tamanho n. Parmetros bsicos Seja y = O.,,y-,. . . .,yc) o vetor aleatrio dos escores das k partes de um teste com e distribuio Normal Multivariada, mdia !A (- !A 2 , . ..,~.'k) matriz de varincia-comrin!I tia R defmida por

. -

69

, J

:vadnQa de cada parte, p: correlago entre duas partes quaisquer.

Ento, a funo densidade de ]L &da por f ( y)

(2nYkI2 IR I-'l2exp [ - 1 / 2 ( ~ - p ) R - ' ( y

- -- -

p)'

Alm disso, supondo que dispomos dos escores dos n indivduos da amostra nas k partes do teste, isto , Y(i)
=

(Yli, Y2i , . . ., Ya), i = 1, 2,

. . ., n, Kristof (1%3)

provou que o estimador

de mxima verossimiihana para p dado por

Z s;, , . ._

b'

-I

B S?
i

s?-= 1 1

(Y

n-1 i = I

1'

Y . ) * , j = l , . _ . , k.
1

(3.4)

Usando a propriedade da invarincia e a frmula de Spearman-Brown (equao (3.0, deoorrente da condio de igualdade das varincias e das covarincias), segue-se ento que o e s t i a d o r de mxima verossimilhana da fidedignidade de um teste formado por k partes &do por

b=kp/[l +(k-l)p],
que equivalente a

k
k e=k-1
70

[i-j=i

s?
J

1,

(3.5)

sx

2 De (2.14) temos que Sx a varincia dos escores totais

i = 1 , 2,..., n.

k
j = 1

Y $ para j

De (3.5) segue-se que o estimador de mxuna verossimilhana da fidedignidade coincide com o coeficiente de fidedignidade de Cronbach (1951).

DistribuipTo Amosiral de
Devido a complexidade matemtica envolvida M derivao da distribuio amostral de 'p, apresentaremos a seguir somente os principais resultados. De Kristof (1963), as quantidades

(3.7)
2 onde Sx definido por (3.6), tem distribuio X 2 com n-1 graus de liberdade, e

"(k-

l ) ( n - 1)

R--

- P)

(s:

2 ...+$

2 %),

(3.8)

onde S z defmido por (3.4), tem distribuio X2 com (k - 1) (n 1 Da independncia entre (3.7) e ( . ) segue-se que a razo 38, (n - i), (k. i) (n - 1) -

- 1) graus de liberdade.

(k-1) (n-i) n-1

rX'n-1

x2(k - i) (n - i)

tem distribuio F com (n . 1) e (k - i) (n . i ) graus de liberdade, que equivalente a ' ( n - l ) , ( k - I ) ( n - l ) =- 1 - P

(3.9)

onde ^p o estimador de mxima verossimilhana de p, o coeficiente de fidedignidade do teste.

Teste de Hiptese
Suponhamos que desejamos testar a hiptese Ho: p Q po versus H1: p > po, com nvel de significncia a, onde po uma constante. Da teoria de teste de hiptese temos que a regio crtica do teste proposto defmida Por C = { A E Rk Rn / ^ p > X pc},
71

P (p

onde A a matriz dos dados amostrais e pc determinado pela condio: > pc/Ho B verdadeiro) = o. Supondo que Ho verdadeiro, obtemos

'A partir de (3.9) temos que, quando p

= pw

tem uma distribuio F com (k 1) (n 1) e (n. 1) graus de liberdade

~

Seguese ento que a quantidade (1 - pc) / (1 - p igual ao correspondente valor d tabelado da distribuio F (k d (n 1), (n . ,); a ,isto , que pc = 1 - (1 - p F (k 1) (n- l),(n- 1 ) ; a

.
OU

iguai a po com nvel

Portanto, rejeitamos a hiptese de que o coeficiente de fidedignidade p menor de significncia o. se

? I

'

pd

(k-1) (n - i), (n- i); a

(3.10)

onde ^p o coeficiente a de Cronbach

Intewab de mnfunp
Baseados na dualidade intrnseca entre teste de hiptese e intervalos de confiana, os resultados obtidos anteriormente podem ser usados para produzir intervalos de confiana para o coeficiente de fidedignidade, com qualquer coeficiente da confiana Vamos determinar um dos possveis intervalos de confiana

A partir de (3.9), obtemos

Aps alguns clculos, segue-se que um intervalo de confma para o coeficiente de fidedignidade com nfvel de confiana 1 - a dado por

(1-(1-6)F(n.1),(k- l)(n.l);l.%, 2 onde o coeficiente o. de Cronbadi.

72

~ ( l5) .

(n - 1), (k- 1) (n-1) ;

(3.11)

4 - REFERNCIAS BIBLIOGRAFICAS ALBANESE, M.T. (1984) - Coeficiente de Fidedignidade de um Instrumento de Medida UFRGS, Porto Alegre. (em fase de publicao). CRONBACH, L J. (1951) - Coefficient alpha and the internai structure of tests.'sych0metnka,16 (3): 297-334. KRISTOF, W. (1963). The statistical theory of stepped-up reability coefficients when a test has been divided into severai eauivaient DMS. 'svchome~'h. (3): 221-38. 28 MRD, F.M. & NOVICK, M.R. (1988) - St&iml iheories of mentaitest seores Reading, Massachussets: Addison-Wesley.

73