You are on page 1of 9

doi: 10.13037/rbcs.vol14n47.

3391 ISSN 2359-4330


RAS Rev. Aten. Sade., So Caetano do Sul, v. 14, n. 47, p. 75-83, jan./mar., 2016 artigo de reviso

75
PRINCIPAIS MTODOS DE AVALIAO PSICOMTRICA
DA VALIDADE DE INSTRUMENTOS DE MEDIDA
MAIN PSYCHOMETRIC EVALUATION METHODS
OF THE VALIDITY OF MEASURING INSTRUMENTS

Cristiane Martins Cunhaa*, Omar Pereira de Almeida Netob**, Renata Stackflethc*


a
crismcunha@gmail.com, bomarpneto@hotmail.com, crenatastack@gmail.com
*Universidade de So Paulo So Paulo (SP), Brasil
**Universidade Federal de Uberlndia Uberlndia (MG), Brasil

Data de recebimento do artigo: 27/05/2015


Data de aceite do artigo: 24/09/2015

RESUMO
Introduo: cada vez mais comum a publicao de estudos que demonstram a importncia da adequada
avaliao psicomtrica dos instrumentos de medida, como sendo um critrio de boa qualidade do
instrumento, no que se refere s evidncias de validade e confiabilidade. A validade de um instrumento de
medida rene um conjunto de evidncias que comprovam que ele est de fato mensurando o constructo que
supostamente pretende medir. Este artigo tem o objetivo de apresentar os princpios bsicos de avaliao
psicomtrica da validade dos instrumentos de medida e os principais mtodos estatsticos descritos na
literatura. Desenvolvimento: A pesquisa foi realizada a partir de publicaes nas bases de dados Medline,
LILACS e IBECS e tambm pelas descries em livros da rea. A anlise dos estudos envolveu leitura
de ttulos, resumos e textos publicados nos ltimos dez anos, e foram excludos artigos duplicados ou
que no respondiam ao objetivo desta reviso. As tcnicas de avaliao da validade quantitativas que
compem o modelo trinrio (validade de constructo, validade de contedo e validade de critrio), tm se
mostrado suficientes e satisfatrias na demonstrao da validade de um instrumento. Concluso: De um
modo geral, os autores concordam com os critrios fundamentais de avaliao da validade de um bom
instrumento de medida. A validade de um instrumento de medida um atributo psicomtrico presente
em um bom instrumento e precisa ser contemplado nessas categorias de estudo.

Palavras-chave: Validade dos testes; medidas, mtodos e teorias; questionrios; psicometria.

ABSTRACT
Introduction: The publication of studies demonstrating the importance of proper psychometric evalua-
tion of measuring instruments as a good quality instrument criterion with regard to evidence of validity
and reliability is increasingly common. The validity of a measuring instrument brings together a body of
evidence proving that it is in fact measuring the construct that it is supposedly measuring. This article
aims to present the basic principles of psychometric evaluation of the validity of measuring instruments
and the main statistical methods described in the literature. Development: The survey was conducted
from publications in MEDLINE, LILACS, and IBECS databases and also from the descriptions in related
books. The studies analyses involved reading titles, abstracts, and articles published in the last 10 years and
duplicated articles or those not responding to the purpose of this review were excluded. The techniques of
evaluation of quantitative validity that make up the trinary model (construct validity, content validity, and
criterion validity) has proved sufficient and satisfactory in demonstrating the validity of an instrument.
Conclusion: In general, the authors agree with the basic criteria for evaluating the validity of a good meas-
uring instrument. The validity of a measuring instrument is an existing psychometric attribute in a good
instrument and needs to be covered in these study categories.

Keywords: Validity of tests; measurements, methods, and theories; questionnaires; psychometrics.

Rev. Aten. Sade., So Caetano do Sul, v. 14, n. 47, p. 75-83, jan./mar., 2016
76 CUNHA C. M., NETO O. P. A., STAcKFLETH R.

Introduo consultadas descries em diversos livros da rea, a fim


de reunir o mximo de informaes que descrevessem
A psicometria a abordagem cientfica que visa sobre os principais mtodos de avaliao da validade de
mensurao e avaliao psicolgica dos constructos sub- instrumentos de medida. Para analisar e selecionar as
jetivos por meio de escalas, testes e questionrios padro- publicaes foi realizada a leitura de ttulos, resumos
nizados, denominados medida psicomtrica, os quais e textos, respectivamente nessa ordem, publicados nos
representam uma situao experimental que avalia um ltimos dez anos, e que estavam escritos em portugus,
determinado constructo1. uma complexa rea do co- ingls e espanhol. Foram excludos artigos duplicados,
nhecimento que objetiva desenvolver e aplicar tcnicas os que no estavam disponveis para baixar e os que no
de mensurao dos fenmenos psquicos2,3. Atualmente, correspondiam com o objetivo desta reviso.
distinguem-se na psicometria dois modelos tericos de
medida: a teoria clssica dos testes (TCT) e a teoria mo-
derna (ou teoria de resposta ao item)3. Princpios terico-metodolgicos da
A TCT continua sendo bastante utilizada pela co- avaliao psicomtrica: validade
munidade cientfica, visto que seu foco de avaliao
direcionado qualidade do instrumento de medida, vi- A validade se refere apropriao, significao e uti-
sando garantir que estes sejam vlidos e confiveis para lidade das inferncias realizadas a partir dos escores ob-
medir determinados comportamentos humanos2-4. tidos pelos instrumentos de medida1. Trata-se de uma
Esse modelo considera, especificamente, os parme- hiptese que visa comprovar a validade do instrumento
tros relacionados ao teste como um todo, visto que as atravs de testes empricos baseados em um critrio ex-
avaliaes psicomtricas consideram os escores totais terno ou padro-ouro2,14. Desse modo, a validade envol-
da medida, por meio de correlaes dos itens com os ve um conjunto de evidncias que comprova que uma
escores totais do teste5,6. Assim, os testes desenvolvidos escala est de fato mensurando o constructo que supos-
segundo este modelo so elaborados para avaliar as ap- tamente pretende medir8.
tides ou habilidades populacionais medianas, sendo Martins11, Silva e Ribeiro-Filho1, Pasquali2 e Collares,
necessrio que a amostra seja suficientemente grande e Grec e Machado16 ressaltam que a validade de uma me-
representativa3. Alm disso, nesse modelo, por adotar dida no depende dos seus escores e resultados, mas do
os escores totais de medida em uma determinada amos- objetivo e da seleo adequada do instrumento de me-
tra, os parmetros de dificuldade e de discriminao dos dida, o qual permitir compreender o real significado
itens e o ndice de erro da medida do teste so gerais obtido por meio da adequada interpretao inferencial.
para toda a amostra5,6. Vrios autores referem que a validade uma questo de
A validade considerada um dos principais critrios julgamento e interpretao dos escores do teste, e, por
que garantem a qualidade do instrumento, pois indi- isso, sempre importante considerar o grau de valida-
ca que o teste realmente mede o fenmeno de interesse de do teste7,10,12,13,18.
pretendido1,7-16. um atributo psicomtrico que deve Silva e Ribeiro-Filho1 e Lamprea e Gmez-
estar presente em um bom instrumento e precisa ser Restrepo12 descrevem que a validade de um teste per-
contemplado nessas categorias de estudo, visto que sua mite fazer inferncias e testar hipteses acerca de uma
ausncia pode produzir graves consequncias sobre as determinada varivel, pois ela fornece graus de garantia
concluses estatsticas de uma pesquisa17. de que o instrumento mede sua pretenso. Collares,
Conhecer os adequados mtodos psicomtricos de Grec e Machado16 e Polit e Beck15 reforam que a vali-
avaliao da validade de um instrumento de medida dade designa o grau no qual as inferncias dos escores
o primeiro passo para garantir a boa qualidade do ins- de um teste so verdadeiras e corretas. Para isso, ne-
trumento. Desse modo, este artigo teve como objetivo cessrio estabelecer que o instrumento de medida uti-
apresentar os princpios bsicos de avaliao psicomtri- lizado se relaciona com a varivel investigada, para que
ca da validade dos instrumentos de medida e os princi- os resultados dessa escala permitam fazer as inferncias
pais mtodos estatsticos descritos na literatura. desejadas12.
Para tanto, realizou-se uma pesquisa nas bases de Desse modo, entende-se que um teste vlido se
dados Medline, LILACS e IBECS, utilizando os des- ele mede o fenmeno de interesse pretendido1,7-16 fun-
critores validade dos testes; medidas, mtodos e te- damentando-se em um teste paralelo (critrio) que seja
orias; questionrios e psicometria, assim como, comprovadamente vlido e confivel7. O processo de
suas correspondentes tradues para o ingls validity testagem e de apresentao de evidncias da validade
of results; measurements, methods and theories; de uma medida denomina-se validao psicomtrica8,18,
questionnaires; psychometrics, os quais foram inter- com o intuito de operacionalizar um determinado
ligados pelo operador booleano and. Tambm foram constructo1.

Rev. Aten. Sade., So Caetano do Sul, v. 14, n. 47, p. 75-83, jan./mar., 2016
MTODOS DE AVALIAO PSICOMTRICA DA VALIDADE 77

Atualmente, h vrias tcnicas estatsticas para se contedo terico de um determinado fenmeno inves-
estimar a validade dos instrumentos de medida1,14,16,19. tigado. Entretanto, esse tipo de validade depende do
Segundo Fayers e Machin8 e Kimberlin e Winterstein13, grau e representatividade do constructo adotado pelos
o processo de validao longo e diversificado, e envol- seus avaliadores1,8,12-15,21.
ve a reunio de variadas evidncias ao longo do tempo A validade de contedo uma avaliao qualitativa
e em diferentes populaes. No entanto, as tcnicas de usada tanto nos processos de construo de novos instru-
validao que compem o modelo trinrio (validade de mentos de medida, quanto nos processos de adaptao
constructo, validade de contedo e validade de crit- cultural de instrumentos de medida preexistentes15,19.
rio) tm se mostrado suficientes e satisfatrias na de- Consiste no julgamento subjetivo por um comit de
monstrao da validade2,8,10-12,14-16. Assim, apesar de a especialistas, que avaliam a proporo na qual os itens
literatura apresentar variados mtodos de avaliao da de uma medida determinam o mesmo contedo e se es-
validade de um instrumento de medida, estes podem tes so relevantes e representativos de um determinado
ser considerados variantes das tcnicas propostas pelo constructo8,12,16,19.
modelo trinrio7. No entanto, por ser um processo de avaliao sub-
importante ressaltar que os tipos de validade no jetiva, e pela abstrao de seus constructos, quase im-
devem ser vistos como entidades diferentes e indepen- possvel garantir a sua representatividade terica nos
dentes umas das outras, mas sim como critrios que vi- diferentes itens. Diante disso, alguns autores ressaltam
sam estabelecer o grau de confiana das inferncias acer- que esse mtodo bastante susceptvel a crticas, sen-
ca de uma determinada varivel investigada12. do necessrio utilizar procedimentos de avaliao, tanto
qualitativos como quantitativos, para comprovar a vali-
dade1,19. Dentro desse tipo de validade, destaca-se uma
Validade de contedo variante da validade de contedo, denominada valida-
de aparente, as quais caminham juntas1,8.
Segundo Pasquali3, a validade de contedo de um A validade aparente (ou validade de face) se refere
teste consiste em verificar se o teste constitui uma amos- coerncia aparente entre o que se quer medir a partir
tra representativa do universo finito de comportamen- dos itens do instrumento de medida utilizado, os quais
tos. Fayers e Machin8 citam que a validade de contedo so avaliados subjetivamente por um corpo de juzes
visa avaliar e confirmar se o instrumento reflete toda especialistas na rea10-12,14,15,17. Trata-se de uma tcnica
a dimenso terica do construto pretendido, identifi- simples e necessria, porm pouco satisfatria que de-
car possveis discrepncias e omisses no questionrio, monstra primeira vista que o teste mede o que ele
alm de avaliar a aceitabilidade, compreenso, relevn- sugere1,11,15,18.
cia e clareza dos itens. Collares, Grec e Machado16 citam Fayers e Machin8 reforam que a validade de face faz
que a presena desse tipo de validade demonstra que a parte da validao de contedo, s que a sua avaliao
escolha e o formato dos itens do instrumento avaliado s ocorre aps a construo do instrumento. Urbina18
representam consistente e adequadamente o contedo cita que a validade aparente se refere aparncia super-
que se pretende medir, e um critrio de boa qualidade ficial daquilo que o teste mede na perspectiva de um
do instrumento. testando ou de qualquer outro observador leigo. Nesse
Para Pilatti, Pedroso e Gutierrez17, a validade de contexto, Cook e Beckman10 ressaltam que nessa ava-
contedo o julgamento da proporo em que os itens liao necessria uma abordagem sistemtica e docu-
de um instrumento medem uma construo terica mentada que assegure que o instrumento mede o cons-
representada por todas as facetas importantes do con- tructo pretendido, mas reforam que a simples avaliao
ceito medido. Menezes20 cita que esse termo se refere da aparncia no pode ser considerada como validade
ao julgamento se o instrumento realmente abrange os e, por isso, desencorajam o uso desse termo.
diferentes aspectos do seu objeto, e no contm ele- Sendo uma avaliao subjetiva, a seleo do corpo de
mentos que podem ser atribudos a outros objetos. Para juzes do comit de avaliadores deve ser bastante criterio-
Heynes21, a validade de contedo de um instrumento sa, sobretudo no que se refere qualificao dos mem-
avaliativo envolve a validao e, em alguns momentos, bros. Para isso, devem-se levar em conta as caractersticas
a refinao de um constructo, e ela se refere a um trao do instrumento, a formao, a qualificao e a disponi-
e no a um estado. bilidade dos profissionais indicados1,22,23. Sendo assim,
Vrias so as perspectivas que os autores utilizam recomenda-se que os juzes tenham experincia clnica,
para definir a validade de contedo. E, de um modo sejam pesquisadores na rea temtica de avaliao e que
geral, os autores concordam que a validade de conte- conheam o processo metodolgico utilizado na cons-
do expressa o grau de relevncia dos itens de um teste truo e/ou adaptao de instrumentos de medida. Por
na representao de todo o universo ou dimenso de outro lado, recomenda-se tambm a incluso de pessoas

Rev. Aten. Sade., So Caetano do Sul, v. 14, n. 47, p. 75-83, jan./mar., 2016
78 CUNHA C. M., NETO O. P. A., STAcKFLETH R.

leigas relacionadas populao do estudo, sobretudo para em uma escala nominal. Seus escores variam de -1 (sem
avaliar o grau de compreensibilidade dos itens8,24,25. concordncia) a +1 (concordncia total)14.
No h consenso na literatura sobre a quantidade de Lamprea e Gmez-Restrepo12 citam que h uma dis-
membros necessrios para compor o comit de juzes, cusso frequente sobre as escalas de medida muito hete-
mas algumas variveis devem ser levadas em conta, tais rogneas, no que se refere sua confiabilidade e valida-
como as caractersticas do instrumento, o mtodo de de de contedo, com o intuito de reduzir o nmero de
anlise que ser utilizado ou mesmo a preferncia do itens e ainda garantir a confiabilidade do instrumento.
pesquisador. No entanto, recomenda-se que este comit Conforme os autores, quando ocorre essa disparidade
apresente nmero mpar de membros e que, preferen- em um instrumento, prefervel garantir a validade de
cialmente, sejam entre 5 e 10 juzes. A avaliao da va- contedo de determinado teste para manter o seu poder
lidade de contedo deve ocorrer em duas formas distin- inferencial do que optar por um teste confivel, mas que
tas, por meio de uma avaliao quali-quantitativa17,21. no mede toda a dimenso terica do constructo avalia-
A avaliao qualitativa da validao de contedo do. Portanto, melhor que um teste tenha boa validade
prope avaliar a qualidade do instrumento, sua clareza, de contedo do que altos ndices de confiabilidade12.
pertinncia, relevncia e representatividade dos itens,
e se cada domnio foi adequadamente abordado pelo
conjunto de itens e se todas as dimenses do constructo Validade de constructo
foram includas8,19. Essa avaliao tambm envolve ava-
liar as equivalncias semntica, idiomtica, conceitual A literatura apresenta uma definio de constructo
e cultural do instrumento19. Nesse tipo de avaliao, bastante heterognea. Para Urbina18, um constructo
Guillemin, Bombardier e Beaton25 ressaltam que para qualquer coisa criada pela mente humana que no seja
verificar a adequada compreensibilidade de linguagem diretamente observvel. Silva e Ribeiro-Filho1 referem o
do instrumento, ele precisa ser compreendido por indi- constructo como sendo caractersticas no observveis
vduos com idade entre 10 e 14 anos. de que o pesquisador se utiliza para descrever comporta-
J a avaliao quantitativa envolve vrios mtodos mentos atravs de um dado critrio ou escala; e que, por
distintos para quantificar o grau de concordncia en- meio da validao de constructo se obtm um modelo
tre os especialistas. Dentre os mtodos mais utilizados, terico preliminar.
destacam-se o mtodo da porcentagem de concordncia Para Martins11, constructo uma varivel operacio-
entre os juzes, o ndice de validade de contedo (IVC) nal robusta que busca representar o verdadeiro significa-
e o coeficiente de Kappa. No mtodo de porcentagem do terico de um conceito, a partir do grau no qual uma
de concordncia entre os juzes (tambm chamado medida se relaciona consistentemente com outras medi-
de concordncia interobservadores), admite-se um das semelhantes derivadas da mesma teoria. E Vianna29
percentual mnimo de concordncia de 90% entre os define que os constructos so traos, aptides ou carac-
membros do comit22,26. tersticas supostamente existentes e abstrados de uma
J o clculo do IVC mede a proporo de juzes que variedade de comportamentos que possuam significado
esto em concordncia com determinados aspectos do psicolgico (ou educacional), tais como fluncia verbal,
instrumento e de seus itens, e um mtodo bastante motivao, inteligncia. Segundo esse autor, a operacio-
utilizado na rea de sade. Utiliza-se, geralmente, uma nalizao do constructo ocorre mediante a utilizao de
escala tipo Likert com pontuao que varia de 1 a 4 testes ou instrumentos de medida adequadamente va-
pontos (1, sem relevncia, at 4, totalmente relevante) lidados. A mensurao de um constructo requer que a
para assinalar quanto de relevncia e pertinncia o item definio conceitual do atributo avaliado seja traduzida
representa o seu constructo. Nesse mtodo, avalia-se a para uma definio operacional, que o indicador mais
proporo de itens com avaliao de relevncia com 3 concreto para representar e quantificar o constructo13.
ou 4 pontos. No h consenso na literatura quanto ao A validade de constructo se refere ao julgamento so-
nvel de concordncia mnima entre os autores, no en- bre a adequao das inferncias determinadas pela es-
tanto, alguns autores sugerem um ndice de concordn- cala em uma varivel de um determinado constructo.
cia mnimo de 0,8023,27, porm os valores recomendados As evidncias necessrias para esse tipo de validao so
so maiores que 0,9015,28. obtidas fazendo-se uma srie de estudos inter-relaciona-
O coeficiente de Kappa um dos ndices mais utiliza- dos, visando verificao emprica, por meio de testes
dos em pesquisas na rea da sade, e trabalha com a razo estatsticos, das construes tericas sobre a relao en-
da proporo de vezes que os juzes concordam com a tre as variveis a serem medidas20.
proporo mxima de vezes que os juzes poderiam con- Fayers e Machin8 referem que a validade de cons-
cordar, ambas as variveis corrigidas pela concordncia ao truto a caracterstica psicomtrica mais importante de
acaso. aplicvel quando os dados so categricos e esto um instrumento de medida, pois avalia o grau no qual

Rev. Aten. Sade., So Caetano do Sul, v. 14, n. 47, p. 75-83, jan./mar., 2016
MTODOS DE AVALIAO PSICOMTRICA DA VALIDADE 79

um instrumento mede o construto pretendido a partir de constructo um processo contnuo e envolve vrias
da avaliao de um modelo terico hipottico, ou seja, etapas de anlises tanto do contedo dos itens que com-
a relao terica existente entre duas medidas. Pasquali2 pem o instrumento quanto das relaes dessa escala
considera tambm que a validade de constructo a for- com outras que medem o mesmo constructo e da sua
ma mais fundamental de validade dos instrumentos, capacidade de predizer comportamentos no relacio-
pois constitui a maneira mais direta de verificar a hip- nados diretamente com os escores do instrumento de
tese da legitimidade da representao comportamental medida.
dos atributos no observveis, denominados de traos Em termos prticos, Haynes21 cita em seu estudo que
latentes2. De um modo geral, a validade de constructo a validade de constructo de um instrumento influencia
rene vrias evidncias sobre a adequao do modelo fortemente no julgamento clnico, pois fornece infor-
terico do instrumento, a partir da comprovao da re- maes que influenciam na tomada de deciso por meio
lao terica do instrumento com um critrio externo da formao de modelos, formulao de estratgias de
na representao do construto avaliado8,13. interveno, predio de comportamentos futuros e ava-
Alguns autores afirmam que a validao de construc- liao dos efeitos do tratamento. Assim, quanto maior
to a forma mais abrangente e complexa das categorias for as fontes de evidncias, mais confiante e vlida ser
de evidncia de validade, sendo a mais difcil de ser de- a interpretao dos resultados pelo pesquisador1,5,12,13,29.
terminada, pois necessria a aplicao de vrios testes Para investigao desse tipo de validade, uma das
estatsticos empricos para demonstrar esse tipo de va- abordagens de avaliao a tcnica por grupos conheci-
lidade. Ela se refere ao grau no qual uma escala mede a dos. A validade por grupos conhecidos o mtodo mais
teoria ou a hiptese investigada1,16,20. Portanto, segundo simples de avaliar a validade de construto e constitui
esses autores, a validade de constructo a habilidade de um subtipo de validade de constructo baseada no prin-
uma escala para confirmar as hipteses esperadas, sendo cpio de que em determinados grupos de sujeitos so
um julgamento sobre a adequao das inferncias dos esperadas pontuaes diferentes comparadas a outros e,
escores da escala na mensurao de um determinado para isso, o instrumento deve ser sensvel a essa diferen-
constructo. a. Assim, uma escala com evidncias de validade seria
A lgica do processo da validao de constructo a aquela capaz de discriminar a diferena entre os grupos
mesma do mtodo cientfico, pois parte de predies em uma determinada direo prevista na formulao
acerca de sua dimenso terica e, a partir da, testam-se das hipteses do estudo8.
hipteses sobre as possveis relaes que podem ser esta- Segundo Polit e Beck28, definidos os grupos conhe-
belecidas dentro desse constructo. Essas relaes podem cidos, os quais so grupos supostamente diferentes em
ser explicadas pelo princpio terico estabelecido por termos do atributo-alvo, esses so avaliados pelo ins-
Cronbach e Meehl30 denominado de rede nomolgi- trumento e aps comparar os escores de cada grupo,
ca. A rede nomolgica um modelo que explica, por possvel detectar possveis diferenas nos escores do
meio de leis, as ligaes (diretas ou no) existentes entre teste em virtude de determinadas caractersticas grupais.
as dimenses tericas (constructos) e os comportamen- importante ressaltar que a validade de construto por
tos observveis (Tau). Essas leis estabelecem relaes en- grupos conhecidos relaciona-se com a sensibilidade e
tre diferentes caractersticas, entre caractersticas e cons- responsividade do instrumento8.
tructos ou entre um constructo e outro; e ditam ainda A sensibilidade do instrumento relaciona-se com
que as leis e os conceitos esto ligados a comportamen- o tipo da amostra e com a validade de constructo por
tos observveis30. Segundo esses autores, o significado grupos conhecidos, no entanto, ela apenas detecta a
de um conceito somente fica totalmente esclarecido magnitude da diferena de algumas variveis com valor
quando se elabora uma rede de relaes que demonstre ou relevncia clnica entre os grupos. Ao passo que a
que essas relaes so especficas e definitivas. Portanto, validade de constructo por grupos conhecidos apenas
a validao de constructo demonstra empiricamente es- confirma uma hiptese previamente estabelecida em
sas relaes estabelecidas pela rede nomolgica, visando um grupo8. Alm da investigao da validade de cons-
garantir a concordncia entre os pesquisadores na ava- tructo por grupos conhecidos, dispe-se de dois outros
liao de um mesmo constructo29. mtodos de avaliao de constructo muito importantes,
Desse modo, a validade de constructo procura expli- denominados de validade de constructo convergente e
car e conectar uma dimenso terica a um determinado divergente (ou discriminante).
fenmeno comportamental, atravs da anlise emprica, Vianna29 ressalta que a compreenso de um instru-
por meio de aplicao de uma srie de testes estatsticos mento que mede determinado constructo ganha nova
baseados, sobretudo, em correlaes entre a relao te- dimenso quando se estabelece o grau de associao
rica dos itens de uma medida e as hipteses investiga- com outras medidas de constructos semelhantes. Assim,
das8,15,16,20. Silva e Ribeiro-Filho1 citam que a validao a validade de constructo possibilita determinar se o teste

Rev. Aten. Sade., So Caetano do Sul, v. 14, n. 47, p. 75-83, jan./mar., 2016
80 CUNHA C. M., NETO O. P. A., STAcKFLETH R.

investigado a melhor medida para o que se pretendeu meio de tcnicas de anlise fatorial confirmatria e de
medir, por meio da testagem emprica de hipteses de modelagem de equaes estruturais, a qual denomina-
convergncia (validade de constructo convergente) e de -se validao fatorial. Esse um mtodo de validao
discriminatividade (validade de constructo discrimi- de constructo que visa avaliar a dimensionalidade e os
nante) em relao s diferentes medidas. componentes de um instrumento, podendo ser de for-
A validade de constructo convergente (ou confir- ma confirmatria ou exploratria.
matria) se refere presena de correlao significa- A anlise fatorial se baseia em um conjunto de pro-
tiva entre a medida de investigao com uma medida cedimentos matemticos usados para identificar con-
de dimenso terica que mede o mesmo fator e que glomerados ou agrupamentos de variveis a partir da
seja empiricamente comprovada (vlida e confivel)1,8. anlise de intercorrelaes, de modo que cada agrupa-
Portanto, segundo Vianna29, a demonstrao estatsti- mento (ou fator) se correlaciona altamente entre si do
ca da validade de constructo convergente ocorre atravs que com variveis de outros agrupamentos no relacio-
da correlao significativa entre medidas de constructos nados1. Esse mtodo permite verificar a dimensionali-
afins, e demonstra evidncias que indicam que os testes dade de um instrumento de medida, fundamentando-se
utilizados tm significados semelhantes que correspon- pelo princpio da parcimnia, ou seja, um grande n-
dem o mesmo constructo. a presena de correlao mero de variveis observadas pode ser explicado por um
dos itens entre os mesmos traos, por meio de diferentes nmero menor de variveis hipotticas, no observadas.
mtodos, e por isso relaciona-se com a consistncia in- Esse modelo estatstico tambm permite a avaliao
terna do instrumento8. quantitativa do grau de adequao dos dados sua teo-
A validade de constructo divergente (ou discrimi- ria, por meio dos ndices goodness-of-fit e dos resduos
nante) a determinao da validade de um teste pela de- padronizados16.
monstrao que a medida investigada no se correlacio-
na comparativamente com uma varivel ou uma medida
de dimenso terica no teoricamente relacionada1,8 e se Validade de critrio
refere possibilidade de diferenciar empiricamente um
constructo de outros constructos semelhantes, assim A validade de critrio considerada a mais impor-
como constatar o que no est correlacionado ao cons- tante das validades estatisticamente determinadas,
tructo29, ou seja, a comprovao de diferentes traos, pois ela se refere extenso na qual um instrumento
por meio de testes com constructos diferentes. demonstra uma associao com um critrio ou uma
A anlise multitrao-multimtodo (MTMM) uma medida externa independente (paralela ou externa),
matriz estatstica que apresenta os dados estatsticos considerada como um padro-ouro na rea de interesse.
agrupados e ordenados resultantes das correlaes exis- Portanto, sua nfase est na predio do teste avaliada
tentes entre os itens e uma escala, de modo que os itens por critrios externos com validades confirmadas em-
representam os traos e as escalas, o mtodo. Essa ma- piricamente na avaliao do mesmo constructo que se
triz de correlao possibilita visualizar em uma tabela a quer medir1,8,12,13,15,16.
presena de traos entre os instrumentos, mediante as Segundo Fayers e Machin8, a validao de critrio
correlaes entre o item e a dimenso a qual pertence avalia se a medida investigada possui relao emprica
e entre o item e a dimenso a qual no pertence. Desse com critrios externos, comprovadamente validados,
modo, a matriz multitrao-multimtodo uma estrat- que avaliam o mesmo constructo. Collares, Grec e
gia para se avaliar a validade de construto convergente e Machado16 acrescenta que as evidncias de validade de
divergente, por meio de correlaes entre diferentes ins- critrio so obtidas por meio da comparao entre o ins-
trumentos. Caso haja correlao moderada entre o item trumento investigado e um outro instrumento (critrio
e a dimenso a qual ele pertence, existe validade conver- externo) que possui o mesmo fim, mas que j possui
gente, ao passo que se no existir correlao entre o item evidncias comprovadas de sua validade.
e outra dimenso, fala-se em validade divergente. No Segundo Lamprea e Gomz-Restrepo12, a seleo
entanto, esse mtodo de avaliao dificultado quando do critrio externo ou padro-ouro pode ser tanto um
um instrumento muito longo. Nessas condies, h a instrumento de medida consagrado ou at mesmo uma
possibilidade de aplicar a anlise multitrao-escala8. varivel clnica, a exemplo de resultados de exames ana-
Alm das correlaes, a validade de construto englo- tomopatolgicos (bipsias). Silva e Ribeiro-Filho1 citam
ba uma srie de complexas tcnicas e mtodos estatsti- que o critrio pode ser qualquer desempenho adequado
cos com o intuito de avaliar a dimensionalidade e a ho- e escalonado que seja vlido, relevante e no contami-
mogeneidade dos itens na avaliao de uma determinada nado, tais como desempenho em uma prova, sucesso de
varivel latente8. Segundo Collares, Grec e Machado16, uma terapia, escore de um teste etc. De qualquer modo,
a validade de constructo pode ser demonstrada por o pesquisador precisa se atentar para a seleo de um

Rev. Aten. Sade., So Caetano do Sul, v. 14, n. 47, p. 75-83, jan./mar., 2016
MTODOS DE AVALIAO PSICOMTRICA DA VALIDADE 81

critrio externo adequado, sobretudo quando se tem na utilidade dos escores do instrumento como forma
o intuito de validar um novo instrumento de medida. de predizer o comportamento futuro dos pacientes.
Alm de apresentar boa correlao com o instrumento Portanto, a validade de critrio preditiva refere-se ao
estudado, so necessrios outros atributos favorveis ao grau no qual a medida de investigao se relaciona com
critrio externo, tais como boa aceitabilidade e aplicabi- outra medida de um critrio externo com predio do
lidade para uso clnico, menor custo, menor risco para teste que ser obtida futuramente1,2,8,12,13,15.
o paciente, no envolver a realizao de procedimentos Segundo Urbina18 em muitos casos, essas duas va-
invasivos e ter maior simplicidade de avaliao1,12. riantes se confundem; e nesses casos, a distino entre
A verificao estatstica da validade de critrio ocorre elas depende muito do modo como o pesquisador faz a
mediante comprovao da associao existente entre a pergunta que se quer responder. Pasquali2 ressalta que o
medida investigada e o seu critrio externo. H duas va- fato da informao ser obtida simultaneamente ou fu-
riantes desse tipo de validade, a validade concorrente e turamente no um fator relevante para a validao de
a validade preditiva, as quais diferem entre si apenas por um teste, mas relevante saber se o critrio escolhido
um critrio temporal de avaliao da predio1,3,8,13,16,20. foi adequado e comprovadamente vlido. Alm disso,
Desse modo, quando a medida de investigao e o cri- importante que o pesquisador tenha bastante cautela na
trio so aplicados simultaneamente, e objetiva obter seleo do critrio, pois nem todos os instrumentos so
respostas imediatas e a tomada de decises, fala-se em considerados critrios bons e adequados1,8.
validade concorrente; ou quando o critrio avaliado A validade de critrio considerada a mais impor-
no futuro e visa obter predies em relao a algum fa- tante das validades determinadas estatisticamente1,8,20.
tor, fala-se em validade preditiva3,8,12,15,16,20. Ela avalia o grau com que o instrumento de investiga-
Urbina18 descreve que a validade de critrio concor- o discrimina indivduos com diferentes caractersti-
rente apropriada para escores de testes que sero em- cas de acordo com um critrio padro1,21. No entanto,
pregados para determinar o status atual de uma pessoa Pasquali2,3 questiona toda essa importncia desse tipo de
em relao a uma determinada varivel (que pode ser validade. Segundo o autor, essa validade s faz sentido
de desempenho, ocupacional, clnica ou diagnstica), se existirem testes comprovadamente vlidos que pos-
no momento em que o estudo est sendo conduzido. sam servir de critrio contra o qual se quer validar um
Para Silva e Ribeiro-Filho (2006), se os escores de um novo teste e que este novo teste tenha vantagens sobre o
teste so obtidos aproximadamente ao mesmo tempo, antigo. Assim, o questionamento do autor est no fato
os indicadores da relao entre os escores da escala e de, por que validar um novo teste utilizando-se de uma
do critrio fornecem evidncia de validade concorren- medida como padro-ouro, supostamente considerada
te. Portanto, essa validade se refere ao grau no qual a como sendo inferior? Diante disso, esse autor considera
medida de investigao se relaciona com outra medi- que, para a validao psicomtrica de instrumentos, a
da (ou critrio externo) com predio do teste obtida avaliao da validade de constructo seja superior va-
no mesmo momento, quando as medidas so aplicadas lidade de critrio2. Por outro lado, Cook e Beckman10
simultaneamente1,2,8,12,13,15,18. consideram que todos os outros tipos de validade so
Em relao validade de critrio preditiva, Urbina18 variaes da validade de constructo e representam dife-
ressalta a utilidade desse tipo de validade para tomada de rentes categorias reunidas que evidenciam a validade de
decises baseada nas estimativas dos nveis de desempe- constructo.
nho ou resultados comportamentais futuros. Segundo
essa autora, os procedimentos de validao preditiva
requerem que sejam coletados dados sobre a varivel Concluso
preditora e que aguardem at que os dados de critrio se
tornem disponveis para que os dois conjuntos de dados Para responder alguma questo, o pesquisador pode
possam ser correlacionados. Silva e Ribeiro-Filho1 refe- decidir por utilizar um instrumento de medida existente
rem que os escores so usados para predizer comporta- ou construir um novo instrumento. Do ponto de vista
mentos ou desempenho em um critrio predetermina- do custo-benefcio, sempre prefervel e prtico para
do. Os escores podem ser obtidos em um momento, e as o pesquisador utilizar um instrumento de medida j
medidas do critrio obtidas um tempo depois e, usual- pronto, que seja comprovadamente vlido e confivel,
mente, aps alguma estratgia interveniente ter sido im- do que comear um longo e dispendioso processo de
plementada (a exemplo, treinamento, medicao etc.). construo e validao psicomtrica13. Entretanto, inde-
Dessa forma, as medidas da relao entre os esco- pendentemente da deciso do pesquisador, fundamen-
res do teste e o do critrio, obtidos um tempo depois, tal a adequada seleo do instrumento, por meio de uma
fornecem um indicativo prognstico e de validade pre- criteriosa e rigorosa avaliao que garanta a sua boa qua-
ditiva do instrumento. Assim, o clnico est interessado lidade, conforme as recomendaes da literatura8,10,13.

Rev. Aten. Sade., So Caetano do Sul, v. 14, n. 47, p. 75-83, jan./mar., 2016
82 CUNHA C. M., NETO O. P. A., STAcKFLETH R.

Desse modo, a literatura tem focado, cada vez com 4. Sartes LMA, Souza-Formigoni MLO. Avanos na psicome-
maior nfase, a importncia da adequada avaliao psi- tria: da teoria clssica dos testes teoria de resposta ao item.
comtrica dos instrumentos de medida, sobretudo no Psicologia: Reflexo e Crtica. 2013;26(2):241-50.
que se refere s evidncias de sua validade e confiabi- 5. Pasquali L, Primi R. Fundamentos da teoria de resposta ao
lidade. E, de um modo geral, os autores concordam item: TRI. Avaliao Psicolgica. 2003;2(2):99-110.
com os critrios fundamentais para garantir um bom 6. Couto G, Primi R. Teoria de resposta ao item (TRI): con-
instrumento de medida. No entanto, alguns estudos j ceitos elementares dos modelos para itens dicotmicos.
sinalizam sobre as novas perspectivas de avaliao psi- Boletim de Psicologia. 2011;LXI(134):1-15.
comtrica e s suas vantagens sobre a teoria clssica dos 7. Pasquali L. Validade dos testes psicolgicos: ser poss-
testes4,8-10,11,13,16-19. A literatura demonstrou que as tc- vel reencontrar o caminho? Psicologia: Teoria e Pesquisa.
nicas de avaliao da validade quantitativas, que com- 2007;23(especial):99-107.
pem o modelo trinrio (validade de constructo, valida- 8. Fayers PM, Machin D. Quality of life. Assessment, analysis,
de de contedo e validade de critrio), tm se mostrado and interpretation. The assessment, analysis, and interpre-
suficientes e satisfatrias na constatao da validade de tation of patient-reported outcomes. 2nd ed. Chichester:
um instrumento. John Wiley & Sons; 2007.
A validade um atributo psicomtrico mais impor- 9. Primi R. Psicometria: fundamentos matemticos da teoria
tante que precisa estar presente em um bom instrumento clssica dos testes. Avaliao Psicolgica. 2012;11(2):297-307.
de medida, visto que sua ausncia pode produzir graves 10. Cook DA, Beckman TJ. Current concepts in validity and
consequncias sobre as concluses estatsticas de uma reliability for psychometric instruments: theory and appli-
pesquisa17, porm a mais complexa de ser avaliada. No cation. The Am Journal of Med. 2006;119(2):166.e7-16.
entanto, importante avaliar tambm sua confiabilida- 11. Martins GA. Sobre confiabilidade e validade. RBGN.
de, pois quando ela baixa, sua medida ser imprecisa, 2006;8(20):1-12.
o que torna limitada a validade das inferncias obtidas a 12. Lamprea JA, Gmez-Restrepo C. Validez en la evaluacin
partir desse instrumento10,13,15,16. Assim, um instrumen- de escalas. Rev Colombiana Psiquiatr. 2007;36(2):340-8.
to que tem boa validade, muito provavelmente tambm 13. Kimberlin CL, Winterstein AG. Validity and reliability of
ser um instrumento confivel10,11,15. measurement instruments used in research. Am J Health
O uso de instrumentos de medida crescente nos Syst Pharm. 2008;65(23):2276-84.
ltimos anos, e engloba variadas reas profissionais4. 14. Hulley SB, Cummings SR, Browner WS, Grady D, Hearst
Diante disso, necessrio que os instrumentos de me- N, Newman TB. Delineando a pesquisa clnica. 3 ed. Porto
dida apresentem altos nveis de qualidade. Dessa forma, Alegre: Artmed; 2008.
este artigo apresentou os principais mtodos de avalia- 15. Polit, DF, Beck CT. Essentials of nursing research: apprais-
o psicomtrica da validade de um instrumento de me- ing evidence for nursing practice. 7th ed. Philadelphia:
dida, ditados pela teoria clssica dos testes. A escolha Wolters Kluwer; 2010.
do melhor mtodo deve ser criteriosamente considera- 16. Collares CF, Grec WLP, Machado JLM. Psicometria na ga-
da, levando em conta, sobretudo, as caractersticas do rantia de qualidade da educao mdica: conceitos e aplica-
instrumento, a populao avaliada e o tipo e nvel de es. Scien in Health. 2012;3(1):33-49.
mensurao dos dados gerados. 17. Pilatti LA, Pedroso B, Gutierrez GL. Propriedades psicom-
tricas de instrumentos de avaliao: um debate necessrio.
R.B.E.C.T. 2010;3(1):81-91.
Agradecimentos 18. Urbina S. Fundamentos de testagem psicolgica. Porto
Alegre: Artmed; 2007.
Coordenao de Aperfeioamento de Pessoal de 19. Alexandre NMC, Coluci MZO. Validade de contedo nos
Nvel Superior (CAPES) pelo apoio para o desenvolvi- processos de construo e adaptao de instrumentos de
mento deste trabalho. medida. Cin Sade Coletiva. 2011;16(7):3061-8.
20. Menezes PR. Validade e confiabilidade das escalas de avalia-
o em psiquiatria [Internet]. 2013 [acesso em 12 de agos-
Referncias to. 2015]. Disponvel em: http://hcnet.usp.br/ipq/revista/
vol25/n5/conc255b.htm.
1. Silva JA, Ribeiro-Filho NP. Avaliao e mensurao da dor. 21. Haynes SN, Richard DCS, Kubany CS. Content validity in
Pesquisa, teoria e prtica. Ribeiro Preto: FUNPEC; 2006. psychological assessment: A functional approach to concepts
2. Pasquali L. Psicometria. Rev da Esc de Enfermagem da USP. and methods. Psychological Assessment. 1995;7(3):238-47.
2009a;43(especial):992-9. 22. Lynn MR. Determination and quantification of content va-
3. Pasquali, L. Psicometria: Teoria dos testes na psicologia e na lidity. Nursing Research. 1986;35(6):381-5.
educao. 3 ed. Petrpolis: Vozes; 2009b. 23. Grant JS, Davis LL. Selection and use of content experts

Rev. Aten. Sade., So Caetano do Sul, v. 14, n. 47, p. 75-83, jan./mar., 2016
MTODOS DE AVALIAO PSICOMTRICA DA VALIDADE 83

for instrument development. Research Nursing of Health. 27. Davis LL. Instrument review: getting the most from a panel
1997;20(3):269-74. of experts. Appl Nurs Res. 1992;5(4):194-7.
24. Tilden VP, Nelson CA, May BA. Use of qualitative 28. Polit DF, Beck CT. The content validity index: are you sure
methods to enhance content validity. Nursing Research. you know whats being reported? Critique and recommen-
1990;3(3):172-5. dations. Res Nur Health. 2006;29(5):489-97.
25. Guillemin F. Cross cultural adaptation and valida- 29. Vianna HM. Validade de constructo em testes educacionais.
tion of health status measures. Scand J Rheumatol. In: Vianna HM. Testes em educao. So Paulo: Ibrasa;
1995;24(2):61-3. 1987. p. 35-44.
26. Topf M. Three estimates of interrater reliability for nominal 30. Cronbach LJ, Meehl PE. Construct validity and psychologi-
data. Nursing Research. 1986;35(4):253-45. cal tests. Psychological Bulletin. 1955;52:281-302.

Como citar este artigo:


Cunha CM, Neto OPA, Stackfleth R. Principais mtodos de avaliao psicomtrica da validade de instrumentos de medida. Rev.
Aten. Sade. 2016;14(47): 75-83.

Rev. Aten. Sade., So Caetano do Sul, v. 14, n. 47, p. 75-83, jan./mar., 2016

You might also like