Professional Documents
Culture Documents
©
2007 Sociedade Brasileira de Zootecnia
ISSN impresso: 1516-3598 R. Bras. Zootec., v.36, suplemento especial, p.285-294, 2007
ISSN on-line: 1806-9290
www.sbz.org.br
Universidade Federal de Santa Maria, Departamento de Zootecnia, Campus Camobi, 97119-900, Santa Maria, RS.
lovatto@smail.ufsm.br
RESUMO - Este texto descreve os princípios básicos de sistematização com enfoque em meta-análise. É
apresentado o estado da arte da meta-análise, recuperando informações de sua evolução e metodologias básicas para
sua realização. São descritos seus antecedentes históricos, os limites das abordagens clássicas de revisão de literatura,
as bases conceituais, os objetivos e justificativas. É indicada uma metodologia geral para realização da meta-análise.
São apresentados os critérios para a definição dos objetivos. São descritos os procedimentos de sistematização das
informações e gestão de base bibliográfica de dados destinada aos estudos meta-analíticos (seleção, codificação,
filtragem de dados). São apresentadas as análises mais comuns (gráfica, ponderações), a escolha do modelo estatístico
(um fator explicativo qualitativo, um efeito qualitativo ou quantitativo), os fatores de interferência, os procedimentos
pós-analíticos (variações residuais, heterogeneidade entre resultados). Em síntese, este texto mostra que a meta-
análise é superior às formas tradicionais de revisão de literatura por estimar com maior precisão os efeitos dos
tratamentos, ajustando-os para a heterogeneidade experimental. No entanto, a meta-análise exige os efeitos na
sistematização e análise dos resultados da pesquisa.
ABSTRACT - This text describes a basic approach of systematization with focus on meta-analysis. It is
presented the art state of the meta-analysis, recovering information of its evolution and basic methodologies for its
accomplishment. In this text are described the historical antecedents of meta-analysis, the limits of the classic
approaches of literature review, the conceptual bases and the objectives. It is indicated a general methodology for
meta-analysis procedures. The criteria for the definition of the objectives are presented. The procedures of the
systematization and management of bibliographical data base selected to meta-analytic studies are described
(selection, code, data filtration). The most common analysis (graph, adjustments) are presented, the choice of the
statistical model (a qualitative explanatory factor, a qualitative or quantitative effect), the interference factors and
the post-analytic procedures (residual variations, heterogeneity among results). In conclusion, this text shows that
meta-analysis is better than traditional methods of literature review for esteeming with more precision the treatments
effects adjusting it’s for the experimental heterogeneity. However, the meta-analysis requires discipline in the
systematization and analysis of the research results.
contraditórios por menor que seja sua potência de sobrevivência ou, o mais comum em nosso
analítica. domínio, de dados quantitativos resultantes de
medidas sobre indivíduos, de tecidos ou de
5.3. Aumento da precisão analítica produtos. A questão da natureza dos fatores
O reagrupamento de vários experimentos induz estudados em meta-análise é importante por
a uma melhor precisão na avaliação do tamanho considerar e tratar a heterogeneidade entre
do efeito do tratamento. Isso se deve a uma análise tratamentos e/ou experimentos. O fator publicação
fundamentada em uma quantidade maior de ou experimento é considerado como um efeito
informação, acompanhada do aumento de compa- aleatório se cada amostra for tida como uma
rações entre temas. representação de uma população maior. Neste
contexto, diferenças entre experimentos são
5.4. Melhor representatividade resultados da variabilidade da amostragem
A avaliação oriunda da meta-análise se aleatória e o objetivo é em geral controlar a
aproxima mais ao efeito da aplicação prática do variabilidade deste fator.
tratamento. Considerados individualmente, cada Trata-se de um efeito fixo se cada experimento
trabalho foi realizado com vários cuidados especí- ou grupo de experimentos vem de uma população
ficos. Muitas vezes esses cuidados experimentais diferente. Nesse caso, as modalidades podem ser
estão distantes do conjunto da população. Reagru- escolhidas pela comunidade de pesquisadores.
pando os tratamentos com características diferen- Nessa condição, o objetivo princi-pal é classificar
tes, a meta-análise permite ajustar (ou corrigir) a e explicar essas modalidades. Se o objetivo é obter
média geral dos estudos aos fatores de variação. uma lei geral de resposta a uma prática, é
O efeito do tratamento é avaliado levando em conta conveniente verificar se os experimentos
diferentes condições, o que aumenta sua aplicabi- agrupados são representativos dos vários contextos
lidade para a população. nos quais as práticas em questão serão aplicadas.
Este último aspecto é importante, mas às vezes
5.5. Ajuda para a planificação e geração de negligenciado. Ao sistematizar o tema, busque um
hipótese nova
efeito fixo que permita classificar esses contextos.
A meta-análise pode ser realizada em diferentes
momentos da definição do problema, da questão
7. Meta-análise: dificuldades do
a ser respondida e de um novo dispositivo experi-
tratamento das bases de dados
mental. Durante a fase de planificação de um novo
experimento, a meta-análise fornece os meios para
A base de dados se apresenta em geral em
fazer uma síntese do conhecimento adquirido sobre
linhas (tratamentos, lotes, tipos experimentais) e
o tema. Ela permite assim reforçar a hipótese de
em colunas (medidas e codificações). Um dos
que o tratamento produz um efeito. Os resultados
maiores problemas é que a planilha pode conter
obtidos facilitarão o cálculo do número de repeti-
células vazias, o que reduz os recursos analíticos
ções. A meta-análise pode identificar hipóteses
descri-tivos multidimensionais e obriga a avançar
diferentes das que motivaram os experimentos
por uma abordagem uni ou bidimensional. Esta
incluídos na meta-análise. É necessário observar
última abordagem é freqüente em meta-análise
com cuidado a validação de uma hipótese através
para estudar os pares (variável explicada – variável
de dados que serviram para gerar a mesma
explicativa). Por outro lado, o meta-dispositivo
hipótese.
experimental constituído por uma base de dados
agrupada, nunca é organizado com antecedência,
6. Meta-análise: natureza de não sendo clássico, equilibrado ou ortogonal
dados e dos fatores (Sauvant et al., 2005). Além disso, na maioria das
situações tratadas por meta-análise, a variabilidade
Os dados avaliados por meta-análise podem entre os tratamentos é mais importante que aquela
ser de natureza qualitativa, expressos, por induzida experimentalmente dentro dos
exemplo, por um código tipo [0-1]. Eles também tratamentos. Somado a isso, as relações existentes
podem ser expressos em forma de percentagem, entre duas variáveis não são idênticas entre e
©
2007 Sociedade Brasileira de Zootecnia
Meta-análise em pesquisas científicas - enfoque em metodologias 289
dentro dos tratamentos. Nessa situação, a questão 8.2. Sistematização das informações
que se apresenta é se a relação inter ou intra- Toda a meta-análise é baseada na siste-
tratamentos tem um alcance mais geral. matização de um conjunto de dados obtidos princi-
palmente da literatura científica. Em situações
8. Meta-análise: procedimentos especiais os dados podem ser obtidos de experi-
mentos não publicados. A construção da base de
Alguns procedimentos (Figura 2) constituem dados depende da organização lógica das informa-
as boas práticas e compõem a engenharia da meta- ções descritas no material bibliográfico. Em vista
análise, devendo ser aplicados do modo mais da disponibilidade de dados, é necessário limitar
rigoroso possível. a pesquisa bibliográfica no espaço (amplitude
geográfica) e tempo (período de inclusão dos
8.1. Definição do objetivo artigos). Utilize as definições operacionais das
O tema da pesquisa pode ser determinado variáveis, a qualidade dos artigos, os participantes
através de variáveis dependentes, independentes e o desenho experimental. A busca pode ser em
ou comumente pesquisadas. Nesse contexto, é bases digitais (ex. portal Periódicos Capes).
fundamental relacionar as causas e efeitos das Selecione o conjunto final de artigos, faça indivi-
variáveis. Antes de tudo, é necessário definir um dualmente e não exclua artigos não significativos.
objetivo de pesquisa, uma problemática, quem é a Os dados a serem extraídos dependem dos obje-
pessoa essencial para definir as fases seguintes e, tivos, mas é importante elaborar um formulário
em particular, a codificação, filtragem, a ponde- de extração de dados (principalmente informações
ração dos dados e o modelo estatístico. Nós do material/métodos e resultados). Não é ideal ter
podemos ter objetivos mais ou menos focados, critérios pré-determinados para inclusão e
fazendo um estudo exploratório do tipo vigilância exclusão de artigos. É desejável que esses critérios
bibliográfica. Mas sempre são os objetivos que sejam desenvolvidos à medida que se interage com
determinam todo o processo meta-analítico. a literatura. Para incluir ou excluir artigos de baixa
qualidade se parte do pressuposto que todos os no tema. Não é possível terceirizar essa tarefa a
resultados possam ter erros potenciais (qualidade membros da equipe sem treinamento prévio. Nossa
metodológica). experiência tem demonstrado que os doutorandos
Um cuidado especial deve ser observado e mestrandos podem, após uma formação
quanto à máxima incluímos estudos publi-cados completa, realizar adequadamente essa tarefa. No
porque foram revisados. Resultados significativos caso de graduandos, é necessário que os mesmos
serão publicados mais que os não significativos. tenham capacidade de análise e interpretação
É difícil tentar identificar e recuperar todos os sistêmica das informações.
experimentos onde se conheçam os critérios de Depois disso, se a publicação for aceita, seus
elegibilidade. As fontes potenciais para dados são transferidos, com precaução para evitar
identificação de documentos são bases de dados enganos de transcrição, para a base de dados. Após
bibliográficas informatizadas, autores que a inserção da publicação na base de dados, é
trabalham no mesmo tema de pesquisa, programas importante considerar no conjunto das
de conferência, dissertações, revisão de artigos, características gerais e das relações da base, se a
procura manual de periódicos relevantes, mesma não apresenta um comportamento anormal.
relatórios, entre outros. Se for o caso, a publicação deve ser deixada de
lado sem ser eliminada definitivamente, pois pode
8.3. Codificação de dados ser novamente consultada no decorrer de trabalho.
A primeira fase essencial de um trabalho meta-
analítico é a codificação dos dados das publicações 8.5. Análise dos dados
incluídas na base. Torna-se necessário também 8.5.1. Gráfica
codificar por objetivo experimental anunciado e A análise gráfica de dados representa uma fase
avaliado em cada publicação. Isso nos remete a essencial de uma meta-análise. Essa análise
definir tantos códigos quanto os objetivos experi- permite, pela visualização das representações
mentais agrupados na base. Essas codificações são gráficas, identificar rapidamente as informações
indispensáveis para interpretar os dados conside- e relações importantes. Essa abordagem é muito
rando os vários objetivos experimentais. Existem útil porque nos dá uma idéia inicial e geral da
situações onde é necessário discretizar uma heterogeneidade e coerência dos dados sobre a
variável contínua transformando-a, de acordo com natureza e a importância das relações inter ou intra-
o objetivo, em uma variável discreta. Essa variável experimentos. A análise gráfica sistemática dos
terá n modos em uma só coluna, ou várias colunas dados permite também estabelecer hipóteses ou
de n modos (codificando 0-1). Essa codificação clarear pontos-chave para a escolha de um modelo
permite localizar, ou considerar estatisticamente, estatístico. Ela permite ainda identificar
as modalidades dos fatores experimentais, as rapidamente, devido a codificação de dados,
características principais, um tipo de medida, indivíduos ou experimentos que apresentam
equipe de pesquisa, etc. Na prática é importante condição particular ou aberrante. A análise gráfica
incluir na base todas as informações disponíveis pode também identificar a existência de não
que são aplicáveis aos objetivos da pesquisa. linearidade e de interações e localizar nos dados
explorados experimentalmente as zonas possível
8.4. Filtragem dos dados e plausível de mesmas variações. Ela permite ainda
A qualidade dos resultados da meta-análise se estimar valores de variáveis para qual o esforço
deve também a filtragem dos dados, que se da pesquisa foi maior.
desenvolve em três fases. A primeira consiste em
assegurar que uma publicação candidata para a 8.5.2. Do meta-dispositivo experimental
entrada na base tenha coerência com os objetivos É necessário conhecer o meta-dispositivo
do trabalho. Uma vez selecionada, a publicação constituído pela estrutura dos experimentos para
deve ser explorada exaustivamente através de uma cada característica explicativa. Para isso, diferentes
leitura crítica e eventuais erros devem ser anotados. procedimentos devem ser aplicados antes e depois
Embora óbvio, esse trabalho deve ser realizado da análise estatística.
por pessoas que tenham conhecimento suficiente No caso de uma variável explicativa, é útil
©
2007 Sociedade Brasileira de Zootecnia
Meta-análise em pesquisas científicas - enfoque em metodologias 291
codificar os tipos e freqüências dos diferentes de parâmetros (desvio padrão residual....) tornando
dispositivos experimentais aplicados. Esse conhe- difícil o interesse estatístico de uma ponderação.
cimento pode ser essencial para certas fases da Para evitar isso, ST-Pierre (2001) propôs a divisão
interpretação. Histogramas do conjunto de de cada ponderação pelo valor do conjunto para
tratamentos e de experimentos sobre a variável obter parâmetros que possuam a mesma escala.
explicativa dão uma idéia da distribuição do Esta necessidade depende do software utilizado.
esforço de pesquisa. É importante também consi- Por exemplo, com a opção weight do SAS, há
derar as variações intra-experimentos das variáveis normalização automática de ponderações para que
explicativas. Variações intra-experimentos de a soma seja igual a um.
amplitudes muito pequenas não são interessantes Nas ponderações de acordo com outros
para obter leis de resposta intra. Outro aspecto critérios considera-se, por exemplo, a força do
importante é saber se existe ou não, um efeito experimento (quer dizer a capacidade de
significativo do experimento sobre as carac- evidenciar um efeito cuja amplitude é definida a
terísticas tratadas como variável explicativa. No priori) ou até mesmo a duração da experi-
caso de efeito significativo, é necessário prestar mentação. É também desejável considerar, por
atenção sobre o procedimento estatístico para ponderação, uma nota de avaliação global,
estudar um efeito intra-experimento, pois não parcialmente subjetiva, da qualidade do experi-
existe correlação entre efeitos intra e inter- mento após a leitura crítica da publicação. Esta
experimentos. qualidade deve ser avaliada de acordo com uma
No caso de duas ou mais variáveis explicativas grade elaborada por um ou vários especialistas do
a serem incluídas no mesmo modelo, é sugerido tema considerado. Mas o interesse da ponderação
examinar, gráfica e estatisticamente, as relações diminui quando o número de experimentos
globais, inter e intra-experimentos. Isso permite considerados aumenta (Sauvant et al., 2005).
observar o grau de independência entre estas variá- Outra questão recorrente sobre esse tema é
veis e a possibilidade de interpretar independen- saber se é mais oportuno ponderar uma experi-
temente coeficientes de regressão. mentação ou os tratamentos que correspondem em
geral aos resultados médios de um lote de animais.
8.5.3. Ponderações Realmente, uma parte heterogênea, rejeitada pelos
Os experimentos agrupados numa meta-análise autores da publicação baseada num teste de
são freqüentemente muito variados em relação a homogeneidade, de homocedacidade ou variância,
critérios como o número de animais, dispositivo pode ser analisada adequadamente por meta-
experimental e variação residual (desvio padrão) análise. Porém, para ser realizado, esse proce-
após o tratamento estatístico. É necessário dimento pressupõe o conhecimento das variações
considerar essa diversidade no momento da intra de cada tratamento ou lote. Infelizmente, essa
análise. É conveniente, então, considerar a escolha informação raramente está disponível nas
do sistema de ponderação de experimentos. publicações.
Globalmente temos dois tipos de ponderações. Outro aspecto que merece reflexão na
As ponderações justificadas pela teoria aplicação de ponderações é a relevância da escolha
estatística: no modelo linear geral e onde as de um dispositivo experimental em relação a um
variâncias das observações são diferentes e objetivo científico. Para muitas variáveis de difícil
conhecidas, os estimadores do máximo de veros- medida, o dispositivo experimental geralmente
similhança são obtidos ponderando cada aplicado em animais é o quadrado latino. A
observação pelo inverso da variância do resultado vantagem deste dispositivo é usar um número
do experimento i, ou seja, (ni/Sri2), onde ni é o reduzido de animais, controlar a variância
número de observações individuais da qual individual, ter coeficientes de variação baixos e
obtivemos a média. Outras ponderações i usam o maior poder analítico. Por outro lado, pela
inverso da variância residual (1/Sri2) ou o desvio evolução fisiológica dos animais, os períodos
padrão residual (1/Sri), ou novamente a raiz experimentais aplicados são, em geral, bastante
quadrada/Sr). Mas a aplicação dessas ponderações curtos. Isso significa que os efeitos testados podem
apresenta a inconveniência de modificar os valores dar informação unicamente sobre modificações
©
2007 Sociedade Brasileira de Zootecnia
292 Lovatto et al.
passageiras consideradas durante prazo limitado. que eles são menos poderosos que o modelo linear
Isso levanta a questão da validade do processo de ponderado descrito anteriormente.
inferência. Podemos nos questionar sobre a
relevância dos dispositivos experimentais 8.5.6. Caso de um fator explicativo quantitativo
fornecendo algumas variações residuais mais No contexto de pesquisa de uma lei de resposta
elevadas, envolvendo mais animais e aumentando Y = f (X), ST-PIERRE (2001) propôs o ajuste dos
a duração experimental. resultados de n experimentos (i = 1 a n) e m
tratamentos (j = 1 a m) por um modelo estatístico
8.5.4. Escolha de um modelo estatístico do tipo análise de variância-covariância:
A variável resposta pode ser contínua ou
discreta. Como a meta-análise se desenvolveu Yij = Bo + si + B1*Xij + bi*Xij + eij
historicamente em ciências da educação, depois
em medicina, com variáveis respostas binárias, Onde: Yij: variável resposta, tratamento j do
nosso interesse é somente para variáveis respostas experimento j; Bo: termo constante, geralmente
contínuas que são a maioria de nossas situações. considerado como um efeito fixo; si: ordenada à
No caso de variável resposta binária (doente/sadio) origem aleatória dos experimentos i; B1: coefi-
é utilizado o modelo linear generalizado. Como o ciente de regressão geral Y sobre X (efeito fixo);
problema do viés de publicação é onipresente em Xij: variável explicativa quantitativa; bi : efeito
medicina, há tendência geral de se publicar artigos aleatório do experimento i sobre o coeficiente de
que mostrem efeitos significativos. Se dois estudos regressão de Y sobre X. eij: erro aleatório. ST-
sobre o mesmo tema são realizados por equipes Pierre (2001) simulou um conjunto de dados
diferentes, um pode observar presença e o outro correspondendo a esse modelo e mostrou a
ausência de efeito significativo. O estudo com necessidade de fazer uma análise da relação intra-
efeito positivo tem mais chances de ser publicado, experimento e não global (integrando todas as
mesmo que aquele com efeito negativo tenha observações sem distinção).
qualidade semelhante. Dessa forma, a meta-análise
que selecionar somente artigos publicados vai 8.5.7. Escolha entre um efeito qualitativo ou
sofrer esse viés. Isso não é comum em estudos de quantitativo
produção animal, pois as pesquisas buscam a O debate antigo bloco ou covariável pode ser
quantificação do efeito e não unicamente provar aplicado em certos controles de efeito intra-
sua existência. De maneira geral há duas situações, experimento. Se este corresponde a um critério
dependendo se a variável resposta é dependente quantitativo com senso concreto, ele pode ser
de um fator qualitativo ou quantitativo. melhor controlado por covariável. É o caso, por
exemplo, do reagrupamento de experimentos
8.5.5. Caso de um fator explicativo qualitativo realizados com animais em crescimento com
O modo mais simples para analisar os dados é diferenças importantes entre eles de estágio de
aplicando um modelo estatístico de análise de crescimento. Neste caso, é indicado utilizar o peso
variância: vivo como critério de controle da variação inter-
experimentos.
Yij = β i + αj + (βα
βα
βα)ij + eij
8.5.8. Considerando os fatores de interferência
Onde: Yij é a variável resposta; βi efeito do Os fatores de interferência são as variações das
tratamento; αj fator experimental que pode ser condições aplicadas inter-experimentos suscetíveis
fixo ou aleatório; (βα) ij efeito da interação de modular à resposta de um tratamento. Esses
tratamento x estudo, fixo ou aleatório; eij variação fatores podem ser de natureza quantitativa ou
residual. qualitativa, não necessariamente conhecidos a
Nesse modelo as observações podem ou não priori. No primeiro caso, é importante estudar a
ser ponderadas. Métodos alternativos foram (s) resposta (s) considerada (s) em função dos
propostos para integrar esses diferentes aspectos valores do fator interferente (estudo da interação
num único teste global de significância, mas parece se o número de graus de liberdade permite). É
©
2007 Sociedade Brasileira de Zootecnia
Meta-análise em pesquisas científicas - enfoque em metodologias 293
comum que a resposta de critério explicado necessário. Uma limitação principal dessa
dependa do valor da testemunha desse critério ou abordagem é a falta de poder dos testes estatísticos
do valor da variável explicativa. (eles freqüentemente não rejeitam a hipótese nula
de resultados homogêneos mesmo com diferenças
8.5.9. Procedimentos pós-analíticos significativas entre estudos). Embora não exista
Após a aplicação de um modelo estatístico de nenhuma solução estatística para isso, a
ajuste de dados, é conveniente realizar diferentes heterogeneidade entre resultados experimentais
procedimentos pós-analíticos. Eles permitem não deveria ser vista como um problema para a
conhecer melhor certos limites da análise realizada meta-análise.
e saber se são necessárias algumas análises
complementares. 9. Conclusões
©
2007 Sociedade Brasileira de Zootecnia