You are on page 1of 92

1

Rafael de Araujo lvares Marinho












O USO DE AVALIAES ESCOLARES
ORDINRIAS PARA ESTUDAR A EVOLUO
DA COMPETNCIA EM FSICA
















Belo Horizonte
Faculdade de Educao da UFMG
2010
2
Rafael de Araujo lvares Marinho










O USO DE AVALIAES ESCOLARES
ORDINRIAS PARA ESTUDAR A EVOLUO
DA COMPETNCIA EM FSICA


Dissertao apresentada ao Curso de Mestrado da
Faculdade de Educao da Universidade Federal de
Minas Gerais, como requisito parcial obteno do
ttulo de Mestre em Educao.

Linha de Pesquisa: Educao em Cincias

Orientador: Prof. Dr. Oto Borges







Belo Horizonte
Faculdade de Educao da UFMG
2010
3








































Dedico este trabalho a meus filhos, Pedro e
Joana, e memria de meu pai.

4
AGRADECIMENTOS



Sou sinceramente grato a todos que, de alguma forma, contriburam para que este trabalho
pudesse ser realizado.

Agradeo ao meu orientador, Oto Borges, por compartilhar comigo um pouco do seu enorme
conhecimento e cultura.

Agradeo minha esposa Marina; a meus pais, Roberto e Elizabeth; minha irm, Mariana; e
Tet. Os esforos de todas essas pessoas foram absolutamente necessrios para que eu
pudesse me concentrar no trabalho.

Agradeo aos professores das disciplinas cursadas. Especialmente ao Arnaldo, por ter
contribudo para meu crescimento como pesquisador.

Agradeo aos colegas de mestrado e do COLTEC: Dilvana, Morgana, Beth, Geide, Amanda,
Cristiano, Terezinha, Tereza, Larissa, Valmria, Matheus, Wanderson, Tui, Josimeire,
Tarciso, Talim e Helder.

E agradeo a todos os amigos e familiares que, mesmo de longe, sempre torceram pelo meu
sucesso.

5
RESUMO



A abundncia das avaliaes de sala de aula e sua ntima relao com o currculo real
justificam uma investigao das possibilidades de seu uso em pesquisas. O objetivo deste
trabalho investigar algumas possibilidades e limitaes do uso de avaliaes escolares
ordinrias para estudar a evoluo da competncia em fsica. So discutidas algumas
caractersticas das avaliaes escolares, suas relaes com a competncia e algumas possveis
vantagens de seu uso em relao ao uso de testes de pesquisa ou avaliaes sistmicas. Na
anlise, utilizam-se dois tipos de avaliaes: notas trimestrais e respostas a provas fechadas.
Para cada um desses tipos, feita uma anlise multinvel longitudinal e os resultados so
comparados entre si e tambm com a literatura. Essas comparaes indicam que as avaliaes
escolares podem ser usadas em estudos da evoluo da competncia. Porm, destacam-se trs
ressalvas quanto a esse uso: leva a certa vagueza na conceituao de competncia; pode
apresentar dificuldades para equalizao; e pode no ser adequada a um tratamento
unidimensional. Todas essas ressalvas nascem de limitaes no desenho metodolgico
impostas pela tica da prtica educativa. Por fim, so discutidas algumas limitaes do estudo.

Palavras chave: Competncia em fsica. Avaliaes escolares. Notas escolares. Estudos
longitudinais.
6
ABSTRACT


The abundance of classroom exams and its close relation with the actual curriculum justify an
investigation of its use in research. The aim of the present one is to investigate some
possibilities and limitations of common classroom assessment to track students growth of
competence in the subject of physics. Some characteristics of classroom assessments are
discussed, its relation with competence and some possible advantages of its employ in
contrast with other assessments or systemic evaluations. In the analysis, two kinds of
assessment are used: trimestral grades and dichotomous items. For each, a longitudinal
multilevel analysis is carried out and the results are compared and measured up to the
literature. These comparisons indicate that classroom assessments can be used in studies that
track growth of competence. There are three reservations, however, against the use of these
practices: it can lead to a vague conception of competence; it can present difficulties for
equalization; and it might not be adequate to a unidimensional approach. All of these
reservations are sprung by limitations of the methodological design imposed by the ethics of
the educational practice. Finally, study limitations are discussed.

Keywords: Competence in physics; classroom assessments; school grades; longitudinal
studies

7
LISTA DE GRFICOS


Grfico 1: Probabilidade de acerto de um item em funo da diferena Bi Dj .......................... 30
Grfico 2: Disperso - Variveis R(POMP) e R(ITENS).............................................................. 56
Grfico 3: R(POMP) mdio nas trs ocasies ............................................................................... 57
Grfico 4: R(ITENS) mdio nas trs ocasies............................................................................... 57
Grfico 5: R(POMP) mdio por gnero ........................................................................................ 58
Grfico 6: R(ITENS) mdio por gnero ........................................................................................ 59
Grfico 7: R(POMP) mdio por turma .......................................................................................... 60
Grfico 8: R(ITENS) mdio por turma.......................................................................................... 61
Grfico 9: Evoluo mdia prevista para a competncia em fsica - R(POMP) ........................... 63
Grfico 10: Evoluo mdia da competncia - varivel R(POMP) - por grupos de desempenho
prvio em matemtica - com todas as outras variveis assumindo valor zero .............................. 65
Grfico 11: Evoluo mdia da competncia - varivel R(POMP) - por grupos de
escolarizao do pai - com todas as outras variveis assumindo valor zero ................................. 65
Grfico 12: Evoluo mdia da competncia - varivel R(POMP) por turma - todas as outras
variveis assumindo valor zero...................................................................................................... 66
Grfico 13: Evoluo mdia da competncia em fsica - varivel R(ITENS) ............................... 70
Grfico 14: Evoluo mdia da competncia - varivel R(ITENS) - por grupo de desempenho
prvio em fsica - todas as outras variveis assumindo valor zero ................................................ 71
Grfico 15: Evoluo mdia da competncia - varivel R(ITENS) - por grupo de desempenho
prvio em matemtica - todas as outras variveis assumindo valor zero ...................................... 72
Grfico 16: Evoluo mdia da competncia - varivel R(ITENS) - por gnero - todas as
outras variveis assumindo valor zero ........................................................................................... 72
Grfico 17: Evoluo mdia da competncia - varivel R(ITENS) - por grupos de
escolarizao da me - todas as outras variveis assumindo valor zero ........................................ 73
Grfico 18: Evoluo mdia da competncia - varivel R(ITENS) - por professor - todas as
outras variveis assumindo valor zero ........................................................................................... 73
Grfico 19: Evoluo mdia da varivel R(MECANICA) ............................................................ 80


8
LISTA DE TABELAS



Tabela 1: Modelos construdos para a varivel R(POMP) ........................................................................... 64
Tabela 2: Modelos construdos para a varivel R(ITENS) ......................................................................... 71


9
SUMRIO


INTRODUO.......................................................................................................................11

CAPTULO 1: REFERENCIAIS TERICOS....................................................................13

1.1. COMPETNCIA EM FSICA......................................................................................13
1.2. AVALIAES ESCOLARES....................................................................................16
1.3. ESTUDOS LONGITUDINAIS.....................................................................................18
1.3.1. Sobre estudos longitudinais de mudana...........................................................18
1.3.2. O modelo multinvel..........................................................................................21
1.4. MODELO RACH DE MEDIDA..................................................................................26
1.4.1. Medidas em Cincias Sociais............................................................................26
1.4.2. O modelo Rasch para itens dicotmicos...........................................................29

CAPTULO 2: METODOLOGIA.........................................................................................32

2.1. CONTEXTO......................................................................................................................32
2.2. SUJEITOS DA PESQUISA E OBTENO DOS DADOS............................................33
2.3. CRIAO DAS VARIVEIS.........................................................................................34
2.3.1. Varivel temporal................................................................................................34
2.3.2. Variveis dependentes........................................................................................34
2.3.2.1. Varivel R(POMP).................................................................................34
2.3.2.2. Varivel R(ITENS).................................................................................40
2.3.3. Outras variveis dependentes............................................................................46
2.4. ANLISE DOS DADOS.................................................................................................52
2.4.1. Anlise exploratria............................................................................................52
2.4.2. Anlise multinvel utilizando as notas trimestrais..............................................53
2.4.3. Anlise multinvel utilizando as respostas nas provas fechadas........................53
2.4.4. Comparao entre as duas anlises.....................................................................54
10
CAPTULO 3: RESULTADOS..................,..........................................................................55

3.1. ANLISE EXPLORATRIA.........................................................................................55
3.1.1. Correlao entre R(POMP) e R(ITENS)............................................................55
3.1.2. Anlise grfica das trajetrias mdias observadas..............................................57
3.2. ANLISE LONGITUDINAL DA VARIVEL R(POMP).............................................61
3.3. ANLISE LONGITUDINAL DA VARIVEL R(ITENS).............................................68
3.4. COMPARAO ENTRE AS DUAS ANLISES..........................................................76

CAPTULO 4: DISCUSSES E CONCLUSES...............................................................79

4.1. DECAIMENTO DA VARIVEL R(ITENS)...................................................................79
4.2. O USO DE AVALIAES ESCOLARES EM PESQUISAS EDUCACIONAIS...........83
4.2.1. Ressalvas.............................................................................................................83
4.2.2. Outras possibilidades...........................................................................................85
4.2.3. Vantagens e desvantagens em relao a testes padronizados.............................85
4.3. ALGUMAS PONDERAES..........................................................................................86
4.4. CONCLUSES.................................................................................................................87
4.5. LIMITAES DA PESQUISA E PESQUISAS FUTURAS...........................................88

CAPTULO 5: REFERNCIAS BIBLIOGRFICAS.......................................................90



11
INTRODUO



Esta pesquisa tem como objetivo investigar algumas possibilidades e limitaes do uso
de avaliaes escolares ordinrias para estudar a evoluo de competncia em fsica.
Pesquisas que investigam evoluo da competncia em diversos domnios usam,
normalmente, testes padronizados (MULLER et al., 2001; MA, WILKINS, 2002;
POMPLUN, 2009). No entanto, o uso de testes para estudos longitudinais apresenta algumas
dificuldades.
A primeira dificuldade se refere possibilidade de coletar vrias ondas de dados.
Sabe-se que h problemas ticos em usar o tempo de aula para coletar dados. Isso inviabiliza a
coleta de vrias ondas de dados (necessria para um estudo longitudinal) em um curto espao
de tempo.
A segunda dificuldade est relacionada possvel falta de alinhamento entre os
contedos dos testes com o currculo. Esse desalinhamento pode dificultar a deteco da
evoluo da competncia no domnio de conhecimento em que se estuda o desenvolvimento.
Uma terceira dificuldade diz respeito ao engajamento dos estudantes nesses testes.
Como as normas legais sobre tica na pesquisa com seres humanos no Brasil determinam que
a participao em tais pesquisas deve ser voluntria, no se pode recompensar os estudantes
de nenhuma forma (nem financeiramente, nem com distribuio de pontos, por exemplo).
Mesmo nos Estados Unidos, onde as regras ticas para a concesso de incentivos
participao dos estudantes nas pesquisas so muito mais liberais que no Brasil, h relatos
(ROESER, et al., 2002) sobre a falta de engajamento dos alunos na realizao desses testes.
Roeser relata exemplos extremos de desengajamento deste tipo.
12
Todas essas dificuldades apontadas justificam a investigao de outras possibilidades
para se estudar a evoluo da competncia. Uma dessas possibilidades pode ser o uso das
avaliaes escolares ordinrias, em suas diversas formas, com suas vantagens e limitaes.
As avaliaes escolares so, muitas vezes, feitas a cada ms, a cada quinzena ou at
mesmo a cada semana. Assim, o uso dessas avaliaes como dados de pesquisa pode
possibilitar investigaes de evoluo em perodos de um ano ou menos, o que seria difcil
(ou at mesmo impossvel) por meio de testes padronizados ou avaliaes feitas pelos
sistemas de ensino.
Desde que o professor no subordine as suas decises sobre o planejamento ou
conduo do ensino s necessidades ou convenincia da pesquisa, o uso das avaliaes
ordinrias pode vir a minimizar o problema do desengajamento, j que as avaliaes fazem
parte da disciplina e so usadas para se decidir sobre a aprovao do estudante.
Dessa forma, o presente estudo ser guiado pela seguinte questo: possvel usar
notas escolares para estudar a evoluo da competncia em fsica?
No prximo captulo sero discutidos os referenciais tericos e metodolgicos usados
na investigao. No terceiro captulo, sero descritos o contexto escolar e a metodologia da
pesquisa. No quarto captulo, sero apresentados a anlise dos dados e os resultados obtidos.
No quinto captulo, sero discutidos os resultados, a questo da pesquisa ser retomada e
sero apresentadas algumas limitaes da pesquisa.

13
CAPTULO 1: REFERENCIAIS TERICOS

Neste captulo sero apresentados os referenciais tericos e metodolgicos usados para
abordar o problema. Comearei com uma discusso acerca do que seria uma competncia em
fsica. Ento, passarei a uma discusso das prticas escolares de avaliao e das
competncias relacionadas a elas. Em seguida, discutirei as caractersticas de estudos
longitudinais de mudana. Para finalizar, discutirei o modelo Rasch como um mtodo para
inferir medidas de competncia a partir do desempenho observado. Todas essas discusses
sero breves e um entendimento mais profundo de cada um desses assuntos pode ser obtido
atravs das referncias bibliogrficas citadas em cada seo.


1.1. COMPETNCIA EM FSICA

Este estudo tem como objetivo a investigao de algumas possibilidades do uso de
avaliaes escolares ordinrias para estudar a evoluo da competncia em fsica. O ponto de
partida deve ser, ento, a conceituao do que competncia em fsica.
Koeppen e seus colaboradores (2008) definem competncias como disposies
contexto-especficas que so adquiridas e necessrias para lidar com sucesso com situaes ou
tarefas especficas em um domnio (KOEPPEN, et al., 2008). A competncia, portanto, diz
respeito a um domnio especfico. Alm disso, um sujeito pode aumentar sua competncia no
domnio, ao aprender conhecimentos e habilidades especficos daquele domnio (como ocorre
na escola).
14
As competncias, ainda segundo Koeppen e seus colaboradores (2008), se diferenciam
das habilidades cognitivas, que so traos quase independentes do domnio e difceis de ser
modificadas por meio de instruo.
Pode-se, ento, em princpio, pensar em competncia em fsica como a capacidade de
resolver questes e problemas de fsica. Fica subentendido que fsica, no contexto desta
dissertao, no se refere a toda a ampla rea de atuao dos fsicos profissionais, mas apenas
ao domnio mais restrito da fsica escolar. Assim, questes e problemas de fsica so aqueles e
aqueles que podem ser atacados de forma produtiva com os conhecimentos e habilidades
aprendidos e ensinados nas disciplinas de fsica no nvel do ensino mdio.
Weinert (1999, 2000, apud KOEPPEN, et al, 2008) apresenta vrios argumentos para
que o termo competncia seja restrito a aspectos cognitivos e prope que aspectos
motivacionais ou afetivos devam ser avaliados como construtos separados.
Apesar de concordar at certo ponto com essa proposio, penso que tal separao
pode ser invivel em algumas situaes. Como exemplo, as pesquisas envolvendo alguns
tipos de avaliaes escolares, nas quais o dado observado (a nota) j , por natureza, uma
mistura de aspectos cognitivos, motivacionais e afetivos (McMILLAN, 2001, 2003). Por
outro lado, a conceituao de Koeppen e seus colaboradores (2008) no se limita s
disposies cognitivas.
Opto, portanto, por trabalhar com uma conceituao de competncia que pode
envolver todos esses aspectos. Essa conceituao, um pouco vaga por um lado, permite que o
termo adapte seu significado ao contexto. Assim, adoto a conceituao de Koeppen e seus
colaboradores (2008), entendendo que a competncia em um domnio pode ser vista como um
conjunto de estados e traos latentes especficos do domnio.
15
Assumo, ainda, que seja possvel medir a competncia em um domnio de um sujeito
usando modelos psicomtricos, a partir do desempenho observado em tarefas ou testes
especficos do domnio.
claro que diferentes tipos de tarefas podem exigir competncias diferentes, mesmo
dentro de um mesmo domnio. Em ltima instncia, a mnima modificao de um contexto
pode levar exigncia de outras habilidades ou conhecimentos e, portanto, de outra
competncia. Pode-se ento perguntar: at onde se deve considerar duas tarefas como fazendo
parte do mesmo domnio? Essa uma pergunta para a qual no h uma resposta nica. No se
pode definir domnio a partir da conceituao de competncia, uma vez que esta foi definida
usando, justamente, a definio de domnio. Entendo que no h limites definidos para o que
ou no parte de um mesmo domnio. Tais limites dependem do propsito que se tem para o
uso do termo. Por exemplo, pode-se considerar cincias como um domnio; pode-se
considerar fsica como um domnio; ou pode-se considerar mecnica como um domnio.
Quanto mais estreito o domnio, mais preciso e menos abrangncia se tem.
Nesta pesquisa, usam-se dois indicadores da competncia em fsica: escore em provas
de itens dicotmicos (do tipo verdadeiro ou falso) e notas trimestrais. Este pesquisador est
ciente de que essas duas tarefas no exigem exatamente a mesma competncia: a
competncia exigida para se ter uma nota trimestral de fsica elevada envolve maior nmero
de fatores de natureza motivacional e afetiva do que a competncia exigida em provas de itens
dicotmicos. Poder-se ia questionar o tratamento dessa competncia para as notas trimestrais
como competncia em fsica. No entanto, entendo que essa competncia , sim, uma
espcie de competncia em fsica, pois envolve vrios aspectos relativos a esse domnio, tais
como conhecimentos e habilidades para responder questes fechadas de fsica, conhecimentos
e habilidades para responder questes abertas de fsica, engajamento, interesse e persistncia
nas atividades de fsica, participao nas aulas de fsica. Assim, mesmo os aspectos no-
16
cognitivos dessa competncia esto, em alguma medida, relacionados ao domnio fsica.
Uso, portanto, o termo competncia em fsica em ambos os casos (notas trimestrais e provas
fechadas), ciente de que o significado muda (mas no de forma excessiva) de um caso para o
outro.


1.2. AVALIAES ESCOLARES

A atribuio, pelo professor, de uma nota, ou conceito aos alunos uma prtica
tradicional e antiga. Os critrios usados para se atribuir uma nota trimestral englobam
vrios aspectos, que variam conforme o contexto. Alguns estudos encontraram diferenas de
critrios entre professores de diferentes disciplinas e de diferentes nveis de ensino
(McMILLAN, 2001, 2003). Mesmo entre professores da mesma disciplina e que lecionam
para o mesmo nvel de ensino, h uma grande variedade de critrios (e do peso dado a cada
critrio) para se atribuir uma nota.
No entanto, mesmo com toda essa variabilidade, verifica-se que pelo menos dois
grupos de critrios so amplamente usados (McMILLAN, 2001). O primeiro est relacionado
com a aprendizagem, em seu sentido mais tradicional. O segundo est relacionado a uma
espcie de merecimento (esforo do aluno, sua freqncia s aulas, sua participao nas
aulas, responsabilidade etc). Alguns tipos de avaliao refletem mais o primeiro grupo de
critrios (provas de conhecimento, por exemplo), outros refletem o segundo (como notas de
conceito e participao) e outras esto no meio do caminho (atividades ou exerccios que
envolvem o uso de conhecimentos e habilidades, mas que tm grandes chances de serem
realizadas desde que haja certo grau de engajamento).
17
sabido que fatores emotivos e motivacionais que influenciam no engajamento
afetam tambm o resultado de testes de desempenho (ROESER et al, 2002; SHAVELSON et
al, 2002; BYRNES, MILLER, 2007; LAWRENZ et al, 2009). No entanto, estudos
(SHAVELSON et al, 2002) mostram que o nvel de engajamento est mais relacionado s
notas finais do que ao desempenho em testes.
Estou ciente de que pode haver crticas ao uso de notas escolares como uma medida de
competncia, exatamente por envolver tambm aspectos que no se relacionam, em princpio,
com a aprendizagem de contedos (JUSSIM, 1991; WENTZEL, 1991; McMILLAN, 2001,
2003; BROOKHART, 2003). Mas h, pelo menos, trs argumentos em defesa do uso das
notas como um construto vlido para analisar competncia.
O primeiro argumento baseia-se na conceituao de competncia usada na presente
pesquisa. Entendo que competncia no significa apenas habilidades e conhecimentos
cognitivos, mas um conjunto maior de habilidades e conhecimentos (em uso), incluindo
aspectos cognitivos, emotivos e motivacionais. Dessa maneira, por refletir esse conjunto de
atributos de forma mais completa, a nota pode ser um bom indicador da competncia do
aluno.
O segundo argumento que a nota escolar est intimamente relacionada aos objetivos
curriculares, aos objetivos do professor e percepo dos alunos do que deles se espera
(incluindo aspectos do contedo e de comportamento). No aos objetivos declarados em
documentos, mas aqueles de fato enfatizados pelo professor em sua ao cotidiana na sala de
aula. Ao contrrio do que ocorre em testes padronizados (avaliaes sistmicas ou testes para
pesquisas), o contedo cobrado em avaliaes escolares ordinrias reflete o que foi trabalhado
em sala pelo professor e o que foi estudado pelos alunos (BROOKHART, 2003).
Um terceiro argumento fundamenta-se na aceitabilidade social da nota como indicador
de aprendizagem. A nota o critrio usado pelos alunos para avaliar sua aprendizagem,
18
gerando, inclusive, comparaes entre os prprios estudantes e criao de rtulos de quem
ou no um bom aluno. Essa aceitabilidade faz com que entre os objetivos escolares dos
estudantes esteja uma busca pela nota (de alguma forma e em algum grau). Portanto,
parece-me adequado que se avalie a competncia a partir de algo que est dentre os objetivos
dos alunos e que eles se esforam (em algum grau) para obter. O mesmo nvel de engajamento
pode no ocorrer com os testes que pesquisadores aplicam em sala de aula.
Continuando o terceiro argumento, deve-se ter em vista que a nota escolar tambm a
referncia que os pais usam para avaliar o progresso de seus filhos na escola, o que reflete
uma aceitabilidade dela parte dos pais. E, principalmente, ela o critrio usado para decidir se
o aluno est apto a progredir (passar de ano), o que evidencia a aceitabilidade da
comunidade escolar com um todo (diretores, professores, alunos, pais, e outros).


1.3. ESTUDOS LONGITUDINAIS

O estudo da evoluo da competncia em fsica , por natureza, um estudo
longitudinal de mudana. Nesta seo discutirei as caractersticas que devem ter os estudos
longitudinais de mudana e apresentarei o modelo estatstico que ser usado na anlise dos
dados.

1.3.1. Sobre estudos longitudinais de mudana

Segundo Singer e Willett (2003), apesar do interesse em se estudar mudana atravs
do tempo ser antigo, os mtodos estatsticos para que se possa fazer isso de forma apropriada
s se desenvolveram a partir da dcada de 80. Esses mtodos so nomeados sob diversos
rtulos: modelos multinvel, modelos hierrquicos lineares, modelos mistos, modelos de
19
crescimento individual, modelos com coeficientes randmicos. Uma exigncia fundamental
para que se possa estudar bem a mudana de variveis no tempo ter dados longitudinais
(dados coletados em diferentes ocasies para os mesmo indivduos) (SINGER e WILLETT,
2003).
De um ponto de vista estatstico, todas as pesquisas sobre mudana tm como ncleo o
seguinte par de questes: (i) como a varivel de interesse muda com o tempo; (ii) que fatores
ajudam a explicar como essa mudana varia entre os indivduos (SINGER e WILLETT,
2003). Cada uma dessas questes deve ser tratada com um modelo. A primeira deve ser
tratada com o um modelo de regresso da varivel de interesse (dependente) no tempo
(modelo de nvel 1). A segunda questo deve ser tratada com um modelo de regresso dos
coeficientes do modelo de nvel 1 em funo de fatores relacionados aos indivduos (modelo
de nvel 2). De acordo com Singer e Willett (2003), a meta de uma anlise nvel 2 detectar
heterogeneidade na mudana entre indivduos e determinar a relao entre os preditores e a
forma de cada trajetria individual de crescimento. Os dois modelos (de nvel 1 e de nvel 2)
devem ser considerados conjuntamente e esse conjunto que chamado de modelo
multinvel para mudana (SINGER e WILLETT, 2003).
No entanto, nem todo estudo longitudinal apropriado para uma anlise da mudana.
Para que se faa um estudo de mudana, a pesquisa deve ter trs caractersticas importantes
(SINGER E WILLET, 2003):

i - Trs ou mais ondas de dados.

Por dcadas, os pesquisadores acreditaram erroneamente que estudos com duas
ondas eram suficientes para estudar mudana, porque eles conceituavam mudana
de forma estreita, como incremento: a simples diferena entre escores medidos em
duas ocasies de medida. (SINGER e WILLETT, 2003, p.10)


20
Segundo Singer e Willett (2003) o incremento no pode descrever o processo de
mudana. Primeiro, porque a simples diferena de dois escores no contm nenhuma
informao sobre a forma da mudana. Segundo, porque com apenas duas ondas de dados no
se pode distinguir uma mudana real de um simples erro de medida. Em termos estatsticos,
estudos com duas ondas no podem descrever trajetrias individuais de mudana e
confundem mudana verdadeira com erro de medida (SINGER e WILLETT, 2003).
Quanto mais ondas de dados se coletam, mais informaes se obtm sobre o processo
de mudana, sendo trs o nmero mnimo. Com trs ondas, temos de nos restringir a analisar
trajetrias como se fossem lineares, mas podemos avaliar a qualidade do ajuste, ou seja,
podemos estimar qual percentual da varincia pode ser explicado pelo modelo intra-
individual.

ii - Uma mtrica sensvel para o tempo:

A varivel temporal deve ser medida em uma escala apropriada. A escolha adequada
depende do contexto da pesquisa. Para algumas pesquisas, a idade pode ser uma boa
escolha para a varivel temporal. Em outros casos, a srie pode ser mais adequada. Segundo
Singer e Willett (2003), devemos escolher uma mtrica para o tempo que reflita o ritmo
esperado da mudana da varivel dependente, com a nica restrio de que, assim como o
prprio tempo, a varivel temporal seja estritamente crescente (nunca diminua com o tempo).
Alm disso, uma escolha do ponto inicial (ponto zero) pode proporcionar uma interpretao
mais clara e mais direta dos resultados. No presente caso, por exemplo, uso o trimestre
como varivel temporal e o incio do ano letivo como o ponto inicial.
21
importante que o espaamento entre as ocasies de medida no seja pequeno
demais, caso em que no seria apto a captar qualquer mudana substancial, nem grande
demais, ao ponto de no captar nenhum detalhe do processo.

iii - Uma varivel dependente contnua que muda sistematicamente atravs do tempo:

A varivel dependente deve ter caractersticas de uma medida intervalar, ou seja,
diferenas entre pares de valores, com o mesmo espaamento na escala, devem ter o mesmo
significado (ver a seo Modelo Rasch de medida mais adiante). Alm disso, a escala, a
validade e a preciso da varivel dependente devem ser mantidas atravs do tempo (SINGER
e WILLETT, 2003, p.13).
A escala ser mantida no tempo significa que um valor para a varivel em uma ocasio
tem o mesmo significado que o mesmo valor em outra ocasio. Isso pode ser conseguido com
um mtodo de equalizao ou de calibrao adequado.

1.3.2. O modelo multinvel

Assumindo que todas essas exigncias esto atendidas, podemos ento escrever o
modelo multinvel. O modelo chamado multinvel porque pode ser separado em duas partes
diferentes: uma para analisar mudanas do indivduo no tempo (nvel 1) e outra para analisar
variao da mudana entre os indivduos. O modelo de nvel 1 um modelo de regresso da
varivel de sada em funo da varivel temporal. O modelo de nvel 2 um conjunto de
equaes, no qual os coeficientes do modelo de nvel 1 assumem o papel de variveis
dependentes e fatores relacionados aos indivduos assumem o papel de variveis
independentes.
22

Um exemplo ilustrativo:

No caso de uma dependncia linear com o tempo, podemos ter, para o modelo de nvel
1:

j i i j j ij
e TEMPO B B Y + + = ] [
1 0


Onde Y
ij
a varivel dependente medida para o sujeito j, na ocasio i, a expresso
entre colchetes, B
0j
+ B
1j
x TEMPO
i
, a trajetria verdadeira prevista para o sujeito j. O
coeficiente B
0j
o valor de Y
ij
quando a varivel TEMPO
i
nula, ou seja, o intercepto da
trajetria verdadeira. O coeficiente B
1j
a inclinao dessa trajetria (que mede o incremento
na varivel dependente para um acrscimo de uma unidade da varivel TEMPO). O
coeficiente e
ij
o resduo (diferena entre o valor verdadeiro e o valor observado para o
sujeito j na ocasio i). Esse resduo pode ser interpretado como um erro inerente ao processo
de medida ou uma variao da varivel dependente no explicada pelo modelo. O modelo
assume que o conjunto de resduos (para todas as ocasies e todos os sujeitos) tem uma
distribuio normal com mdia zero e varincia
e
2
.
Suponha que queiramos investigar se uma certa varivel FEMININO (que assume o
valor 1 se o sujeito do sexo feminino e 0 se do sexo masculino) influencia no
intercepto ou na inclinao prevista. Ento, podemos escrever o modelo de nvel 2:


j j j
j j j
u FEMININO B B B
u FEMININO B B B
1 11 10 1
0 01 00 0
+ + =
+ + =


23
Nesse modelo, a varivel FEMININO aparece como preditora, tanto do intercepto
(B
0j
) quanto da inclinao (B
1j
) da trajetria verdadeira dos indivduos. O coeficiente u
0j
a
diferena entre o intercepto (da trajetria verdadeira) do sujeito j e o intercepto mdio de seu
grupo (B
00
para o grupo masculino e B
00
+ B
01
para o grupo feminino). O coeficiente u
1j
a
diferena entre a inclinao da trajetria verdadeira do sujeito j e a inclinao mdia de seu
grupo (B
10
para o grupo de sujeitos do sexo masculino e B
10
+ B
11
para o grupo de sujeitos do
sexo feminino).
O modelo assume que coeficientes u
0j
e u
1j
so ambos distribudos normalmente, com
mdia zero. As varincias so respectivamente
0
2
e
1
2
e a covarincia
01
.
Apesar da separao do modelo em dois conjuntos de equaes (nvel 1 e nvel 2)
facilitar a sua interpretao, a maioria dos softwares (inclusive o software que usamos:
MLwiN) faz as estimativas utilizando um modelo composto. Para obtermos o modelo
composto, basta substituir as equaes de nvel 2 no modelo de nvel 1:

] [
] [
1 0
11 10 01 00
ij i j j
i j i j ij
e TEMPO u u
TEMPO FEMININO B TEMPO B FEMININO B B Y
+ +
+ + + + =

A parte da equao contida no primeiro colchetes chamada de parte fixa do modelo.
importante notar que a influncia da varivel FEMININO na inclinao aparece como
uma interao entre a varivel de nvel 1, TEMPO, e a varivel de nvel 2, FEMININO.
A parte contida no segundo colchetes chamada de parte randmica e para ela suposta a
estrutura de varincia j mencionada.

24
Testando o ajuste de modelos:

A construo de um modelo multinvel para a mudana nem sempre um processo
linear. Durante o processo, algumas variveis so includas ou retiradas do modelo e este ,
ento, ajustado (utilizando-se um software) para verificar se as variveis includas so bons
preditores da mudana ou da variao interindividual nas trajetrias. Nesse processo, temos
sempre que testar o ajuste dos modelos. H algumas formas de verificar se a incluso de
novas variveis melhorou o ajuste do modelo.
Uma delas o uso da estatstica desvincia para modelos aninhados. Dizemos que
dois modelos so aninhados se conseguimos transformar um modelo no outro apenas
fazendo com que um ou mais coeficientes se iguale a zero. Nesse caso (e somente nesse caso)
podemos comparar os dois modelos a partir da diferena nos valores da estatstica desvincia
(SINGER e WILLETT, 2003). A diferena da desvincia de dois modelos aninhados tem uma
distribuio qui-quadrada, com a quantidade de graus de liberdade igual diferena no
nmero de parmetros entre os dois modelos. Dessa forma, para testar se um modelo se ajusta
melhor que o outro, basta fazer um teste qui-quadrado com o valor da diferena entre as
desvincias dos dois modelos (com o nmero de graus de liberdade dado pela diferena na
quantidade de parmetros). Se o teste fornecer um valor p menor que 0,05, consideramos que
o ajuste foi significativo e o modelo com menor valor da desvincia o que melhor se ajusta
(melhor explica a varincia encontrada).
Outra forma de avaliar a melhoria trazida pela introduo de uma nova varivel a
anlise da varincia dos coeficientes randmicos de nvel 2. Como esses coeficientes
correspondem varincia interindividual no explicada, uma diminuio nos seus valores
representa uma melhor explicao da varincia. Essa avaliao deve ser feita em conjunto
25
com o teste da desvincia, e no como um primeiro critrio para avaliar a qualidade da
introduo de uma nova varivel.
Outra forma de se avaliar se a varivel introduzida traz informao relevante para a
anlise verificar se o prprio coeficiente estimado ou no significativo, mor meio de um
simples teste z (dividir seu valor estimado pelo erro padro).


26
1.4. MODELO RASCH DE MEDIDA


1.4.1. Medidas em Cincias Sociais

Uma das exigncias para um estudo longitudinal de mudana, como j foi
mencionado, uma mtrica para a varivel dependente que seja estvel no tempo. Quando
falamos em uma escala que se mantm constante no tempo, podemos pensar em uma escala
de medida de comprimento, por exemplo. Com uma rgua graduada em milmetros, podemos
medir o comprimento de vrios objetos em diferentes momentos. Todos concordam que
podemos comparar essas medidas sem maiores problemas, desde que a temperatura no varie
muito, caso contrrio, precisamos fazer as correes da escala para as variaes de
temperatura. Alm disso, se constatamos que um objeto A mais comprido que um objeto B,
usando uma rgua R, esperamos chegar mesma concluso usando outra rgua R e
esperamos, tambm, chegar mesma concluso em qualquer instante de tempo, mantida
constante a temperatura. Ningum discute que essa uma medida unidimensional, e que seu
resultado depende apenas de propriedades dos objetos que esto sendo medidos.
Nas cincias humanas, no entanto, o processo de medio mais complicado.
Primeiramente, porque estamos lidando com construtos tericos no observveis (como
inteligncia, habilidade, ou proficincia). Embora nas cincias exatas a maioria das medidas
tambm seja de grandezas no diretamente observveis (por exemplo: temperatura, presso,
fora, corrente eltrica, diferena de potencial, entre muitas outras grandezas), as definies
dessas grandezas e, por extenso, a teoria que conecta as observaes s medidas tm uma
clareza maior do que a dos construtos de reas como a psicologia, por exemplo. Alm disso,
no simples construir uma escala de valores com propriedades semelhantes s das escalas de
comprimento ou de temperatura, dada a complexidade do ser humano.
27
Em meados do sculo XX, estudando a proficincia de jovens em leitura, o
matemtico dinamarqus Georg Rasch desenvolveu um modelo probabilstico que pode ser
usado para se atribuir medidas (com propriedades semelhantes s medidas feitas com a rgua)
a qualidades psicolgicas latentes, por meio do desempenho observado em testes. Dessa
forma, o modelo usa dados observveis (escore obtido nos itens de um teste) para inferir
nmeros para construtos tericos no observveis (proficincia do sujeito e dificuldade do
item). Esse modelo tem como pressuposto que: (i) a proficincia de um sujeito no muda
durante o teste; (ii) a resposta de um sujeito a um item no dependa da sua resposta a nenhum
dos outros itens do teste; (iii) o teste seja unidimensional, quer dizer, a resposta a cada um dos
itens do teste dependa apenas de uma nica habilidade.
Quanto ao primeiro pressuposto, ele pode no ser verdadeiro, j que a pessoa pode
aumentar sua proficincia (aprender alguma coisa) durante o teste. Ou seja, o teste pode ter
(mesmo sem inteno) um carter formativo.
O segundo pressuposto est relacionado ao primeiro: se a pessoa aprende (aumenta sua
proficincia) ao responder um item do teste, isso pode influenciar na resposta aos outros itens.
Quanto ao terceiro pressuposto, de fato, nenhum teste pode atender plenamente ao
requisito de unidimensionalidade. O resultado em um teste de lgica, por exemplo, no
depende apenas do construto que se quer medir, mas de muitos outros fatores, entre eles, o
prprio domnio do idioma em que o teste foi escrito. No entanto, em algumas populaes,
esses outros fatores podem no ter a variabilidade suficiente para serem captados pelo teste e,
dessa forma, podemos considerar o teste como suficientemente unidimensional (para essa
populao) (RECKCASE, 2009). Nesse caso, o teste pode ser analisado com o modelo Rasch,
gerando medidas em uma escala intervalar.
Mas, se pensarmos com mais cuidado, perceberemos que, mesmo no caso das cincias
exatas, nenhum processo de medio , em ltima instncia, absolutamente unidimensional.
28
Pensemos no ato de medir o comprimento de um objeto com uma rgua milimetrada como
sendo um teste, ou melhor, um conjunto de testes. Por exemplo, se o limite do objeto est
alm da marca de 50mm, podemos dizer que ele passou no teste: ser ou no maior que
50mm. Se o limite do objeto est alm da marca de 51mm, podemos dizer que ele
passou no teste: ser ou no maior que 51mm. No entanto, a probabilidade de passar em
cada um desses testes no depende apenas de propriedades intrnsecas do objeto. Os
resultados desses testes dependem de vrios outros fatores, como a temperatura que ele se
encontra, a temperatura que a rgua se encontra, a forma como o sujeito que faz a medio
posiciona a rgua, a preciso das marcas da rgua, entre outros fatores. Em alguns casos, a
prpria interpretao subjetiva de ver o limite do objeto alm da marca da rgua pode no ser
to bvia. Dessa forma, possvel que um objeto, em certo instante, passe no teste ser maior
que 50mm e, em outro momento, no. possvel, at mesmo, que, em um momento,
constate-se que o objeto A maior que o B, e, em outro, no se alcance a mesma
constatao. claro que esses fatores influem muito pouco na medida do comprimento de um
objeto e a rgua no capta sensivelmente a variabilidade desses fatores. Contudo, nas cincias
humanas e sociais, a influncia de outros fatores na medida muito maior, mas,
qualitativamente, o processo de medida anlogo. Outra analogia com grandezas fsicas (em
alguns aspectos, melhor e mais completa) se encontra em BOND e FOX (2007, p.12).
Em suma, em qualquer caso real, os trs pressupostos do modelo Rasch discutidos no
sero atendidos completamente. No entanto, possvel haver situaes em que elas sejam
razoavelmente atendidas. Testes estatsticos podem ser usados para determinar se o
afastamento dos pressupostos foi grande o suficiente para causar problemas nas medidas
inferidas pelo modelo.

29
1.4.2. O Modelo Rasch para Itens Dicotmicos

O modelo Rasch considera que a probabilidade de acerto de um item dicotmico,
construdo para medir certa proficincia, depende apenas da dificuldade desse item e da
proficincia do sujeito que o responde.
O modelo

j i
ij
ij
D B
P
P
=

)
1
ln(


Onde B
i
a proficincia do sujeito i, D
j
a dificuldade do item j e P
ij
a probabilidade
do sujeito i acertar o item j (1- P
ij
a probabilidade de erro).
Resolvendo a equao para P, obtemos (com uma notao mais completa):

) (
) (
1
) , / 1 (
j i
j i
D B
D B
j i ij ij
e
e
D B x P

+
= =

Onde P
ij
(x
ij
= 1|B
i
, D
j
) a probabilidade da pessoa i obter escore x = 1 (ao invs de x
= 0) no item j, dados a proficincia da pessoa B
i
e a dificuldade do item D
j
. Essa
probabilidade igual base do logaritmo natural (e = 2,7183...) elevada diferena entre Bi e
Dj e depois dividida pelo mesmo valor somado unidade. importante notar que a
probabilidade de uma pessoa i acertar ou no um item j, depende da diferena entre a
proficincia Bi (considerada como a qualidade que est sendo medida pelos itens) da pessoa e
a dificuldades Dj do item. Quanto maior essa diferena, maior a probabilidade de acerto
(escore x = 1).
30
O grfico abaixo representa a probabilidade de acerto de um item em funo da
diferena entre a proficincia do sujeito e a dificuldade do item.

Grfico 1: Probabilidade de acerto de um item em funo da diferena Bi Dj


A estimativa das dificuldades dos itens e das proficincias dos sujeitos feita por um
processo numrico de iterao. Nesse processo, so feitos sucessivos ajustes nas estimativas
das proficincias dos sujeitos e das dificuldades dos itens. Ao final do processo, a soma das
probabilidades de acerto de cada item por um sujeito deve ser igual ao escore observado desse
sujeito. Tambm a soma das probabilidades de acerto de cada sujeito, em determinado item,
deve ser igual ao escore observado desse item (total de acertos nesse item). Isso para todos os
sujeitos e itens. (Um algoritmo de iterao pode ser encontrado em MEAD (2008)).
pertinente questionar sobre a possibilidade de se tratar a proficincia inferida pelo
modelo como uma competncia, dado que este termo (conforme foi conceituado) se refere a
um construto, por natureza, multidimensional. De fato, ao assumir que poderei usar o modelo
Rasch para estimar a competncia em fsica, estarei tambm assumindo que essa competncia
pode ser tratada, aproximadamente, como unidimensional, o que pode parecer contraditrio.
31
Para tentar esclarecer esse ponto, usarei uma analogia com a composio de um material
como o granito: o granito formado por diversos tipos de minerais e se o analisarmos com um
microscpio, possvel que focalizemos partes mais concentradas de um ou outro mineral. Se
compararmos essas pequenas partes, no poderemos dizer que se trata de um mesmo material.
Mas, desde que olhemos para ele de uma perspectiva mais ampla, podemos tratar toda aquela
mistura simplesmente como granito. Da mesma forma, assumirei que, olhando para a
competncia de uma perspectiva mais ampla, possvel estud-la como um construto
complexo, mas cuja complexidade, por no variar muito em sua composio, pode ser tratada
aproximadamente como um conjunto nico que pode ser medido, sem maiores problemas, em
uma escala unidimensional.
A discusso desta seo justifica a escolha do modelo Rasch para inferir medidas para
a competncia em fsica dos sujeitos. Dessa forma, ser obtida uma varivel em uma escala
intervalar e estvel que, como foi discutido na seo anterior, uma exigncia fundamental
para um estudo da mudana.

32
CAPTULO 2: METODOLOGIA

2.1. CONTEXTO

O estudo foi realizado com dados de uma Escola de Educao Bsica e Tcnica
federal, situada em Belo Horizonte. Uma frao do alunado entra na escola por um concurso
muito concorrido (geralmente mais de 30 candidatos por vaga), para fazer um curso tcnico
simultaneamente ao Ensino Mdio. A outra parte ingressa na escola automaticamente, aps
concluir a nona srie do Ensino Fundamental em outra escola pertencente mesma
instituio. Os alunos que ingressam desta ltima forma cursam apenas o Ensino Mdio.
O currculo de fsica da escola recursivo, em espiral. Na terceira srie, no ano de
2008, as aulas de fsica eram estruturadas da seguinte forma: (i) os alunos liam um breve texto
sobre a atividade; (ii) o professor discutia as dvidas com a turma; (iii) os alunos respondiam,
em pequenos grupos e com consulta, a questes discursivas sobre o assunto estudado,
chamadas tarefas; (iv) o professor corrigia algumas dessas questes; (v) os alunos
respondiam, individualmente, a um pequeno teste objetivo sobre o assunto da aula.
A nota trimestral era composta pelas notas das tarefas, dos testes, de avaliaes
intermedirias (abordando apenas o assunto estudado no trimestre), de avaliaes trimestrais
(abordando todo o contedo estudado no ano, at o momento) e de pontos de participao e
conceito (que inclua a presena como um dos indicadores de participao).


33
2.2. SUJEITOS DA PESQUISA E OBTENO DOS DADOS

Sero analisados dados referentes a 147 alunos que cursaram a terceira srie em 2008.
Esses alunos se dividiam em seis turmas: trs delas (turmas T1, T4 e T5) contendo alunos do
curso de Instrumentao e do curso de Eletrnica; uma (turma T6) formada por alunos do
curso de Qumica; uma (turma T3) por alunos do curso de Patologia Clnica; e uma (turma
T2) formada por alunos que no ingressaram por concurso e no faziam (em sua maioria)
nenhum curso tcnico. As turmas de Instrumentao e Eletrnica eram turmas
predominantemente masculinas, enquanto a turma de Patologia Clnica era uma turma
predominantemente feminina.
Os dados analisados foram fornecidos pela secretaria da escola e pelo coordenador da
disciplina. Esses dados so: notas trimestrais de todas as trs sries do Ensino Mdio, em
fsica e em matemtica, respostas dos alunos de trs turmas (T4, T5 e T6) s trs provas
trimestrais de fsica (todas com itens do tipo verdadeiro ou falso), a turma a que cada aluno
pertenceu na terceira srie e o professor de fsica de cada turma da terceira srie. Alm disso,
consegui dados da faixa de renda, escolarizao do pai e escolarizao da me de 112 desses
alunos que responderam ao questionrio scio-econmico ao se inscreverem no vestibular da
UFMG para o ano de 2009
1
, doravante denominado Questionrio Scioecnomico do
vestibular (QSEV).



1
Os dados foram liberados pela Copeve atendendo ao pedido do Prof. Arnaldo Vaz, a quem agradeo.
34
2.3. CRIAO DAS VARIVEIS

2.3.1. Varivel temporal

O tempo (ou outra varivel temporal) a principal varivel independente em um
estudo de mudana, sendo o primeiro candidato a explicar a variao da competncia dos
sujeitos entre diferentes ocasies.
Foi criada uma varivel temporal baseada na diviso do ano letivo em trimestres. Essa
varivel vale 1 para eventos que ocorreram no primeiro trimestre, 2 para eventos que
ocorreram no segundo trimestre e 3 para eventos que ocorreram no terceiro trimestre. Ela foi
denominada TEMPO.

2.3.2. Variveis dependentes

Foram criadas duas variveis dependentes com indicadoras da competncia em fsica.
Uma que chamei de R(POMP) e a outra que chamei de R(ITENS).

2.3.2.1. Varivel R(POMP):

Essa a varivel que pretende medir a competncia dos estudantes a partir da nota
trimestral obtida por eles.
Como o primeiro trimestre valia 30 pontos e os outros dois, 35 pontos, dividi a nota de
cada trimestre pelo valor total, obtendo assim um nmero decimal que representa o percentual
em relao ao mximo valor possvel, que chamamos POMP (sigla para Percent Of Maximum
Possible score). (COHEN et al, 1999)
35
Converti o POMP obtido em um conceito. Os POMPs inferiores a 0,60 foram
classificados como conceito D; os que eram maiores ou iguais a 0,60 e menores que 0,70
foram classificados com C; os que eram maiores ou iguais a 0,70 e menores que 0,80 foram
classificados como B; os que eram maiores ou iguais a 0,80 foram classificados como A.
(inicialmente, utilizei seis conceitos de A a F mas, devido ao nfimo nmero de
alunos no mais alto e no mais baixo, mudei a categorizao para a que foi apresentada).
Esses quatro conceitos foram tratados como se fossem escores obtidos em um teste
com trs itens dicotmicos. A resposta ao item1 era considerada correta se o conceito
fosse A, B ou C e errada se fosse D. A resposta ao item2 era considerada
correta se o conceito fosse A ou B, e errada se fosse C ou D. A resposta ao
item3 era considerada correta de o conceito fosse A e errada se fosse B, C ou D.
No entanto, devido a possveis diferenas entre o grau de lenincia de diferentes
professores e tambm das possveis diferenas na distribuio de pontos entre diferentes
turmas, no podemos considerar que todos os sujeitos responderam aos mesmos itens.
Por isso, considerei que cada turma respondeu, em cada trimestre, a testes diferentes.
Dessa forma, fiquei com 54 itens em 18 testes (um teste para cada um dos trs trimestres,
para cada das seis turmas). claro que cada sujeito s tem escore em nove itens (3 testes):
trs itens (1 teste) em cada trimestre.
Para equalizar esses testes, procedi de acordo com as orientaes de Linacre (2010)
para uma Equalizao Virtual de Formas de Testes. Segui os seguintes passos:

1) Primeiramente, verifiquei a possibilidade de equalizar os dezoito diferentes testes.

a) Calculei as dificuldades dos itens, atravs de uma anlise Rasch (com o software
Winsteps) para cada teste separadamente.
36
b) Escolhi arbitrariamente o teste do primeiro trimestre da turma M-31 como o
teste de referncia a.
c) Escolhi itens similares entre cada um dos outros testes e o teste de referncia
(considerei similares os itens correspondentes aos mesmos conceitos).
d) Calculei as mdias e os desvios padro das dificuldades obtidas pela anlise
separada para cada teste. Como s havia trs itens comuns para cada par de
testes, o desvio padro foi calculado pela equao
3
) ( ) (
2 3 1 2
x x x x
s
+
= (onde
3 2 1
x x x ), que o limite superior para o desvio padro em uma amostra com n
= 3 (JOARDER e LATIF, 2006).
e) Tracei, para cada teste j, a reta que passa pelos pontos (Ma, Mj) e (Ma+Sa,
Mj+Sj). Sendo Ma a mdia das dificuldades dos itens comuns obtidas na anlise
do teste a (de referncia); Mj a mdia das dificuldades para os itens comuns
obtidas na anlise do teste j; Sa o desvio padro das dificuldades os itens
comuns na anlise do teste de referncia; e Sj o desvio padro das dificuldades
dos itens comuns na anlise do teste j. Segundo Linacre (2010), se a inclinao
dessa reta (dada por Sb/Sa) for prxima da unidade, os testes podem ser
equalizados.
f) Constru intervalos de confiana (95%) para as estimativas de Ma, Mj, Ma+Sa e
Mj + Sj, de acordo com TRIOLA (2008).
g) Constru, com a ferramenta desenho do Excel, uma reta de inclinao 1.
h) Verifiquei, visualmente, se essa reta poderia ser disposta de forma a cruzar os
intervalos de confiana criados para os pontos. Caso isso ocorra, no se pode
afirmar que a inclinao da reta construda no passo 1.e seja diferente de 1.
37
i) Em todos os casos, verifiquei que era possvel haver uma reta de inclinao 1 que
cortasse os intervalos de confiana construdos, indicando que no se poderia
afirmar que a inclinao da reta que passa pelos pontos (Ma,Mj) e (Ma+Sa,
Mj+Sj) fosse diferente da unidade. Portanto, os testes poderiam ser equalizados
ao teste de referncia.

2) A equalizao consiste em rodar a anlise Rasch de cada teste, no Winsteps, fixando:
(i) a mdia das dificuldades no valor do intercepto da reta com o eixo x (construda no
passo 1.e); (ii) a unidade da escala como sendo o inverso da inclinao dessa reta.

a) Utilizando os intervalos de confiana (ver passo 1.f) e a reta de inclinao 1 (ver
passo 1.g) verifiquei que, em nenhuma dos testes, era possvel afirmar que o
intercepto da reta com eixo das abscissas diferente de zero. Isso significa que
no se pode afirmar que eles no estivessem na mesma escala.
b) Como os valores dos interceptos (com o eixo x) no eram significativamente
diferentes de zero, optei por no utiliz-los para fixar as escalas, com receio de
que isso pudesse introduzir mais um artefato metodolgico, sem necessidade.

Essa verificao me deu segurana para simplesmente entrar com todos os testes de
uma s vez, em uma grande matriz, para a anlise (sem fixar mdias e escalas diferentes para
cada um).
No entanto, o Winsteps no capaz de avaliar uma matriz com padro de respostas
completamente determinstico, como a que foi criada, a partir dos conceitos trimestrais dos
sujeitos (ver matriz abaixo). O motivo que, nesse padro, sempre h pelo menos um item
com escore nulo ou mximo e/ou um sujeito com escore nulo mximo.
38
Tomemos a hipottica matriz de respostas abaixo como uma mera ilustrao.

Figura 1: tabela ilustrativa de um padro de respostas determinstico


Nela h um sujeito (SUJ4) com escore mximo e um item (ITEM1) com escore
mximo. O programa no consegue, inicialmente, estimar uma medida para competncia do
sujeito 4. Isso porque a estimativa inicial das medidas de competncia envolve o logaritmo
natural do escore total (r) do sujeito dividido pela diferena entre o mximo escore possvel
(M) e o escore total (r). Se r =0, teremos ln(0), se r = M, teremos ln(r/0). Algo semelhante
ocorre para a estimativa dos itens.
O algoritmo faz com que esse sujeito (ou item) com escore total seja eliminado
provisoriamente da matriz. Nesse exemplo, ao eliminar o sujeito 4, ficaremos com dois itens
sem possibilidade de estimativa (Item 1 com escore mximo, e Item 4 com escore nulo).
Assim, seguindo o algoritmo, o software descartar, provisoriamente, esses dois itens.
Sobraro apenas as linhas 1, 2 e 3 e as colunas 2 e 3 da matriz. Podemos perceber que nessa
nova matriz reduzida, ento, os sujeitos 1 e 3 devero ser excludos, pois seus escores so,
respectivamente, zero e mximo. O processo de excluso continuaria at que toda a matriz
fosse excluda, no importa o seu tamanho.
Por isso, para que o software pudesse fazer a anlise da nossa matriz (que
semelhante matriz ilustrativa apresentada ampliada) acrescentei um sujeito virtual, como
sugerido por Linacre (2010). Esse sujeito tem um padro de respostas escolhido de modo a
39
no deixar que nenhum item tenha escore total ou nulo (o mesmo processo foi feito quando
analisei os testes individualmente).
Alm disso, lembremos que a anlise dos parmetros da reta obtida com os itens
comuns (j descrita) no levou concluso de que os testes estavam equalizados. Ela levou
apenas concluso de que no se pode afirmar que no estivessem equalizados. Mas a
introduo do sujeito virtual pode fornecer uma garantia mais forte dessa equalizao. Isso
porque esse sujeito tem respostas em todos os itens de todos os testes, conectando as
partes da matriz que estariam separadas.
Entrei ento com a matriz, contendo todos os sujeitos e todos os testes, no software
Winsteps. Todas as clulas vazias da matriz correspondem a situaes em que o sujeito no
respondeu ao item (por exemplo, sujeitos da turma T1 e itens de um teste para a turma
T2) foram tratados como dados faltantes. Alm disso, cada sujeito foi codificado de trs
formas. Portanto, o software tratou cada sujeito como sendo trs diferentes sujeitos (um para
cada ocasio). Isso foi feito para que pudessem ser estimadas, para um mesmo sujeito,
competncias diferentes para ocasies diferentes.
A figura abaixo, meramente ilustrativa, tem o objetivo de dar uma idia de como foi
montada a matriz de respostas. Cada linha corresponde a um sujeito em uma ocasio e cada
coluna corresponde a um item. A letra R indica que h um escore (0 ou 1) para o item e o
espao vazio significa que no h um escore para o item..
40

Figura 2: estrutura de matriz usada para obter o R(POMP)

Aps todo esse processo, fiquei com uma medida de competncia em uma escala
intervalar, obtida por meio das notas trimestrais dos sujeitos. Essa medida, que chamei de
R(POMP), uma das variveis dependentes que ser usada na anlise longitudinal.

2.3.2.2. Varivel R(ITENS):

Essa varivel foi criada utilizando o modelo Rasch para analisar as respostas s provas
trimestrais.

41
Caractersticas das provas trimestrais
A Trimestral1 foi aplicada no final do primeiro trimestre e havia dois tipos de prova.
Cada um continha 96 itens, sendo que 68 dessem itens eram comuns s duas provas. Todo
contedo abordado pode ser considerado como contedos de Mecnica.
A Trimestral2 foi aplicada no final do segundo trimestre, abordando contedos de
mecnica e de eletricidade. Havia dois tipos de prova, ambos contendo os mesmos itens (em
ordem diferente). A Trimestral2 tinha itens comuns com a Trimestral1.
A Trimestral3 foi aplicada no final do terceiro trimestre, abordando contedos de
mecnica, eletricidade e eletromagnetismo. Havia quatro tipos de prova e a maioria dos itens
aparecia em apenas dois deles (ocorrendo vrias combinaes). Alm disso, essa prova
continha vrias questes comuns com a Trimestral1 e com a Trimestral2.

Analisando a qualidade dos itens
Primeiramente, analisei a matriz de respostas de cada prova separadamente, obtendo a
competncia dos sujeitos e as dificuldades dos itens. Com isso, obtive, para cada item, a curva
de probabilidade de acerto (prevista pelo modelo Rasch) em funo da competncia. Separei,
ento, os sujeitos em grupos de desempenho (definidos a partir de faixas de escore total na
prova) e calculei a mdia do escore percentual (escore observado dividido pelo mximo
escore possvel) de cada grupo em cada item. Calculei tambm a mdia das competncias
dos sujeitos de cada grupo.
Para cada item plotei, no mesmo grfico (ver exemplo abaixo), os pontos observados
(y = percentual observado de acertos do item para o grupo - que o escore mdio do grupo
no item; x = competncia mdia do grupo) e a curva de probabilidade de acerto do item em
funo da competncia. As barras de erro para o percentual de acertos observado (escore
mdio) de cada grupo foram calculadas usando o erro padro para a estimativa de uma
42
proporo (TRIOLA, 2008, p.259) multiplicada pelo fator 1,4 - como sugerido por Goldstein
(1995). As margens de erro para a curva de probabilidade de acerto do item (curvas
pontilhadas) so simplesmente as curvas de probabilidade de acerto (em funo da
competncia) calculadas usando-se os limites do intervalo de confiana para a estimativa da
dificuldade do item. Esse intervalo de confiana a soma (ou diferena) da dificuldade
estimada do item e do produto do erro padro (fornecido pelo software) da dificuldade do
item pelo fator 1,4.
Por meio de uma inspeo visual, verifiquei se, para cada grupo de desempenho, em
cada item, a barra de erro dos pontos observados cruzava os limites de estimativa da curva
de probabilidade (ver figura abaixo). Se isso ocorria para todos os grupos de desempenho,
considerei que o item estava funcionando bem. Ou seja, a probabilidade de acerto prevista
para dada competncia (curva) estava compatvel com a porcentagem mdia de acertos
observada para grupos com esse valor mdio de competncia (pontos), para todas as faixas de
competncia.

Figura 3: Exemplo de anlise de ajuste de um item

Exclu os itens que no estavam adequados e re-analisei a prova, obtendo novas
competncias, novas dificuldades e novos grupos de desempenho. Verifiquei novamente a
43
adequao dos itens, seguindo os mesmos passos. Exclu, mais uma vez, os que no estavam
bons. Todo esse processo foi feito para cada prova, separadamente, at que s restassem
bons itens. Portanto, aps esse processo, para cada prova, todos os itens estavam avaliando
a mesma competncia que a prova como um todo. Ou seja, havia um bom indcio de que as
provas estavam avaliando algo que podia ser considerado razoavelmente unidimensional.

Equalizando as escalas
Para esse tipo de estrutura de testes, a sugesto de equalizao feita por Linacre a
Equalizao de Itens Comuns. Guiado pelas orientaes de Linacre (2010), segui os
seguintes passos para verificar a possibilidade de equalizao:
a) Calculei as dificuldades dos itens, por meio de uma anlise Rasch (com o software
Winsteps) para cada prova separadamente.
b) Escolhi, arbitrariamente, a prova Trimestral3 como referncia (por ter contedo
mais abrangente).
c) Identifiquei os itens comuns entre cada um dos outras provas e a prova de referncia.
d) Calculei as mdias e os desvios padro das dificuldades obtidas pela anlise separada
para cada prova
e) Tracei, para cada prova j, a reta que passa pelos pontos (Ma, Mj) e (Ma+Sa, Mj+Sj),
onde Ma a mdia das dificuldades dos itens comuns obtidas na anlise da prova a
de referncia, Mj a mdia das dificuldades para os itens comuns obtidas na anlise
da prova j, Sa o desvio padro das dificuldades os itens comuns na anlise da
prova de referncia e Sj o desvio padro das dificuldades dos itens comuns na
anlise da prova j. Segundo Linacre (2010), se a inclinao dessa reta (dada por Sb/Sa)
for prxima da unidade, as provas podem ser equalizadas.
44
f) Constru intervalos de confiana (95%) para as estimativas de Ma, Mj, Ma+Sa e Mj +
Sj, de acordo com TRIOLA (2008).
g) Constru, com a ferramenta desenho do Excel, uma reta de inclinao 1.
h) Verifiquei, visualmente, se essa reta poderia ser disposta de forma a cruzar os
intervalos de confiana criados para os pontos. Caso isso ocorra, no se pode afirmar
que a inclinao da reta construda no passo 1.e seja diferente de 1.
i) Em todos os casos, verifiquei que era possvel haver uma reta de inclinao 1 que
cortasse os intervalos de confiana construdos, indicando que no se poderia afirmar
que a inclinao da reta que passa pelos pontos (Ma,Mj) e (Ma+Sa, Mj+Sj) fosse
diferente da unidade. Portanto, os testes poderiam ser equalizados ao teste de
referncia com o mtodo proposto por Linacre (2010).

Por esse mtodo, insere-se uma matriz completa, contendo as respostas de todas as
provas, no software, para a anlise. Os sujeitos so tratados separadamente, por ocasio (ver
figura abaixo) e os itens comuns a duas ou mais provas so dispostos na mesma coluna.
A ilustrao abaixo representa simplificadamente essa estrutura (nesse exemplo, h
apenas duas ocasies e os itens 1, 3 e 5 so comuns s duas):


Figura 4: estrutura da matriz usada para obter o R(ITENS)

45
Montei ento uma grande matriz (com estrutura semelhante da figura), contendo as
respostas de cada indivduo (em cada ocasio) aos itens a que foi submetido. Nessa matriz, as
linhas representavam um par sujeito-ocasio e as colunas representavam os itens. Antes de
entrar com a matriz no software, fiz o mesmo tipo de anlise de ajuste de itens relatado acima,
para excluir os itens que no tiveram o mesmo funcionamento para todas as ocasies. Exclu,
ainda, itens que no eram comuns aos dois tipos da Trimestral1, para que ficasse com uma
matriz menos esparsa (o que melhora as estimativas do software).
Aps isso, inseri a matriz no software Winsteps e obtive uma medida de competncia,
que chamei de R(ITENS), para cada sujeito em cada ocasio.

Estimando competncias para as turmas T1, T2 e T3
No entanto, como j mencionei, eu no tinha as respostas dos alunos das turmas T1,
T2 e T3 para a Trimestral1. Portanto, a anlise Rasch que descrevi no me forneceu medidas
para a competncia desses alunos na primeira ocasio. No entanto, eu tinha o escore total
desses alunos nessa prova. Para obter estimativas para essas medidas, adotei o seguinte
procedimento:

1) A partir do escore total e das dificuldades dos itens da Trimestral1 (obtidas a partir de
uma anlise Rasch somente dessa prova), usei o mtodo de iterao proposto por
MEAD (2008, p.28) para obter uma medida provisria de competncia para os
sujeitos.
2) Usei essa medida provisria para estimar um escore apenas nos itens da Trimestral1,
que foram usados na anlise da matriz completa. Chamei esse escore de escore
reduzido (neste passo, ainda utilizei as dificuldades obtidas na anlise da Trimestral1
feita separadamente).
46
3) Esse escore reduzido previsto foi arredondado para o inteiro mais prximo.
4) Obtive a medida de competncia (estimada pela anlise completa) para cada valor de
escore, para os sujeitos da primeira ocasio (das turmas T4, T5 e T6). Como esses
sujeitos da primeira ocasio responderam apenas aos itens da Trimestral1, esse escore
corresponde ao escore reduzido que foi definido como o escore nos itens da
Trimestral1 que entraram na anlise completa. Portanto, fiquei com a medida de
competncia para cada valor de escore.
5) A medida para dois sujeitos com mesmo o escore total e que responderam aos
mesmos itens devem ser iguais. Portanto, pude estimar medidas de competncia para
alunos das turmas T1, T2 e T3. Fiz isso usando o valor de seus escores reduzidos
(estimados nos passos a, b, c) e a relao entre o escore reduzido e a
competncia (obtida no passo d).

Dessa forma, fiquei com as medidas de competncia em fsica, R(ITENS), obtidas a
partir de provas com itens comuns, para todos os sujeitos e para todas as ocasies.

2.3.3. Outras variveis independentes (preditores)

As variveis independentes mencionadas abaixo foram criadas para tentar explicar a
variao existente nas variveis dependentes.

Desempenho prvio em fsica

Se eu tivesse que reduzir toda a psicologia educacional para apenas um princpio,
eu diria isto: o fator singular mais importante que influencia o aprendizado o que
o aprendiz j sabe (AUSUBEL, 1978, p.vi).
47

Essa frase do psiclogo David Ausubel ilustra bem a importncia que o conhecimento
prvio tem na aprendizagem. Por isso, procurei obter um indicador relacionado ao
conhecimento prvio.
Transformei as notas trimestrais de fsica da primeira e da segunda srie em POMPs
(percentuais do mximo valor possvel). Para cada sujeito, somei os POMPs obtidos e dividi
por seis (j que eram seis notas trimestrais). O valor obtido foi chamado de desempenho
prvio em fsica. Criei ento uma varivel categrica, com trs categorias, relacionada a esse
desempenho prvio.

DPF: classificado como baixo se o desempenho prvio em fsica menor que 0,70;
classificado como mdio se o desempenho prvio em fsica maior ou igual a 0,70 e
menor que 0,85; classificado como alto se o desempenho prvio em fsica maior que
0,85.

Esse no um indicador apenas do conhecimento prvio, mas da competncia em
fsica (de uma forma mais geral) com que cada estudante chega terceira srie, alm de
incluir outros fatores, relacionados maneira como as notas foram atribudas, em fsica, nas
sries anteriores.

Desempenho prvio em matemtica
Como a matemtica uma ferramenta fundamental para a fsica, o nvel de
competncia em matemtica um bom candidato a influenciar a aprendizagem de fsica. Por
isso, optei por incluir um indicador da competncia em matemtica com que os alunos
chegam terceira srie.
48
Transformei as notas trimestrais de matemtica da primeira e da segunda srie em
POMPs (percentuais do mximo valor possvel). Para cada sujeito, somei os POMPs obtidos e
dividi por seis (j que eram seis notas trimestrais). O valor obtido foi chamado de
desempenho prvio em matemtica. Criei ento uma varivel categrica, com trs
categorias, relacionada a esse desempenho prvio.

DPM: classificado como baixo se o desempenho prvio em matemtica menor que
0,70; classificado como mdio se o desempenho prvio em matemtica maior ou igual
a 0,70 e menor que 0,85; classificado como alto se o desempenho prvio em matemtica
maior que 0,85.

Assim como no caso da fsica, esse um indicador da competncia (nesse caso em
matemtica) em com que cada estudante chega terceira srie, mas inclui tambm outros
fatores relacionados maneira como as notas foram atribudas, em matemtica, nas sries
anteriores.

Gnero
Inclu uma varivel para o gnero porque vrias pesquisas j encontraram diferenas
no desempenho em Cincias entre meninos e meninas (MULLER et al, 2001; BYRNES e
MILLER, 2007; LAWRENZ et al, 2009, GRIGG et al, 2006) . Eis como foi criada a varivel
GNERO:

GNERO: assume o valor 0 para sujeitos do sexo masculino e 1 para sujeitos do sexo
feminino.

49
Escolaridade dos pais
Inclu a escolarizao dos pais como um possvel preditor, pois sua influncia na
aprendizagem de cincias j foi identificada em alguns estudos (CATSAMBIS, 1998,
JOHNSON, 2009). Alm disso, estudos apontam o nvel scio-econmico como preditor de
desempenho (WHITE, 1992; MA e WILKINS, 2002; SIRLIN, 2003; BYRNES e MILLER,
2007) e, muitas vezes, a escolarizao dos pais um dos critrios usados para definir o nvel
scio-econmico.

Escolarizao do pai:

A escolaridade do pai dos estudantes foi obtida por dados do QSEV, para 112
estudantes. O nvel de escolaridade do pai foi declarado pelo estudante ao responder ao
QSEV. Inicialmente, foram criadas quatro categorias: 0 Fundamental incompleto; 1-
Fundamental completo; 2- Mdio completo; 3-Superior completo. Mas, como havia muito
poucas pessoas nas categorias 0 e 1, juntei essas categorias categoria 2.
Fiquei ento com apenas duas categorias, que transformei em uma varivel
dicotmica:

E.Pai: assume o valor 1 se o aluno declarou que seu pai completou o Ensino Superior e
0 se ele declarou que seu pai no completou o Ensino Superior.

Escolaridade da me:
A escolaridade da me dos estudantes foi obtida por dados do QSEV, para 112
estudantes. O nvel de escolaridade da me foi declarado pelo estudante ao responder ao
QSEV. Inicialmente, foram criadas quatro categorias: 0 Fundamental incompleto; 1-
Fundamental completo; 2- Mdio completo; 3-Superior completo. Mas, como havia muito
poucas pessoas nas categorias 0 e 1, juntei essas categorias categoria 2.
50
Fiquei ento com apenas duas categorias, que transformamos em uma varivel
dicotmica:

E.Mae: assume o valor 1 se o aluno declarou que sua me completou o Ensino Superior e
0 se ele declarou que sua me no completou o Ensino Superior.

Renda Familiar
A incluso de uma varivel para a faixa de renda tambm se justifica pelo resultado de
pesquisas empricas (WHITE, 1992; MA e WILKINS, 2002; SIRLIN, 2003; BYRNES e
MILLER, 2007).
A renda familiar foi declarada no QSEV. O QSEV previa sete faixas de renda familiar:
de um a dois salrios mnimos, de dois a cinco salrios mnimos, de cinco a dez salrios
mnimos, de dez a quinze salrios mnimos, de quinze a vinte salrios mnimos, de vinte a
quarenta salrios mnimos, mais de quarenta salrios mnimos.
No entanto, na amostra utilizada, algumas dessas categorias estavam vazias (ou quase
vazias) e optou-se por colapsar muitas delas. Sobraram ento, apenas duas categorias que
transformei em uma varivel dicotmica:

RENDA: assume o valor 0 se o aluno declarou renda familiar inferior a cinco salrios
mnimos e 1 se declarou renda superior a 5 salrios mnimos.

Professor
Em 2008, trs professores lecionavam a disciplina fsica para as turmas da terceira
srie da escola pesquisada. Um deles, o professor 1, era um professor efetivo da
51
universidade, j experiente. Os outros dois, professor2 e professor3, eram jovens
professores substitutos, com pouca experincia docente, sendo um deles este pesquisador.
Trs categorias relacionadas aos professores foram criadas:

PROF1: assume o valor 1 se o professor de fsica do sujeito era o professor 1, e 0
caso contrrio.
PROF2: assume o valor 1 se o professor de fsica do sujeito era o professor 2, e 0
caso contrrio.
PROF3: assume o valor 1 se o professor de fsica do sujeito era o professor 3, e 0
caso contrrio.

Turma
plausvel pensar que o efeito dos pares pode influenciar na aprendizagem escolar.
Na verdade, h resultado de pesquisas que mostram esta influencia. Alm disso, as turmas
eram dividas de acordo com o curso tcnico feito pelos alunos, podendo, portanto, refletir
certo vocacionamento. A relao entre vocacionamento e aprendizagem de fsica j foi
identificada em pesquisas (COELHO e BORGES, 2010).
Como j foi descrito, havia seis turmas de terceira srie na escola, em 2008. Trs
dessas turmas, T1, T4 e T5 eram compostas de alunos que ingressaram na escola por
meio de concurso e faziam cursos de Eletrnica ou Instrumentao. A turma T3 era
composta de alunos que ingressaram na escola por de concurso e faziam o curso de Patologia
Clnica. A turma T6 era composta de alunos que ingressaram na escola por meio de
concurso e faziam o curso tcnico de Qumica. A turma T2 era composta por alunos que
ingressaram automaticamente na escola, aps a concluso do Ensino Fundamental em uma
escola pertencente mesma Universidade. Esses alunos, em sua maioria, no faziam nenhum
52
curso tcnico (com a exceo de poucos que entraram em vagas que surgiram, por desistncia
de outros).
Para identificar a turma qual cada sujeito pertencia, foram criadas seis variveis
dicotmicas:

T1: assume o valor 1 se o sujeito pertencia turma T1 e 0, em outros casos.
T2: assume o valor 1 se o sujeito pertencia turma T2 e 0, em outros casos.
T3: assume o valor 1 se o sujeito pertencia turma T3 e 0, em outros casos.
T4: assume o valor 1 se o sujeito pertencia turma T4 e 0, em outros casos.
T5: assume o valor 1 se o sujeito pertencia turma T5 e 0, em outros casos.
T6: assume o valor 1 se o sujeito pertencia turma T6 e 0, em outros casos.


2.4. ANLISE DOS DADOS

A anlise dos dados ser dividida em quatro etapas: a primeira consistir em uma
anlise exploratria; a segunda, na anlise multinvel a partir das notas trimestrais; a terceira
ser a anlise multinvel a partir do desempenho nas provas fechadas; a quarta ser a
comparao dos resultados obtidos nas duas anlises multinvel.

2.4.1. Anlise exploratria

Na anlise exploratria, sero examinadas as relaes entre as variveis R(POMP) e
R(ITENS). Usando recursos grficos, analisarei como as mdias das medidas de competncia
53
(R(POMP) e R(ITENS)) variam de ocasio para ocasio. Alm disso, verificarei se h
correlao entre elas.

2.4.2. Anlise multinvel utilizando as notas trimestrais

Utilizarei, ento, um modelo de regresso linear multinvel para analisar o efeito que
cada uma das variveis independentes criadas tem na competncia medida pela varivel
R(POMP).
Ser usada uma regresso linear para o modelo de nvel 1, porque h apenas trs
pontos (trs notas trimestrais) para cada indivduo. A construo dos modelos seguir as
diretrizes apresentadas no segundo captulo. Aps chegar ao modelo que melhor explica os
dados, apresentarei, usando recursos grficos, os efeitos encontrados para cada preditor.

2.4.3. Anlise multinvel utilizando as repostas nas provas fechadas.

Em seguida, utilizarei um modelo de regresso linear multinvel para analisar o efeito
que cada uma das variveis independentes criadas tem na competncia medida pela varivel
R(ITENS).
Mais uma vez, a nica opo usar uma regresso linear como modelo de nvel 1, pois
h apenas trs pontos (trs provas) para cada indivduo.

54
2.4.4. Comparao entre as duas anlises

Aps fazer as duas anlises multinvel e apresentar os resultados, farei uma
comparao entre os resultados obtidos a partir das duas anlises. Discutindo a diferena entre
as competncias medidas por cada uma delas, tentarei obter novas concluses.

55
CAPTULO 3: RESULTADOS

Neste captulo, apresentarei as anlises da evoluo das competncias medidas pelas
variveis R(POMP) e R(ITENS), destacando e discutindo os resultados obtidos em cada uma.
Em seguida, farei uma comparao entre os resultados das duas anlises.


3.1. ANLISE EXPLORATRIA

3.1.1. Correlao entre R(POMP) e R(ITENS)

Antes de fazer a anlise longitudinal por meio do modelo multinvel, explorei os
nossos dados para ganhar intuio sobre o comportamento de nossas variveis dependentes,
bem como de sua relao com algumas outras variveis.
O primeiro ponto explorado foi a relao entre as nossas duas medidas de
competncia: as variveis dependentes, R(POMP) e R(ITENS), considerando o conjunto das
trs ocasies. O diagrama de disperso abaixo nos d uma idia dessa relao.

56

Grfico 2: Disperso - Variveis R(POMP) e R(ITENS)


Pode-se observar que o coeficiente de correlao 3313 , 0 = R = 0,5756.
A estatstica para testar a hiptese de que h correlao linear (conta a hiptese nula de
que no h)
2
1
2

=
n
R
R
t , onde n o nmero de pares da amostra.
Substituindo os valores (n = 3 x 145 = 435), temos t = 14,65, o que indica que h
alguma correlao linear (p<<0.01).
Essa concluso j era esperada, pois a varivel R(ITENS) obtida a partir da provas
trimestrais e a R(POMP) obtida a partir das notas trimestrais. Como o desempenho nas
provas trimestrais contribui em grande parte para a nota do trimestre, esperado que haja
alguma relao entre as duas variveis.
Apesar de o teste levar a rejeitar a hiptese nula (de que no h correlao linear), o
coeficiente de correlao no muito alto. Apenas essa breve explorao (apesar de til para
gerar intimidade com os dados) no me permite ir alm dessas simples constataes.

57
3.1.2. Anlise grfica das trajetrias mdias observadas

Antes de iniciar a anlise multinvel, fiz uma ltima explorao dos dados. Analisei,
como antes, a evoluo mdia das variveis, mas, desta vez, separei os alunos por gnero e
por turma.
Aps explorar brevemente a relao entre as duas variveis dependentes, resolvi
explorar a evoluo mdia dessas variveis no tempo. Os grficos abaixo mostram a mdia de
cada uma dessas variveis, entre todos os alunos, em funo do tempo (em trimestres).


Grfico 3: R(POMP) mdio nas trs ocasies


Grfico 4: R(ITENS) mdio nas trs ocasies
58
A partir da inspeo desse dois grficos, pode-se observar que, em ambos, h um
decrscimo mdio do primeiro para o segundo trimestre e h um crescimento mdio do
segundo para o terceiro trimestre. Mas h tambm uma diferena: no grfico do R(POMP) o
ponto final superior ao inicial, mas no grfico do R(ITENS) o ponto final inferior ao
inicial).
Apenas as semelhanas e diferenas observadas no me permitem fazer nenhuma
interpretao mais ousada, mas apenas reforam a idia de que as duas variveis so medidas
de construtos ligeiramente diferentes.

Evoluo mdia por gnero
Os grficos abaixo representam a evoluo mdia das variveis R(POMP) e
R(ITENS), separadas por gnero.


Grfico 5: R(POMP) mdio por gnero

59

Grfico 6: R(ITENS) mdio por gnero

No grfico do R(POMP), observa-se que no primeiro trimestre a mdia do R(POMP)
praticamente a mesma para meninos e meninas (a dos meninos ligeiramente mais alta).
Observa-se tambm que, com o passar do tempo, a mdia das meninas aumenta, tronando-se
maior que a dos meninos j no segundo trimestre e aumentando a diferena no terceiro.
J no grfico R(ITENS), ambos os grupos seguem trajetrias similares, mas com a
competncia dos meninos sendo sempre superior das meninas.
Essa simples explorao sugere que algo substancialmente diferente deve haver entre
as duas variveis. Uma primeira reflexo me faz pensar que, como o R(POMP) obtido a
partir das notas trimestrais, ele uma medida de uma competncia mais ampla, envolvendo
no s aspectos cognitivos, mas tambm esforo dirio, assiduidade, cumprimento de regras e
comportamento. J o R(ITENS) foi obtido a partir do desempenho em provas com itens
dicotmicos e presumo que a competncia medida por essa varivel envolva mais (mas no
somente) aspectos cognitivos (conhecimentos e habilidades), que auxiliam na resoluo de
problemas de fsica.
60
Se essa interpretao est correta, significa que, na amostra, as meninas desenvolvem
mais do que os meninos uma competncia acadmica ampla, mas a evoluo de uma
competncia em fsica mais cognitiva ocorre de forma similar entre os grupos, mas com os
meninos em um nvel ligeiramente acima.

Evoluo mdia por turma.
Os grficos abaixo representam a evoluo mdia das variveis dependentes R(POMP)
e R(ITENS) de cada turma.


Grfico 7: R(POMP) mdio por turma

61

Grfico 8: R(ITENS) mdio por turma

Nos grficos observa-se que: (i) para a varivel R(POMP), as turmas T3 e T1
apresentam um grande crescimento; (ii) para a varivel R(POMP), a turma T5 apresenta um
grande decrescimento; (iii) para ambas as variveis, a turma T2 tem uma trajetria que
permanece abaixo da outras durante todo o processo.
interessante notar que a turma T3, que apresente um crescimento acentuado e
constante para o R(POMP), uma turma formada por 22 meninas e apenas 5 meninos. Esse
crescimento observado pode ter uma explicao comum ao crescimento observado para o
R(POMP) do grupo feminino como um todo (esse crescimento da turma pode ser explicado
pelo fato de a turma ser formada por meninas ou o crescimento das meninas pode ser
explicado pelo crescimento dessa turma?).


3.2. ANLISE LONGITUDINAL DA VARIVEL R(POMP)

Essa anlise longitudinal pretendeu investigar o efeito dos preditores criados na
varivel R(POMP). Utilizei os dados de 145 alunos (exclumos da anlise dois sujeitos -
62
suj176 e suj240 para usar os mesmos sujeitos usados na anlise do R(ITENS)) e tratei os
dados utilizando o software MLwiN.
O primeiro modelo que constru contm apenas um parmetro para o intercepto que
varia randomicamente entre os sujeitos (Modelo A):


ij j j i
e u B POMP R + + =
0 0
) (

Nesse modelo, cada sujeito tem uma trajetria verdadeira plana, que difere da
trajetria mdia, R(POMP) = B
0
, por um fator u
0j
. Os valores estimados para os parmetros
desse modelo encontram-se na tabela 1. Pode-se notar que a varincia do coeficiente u
0j
vale
4,691 e que a varincia do coeficiente e
ij
4,498. Isso indica que a varincia da mdia do
R(POMP) dos sujeitos em relao mdia geral muito prxima da varincia do R(POMP)
em diferentes ocasies (do mesmo sujeito) em relao mdia do sujeito. Em outras palavras:
aproximadamente metade da varincia ocorre entre os sujeitos (interindividual) e a outra
metade ocorre dentro dos sujeitos (intraindividual).
Em seguida, acrescentei um termo para a varivel temporal no modelo, obtendo o
modelo B:

ij ij j j j i
e TEMPO u B u B POMP R + + + + = ] [ ] [ ) (
1 1 0 0


Nesse modelo, cada pessoa tem uma trajetria verdadeira que difere da trajetria
mdia. A diferena no intercepto (competncia inicial) dada pelo coeficiente u
0j
e a
diferena na inclinao dada pelo coeficiente u
1j
. Lembremos que o modelo assume que os
63
coeficientes u
0j
e u
1j
so ambos distribudos normalmente com mdia zero, varincias
2
0
e
2
1
(respectivamente) e covarincia
01
.
Acrescentar a varivel TEMPO ao modelo fez com que a estatstica desvincia casse
de 2094,154 para 2084,742. Como o modelo B tem apenas um parmetro a mais do que o
modelo A, o teste qui-quadrado para a diferena das desvincias indica que acrescentar a
varivel TEMPO proporcionou um ajuste significativamente melhor do modelo. Por isso,
mantive essa varivel no modelo.
Esse modelo, contendo apenas um parmetro para o intercepto e outro para a
inclinao, possibilita a visualizao da evoluo mdia da competncia, medida pela varivel
R(POMP), no tempo. Essa evoluo mdia est representada no grfico abaixo.


Grfico 9: Evoluo mdia prevista para a competncia em fsica - R(POMP)

Aps construir esse dois modelos, A e B, testei a incluso, uma a uma, de todas as
variveis independentes criadas. Para cada nova varivel introduzida, era avaliada a mudana
na desvincia e na varincia no explicada (parmetros randmicos). Quando a nova varivel
no contribua para melhorar o ajuste do modelo, ela era descartada. Mas se ela contribua
para melhorar o ajuste, o novo modelo era armazenado. A tabela 1 traz um resumo de todos os
64
modelos que foram armazenados (ou seja, os que se ajustavam melhor que o anterior). O
ltimo deles, o modelo G, foi o que melhor se ajustou (melhor explicou a varincia observada
dos dados):


ij ij j ij j j j
j j ij j j ij
e TEMPO T B TEMPO T B T B Pai E B
DPMalto B DPMmdio B TEMPO u B u B POMP R
+ + + +
+ + + + + + =
5 3 5 .
] [ ] [ ) (
9 8 7 6
5 4 1 1 0 0



Tabela 1: Modelos construdos para a varivel R(POMP)

Os grficos abaixo ilustram o efeito na evoluo da competncia, previsto pelo modelo
para cada uma das variveis, depois de controlados os efeitos para as outras variveis.
65

Grfico 10: Evoluo mdia da competncia - varivel R(POMP) - por grupos de desempenho prvio em
matemtica - com todas as outras variveis assumindo valor zero


Grfico 11: Evoluo mdia da competncia - varivel R(POMP) - por grupos de escolarizao do pai - com
todas as outras variveis assumindo valor zero

66

Grfico 12: Evoluo mdia da competncia - varivel R(POMP) por turma - todas as outras variveis
assumindo valor zero

A partir das estimativas para os coeficientes do modelo ajustado (na tabela 1) e dos
grficos apresentados, pode-se observar que:

i- As trajetrias verdadeiras individuais diferem entre si, tanto no intercepto (
u0
2
>0),
quanto na inclinao (
u1
2
>0).
ii- A trajetria mdia da competncia apresenta um crescimento durante o ano.
iii- O grupo de desempenho prvio em matemtica o fator que mais influencia na
trajetria da competncia na terceira srie, sendo a trajetria mdia mais alta para o
grupo de alunos com DPM alto, e a mais baixa para o grupo de alunos com DPM
baixo (mas a inclinao a mesma).
iv- A trajetria mdia da competncia no difere entre os grupos de desempenho prvio de
fsica (nem no intercepto, nem na inclinao).
v- A trajetria mdia da competncia prevista para o grupo com EP=1 (pai concluiu o
Ensino Superior) mais alta, mas tem a mesma inclinao que a trajetria mdia
prevista para o grupo com EP=0 (pai no concluiu o Ensino Superior).
67
vi- Aps controlar o efeito de todas as variveis independentes criadas, apenas algumas
turmas ainda apresentam diferenas nas suas trajetrias mdias previstas para a
competncia. A turma T3 tem um crescimento maior que as outras. A turma T5
comea com um alto valor de competncia mdia, mas tem um grande decaimento.
vii- A renda familiar, a escolarizao da me e o professor no apresentaram efeitos
significativos, controlados os efeitos das outras variveis.

O crescimento da competncia durante o ano algo esperado, j que se trata de um
processo de aprendizagem. No entanto, deve-se lembrar que a competncia medida pela
varivel R(POMP) um composto de componentes cognitivos e fatores relacionados a
esforo, engajamento, entre outras coisas, j que a varivel obtida a partir da nota trimestral.
Portanto, no se pode ser muito assertivo ao afirmar que as habilidades e conhecimentos no
domnio da fsica esto aumentando.
A observao de que o desempenho prvio em matemtica tem um grande efeito sobre
a trajetria da competncia pode se dever s caractersticas do curso de fsica na terceira srie.
O material didtico impresso utilizado, de autoria do professor efetivo e coordenador da srie,
e as atividades propostas, exigiam conhecimento de matemtica, mas no faziam qualquer
reviso nem ensinavam os conhecimentos de matemtica necessrios, que eram usados como
se j fossem bem conhecidos.
A no deteco de um efeito significativo para o desempenho prvio em fsica (aps
controlar o efeito do desempenho prvio em matemtica) parece indicar que, alm das
habilidades e conhecimentos que a fsica tem em comum com a matemtica, no h uma
contribuio adicional da competncia em fsica nas sries anteriores na trajetria da terceira
srie. Isso pode se dever diferena de tratamento da fsica na terceira srie em relao s
sries anteriores.
68
J o efeito encontrado para a escolarizao do pai (ou da me) poderia ser, de certa
forma, esperado. Esse efeito , de fato, coerente com resultados de outras pesquisas
(CATSAMBIS, 1998; JOHNSON, 2009). Isso pode refletir uma suposta expectativa que os
pais criam (e que o aluno acaba absorvendo) sobre a trajetria acadmica dos estudantes.
Embora no seja bvia, parece ser razovel a hiptese de que, de uma forma geral, pais com
Ensino Superior completo valorizem, em mdia, mais a vida acadmica e por isso se tornem
mais exigentes em relao ao desempenho de seus filhos na escola.
No sou capaz de explicar as diferenas nas trajetrias encontradas para as turmas T3
e T5. Deve-se notar, no entanto, que essas diferenas aparecem mesmo aps controlarmos os
efeitos de todas as outras variveis e que, dessa forma, possivelmente so devidas a
caractersticas prprias das turmas. Nesse caso, posso apenas destacar algumas caractersticas
especficas dessas turmas. No caso da turma T3, lembremos que nica turma com uma
quantidade de meninas (22) muito maior que de meninos (5). Isso, porm, no deve ser uma
explicao, pois, se fosse, haveria um efeito para a varivel GNERO. Alm disso, essa a
nica turma cujos alunos fazem o curso tcnico de Patologia Clnica. Quanto turma T5,
no consegui destacar nenhuma particularidade em relao s outras.


3.3. ANLISE MULTINVEL DA VARIVEL R(ITENS)

Essa anlise longitudinal pretendeu investigar evoluo da competncia, medida pela
varivel R(ITENS), bem como o efeito dos preditores criados nessa evoluo. Foram
utilizados os dados de 145 alunos (exclu da anlise dois sujeitos - suj176 e suj240 - que no
haviam feito todas as trs provas) e tratei os dados utilizando o software MLwiN.
69
O primeiro modelo que constru para a varivel R(ITENS) um modelo contendo
apenas um parmetro para o intercepto que varia randomicamente entre os sujeitos (Modelo
A):


ij j j i
e u B ITENS R + + =
0 0
) (

Os valores estimados para os parmetros desse modelo encontram-se na tabela 2. Dela,
pode-se perceber que o valor mdio da competncia, medida pela varivel R(ITENS), para
todos os sujeitos e ocasies 1,237(0,069). A varincia entre as mdias dos sujeitos
0,522(0,082) e a varincia dentro dos sujeitos (varincia das medidas em relao s mdias
dos sujeitos) 0,507(0,042). Isso significa que a varincia intraindividual e a varincia
interindividual correspondem a aproximadamente metade da varincia total.
Em seguida, acrescentei a varivel temporal no modelo, obtendo o modelo B:

ij j ij j i
e u TEMPO B B ITENS R + + + =
0 1 0
) (

Diferentemente do modelo B para a varivel R(POMP), esse modelo no tem um
coeficiente randmico para a varivel TEMPO (um modelo que inclui esse o coeficiente
randmico no se ajustou bem). Isso significa que o modelo prev trajetrias verdadeiras
individuais, todas com a mesma inclinao, B
1
(embora com interceptos diferentes).
Esse modelo, contendo apenas um parmetro para o intercepto e outro para a
inclinao, possibilita a visualizao da evoluo mdia da competncia, medida varivel
R(POMP), no tempo. Essa evoluo mdia est representada no grfico abaixo.

70

Grfico 13: Evoluo mdia da competncia em fsica - varivel R(ITENS)

Seguindo um processo semelhante ao descrito para a varivel R(POMP), fui
construindo modelos, acrescentando novas variveis. Um resumo dessa histria (contendo
apenas os modelos que melhoraram o ajuste) pode ser encontrado na tabela 2. O modelo que
melhor se ajustou aos dados foi o modelo G:


ij ij j j
j j j j
j ij j ij
e TEMPO PROF B Mae E B
GNERO B DPMalto B DPMmdio B DPFalto B
DPFmdio B TEMPO B u B ITENS R
+ +
+ + + +
+ + + + =
1 .
] [ ) (
8 7
6 5 4 3
2 1 0 0


71

Tabela 2: Modelos construdos para a varivel R(ITENS)

Os grficos abaixo ilustram o efeito na evoluo da competncia em fsica, previsto
pelo modelo para cada uma das variveis, depois de controlados os efeitos para as outras
variveis.


Grfico 14: Evoluo mdia da competncia - varivel R(ITENS) - por grupo de desempenho prvio
em fsica - todas as outras variveis assumindo valor zero
72


Grfico 15: Evoluo mdia da competncia - varivel R(ITENS) - por grupo de desempenho prvio
em matemtica - todas as outras variveis assumindo valor zero


Grfico 16: Evoluo mdia da competncia - varivel R(ITENS) - por gnero - todas as outras
variveis assumindo valor zero

73

Grfico 17: Evoluo mdia da competncia - varivel R(ITENS) - por grupos de escolarizao da me
- todas as outras variveis assumindo valor zero


Grfico 18: Evoluo mdia da competncia - varivel R(ITENS) - por professor - todas as outras
variveis assumindo valor zero

A partir das estimativas apresentadas para esse modelo na tabela 2 e dos grficos
apresentados, pode-se observar que:

i- Os interceptos das trajetrias verdadeiras individuais tm uma varincia
significativamente diferente de zero, ou seja, os alunos no comeam a terceira srie
com o mesmo nvel de competncia.
74
ii- No h varincia para o parmetro do intercepto, ou seja, o modelo prev a mesma
inclinao para todos os alunos que pertenam a um mesmo grupo.
iii- A trajetria verdadeira mdia prevista ligeiramente (mas significativamente)
decrescente.
iv- Os diferentes grupos de desempenho prvio em fsica diferem em seus interceptos
mdios (mas no na inclinao), mas a nica dessas diferenas que estatisticamente
significativa a do intercepto do grupo DPF-alto em ralao ao grupo DPF-
mdio.
v- O desempenho prvio de matemtica a varivel que exerce o maior efeito no
intercepto. O grupo DPM-alto o que tem o maior intercepto mdio previsto, seguido
pelo grupo DPM-mdio.
vi- O intercepto mdio (competncia no tempo zero) previsto maior para os meninos
que para as meninas, mas a inclinao (variao da competncia com o tempo) no
diferente.
vii- A mdia do intercepto para os alunos cuja me completou o Ensino Superior maior
que a mdia para os demais alunos (mas o mesmo no ocorre para a inclinao).
viii- As variveis relativas renda familiar, professor e turma no tm efeito nem no
intercepto, nem na inclinao.

A observao de que o desempenho prvio em matemtica tem um efeito muito maior
que o desempenho prvio de fsica no intercepto (que o valor da competncia no incio da
terceira srie) pode ter uma explicao semelhante ao caso da varivel R(POMP). Ou seja,
pode ser devida forte exigncia de conhecimentos e habilidades de matemtica nas provas,
sem que seja dado suporte para esses conhecimentos durante a terceira srie.
75
O efeito do desempenho prvio em fsica deve ser visto com cuidado, j que nenhum
dos coeficientes estatisticamente significativo.
A observao de que os meninos tm uma competncia mdia inicial maior do que as
meninas e que essa diferena se mantm durante o curso condizente com resultados
relatados na literatura para a diferena de desempenho em fsica (MULLER et al, 2001;
BYRNES e MILLER, 2007; LAWRENZ et al, 2009, GRIGG et al, 2006), mas no sou capaz
de explic-los.
Embora tenha sido encontrado um efeito do professor 1 na inclinao, uma reflexo
mais aprofundada me aconselha certa cautela ao interpretar esse efeito. Isso porque a varivel
professor no tem a estabilidade que pode parecer, primeira vista. Um professor pode ter um
papel diferente para cada turma. Dizer que o professor 1 tem um efeito positivo na trajetria
perigoso porque no se pode afirmar que esse efeito ocorreria se ele lecionasse para outra
turma. Talvez s faa sentido falar do efeito de uma combinao professor-turma, mas no
sobre um efeito de um professor, como se esse efeito fosse transfervel.
Um ltimo resultado encontrado ausncia de um efeito turma. Esse , de certa
forma, um resultado inesperado, pois as turmas so definidas a partir do curso tcnico
escolhido pelos alunos. Dessa forma, elas devem refletir certo vocacionamento e pesquisas
anteriores (COELHO e BORGES, 2010) indicam que o vocacionamento influencia no
aprendizado de fsica.
Sem dvida, a observao mais difcil de explicar a de que a competncia medida
pela varivel R(ITENS) cai (pouco, mas significativamente) durante o curso. O que parece
que os alunos saem da terceira srie com uma competncia ligeiramente menor que entraram.
Pode ser tentador pensar que isso ocorreu por causa de um decrscimo de engajamento
durante o curso, mas essa hiptese no resiste observao de que a varivel R(POMP), que
tem uma componente muito maior de engajamento, aumenta durante o ano. Essa observao,
76
to relevante e difcil de entender, pode ter sua explicao em certa inadequao do desenho
metodolgico da pesquisa. Dedicarei uma seo do captulo Discusses e concluses
apenas discusso dessa questo.


3.4. COMPARAO ENTRE AS DUAS ANLISES.

A ltima parte da anlise consiste na comparao das duas anlises multinvel (com o
R(POMP) e com o R(ITENS). Pode-se verificar que h algumas semelhanas, mas h tambm
diferenas fundamentais.
A primeira semelhana a grande influncia do desempenho prvio em matemtica no
intercepto das trajetrias (mas no na inclinao). O grupo de alunos com desempenho prvio
em matemtica alto tem uma trajetria mdia superior ao grupo com desempenho prvio em
matemtica mdio e esse, por sua vez, tem uma trajetria mdia superior ao grupo com
desempenho prvio em matemtica baixo.
Outra semelhana o fato do desempenho prvio em fsica no influenciar (caso do
R(ITENS) ou quase no influenciar (caso do R(POMP)) a trajetria da competncia em fsica
na terceira srie.
A existncia dessas duas semelhanas corrobora com a explicao para a deteco de
um efeito do desempenho prvio em matemtica ser muito maior que o de fsica: a fsica na
terceira srie exige mais conhecimentos de matemtica que nas sries anteriores, e esse
conhecimento tratado como supostamente sabido.
H ainda outra semelhana: a renda familiar no influencia nenhuma das trajetrias.
Vamos agora s diferenas entre os resultados das duas anlises.
77
A primeira (e talvez mais fundamental) diferena que a trajetria mdia prevista para
a varivel R(POMP), apresenta um crescimento durante o ano, enquanto a varivel R(ITENS)
apresenta um decaimento. Podemos tentar entender essa diferena pensando em quais pontos
as competncias medidas pelas variveis diferem entre si. Ora, a varivel R(ITENS) foi obtida
a partir de respostas a itens dicotmicos, enquanto a varivel R(POMP) foi obtida a partir de
notas trimestrais. Essas notas trimestrais eram distribudas em diversas atividades (j
mencionadas). Por isso, a competncia medida pela varivel R(POMP) envolve, alm de
habilidades e conhecimentos cognitivos (que so as principais componentes do R(ITENS)),
fortes componentes de esforo, engajamento, freqncia e participao nas aulas. Ento
plausvel pensar que, se a varivel R(POMP) aumenta e R(ITENS) diminui, esses outros
aspectos mencionados (esforo, engajamento, etc.) o que est contribuindo para o aumento
da varivel R(POMP). Ou seja, os alunos esto, em mdia, aumentando seu engajamento,
esforo e participao nas aulas.
Outra diferena importante o efeito da varivel GNERO. Os meninos apresentam
maior competncia que as meninas quando a anlise feita como o R(ITENS), mas no h
diferena de competncia se a anlise feita com o R(POMP). Mais uma vez, tentarei
explicar essa diferena a partir das diferenas das prprias variveis dependentes. Como j
mencionei, a varivel R(ITENS) est mais relacionada com aspectos cognitivos, enquanto o
R(POMP) envolve componentes de esforo e engajamento. Ento plausvel pensar que as
meninas, em mdia, estiveram mais engajadas e se esforaram mais que os meninos. Isso
acabou compensando a menor competncia cognitiva (detectada no R(ITENS)) e fez com que
no houvesse diferena de gnero no R(POMP).
Uma terceira diferena que, para a varivel R(ITENS), no foi detectada diferena
entre as trajetrias mdias das turmas, enquanto que para o R(POMP) houve diferena. Mais
78
uma vez, essa diferena deve estar ocorrendo nas componentes de engajamento e esforo que
compem o R(POMP).
Outra diferena aparente diz respeito escolarizao dos pais. Na anlise feita com a
varivel R(POMP) foi encontrado um efeito para a escolarizao do pai, enquanto que na
varivel R(ITENS) o efeito encontrado foi para a escolarizao da me. Isto sugere certo
cuidado ao interpretar tais diferenas. Na verdade, quando o efeito da escolarizao do pai
no controlado, a escolarizao da me apresenta efeito sobre o R(POMP). Da mesma
forma, quando o efeito da escolarizao da me no controlado, a escolarizao do pai tem
efeito sobre o R(ITENS). A questo que, na anlise do R(POMP), o efeito da escolarizao
do pai maior que o da escolarizao da me e, somente aps controlar o efeito da
escolarizao do pai, a da me deixa de influenciar. Isso pode ser explicado pelo fato de mais
de 70% dos alunos terem os dois pais no mesmo grupo de escolarizao (E.Pai=1 e E.Mae=1
ou E.Pai=0 e E.Mae=0). Isso indica que as duas variveis esto correlacionadas e seus efeitos
misturados. O que pode ter determinado qual das duas teve maior influncia em cada varivel
dependente pode no ter muita importncia. Ento, o que seria, em princpio, uma diferena,
pode ser visto como uma semelhana: em ambas as variveis, alunos cujos pais (pai, me, ou
ambos) concluram Ensino Superior tm trajetria mdia superior trajetria mdia dos
outros alunos. Esse tambm um resultado coerente com a literatura (CATSAMBIS, 1998;
JOHNSON, 2009).
No considero relevante o aparecimento da varivel Prof1 na anlise do R(ITENS),
pelos motivos j discutidos.

79
CAPTULO 4: DISCUSSES E CONCLUSES

4.1. DECAIMENTO DA VARIVEL R(ITENS)

Sem dvida, o ponto mais desafiador desta pesquisa entender e explicar o
decaimento da competncia detectado na anlise da varivel R(ITENS). Para tentar entender
esse decaimento, vou analisar algumas caractersticas do desenho metodolgico da pesquisa.
Primeiramente, lembremos que a varivel R(ITENS) foi obtida a partir das respostas
aos itens das provas trimestrais. Como o contedo cobrado nas trimestrais era acumulativo, a
amplitude do domnio que estava sendo avaliado foi aumentando. Isso pode ter criado um
efeito de multidimensionalidade na medida. Ou seja, pode ser que o que foi medido em cada
ocasio no seja exatamente a mesma coisa.
Para investigar se isso pode estar de fato ocorrendo, criei outra varivel dependente, de
forma semelhante que criei a varivel R(ITENS), mas usando apenas questes do contedo
de mecnica (comum s trs provas). Chamei essa varivel de R(MECANICA). Por usar
apenas questes do mesmo assunto nas trs ocasies, o R(MECANICA) no deve apresentar
o efeito do aumento de abrangncia e complexidade que pode ser o causador do decaimento
da varivel R(ITENS). De fato, em mdia, essa varivel no apresentou decaimento, mas
crescimento, durante o curso, como indica o grfico abaixo:

80

Grfico 19: Evoluo mdia da varivel R(MECANICA)

Nesse caso, a suposio de que se est medindo a mesma coisa nas trs ocasies
menos problemtica. No entanto, esse R(MECANICA) representa a competncia em
mecnica, no a competncia em fsica, como um todo.
Para obter uma competncia em fsica, como um todo, deveriam ser usados itens de
todos os campos da fsica, mas sem que houvesse um aumento da abrangncia com o tempo.
Mas no tinha dados para isso, j que cada prova cobria apenas o contedo estudado at o
momento de sua aplicao.
Tambm no posso supor que a competncia em fsica evolua da mesma forma que a
competncia em mecnica, pois cada subdomnio pode evoluir de uma forma diferente, de
acordo com o que est sendo trabalhado em sala de aula. No presente caso, penso que a
competncia em fsica deveria aumentar mais que a competncia em mecnica, pelo
raciocnio exposto abaixo:
Suponhamos a seguinte situao hipottica:
Um grupo de alunos submetido a dois testes: um teste de mecnica e um teste de
circuitos eltricos. Aps serem submetidos a esses testes, os alunos participam de um curso
de circuitos eltricos. No final do curso, os alunos so novamente submetidos a dois testes,
81
um de mecnica e outro de circuitos eltricos (ambos possveis de serem equalizados em
relao aos primeiros testes). O esperado pelo bom senso e indicado por pesquisas
(RECKASE, 2004; SAYRE e HCKLER, 2009) que haver um maior aumento de
competncia no domnio em que houve instruo (no caso, circuitos). Pode ser que a
competncia em mecnica aumente, permanea constante ou at diminua. Mas espera-se que
o aumento na competncia em circuito seja maior que em mecnica.
No caso desta pesquisa, ocorreu algo muito parecido. A diferena que no havia um
teste sobre o domnio estudado no momento anterior ao seu estudo. Por isso, no haveria
forma de captar um possvel aumento da competncia onde ele deveria ser maior.
Apesar dessas ponderaes, o teste de dimensionalidade feito com a terceira prova,
Trimestral3, que inclua todos os contedos do ano, no acusou um efeito de
multidimensionalidade. Alm disso, a verificao do funcionamento dos itens para o conjunto
das trs provas tambm sugeriu um possvel tratamento unidimensional. Por esses motivos,
procedi com a anlise da forma descrita na dissertao.
No tenho uma explicao definitiva para isso, mas me parece que para examinar essa
questo no se deve tratar a competncia apenas como uma soma de habilidades e
conhecimentos, mas tratar separadamente vrios tipos de habilidades e vrios tipos de
conhecimento. Essa , claramente, uma abordagem multidimensional e talvez um modelo
multidimensional, com os dados apropriados, fosse necessrio para uma investigao
adequada.
Por limitaes impostas pelos dados, no foi possvel fazer um tratamento
multidimensional. Mas especularei um pouco, a fim de jogar alguma luz sobre a questo.
Reckase (2009) afirma que o nmero de dimenses avaliadas por um teste depende
no s do prprio teste, mas tambm da populao para quem se aplica esse teste. Se a
82
populao no tiver variabilidade suficiente em uma das dimenses que o teste mede, ele no
ser capaz de avaliar essa dimenso.
Pode ser que, no presente caso, as populaes nas trs ocasies de medida no sejam
as mesmas (apesar de serem os mesmos alunos) e que o grau de variabilidade em alguma das
dimenses dos testes tenha mudado de uma ocasio para a outra.
Consideremos, por exemplo, uma dimenso bastante estreita como o domnio do
vocabulrio usado em eletricidade (esse pode ser um componente do conhecimento
declarativo). Pode ser que na ocasio da terceira trimestral essa dimenso no tenha
variabilidade suficiente para ser detectada no teste de dimensionalidade (todos os alunos
teriam o vocabulrio de eletricidade razoavelmente desenvolvido). No entanto, pode ser que
se aplicssemos essa prova populao (imaginria) contendo todos os sujeitos em todas as
ocasies, essa populao teria uma grande variabilidade nessa dimenso (j que alguns j
estudaram os contedos de circuitos eltricos e outros no). Dessa forma, a prova poderia ser
unidimensional para cada ocasio separadamente, mas multidimensional para um estudo
longitudinal, usando as trs ocasies.
Essas so apenas especulaes vagas e sem slida fundamentao emprica, mas
podem ajudar a intuir algumas possveis solues em uma possvel pesquisa futura que lide
com a questo.
importante ressaltar que, se esse efeito ocorreu para o R(ITENS), deve ocorrer
tambm para o R(POMP). No entanto, entendo que isso no invalida a comparao entre as
duas anlises. Alm disso, o fato de ter encontrado resultados consistentes (muitos em acordo
com a literatura) sugere que o vis encontrado para a inclinao das trajetrias tambm no
invalida os efeitos encontrados para as diferenas nos interceptos.
Mas resta ainda uma questo: possvel encontrar algum sentido para a queda que
identificamos? A limitao metodolgica discutida acima talvez tenha comprometido
83
completamente a interpretao desse decaimento. Porm, no temos condies de especular
mais sobre o tema pela falta de informaes adicionais.


4.2. O USO DE AVALIAES ESCOLARES EM PESQUISAS EDUCACIONAIS

Aps a anlise dos resultados, volto pergunta inicial: possvel usar avaliaes
escolares ordinrias para estudar a evoluo da competncia em fsica?
O fato de ter obtido vrios resultados consistentes (j discutidos) nos sugere que a
reposta sim. No entanto, h vrias ressalvas.

4.2.1. Ressalvas

I Vagueza da conceituao de competncia

O uso de notas trimestrais leva a uma definio de competncia que no envolve
apenas aspectos cognitivos, mas tambm fatores de engajamento, esforo, comportamento,
entre outros. Para um estudo mais detalhado das componentes dessa competncia, podem-se
usar notas obtidas em diferentes tipos de avaliao: provas fechadas, provas abertas,
exerccios, conceito e participao, entre outros. Algumas das concluses (como um maior
engajamento das meninas, por exemplo) s puderam ser obtidas pela comparao entre
anlises usando dois tipos de avaliaes diferentes. Entendo que quanto mais tipos diferentes
de avaliaes, mais potencial ter a pesquisa.

84
II - Tratamento multidimensional

O problema do decaimento da varivel R(ITENS) parece aconselhar a fazer um
tratamento multidimensional (pelo menos para estudos longitudinais de mudana). O uso de
respostas a questes abertas (embora esses sejam dados difceis de obter) poderia tornar
possvel essa anlise das muitas dimenses da competncia.
Para contornar a multidimensionalidade, que parece surgir do aumento da abrangncia
do contedo, devemos: ou nos restringir a anlise da evoluo da competncia em um
contedo restrito como fiz com o R(MECANICA); ou tratarmos as dimenses cognitivas
(vrios tipos de habilidades e conhecimentos) que no dependessem fortemente do contedo
(mas no sei se isso poderia ser chamado de competncia).
Outra opo seria ter um desenho de coleta de dados que permitisse medir a
competncia em certos contedos antes e depois que esses fossem estudados, mas essa
estrutura de avaliao contraria o bom senso da prtica educativa (a no ser em casos de
currculo em espiral). Ao se montar uma seqncia de testes com essa estrutura de coleta,
sairamos do domnio das avaliaes ordinrias escolares e entraramos no domnio dos testes
normalmente usados em pesquisas, com todos os seus problemas.

III- Dados equalizveis, mtrica estvel

Como foi discutido no captulo REFERENCIAIS TERICOS, um estudo
longitudinal exige uma mtrica que seja estvel no tempo. Nesse caso, importante ressaltar
que no se deve usar a simples nota (ou conceito) obtida em provas ou no trimestre para a
anlise longitudinal, mas deve-se buscar um jeito de criar uma medida em uma escala que
apresente forte estabilidade temporal (no presente caso, usei o modelo Rasch).
85
Alm disso, as medidas obtidas em diferentes ocasies devem poder ser comparadas
umas com as outras e, portanto, as provas ou trimestres devem ser equalizados de alguma
forma. Em alguns casos, essa equalizao pode ser facilitada pelo desenho da pesquisa. No
caso deste trabalho, por exemplo, as provas trimestrais puderam ser equalizadas por
possurem itens em comum. No caso dos trimestres, a estrutura rgida de ensino na terceira
srie (mesmos critrios de avaliao, mesmos tipos de aulas, etc.) possibilitou o tratamento de
certas categorias como itens semelhantes. Mas isso pode no ocorrer em muitos casos.

4.2.2. Outras possibilidades

A multidimensionalidade do problema surgiu devido ao carter longitudinal da
anlise. Em princpio, penso que esse no seria necessariamente um problema encontrado se o
estudo da competncia fosse de natureza transversal.
Outra possibilidade de tratamento usar a nota como indicador de mudana na
competncia. H pesquisas que indicam que as notas escolares tm alguma relao com
diferenas de escore entre pr-testes e ps-testes (POPLUN, 2009). Dessa forma, poderia se
encontrar alguma forma de relacionar a nota variao da competncia entre duas ocasies, e
no competncia em si.

4.2.3. Vantagens e desvantagens em relao a testes padronizados

Como j foi discutido nos primeiros captulos, so vantagens do uso de avaliaes
escolares em relao ao uso de testes: (i) a sintonia das avaliaes com o currculo real, (ii) o
engajamento dos estudantes nas avaliaes e (iii) a abundncia de dados disponveis e
possibilidade de usar vrias ondas de dados em um mesmo ano.
86

Essas vantagens podem ser reafirmadas aps a concluso de que o uso das avaliaes
vlido.
H, entretanto, uma grande desvantagem: as restries ao desenho metodolgico
impostas pela tica da prtica educativa, que acabam levando s ressalvas mencionadas.


4.3. ALGUMAS PONDERAES

A limitao metodolgica que pode ter levado ao decaimento da competncia medida
pela varivel R(ITENS), j discutida em uma seo deste captulo, me faz trazer uma questo
para reflexo: se a competncia em certo domnio (como a fsica) apresenta essa
multidimensionalidade em relao aos subdomnios (mecnica, eletricidade,...), essa
multidimensionalidade no pode tambm trazer problemas aos estudos longitudinais que
usam testes padronizados?
De fato, essa questo j foi discutida por Reckase (2009). Ele sugere que os testes
aplicados em diferentes ocasies, mesmo se equalizados, podem refletir dimenses diferentes.
Mesmo se o domnio especfico no variar, o aumento da complexidade dos itens pode fazer
com que sejam exigidos outros tipos habilidade para resolv-los.
Alm disso, como se espera que o aumento da competncia de um grupo de estudantes
ocorra de forma diferente para diferentes subdomnios, e que o maior crescimento ocorra no
subdomnio que foi trabalhado em sala de aula (RECKASE, 2004; SAYRE e HECKLER,
2009), o no alinhamento dos testes com o currculo pode mascarar um aumento de
competncia (de forma semelhante, mas no igual, ao que ocorreu com nossa anlise da
varivel R(ITENS)). E, ainda, o uso de um nico conjunto de testes para comparar sujeitos
87
(ou escolas) submetidos a diferentes currculos, no pode medir precisamente o crescimento
da competncia de todos, pois o alinhamento dos contedos do teste com o currculo no
ocorrer em muitos casos.
De fato, parece que a questo da uni/multidimensionalidade muito mais sutil e
delicada do que este pesquisador supunha no incio do estudo ou do que sugerem alguns
estudos longitudinais de aprendizagem.


4.4. CONCLUSES

Nesta dissertao procurei investigar se avaliaes escolares ordinrias podem ser
usadas para estudar a evoluo da competncia em fsica. Para isso, utilizei dois tipos de
avaliaes: (i) notas trimestrais - uma avaliao global, envolvendo aspectos cognitivos,
emotivos e motivacionais; e (ii) provas de itens dicotmicos uma avaliao que, apesar de
tambm envolver outros aspectos, est mais relacionada a aspectos cognitivos.
A partir das duas anlises e da comparao entre elas, foram obtidas algumas
concluses consistentes. Dessa forma, defendo a idia de que as avaliaes escolares podem,
sim, ser usadas no estudo de mudana, mas com algumas ressalvas. A primeira delas que a
competncia medida depende do tipo de avaliao usada e, por isso, avaliaes mais gerais,
como a nota trimestral, ou o rendimento global (mais fceis de obter em secretarias de
escolas) levam a uma conceituao mais vaga da competncia que est sendo medida. A
segunda ressalva que o contexto das avaliaes deve possibilitar a equalizao e a
construo de uma escala estvel para a competncia. Uma ltima ressalva est em que um
tratamento unidimensional pode levar a uma distoro na estimativa da variao da
88
competncia com o tempo, dada a forma com que a avaliao escolar se relaciona com o
contedo trabalhado em sala de aula.
A discusso do problema entre a relao do contedo trabalhado em sala com o
contedo cobrado em avaliaes me levou a questionar a possibilidade de um teste sistmico
nico avaliar o crescimento da competncia para sujeitos (ou escolas) com currculos
diferentes.


4.5. LIMITAES DA PESQUISA E PESQUISAS FUTURAS

Apresento abaixo as trs principais limitaes desta pesquisa. As limitaes, (i) e (ii),
levaram impossibilidade de um tratamento multidimensional. Pesquisas futuras sobre o uso
de avaliaes escolares ordinrias deveriam ser capazes de superar essas duas limitaes (ou
pelo menos uma delas) para que se possa ter uma melhor idia de como se d o crescimento
da competncia em fsica e de suas diversas componentes.
As principais limitaes foram:

I- O uso de pouca variedade de avaliaes

Isso me forou a trabalhar com um conceito relativamente vago de competncia.
Outros tipos de avaliao (como respostas dissertativas, ou problemas abertos) poderiam
possibilitar uma investigao mais detalhada de vrias componentes da competncia (ou
vrias competncias) separadamente.

II- Restrio no desenho de coleta de dados
89

O fato de usar notas de avaliaes fez com que no houvesse uma medida da
competncia nos subdomnios da fsica antes do perodo de instruo. Isso pode ter levado
impossibilidade de detectar o crescimento da competncia nesses subdomnios e ao
conseqente vis negativo na inclinao da competncia, conforme foi discutido.

III- Particularidade do contexto

A grande particularidade do contexto desta pesquisa desde as caractersticas do
alunado at a estrutura de curso de fsica da terceira srie gera uma enorme restrio para as
possibilidades de generalizao dos resultados.

Acho que esta dissertao pode ajudar na reflexo sobre o uso de avaliaes escolares
em pesquisas sobre competncia. Em especial em estudos longitudinais de evoluo da
competncia em fsica. Outros estudos podem vir a reforar (ou a contradizer) os achados aqui
expostos, para que se possa, em um futuro prximo, ter mais clareza sobre as possibilidades
de uso dessa enorme quantidade de dados coletados regularmente em quase todas as escolas
do Brasil e disponveis nas secretarias das escolas.
90
CAPTULO 5: REFERNCIAS BIBLIOGRFICAS


1. AUSUBEL, D., NOVAK, J., & HANESIAN, H. Educational Psychology: A
Cognitive View (2.ed.). Nova York: Holt, Rinehart & Winston, 1978.

2. AYALA, C. C.; SHAVELSON, R. J.; YIN, Y. Reasoning Dimensions Underlying
Science Achievement: The Case of Performance Assessment. Educational Assessment.
v. 8, n. 2, p. 101121, 2002.

3. BAXTER, G. P.; GLASER, R. Investigating the Cognitive Complexity of Science
Assessments. Educational Measurement: Issues and Practice, v.17, n.3, p.37-45,
1998.

4. BOND, G. T. e FOX, C. M. Applying the Rasch Model: Fundamental Measurement in
the Human Sciences 2.ed. Mahwah, NJ: Lawrence Erlbaum Associates, 2007, 340p.

5. BROOKHART, S. M. Developing Measurement Theory for Classroom Assessment
Purposes and Uses. Educational Measurement: Issues and Practice, v.22, n.4, p.5-12,
2003.

6. BYRNES, J. P.; MILLER, D. C. The Relative Importance of Predictors of Math and
Science Achievement: An Opportunity-propensity analysis. Contemporary
Educational Psychology, v.32, p.599-629, 2007.

7. CATSAMBIS, S. Expanding Knowledge of Parental Involvement in Childrens
Secondary Education: Connections with High School Seniors Academic Success.
Social Psychology of Education, v.5, n.2, p.149-177, 2001.

8. COELHO, G. R.; BORGES, O. O Entendimento dos Estudantes Sobre a Natureza da
Luz em um Currculo Recursivo. Caderno Brasileiro de Ensino de Fsica, v.27, n.1,
p.63-87, 2010.

9. COHEN, P.; COHEN, J.; AIKEN, L. S.; WEST, S. G. The Problem of Units and the
Circumstance for POMP. Multivariate Behavioral Research, v.34, n.3, p.315-346,
1999.

10. GOLDSTEIN, H.; HEALY, M. J. R. The Graphical Presentation of a Collection of
Means. Journal of the Royal Statistical Society. Series A (Statistics in Society), v.158,
n.1, p.175-177, 1995.

11. GRIGG, W. S.; LAUKO, M. A.; BROCKWAY, D. M. The Nations Report Card:
Science 2005. 2006. Disponvel em: <http://nces.ed.gov/nationsreportcard/science>.

12. JOARDER, A. H.; LATIF, R. M. Standard Deviation for Small Samples. Teaching
Statistics, v.28, n.2, p.40-43, 2006.

91
13. JOHNSON, B. B. An Examination of International Drivers of Educational
Achievement. 2009. Tese (Doutorado em Economia) University of California,
Berkeley, 2009.

14. JUSSIM, L. Grades May Reflect More Than Performance: Comment on Wentzel
(1989). Journal of Educational Psychology, v.83, n.1, p.153-155, 1991.

15. KOEPPEN, K.; HARTIG, J.; ECKHARD, K.; LEUTNER, D. Current Issues in
Competence Modeling and Assessment. Zeitschrift fr Psychologie / Journal of
Psychology, v.216, n.2, p.6173, 2008.

16. LAWRENZ, F.; WOOD N. B.; KIRCHHOFF, A.; KIM, N. K.; EISENKRAFT, A.
Variables affecting physics achievement. Journal of Research in Science Teaching,
v.46, n.9, p.961-976, 2009.

17. LINACRE, J. M. (2010). Winsteps (Version 3.70.0) [Computer Software].
Beaverton, Oregon: Winsteps.com.. Retrieved August 1, 2009. Disponvel em
<http://www.winsteps.com/>

18. MA, X.; WILKINS, J. L. M. The Development of Science Achievement in Middle and
High Schoolr: Individual Differences and School Effects. Evaluation Review, v.26,
n.4, p.395-417, 2002.

19. McMILLAN, J, H. Secondary Teachers Classroom Assessment and Grading
Practices. Educational Measurement: Issues and Practice. Vol.20, n.1, p.20-32, 2001.

20. McMILLAN, J. H. Understanding and Improving Teachers Classroom Assessment
Decision Making: Implications for Theory and Practice. Educational Measurement:
Issues and Practice, v.22, n.4, p.34-43, 2003.

21. MEAD, R. A Rasch Primer: The Measurement Theory of Georg Rasch Psychometrics
services research memorandum 2008-001. Maple Grove, MN: Data Recognition
Corporation, 2008.

22. MULLER, P. A.; STAGE, F. K.; KINZIE, J. Science Achievement Growth
Trajectories: Understanding Factors Related to Gender and Racial-Ethnic Differences
in Precollege Science Achievement. American Educational Research Journal, v.38,
n.4, p.981-1012, 2001.

23. NATIONAL ASSESSMENT OF EDUCATIONAL PROGRESS. (2005). The
Nations Report Card: Science. Retrieved August 8, 2008, Disponvel em
<http://nationsreportcard.gov/science_2005>

24. POMPLUN, M. R. Do Student Scores Measure Academic Growth? Educational and
Psychological Measurement, v.69, n6, p.966-977, 2009.

25. RASCH, G. On specific objectivity: an attempt at formalizing the request for
generality and validity of scientific statements. Danish Yearbook of Philosophy v.14,
p.58-94, 1977.

92
26. RECKASE, M, D. The Real World is More Complicated than We Would Like.
Journal of Educational and Behavioral Statistics, v.29, n.1, p.117-120, 2004.

27. RECKASE, M, D. Introduo. In:______. Multidimensional Item Response Theory.
Springer, Nova York, 2009, cap.1, p.1-10.

28. ROESER, R. W.; SHAVELSON, R. J.; KUPERMINTZ, H.; LAU, S.; AYALA, C.;
HAYDEL, A.; SCHULTZ, S.; GALLAGHER, L.; QUIHUIS, G. The Concept of
Aptitude and Multidimensional Validity Revisited. Educational Assessment,. v.8, n.2,
p.191-205, 2002.

29. SAYRE, C. E.; HECKLER, A. F. Peaks and Decays of Student Knowledge in an
Introductory E&M Course. Physical Review Special Topics Physics Education
Research, v. 5, 2009

30. SHAVELSON, R. J; ROESER, R. W.; KUPERMINTZ, H.; LAU, S.; AYALA, C.;
HAYDEL, A.; SCHULTZ, S.; GALLAGHER, L.; QUIHUIS, G. Richard E. Snows
Remaking of the Concept of Aptitude and Multidimensional Test Validity:
Introduction to the Special Issue. Educational Assessment, v.8, n.2, p.77-99, 2002.

31. SINGER, J. D.; WILLETT, J. B. Applied Longitudinal Data Analysis: Modeling
Change and Event Occurrence. Nova York: Oxford University Press, 2003. 644p.

32. SIRIN, S. R. Socioeconomic Status and Academic Achievement: A Meta Analytic
Review of Research. Review of Educational Research, v.75, n.3, p.417-453, 2005.

33. SMITH, J. K. Reconsidering Reliability in Classroom Assessment and Grading.
Educational Measurement: Issues and Practice, v.22, n.4, p.26-33, 2003.

34. TRIOLA, M. F. Introduo Estatstica; 10. ed. Rio de Janeiro: LTC, 2008. 696p.

35. WENTZEL, K. R. Classroom Competence May Require More Than Intellectual
Ability: Reply to Jussim (1991). Journal of Educational Psychology, v.83, n.1, p.156-
158, 1991.

36. WHITE, K. R. The Relation between Socioeconomic Status and Academic
Achievement. Psychological Bulletin, v.91, n.3, p.461-481, 1992.

37. WRIGHT, B. D. A History of Social Science Measurement. Educational
Measurement: Issues and Practice, v.16, n.4, p.33-45, 1997.

You might also like