Professional Documents
Culture Documents
)
1
ln(
Onde B
i
a proficincia do sujeito i, D
j
a dificuldade do item j e P
ij
a probabilidade
do sujeito i acertar o item j (1- P
ij
a probabilidade de erro).
Resolvendo a equao para P, obtemos (com uma notao mais completa):
) (
) (
1
) , / 1 (
j i
j i
D B
D B
j i ij ij
e
e
D B x P
+
= =
Onde P
ij
(x
ij
= 1|B
i
, D
j
) a probabilidade da pessoa i obter escore x = 1 (ao invs de x
= 0) no item j, dados a proficincia da pessoa B
i
e a dificuldade do item D
j
. Essa
probabilidade igual base do logaritmo natural (e = 2,7183...) elevada diferena entre Bi e
Dj e depois dividida pelo mesmo valor somado unidade. importante notar que a
probabilidade de uma pessoa i acertar ou no um item j, depende da diferena entre a
proficincia Bi (considerada como a qualidade que est sendo medida pelos itens) da pessoa e
a dificuldades Dj do item. Quanto maior essa diferena, maior a probabilidade de acerto
(escore x = 1).
30
O grfico abaixo representa a probabilidade de acerto de um item em funo da
diferena entre a proficincia do sujeito e a dificuldade do item.
Grfico 1: Probabilidade de acerto de um item em funo da diferena Bi Dj
A estimativa das dificuldades dos itens e das proficincias dos sujeitos feita por um
processo numrico de iterao. Nesse processo, so feitos sucessivos ajustes nas estimativas
das proficincias dos sujeitos e das dificuldades dos itens. Ao final do processo, a soma das
probabilidades de acerto de cada item por um sujeito deve ser igual ao escore observado desse
sujeito. Tambm a soma das probabilidades de acerto de cada sujeito, em determinado item,
deve ser igual ao escore observado desse item (total de acertos nesse item). Isso para todos os
sujeitos e itens. (Um algoritmo de iterao pode ser encontrado em MEAD (2008)).
pertinente questionar sobre a possibilidade de se tratar a proficincia inferida pelo
modelo como uma competncia, dado que este termo (conforme foi conceituado) se refere a
um construto, por natureza, multidimensional. De fato, ao assumir que poderei usar o modelo
Rasch para estimar a competncia em fsica, estarei tambm assumindo que essa competncia
pode ser tratada, aproximadamente, como unidimensional, o que pode parecer contraditrio.
31
Para tentar esclarecer esse ponto, usarei uma analogia com a composio de um material
como o granito: o granito formado por diversos tipos de minerais e se o analisarmos com um
microscpio, possvel que focalizemos partes mais concentradas de um ou outro mineral. Se
compararmos essas pequenas partes, no poderemos dizer que se trata de um mesmo material.
Mas, desde que olhemos para ele de uma perspectiva mais ampla, podemos tratar toda aquela
mistura simplesmente como granito. Da mesma forma, assumirei que, olhando para a
competncia de uma perspectiva mais ampla, possvel estud-la como um construto
complexo, mas cuja complexidade, por no variar muito em sua composio, pode ser tratada
aproximadamente como um conjunto nico que pode ser medido, sem maiores problemas, em
uma escala unidimensional.
A discusso desta seo justifica a escolha do modelo Rasch para inferir medidas para
a competncia em fsica dos sujeitos. Dessa forma, ser obtida uma varivel em uma escala
intervalar e estvel que, como foi discutido na seo anterior, uma exigncia fundamental
para um estudo da mudana.
32
CAPTULO 2: METODOLOGIA
2.1. CONTEXTO
O estudo foi realizado com dados de uma Escola de Educao Bsica e Tcnica
federal, situada em Belo Horizonte. Uma frao do alunado entra na escola por um concurso
muito concorrido (geralmente mais de 30 candidatos por vaga), para fazer um curso tcnico
simultaneamente ao Ensino Mdio. A outra parte ingressa na escola automaticamente, aps
concluir a nona srie do Ensino Fundamental em outra escola pertencente mesma
instituio. Os alunos que ingressam desta ltima forma cursam apenas o Ensino Mdio.
O currculo de fsica da escola recursivo, em espiral. Na terceira srie, no ano de
2008, as aulas de fsica eram estruturadas da seguinte forma: (i) os alunos liam um breve texto
sobre a atividade; (ii) o professor discutia as dvidas com a turma; (iii) os alunos respondiam,
em pequenos grupos e com consulta, a questes discursivas sobre o assunto estudado,
chamadas tarefas; (iv) o professor corrigia algumas dessas questes; (v) os alunos
respondiam, individualmente, a um pequeno teste objetivo sobre o assunto da aula.
A nota trimestral era composta pelas notas das tarefas, dos testes, de avaliaes
intermedirias (abordando apenas o assunto estudado no trimestre), de avaliaes trimestrais
(abordando todo o contedo estudado no ano, at o momento) e de pontos de participao e
conceito (que inclua a presena como um dos indicadores de participao).
33
2.2. SUJEITOS DA PESQUISA E OBTENO DOS DADOS
Sero analisados dados referentes a 147 alunos que cursaram a terceira srie em 2008.
Esses alunos se dividiam em seis turmas: trs delas (turmas T1, T4 e T5) contendo alunos do
curso de Instrumentao e do curso de Eletrnica; uma (turma T6) formada por alunos do
curso de Qumica; uma (turma T3) por alunos do curso de Patologia Clnica; e uma (turma
T2) formada por alunos que no ingressaram por concurso e no faziam (em sua maioria)
nenhum curso tcnico. As turmas de Instrumentao e Eletrnica eram turmas
predominantemente masculinas, enquanto a turma de Patologia Clnica era uma turma
predominantemente feminina.
Os dados analisados foram fornecidos pela secretaria da escola e pelo coordenador da
disciplina. Esses dados so: notas trimestrais de todas as trs sries do Ensino Mdio, em
fsica e em matemtica, respostas dos alunos de trs turmas (T4, T5 e T6) s trs provas
trimestrais de fsica (todas com itens do tipo verdadeiro ou falso), a turma a que cada aluno
pertenceu na terceira srie e o professor de fsica de cada turma da terceira srie. Alm disso,
consegui dados da faixa de renda, escolarizao do pai e escolarizao da me de 112 desses
alunos que responderam ao questionrio scio-econmico ao se inscreverem no vestibular da
UFMG para o ano de 2009
1
, doravante denominado Questionrio Scioecnomico do
vestibular (QSEV).
1
Os dados foram liberados pela Copeve atendendo ao pedido do Prof. Arnaldo Vaz, a quem agradeo.
34
2.3. CRIAO DAS VARIVEIS
2.3.1. Varivel temporal
O tempo (ou outra varivel temporal) a principal varivel independente em um
estudo de mudana, sendo o primeiro candidato a explicar a variao da competncia dos
sujeitos entre diferentes ocasies.
Foi criada uma varivel temporal baseada na diviso do ano letivo em trimestres. Essa
varivel vale 1 para eventos que ocorreram no primeiro trimestre, 2 para eventos que
ocorreram no segundo trimestre e 3 para eventos que ocorreram no terceiro trimestre. Ela foi
denominada TEMPO.
2.3.2. Variveis dependentes
Foram criadas duas variveis dependentes com indicadoras da competncia em fsica.
Uma que chamei de R(POMP) e a outra que chamei de R(ITENS).
2.3.2.1. Varivel R(POMP):
Essa a varivel que pretende medir a competncia dos estudantes a partir da nota
trimestral obtida por eles.
Como o primeiro trimestre valia 30 pontos e os outros dois, 35 pontos, dividi a nota de
cada trimestre pelo valor total, obtendo assim um nmero decimal que representa o percentual
em relao ao mximo valor possvel, que chamamos POMP (sigla para Percent Of Maximum
Possible score). (COHEN et al, 1999)
35
Converti o POMP obtido em um conceito. Os POMPs inferiores a 0,60 foram
classificados como conceito D; os que eram maiores ou iguais a 0,60 e menores que 0,70
foram classificados com C; os que eram maiores ou iguais a 0,70 e menores que 0,80 foram
classificados como B; os que eram maiores ou iguais a 0,80 foram classificados como A.
(inicialmente, utilizei seis conceitos de A a F mas, devido ao nfimo nmero de
alunos no mais alto e no mais baixo, mudei a categorizao para a que foi apresentada).
Esses quatro conceitos foram tratados como se fossem escores obtidos em um teste
com trs itens dicotmicos. A resposta ao item1 era considerada correta se o conceito
fosse A, B ou C e errada se fosse D. A resposta ao item2 era considerada
correta se o conceito fosse A ou B, e errada se fosse C ou D. A resposta ao
item3 era considerada correta de o conceito fosse A e errada se fosse B, C ou D.
No entanto, devido a possveis diferenas entre o grau de lenincia de diferentes
professores e tambm das possveis diferenas na distribuio de pontos entre diferentes
turmas, no podemos considerar que todos os sujeitos responderam aos mesmos itens.
Por isso, considerei que cada turma respondeu, em cada trimestre, a testes diferentes.
Dessa forma, fiquei com 54 itens em 18 testes (um teste para cada um dos trs trimestres,
para cada das seis turmas). claro que cada sujeito s tem escore em nove itens (3 testes):
trs itens (1 teste) em cada trimestre.
Para equalizar esses testes, procedi de acordo com as orientaes de Linacre (2010)
para uma Equalizao Virtual de Formas de Testes. Segui os seguintes passos:
1) Primeiramente, verifiquei a possibilidade de equalizar os dezoito diferentes testes.
a) Calculei as dificuldades dos itens, atravs de uma anlise Rasch (com o software
Winsteps) para cada teste separadamente.
36
b) Escolhi arbitrariamente o teste do primeiro trimestre da turma M-31 como o
teste de referncia a.
c) Escolhi itens similares entre cada um dos outros testes e o teste de referncia
(considerei similares os itens correspondentes aos mesmos conceitos).
d) Calculei as mdias e os desvios padro das dificuldades obtidas pela anlise
separada para cada teste. Como s havia trs itens comuns para cada par de
testes, o desvio padro foi calculado pela equao
3
) ( ) (
2 3 1 2
x x x x
s
+
= (onde
3 2 1
x x x ), que o limite superior para o desvio padro em uma amostra com n
= 3 (JOARDER e LATIF, 2006).
e) Tracei, para cada teste j, a reta que passa pelos pontos (Ma, Mj) e (Ma+Sa,
Mj+Sj). Sendo Ma a mdia das dificuldades dos itens comuns obtidas na anlise
do teste a (de referncia); Mj a mdia das dificuldades para os itens comuns
obtidas na anlise do teste j; Sa o desvio padro das dificuldades os itens
comuns na anlise do teste de referncia; e Sj o desvio padro das dificuldades
dos itens comuns na anlise do teste j. Segundo Linacre (2010), se a inclinao
dessa reta (dada por Sb/Sa) for prxima da unidade, os testes podem ser
equalizados.
f) Constru intervalos de confiana (95%) para as estimativas de Ma, Mj, Ma+Sa e
Mj + Sj, de acordo com TRIOLA (2008).
g) Constru, com a ferramenta desenho do Excel, uma reta de inclinao 1.
h) Verifiquei, visualmente, se essa reta poderia ser disposta de forma a cruzar os
intervalos de confiana criados para os pontos. Caso isso ocorra, no se pode
afirmar que a inclinao da reta construda no passo 1.e seja diferente de 1.
37
i) Em todos os casos, verifiquei que era possvel haver uma reta de inclinao 1 que
cortasse os intervalos de confiana construdos, indicando que no se poderia
afirmar que a inclinao da reta que passa pelos pontos (Ma,Mj) e (Ma+Sa,
Mj+Sj) fosse diferente da unidade. Portanto, os testes poderiam ser equalizados
ao teste de referncia.
2) A equalizao consiste em rodar a anlise Rasch de cada teste, no Winsteps, fixando:
(i) a mdia das dificuldades no valor do intercepto da reta com o eixo x (construda no
passo 1.e); (ii) a unidade da escala como sendo o inverso da inclinao dessa reta.
a) Utilizando os intervalos de confiana (ver passo 1.f) e a reta de inclinao 1 (ver
passo 1.g) verifiquei que, em nenhuma dos testes, era possvel afirmar que o
intercepto da reta com eixo das abscissas diferente de zero. Isso significa que
no se pode afirmar que eles no estivessem na mesma escala.
b) Como os valores dos interceptos (com o eixo x) no eram significativamente
diferentes de zero, optei por no utiliz-los para fixar as escalas, com receio de
que isso pudesse introduzir mais um artefato metodolgico, sem necessidade.
Essa verificao me deu segurana para simplesmente entrar com todos os testes de
uma s vez, em uma grande matriz, para a anlise (sem fixar mdias e escalas diferentes para
cada um).
No entanto, o Winsteps no capaz de avaliar uma matriz com padro de respostas
completamente determinstico, como a que foi criada, a partir dos conceitos trimestrais dos
sujeitos (ver matriz abaixo). O motivo que, nesse padro, sempre h pelo menos um item
com escore nulo ou mximo e/ou um sujeito com escore nulo mximo.
38
Tomemos a hipottica matriz de respostas abaixo como uma mera ilustrao.
Figura 1: tabela ilustrativa de um padro de respostas determinstico
Nela h um sujeito (SUJ4) com escore mximo e um item (ITEM1) com escore
mximo. O programa no consegue, inicialmente, estimar uma medida para competncia do
sujeito 4. Isso porque a estimativa inicial das medidas de competncia envolve o logaritmo
natural do escore total (r) do sujeito dividido pela diferena entre o mximo escore possvel
(M) e o escore total (r). Se r =0, teremos ln(0), se r = M, teremos ln(r/0). Algo semelhante
ocorre para a estimativa dos itens.
O algoritmo faz com que esse sujeito (ou item) com escore total seja eliminado
provisoriamente da matriz. Nesse exemplo, ao eliminar o sujeito 4, ficaremos com dois itens
sem possibilidade de estimativa (Item 1 com escore mximo, e Item 4 com escore nulo).
Assim, seguindo o algoritmo, o software descartar, provisoriamente, esses dois itens.
Sobraro apenas as linhas 1, 2 e 3 e as colunas 2 e 3 da matriz. Podemos perceber que nessa
nova matriz reduzida, ento, os sujeitos 1 e 3 devero ser excludos, pois seus escores so,
respectivamente, zero e mximo. O processo de excluso continuaria at que toda a matriz
fosse excluda, no importa o seu tamanho.
Por isso, para que o software pudesse fazer a anlise da nossa matriz (que
semelhante matriz ilustrativa apresentada ampliada) acrescentei um sujeito virtual, como
sugerido por Linacre (2010). Esse sujeito tem um padro de respostas escolhido de modo a
39
no deixar que nenhum item tenha escore total ou nulo (o mesmo processo foi feito quando
analisei os testes individualmente).
Alm disso, lembremos que a anlise dos parmetros da reta obtida com os itens
comuns (j descrita) no levou concluso de que os testes estavam equalizados. Ela levou
apenas concluso de que no se pode afirmar que no estivessem equalizados. Mas a
introduo do sujeito virtual pode fornecer uma garantia mais forte dessa equalizao. Isso
porque esse sujeito tem respostas em todos os itens de todos os testes, conectando as
partes da matriz que estariam separadas.
Entrei ento com a matriz, contendo todos os sujeitos e todos os testes, no software
Winsteps. Todas as clulas vazias da matriz correspondem a situaes em que o sujeito no
respondeu ao item (por exemplo, sujeitos da turma T1 e itens de um teste para a turma
T2) foram tratados como dados faltantes. Alm disso, cada sujeito foi codificado de trs
formas. Portanto, o software tratou cada sujeito como sendo trs diferentes sujeitos (um para
cada ocasio). Isso foi feito para que pudessem ser estimadas, para um mesmo sujeito,
competncias diferentes para ocasies diferentes.
A figura abaixo, meramente ilustrativa, tem o objetivo de dar uma idia de como foi
montada a matriz de respostas. Cada linha corresponde a um sujeito em uma ocasio e cada
coluna corresponde a um item. A letra R indica que h um escore (0 ou 1) para o item e o
espao vazio significa que no h um escore para o item..
40
Figura 2: estrutura de matriz usada para obter o R(POMP)
Aps todo esse processo, fiquei com uma medida de competncia em uma escala
intervalar, obtida por meio das notas trimestrais dos sujeitos. Essa medida, que chamei de
R(POMP), uma das variveis dependentes que ser usada na anlise longitudinal.
2.3.2.2. Varivel R(ITENS):
Essa varivel foi criada utilizando o modelo Rasch para analisar as respostas s provas
trimestrais.
41
Caractersticas das provas trimestrais
A Trimestral1 foi aplicada no final do primeiro trimestre e havia dois tipos de prova.
Cada um continha 96 itens, sendo que 68 dessem itens eram comuns s duas provas. Todo
contedo abordado pode ser considerado como contedos de Mecnica.
A Trimestral2 foi aplicada no final do segundo trimestre, abordando contedos de
mecnica e de eletricidade. Havia dois tipos de prova, ambos contendo os mesmos itens (em
ordem diferente). A Trimestral2 tinha itens comuns com a Trimestral1.
A Trimestral3 foi aplicada no final do terceiro trimestre, abordando contedos de
mecnica, eletricidade e eletromagnetismo. Havia quatro tipos de prova e a maioria dos itens
aparecia em apenas dois deles (ocorrendo vrias combinaes). Alm disso, essa prova
continha vrias questes comuns com a Trimestral1 e com a Trimestral2.
Analisando a qualidade dos itens
Primeiramente, analisei a matriz de respostas de cada prova separadamente, obtendo a
competncia dos sujeitos e as dificuldades dos itens. Com isso, obtive, para cada item, a curva
de probabilidade de acerto (prevista pelo modelo Rasch) em funo da competncia. Separei,
ento, os sujeitos em grupos de desempenho (definidos a partir de faixas de escore total na
prova) e calculei a mdia do escore percentual (escore observado dividido pelo mximo
escore possvel) de cada grupo em cada item. Calculei tambm a mdia das competncias
dos sujeitos de cada grupo.
Para cada item plotei, no mesmo grfico (ver exemplo abaixo), os pontos observados
(y = percentual observado de acertos do item para o grupo - que o escore mdio do grupo
no item; x = competncia mdia do grupo) e a curva de probabilidade de acerto do item em
funo da competncia. As barras de erro para o percentual de acertos observado (escore
mdio) de cada grupo foram calculadas usando o erro padro para a estimativa de uma
42
proporo (TRIOLA, 2008, p.259) multiplicada pelo fator 1,4 - como sugerido por Goldstein
(1995). As margens de erro para a curva de probabilidade de acerto do item (curvas
pontilhadas) so simplesmente as curvas de probabilidade de acerto (em funo da
competncia) calculadas usando-se os limites do intervalo de confiana para a estimativa da
dificuldade do item. Esse intervalo de confiana a soma (ou diferena) da dificuldade
estimada do item e do produto do erro padro (fornecido pelo software) da dificuldade do
item pelo fator 1,4.
Por meio de uma inspeo visual, verifiquei se, para cada grupo de desempenho, em
cada item, a barra de erro dos pontos observados cruzava os limites de estimativa da curva
de probabilidade (ver figura abaixo). Se isso ocorria para todos os grupos de desempenho,
considerei que o item estava funcionando bem. Ou seja, a probabilidade de acerto prevista
para dada competncia (curva) estava compatvel com a porcentagem mdia de acertos
observada para grupos com esse valor mdio de competncia (pontos), para todas as faixas de
competncia.
Figura 3: Exemplo de anlise de ajuste de um item
Exclu os itens que no estavam adequados e re-analisei a prova, obtendo novas
competncias, novas dificuldades e novos grupos de desempenho. Verifiquei novamente a
43
adequao dos itens, seguindo os mesmos passos. Exclu, mais uma vez, os que no estavam
bons. Todo esse processo foi feito para cada prova, separadamente, at que s restassem
bons itens. Portanto, aps esse processo, para cada prova, todos os itens estavam avaliando
a mesma competncia que a prova como um todo. Ou seja, havia um bom indcio de que as
provas estavam avaliando algo que podia ser considerado razoavelmente unidimensional.
Equalizando as escalas
Para esse tipo de estrutura de testes, a sugesto de equalizao feita por Linacre a
Equalizao de Itens Comuns. Guiado pelas orientaes de Linacre (2010), segui os
seguintes passos para verificar a possibilidade de equalizao:
a) Calculei as dificuldades dos itens, por meio de uma anlise Rasch (com o software
Winsteps) para cada prova separadamente.
b) Escolhi, arbitrariamente, a prova Trimestral3 como referncia (por ter contedo
mais abrangente).
c) Identifiquei os itens comuns entre cada um dos outras provas e a prova de referncia.
d) Calculei as mdias e os desvios padro das dificuldades obtidas pela anlise separada
para cada prova
e) Tracei, para cada prova j, a reta que passa pelos pontos (Ma, Mj) e (Ma+Sa, Mj+Sj),
onde Ma a mdia das dificuldades dos itens comuns obtidas na anlise da prova a
de referncia, Mj a mdia das dificuldades para os itens comuns obtidas na anlise
da prova j, Sa o desvio padro das dificuldades os itens comuns na anlise da
prova de referncia e Sj o desvio padro das dificuldades dos itens comuns na
anlise da prova j. Segundo Linacre (2010), se a inclinao dessa reta (dada por Sb/Sa)
for prxima da unidade, as provas podem ser equalizadas.
44
f) Constru intervalos de confiana (95%) para as estimativas de Ma, Mj, Ma+Sa e Mj +
Sj, de acordo com TRIOLA (2008).
g) Constru, com a ferramenta desenho do Excel, uma reta de inclinao 1.
h) Verifiquei, visualmente, se essa reta poderia ser disposta de forma a cruzar os
intervalos de confiana criados para os pontos. Caso isso ocorra, no se pode afirmar
que a inclinao da reta construda no passo 1.e seja diferente de 1.
i) Em todos os casos, verifiquei que era possvel haver uma reta de inclinao 1 que
cortasse os intervalos de confiana construdos, indicando que no se poderia afirmar
que a inclinao da reta que passa pelos pontos (Ma,Mj) e (Ma+Sa, Mj+Sj) fosse
diferente da unidade. Portanto, os testes poderiam ser equalizados ao teste de
referncia com o mtodo proposto por Linacre (2010).
Por esse mtodo, insere-se uma matriz completa, contendo as respostas de todas as
provas, no software, para a anlise. Os sujeitos so tratados separadamente, por ocasio (ver
figura abaixo) e os itens comuns a duas ou mais provas so dispostos na mesma coluna.
A ilustrao abaixo representa simplificadamente essa estrutura (nesse exemplo, h
apenas duas ocasies e os itens 1, 3 e 5 so comuns s duas):
Figura 4: estrutura da matriz usada para obter o R(ITENS)
45
Montei ento uma grande matriz (com estrutura semelhante da figura), contendo as
respostas de cada indivduo (em cada ocasio) aos itens a que foi submetido. Nessa matriz, as
linhas representavam um par sujeito-ocasio e as colunas representavam os itens. Antes de
entrar com a matriz no software, fiz o mesmo tipo de anlise de ajuste de itens relatado acima,
para excluir os itens que no tiveram o mesmo funcionamento para todas as ocasies. Exclu,
ainda, itens que no eram comuns aos dois tipos da Trimestral1, para que ficasse com uma
matriz menos esparsa (o que melhora as estimativas do software).
Aps isso, inseri a matriz no software Winsteps e obtive uma medida de competncia,
que chamei de R(ITENS), para cada sujeito em cada ocasio.
Estimando competncias para as turmas T1, T2 e T3
No entanto, como j mencionei, eu no tinha as respostas dos alunos das turmas T1,
T2 e T3 para a Trimestral1. Portanto, a anlise Rasch que descrevi no me forneceu medidas
para a competncia desses alunos na primeira ocasio. No entanto, eu tinha o escore total
desses alunos nessa prova. Para obter estimativas para essas medidas, adotei o seguinte
procedimento:
1) A partir do escore total e das dificuldades dos itens da Trimestral1 (obtidas a partir de
uma anlise Rasch somente dessa prova), usei o mtodo de iterao proposto por
MEAD (2008, p.28) para obter uma medida provisria de competncia para os
sujeitos.
2) Usei essa medida provisria para estimar um escore apenas nos itens da Trimestral1,
que foram usados na anlise da matriz completa. Chamei esse escore de escore
reduzido (neste passo, ainda utilizei as dificuldades obtidas na anlise da Trimestral1
feita separadamente).
46
3) Esse escore reduzido previsto foi arredondado para o inteiro mais prximo.
4) Obtive a medida de competncia (estimada pela anlise completa) para cada valor de
escore, para os sujeitos da primeira ocasio (das turmas T4, T5 e T6). Como esses
sujeitos da primeira ocasio responderam apenas aos itens da Trimestral1, esse escore
corresponde ao escore reduzido que foi definido como o escore nos itens da
Trimestral1 que entraram na anlise completa. Portanto, fiquei com a medida de
competncia para cada valor de escore.
5) A medida para dois sujeitos com mesmo o escore total e que responderam aos
mesmos itens devem ser iguais. Portanto, pude estimar medidas de competncia para
alunos das turmas T1, T2 e T3. Fiz isso usando o valor de seus escores reduzidos
(estimados nos passos a, b, c) e a relao entre o escore reduzido e a
competncia (obtida no passo d).
Dessa forma, fiquei com as medidas de competncia em fsica, R(ITENS), obtidas a
partir de provas com itens comuns, para todos os sujeitos e para todas as ocasies.
2.3.3. Outras variveis independentes (preditores)
As variveis independentes mencionadas abaixo foram criadas para tentar explicar a
variao existente nas variveis dependentes.
Desempenho prvio em fsica
Se eu tivesse que reduzir toda a psicologia educacional para apenas um princpio,
eu diria isto: o fator singular mais importante que influencia o aprendizado o que
o aprendiz j sabe (AUSUBEL, 1978, p.vi).
47
Essa frase do psiclogo David Ausubel ilustra bem a importncia que o conhecimento
prvio tem na aprendizagem. Por isso, procurei obter um indicador relacionado ao
conhecimento prvio.
Transformei as notas trimestrais de fsica da primeira e da segunda srie em POMPs
(percentuais do mximo valor possvel). Para cada sujeito, somei os POMPs obtidos e dividi
por seis (j que eram seis notas trimestrais). O valor obtido foi chamado de desempenho
prvio em fsica. Criei ento uma varivel categrica, com trs categorias, relacionada a esse
desempenho prvio.
DPF: classificado como baixo se o desempenho prvio em fsica menor que 0,70;
classificado como mdio se o desempenho prvio em fsica maior ou igual a 0,70 e
menor que 0,85; classificado como alto se o desempenho prvio em fsica maior que
0,85.
Esse no um indicador apenas do conhecimento prvio, mas da competncia em
fsica (de uma forma mais geral) com que cada estudante chega terceira srie, alm de
incluir outros fatores, relacionados maneira como as notas foram atribudas, em fsica, nas
sries anteriores.
Desempenho prvio em matemtica
Como a matemtica uma ferramenta fundamental para a fsica, o nvel de
competncia em matemtica um bom candidato a influenciar a aprendizagem de fsica. Por
isso, optei por incluir um indicador da competncia em matemtica com que os alunos
chegam terceira srie.
48
Transformei as notas trimestrais de matemtica da primeira e da segunda srie em
POMPs (percentuais do mximo valor possvel). Para cada sujeito, somei os POMPs obtidos e
dividi por seis (j que eram seis notas trimestrais). O valor obtido foi chamado de
desempenho prvio em matemtica. Criei ento uma varivel categrica, com trs
categorias, relacionada a esse desempenho prvio.
DPM: classificado como baixo se o desempenho prvio em matemtica menor que
0,70; classificado como mdio se o desempenho prvio em matemtica maior ou igual
a 0,70 e menor que 0,85; classificado como alto se o desempenho prvio em matemtica
maior que 0,85.
Assim como no caso da fsica, esse um indicador da competncia (nesse caso em
matemtica) em com que cada estudante chega terceira srie, mas inclui tambm outros
fatores relacionados maneira como as notas foram atribudas, em matemtica, nas sries
anteriores.
Gnero
Inclu uma varivel para o gnero porque vrias pesquisas j encontraram diferenas
no desempenho em Cincias entre meninos e meninas (MULLER et al, 2001; BYRNES e
MILLER, 2007; LAWRENZ et al, 2009, GRIGG et al, 2006) . Eis como foi criada a varivel
GNERO:
GNERO: assume o valor 0 para sujeitos do sexo masculino e 1 para sujeitos do sexo
feminino.
49
Escolaridade dos pais
Inclu a escolarizao dos pais como um possvel preditor, pois sua influncia na
aprendizagem de cincias j foi identificada em alguns estudos (CATSAMBIS, 1998,
JOHNSON, 2009). Alm disso, estudos apontam o nvel scio-econmico como preditor de
desempenho (WHITE, 1992; MA e WILKINS, 2002; SIRLIN, 2003; BYRNES e MILLER,
2007) e, muitas vezes, a escolarizao dos pais um dos critrios usados para definir o nvel
scio-econmico.
Escolarizao do pai:
A escolaridade do pai dos estudantes foi obtida por dados do QSEV, para 112
estudantes. O nvel de escolaridade do pai foi declarado pelo estudante ao responder ao
QSEV. Inicialmente, foram criadas quatro categorias: 0 Fundamental incompleto; 1-
Fundamental completo; 2- Mdio completo; 3-Superior completo. Mas, como havia muito
poucas pessoas nas categorias 0 e 1, juntei essas categorias categoria 2.
Fiquei ento com apenas duas categorias, que transformei em uma varivel
dicotmica:
E.Pai: assume o valor 1 se o aluno declarou que seu pai completou o Ensino Superior e
0 se ele declarou que seu pai no completou o Ensino Superior.
Escolaridade da me:
A escolaridade da me dos estudantes foi obtida por dados do QSEV, para 112
estudantes. O nvel de escolaridade da me foi declarado pelo estudante ao responder ao
QSEV. Inicialmente, foram criadas quatro categorias: 0 Fundamental incompleto; 1-
Fundamental completo; 2- Mdio completo; 3-Superior completo. Mas, como havia muito
poucas pessoas nas categorias 0 e 1, juntei essas categorias categoria 2.
50
Fiquei ento com apenas duas categorias, que transformamos em uma varivel
dicotmica:
E.Mae: assume o valor 1 se o aluno declarou que sua me completou o Ensino Superior e
0 se ele declarou que sua me no completou o Ensino Superior.
Renda Familiar
A incluso de uma varivel para a faixa de renda tambm se justifica pelo resultado de
pesquisas empricas (WHITE, 1992; MA e WILKINS, 2002; SIRLIN, 2003; BYRNES e
MILLER, 2007).
A renda familiar foi declarada no QSEV. O QSEV previa sete faixas de renda familiar:
de um a dois salrios mnimos, de dois a cinco salrios mnimos, de cinco a dez salrios
mnimos, de dez a quinze salrios mnimos, de quinze a vinte salrios mnimos, de vinte a
quarenta salrios mnimos, mais de quarenta salrios mnimos.
No entanto, na amostra utilizada, algumas dessas categorias estavam vazias (ou quase
vazias) e optou-se por colapsar muitas delas. Sobraram ento, apenas duas categorias que
transformei em uma varivel dicotmica:
RENDA: assume o valor 0 se o aluno declarou renda familiar inferior a cinco salrios
mnimos e 1 se declarou renda superior a 5 salrios mnimos.
Professor
Em 2008, trs professores lecionavam a disciplina fsica para as turmas da terceira
srie da escola pesquisada. Um deles, o professor 1, era um professor efetivo da
51
universidade, j experiente. Os outros dois, professor2 e professor3, eram jovens
professores substitutos, com pouca experincia docente, sendo um deles este pesquisador.
Trs categorias relacionadas aos professores foram criadas:
PROF1: assume o valor 1 se o professor de fsica do sujeito era o professor 1, e 0
caso contrrio.
PROF2: assume o valor 1 se o professor de fsica do sujeito era o professor 2, e 0
caso contrrio.
PROF3: assume o valor 1 se o professor de fsica do sujeito era o professor 3, e 0
caso contrrio.
Turma
plausvel pensar que o efeito dos pares pode influenciar na aprendizagem escolar.
Na verdade, h resultado de pesquisas que mostram esta influencia. Alm disso, as turmas
eram dividas de acordo com o curso tcnico feito pelos alunos, podendo, portanto, refletir
certo vocacionamento. A relao entre vocacionamento e aprendizagem de fsica j foi
identificada em pesquisas (COELHO e BORGES, 2010).
Como j foi descrito, havia seis turmas de terceira srie na escola, em 2008. Trs
dessas turmas, T1, T4 e T5 eram compostas de alunos que ingressaram na escola por
meio de concurso e faziam cursos de Eletrnica ou Instrumentao. A turma T3 era
composta de alunos que ingressaram na escola por de concurso e faziam o curso de Patologia
Clnica. A turma T6 era composta de alunos que ingressaram na escola por meio de
concurso e faziam o curso tcnico de Qumica. A turma T2 era composta por alunos que
ingressaram automaticamente na escola, aps a concluso do Ensino Fundamental em uma
escola pertencente mesma Universidade. Esses alunos, em sua maioria, no faziam nenhum
52
curso tcnico (com a exceo de poucos que entraram em vagas que surgiram, por desistncia
de outros).
Para identificar a turma qual cada sujeito pertencia, foram criadas seis variveis
dicotmicas:
T1: assume o valor 1 se o sujeito pertencia turma T1 e 0, em outros casos.
T2: assume o valor 1 se o sujeito pertencia turma T2 e 0, em outros casos.
T3: assume o valor 1 se o sujeito pertencia turma T3 e 0, em outros casos.
T4: assume o valor 1 se o sujeito pertencia turma T4 e 0, em outros casos.
T5: assume o valor 1 se o sujeito pertencia turma T5 e 0, em outros casos.
T6: assume o valor 1 se o sujeito pertencia turma T6 e 0, em outros casos.
2.4. ANLISE DOS DADOS
A anlise dos dados ser dividida em quatro etapas: a primeira consistir em uma
anlise exploratria; a segunda, na anlise multinvel a partir das notas trimestrais; a terceira
ser a anlise multinvel a partir do desempenho nas provas fechadas; a quarta ser a
comparao dos resultados obtidos nas duas anlises multinvel.
2.4.1. Anlise exploratria
Na anlise exploratria, sero examinadas as relaes entre as variveis R(POMP) e
R(ITENS). Usando recursos grficos, analisarei como as mdias das medidas de competncia
53
(R(POMP) e R(ITENS)) variam de ocasio para ocasio. Alm disso, verificarei se h
correlao entre elas.
2.4.2. Anlise multinvel utilizando as notas trimestrais
Utilizarei, ento, um modelo de regresso linear multinvel para analisar o efeito que
cada uma das variveis independentes criadas tem na competncia medida pela varivel
R(POMP).
Ser usada uma regresso linear para o modelo de nvel 1, porque h apenas trs
pontos (trs notas trimestrais) para cada indivduo. A construo dos modelos seguir as
diretrizes apresentadas no segundo captulo. Aps chegar ao modelo que melhor explica os
dados, apresentarei, usando recursos grficos, os efeitos encontrados para cada preditor.
2.4.3. Anlise multinvel utilizando as repostas nas provas fechadas.
Em seguida, utilizarei um modelo de regresso linear multinvel para analisar o efeito
que cada uma das variveis independentes criadas tem na competncia medida pela varivel
R(ITENS).
Mais uma vez, a nica opo usar uma regresso linear como modelo de nvel 1, pois
h apenas trs pontos (trs provas) para cada indivduo.
54
2.4.4. Comparao entre as duas anlises
Aps fazer as duas anlises multinvel e apresentar os resultados, farei uma
comparao entre os resultados obtidos a partir das duas anlises. Discutindo a diferena entre
as competncias medidas por cada uma delas, tentarei obter novas concluses.
55
CAPTULO 3: RESULTADOS
Neste captulo, apresentarei as anlises da evoluo das competncias medidas pelas
variveis R(POMP) e R(ITENS), destacando e discutindo os resultados obtidos em cada uma.
Em seguida, farei uma comparao entre os resultados das duas anlises.
3.1. ANLISE EXPLORATRIA
3.1.1. Correlao entre R(POMP) e R(ITENS)
Antes de fazer a anlise longitudinal por meio do modelo multinvel, explorei os
nossos dados para ganhar intuio sobre o comportamento de nossas variveis dependentes,
bem como de sua relao com algumas outras variveis.
O primeiro ponto explorado foi a relao entre as nossas duas medidas de
competncia: as variveis dependentes, R(POMP) e R(ITENS), considerando o conjunto das
trs ocasies. O diagrama de disperso abaixo nos d uma idia dessa relao.
56
Grfico 2: Disperso - Variveis R(POMP) e R(ITENS)
Pode-se observar que o coeficiente de correlao 3313 , 0 = R = 0,5756.
A estatstica para testar a hiptese de que h correlao linear (conta a hiptese nula de
que no h)
2
1
2
=
n
R
R
t , onde n o nmero de pares da amostra.
Substituindo os valores (n = 3 x 145 = 435), temos t = 14,65, o que indica que h
alguma correlao linear (p<<0.01).
Essa concluso j era esperada, pois a varivel R(ITENS) obtida a partir da provas
trimestrais e a R(POMP) obtida a partir das notas trimestrais. Como o desempenho nas
provas trimestrais contribui em grande parte para a nota do trimestre, esperado que haja
alguma relao entre as duas variveis.
Apesar de o teste levar a rejeitar a hiptese nula (de que no h correlao linear), o
coeficiente de correlao no muito alto. Apenas essa breve explorao (apesar de til para
gerar intimidade com os dados) no me permite ir alm dessas simples constataes.
57
3.1.2. Anlise grfica das trajetrias mdias observadas
Antes de iniciar a anlise multinvel, fiz uma ltima explorao dos dados. Analisei,
como antes, a evoluo mdia das variveis, mas, desta vez, separei os alunos por gnero e
por turma.
Aps explorar brevemente a relao entre as duas variveis dependentes, resolvi
explorar a evoluo mdia dessas variveis no tempo. Os grficos abaixo mostram a mdia de
cada uma dessas variveis, entre todos os alunos, em funo do tempo (em trimestres).
Grfico 3: R(POMP) mdio nas trs ocasies
Grfico 4: R(ITENS) mdio nas trs ocasies
58
A partir da inspeo desse dois grficos, pode-se observar que, em ambos, h um
decrscimo mdio do primeiro para o segundo trimestre e h um crescimento mdio do
segundo para o terceiro trimestre. Mas h tambm uma diferena: no grfico do R(POMP) o
ponto final superior ao inicial, mas no grfico do R(ITENS) o ponto final inferior ao
inicial).
Apenas as semelhanas e diferenas observadas no me permitem fazer nenhuma
interpretao mais ousada, mas apenas reforam a idia de que as duas variveis so medidas
de construtos ligeiramente diferentes.
Evoluo mdia por gnero
Os grficos abaixo representam a evoluo mdia das variveis R(POMP) e
R(ITENS), separadas por gnero.
Grfico 5: R(POMP) mdio por gnero
59
Grfico 6: R(ITENS) mdio por gnero
No grfico do R(POMP), observa-se que no primeiro trimestre a mdia do R(POMP)
praticamente a mesma para meninos e meninas (a dos meninos ligeiramente mais alta).
Observa-se tambm que, com o passar do tempo, a mdia das meninas aumenta, tronando-se
maior que a dos meninos j no segundo trimestre e aumentando a diferena no terceiro.
J no grfico R(ITENS), ambos os grupos seguem trajetrias similares, mas com a
competncia dos meninos sendo sempre superior das meninas.
Essa simples explorao sugere que algo substancialmente diferente deve haver entre
as duas variveis. Uma primeira reflexo me faz pensar que, como o R(POMP) obtido a
partir das notas trimestrais, ele uma medida de uma competncia mais ampla, envolvendo
no s aspectos cognitivos, mas tambm esforo dirio, assiduidade, cumprimento de regras e
comportamento. J o R(ITENS) foi obtido a partir do desempenho em provas com itens
dicotmicos e presumo que a competncia medida por essa varivel envolva mais (mas no
somente) aspectos cognitivos (conhecimentos e habilidades), que auxiliam na resoluo de
problemas de fsica.
60
Se essa interpretao est correta, significa que, na amostra, as meninas desenvolvem
mais do que os meninos uma competncia acadmica ampla, mas a evoluo de uma
competncia em fsica mais cognitiva ocorre de forma similar entre os grupos, mas com os
meninos em um nvel ligeiramente acima.
Evoluo mdia por turma.
Os grficos abaixo representam a evoluo mdia das variveis dependentes R(POMP)
e R(ITENS) de cada turma.
Grfico 7: R(POMP) mdio por turma
61
Grfico 8: R(ITENS) mdio por turma
Nos grficos observa-se que: (i) para a varivel R(POMP), as turmas T3 e T1
apresentam um grande crescimento; (ii) para a varivel R(POMP), a turma T5 apresenta um
grande decrescimento; (iii) para ambas as variveis, a turma T2 tem uma trajetria que
permanece abaixo da outras durante todo o processo.
interessante notar que a turma T3, que apresente um crescimento acentuado e
constante para o R(POMP), uma turma formada por 22 meninas e apenas 5 meninos. Esse
crescimento observado pode ter uma explicao comum ao crescimento observado para o
R(POMP) do grupo feminino como um todo (esse crescimento da turma pode ser explicado
pelo fato de a turma ser formada por meninas ou o crescimento das meninas pode ser
explicado pelo crescimento dessa turma?).
3.2. ANLISE LONGITUDINAL DA VARIVEL R(POMP)
Essa anlise longitudinal pretendeu investigar o efeito dos preditores criados na
varivel R(POMP). Utilizei os dados de 145 alunos (exclumos da anlise dois sujeitos -
62
suj176 e suj240 para usar os mesmos sujeitos usados na anlise do R(ITENS)) e tratei os
dados utilizando o software MLwiN.
O primeiro modelo que constru contm apenas um parmetro para o intercepto que
varia randomicamente entre os sujeitos (Modelo A):
ij j j i
e u B POMP R + + =
0 0
) (
Nesse modelo, cada sujeito tem uma trajetria verdadeira plana, que difere da
trajetria mdia, R(POMP) = B
0
, por um fator u
0j
. Os valores estimados para os parmetros
desse modelo encontram-se na tabela 1. Pode-se notar que a varincia do coeficiente u
0j
vale
4,691 e que a varincia do coeficiente e
ij
4,498. Isso indica que a varincia da mdia do
R(POMP) dos sujeitos em relao mdia geral muito prxima da varincia do R(POMP)
em diferentes ocasies (do mesmo sujeito) em relao mdia do sujeito. Em outras palavras:
aproximadamente metade da varincia ocorre entre os sujeitos (interindividual) e a outra
metade ocorre dentro dos sujeitos (intraindividual).
Em seguida, acrescentei um termo para a varivel temporal no modelo, obtendo o
modelo B:
ij ij j j j i
e TEMPO u B u B POMP R + + + + = ] [ ] [ ) (
1 1 0 0
Nesse modelo, cada pessoa tem uma trajetria verdadeira que difere da trajetria
mdia. A diferena no intercepto (competncia inicial) dada pelo coeficiente u
0j
e a
diferena na inclinao dada pelo coeficiente u
1j
. Lembremos que o modelo assume que os
63
coeficientes u
0j
e u
1j
so ambos distribudos normalmente com mdia zero, varincias
2
0
e
2
1
(respectivamente) e covarincia
01
.
Acrescentar a varivel TEMPO ao modelo fez com que a estatstica desvincia casse
de 2094,154 para 2084,742. Como o modelo B tem apenas um parmetro a mais do que o
modelo A, o teste qui-quadrado para a diferena das desvincias indica que acrescentar a
varivel TEMPO proporcionou um ajuste significativamente melhor do modelo. Por isso,
mantive essa varivel no modelo.
Esse modelo, contendo apenas um parmetro para o intercepto e outro para a
inclinao, possibilita a visualizao da evoluo mdia da competncia, medida pela varivel
R(POMP), no tempo. Essa evoluo mdia est representada no grfico abaixo.
Grfico 9: Evoluo mdia prevista para a competncia em fsica - R(POMP)
Aps construir esse dois modelos, A e B, testei a incluso, uma a uma, de todas as
variveis independentes criadas. Para cada nova varivel introduzida, era avaliada a mudana
na desvincia e na varincia no explicada (parmetros randmicos). Quando a nova varivel
no contribua para melhorar o ajuste do modelo, ela era descartada. Mas se ela contribua
para melhorar o ajuste, o novo modelo era armazenado. A tabela 1 traz um resumo de todos os
64
modelos que foram armazenados (ou seja, os que se ajustavam melhor que o anterior). O
ltimo deles, o modelo G, foi o que melhor se ajustou (melhor explicou a varincia observada
dos dados):
ij ij j ij j j j
j j ij j j ij
e TEMPO T B TEMPO T B T B Pai E B
DPMalto B DPMmdio B TEMPO u B u B POMP R
+ + + +
+ + + + + + =
5 3 5 .
] [ ] [ ) (
9 8 7 6
5 4 1 1 0 0
Tabela 1: Modelos construdos para a varivel R(POMP)
Os grficos abaixo ilustram o efeito na evoluo da competncia, previsto pelo modelo
para cada uma das variveis, depois de controlados os efeitos para as outras variveis.
65
Grfico 10: Evoluo mdia da competncia - varivel R(POMP) - por grupos de desempenho prvio em
matemtica - com todas as outras variveis assumindo valor zero
Grfico 11: Evoluo mdia da competncia - varivel R(POMP) - por grupos de escolarizao do pai - com
todas as outras variveis assumindo valor zero
66
Grfico 12: Evoluo mdia da competncia - varivel R(POMP) por turma - todas as outras variveis
assumindo valor zero
A partir das estimativas para os coeficientes do modelo ajustado (na tabela 1) e dos
grficos apresentados, pode-se observar que:
i- As trajetrias verdadeiras individuais diferem entre si, tanto no intercepto (
u0
2
>0),
quanto na inclinao (
u1
2
>0).
ii- A trajetria mdia da competncia apresenta um crescimento durante o ano.
iii- O grupo de desempenho prvio em matemtica o fator que mais influencia na
trajetria da competncia na terceira srie, sendo a trajetria mdia mais alta para o
grupo de alunos com DPM alto, e a mais baixa para o grupo de alunos com DPM
baixo (mas a inclinao a mesma).
iv- A trajetria mdia da competncia no difere entre os grupos de desempenho prvio de
fsica (nem no intercepto, nem na inclinao).
v- A trajetria mdia da competncia prevista para o grupo com EP=1 (pai concluiu o
Ensino Superior) mais alta, mas tem a mesma inclinao que a trajetria mdia
prevista para o grupo com EP=0 (pai no concluiu o Ensino Superior).
67
vi- Aps controlar o efeito de todas as variveis independentes criadas, apenas algumas
turmas ainda apresentam diferenas nas suas trajetrias mdias previstas para a
competncia. A turma T3 tem um crescimento maior que as outras. A turma T5
comea com um alto valor de competncia mdia, mas tem um grande decaimento.
vii- A renda familiar, a escolarizao da me e o professor no apresentaram efeitos
significativos, controlados os efeitos das outras variveis.
O crescimento da competncia durante o ano algo esperado, j que se trata de um
processo de aprendizagem. No entanto, deve-se lembrar que a competncia medida pela
varivel R(POMP) um composto de componentes cognitivos e fatores relacionados a
esforo, engajamento, entre outras coisas, j que a varivel obtida a partir da nota trimestral.
Portanto, no se pode ser muito assertivo ao afirmar que as habilidades e conhecimentos no
domnio da fsica esto aumentando.
A observao de que o desempenho prvio em matemtica tem um grande efeito sobre
a trajetria da competncia pode se dever s caractersticas do curso de fsica na terceira srie.
O material didtico impresso utilizado, de autoria do professor efetivo e coordenador da srie,
e as atividades propostas, exigiam conhecimento de matemtica, mas no faziam qualquer
reviso nem ensinavam os conhecimentos de matemtica necessrios, que eram usados como
se j fossem bem conhecidos.
A no deteco de um efeito significativo para o desempenho prvio em fsica (aps
controlar o efeito do desempenho prvio em matemtica) parece indicar que, alm das
habilidades e conhecimentos que a fsica tem em comum com a matemtica, no h uma
contribuio adicional da competncia em fsica nas sries anteriores na trajetria da terceira
srie. Isso pode se dever diferena de tratamento da fsica na terceira srie em relao s
sries anteriores.
68
J o efeito encontrado para a escolarizao do pai (ou da me) poderia ser, de certa
forma, esperado. Esse efeito , de fato, coerente com resultados de outras pesquisas
(CATSAMBIS, 1998; JOHNSON, 2009). Isso pode refletir uma suposta expectativa que os
pais criam (e que o aluno acaba absorvendo) sobre a trajetria acadmica dos estudantes.
Embora no seja bvia, parece ser razovel a hiptese de que, de uma forma geral, pais com
Ensino Superior completo valorizem, em mdia, mais a vida acadmica e por isso se tornem
mais exigentes em relao ao desempenho de seus filhos na escola.
No sou capaz de explicar as diferenas nas trajetrias encontradas para as turmas T3
e T5. Deve-se notar, no entanto, que essas diferenas aparecem mesmo aps controlarmos os
efeitos de todas as outras variveis e que, dessa forma, possivelmente so devidas a
caractersticas prprias das turmas. Nesse caso, posso apenas destacar algumas caractersticas
especficas dessas turmas. No caso da turma T3, lembremos que nica turma com uma
quantidade de meninas (22) muito maior que de meninos (5). Isso, porm, no deve ser uma
explicao, pois, se fosse, haveria um efeito para a varivel GNERO. Alm disso, essa a
nica turma cujos alunos fazem o curso tcnico de Patologia Clnica. Quanto turma T5,
no consegui destacar nenhuma particularidade em relao s outras.
3.3. ANLISE MULTINVEL DA VARIVEL R(ITENS)
Essa anlise longitudinal pretendeu investigar evoluo da competncia, medida pela
varivel R(ITENS), bem como o efeito dos preditores criados nessa evoluo. Foram
utilizados os dados de 145 alunos (exclu da anlise dois sujeitos - suj176 e suj240 - que no
haviam feito todas as trs provas) e tratei os dados utilizando o software MLwiN.
69
O primeiro modelo que constru para a varivel R(ITENS) um modelo contendo
apenas um parmetro para o intercepto que varia randomicamente entre os sujeitos (Modelo
A):
ij j j i
e u B ITENS R + + =
0 0
) (
Os valores estimados para os parmetros desse modelo encontram-se na tabela 2. Dela,
pode-se perceber que o valor mdio da competncia, medida pela varivel R(ITENS), para
todos os sujeitos e ocasies 1,237(0,069). A varincia entre as mdias dos sujeitos
0,522(0,082) e a varincia dentro dos sujeitos (varincia das medidas em relao s mdias
dos sujeitos) 0,507(0,042). Isso significa que a varincia intraindividual e a varincia
interindividual correspondem a aproximadamente metade da varincia total.
Em seguida, acrescentei a varivel temporal no modelo, obtendo o modelo B:
ij j ij j i
e u TEMPO B B ITENS R + + + =
0 1 0
) (
Diferentemente do modelo B para a varivel R(POMP), esse modelo no tem um
coeficiente randmico para a varivel TEMPO (um modelo que inclui esse o coeficiente
randmico no se ajustou bem). Isso significa que o modelo prev trajetrias verdadeiras
individuais, todas com a mesma inclinao, B
1
(embora com interceptos diferentes).
Esse modelo, contendo apenas um parmetro para o intercepto e outro para a
inclinao, possibilita a visualizao da evoluo mdia da competncia, medida varivel
R(POMP), no tempo. Essa evoluo mdia est representada no grfico abaixo.
70
Grfico 13: Evoluo mdia da competncia em fsica - varivel R(ITENS)
Seguindo um processo semelhante ao descrito para a varivel R(POMP), fui
construindo modelos, acrescentando novas variveis. Um resumo dessa histria (contendo
apenas os modelos que melhoraram o ajuste) pode ser encontrado na tabela 2. O modelo que
melhor se ajustou aos dados foi o modelo G:
ij ij j j
j j j j
j ij j ij
e TEMPO PROF B Mae E B
GNERO B DPMalto B DPMmdio B DPFalto B
DPFmdio B TEMPO B u B ITENS R
+ +
+ + + +
+ + + + =
1 .
] [ ) (
8 7
6 5 4 3
2 1 0 0
71
Tabela 2: Modelos construdos para a varivel R(ITENS)
Os grficos abaixo ilustram o efeito na evoluo da competncia em fsica, previsto
pelo modelo para cada uma das variveis, depois de controlados os efeitos para as outras
variveis.
Grfico 14: Evoluo mdia da competncia - varivel R(ITENS) - por grupo de desempenho prvio
em fsica - todas as outras variveis assumindo valor zero
72
Grfico 15: Evoluo mdia da competncia - varivel R(ITENS) - por grupo de desempenho prvio
em matemtica - todas as outras variveis assumindo valor zero
Grfico 16: Evoluo mdia da competncia - varivel R(ITENS) - por gnero - todas as outras
variveis assumindo valor zero
73
Grfico 17: Evoluo mdia da competncia - varivel R(ITENS) - por grupos de escolarizao da me
- todas as outras variveis assumindo valor zero
Grfico 18: Evoluo mdia da competncia - varivel R(ITENS) - por professor - todas as outras
variveis assumindo valor zero
A partir das estimativas apresentadas para esse modelo na tabela 2 e dos grficos
apresentados, pode-se observar que:
i- Os interceptos das trajetrias verdadeiras individuais tm uma varincia
significativamente diferente de zero, ou seja, os alunos no comeam a terceira srie
com o mesmo nvel de competncia.
74
ii- No h varincia para o parmetro do intercepto, ou seja, o modelo prev a mesma
inclinao para todos os alunos que pertenam a um mesmo grupo.
iii- A trajetria verdadeira mdia prevista ligeiramente (mas significativamente)
decrescente.
iv- Os diferentes grupos de desempenho prvio em fsica diferem em seus interceptos
mdios (mas no na inclinao), mas a nica dessas diferenas que estatisticamente
significativa a do intercepto do grupo DPF-alto em ralao ao grupo DPF-
mdio.
v- O desempenho prvio de matemtica a varivel que exerce o maior efeito no
intercepto. O grupo DPM-alto o que tem o maior intercepto mdio previsto, seguido
pelo grupo DPM-mdio.
vi- O intercepto mdio (competncia no tempo zero) previsto maior para os meninos
que para as meninas, mas a inclinao (variao da competncia com o tempo) no
diferente.
vii- A mdia do intercepto para os alunos cuja me completou o Ensino Superior maior
que a mdia para os demais alunos (mas o mesmo no ocorre para a inclinao).
viii- As variveis relativas renda familiar, professor e turma no tm efeito nem no
intercepto, nem na inclinao.
A observao de que o desempenho prvio em matemtica tem um efeito muito maior
que o desempenho prvio de fsica no intercepto (que o valor da competncia no incio da
terceira srie) pode ter uma explicao semelhante ao caso da varivel R(POMP). Ou seja,
pode ser devida forte exigncia de conhecimentos e habilidades de matemtica nas provas,
sem que seja dado suporte para esses conhecimentos durante a terceira srie.
75
O efeito do desempenho prvio em fsica deve ser visto com cuidado, j que nenhum
dos coeficientes estatisticamente significativo.
A observao de que os meninos tm uma competncia mdia inicial maior do que as
meninas e que essa diferena se mantm durante o curso condizente com resultados
relatados na literatura para a diferena de desempenho em fsica (MULLER et al, 2001;
BYRNES e MILLER, 2007; LAWRENZ et al, 2009, GRIGG et al, 2006), mas no sou capaz
de explic-los.
Embora tenha sido encontrado um efeito do professor 1 na inclinao, uma reflexo
mais aprofundada me aconselha certa cautela ao interpretar esse efeito. Isso porque a varivel
professor no tem a estabilidade que pode parecer, primeira vista. Um professor pode ter um
papel diferente para cada turma. Dizer que o professor 1 tem um efeito positivo na trajetria
perigoso porque no se pode afirmar que esse efeito ocorreria se ele lecionasse para outra
turma. Talvez s faa sentido falar do efeito de uma combinao professor-turma, mas no
sobre um efeito de um professor, como se esse efeito fosse transfervel.
Um ltimo resultado encontrado ausncia de um efeito turma. Esse , de certa
forma, um resultado inesperado, pois as turmas so definidas a partir do curso tcnico
escolhido pelos alunos. Dessa forma, elas devem refletir certo vocacionamento e pesquisas
anteriores (COELHO e BORGES, 2010) indicam que o vocacionamento influencia no
aprendizado de fsica.
Sem dvida, a observao mais difcil de explicar a de que a competncia medida
pela varivel R(ITENS) cai (pouco, mas significativamente) durante o curso. O que parece
que os alunos saem da terceira srie com uma competncia ligeiramente menor que entraram.
Pode ser tentador pensar que isso ocorreu por causa de um decrscimo de engajamento
durante o curso, mas essa hiptese no resiste observao de que a varivel R(POMP), que
tem uma componente muito maior de engajamento, aumenta durante o ano. Essa observao,
76
to relevante e difcil de entender, pode ter sua explicao em certa inadequao do desenho
metodolgico da pesquisa. Dedicarei uma seo do captulo Discusses e concluses
apenas discusso dessa questo.
3.4. COMPARAO ENTRE AS DUAS ANLISES.
A ltima parte da anlise consiste na comparao das duas anlises multinvel (com o
R(POMP) e com o R(ITENS). Pode-se verificar que h algumas semelhanas, mas h tambm
diferenas fundamentais.
A primeira semelhana a grande influncia do desempenho prvio em matemtica no
intercepto das trajetrias (mas no na inclinao). O grupo de alunos com desempenho prvio
em matemtica alto tem uma trajetria mdia superior ao grupo com desempenho prvio em
matemtica mdio e esse, por sua vez, tem uma trajetria mdia superior ao grupo com
desempenho prvio em matemtica baixo.
Outra semelhana o fato do desempenho prvio em fsica no influenciar (caso do
R(ITENS) ou quase no influenciar (caso do R(POMP)) a trajetria da competncia em fsica
na terceira srie.
A existncia dessas duas semelhanas corrobora com a explicao para a deteco de
um efeito do desempenho prvio em matemtica ser muito maior que o de fsica: a fsica na
terceira srie exige mais conhecimentos de matemtica que nas sries anteriores, e esse
conhecimento tratado como supostamente sabido.
H ainda outra semelhana: a renda familiar no influencia nenhuma das trajetrias.
Vamos agora s diferenas entre os resultados das duas anlises.
77
A primeira (e talvez mais fundamental) diferena que a trajetria mdia prevista para
a varivel R(POMP), apresenta um crescimento durante o ano, enquanto a varivel R(ITENS)
apresenta um decaimento. Podemos tentar entender essa diferena pensando em quais pontos
as competncias medidas pelas variveis diferem entre si. Ora, a varivel R(ITENS) foi obtida
a partir de respostas a itens dicotmicos, enquanto a varivel R(POMP) foi obtida a partir de
notas trimestrais. Essas notas trimestrais eram distribudas em diversas atividades (j
mencionadas). Por isso, a competncia medida pela varivel R(POMP) envolve, alm de
habilidades e conhecimentos cognitivos (que so as principais componentes do R(ITENS)),
fortes componentes de esforo, engajamento, freqncia e participao nas aulas. Ento
plausvel pensar que, se a varivel R(POMP) aumenta e R(ITENS) diminui, esses outros
aspectos mencionados (esforo, engajamento, etc.) o que est contribuindo para o aumento
da varivel R(POMP). Ou seja, os alunos esto, em mdia, aumentando seu engajamento,
esforo e participao nas aulas.
Outra diferena importante o efeito da varivel GNERO. Os meninos apresentam
maior competncia que as meninas quando a anlise feita como o R(ITENS), mas no h
diferena de competncia se a anlise feita com o R(POMP). Mais uma vez, tentarei
explicar essa diferena a partir das diferenas das prprias variveis dependentes. Como j
mencionei, a varivel R(ITENS) est mais relacionada com aspectos cognitivos, enquanto o
R(POMP) envolve componentes de esforo e engajamento. Ento plausvel pensar que as
meninas, em mdia, estiveram mais engajadas e se esforaram mais que os meninos. Isso
acabou compensando a menor competncia cognitiva (detectada no R(ITENS)) e fez com que
no houvesse diferena de gnero no R(POMP).
Uma terceira diferena que, para a varivel R(ITENS), no foi detectada diferena
entre as trajetrias mdias das turmas, enquanto que para o R(POMP) houve diferena. Mais
78
uma vez, essa diferena deve estar ocorrendo nas componentes de engajamento e esforo que
compem o R(POMP).
Outra diferena aparente diz respeito escolarizao dos pais. Na anlise feita com a
varivel R(POMP) foi encontrado um efeito para a escolarizao do pai, enquanto que na
varivel R(ITENS) o efeito encontrado foi para a escolarizao da me. Isto sugere certo
cuidado ao interpretar tais diferenas. Na verdade, quando o efeito da escolarizao do pai
no controlado, a escolarizao da me apresenta efeito sobre o R(POMP). Da mesma
forma, quando o efeito da escolarizao da me no controlado, a escolarizao do pai tem
efeito sobre o R(ITENS). A questo que, na anlise do R(POMP), o efeito da escolarizao
do pai maior que o da escolarizao da me e, somente aps controlar o efeito da
escolarizao do pai, a da me deixa de influenciar. Isso pode ser explicado pelo fato de mais
de 70% dos alunos terem os dois pais no mesmo grupo de escolarizao (E.Pai=1 e E.Mae=1
ou E.Pai=0 e E.Mae=0). Isso indica que as duas variveis esto correlacionadas e seus efeitos
misturados. O que pode ter determinado qual das duas teve maior influncia em cada varivel
dependente pode no ter muita importncia. Ento, o que seria, em princpio, uma diferena,
pode ser visto como uma semelhana: em ambas as variveis, alunos cujos pais (pai, me, ou
ambos) concluram Ensino Superior tm trajetria mdia superior trajetria mdia dos
outros alunos. Esse tambm um resultado coerente com a literatura (CATSAMBIS, 1998;
JOHNSON, 2009).
No considero relevante o aparecimento da varivel Prof1 na anlise do R(ITENS),
pelos motivos j discutidos.
79
CAPTULO 4: DISCUSSES E CONCLUSES
4.1. DECAIMENTO DA VARIVEL R(ITENS)
Sem dvida, o ponto mais desafiador desta pesquisa entender e explicar o
decaimento da competncia detectado na anlise da varivel R(ITENS). Para tentar entender
esse decaimento, vou analisar algumas caractersticas do desenho metodolgico da pesquisa.
Primeiramente, lembremos que a varivel R(ITENS) foi obtida a partir das respostas
aos itens das provas trimestrais. Como o contedo cobrado nas trimestrais era acumulativo, a
amplitude do domnio que estava sendo avaliado foi aumentando. Isso pode ter criado um
efeito de multidimensionalidade na medida. Ou seja, pode ser que o que foi medido em cada
ocasio no seja exatamente a mesma coisa.
Para investigar se isso pode estar de fato ocorrendo, criei outra varivel dependente, de
forma semelhante que criei a varivel R(ITENS), mas usando apenas questes do contedo
de mecnica (comum s trs provas). Chamei essa varivel de R(MECANICA). Por usar
apenas questes do mesmo assunto nas trs ocasies, o R(MECANICA) no deve apresentar
o efeito do aumento de abrangncia e complexidade que pode ser o causador do decaimento
da varivel R(ITENS). De fato, em mdia, essa varivel no apresentou decaimento, mas
crescimento, durante o curso, como indica o grfico abaixo:
80
Grfico 19: Evoluo mdia da varivel R(MECANICA)
Nesse caso, a suposio de que se est medindo a mesma coisa nas trs ocasies
menos problemtica. No entanto, esse R(MECANICA) representa a competncia em
mecnica, no a competncia em fsica, como um todo.
Para obter uma competncia em fsica, como um todo, deveriam ser usados itens de
todos os campos da fsica, mas sem que houvesse um aumento da abrangncia com o tempo.
Mas no tinha dados para isso, j que cada prova cobria apenas o contedo estudado at o
momento de sua aplicao.
Tambm no posso supor que a competncia em fsica evolua da mesma forma que a
competncia em mecnica, pois cada subdomnio pode evoluir de uma forma diferente, de
acordo com o que est sendo trabalhado em sala de aula. No presente caso, penso que a
competncia em fsica deveria aumentar mais que a competncia em mecnica, pelo
raciocnio exposto abaixo:
Suponhamos a seguinte situao hipottica:
Um grupo de alunos submetido a dois testes: um teste de mecnica e um teste de
circuitos eltricos. Aps serem submetidos a esses testes, os alunos participam de um curso
de circuitos eltricos. No final do curso, os alunos so novamente submetidos a dois testes,
81
um de mecnica e outro de circuitos eltricos (ambos possveis de serem equalizados em
relao aos primeiros testes). O esperado pelo bom senso e indicado por pesquisas
(RECKASE, 2004; SAYRE e HCKLER, 2009) que haver um maior aumento de
competncia no domnio em que houve instruo (no caso, circuitos). Pode ser que a
competncia em mecnica aumente, permanea constante ou at diminua. Mas espera-se que
o aumento na competncia em circuito seja maior que em mecnica.
No caso desta pesquisa, ocorreu algo muito parecido. A diferena que no havia um
teste sobre o domnio estudado no momento anterior ao seu estudo. Por isso, no haveria
forma de captar um possvel aumento da competncia onde ele deveria ser maior.
Apesar dessas ponderaes, o teste de dimensionalidade feito com a terceira prova,
Trimestral3, que inclua todos os contedos do ano, no acusou um efeito de
multidimensionalidade. Alm disso, a verificao do funcionamento dos itens para o conjunto
das trs provas tambm sugeriu um possvel tratamento unidimensional. Por esses motivos,
procedi com a anlise da forma descrita na dissertao.
No tenho uma explicao definitiva para isso, mas me parece que para examinar essa
questo no se deve tratar a competncia apenas como uma soma de habilidades e
conhecimentos, mas tratar separadamente vrios tipos de habilidades e vrios tipos de
conhecimento. Essa , claramente, uma abordagem multidimensional e talvez um modelo
multidimensional, com os dados apropriados, fosse necessrio para uma investigao
adequada.
Por limitaes impostas pelos dados, no foi possvel fazer um tratamento
multidimensional. Mas especularei um pouco, a fim de jogar alguma luz sobre a questo.
Reckase (2009) afirma que o nmero de dimenses avaliadas por um teste depende
no s do prprio teste, mas tambm da populao para quem se aplica esse teste. Se a
82
populao no tiver variabilidade suficiente em uma das dimenses que o teste mede, ele no
ser capaz de avaliar essa dimenso.
Pode ser que, no presente caso, as populaes nas trs ocasies de medida no sejam
as mesmas (apesar de serem os mesmos alunos) e que o grau de variabilidade em alguma das
dimenses dos testes tenha mudado de uma ocasio para a outra.
Consideremos, por exemplo, uma dimenso bastante estreita como o domnio do
vocabulrio usado em eletricidade (esse pode ser um componente do conhecimento
declarativo). Pode ser que na ocasio da terceira trimestral essa dimenso no tenha
variabilidade suficiente para ser detectada no teste de dimensionalidade (todos os alunos
teriam o vocabulrio de eletricidade razoavelmente desenvolvido). No entanto, pode ser que
se aplicssemos essa prova populao (imaginria) contendo todos os sujeitos em todas as
ocasies, essa populao teria uma grande variabilidade nessa dimenso (j que alguns j
estudaram os contedos de circuitos eltricos e outros no). Dessa forma, a prova poderia ser
unidimensional para cada ocasio separadamente, mas multidimensional para um estudo
longitudinal, usando as trs ocasies.
Essas so apenas especulaes vagas e sem slida fundamentao emprica, mas
podem ajudar a intuir algumas possveis solues em uma possvel pesquisa futura que lide
com a questo.
importante ressaltar que, se esse efeito ocorreu para o R(ITENS), deve ocorrer
tambm para o R(POMP). No entanto, entendo que isso no invalida a comparao entre as
duas anlises. Alm disso, o fato de ter encontrado resultados consistentes (muitos em acordo
com a literatura) sugere que o vis encontrado para a inclinao das trajetrias tambm no
invalida os efeitos encontrados para as diferenas nos interceptos.
Mas resta ainda uma questo: possvel encontrar algum sentido para a queda que
identificamos? A limitao metodolgica discutida acima talvez tenha comprometido
83
completamente a interpretao desse decaimento. Porm, no temos condies de especular
mais sobre o tema pela falta de informaes adicionais.
4.2. O USO DE AVALIAES ESCOLARES EM PESQUISAS EDUCACIONAIS
Aps a anlise dos resultados, volto pergunta inicial: possvel usar avaliaes
escolares ordinrias para estudar a evoluo da competncia em fsica?
O fato de ter obtido vrios resultados consistentes (j discutidos) nos sugere que a
reposta sim. No entanto, h vrias ressalvas.
4.2.1. Ressalvas
I Vagueza da conceituao de competncia
O uso de notas trimestrais leva a uma definio de competncia que no envolve
apenas aspectos cognitivos, mas tambm fatores de engajamento, esforo, comportamento,
entre outros. Para um estudo mais detalhado das componentes dessa competncia, podem-se
usar notas obtidas em diferentes tipos de avaliao: provas fechadas, provas abertas,
exerccios, conceito e participao, entre outros. Algumas das concluses (como um maior
engajamento das meninas, por exemplo) s puderam ser obtidas pela comparao entre
anlises usando dois tipos de avaliaes diferentes. Entendo que quanto mais tipos diferentes
de avaliaes, mais potencial ter a pesquisa.
84
II - Tratamento multidimensional
O problema do decaimento da varivel R(ITENS) parece aconselhar a fazer um
tratamento multidimensional (pelo menos para estudos longitudinais de mudana). O uso de
respostas a questes abertas (embora esses sejam dados difceis de obter) poderia tornar
possvel essa anlise das muitas dimenses da competncia.
Para contornar a multidimensionalidade, que parece surgir do aumento da abrangncia
do contedo, devemos: ou nos restringir a anlise da evoluo da competncia em um
contedo restrito como fiz com o R(MECANICA); ou tratarmos as dimenses cognitivas
(vrios tipos de habilidades e conhecimentos) que no dependessem fortemente do contedo
(mas no sei se isso poderia ser chamado de competncia).
Outra opo seria ter um desenho de coleta de dados que permitisse medir a
competncia em certos contedos antes e depois que esses fossem estudados, mas essa
estrutura de avaliao contraria o bom senso da prtica educativa (a no ser em casos de
currculo em espiral). Ao se montar uma seqncia de testes com essa estrutura de coleta,
sairamos do domnio das avaliaes ordinrias escolares e entraramos no domnio dos testes
normalmente usados em pesquisas, com todos os seus problemas.
III- Dados equalizveis, mtrica estvel
Como foi discutido no captulo REFERENCIAIS TERICOS, um estudo
longitudinal exige uma mtrica que seja estvel no tempo. Nesse caso, importante ressaltar
que no se deve usar a simples nota (ou conceito) obtida em provas ou no trimestre para a
anlise longitudinal, mas deve-se buscar um jeito de criar uma medida em uma escala que
apresente forte estabilidade temporal (no presente caso, usei o modelo Rasch).
85
Alm disso, as medidas obtidas em diferentes ocasies devem poder ser comparadas
umas com as outras e, portanto, as provas ou trimestres devem ser equalizados de alguma
forma. Em alguns casos, essa equalizao pode ser facilitada pelo desenho da pesquisa. No
caso deste trabalho, por exemplo, as provas trimestrais puderam ser equalizadas por
possurem itens em comum. No caso dos trimestres, a estrutura rgida de ensino na terceira
srie (mesmos critrios de avaliao, mesmos tipos de aulas, etc.) possibilitou o tratamento de
certas categorias como itens semelhantes. Mas isso pode no ocorrer em muitos casos.
4.2.2. Outras possibilidades
A multidimensionalidade do problema surgiu devido ao carter longitudinal da
anlise. Em princpio, penso que esse no seria necessariamente um problema encontrado se o
estudo da competncia fosse de natureza transversal.
Outra possibilidade de tratamento usar a nota como indicador de mudana na
competncia. H pesquisas que indicam que as notas escolares tm alguma relao com
diferenas de escore entre pr-testes e ps-testes (POPLUN, 2009). Dessa forma, poderia se
encontrar alguma forma de relacionar a nota variao da competncia entre duas ocasies, e
no competncia em si.
4.2.3. Vantagens e desvantagens em relao a testes padronizados
Como j foi discutido nos primeiros captulos, so vantagens do uso de avaliaes
escolares em relao ao uso de testes: (i) a sintonia das avaliaes com o currculo real, (ii) o
engajamento dos estudantes nas avaliaes e (iii) a abundncia de dados disponveis e
possibilidade de usar vrias ondas de dados em um mesmo ano.
86
Essas vantagens podem ser reafirmadas aps a concluso de que o uso das avaliaes
vlido.
H, entretanto, uma grande desvantagem: as restries ao desenho metodolgico
impostas pela tica da prtica educativa, que acabam levando s ressalvas mencionadas.
4.3. ALGUMAS PONDERAES
A limitao metodolgica que pode ter levado ao decaimento da competncia medida
pela varivel R(ITENS), j discutida em uma seo deste captulo, me faz trazer uma questo
para reflexo: se a competncia em certo domnio (como a fsica) apresenta essa
multidimensionalidade em relao aos subdomnios (mecnica, eletricidade,...), essa
multidimensionalidade no pode tambm trazer problemas aos estudos longitudinais que
usam testes padronizados?
De fato, essa questo j foi discutida por Reckase (2009). Ele sugere que os testes
aplicados em diferentes ocasies, mesmo se equalizados, podem refletir dimenses diferentes.
Mesmo se o domnio especfico no variar, o aumento da complexidade dos itens pode fazer
com que sejam exigidos outros tipos habilidade para resolv-los.
Alm disso, como se espera que o aumento da competncia de um grupo de estudantes
ocorra de forma diferente para diferentes subdomnios, e que o maior crescimento ocorra no
subdomnio que foi trabalhado em sala de aula (RECKASE, 2004; SAYRE e HECKLER,
2009), o no alinhamento dos testes com o currculo pode mascarar um aumento de
competncia (de forma semelhante, mas no igual, ao que ocorreu com nossa anlise da
varivel R(ITENS)). E, ainda, o uso de um nico conjunto de testes para comparar sujeitos
87
(ou escolas) submetidos a diferentes currculos, no pode medir precisamente o crescimento
da competncia de todos, pois o alinhamento dos contedos do teste com o currculo no
ocorrer em muitos casos.
De fato, parece que a questo da uni/multidimensionalidade muito mais sutil e
delicada do que este pesquisador supunha no incio do estudo ou do que sugerem alguns
estudos longitudinais de aprendizagem.
4.4. CONCLUSES
Nesta dissertao procurei investigar se avaliaes escolares ordinrias podem ser
usadas para estudar a evoluo da competncia em fsica. Para isso, utilizei dois tipos de
avaliaes: (i) notas trimestrais - uma avaliao global, envolvendo aspectos cognitivos,
emotivos e motivacionais; e (ii) provas de itens dicotmicos uma avaliao que, apesar de
tambm envolver outros aspectos, est mais relacionada a aspectos cognitivos.
A partir das duas anlises e da comparao entre elas, foram obtidas algumas
concluses consistentes. Dessa forma, defendo a idia de que as avaliaes escolares podem,
sim, ser usadas no estudo de mudana, mas com algumas ressalvas. A primeira delas que a
competncia medida depende do tipo de avaliao usada e, por isso, avaliaes mais gerais,
como a nota trimestral, ou o rendimento global (mais fceis de obter em secretarias de
escolas) levam a uma conceituao mais vaga da competncia que est sendo medida. A
segunda ressalva que o contexto das avaliaes deve possibilitar a equalizao e a
construo de uma escala estvel para a competncia. Uma ltima ressalva est em que um
tratamento unidimensional pode levar a uma distoro na estimativa da variao da
88
competncia com o tempo, dada a forma com que a avaliao escolar se relaciona com o
contedo trabalhado em sala de aula.
A discusso do problema entre a relao do contedo trabalhado em sala com o
contedo cobrado em avaliaes me levou a questionar a possibilidade de um teste sistmico
nico avaliar o crescimento da competncia para sujeitos (ou escolas) com currculos
diferentes.
4.5. LIMITAES DA PESQUISA E PESQUISAS FUTURAS
Apresento abaixo as trs principais limitaes desta pesquisa. As limitaes, (i) e (ii),
levaram impossibilidade de um tratamento multidimensional. Pesquisas futuras sobre o uso
de avaliaes escolares ordinrias deveriam ser capazes de superar essas duas limitaes (ou
pelo menos uma delas) para que se possa ter uma melhor idia de como se d o crescimento
da competncia em fsica e de suas diversas componentes.
As principais limitaes foram:
I- O uso de pouca variedade de avaliaes
Isso me forou a trabalhar com um conceito relativamente vago de competncia.
Outros tipos de avaliao (como respostas dissertativas, ou problemas abertos) poderiam
possibilitar uma investigao mais detalhada de vrias componentes da competncia (ou
vrias competncias) separadamente.
II- Restrio no desenho de coleta de dados
89
O fato de usar notas de avaliaes fez com que no houvesse uma medida da
competncia nos subdomnios da fsica antes do perodo de instruo. Isso pode ter levado
impossibilidade de detectar o crescimento da competncia nesses subdomnios e ao
conseqente vis negativo na inclinao da competncia, conforme foi discutido.
III- Particularidade do contexto
A grande particularidade do contexto desta pesquisa desde as caractersticas do
alunado at a estrutura de curso de fsica da terceira srie gera uma enorme restrio para as
possibilidades de generalizao dos resultados.
Acho que esta dissertao pode ajudar na reflexo sobre o uso de avaliaes escolares
em pesquisas sobre competncia. Em especial em estudos longitudinais de evoluo da
competncia em fsica. Outros estudos podem vir a reforar (ou a contradizer) os achados aqui
expostos, para que se possa, em um futuro prximo, ter mais clareza sobre as possibilidades
de uso dessa enorme quantidade de dados coletados regularmente em quase todas as escolas
do Brasil e disponveis nas secretarias das escolas.
90
CAPTULO 5: REFERNCIAS BIBLIOGRFICAS
1. AUSUBEL, D., NOVAK, J., & HANESIAN, H. Educational Psychology: A
Cognitive View (2.ed.). Nova York: Holt, Rinehart & Winston, 1978.
2. AYALA, C. C.; SHAVELSON, R. J.; YIN, Y. Reasoning Dimensions Underlying
Science Achievement: The Case of Performance Assessment. Educational Assessment.
v. 8, n. 2, p. 101121, 2002.
3. BAXTER, G. P.; GLASER, R. Investigating the Cognitive Complexity of Science
Assessments. Educational Measurement: Issues and Practice, v.17, n.3, p.37-45,
1998.
4. BOND, G. T. e FOX, C. M. Applying the Rasch Model: Fundamental Measurement in
the Human Sciences 2.ed. Mahwah, NJ: Lawrence Erlbaum Associates, 2007, 340p.
5. BROOKHART, S. M. Developing Measurement Theory for Classroom Assessment
Purposes and Uses. Educational Measurement: Issues and Practice, v.22, n.4, p.5-12,
2003.
6. BYRNES, J. P.; MILLER, D. C. The Relative Importance of Predictors of Math and
Science Achievement: An Opportunity-propensity analysis. Contemporary
Educational Psychology, v.32, p.599-629, 2007.
7. CATSAMBIS, S. Expanding Knowledge of Parental Involvement in Childrens
Secondary Education: Connections with High School Seniors Academic Success.
Social Psychology of Education, v.5, n.2, p.149-177, 2001.
8. COELHO, G. R.; BORGES, O. O Entendimento dos Estudantes Sobre a Natureza da
Luz em um Currculo Recursivo. Caderno Brasileiro de Ensino de Fsica, v.27, n.1,
p.63-87, 2010.
9. COHEN, P.; COHEN, J.; AIKEN, L. S.; WEST, S. G. The Problem of Units and the
Circumstance for POMP. Multivariate Behavioral Research, v.34, n.3, p.315-346,
1999.
10. GOLDSTEIN, H.; HEALY, M. J. R. The Graphical Presentation of a Collection of
Means. Journal of the Royal Statistical Society. Series A (Statistics in Society), v.158,
n.1, p.175-177, 1995.
11. GRIGG, W. S.; LAUKO, M. A.; BROCKWAY, D. M. The Nations Report Card:
Science 2005. 2006. Disponvel em: <http://nces.ed.gov/nationsreportcard/science>.
12. JOARDER, A. H.; LATIF, R. M. Standard Deviation for Small Samples. Teaching
Statistics, v.28, n.2, p.40-43, 2006.
91
13. JOHNSON, B. B. An Examination of International Drivers of Educational
Achievement. 2009. Tese (Doutorado em Economia) University of California,
Berkeley, 2009.
14. JUSSIM, L. Grades May Reflect More Than Performance: Comment on Wentzel
(1989). Journal of Educational Psychology, v.83, n.1, p.153-155, 1991.
15. KOEPPEN, K.; HARTIG, J.; ECKHARD, K.; LEUTNER, D. Current Issues in
Competence Modeling and Assessment. Zeitschrift fr Psychologie / Journal of
Psychology, v.216, n.2, p.6173, 2008.
16. LAWRENZ, F.; WOOD N. B.; KIRCHHOFF, A.; KIM, N. K.; EISENKRAFT, A.
Variables affecting physics achievement. Journal of Research in Science Teaching,
v.46, n.9, p.961-976, 2009.
17. LINACRE, J. M. (2010). Winsteps (Version 3.70.0) [Computer Software].
Beaverton, Oregon: Winsteps.com.. Retrieved August 1, 2009. Disponvel em
<http://www.winsteps.com/>
18. MA, X.; WILKINS, J. L. M. The Development of Science Achievement in Middle and
High Schoolr: Individual Differences and School Effects. Evaluation Review, v.26,
n.4, p.395-417, 2002.
19. McMILLAN, J, H. Secondary Teachers Classroom Assessment and Grading
Practices. Educational Measurement: Issues and Practice. Vol.20, n.1, p.20-32, 2001.
20. McMILLAN, J. H. Understanding and Improving Teachers Classroom Assessment
Decision Making: Implications for Theory and Practice. Educational Measurement:
Issues and Practice, v.22, n.4, p.34-43, 2003.
21. MEAD, R. A Rasch Primer: The Measurement Theory of Georg Rasch Psychometrics
services research memorandum 2008-001. Maple Grove, MN: Data Recognition
Corporation, 2008.
22. MULLER, P. A.; STAGE, F. K.; KINZIE, J. Science Achievement Growth
Trajectories: Understanding Factors Related to Gender and Racial-Ethnic Differences
in Precollege Science Achievement. American Educational Research Journal, v.38,
n.4, p.981-1012, 2001.
23. NATIONAL ASSESSMENT OF EDUCATIONAL PROGRESS. (2005). The
Nations Report Card: Science. Retrieved August 8, 2008, Disponvel em
<http://nationsreportcard.gov/science_2005>
24. POMPLUN, M. R. Do Student Scores Measure Academic Growth? Educational and
Psychological Measurement, v.69, n6, p.966-977, 2009.
25. RASCH, G. On specific objectivity: an attempt at formalizing the request for
generality and validity of scientific statements. Danish Yearbook of Philosophy v.14,
p.58-94, 1977.
92
26. RECKASE, M, D. The Real World is More Complicated than We Would Like.
Journal of Educational and Behavioral Statistics, v.29, n.1, p.117-120, 2004.
27. RECKASE, M, D. Introduo. In:______. Multidimensional Item Response Theory.
Springer, Nova York, 2009, cap.1, p.1-10.
28. ROESER, R. W.; SHAVELSON, R. J.; KUPERMINTZ, H.; LAU, S.; AYALA, C.;
HAYDEL, A.; SCHULTZ, S.; GALLAGHER, L.; QUIHUIS, G. The Concept of
Aptitude and Multidimensional Validity Revisited. Educational Assessment,. v.8, n.2,
p.191-205, 2002.
29. SAYRE, C. E.; HECKLER, A. F. Peaks and Decays of Student Knowledge in an
Introductory E&M Course. Physical Review Special Topics Physics Education
Research, v. 5, 2009
30. SHAVELSON, R. J; ROESER, R. W.; KUPERMINTZ, H.; LAU, S.; AYALA, C.;
HAYDEL, A.; SCHULTZ, S.; GALLAGHER, L.; QUIHUIS, G. Richard E. Snows
Remaking of the Concept of Aptitude and Multidimensional Test Validity:
Introduction to the Special Issue. Educational Assessment, v.8, n.2, p.77-99, 2002.
31. SINGER, J. D.; WILLETT, J. B. Applied Longitudinal Data Analysis: Modeling
Change and Event Occurrence. Nova York: Oxford University Press, 2003. 644p.
32. SIRIN, S. R. Socioeconomic Status and Academic Achievement: A Meta Analytic
Review of Research. Review of Educational Research, v.75, n.3, p.417-453, 2005.
33. SMITH, J. K. Reconsidering Reliability in Classroom Assessment and Grading.
Educational Measurement: Issues and Practice, v.22, n.4, p.26-33, 2003.
34. TRIOLA, M. F. Introduo Estatstica; 10. ed. Rio de Janeiro: LTC, 2008. 696p.
35. WENTZEL, K. R. Classroom Competence May Require More Than Intellectual
Ability: Reply to Jussim (1991). Journal of Educational Psychology, v.83, n.1, p.156-
158, 1991.
36. WHITE, K. R. The Relation between Socioeconomic Status and Academic
Achievement. Psychological Bulletin, v.91, n.3, p.461-481, 1992.
37. WRIGHT, B. D. A History of Social Science Measurement. Educational
Measurement: Issues and Practice, v.16, n.4, p.33-45, 1997.