You are on page 1of 193

Avaliao Externa

e Qualidade das Aprendizagens

Seminrios
e Colquios

As opinies expressas nesta publicao so da responsabilidade dos autores e no refletem


necessariamente a opinio ou orientao do Conselho Nacional de Educao.
Ttulo: Avaliao Externa e Qualidade das Aprendizagens
[Textos do Seminrio realizado no CNE a 1 de abril de 2014]
Edio: Conselho Nacional de Educao
Direo: Jos David Justino (Presidente do Conselho Nacional de Educao)
Coordenao: Manuel Miguns (Secretrio-Geral do Conselho Nacional de Educao)
Organizao e edio: Antonieta Lima Ferreira
Coleo: Seminrios e Colquios
Edio Eletrnica: dezembro de 2014
ISBN: 978-972-8360-88-7

CNE Conselho Nacional de Educao


Rua Florbela Espanca 1700-195 Lisboa
Telefone: 217 935 245
Endereo eletrnico: cnedu@cnedu.pt
Stio: www.cnedu.pt

Secretrio-Geral do Conselho Nacional de Educao


Manuel Miguns

Presidente do Conselho Nacional de Educao


Jos David Justino
Secretrio de Estado do Ensino e da Administrao Escolar
Joo Casanova de Almeida

Domingos Fernandes

Carlinda Leite
Joo A. Lopes
Francisco Vargas
Valter Lemos

Aldina Lobo
Paula Serra & Ceclia Galvo

Helder Sousa
Lus Santos
Rui Santos
Jlia Tainha

Presidente do Conselho Nacional de Educao


Jos David Justino
Secretrio de Estado do Ensino Bsico e Secundrio
Joo Grancho

As questes relativas avaliao tm sido, ao longo das ltimas dcadas,


motivo de debate na sociedade portuguesa com inevitvel reflexo nos
trabalhos desenvolvidos pelo Conselho Nacional de Educao. O estudo, a
reflexo, a audio de acadmicos e especialistas e o debate sobre
avaliao ganham agora nova dinmica e mereceram ateno redobrada
deste Conselho.
O seminrio Avaliao Externa e Qualidade das Aprendizagens, realizado
em abril de 2014, procurou discutir e partilhar diferentes perspetivas sobre
o impacto da avaliao externa (vulgo exames) na qualidade das
aprendizagens dos alunos. Com a generalizao das provas finais e dos
exames nacionais a todos os ciclos de ensino, concretizada em 2013,
decidiu o Conselho Nacional de Educao acompanhar o desenvolvimento
deste processo e sobretudo ouvir os especialistas na matria, tendo em
vista a clarificao de conceitos e de finalidades, assim como a
identificao das relaes entre as vrias modalidades de avaliao.
Na interveno de abertura, o Presidente do CNE, reconhecendo que o
nosso sistema de avaliao externa tem vindo a melhorar, afirma que os
exames no so a questo fundamental. O importante sabermos como a
escola ensina e como os alunos aprendem. O centro decisivo a qualidade
do ensino e a qualidade das aprendizagens
Na conferncia de abertura deste seminrio, Domingos Fernandes discute
a relao entre a avaliao externa dos alunos e a qualidade das
aprendizagens, referindo alguma da literatura mais recente sobre a
temtica. Considera esta relao como impossvel sempre que a perspetiva
dominante considere as avaliaes externas como a panaceia para a
resoluo de problemas de aprendizagem no sistema. De entre as aes
que prope contam-se a credibilizao das avaliaes internas, a
integrao plena das avaliaes externas no sistema de ensino (por
exemplo, com as avaliaes externas a contriburem para a definio de
padres claros) e a assuno da complementaridade entre ambas.
1

Secretrio-Geral do Conselho Nacional de Educao

Na abertura do painel sobre a compatibilidade da relao entre avaliao


externa e a melhoria das aprendizagens, Carlinda Leite enfatiza as aes
que promovem uma formao global e privilegiam a socializao das
crianas e dos jovens para uma vivncia positiva da cidadania, em vez de
se acantonarem na preparao tcnica dos alunos apenas para serem bemsucedidos nos exames. No entanto, reconhece que a informao obtida
atravs das provas nacionais permite sustentar balanos do sistema
educativo e apontar caminhos s escolas, aos professores e aos alunos,
com vista melhoria da qualidade das aprendizagens.
A importncia da divulgao pblica dos resultados, a necessidade de no
se estabelecerem relaes de causalidade entre avaliao externa e
melhoria das aprendizagens e de se ponderarem os custos dos programas
de avaliao externa, so os pontos focais do texto que Joo Lopes
apresenta.
Francisco Vargas, por sua vez, centra a discusso na adequao das provas
externas para medir os conhecimentos e capacidades, evitando dar relevo
ao sim ou no avaliao externa. Defende, deste modo, que o
importante que as avaliaes sejam capazes de considerar diferentes
estilos de aprendizagem, inteligncias mltiplas, capacidades superiores
de pensamento, para que possam ser uma boa ferramenta.
Valter Lemos considera que a familiaridade provoca a cegueira e avana
um claro sim avaliao externa que, no seu entender, garante
confiana social e responde necessidade de regulao. E prope que, a
instrumentos diversos correspondam diferentes objetivos: exames para
certificao social; provas aferidas para monitorizao de programas,
atores e contextos; testes internacionais para avaliao de polticas.
Aldina Lobo abre o painel sobre avaliao externa e prticas docentes
apresentando um estudo sobre o modo como as prticas dos professores
podem adaptar-se de forma a garantir a melhor convivncia entre
aprendizagens de qualidade e os resultados da avaliao externa. Em
Vestir a camisola do exame e a da prtica letiva, a autora defende que
possvel fazer coabitar a avaliao formativa e a sumativa (o apoio
aprendizagem e a preparao para exame), mesmo com alunos que sero
sujeitos a exames nacionais.

Para Graa Ventura a avaliao externa tem impactos positivos, como por
exemplo, o aumento do trabalho colaborativo nas escolas e uma gesto
responsvel do currculo, mas tambm negativos, como sejam o
estreitamento do currculo (desvalorizao das disciplinas sem exame), o
aprofundamento inadequado de contedos (que afasta alunos com mais
dificuldades) ou a padronizao de instrumentos e metodologias.
Paula Serra e Ceclia Galvo abordam a ligao entre avaliao externa e
avaliao formativa e defendem que as tarefas de avaliao includas nos
referidos exames podem ser usadas pelos professores, em sala de aula,
para desenvolver avaliao formativa, funcionando, assim, como
instrumentos charneira, capazes de articular avaliao formativa e
sumativa. Problematizam e discutem os fatores que podero estar na
origem dos maus resultados obtidos pelos alunos nestes exames e
descrevem uma interveno educativa implementada junto de professores
do ensino secundrio, que partindo de questes de exame, se centra no
desenvolvimento de estratgias de avaliao formativa, focadas no
desenvolvimento do raciocnio cientfico e da construo de explicaes
cientficas.
A questo chave do painel seguinte pedia aos oradores que se
debruassem sobre o que fazer com os resultados da avaliao externa.
Helder Sousa questiona o carter pblico das provas de exame dado que
esse facto, para alm dos impactos negativos, tem implicaes financeiras,
de mobilizao de recursos humanos e introduz srias limitaes
comparabilidade dos exames. Relativamente leitura de resultados
considera que o valioso manancial de informao disponvel no tem sido
aproveitado, que no se podem repetir os mesmos erros a cada ano e que o
Pas no pode aceitar pacificamente que o topo da distribuio normal de
resultados se situe prximo dos 50%. Aponta ainda um desafio: provas
no pblicas e desmaterializadas, pelo menos para o ensino bsico.
Lus Santos inicia o seu texto com algumas questes de base: quais os
dados e as mtricas mais adequadas para a leitura e utilizao dos
resultados da avaliao externa? Devemos olhar apenas para as mdias ou
importa valorizar outras medidas, como por exemplo, as diferenas entre
classificaes internas e externas? Que tipo de informao nos do os

resultados da avaliao externa sobre o desempenho dos alunos e das


escolas? Considera que importa distinguir diferentes nveis de anlise dos
resultados para decisores polticos, escolas e pblico e prope anlises
mais finas e desagregadas que forneam informao relevante, por
exemplo, sobre alunos do 1 ciclo sujeitos a perodos de acompanhamento
extraordinrio ou sobre alunos dos cursos profissionais.
A Rede ESCXEL, que trata e analisa um vasto conjunto de dados,
incluindo os das classificaes de exame dos alunos das escolas que a
integram, foi apresentada por Rui Santos que explicou os procedimentos
utilizados com vista a dar uma nova camada de inteligibilidade aos
resultados com base nos trs princpios que sustentam a prpria rede
Padronizar, Resumir e Mapear.
Jlia Tainha encerrou este painel com o projeto e a histria da escola que
dirige, procurando demonstrar que os resultados dos exames podem, de
facto, ser utilizados como um incentivo para melhorar a qualidade das
aprendizagens dos alunos. Formulou ainda um desejo de maior autonomia,
alicerada em mais confiana nas escolas que tm trabalho feito e provas
dadas.
Por fim, o Presidente do Conselho Nacional de Educao reconhece o
importante papel da avaliao externa, dando relevo s limitaes e aos
desafios que se colocam no sentido de melhorar o atual modelo de
exames, sem esquecer as aprendizagens e o desempenho dos alunos e das
escolas.
No tendo sido esgotada a questo, o CNE pretende continuar a dar o seu
contributo para este debate, alargando a reflexo agora iniciada a outras
vertentes, nomeadamente a da avaliao interna e a das avaliaes
internacionais.

10

Este seminrio faz parte das iniciativas que o Conselho Nacional de


Educao se prope realizar no mbito do seu plano de atividades,
procurando atingir a mdia de um seminrio por ms. Nestes seminrios
pretende-se envolver um conjunto alargado de especialistas, direta ou
indiretamente ligados Educao, consolidando a ideia que tenho vindo a
lanar de tornar o CNE numa espcie de casa comum da Educao, onde
as pessoas podem vir e participar de forma ativa.
O seminrio que escolhemos para iniciar este ciclo dedicado avaliao
externa e qualidade das aprendizagens e, assim, comeo por agradecer no
s assessoria, a todos os colaboradores que, na rea tcnica e na
assessoria tcnico-cientfica do Conselho, contriburam para a realizao
deste encontro mas, especialmente, a duas pessoas: Dr. Antonieta Lima
Ferreira, que coordenou a organizao do seminrio, e ao Professor
Domingos Fernandes, que nos deu uma ajuda inestimvel, pelo que
agradeo publicamente a sua colaborao e, acima de tudo, os contributos
que entendeu, por bem, transmitir.
Porqu este tema? Como sabem, j ultrapassmos quase mais de quinze
anos de existncia de vrias iniciativas visando constituir um sistema de
provas nacionais. Dos exames de 12. ano s provas de aferio, da
primeira vez que se realizaram provas e exames de 9. ano em 2005
(embora decretados em 2003) at criao das novas provas nacionais no
final de cada ciclo, tem-se vindo a cumprir o princpio anunciado h muito
tempo de que no final de cada ciclo faz sentido ter um instrumento de
avaliao externa.
Desde muito cedo que a avaliao externa, atravs de provas, quer sejam
provas de aferio quer sejam provas de avaliao externa sob a forma de
exames, sofreu uma contestao muito grande. Vemos o sistema a
funcionar, mas no podemos esquecer aqueles que, na altura, lembraram
com algum sentido, o que poderia ser a influncia da realizao de provas
1

Presidente do Conselho Nacional de Educao.

12

no final de cada ciclo sobre a qualidade das aprendizagens. ,


precisamente, com base neste argumento que tommos a iniciativa de
refletir em torno desta relao entre avaliao externa e qualidade das
aprendizagens.
Aquilo que fizemos foi tambm, de algum modo, dizer que no h
assuntos tabus. Ou seja, no pelo facto de termos exames que deixamos
de continuar a poder emitir crticas a esses mesmos exames ou
eventualmente qualificar o modelo de exames tal como est a ser feito.
Portanto, acho que tem plena justificao que possamos, ao fim destes
anos, fazer esta reflexo. fundamental olhar para o futuro fazendo o
balano desse mesmo passado. Isto no quer dizer que tenhamos de
prescindir das nossas opinies ou sacrificar as nossas posies. O que
importante aqui conseguirmos encontrar uma soluo de compromisso
sobre o que possvel fazer e, acima de tudo, sobre o que desejvel fazer
no futuro.
Temos um sistema de exames que tem vindo a melhorar. Quem
acompanha o trabalho do atual IAVE sabe que tem havido melhorias ao
longo dos vrios anos. Desde que se comearam a fazer as primeiras
provas e depois as provas de aferio que tem havido um acumular de
conhecimento e de experincias que no deve ser ignorado e que tem
permitido que se vo fazendo os necessrios ajustes. Tal melhoria no
quer dizer que se ponha de parte qualquer tentativa de comearmos a
pensar sobre se este modelo o mais adequado ou no. Uma coisa fazer
um exame no final da escolaridade obrigatria de 12 anos, outra coisa ter
um conjunto de provas no final de cada ciclo. E, portanto, nessa
perspetiva, julgo que o debate nos ir permitir dar contributos de relevo
que, acima de tudo, nos ajudaro a refletir sobre esta matria.
Por outro lado, quer queiramos quer no, o fundamental no so os
exames; o fundamental sabermos como os midos aprendem e como
que a escola ensina. Ou seja, o exame vale o que vale, mais um
instrumento de avaliao, mas o centro decisivo a qualidade das
aprendizagens e a qualidade do ensino, e sobre isso que nos devemos
preocupar. A relao com as provas externas tambm no deve ser

13

ignorada porque, por vezes, diz-se que as pessoas s estudam para os


exames; ora este um argumento falacioso porque parte do princpio de
que as pessoas sabem o que vai sair no exame. Se se soubesse, partida,
qual era o exame s se estudava aquela matria; como no se sabe tem de
se estudar a matria toda. Por outro lado, h outras competncias que
eventualmente no so suscetveis de se avaliarem atravs dos exames,
mas tambm para isso existe a avaliao interna, que tem um papel
importantssimo. Os exames valem 30% e a avaliao interna vale 70% na
classificao final.
H uma polmica igualmente reconhecida por todos: a partir da altura que
se elegem duas provas, duas disciplinas para se fazer os exames, a questo
coloca-se em saber o que acontece com as outras disciplinas. Ou seja,
estas ganham um estatuto ligeiramente inferior, podendo at sofrer com a
concentrao dos alunos, dos professores e das escolas nas disciplinas de
exame, pois o que interessa o resultado obtido nas provas. No obstante,
bom relembrar o facto de que dominar bem a lngua e dominar bem a
matemtica so saberes estruturantes que vo beneficiar todos os outros
saberes.
Portanto, temos aqui muito por onde refletir, argumentos no faltam.
nesta perspetiva que entendo que o debate aberto e franco sempre
positivo e precisamente para isso que vos convido, contando com a
experincia de muitos anos dos muitos aqui presentes e que
reconhecidamente tm dado muito do seu trabalho para que este sistema
de exames possa, no fundo, frutificar, ao mesmo tempo que, em conjunto,
se identificam pontos de insuficincia ou pontos de maior dificuldade para
que, junto do Ministrio, possamos fazer chegar a nossa mensagem. esse
o nosso papel, refletir e, com base nessa reflexo, elaborar recomendaes
que possam ajudar, apoiar o trabalho de quem tem a responsabilidade das
polticas pblicas de educao.
Portanto, Senhor Secretrio de Estado, quero agradecer-lhe a sua presena,
a forma como demonstrou interesse nesta iniciativa, a colaborao que
tem existido sempre entre o Ministrio de Educao e Cincia e o
Conselho Nacional de Educao e tambm dizer-lhe, obviamente, que

14

quer consigo, quer com o Sr. Secretrio de Estado do Ensino Bsico e


Secundrio, Joo Grancho, logo ao final do dia, estamos sempre
disponveis e abertos para colaborar, desde que essa colaborao se
traduza em ganhos substanciais e num valor acrescentado para a qualidade
da Educao em Portugal. Muito obrigado pela vossa ateno.

15

Senhor Presidente do Conselho Nacional de Educao, meu caro amigo


Professor David Justino, sado todos aqueles que hoje vo contribuir, com
as suas comunicaes, para a reflexo que vai ter lugar, todos aqueles que,
com a sua participao no debate, vo enriquecer essas reflexes e vo
permitir perceber a importncia que tem a organizao de seminrios
como este, no Conselho Nacional de Educao, para, como dizia o
Professor David Justino, podermos ter todos nossa disposio reflexes
que permitam perceber da maior ou menor importncia, do grau de
importncia, de cada um dos fatores que contribuem para a qualidade das
aprendizagens dos nossos alunos. Por isso, a primeira palavra de
agradecimento para o Conselho Nacional de Educao, na pessoa do seu
presidente, pelas iniciativas que tem tomado e pelo anncio que foi aqui
feito sobre a organizao de seminrios com uma frequncia que nos
permita ter a reflexo que sair dos temas que aqui iro ser abordados.
Essa questo muito importante para todos ns, a comunidade que se
preocupa com as questes de Educao, e importante porque visa refletir
profundamente sobre as questes de poltica educativa. Esse um
contributo que o Conselho Nacional de Educao comeou a dar e que,
aqui anunciado tambm pela regularidade, pode ser muito importante para
a conduo das polticas educativas em Portugal.
Congratulamo-nos com a temtica deste seminrio pois, para ns, a
importncia da qualidade das aprendizagens dos alunos o que tem que
orientar a ao poltica educativa. , para ns, muito importante essa
qualidade, porque atravs da qualidade das aprendizagens que podemos
propiciar aos nossos alunos percursos escolares longos, percursos
escolares sustentveis, percursos escolares duradouros e uma melhor
insero quer no ensino superior quer no mundo do trabalho. ,
exatamente, pela qualidade das aprendizagens e olhar para a qualidade das
aprendizagens, para ns, com determinao e sem baixar a exigncia e o
rigor. Porque a exigncia e o rigor no fragilizam aqueles que possam vir
1

Secretrio de Estado do Ensino e da Administrao Escolar.

16

de meios socioeconmicos mais desfavorecidos, mas, sim, tornam mais


consistentes os objetivos que tm que ter em mente para seguir o mais
longe possvel os seus percursos escolares.
Para isso, temos que ter em conta vrios fatores nessa sustentabilidade e
no apenas um dos fatores, como hoje aqui vai ser analisado como
primeiro fator, mas olhar de uma forma global. Desde logo que os
percursos longos dependem de todos os intervenientes, dependem das
polticas educativas e, consequentemente, dependem do Governo, atravs
do Ministrio da Educao e Cincia. preciso saber o que se pretende
para tornar as aprendizagens longas, duradouras, sustentveis. preciso
saber se ns acreditamos que com o reforo dos saberes fundamentais
que outras aprendizagens se podem tornar mais duradouras. preciso
sabermos se dentro dos programas devem ser estabelecidas metas e se elas
nos do as indicaes de como nos deveremos posicionar para que os
alunos e os professores saibam, perfeitamente, aquilo que essencial para
a transio dos nossos alunos em cada ano de escolaridade. preciso
sabermos que tm que existir percursos diferenciados em funo do tipo
de alunos que ns temos. preciso saber se a introduo de exames e de
provas finais de ciclo so contributos para esses percursos longos e
duradouros porque nos ajudam a fazer pontos de situao e atuar mais
precocemente sobre conhecimentos que podem no estar a ser estruturados
como o que se desejava. Portanto, essas so questes de poltica educativa
e so questes sobre as quais devemos refletir repercusso sobre a
qualidade das aprendizagens e o percurso que se pretende dos nossos
jovens.
Mas esse um dos pontos, tambm necessrio olhar para o papel que
tm as autarquias, porque so elas que esto mais prximas do contexto
em que se desenvolvem as aes nas nossas escolas e que podem
contribuir para melhores resultados e mais integrao dos nossos alunos
no contexto em que desenvolvida essa ao. Tambm preciso olhar
para os diretores e para os professores e preciso olhar do ponto de vista
de que so eles que concebem os projetos educativos de escola e que se
pretende que sejam efetivamente projetos educativos que estejam

17

adaptados ao contexto em que cada escola desenvolve a sua ao. Olhar


para os professores e perceber que so o elemento central da
aprendizagem dos alunos e valorizar essa sua mesma funo. preciso
tambm ter em conta os encarregados de educao e a forma como
valorizam socialmente a Educao. , por isso, que existem vrios fatores
que contribuem para a qualidade das aprendizagens e que contribuem
tambm para que os percursos sejam cada vez mais longos por parte dos
nossos jovens, nas nossas escolas, com todas as vertentes que aqui
acabaram de ser referidas.
O valor social da Educao que as famlias podem dar e reforar aos
nossos jovens determinante, mas tambm a forma como os nossos
jovens olham para a sua prpria formao. preciso que eles tenham
conscincia e preciso que cada um dos outros atores lhes mostre que a
sua vontade em aprender determinante e no depende apenas das
condies que lhes so oferecidas mas tambm da sua vontade, no
depende apenas dos seus professores mas da sua vontade em tornar os
seus percursos longos e sustentveis.
por isso que, para ns, muito importante que este tema seja hoje aqui
debatido A avaliao externa e a qualidade das aprendizagens
porque a qualidade das aprendizagens tem que estar acima de tudo o que
produzido pelo sistema educativo e a avaliao externa, que tem aqui o
seu enfoque nos exames ou nas provas de avaliao de final de ciclo,
uma avaliao externa que no est descontextualizada porque ns
devemos olhar para a avaliao do sistema educativo como um todo
integrado. importante que faamos a nossa anlise sobre a avaliao das
polticas educativas, muito importante que se tenha uma avaliao
externa das escolas como sabem, tem agora um novo modelo, desde h
dois anos, a avaliao externa das escolas avaliao externa essa que
tem a sua repercusso e tem em considerao os resultados que os alunos
obtm, que faz incidir tambm essa avaliao externa das escolas sobre a
avaliao das prprias direes dos estabelecimentos, uma avaliao
externa que tem que ter em conta tambm a avaliao dos professores e,
neste momento aqui para reflexo, a avaliao externa que os exames e as

18

provas podem trazer ao sistema educativo e orientao e ao enfoque que


possa ter que ser dado a algumas das suas vertentes e forma como est a
ser feita.
Tudo isto, reforo, algo que faz com que possamos investir na avaliao
externa de uma forma integrada: polticas educativas, escolas, direes,
professores, currculos, com o estabelecimento das metas, e alunos. Olhar
de uma forma integrada e perceber a importncia que isso pode ter, sem
baixar a exigncia e o rigor, o que absolutamente necessrio para que
haja qualidade nas aprendizagens, mas haja qualidade nas aprendizagens
para todos e no apenas para aqueles que j obtinham qualidade nas
aprendizagens. Se ns baixarmos o rigor e a exigncia, estamos a afastar
aqueles que menos valor social do Educao de percursos com
qualidade, de percursos sustentveis, de percursos que se pretende que
atendam s caratersticas de cada um e em que existam opes, opes
diferenciadas e no obrigaes, opes diferenciadas para que cada um
possa, em liberdade, fazer a sua escolha, uma escolha que se pretende que
traga qualidade a cada um e que no deixe ficar pelo caminho no sistema
educativo, sem qualidade nas aprendizagens e logo sem percursos
sustentveis e deixando alguns deles, por falta de exigncia e de rigor, sem
poderem ter percursos que possam dar sequncia quer no ensino superior
quer no mundo empresarial.
por tudo isso que eu queria agradecer e louvar as iniciativas que o
Conselho Nacional de Educao tem levado a cabo e aquilo que perspetiva
fazer. Todos ns estamos preocupados com as questes da aprendizagem
dos nossos alunos e todos ns sabemos a importncia que tm esses
percursos e a forma como devemos construir a autonomia das escolas para
acolher esses percursos e poder contextualiz-los. Cada escola serve
determinados alunos e, face autonomia que est a ser consagrada nos
estabelecimentos de ensino, deve ter a liberdade de poder contextualizar
aquilo que pretende que sejam os percursos dos seus alunos. O caminho da
autonomia tambm ajudar qualidade das aprendizagens. Se ns
estivssemos a falar h dez anos, parecia-nos quase impossvel virmos a
ter escolas que podem olhar para o seu currculo e constru-lo, a

19

flexibilizao curricular era algo de distante. Isso no se deve apenas a


uma deciso poltica, deve-se a uma necessidade que foi sempre sentida
em todas as escolas e faz com que hoje se possa ter um conjunto de
escolas, que se pretende que seja cada vez mais alargado, que passa a ter
um nvel de autonomia em que pode influenciar a qualidade das
aprendizagens porque olha para o contexto em que desenvolve a sua ao
educativa e pode perfeitamente adequ-lo aos seus destinatrios. Isso so
passos importantes na qualidade da aprendizagem.
A todos aqueles que hoje aqui vo partilhar as suas reflexes, a todos
aqueles que hoje aqui vo participar nos debates queria agradecer e
agradecer tambm o tema que foi escolhido pelo Conselho Nacional de
Educao relativamente avaliao externa e qualidade das
aprendizagens, deixando uma palavra de reconhecimento e terminar como
comecei, agradecendo especialmente ao Presidente do Conselho Nacional
de Educao, pela forma como nos tem feito chegar as reflexes do
Conselho para que possamos, sobre elas, olhar para os percursos que esto
delineados, em termos de polticas educativas, e poder tomar as decises
que possam permitir que os nossos jovens cheguem cada vez mais longe
com qualidade nas aprendizagens. Para todos vs, que vo dedicar o dia a
esta reflexo, o nosso muito obrigado.

20

Os esforos de investigao empreendidos nas ltimas dcadas no


domnio das avaliaes externas das aprendizagens dos alunos mostram
que difcil estabelecer relaes de causa e efeito, ou mesmo estabelecer
correlaes significativas, entre os sistemas de exames e a melhoria da
qualidade dos sistemas educativos. Apesar disso, na generalidade dos
pases do mundo e por uma diversidade de razes (e.g., polticas,
ideolgicas, culturais, simblicas), as avaliaes externas sempre
desempenharam e continuam a desempenhar um papel significativo nas
polticas pblicas de educao. Talvez porque a teoria que fundamenta a
sua utilizao para reformar e melhorar os sistemas educativos seja
persuasiva, convincente e politicamente poderosa. E isto porque, em geral,
h uma predisposio quase natural por parte das sociedades para
associarem as avaliaes externas exigncia, ao rigor e, em ltima
anlise, garantia de qualidade dos sistemas de ensino. Talvez porque,
numa diversidade de setores das sociedades, inclusive no acadmico, se
considere que os sistemas de avaliao externa apresentam vantagens que
podem compensar as suas reconhecidas desvantagens. Mas tambm
porque tais sistemas so mais baratos do que os que investem deliberada e
abertamente em programas sistemticos de apoio e de formao s escolas
e aos professores.
Seria ingnuo considerar-se que, em si mesmas, as avaliaes externas so
boas ou so ms. De facto, a utilizao que delas se faz, assim como os
seus propsitos e as suas relaes com as avaliaes internas e com o
currculo, que, em muito boa medida, podero determinar o seu real
significado e o seu real impacto, nomeadamente no que se refere
melhoria dos sistemas educativos. Ou seja, no que se refere s suas
relaes com a melhoria da qualidade do ensino dos professores e das
aprendizagens das crianas e dos jovens.
1

Instituto de Educao Universidade de Lisboa.

22

Seria igualmente ingnuo pensar-se que as avaliaes internas, da


responsabilidade exclusiva dos professores e das escolas, so, por si ss, a
garantia da qualidade que se almeja para os sistemas educativos. Portugal
, a este propsito, um excelente exemplo de que as avaliaes internas,
por si prprias, no so a panaceia que permite melhorar a educao e a
formao dos estudantes. Na verdade, durante largos anos a avaliao
interna predominou (e ainda predomina) fortemente no nosso sistema
educativo, chegando a ser exclusiva em todo o ensino bsico, e nem por
isso deixmos de ter taxas de reteno sem qualquer paralelo no contexto
europeu (Fernandes, 2007, 2009). Ou seja, supostamente, os alunos no
aprendiam o que era suposto que aprendessem. Note-se que ainda hoje,
apesar da introduo de exames nacionais a Matemtica e a Lngua
Portuguesa nos anos terminais de cada um dos trs ciclos do ensino
bsico, a avaliao interna ainda claramente predominante no nosso
sistema de ensino. Como bvio, no qualquer avaliao interna que
permite apoiar os alunos nos seus processos de aprendizagem e a
investigao tem mostrado dificuldades das escolas e dos professores para
desenvolverem prticas de avaliao consistentes com aquele propsito
fundamental; a ao poltica, por seu lado, no tem, em geral, sido
orientada para ajudar a superar tais dificuldades. Alm do mais, so
igualmente conhecidos outros problemas relacionados com as avaliaes
internas, como o caso da sua consistncia, da sua validade e da sua
prpria credibilidade (e.g., Black e Wiliam, 2006; Stobart, 2006). No que
se refere s avaliaes externas, como se ver mais adiante, h tambm
problemas bem identificados que podem questionar a credibilidade que,
em geral, lhe atribuda pela sociedade.
A ideia de que podemos ter melhores sistemas educativos, isto , onde
todos os estudantes possam aprender melhor e com mais significado,
continua a orientar os esforos de investigadores, professores e outros
profissionais da educao e da formao. Mas tambm os esforos de
agentes polticos, de governantes e de uma grande diversidade de
organizaes/instituies e de cidados indiferenciados. E essa ideia traz
normalmente associada a existncia de sistemas de avaliao externa, mais
ou menos preponderantes, mais ou menos articulados com a avaliao
23

interna, mais ou menos decisivos para o progresso acadmico dos


estudantes.
A questo que se poder formular, apesar de todas as reconhecidas
dificuldades, a de saber se possvel termos sistemas de avaliao
externa que contribuam para que todos os alunos possam aprender mais e,
sobretudo, melhor, com mais significado. Associada a esta questo surgem
normalmente muitas outras tais como a de saber se possvel termos
sistemas de avaliao externa que no excluam certos grupos, com
determinadas caratersticas sociais e econmicas ou outras, e se as
avaliaes externas podem integrar sistemas mais inteligentes, que as
articulem melhor com as avaliaes internas.
Foi a partir das consideraes acima explicitadas que organizei este
trabalho, explorando teoricamente a possibilidade da complementaridade
das avaliaes internas e externas e produzindo reflexes e recomendaes
para que estas ltimas possam ser mais adequadas e mais relacionadas
com a melhoria das aprendizagens dos estudantes e da qualidade dos
sistemas educativos.

A avaliao em educao um domnio do conhecimento que se tem


vindo a estabelecer e a consolidar na academia sobretudo a partir de
meados do sculo passado, na sequncia do vendaval que assolou o
chamado mundo ocidental, aps o lanamento do sputnick por parte da
ento Unio Sovitica. Nessa altura, todos os sistemas educativos
ocidentais iniciaram profundas reformas, sobretudo nas cincias fsicas e
naturais e na matemtica, destinadas a melhorar a competncia
tecnolgica do ocidente. O desenvolvimento dessas reformas e dos
programas de ao a elas associados foi invariavelmente monitorizado
atravs da utilizao sistemtica de estudos de avaliao.
Consequentemente, a avaliao como disciplina desenvolveu-se
significativamente tendo-se estabelecido os seus conceitos estruturantes
como o caso da avaliao formativa e da avaliao sumativa,
introduzidos em 1967 por Michael Scriven no contexto da avaliao de

24

programas e, em 1971, em contextos de avaliao das aprendizagens, por


Benjamim Bloom e colaboradores (Bloom Hastings e Madaus, 1971;
Scriven, 1967). Por outro lado, foram sendo discutidos e clarificados os
seus propsitos (e.g., discernir qualidade, compreender, certificar,
melhorar, comparar, ajuizar), as suas funes (e.g., informar a sociedade
acerca da qualidade dos objetos avaliados, orientar tomadas de deciso), o
papel dos avaliadores e dos participantes nos processos de avaliao (e.g.,
mais ou menos intervenientes, mais ou menos distanciados, mais ou
menos empenhados, mais ou menos comprometidos com causas sociais
e/ou polticas).
Qualquer discusso acerca da avaliao como disciplina, como domnio
do conhecimento, no pode ignorar as questes epistemolgicas,
ontolgicas e metodolgicas que lhe so subjacentes e que, no fundo,
determinam a existncia de uma diversidade de perspetivas e de
abordagens como, por exemplo, as que foram definidas por Stufflebeam
(2000). A construo terica no domnio da avaliao reside precisamente
no desenvolvimento de tais abordagens de avaliao a partir das prticas e
das perspetivas ideolgicas, filosficas e sociais dos respetivos autores
(Fernandes, 2010, 2013). De modo geral, as avaliaes podem ser mais ou
menos inspiradas na lgica da cincia ou em lgicas emergentes
associadas a racionalidades de natureza crtica. A lgica clssica da
avaliao, que segue a lgica da produo cientfica de conhecimento,
bastante simples e desenvolve-se em quatro etapas: a) definio de
critrios; b) estabelecimento de standards ou normas de consecuo dos
critrios; c) definio de um processo de medida; e d) formulao de um
juzo acerca do valor e do mrito do objeto avaliado atravs da anlise
feita aos resultados obtidos na etapa anterior. Trata-se de uma lgica
baseada em critrios em que a medida e os esforos para se conseguirem
obter avaliaes to objetivas quanto possvel assumem uma particular
relevncia. Assim, nas avaliaes baseadas no pensamento criterial
predominam os chamados mtodos quantitativos e, por natureza, a
participao dos diversos intervenientes e, em particular, dos avaliados ,
em regra, bastante limitada. Alm do mais, esto mais centradas nos
resultados e os avaliadores procuram ser neutros, isto , procuram manter25

se distantes em relao s realidades ou aos fenmenos sociais que esto a


estudar para que, desse modo, no os contaminem nem se deixem
contaminar por eles. Muitas das avaliaes contemporneas, como o
caso das avaliaes externas, assentam significativamente nesta lgica
criterial de avaliao que, como se imagina, exige um grande esforo na
definio de critrios, que uma tarefa bastante complexa e difcil, e na
construo de instrumentos que permitam, digamos assim, medir a
consecuo dos critrios tendo em conta os standards ou normas
estabelecidos. Esta ltima tarefa, no contexto da avaliao externa das
aprendizagens, igualmente de grande complexidade e, como sabido,
tem-se baseado na Teoria Clssica dos Testes e, mais recentemente, na
Teoria de Resposta ao Item. Medir rigorosamente o que os estudantes
sabem e so capazes de fazer exige a mobilizao de uma diversidade de
disciplinas (e.g., pedagogia, currculo, avaliao, psicologia, estatstica) e,
ainda assim, os seres humanos no podem afirmar, acima de qualquer
suspeita, que um dado teste mede exatamente o que os alunos sabem ou
so capazes de fazer relativamente a um dado domnio do currculo (ver,
por exemplo, Madaus, Russell e Higgins, 2009). Isto no significa,
obviamente, que os testes ou os exames no produzam resultados
credveis, plausveis, justos e teis. O que significa que os testes ou os
exames, se quisermos, no so prova de imprecises e at de erros, no
podemos dizer que so um valor absoluto e isso tem que ser tido na devida
conta. Por outro lado, o tratamento estatstico que se faz aos resultados das
avaliaes em larga escala, incluindo as de natureza internacional, tambm
no est isento de problemas que necessitam de ser resolvidos (ver, por
exemplo, Goldstein, 1996, 2004).
Nos ltimos anos, face s limitaes das abordagens criteriais, pois nem
tudo pode ser objeto de medida, e ao crescente reconhecimento e aceitao
de epistemologias e de racionalidades de raiz mais crtica e sociocrtica na
construo do conhecimento, passaram a valorizar-se abordagens de
avaliao baseadas nas experincias pessoais das pessoas, nas suas
prticas e nas suas avaliaes tcitas ou informais. Nestas abordagens, que
do uma particular relevncia aos processos e s atividades desenvolvidas,
utilizam-se frequentemente dados de natureza qualitativa, promove-se a
26

participao mais ativa dos participantes e intervenientes e assume-se


claramente a subjetividade, sem receios de que esta possa retirar rigor s
avaliaes e aos seus resultados. As perspetivas de avaliao orientadas
por uma forte agenda social, isto , claramente comprometidas com
processos de melhoria da vida social, econmica e poltica das sociedades
(e.g., House & Howe, 2003; Patton, 2003; Guba e Lincoln, 1989; Stake,
2006) tm subjacentes as caratersticas essenciais das abordagens que do
particular relevncia aos significados que as pessoas atribuem s suas
experincias e s suas prticas. A lgica, no mbito destas abordagens e
perspetivas, est mais diretamente relacionada com a argumentao, com a
procura da credibilidade e da plausibilidade, assumindo que a verdade, a
certeza, as concluses definitivas, no so alcanveis numa avaliao, tal
como acontece, em muito boa medida, nas cincias fsicas ou na
matemtica (ver, por exemplo, House, 2000; House e Howe, 1999; Howe,
2003). Mas nunca ser demais sublinhar que, ainda assim, as avaliaes
contribuem para que se possa conhecer e compreender bem uma
diversidade de objetos e de processos com eles relacionados (e.g.,
aprendizagens, desempenhos profissionais, qualidade da formao,
projetos e programas educacionais) e, dessa forma, podem contribuir para
os regular, reorientar e melhorar.
Relativamente a estas duas classes de abordagens A Avaliao Baseada
em Critrios e a Avaliao Baseada nas Prticas e/ou na Experincia
Pessoal , seria eventualmente limitador consider-las inconciliveis e
dicotmicas. certo que os fundamentos de uma e de outra pressupem
diferentes epistemologias, diferentes lgicas de produo de
conhecimento, mas tambm certo que muito dificilmente poderemos
produzir boas e significativas descries da realidade se ignorarmos uma
delas, seja ela qual for. Ambas so necessrias e ambas devem ser
utilizadas inteligente e articuladamente. A este propsito diz-nos Robert
Stake, que aqui traduzo livremente: A experincia no garante uma
interpretao correta mas a sua ausncia praticamente uma garantia para
uma interpretao incorreta (Stake, 2006, p. 134). Sendo a avaliao, no
essencial, um processo deliberado e sistemtico de recolha de informao
que permite a formulao de juzos acerca da qualidade de um dado
27

objeto, parece bvio que relevante produzir descries to ntidas quanto


possvel desse mesmo objeto. E, por isso mesmo, interessa que se
articulem perspetivas e vises que aquelas abordagens proporcionam
sobre as realidades que se pretendem conhecer e compreender. Olhar para
a realidade sob diferentes pontos de vista pode proporcionar leituras mais
profundas e mais compreensivas dessa mesma realidade.
O que parece ser importante sublinhar nesta altura a existncia de um
domnio do conhecimento a Avaliao , que informa as aes dos
seres humanos em matrias como a avaliao externa das aprendizagens
dos alunos. Porm, a avaliao no , por natureza, uma cincia exata e,
nesse sentido, no produz, normalmente, resultados exatos ou certos. No
entanto, espera-se que esses resultados sejam reconhecidamente teis,
plausveis e credveis. E que sejam eticamente adequados e to rigorosos
quanto possvel. A avaliao, como construo social que , implica
negociao e interao com uma diversidade de intervenientes que esto
mais ou menos interessados nos seus processos e resultados e que podem
ser mais ou menos afetados por eles. Consequentemente, a subjetividade
faz parte de qualquer processo de avaliao e necessrio compreender
que isso no significa que seja pouco rigorosa ou pouco credvel e, muito
menos, que seja totalmente arbitrria. A avaliao tem mtodo, tal como a
investigao, e, consequentemente, utiliza procedimentos e tcnicas
prprios desse mtodo, que lhe conferem rigor e que permitem credibilizar
os seus resultados.
Pense-se, por exemplo, no processo de definio dos critrios que
orientam a elaborao de um exame. Na verdade, um processo que
culmina em decises que so socialmente construdas pois decorrem de
discusses entre uma diversidade de intervenientes que, naturalmente,
tero perspetivas sociais, polticas e pedaggicas diferentes. , de facto,
um processo eminentemente subjetivo ou, se quisermos, intersubjetivo, e
no ser por isso que o exame ser menos rigoroso. Muito pelo contrrio.
Deste modo, nunca ser demais referir que a avaliao no uma mera
medida pois inclui prticas sociais que so muito exigentes e sofisticadas,
incluindo componentes subjetivas que no se podem ignorar. Mas

28

igualmente importante sublinhar que, quando estamos a falar da avaliao


no mbito de sistemas sociais nos domnios da sade, da educao, da
segurana social e da justia, temos que pensar que o sucesso de qualquer
sistema credvel de avaliao depende, antes do mais, do seu sucesso
poltico. Um sistema de avaliao das aprendizagens num dado pas ser,
antes do mais, uma questo poltica que, naturalmente, ter relaes mais
ou menos complexas, mais ou menos evidentes, com o conhecimento, com
as teorias. As questes tcnicas e tecnolgicas, que so de grande
relevncia na produo das avaliaes externas (ver, por exemplo,
Madaus, Russell e Higgins, 2009), so obviamente equacionadas na
sequncia das decises polticas.

A avaliao do que os alunos sabem e so capazes de fazer, vulgo


avaliao das aprendizagens, uma rea prtica, ou, como alguns autores
preferem, uma rea aplicada do domnio do conhecimento da avaliao.
Esta uma constatao evidente mas da qual preciso retirar as devidas
ilaes. De facto, importante compreender que a avaliao das
aprendizagens est indelevelmente associada avaliao como domnio
do conhecimento e, consequentemente, discusso acerca das suas
questes crticas fundamentais (e.g., fundamentos, propsitos, funes,
adequao tica). Isto significa que as decises que se tomam
relativamente chamada avaliao dos alunos ao nvel do sistema
educativo, ao nvel da escola e ao nvel da sala de aula no podem deixar
de estar vinculadas a perspetivas e abordagens tericas que se tm vindo a
construir no domnio da avaliao em geral. Dito de outra forma, as
opes que se tomam no domnio da avaliao interna ou externa das
aprendizagens, a qualquer nvel, esto sempre vinculadas a
enquadramentos tericos e conceptuais que, invariavelmente, incluem uma
das seguintes possibilidades: a) uma ou mais abordagens baseadas em
critrios; b) uma ou mais abordagens baseadas nas prticas e/ou na
experincia das pessoas; e c) uma qualquer combinao entre as
abordagens referidas em a) e em b).

29

A reflexo acerca dos modelos de utilizao das avaliaes internas e


externas nas polticas pblicas de educao no pode deixar de ter
presente a discusso anterior mas, como evidente, ela tem
essencialmente a ver com o que pretendemos que as escolas sejam agora e
no futuro. , por isso, um debate que est sempre imbudo de valores,
perspetivas, ideologias e polticas acerca da educao, das escolas e, em
ltima anlise, acerca da sociedade em que se pretende viver.
Em Portugal, por exemplo, houve uma significativa evoluo nos ltimos
50 anos no que se refere ao papel que a avaliao das aprendizagens dos
alunos deveria ter no sistema de ensino. No estertor do Estado Novo, a
avaliao interna era essencialmente baseada nos chamados pontos (testes)
e nas chamadas orais e o seu principal objetivo era classificar os alunos
para decidir acerca da sua progresso acadmica. A avaliao externa
consubstanciava-se em exames nacionais administrados nos finais dos
diferentes ciclos de escolaridade a praticamente todas as disciplinas do
currculo. Os exames tinham uma ponderao de 100% e, assim, a
avaliao interna, da responsabilidade dos professores e das escolas, no
era objeto de qualquer valorizao para efeitos de certificao, servindo
exclusivamente para determinar quais os alunos que transitavam de ano e,
nos anos terminais, quais os que poderiam ir a exame. A certificao era
exclusivamente determinada pela avaliao externa. Estvamos ento
perante uma avaliao consistente com um sistema de ensino
essencialmente discriminatrio e fortemente seletivo ao servio dos
propsitos do regime ditatorial sob o qual ento se vivia em Portugal
(Fernandes, 2014).
A partir de 1974 iniciou-se inevitavelmente a construo de um sistema de
avaliao das aprendizagens dos alunos consistente com os valores de uma
sociedade democrtica e com um sistema educativo mais inclusivo. A
publicao do Despacho n. 98-A/92, de 20 de junho, cerca de 18 anos
aps a instaurao da democracia, marcou indelevelmente a histria da
avaliao das, e para as, aprendizagens, pois consagrou princpios,
contedos e mtodos consentneos com a ideia de que, antes do mais, a
avaliao interna deve estar orientada para melhorar o ensino dos

30

professores e as aprendizagens dos alunos. (Fernandes, 2014, p. 255). O


Despacho, referente ao ensino bsico, enunciou trs princpios que ainda
hoje estruturam a arquitetura do sistema de avaliao dos alunos no nosso
pas: a) o predomnio da avaliao formativa nas avaliaes internas,
tendo em vista a regulao e a melhoria do ensino e das aprendizagens; b)
o predomnio da avaliao interna, assumindo os professores e as escolas
um relevante papel nos processos de avaliao dos alunos; e c) o
predomnio da lgica de ciclo de escolaridade, e no de ano, no que se
refere s tomadas de deciso relativas progresso acadmica dos alunos.
Pode afirmar-se que, no plano do currculo proposto, o sistema de
avaliao dos alunos do ensino bsico obedece, ainda hoje, a estes
princpios, apesar da introduo progressiva de exames de Matemtica e
de Lngua Portuguesa nos anos terminais dos ciclos da escolaridade
bsica. Pode afirmar-se ainda que as mudanas de governos e de polticas
e dos correspondentes discursos e prticas no tm alterado, em termos
legislativos e normativos, um sistema que se pode considerar progressivo
e cujos princpios fundadores so, nas grandes linhas, consistentes com as
recomendaes constantes na literatura nacional e internacional.
Apesar do sistema de avaliao constante no currculo proposto se basear
em princpios pedaggicos, em teorias do currculo, das aprendizagens e
da avaliao que merecem um alargado consenso na comunidade
educativa, a verdade que persistem os problemas endmicos do sistema
educativo portugus. Principalmente a utilizao quase exclusiva da
avaliao para classificar os alunos, os nveis anormalmente elevados de
reteno e os resultados ainda modestos em provas de avaliao externa
(nacionais ou internacionais), sobretudo quando as questes exigem a
mobilizao, a integrao e a aplicao de conhecimentos. Avaliar para
classificar, para selecionar ou para certificar continuam a ser as
preocupaes dominantes. Por isso, as polticas pblicas de educao
deveriam estar mais focadas na real introduo de prticas sistemticas de
avaliao formativa nas salas de aula para apoiarem os alunos a
aprenderem melhor, com mais profundidade e significado (Fernandes,
2005, 2006a, 2007, 2009).

31

Como j se referiu, o impacto do Despacho n. 98-A/92 foi muito


significativo na sociedade portuguesa e, muito particularmente, nos meios
escolares e acadmicos, porque consagrou de uma forma nunca antes vista
um conjunto de princpios que tinha implicaes profundas nas formas de
encarar o ensino, a aprendizagem e a avaliao. Dir-se-ia que tais
princpios obrigavam a repensar a prpria escola e os modos de trabalhar
nas salas de aula. Por isso, a avaliao das aprendizagens assumiu uma
centralidade at a nunca vivida no sistema educativo portugus, tendo
sido objeto de um conjunto de medidas de poltica que, no essencial,
consistiram na formao de professores, em sesses de esclarecimento e
na produo e divulgao de materiais de apoio. A maioria daquelas
medidas foram concebidas e desenvolvidas pelo Instituto de Inovao
Educacional (IIE), que, mais tarde, viria a ser extinto. Gerou-se ento uma
dinmica, pouco usual nos meios da educao, em torno da questo da
avaliao das aprendizagens que se pode enquadrar no mpeto reformista
do ministro Roberto Carneiro, na sequncia da publicao da Lei de Bases
do Sistema Educativo (Lei n. 46/86, de 14 de outubro). Efetivamente a
Lei de Bases definiu uma Agenda para o desenvolvimento da educao em
Portugal e Roberto Carneiro, na vigncia do XI Governo Constitucional,
tomou um conjunto de medidas que abriram caminho modernizao e
desenvolvimento do sistema democrtico de ensino, como o caso das
que foram tomadas no domnio da avaliao das aprendizagens dos
alunos. Alguns aspetos dessa dinmica, eventualmente por efeito de
inrcia, ainda perduraram no sistema por algum tempo, j na vigncia do
XII Governo Constitucional, sobretudo com a equipa do ministro Couto
dos Santos.
O impacto do Despacho n. 98-A/92 foi de tal modo significativo na
sociedade portuguesa que acabou por deixar na penumbra o Despacho n.
338/93, de 21 de outubro. Este Despacho consagrou essencialmente os
mesmos princpios mas o seu verdadeiro alcance e, se quisermos, a sua
novidade, foi a reintroduo dos exames nacionais no ensino secundrio
com o duplo propsito de certificao e de acesso ao ensino superior.
Assim, a partir de 1995/1996, o sistema de avaliao das aprendizagens
dos alunos, atravs dos exames nacionais, no mais deixou de marcar
32

profundamente o sistema educativo portugus ainda que o seu peso para


efeitos de certificao fosse apenas de 30%, em contraste com o peso de
70% atribudo avaliao interna, da responsabilidade integral dos
professores e das escolas. Esta relao foi mantida na introduo
progressiva dos exames de Matemtica e de Lngua Portuguesa, primeiro
no 9. ano de escolaridade, em 2004/2005, e, mais recentemente, no 4. e
no 6. anos de escolaridade, 2012/2013 e 2011/2012, respetivamente. Para
efeitos de acesso ao ensino superior aquelas ponderaes so de 50% para
a avaliao interna e 50% para a avaliao externa nas disciplinas
especficas.
A introduo dos exames acabou por induzir, pela primeira vez em
Portugal, a criao de uma estrutura com os propsitos de conceber,
produzir e desenvolver instrumentos de avaliao externa das
aprendizagens (e.g., provas aferidas, exames). Efetivamente, atravs do
Decreto-Lei n. 229/97, de 30 de agosto, foi criado o Gabinete de
Avaliao Educacional (GAVE), que viria a ser extinto e substitudo pelo
Instituto de Avaliao Educativa, I.P. (IAVE, IP), criado pelo Decreto-Lei
n. 102/2013, de 25 de julho. No essencial o IAVE cumpre as mesmas
funes do extinto GAVE. Estas estruturas vieram profissionalizar a
conceo e a elaborao dos instrumentos de avaliao externa e
permitiram melhorar significativamente a sua qualidade. Porm, isto no
significa que no subsistam problemas para resolver (e.g., questes
relacionadas com a validade e fiabilidade das provas, com a fiabilidade
entre corretores, com a anlise estatstica dos resultados).
As provas aferidas previstas nos Despachos que se vm referindo
acabaram por ser aplicadas regularmente no ensino bsico a partir do ano
2000, sempre nas disciplinas de Matemtica e de Lngua Portuguesa. O
potencial destas provas para que o pas pudesse ter acesso a dados de
qualidade sobre as aprendizagens dos alunos num espetro alargado de
disciplinas era real e significativo mas foi completamente desperdiado.
Tudo isso porque as provas, a sua natureza, os seus propsitos e a sua
insero no sistema educativo e no sistema de avaliao das aprendizagens
nunca chegaram a ser realmente compreendidos por uma diversidade de

33

intervenientes com responsabilidades no processo. Politicamente falando,


nunca chegou a haver verdadeiramente uma ideia para as provas aferidas
que as integrasse num todo coerente de contribuies para a avaliao dos
alunos, das escolas e do sistema. Nunca se criou um programa de
investigao para descrever, analisar e interpretar os dados obtidos e que
fosse capaz de intervir no sentido de fazer recomendaes que apoiassem
as polticas pblicas de educao, as escolas e os professores. Os poucos
relatrios que se elaboraram no tiveram nunca esse propsito
fundamental. Nestas condies, as provas foram sendo desvalorizadas
acabando por ser gradualmente substitudas pelos atuais exames. No
cabendo no mbito deste artigo elaborar sobre esta matria, pode o leitor
consultar uma detalhada discusso sobre as provas aferidas em Fernandes
(2005).
Portugal aderiu aos estudos internacionais de avaliao das aprendizagens
em 1991, atravs da participao no International Assessment of
Educational Progress II (IAEP II) promovido pelo Educational Testing
Service (ETS) dos Estados Unidos da Amrica. Tratou-se de um estudo no
domnio da Matemtica e das Cincias, em que participaram 20 pases que
testaram conhecimentos de alunos com 13 anos de idade que
frequentavam a escola. Na segunda metade dos anos 90, Portugal
participou no Third International Mathematics and Science Study
(TIMSS), da responsabilidade da International Association for the
Evaluation of Educational Achievement (IEA), destinado a alunos de 9
anos (3 ou 4 anos de escolaridade) e de 13 anos (7 ou 8 anos de
escolaridade), que foram testados nos domnios curriculares da
Matemtica e das Cincias. Alm disso, em 2000, o nosso pas tambm
participou na primeira edio do Programme for International Student
Assessment (PISA), da responsabilidade da OCDE. De ento para c a
participao portuguesa nos estudos internacionais promovidos pela IEA e
pela OCDE tem sido uma constante. Mas, como j referi em trabalhos
anteriores (e.g., Fernandes, 2005, 2007, 2009), durante um perodo
relativamente longo (1991-2003), esta participao foi algo inconsequente
e parece nunca ter obedecido a qualquer poltica deliberada e com
propsitos claros. Uma das consequncias da ausncia de uma poltica de
34

participao nas avaliaes internacionais foi a forma como os resultados


foram sendo apresentados pela comunicao social e apreendidos pela
sociedade: uma espcie de classificao e ordenao de pases como se de
um campeonato de futebol se tratasse. Outra consequncia foi a ausncia
de qualquer anlise mais fina e contextualizada dos dados referentes a
Portugal que permitisse compreender melhor a distribuio dos resultados.
Ainda outra teve a ver com o facto de nunca ter sido claro para largos
setores da sociedade e provavelmente para uma diversidade de
responsveis polticos que a amostragem, sobretudo nas primeiras sries
do PISA, prejudicou sempre a participao portuguesa. Repare-se que as
amostras chegaram a incluir alunos com 15 anos que frequentavam o 5
ano de escolaridade quando a grande maioria dos jovens da mesma idade
dos outros pases europeus participantes frequentavam o 10 ou o 11 anos
de escolaridade. Finalmente, apesar da clara evoluo verificada na
construo de itens e de testes e na sua administrao, na elaborao e
utilizao de critrios de correo, na anlise de dados e na
contextualizao das avaliaes, persistem problemas que ainda no esto
resolvidos e que tm que ser tidos em conta. Beaton, Postlethwaite, Ross,
Spearritt & Wolf (2000), Goldstein (1996, 2004), Kellaghan (2003),
Kellaghan & Grisay (1995) e Riley & Torrance (2003) so autores de
referncia que tm sinalizado problemas que persistem nos estudos
internacionais de avaliao e que aconselham uma leitura cuidada e to
informada quanto possvel dos seus resultados.
Em suma, durante aquele perodo (1991-2003), no se conhecem reais e
significativas consequncias polticas, pedaggicas ou outras da
participao portuguesa nos estudos internacionais de avaliao das
aprendizagens. Para alm de uma certa transferncia de tecnologia
relacionada com os processos, tcnicas e procedimentos inerentes
conceo, administrao e tratamento de dados, no se conseguem
vislumbrar quaisquer relaes que se tivessem estabelecido e assumido
politicamente. Por isso, razovel afirmar-se que no houve propriamente
uma viso poltica para a avaliao das aprendizagens dos alunos e, talvez
mais importante, uma poltica global e integrada que a enquadrasse na
melhoria do desempenho do sistema educativo portugus, onde tivemos e
35

continuamos a ter problemas srios, apesar das melhorias j alcanadas.


Porm, como se ver na discusso que se segue, esta situao passou a ser
encarada de forma distinta nos anos que se seguiram.

A partir do segundo lustro do sculo XXI as polticas pblicas para a


educao em Portugal assumiram, de uma forma at a nunca vista, a
participao nas avaliaes internacionais com claro destaque para o
PISA. Parece ter-se partido do princpio de que era possvel melhorar os
resultados dos alunos nessas avaliaes atravs de um conjunto de
medidas de poltica destinadas a melhorar a qualidade do ensino e das
aprendizagens. Efetivamente, ao longo de vrios anos, foi concebido e
posto em prtica um conjunto de programas para a qualidade (Rodrigues,
2010), abrangendo uma grande variedade de domnios (e.g., Plano de
Ao para a Matemtica, Plano Nacional de Leitura, Escola a Tempo
Inteiro, Avaliao Externa das Escolas). Todas estas medidas foram
propositada e deliberadamente postas em prtica para melhorar o
desempenho do sistema educativo atravs do envolvimento e da
participao informada dos principais intervenientes e atravs de uma
diversidade de aes (e.g., formao dos professores, equipamento das
escolas). Parece ser legtimo considerar que houve uma relao mais ou
menos estreita entre as polticas e as medidas delas decorrentes e a
avaliao externa das aprendizagens preconizada pela OCDE atravs do
PISA.
Mas tambm importante sublinhar que, das medidas que ento foram
postas em prtica, algumas delas (e.g., no mbito da Matemtica, das
Cincias e da Lngua Portuguesa) foram reconfiguraes,
aprofundamentos e melhoramentos de medidas que j tinham sido postas
em prtica anteriormente, nomeadamente no mbito da chamada reviso
curricular do ensino secundrio ocorrida no final dos anos 90 (Fernandes,
2006b). Neste tempo, como acima j se referiu, no havia qualquer
poltica pensada e deliberada relativamente participao de Portugal no

36

PISA. O poder poltico ou, pelo menos, uma parte dele, parecia dar
mostras de alguma relutncia em relao a tal participao e, no entanto,
aprovou medidas de ao para melhorar o ensino e as aprendizagens dos
alunos em diferentes domnios disciplinares do currculo. O que se
pretende aqui dizer com esta observao que o pas tem desenvolvido,
em diferentes tempos e contextos, polticas educativas que no so
necessariamente decorrentes da sua participao nos estudos
internacionais ou das presses de organismos internacionais.
Voltando s medidas de poltica empreendidas a partir de 2005, o
chamado Plano de Ao para a Matemtica um exemplo de como foi
possvel articular os esforos dos investigadores, dos formadores, dos
professores, das escolas e da administrao, no sentido de alterar positiva
e significativamente as formas de ensinar e de aprender, como ilustram as
avaliaes que ento se realizaram (e.g., Fernandes, Borralho, Vale,
Gaspar e Dias, 2011; Fernandes, Vale, Borralho, e Cruz, 2010).
Efetivamente, tal como referido nestes relatrios de avaliao, geraramse dinmicas de trabalho nas escolas, na participao dos professores e na
cooperao entre instituies do ensino bsico e do ensino superior que
favoreceram a criao de ambientes mais propcios ao desenvolvimento da
qualidade do ensino e das aprendizagens.
O que, de algum modo, pode ser considerado surpreendente nas polticas
pblicas que ento foram postas em prtica o facto de a participao
numa avaliao externa internacional ter sido um motivo deliberadamente
assumido para melhorar o ensino e a aprendizagem e o desempenho do
sistema educativo. Ainda que no seja legtimo estabelecer relaes de
causa e efeito entre as medidas postas em prtica e os resultados dos
alunos nas edies de 2009 e 2012 do PISA, a verdade que tais
resultados melhoraram significativamente. De igual modo, ao contrrio
das expetativas menos positivas que se poderiam ter em relao aos
resultados dos alunos nos exames de Matemtica e de Lngua Portuguesa
no final do ensino bsico, a verdade que, entre 2008 e 2011, a maioria
dos alunos teve notas positivas nesses mesmos exames (PORDATA,
2014).

37

Houve algo de novo que merece ser analisado e aprofundado pois, tanto
quanto possvel compreender atravs dos estudos de avaliao ento
desenvolvidos (e.g., Fernandes et al., 2010, 2011), os professores no
foram propriamente mobilizados para preparar os alunos para o PISA ou
para os exames, nem as escolas foram transformadas numa espcie de
centros de explicaes. Parecia haver uma ideia acerca do que a escola
pblica podia ser, acerca dos meios existentes e acerca das medidas que
era necessrio pr em prtica. Como referi mais acima necessrio ter
uma viso integrada e global dos problemas educativos e, acima de tudo,
tal como nos dito por Barnett (2009), ter pensamento relativamente ao
projeto de inteligncia que o currculo deve ser e tambm relativamente
escola que se pretende ter e que se quer construir. S a partir dessa
elaborao de ideias se podero pr em prtica medidas de poltica que
permitam combater alguns dos principais e endmicos males do sistema
educativo portugus tais como a reteno e o abandono escolar. Por isso
mesmo, em funo do que se pde constatar naquele perodo de tempo,
pode fazer sentido pensar-se numa nova gerao de polticas pblicas para
a educao, baseada em medidas concretas, focadas nas aprendizagens dos
alunos e na cooperao e colaborao privilegiadas com uma diversidade
de intervenientes. Deste modo, parece ser possvel lidar mais eficazmente
com a complexidade dos problemas.
Apesar do que acabou de ser discutido, continua a fazer sentido e a ser
necessrio refletir acerca de questes tais como: Em que medida que as
avaliaes externas, nacionais ou internacionais, asseguram um ensino e
aprendizagens de elevada qualidade? Em que medida que tais avaliaes
contribuem para resolver uma variedade de problemas que afetam os
sistemas educativos (e.g., qualidade do ensino, qualidade das
aprendizagens, oportunidades para aprender, clareza acerca do que
importante ensinar e aprender)? Embora se tenha apresentado um exemplo
sugerindo que a conjugao das avaliaes externas com um conjunto
global e integrado de medidas orientadas para melhorar as aprendizagens e
o ensino teve efeitos positivos no desempenho do sistema educativo, as
respostas quelas questes esto longe de estar bem estabelecidas.

38

As avaliaes externas ou, se quisermos, os exames, tm propsitos que


no esto propriamente focados na melhoria das aprendizagens tais como:
a) controlar, tendo em vista garantir que os contedos previstos no
currculo so ensinados e supostamente aprendidos por todos os alunos; b)
monitorizar, relacionado com a responsabilizao e a chamada prestao
de contas atravs dos resultados obtidos pelos alunos; c) certificar; e d)
selecionar, como , entre ns, o caso no acesso ao ensino superior por
parte dos jovens que concluem o ensino secundrio (e.g., Kellaghan e
Madaus, 2003). Obviamente que no podemos ignorar algumas das
vantagens dos exames, partindo do princpio de que esto bem-feitos, tais
como: a) o efeito moderador que tm sobre as avaliaes internas; b) a
induo de prticas inovadoras de ensino e de avaliao; c) a contribuio
para se compreender melhor o desempenho dos sistemas educativos,
melhorando a tomada de decises; d) a informao que podem
proporcionar s escolas, aos professores e aos alunos relativamente ao que
importante ensinar e aprender; e e) a mobilizao das escolas e dos
professores para a eventual necessidade de reverem os seus processos de
trabalho, nomeadamente no que se refere aos projetos educativos e
organizao e desenvolvimento do ensino.
Porm, como de algum modo j atrs se referiu, as avaliaes externas das
aprendizagens esto igualmente associadas a um conjunto de desvantagens
das quais se destacam aqui o chamado estreitamento ou afunilamento do
currculo, que consiste na tendncia para que o ensino se centre no que
supostamente sai nos exames. Ou seja, s valorizado e, por isso, s
ensinado, o que examinado. Consequentemente, as disciplinas que no
so examinadas perdem o seu estatuto, a sua importncia e esvaziam-se. O
currculo inevitavelmente empobrecido pois domnios relevantes para a
formao das crianas e dos jovens podem no ser sequer abordados ao
longo da escolaridade. Outra desvantagem tem a ver com o facto de as
escolas serem induzidas a prestar mais ateno aos alunos que pensam
poder vir a ter sucesso nos exames em detrimento dos que tm
dificuldades ou em relao aos quais as expetativas so baixas.
Consequentemente, os exames podem induzir prticas discriminatrias

39

que levam excluso de alunos e, em particular, dos que so oriundos de


meios mais fragilizados econmica e socialmente.
A este propsito, Madaus, Russell e Higgins (2009) referem que as
avaliaes externas so um sistema paradoxal porque, por um lado,
produzem efeitos que podem ser considerados positivos e que so
deliberadamente desejados (e.g., cumprimento dos programas, utilizao
de estratgias de ensino e avaliao inovadoras, maior empenhamento dos
alunos, ensino mais orientado para questes consideradas fundamentais)
mas, por outro lado, produzem igualmente efeitos colaterais, no
desejados e no intencionais com consequncias francamente negativas e
que podem prejudicar os alunos e as famlias (e.g., estreitamento do
currculo, ensinar apenas para o exame, estudar apenas os assuntos que
supostamente saem no exame, abandono escolar precoce, reteno).
Todos os defensores das avaliaes externas concordam que aquilo que se
ensina e aquilo que se aprende , em muito boa medida, por elas
determinado. Nesse sentido, de acordo com vrios autores (e.g.,
Fernandes, 2005; Kornhaber, 2004; Madaus, Russell e Higgins, 2009), as
escolas e os seus professores utilizam uma diversidade de estratgias para
lidar com a questo dos exames tais como: a) desenvolver planos de
preparao especfica; b) planear aulas adicionais; c) treinar
especificamente as respostas a certas questes; d) treinar os alunos a
descartarem certas opes nas perguntas de escolha mltipla; e e) exercer
presso junto dos alunos com mais dificuldades para no irem a exame ou
para sarem da escola. Uma reflexo sobre estas estratgias pode mostrar
que h efeitos colaterais indesejveis e at condenveis que as avaliaes
externas podem gerar. E tambm pode contribuir para pensar acerca da
natureza e da profundidade das aprendizagens que so desenvolvidas
nestas condies. Poder eventualmente perguntar-se: em que medida
que responder acertadamente a um conjunto de perguntas constantes num
exame, traduz realmente aprendizagens seguras e profundas acerca de um
dado domnio do currculo?
Em suma, por um lado, tem-se verificado que os proponentes e defensores
das avaliaes externas como forma de medir o que os alunos

40

supostamente aprendem argumentam que os exames estabelecem metas


claras e, assim, as escolas e os professores orientam os seus esforos para
as capacidades e conhecimentos normalmente definidos no currculo. Mas,
por outro lado, os crticos desta abordagem referem que o ensino orientado
para a medida, baseado em exames, conduz inevitavelmente distoro e
estreitamento do currculo, empobrecendo-o, fragmentando-o e,
consequentemente, prejudicando a aprendizagem dos alunos (e.g., Gipps,
1994; Kellaghan, 2003, Kellaghan e Madaus, 2003, Kellaghan e Greaney,
2001). Porm, nenhum destes grupos tem conseguido demonstrar cabal e
irrefutavelmente as suas afirmaes e, nesta situao, a discusso mais
baseada nos valores, crenas e ideologias dos diferentes intervenientes do
que em qualquer racionalidade devidamente fundamentada. Assim, talvez
estejamos perante um domnio em que a persuaso, mais ou menos
fundamentada e baseada nas ideologias, crenas e valores dos
protagonistas, parece ter uma significativa relevncia. sabido, por
exemplo, que, tradicionalmente, para largos setores da opinio pblica, as
avaliaes externas, nacionais e internacionais, constituem smbolos e
medidas irrefutveis da qualidade dos sistemas educativos e,
concomitantemente, da qualidade dos seus professores, das suas escolas e
dos seus currculos. Porm, no h, como se disse, qualquer evidncia
cientfica que comprove essa ideia, essa crena. Para uma discusso
aprofundada sobre esta questo crtica vejam-se, por exemplo, para alm
da literatura acima referenciada, Harlen (2007), Kellaghan e Grisay
(1995), Kornhaber (2004) e Stobart (2008).
Nestas condies e sabendo-se igualmente que no h instrumentos, como
os exames, que sejam perfeitos, a questo pe-se em termos da
ponderao que se pode fazer entre os efeitos benficos e os efeitos
indesejveis e at prejudiciais que esto indelevelmente associados a
qualquer sistema de avaliao externa. Consequentemente, o exerccio que
ser sempre necessrio fazer consiste em determinar rigorosamente as
vantagens e benefcios e as desvantagens e prejuzos do sistema que
eventualmente se quer pr em prtica, para poder ser possvel decidir de
forma to equilibrada e to fundamentada quanto possvel.

41

Como se no bastassem j os pontos crticos enunciados, importa


igualmente ter em considerao que as avaliaes externas podem ser
utilizadas com diversas vantagens para auditar os sistemas educativos mas
no so normalmente consideradas adequadas para ajudarem a ensinar e a
aprender melhor. Por seu lado, as avaliaes internas, da responsabilidade
direta dos professores e das escolas, podem, comprovadamente, melhorar
significativamente o ensino e a aprendizagem mas, por razes j acima
apresentadas, dificilmente podero ser utilizadas para auditar um sistema
educativo. Consequentemente, parece que ambas devero ser
inteligentemente articuladas porque, por natureza e tendo em conta o
estado atual da discusso sobre estas questes, as avaliaes internas e
externas podero ser complementares. Na verdade, uma anlise das
vantagens e desvantagens de cada um dos sistemas mostra que a adeso
exclusiva e rgida a um deles ter implicaes negativas a vrios nveis.
Por isso, apostar na sua complementaridade e na sua articulao parece
poder ser o caminho mais adequado tal como, alis, vem sendo defendido
por vrios autores (e.g., Kornhaber, 2004; Madaus, Russell e Higgins,
2009).

Quando pensei num ttulo para este trabalho decidi incluir a expresso
Questes Crticas De Uma Relao (Im)Possvel porque, naturalmente,
pretendia apresentar e discutir alguns dilemas que surgem quando se pensa
na relao entre as avaliaes externas e a melhoria das aprendizagens dos
alunos. Atravs da expresso (Im)Possvel, pretendi desafiar o leitor
quanto possibilidade ou impossibilidade dessa relao. Assim, chegados
a este ponto, espero que tenha ficado claro que tal relao ser impossvel
se houver perspetivas que considerem que as avaliaes internas ou as
avaliaes externas, isoladamente consideradas, so a panaceia para a
resoluo dos problemas de aprendizagem existentes no sistema. Se, por
outro lado, reconhecermos que, cada uma delas, por si s, insuficiente
para enfrentar os problemas, porque ambas tm vantagens e desvantagens
que, sob muitos pontos de vista, se complementam, ento parece razovel
considerar-se que tal relao pode ser possvel.

42

Do ponto de vista do conhecimento produzido neste domnio, da teoria, se


quisermos, a relao entre as avaliaes externas e a melhoria das
aprendizagens possvel mas necessrio considerar e pr em prtica um
conjunto de aes. Limitar-me-ei, neste contexto, a referir as que me
parecem mais relevantes.
A triangulao de informao um princpio metodolgico sempre
aconselhvel quando se pretende melhorar a qualidade da informao
obtida. Neste sentido, face s limitaes das avaliaes internas e externas,
ser sempre positivo articular inteligentemente os dados obtidos atravs de
cada uma delas. Por outro lado, de acordo com os resultados da
investigao neste domnio, nenhuma deciso relativamente a questes
tais como a reteno dos estudantes, a sua insero em programas de
recuperao ou de remediao e certificao deveria ser tomada com
base no resultado de um nico teste ou exame externo (Kornhaber, 2004).
Sabe-se que, do ponto de vista da psicometria, as decises tomadas a partir
dos resultados de vrios testes so mais fiveis pois o erro de medida
menor, mas tambm se sabe que uma medida deste tipo quase
impraticvel ou mesmo totalmente impraticvel, por razes bvias. Eu
diria que indesejvel pois iria contribuir para o exacerbamento de
algumas das desvantagens das avaliaes externas. Consequentemente, a
articulao entre as avaliaes internas e externas parece ser um caminho
a aprofundar, sobretudo porque efetivamente atravs das primeiras que
os alunos podem aprender com profundidade, conforme est amplamente
evidenciado na literatura (ver, por exemplo, Black e Wiliam, 1998;
Gardner, 2006).
O sistema existente em Portugal, no que se refere s ponderaes das
avaliaes externas e internas para efeitos de certificao, tem-se mantido
desde os anos 90 e privilegia claramente o peso das avaliaes internas.
Porm, as avaliaes externas dificilmente podero ser associadas
melhoria das aprendizagens se no houver, por um lado, uma aposta
poltica clara no desenvolvimento das prticas ao nvel das avaliaes
internas e, por outro lado, um trabalho de aprofundamento das relaes
entre ambas as modalidades de avaliao. Isto significa que, em princpio,

43

as avaliaes externas s podero contribuir para melhorar as


aprendizagens dos alunos se estiverem fortemente articuladas com um
sistema de avaliao interna mais credvel e orientado para apoiar o ensino
e as aprendizagens. Assim, torna-se igualmente incontornvel apostar na
credibilizao das avaliaes internas atravs de sistemas delineados pelas
e nas escolas que promovam a articulao de processos e estratgias de
avaliao das aprendizagens que ajudem os alunos a aprender e que
contribuam para melhorar a sua validade e a sua fiabilidade. No limite, um
sistema com uma avaliao interna credvel dispensaria a avaliao
externa. Na verdade, uma das razes que justifica a utilizao das
avaliaes externas o facto de as avaliaes internas no serem
suficientemente credveis (e.g., vlidas, fiveis) para poderem ser
consideradas para efeitos de responsabilizao e de prestao de contas,
exigncias dificilmente contornveis nas sociedades atuais. Mas, tambm
aqui, as avaliaes internas tero um papel cada vez mais significativo
medida que a sua credibilidade se for estabelecendo.
Outra questo que necessrio equacionar neste contexto prende-se com
as oportunidades de aprendizagem que os sistemas educativos
proporcionam, ou no, a todos os estudantes. A investigao tem mostrado
que h diferenas, que podem ser bastante sensveis, na preparao dos
alunos para os exames que tm a ver com as oportunidades que lhes foram
proporcionadas para aprender. Questes tais como Os alunos tiveram
oportunidades para aprender e no aprenderam? Os alunos no tiveram
oportunidade para aprender? tero que ser sempre consideradas e
ponderadas. Na verdade, uma coisa os alunos no terem
estudado/trabalhado e, consequentemente, no terem aprendido. Outra o
sistema educativo no lhes ter proporcionado as necessrias oportunidades
para que eles pudessem aprender. No sero seguramente as avaliaes
externas que iro garantir a equidade no que se refere s oportunidades
para aprender. As oportunidades para aprender exigem um forte
investimento em programas vrios tais como o Plano de Ao para a
Matemtica e o Plano Nacional de Leitura acima mencionados. dessa
forma que se alargam as oportunidades de aprendizagem e se podem
relacionar as avaliaes externas e internas com a melhoria das
44

aprendizagens dos alunos. S por ingenuidade ou por deliberada inteno


poltica se poder crer que as avaliaes externas so a fonte privilegiada
para a resoluo dos problemas de aprendizagem e muitos outros (e.g.,
ensino, motivao dos alunos, inadequao dos currculos) existentes nos
sistemas educativos. com certeza muita atrativa a ideia de resolver os
problemas com uma s medida de poltica tal como criar exames a srio
para melhorar o sistema ou promover uma avaliao rigorosa e a srio,
como tem sido afirmado por responsveis polticos. Independentemente de
no se perceber muito bem o que sero exames a srio ou avaliaes
rigorosas e a srio, preciso compreender que as questes sociais
complexas, como o caso da melhoria das aprendizagens dos estudantes,
no se resolvem com a utilizao exclusiva de uma medida ou abordagem.
Exigem a construo de polticas mais diversificadas, mais pensadas e
fundamentadas que devero incluir uma diversidade de formas de
avaliao educacional.
As avaliaes externas s podero contribuir efetivamente para melhorar o
ensino e a aprendizagem e o desempenho dos alunos se estiverem
plenamente integradas nos sistemas educativos e se, atravs delas, forem
estabelecidos padres claros a partir dos quais professores e alunos
possam trabalhar. Assim, as avaliaes externas tero que estar focadas no
desenvolvimento das capacidades superiores de pensamento, articuladas
com as finalidades e objetivos do currculo e orientadas para induzirem
prticas de ensino, de avaliao e processos de estudo mais consentneos
com as recomendaes decorrentes do conhecimento produzido sobre
estas questes (e.g., Black e Wiliam, 1998; Gardner, 2006; Gipps, 1994;
Stobart, 2008). Assim, no suficiente termos avaliaes externas acima
de qualquer suspeita do ponto de vista tcnico e tecnolgico, necessrio
garantir que elas sejam geradoras dos efeitos que se pretendem nas
aprendizagens dos alunos e no ensino dos professores.
Tal como nos disse Lauren Resnick s se obtm o que se avalia e, por isso,
no se obtm o que no se avalia! Consequentemente, as avaliaes
externas tm que ser continuamente melhoradas e tm que estar bem

45

focadas no que se quer, e como se quer, que os alunos aprendam (Resnick,


1987).
Finalmente, interessa ter presente que, em pases com grande tradio na
utilizao de avaliaes externas, os psicometristas e os polticos sempre
estiveram plenamente convencidos de que elas, por si ss, melhorariam a
educao pblica. Os factos e as investigaes tm mostrado que assim
no . Por isso, preciso pensar que as avaliaes externas no podem,
por si ss, resolver os problemas. Tm que ser delineadas de forma mais
integrada e articulada com outros processos de avaliao, internos e
externos, e apoiadas em polticas ativas materializadas em programas
focados nas aprendizagens dos alunos.

Barnett, R. (2009). Knowing and becoming in the higher education curriculum. Studies in
Higher Education, 34 (4), 429-440.
Beaton, A., Postlethwaite, T., Ross, K., Spearritt, D., e Wolf, R. (2000). The benefits and
limitations of international educational achievement studies. Paris: International
Institute for Educational Planning/International Academy of Education.
Black, P. e Wiliam, D. (2006). Assessment for learning in the classroom. In J. Gardner
(Ed.), Assessment and learning, 9-26. London: Sage.
Black, P. e Wiliam, D. (1998). Assessment and classroom learning. Assessment in
Education: Principles, Policy & Practice, 5, 1, 7-74.
Bloom, B., Hastings, J. e Madaus, G. (1971). Handbook of formative and summative
evaluation of student learning. New York: Mac Graw Hill
Fernandes, D. (2014). Avaliao das aprendizagens e polticas educativas: o difcil
percurso da incluso e da melhoria. In M. L. Rodrigues (Org.), 40 anos de
polticas de educao em Portugal: a construo do sistema democrtico de
ensino (Volume I), 231-268. Coimbra: Almedina.
Fernandes, D. (2013). Avaliao em educao: Uma discusso de algumas questes
crticas e desafios a enfrentar nos prximos anos. Revista Ensaio: Avaliao e
Polticas Pblicas em Educao, n. 78, vol. 21, 11-34.
Fernandes, D. (2010). Acerca da articulao de perspectivas e da construo terica em
avaliao educacional. In M. T. Esteban e A. J. Afonso (Orgs.), Olhares e
interfaces: Reflexes crticas sobre a avaliao, pp. 15-44. So Paulo: Cortez.
Fernandes, D. (2009). Educational assessment in Portugal. Assessment in Education:
Principles, Policy & Practice, vol. 16, 2, 241-261.

46

Fernandes, D. (2007). A avaliao das aprendizagens no sistema educativo portugus.


Educao e Pesquisa, v. 33, 3, pp. 581-600.
Fernandes, D. (2006a). Para uma teoria da avaliao formativa. Revista Portuguesa de
Educao, 19, 2, pp. 21-50.
Fernandes, D. (2006b). Revisitando a reviso curricular (1997-2001): Um contributo para
pensar o futuro do ensino secundrio. Educao. Temas e Problemas, 2, pp. 129158.
Fernandes, D. (2005). Avaliao das aprendizagens: Desafios s teorias, prticas e
polticas. Cacm: Texto Editores.
Fernandes, D., Borralho, A., Vale, I., Gaspar, A. & Dias, R. (2011). Ensino, avaliao e
participao dos alunos em contextos de experimentao e generalizao do novo
programa de matemtica do ensino bsico. Lisboa: Instituto de Educao da
Universidade de Lisboa.
Fernandes, D., Vale, I., Borralho, A. e Cruz, E. (2010). Uma avaliao do processo de
experimentao do novo programa de matemtica do ensino bsico (2008/2009).
Lisboa: Instituto de Educao da Universidade de Lisboa.
Gardner, J. (Ed.) (2006). Assessment and learning. London: Sage.
Gipps, C. (1994). Beyond testing: Towards a theory of educational assessment. Londres:
Falmer.
Goldstein, H. (2004). International comparisons of student attainment: Some issues
arising from the PISA study. Assessment in Education: Principles, policy &
practice, 11, 3, pp. 319-330.
Goldstein, H. (1996). International comparisons of student achievement. In A. Little e
A.Wolf (Eds.), Assessment in transition: Learning, monitoring and selection in
international perspective, pp. 58-87. Oxford: Pergamon.
Guba, E. e Lincoln, Y. (1989). Fourth generation evaluation. Newbury Park: CA: Sage.
Harlen, W. (2007). Assessment of learning. London: Sage.
House, E. (2000). Evaluacin, tica y poder (Tercera Edicin). Madrid: Morata.
House, E. e Howe, K. (2003). Deliberative democratic evaluation. In T. Kellaghan e D.
Stufflebeam (Eds.), International handbook of educational evaluation, 79-102.
Dordrecht: Kluwer.
House, E. e Howe, K. (1999). Values in education and social research. London: Sage.
Howe, K. (2003). Closing methodological divides: Toward democratic educational
research. Dordrecht: Kluwer.

47

Kellaghan, T. (2003). Local, national, and international levels of system evaluation.


Introduction. In T. Kellaghan e D. Stufflebeam (Eds.), International handbook of
educational evaluation, pp. 873-882. Dordrecht: Kluwer.
Kellaghan, T. e Greaney, V. (2001). Using assessment to improve the quality of
education. Paris: UNESCO.
Kellaghan, T. e Grisay, A. (1995). International comparisons of student achievement:
Problems and prospects. In OECD (Ed.), Measuring what students learn, pp. 4161. Paris: OECD.
Kellaghan, T. e Madaus, G. (2003). External (public) examinations. In T. Kellaghan e D.
Stufflebeam (Eds.), International handbook of educational evaluation, 577-602.
Dordrecht: Kluwer.
Kornhaber, M. (2004). Appropriate and inappropriate forms of testing, assessment, and
accountability. Educational Policy, 18 (1), 45-70.
Madaus, G., Russell, M. e Higgins, J. (2009). The paradoxes of high stakes testing: how
they affect students, their parents, teachers, principals, schools, and society.
Charlotte, NC: Information Age Publishing.
Patton, M. (2003). Utilization-focused evaluation. In T. Kellaghan e D. Stufflebeam
(Eds.), International handbook of educational evaluation, 223-244. Dordrecht:
Kluwer.
Pordata (2014). Base de dados Portugal contemporneo (Educao). Retirado de
http://www.pordata.pt/Tema/Portugal/Educacao-17 em 12 de outubro de 2014.
Resnick, L. (1987). Education and Learning to Think. Washington, DC: The National
Academies Press.
Riley, K. & Torrance, H. (2003). Big change questions. Journal of Educational Change,
4, 419-425.
Rodrigues, M. L. (2012). Os desafios de poltica de educao no sculo XXI. Sociologia,
Problemas e Prticas, 68, pp. 171-176.
Rodrigues, M. L. (2010). A escola pblica pode fazer a diferena. Coimbra: Almedina.
Scriven, M. (1967). The methodology of evaluation (AERA Monograph series on
curriculum evaluation, No. 1). Chicago IL: Rand McNally.
Stake, R. (2006). Evaluacin comprensiva y evaluacin basada em estndares.
Barcelona: Gra.
Stobart, G. (2008). Testing times: the uses and abuses of assessment. London: Routledge.
Stobart, G. (2006). The validity of formative assessment. In J. Gardner (Ed.), Assessment
and learning, 133-146. London: Sage.

48

Stufflebeam, D. (2000). Foundational models for 21 st century program evaluation. In D.


Stufflebeam, G. Madaus e T. Kellaghan (Eds.), Evaluation models: viewpoints on
educational and human services evaluation (2nd. Edition), 33-83. Dordrecht:
Kluwer.

49

Como tem sido amplamente divulgado na imprensa diria, no existe uma


uniformidade de posies em relao existncia de exames nacionais, no
quadro de uma avaliao externa, nem sobre os seus efeitos ao nvel da
progresso de alunos no sistema escolar. Neste sentido, reputo de
importante o facto de o Conselho Nacional da Educao (CNE) ter elegido
para este evento debater a relao entre avaliao externa, numa lgica
sumativa, certificativa e comparativa, e as aprendizagens dos alunos.
Espero deste debate uma reflexo que contribua para se encontrarem
caminhos que permitam melhorar a aprendizagem dos alunos.

Comeando por apresentar a conceo que me orienta em relao


avaliao em geral, e portanto tambm em relao avaliao da
aprendizagem, refiro que me situo no grupo dos que consideram que a
avaliao parte integrante do currculo e dos processos do seu
desenvolvimento, ou seja, que existe uma ntima relao entre ensinoaprendizagem-avaliao. Nesta posio considero que no se pode pensar
o ensino sem se pensar na aprendizagem que ele promove mas tambm
no se pode pensar o ensino-aprendizagem sem se pensar na sua relao
com a avaliao. Por isso, atribuo enorme importncia dimenso
diagnstica da avaliao, pois considero que ela essencial para o
delineamento das etapas de qualquer processo de formao pelo apoio que
confere s decises relativas aos modos de concretizar o ensino e de
estimular a aprendizagem.
A par desta ideia, tambm reconheo a importncia da avaliao sumativa,
nomeadamente como smula de aprendizagens e de snteses que

Centro de Investigao e Interveno Educativas Universidade do Porto.

51

favorecem a articulao de conhecimentos e lhes conferem novos


sentidos.
Por outro lado, aceitando que a aprendizagem pressupe a existncia de
um ponto de partida, um percurso e um ponto de chegada, a avaliao,
neste meu entendimento, tem um papel crucial, principalmente nas duas
primeiras etapas, pela informao que fornece a professores e a alunos
sobre o que j sabido, mas tambm sobre o qu e onde existem
dificuldades, e pela reflexo que pode suscitar na tomada de decises
quanto aos processos seguintes. Como em outro lugar sustentei (Leite,
2002), a avaliao diagnstica o ponto de partida para a conceo e o
desenvolvimento de qualquer projeto curricular pois ela fornece elementos
sobre os conhecimentos que os alunos j possuem em assuntos prximos
do que vai ser ensinado, sobre caratersticas do contexto onde vai decorrer
a aprendizagem e sobre competncias necessrias a que essas novas
aprendizagens ocorram. a partir deste diagnstico que as boas prticas
se estruturam pois nele encontram os alicerces para estratgias curriculares
que permitam a aprendizagem em espiral, isto , onde os conhecimentos e
as competncias se vo continuamente ampliando. Como evidente, se o
diagnstico for realizado ao nvel do macro sistema, isto , pelos rgos
da tutela, nesta minha conceo de avaliao ele teria tambm esse efeito
macro, isto , serviria para que a tutela, a partir da informao obtida,
delineasse formas de ao que potenciassem os bons resultados alcanados
e apoiassem os que se revelaram indesejados.
Mas continuando com esta ideia das trs fases da organizao dos
processos de aprendizagem (ponto de partida, percurso, ponto de
chegada), no caso da etapa final, isto , na situao que nesta mesa
redonda est a ser objeto de anlise e que tem a ver com os testes
aplicados no fim de um longo perodo de ensino, como o caso dos
exames ou das provas nacionais, a informao recolhida, mesmo que
fornea alguns elementos de reflexo sobre o que foi conseguido durante o
percurso de formao, serve essencialmente para constatar a distncia face
ao desejado. Ou seja, nesta etapa final a funo da avaliao
privilegiadamente a de certificar e comprovar a aquisio de um conjunto

52

de conhecimentos e capacidades de um determinado ciclo de ensino, de


selecionar quem os adquiriu e os situar numa escala hierrquica. Isto , a
funo deste procedimento avaliativo no essencialmente pedaggica,
embora, pela informao que tambm fornece, possa e deva contribuir
para tomadas de deciso futuras, elas sim com uma intencionalidade
formativa.
Sendo esta a minha conceo relativa avaliao, e afirmando desde j
que vejo como necessria uma coabitao entre a avaliao de carter
formativo e a de carter sumativo, por que considero que as provas de
avaliao nacional balanam entre os efeitos menos positivos e os que
podem ter reflexos positivos?

No sistema educativo portugus, e no s (Eurydice, 2010), a ideia de que


a existncia de exames ou de provas nacionais tem efeitos positivos na
qualidade das aprendizagens tem estado presente nos argumentos que
justificam a sua introduo mesmo na escolaridade obrigatria, isto , no
setor do sistema educativo que, claramente, no tem entre as suas funes
a seleo.
Tendo sido abolidos os exames nacionais na escolaridade obrigatria na
sequncia da agenda resultante de abril de 1974, eles foram retomados na
dimenso de uma avaliao aferida no princpio deste sculo (em
2000/2001 a ttulo experimental). A justificao para esta avaliao
aferida foi conhecer a qualidade das aprendizagens que os alunos estavam
a fazer, mas tambm a adequao dos programas e das prticas institudas
pelas polticas educacionais. Ou seja, teve uma inteno de diagnstico
que apoiasse a introduo de alteraes capazes de gerarem melhorias no
currculo nacional e nas aprendizagens dos alunos. Isto , a avaliao
aferida foi justificada com uma inteno eminentemente formativa. Ainda
me lembro do receio, mas simultaneamente confiana, do ento Diretor da
Direo Geral do Ensino Bsico que, sobre as provas de aferio que
foram institudas a ttulo experimental neste princpio de sculo,

53

considerava que elas, se bem construdas, poderiam ser indutoras de uma


organizao dos processos de ensino-aprendizagem mais criativos e
promotores de melhore aprendizagens
Mas voltando justificao do sentido que foi atribudo s provas
nacionais de avaliao aferida, o Decreto-Lei n. 6/2001 que reorganizou o
currculo da educao bsica na transio de sculos afirmou:
As provas nacionais de aferio constituem um dos instrumentos de
avaliao do desenvolvimento do currculo nacional e destinam-se a
fornecer informao relevante aos professores, s escolas e
administrao educativa, no produzindo efeitos na progresso escolar dos
alunos (art. 17.).
No caso do ensino secundrio, o Decreto-Lei n. 7/2001, tambm dessa
altura, referiu dois tipos de avaliao sumativa (a interna e a externa)
determinando que a
A avaliao sumativa externa compreende a realizao de exames
nacionais no 12. ano, incidindo sobre as aprendizagens essenciais e
estruturantes correspondentes aos anos de escolaridade em que a disciplina
lecionada, nos seguintes termos: a) Na disciplina de Lngua Portuguesa,
em todos os cursos gerais e tecnolgicos; b) Na disciplina trienal da
componente de formao especfica e, ainda, numa das disciplinas de
opo, nos cursos gerais; c) Numa disciplina trienal da componente de
formao cientfico-tecnolgica, a definir para cada curso, nos cursos
tecnolgicos (art. 11.).
Portanto, no caso da escolaridade obrigatria, em Portugal, esta foi a
forma de reintroduzir a avaliao externa das aprendizagens. No entanto, a
finalidade que as orientou, pelo menos ao nvel do discurso legal, era
distinta dos tradicionais exames nacionais. A prpria Eurydice (Rede de
Informao sobre a Educao na Europa) referiu-se a estas provas como
um novo mtodo de avaliao para os 4. e 6. anos de escolaridade
introduzidas em Portugal e que serviam de instrumento de superviso das
escolas e do sistema educativo.

54

Claro que quando se analisa esta questo torna-se evidente que a


reintroduo de processos de avaliao externa em Portugal foi, e tem
sido, fortemente influenciada por polticas internacionais que a referem
como meio de promoo da qualidade educacional. Exemplo disso so os
estudos PISA (20002009) que afirmam que ela constitui um dos fatores
para que um sistema de ensino se desenvolva e progrida.

Em Portugal, depois do recurso a esta lgica da avaliao externa na


forma de avaliao aferida, para o caso do ensino bsico, ela passou a ser
assumida na forma de exame nacional, no caso do 3. ciclo em 2006, e s
para as disciplinas de Portugus e Matemtica (alis, tal como acontecia
nas provas de avaliao aferida). O facto de a avaliao se concentrar
nestas duas disciplinas, e embora constitua uma situao semelhante ao
que se passa em muitos outros pases, impe que se interrogue, pelo
menos, porqu s estas disciplinas. Se a avaliao externa influencia a
qualidade das aprendizagens, que razo justifica avaliar-se apenas
Portugus e Matemtica?
Embora sejam vrias as explicaes que podem e tm sido apresentadas
para justificar a concentrao dos exames nestas duas disciplinas no se
pode ser inocente em relao a esta questo, ou seja, evidente o peso dos
relatrios internacionais, de que o PISA um dos exemplos, nesta deciso
poltica. Recorde-se que o PISA (Programme for International Students
Assessment), realizado pela OCDE, avalia conhecimentos demonstrados
por alunos de 15 e 16 anos de diferentes pases relativamente s
capacidades de leitura e de interpretao, e de conhecimentos de
matemtica e de cincias.
O que estou a afirmar que no quadro deste movimento internacional
que tem ocorrido o recurso a exames ou provas nacionais em Portugal. Em
2012 foram introduzidas as provas nacionais no 6. ano nas reas de
Matemtica e Lngua Portuguesa, que contam com 30% para a
classificao (nesse ano 25%), substituindo as provas de aferio, e em

55

2013 foram introduzidas as provas nacionais para o 4. ano, tambm em


Matemtica e em Portugus.
O relatrio do GAVE desse ano (2013) refere que, decorrente dos
resultados da prova, na 1. fase, no podiam transitar para o 2. ciclo 628
alunos a Portugus e 2100 alunos a Matemtica (3,6% do total dos alunos)
e que, depois da medida acompanhamento extraordinrio e da realizao
da 2. fase, a taxa de reteno baixou para 3% (nos anos anteriores tinha
sido mais elevada em 2012 era 5%). Ou seja, deste caso poder-se-ia
inferir que estas provas tm como aspeto positivo desencadear aes que
promovem aprendizagens.
Apesar disso, no podem ser ignoradas as posies daqueles que criticam
este tipo de provas nacionais por desvalorizarem determinadas reas de
formao e por avaliarem apenas conhecimentos e dimenses cognitivas
da aprendizagem quando a educao bsica, nas suas funes, tem
tambm uma forte interveno em aprendizagens sociais.
Reconhecendo como legtimo este tipo de argumentos, reconheo no
entanto tambm que as provas nacionais podem ter o efeito positivo de
corresponsabilizar escolas, professores e at famlias na necessidade de
encontrarem meios que promovam o sucesso de todos os alunos. Devo
referir que o contacto que tenho tido com escolas e professores que me
leva a acreditar neste efeito. Alis, esta a orientao que est presente no
Programa dos Territrios Educativos de Interveno Prioritria (TEIP),
quando as escolas definem um plano de melhoria, estabelecem metas que
a concretizem e depois prestam contas sobre o modo como as esto, ou
no, a conseguir atingir. O mesmo se passa com os Contratos de
Autonomia das Escolas negociados com o Ministrio da Educao. O
trabalho de assessoria que tenho desenvolvido com um Agrupamento de
Escolas da zona Norte de Portugal, e que, estando includa no Programa
TEIP, celebrou um contrato de autonomia com o Ministrio de Educao,
tem-me mostrado os feitos positivos que decorrem da reflexo gerada a
partir dos resultados dos exames nacionais. O conhecimento obtido
atravs dessas provas de avaliao sumativa externa tem constitudo um

56

elemento importante para analisar os projetos curriculares e para o


delineamento de novas formas de ao.
No entanto, e apesar de reconhecer este efeito positivo, tambm considero
que no basta definir metas, prestar contas e sujeitar os alunos a provas de
avaliao nacionais para que as aprendizagens melhorem. Se isso fosse
verdade, os resultados obtidos pelos alunos neste tipo de provas estariam a
subir cada ano e tal no tem acontecido. Por outro lado, h que no ignorar
os efeitos negativos que estas provas muitas vezes geram. Todos sabemos
que, associado a esta avaliao externa, a comunicao social tem
divulgado um ranking de escolas, com grande visibilidade social, e que
tem tido como consequncia que as escolas com classificaes mais
baixas tenham passado a ser cada vez menos escolhidas por alunos de
determinados grupos sociais e mais frequentadas por crianas e jovens
mais afastados da cultura escolar. Ao contrrio, as escolas melhor
colocadas nos rankings so procuradas pelas famlias que tm para os seus
filhos projetos de vida que passam pelos diplomas escolares. Ou seja, est
a ocorrer o Efeito Matthew, no sentido das vantagens
acumuladas/cumulativas de que nos falou Robert Merton (1988) a
propsito da influncia de um sucesso inicial para obter novos sucessos.
Por isso, de certo modo, o que estou aqui a referir est de acordo com os
argumentos daqueles que se tm pronunciado contra os exames ou provas
nacionais por eles apenas servirem para legitimar diferenas resultantes da
origem da populao escolar e no da qualidade do servio prestado em
cada escola. Bem sei que, nos ltimos anos, so tidas em conta variveis
de contexto mas, mesmo assim, este efeito secundrio continua a ser
visvel. Embora muitas escolas e muitos professores estejam a assumir o
importante papel de criarem situaes e desenvolverem projetos que
contrariem o efeito Matthew, anulando, ou pelo menos minimizando, as
desvantagens que decorrem das situaes de partida, muitas vezes esse
envolvimento no se traduz na conquista de um bom lugar no ranking.
Apesar disso, muitos destes professores conseguiram despertar, em alunos
que no correspondem ao que H. Becker designou por cliente ideal,
novas atitudes face educao escolar, ao mesmo tempo que promoveram

57

o desenvolvimento lingustico e cognitivo


proporcionaram vivncias positivas de cidadania.

dos

alunos

lhes

Como j indiciei, o contacto que tenho tido com escolas, quer decorrente
de projetos curriculares, quer da assessoria a um agrupamento de escolas
TEIP, quer ainda de avaliao externa das escolas leva-me a reconhecer
que, apesar dos efeitos perversos que enunciei, existem aspetos positivos
que podem decorrer das provas nacionais. O facto de os resultados obtidos
pelos alunos em provas nacionais serem objeto de uma forte ateno por
parte do Ministrio da Educao e da sociedade em geral tem como efeito
que escolas e professores faam um esforo grande na procura de
processos de melhoria das aprendizagens. H dias, uma coordenadora de
departamento de um agrupamento de escolas TEIP lamentava-se por estar
a reconhecer que alguns dos seus alunos do 9. ano eram incapazes de
adquirir alguns conhecimentos necessrios na Matemtica e que, para
alm disso, aparentemente, isso no os molestava. Apesar disso, quando
lhe perguntei a opinio relativa existncia, ou no, de provas nacionais a
resposta foi afirmativa. Reconhecia que, apesar de tudo, estas provas
tinham alguns efeitos em alguns alunos, em algumas famlias e at no
esforo feito pelos professores para conseguirem vencer alguns dos
insucessos que ocorrem.
Claro que, a par desta opinio, o coordenador do departamento das
Expresses manifestava que a ateno focalizada nestas duas disciplinas
tinha como efeito uma desvalorizao, por parte dos alunos e das famlias
mais atentas aos percursos escolares dos seus filhos, de toda a formao
que no sofre desta presso e desta visibilidade social.
Em sntese, para terminar e sistematizar a minha posio face a este debate
tenho de reconhecer que fico em cima do muro, saltando, umas vezes, para
o lado das opes e aes que promovem uma formao global e, por isso,
em vez de se acantonarem na preparao tcnica dos alunos apenas para

58

serem bem-sucedidos nos exames, valorizam a importncia da escola na


socializao das crianas e dos jovens para uma vivncia positiva da
cidadania. Mas, regressando acima do muro para me manter atenta aos
efeitos positivos que podero decorrer da prestao de contas atravs de
provas nacionais, reconheo o conhecimento que atravs delas por vezes
se obtm, quer para sustentar balanos do sistema educacional, quer para
apontar caminhos ao sistema, s escolas, aos professores e aos alunos
sobre o que preciso fazer para se melhorar a qualidade da formao que
est a ocorrer nas escolas a nvel nacional. No entanto, e como penso ter
tornado evidente, quando estou deste lado do muro considero que a
responsabilidade de usar positivamente a informao que as provas
nacionais fornecem no apenas das escolas, dos professores e dos alunos
mas tambm da administrao central para que sejam desenhadas
intervenes indutoras de uma real e coletiva melhoria.

BECKER, H. (1977). Social-class variations in the teacher-pupil relationship, in School


and Society. A sociological reader/ Open University.
GAVE (2013). Relatrios nacionais, in www.gave.min-edu.pt/np3/24.html
LEITE, C. (2002). "Avaliao e projectos curriculares de escola e/ou de turma", in
ME/DEB, Avaliao das aprendizagens. Das concepes s prticas, pp. 4351.
EURYDICE (2010). Exames nacionais de alunos na Europa: objectivos, organizao e
utilizao de resultados, in
eacea.ec.europa.eu/education/eurydice/documents/thematic.../109PT.pdf
MERTON, R. K. (1988). The Matthew Effect in Science, II: Cumulative advantage and
the symbolism of intellectual property (PDF ). ISIS 79, 606-623.

59

Os efeitos da avaliao externa sobre as aprendizagens so complexos e de


difcil mensurao. Antes de mais devido dificuldade de definio dos
conceitos envolvidos. Se a definio de avaliao externa relativamente
simples, a definio de aprendizagens dos alunos bem mais complexa.
Ainda assim, no caso da avaliao externa h que diferenciar a avaliao
externa atravs de exames nacionais da avaliao externa atravs de
provas internacionais, sendo que, nos dois casos, as populaes abrangidas
s parcialmente coincidem (pelo menos na forma directa de realizao de
exames. Na forma indirecta, que resulta eventualmente da presso social
sobre os envolvidos, a sobreposio parece maior).
A definio de aprendizagens dos alunos , como se referiu, de mais
difcil definio e, consequentemente, de mais difcil mensurao.
Porventura a forma mais simples ser a de avaliar o impacto dos exames
por comparao com os resultados dos exames seguintes. Contudo, isto
levanta o problema de saber se a avaliao ser intra-sujeito ou intra ano
lectivo. No primeiro caso, o sujeito estar a ser avaliado em provas
diferentes (por exemplo, no 4. ano e no 6. ano) e em anos diferentes, o
que pode ser interessante do ponto de vista individual mas que levanta
alguns problemas quando se est a considerar o conjunto dos alunos. No
segundo caso (em que, por exemplo se avalia os resultados no final do 4.
ano em anos lectivos consecutivos), os sujeitos no so os mesmos, o que
tambm levanta alguns problemas de interpretao.
As dificuldades de avaliao do impacto da avaliao externa nas
aprendizagens dos alunos so ainda agravadas pelo facto de haver um
conjunto significativo de variveis mediadoras entre o preditor (os
exames) e os resultados (as aprendizagens dos alunos). De entre estas
1

Escola de Psicologia Universidade do Minho.


O autor escreve de acordo com a antiga ortografia.

60

variveis mediadoras poderemos relevar os pais, as escolas, os


professores, as expectativas dos alunos, etc. Cada uma destas variveis
pode ser simultnea ou alternadamente moderadora, causal, etc.,
relativamente s aprendizagens mas tambm relativamente aos exames em
si mesmos.
Seja qual for a relao e a estrutura de influncia das diversas variveis
nas aprendizagens dos alunos (independentemente da forma com estas
forem conceptualizadas e medidas) possvel supor que a cultura
sistemtica de avaliao e mensurao que se instalou h pouco mais de
uma dcada em Portugal e que tambm se tem acentuado em termos
internacionais, tem provocado alteraes nos comportamentos de todos os
envolvidos nesta questo.

O que parece mais relevante considerar, quando se procura explicar a


alterao de comportamentos em funo dos resultados da avaliao
externa, o efeito da publicitao dos resultados e no tanto a avaliao
em si. Deve relembrar-se que o debate em torno do conhecimento pblico
dos resultados dos exames do 12. ano foi alvo de um acalorado debate h
cerca de 15 anos atrs, tendo havido um forte resistncia por parte da
administrao pblica, cujos argumentos foram variando ao longo dos
anos mas tiveram sempre como denominador comum a noo de que
apenas ela, administrao, saberia como utilizar adequadamente os dados.
Ainda que de forma mais esbatida, o antagonismo de posies entre os que
pensam que a informao deve ser do conhecimento pblico e aqueles que
defendem que no, ainda hoje se mantm na sociedade portuguesa.
Precisamente, e como se disse atrs, parece ter sido a divulgao pblica
das notas nos exames do 12. ano, iniciada h anos atrs, mais do que os
resultados do TIMSS, PISA, etc., a desencadear um movimento
organizacional (i.e. de escolas individuais) com orientao clara de
comportamentos colectivos e individuais para preparao para as provas
de avaliao. Muitas escolas tero, com esta divulgao, sentido
necessidade de mostrar melhores resultados e de fornecer uma melhor

61

imagem de si ao pblico em geral. A generalizao dos exames externos a


outros ciclos de ensino ter acelerado este movimento e ter estendido a
presso para a realizao nos exames s famlias e sociedade em geral.
Os sites de muitas escolas, com referncias sistemticas progresso
dos resultados nos exames nacionais, evidenciam de forma particular esta
preocupao. Os rankings organizados pelos jornais e televises
acentuam esta tendncia, sendo difcil que algum lhes fique indiferente.
O confronto de muitas escolas com o desempenho de outras escolas com
caractersticas diferentes tem permitido s escolas que apresentam
resultados inferiores justificarem os seus piores resultados com base nas
diferenas de nvel socioeconmico dos alunos. Mais difcil porm se
torna explicar as diferenas de resultados por comparao com escolas de
nveis socioeconmicos idnticos.
Independentemente da elaborao de auto-justificaes que permitam
diminuir a frustrao de ver um resultado desagradvel publicitado num
jornal, parece inquestionvel que em muitas escolas houve alteraes
institucionais que resultaram numa focalizao da aco dos professores e
do trabalho dos alunos nos conhecimentos e competncias avaliados em
exame final externo. Em muitas escolas os alunos comearam a ser
treinados para os exames finais, inclusivamente em situaes de simulao
literal das provas finais. A presso sobre as direces das escolas exercida
pela publicitao dos resultados publicados nos jornais, pelos pais e pela
prpria administrao da educao, bem como a presso exercida pelas
direces sobre os professores e sobre os alunos, parece ter tido como
efeito uma centrao na preparao para os exames. De resto, a subida
sucessiva dos resultados dos alunos portugueses de 15 anos no PISA
revelam uma melhoria de fundo que provavelmente ter a ver com o
conjunto de medidas que foram entretanto adoptadas para melhorar o
desempenho dos alunos portugueses. Deste modo, parece elementar dizer
que a publicitao dos resultados dos exames tem tido um efeito positivo,
mesmo que indirecto, nos desempenhos no PISA e que isso representa
uma melhoria nas aprendizagens dos alunos portugueses.

62

Apesar da complexidade da avaliao do impacto dos exames externos nas


aprendizagens dos alunos, existem diversos estudos internacionais (e.g.
Anghel, Cabrales, Sainz, & Sainz, 2012; Jurges, Schneider, & Buchel,
2003) que procuram medir este impacto e perceber se ele relevante para
os sistemas educativos e para o desempenho dos alunos.
Anghel et. al. (2012), aproveitando o facto de a regio de Madrid ter sido
em 2004/05 a nica regio de Espanha que efectuou exames nacionais do
6. ano e publicitou os resultados, estudou os efeitos destes exames e
desta publicitao nos resultados dos alunos. Utilizando uma metodologia
diff-in-diff ao autores encontram uma diferena de 14 a 17 pontos no
PISA, favorecendo os alunos da regio de Madrid que se submeteram
avaliao externa. Os autores sublinham que o seu estudo confirma o que
foi verificado noutros estudos mas que o seu prprio estudo tem a
particularidade de os resultados do exame no terem consequncia real
para os alunos, pelo que o efeito advir previsivelmente do impacto da
avaliao externa nos professores e nas direces das escolas. Os autores
encontraram igualmente um possvel efeito dos exames externos em
provas de linguagem mas no na matemtica.
Jurges, Schneider, e Buchel (2003), por seu turno, sugerem que os alunos
dos estados federados alemes que realizam exames centralizados
ultrapassam largamente os alunos dos outros estados mas reconhecem que
apenas uma parte dessa diferena poder ser atribuda aos exames
externos. Reconhecem igualmente que identificar empiricamente uma
relao causal entre realizao de exames externos e aprendizagens dos
alunos no linear. De qualquer forma os autores afirmam que os seus
resultados mostram que os alunos dos estados alemes com exames
ultrapassam os dos seus colegas dos estados sem exames em cerca de 0,5
desvios-padro. Os autores frisam, por outro lado, que os exames
constituem uma forma relativamente barata de melhorar os resultados dos
alunos, por comparao com solues caras e de eficcia duvidosa, como
o caso da reduo do nmero de alunos por turma.

63

Independentemente do eventual impacto positivo da avaliao externa nas


aprendizagens dos alunos, existem aspectos que podero ser menos
positivos neste processo. Antes de mais deve evitar-se transformar uma
importante e legtima preocupao de avaliao e monitorizao do
sistema (que perpassa todo o sistema de ensino, do bsico ao superior),
numa obsesso psicomtrica cuja validade duvidosa em algumas reas.
Nem tudo nas aprendizagens facilmente avalivel, havendo por isso o
risco de apenas ser valorizado aquilo que avalivel ou de toda a aco do
sistema se orientar para a avaliao nessas reas e com essa configurao.
Um outro eventual problema poder advir da eventual hipervalorizao e
hipertrofia de certas reas em detrimento de outras. Ainda que se possa
considerar que a Lngua Materna e a Matemtica so instrumentais para
outras reas disciplinares, sobretudo no ensino bsico, a exclusividade
destes exames envia inevitavelmente uma mensagem quanto valorizao
social de certas reas em detrimento de outras. A possibilidade de algumas
reas definharem real e preocupante. Poderia, a ttulo de exemplo,
referir-se a desvalorizao sucessiva a que disciplinas como a Filosofia ou
o Latim tm estado sujeitas.
H ainda o risco de em alguns casos a forma como muitas escolas
divulgam os seus sucessos no seus sites (quer no que diz respeito a
resultados nos exames quer no que diz respeito disciplina e segurana na
escola) no corresponder rigorosamente substncia dos resultados. A
necessidade que muitas escolas sentem em lutar por alunos (e no j em
lutar pelos melhores alunos) leva a que algumas divulguem com grande
nfase os saltos de centenas de posies no ranking das escolas.
Alguns desses saltos so to extraordinrios que podero levantar dvidas
quanto aos critrios de incluso e de excluso de alunos, dos exames.
Alguns pases tm sido acusados de excluir das avaliaes internacionais
alunos com dificuldades, fazendo assim subir artificialmente os resultados.
Embora isso seja eventualmente mais difcil de fazer a nvel de escola,
ser necessrio em todo o caso averiguar se os progressos inesperados de

64

certas escolas se devem mesmo a alteraes eficazes da estratgia ou a


artefactos ilegtimos. Num quadro de extrema competio pelos alunos
por vezes surge a tentao de alcanar resultados a todo o custo e a que o
sistema educativo deve estar atento.
Um outro aspecto a que convir dedicar ateno ao custo dos exames.
Neste particular, deve realar-se que actualmente o nmero de exames
organizados pelo IAVE (Instituto de Avaliao Educacional), entre provas
nacionais e internacionais, enorme. A logstica destes exames
extremamente complexa, sendo os meios disponveis muito escassos. O
esforo anual do IAVE importante e no pra de aumentar de ano para
ano. possvel que do ponto de vista do custo humano se esteja beira
dos limites do exigvel. Do ponto de vista financeiro, no deixa de
impressionar o enorme nmero de pginas de teste entregue a cada aluno,
o que sugere que o pas no tem qualquer dificuldade em custear as
provas.
evidentemente possvel encolher fortemente estes custos sem prejuzo
da validade das provas. Se o sistema for demasiado caro para o retorno
que se obtm, algo ter que, neste particular, ser repensado. Note-se que
os exames so, segundo alguns autores (e.g. Anghel et. al., 2012) uma
forma muito mais barata de melhorar os resultados, do que reduzir o
nmero de alunos por turma. Nesta perspectiva conveniente atender aos
custos financeiros e humanos dos exames para perceber se so mesmo a
forma mais barata de melhorar os resultados. E mesmo que o sejam,
importante perceber se no custam demasiado dinheiro.
Um outro ponto de grande relevo o da articulao da avaliao externa
com a avaliao interna e, mais ainda, com o desenvolvimento de
estratgias que permitam efectivamente melhorar as aprendizagens dos
alunos. importante notar que a avaliao externa se limita a constatar a
situao do sujeito num determinado momento do seu percurso escolar
mas no permite a sua correco atempada. Esta correco s pode
decorrer da instituio de um eficaz sistema de monitorizao interna que
possibilite a interveno imediata sobre os problemas de aprendizagem
detectados. Neste particular importante notar que a avaliao no 4. ano

65

pode servir para as escolas reflectirem sobre os seus resultados mas j no


permitir a correco de percursos individuais. Esta correco s pode
decorrer do processo de avaliao interna realizada pelo professor ou por
escolas individuais. Este ponto, que parece de importncia menor, ganha
um enorme relevo se se atentar no facto de a probabilidade de recuperao
dos alunos com dificuldades no 5. ano (aps os exames) estar
praticamente votada ao fracasso. Modelos de avaliao/interveno como
a RTI (Response to Intervention) tm o potencial de preencher esta lacuna,
apesar de actualmente serem praticamente desconhecidos em Portugal.
Um ltimo e importante ponto deve ser realado: o esforo que o pas est
a fazer com a organizao dos exames externos (nacionais e
internacionais), pode estar a ser prejudicado, minado, ou at mesmo
tornado pouco produtivo, pela percepo de aumento da indisciplina nas
salas de aula manifestado por muito professores. Demasiados professores
parecem percepcionar a sua profisso como uma luta continuada com
alunos, pais, e at governos, tendo como consequncia um desgaste dirio
significativo que prejudica o ensino e a aprendizagem. Nestas
circunstncias o impacto dos exames sobre as aprendizagens dos alunos
ser certamente menor do que seria esperado caso os professores no
tivessem que desperdiar com a indisciplina uma preciosa parte da energia
que deveriam utilizar com o ensino, fundamento essencial da aco do
professor.

Parece ser consensual que a avaliao externa tem impacto sobre os


resultados escolares, ainda que este impacto seja dificilmente mensurvel.
Mais do que os exames em si, parece ser a divulgao pblica dos
resultados a alterar significativamente os comportamentos individuais e
colectivos nas escolas sob avaliao. A resistncia inicial instituio dos
exames parece ser hoje bem menor e mais mitigada, o mesmo sucedendo
quanto publicitao dos resultados. Deste modo, parece razovel
considerar que h hoje um maior reconhecimento do impacto positivo dos
exames nas aprendizagens. Subsistem porm argumentos no

66

despiciendos quanto orientao porventura excessiva do ensino para a


realizao dos exames e/ou quanto possibilidade de as disciplinas nosujeitas a exame poderem ser subalternizadas (argumento que acaba por
reconhecer o impacto dos exames). Por ouro lado, ainda que os exames se
constituam como reguladores da aco dos professores e das escolas, no
se poder esperar deles que originem mais do que aquilo que podem
originar.
Por fim haver que ponderar os custos dos exames enquanto estratgia de
melhoria dos resultados dos alunos, mantendo-os num patamar que no
seja excessivo, nem do ponto vista dos recursos humanos nem do ponto de
vista dos recursos financeiros.

ANGHEL, B., Cabrales, A., Sainz, J., & Sainz, J. (2012). Publicizing the results of
standardized external tests: Does it have an effect on school outcomes?
Departamento de Economa - Universidad Carlos III de Madrid (Ed.), Working
paper - Economic Series.
HENDRIK JRGES & Kerstin Schneider & Felix Bchel, 2005. The Effect Of Central
Exit Examinations On Student Achievement: Quasi-Experimental Evidence From
TIMSS Germany. Journal of the European Economic Association, vol. 3(5),
pp.1134-1155.

67

68

Evaluar suele ser un proceso muy complejo que implica una variedad de
factores y que tiene consecuencias en diversos mbitos de la vida de las
personas. Todos los das, al interactuar con el mundo que nos rodea,
somos evaluados desde diferentes perspectivas por personas con diferentes
parmetros y que nos observan y califican para diferentes objetivos. De
all que la evaluacin generalmente sea percibida como el aspecto ms
importante de muchos procesos y est asociada con situaciones de estrs y
con consecuencias, incluso llegando a ser usada como castigo.
Sin embargo desde la perspectiva educativa, la evaluacin no debe ser el
componente primordial del proceso enseanza-aprendizaje sino un
componente ms de dicho proceso. En este sentido la evaluacin debe
estar alineada con el perfil de alumno que los colegios desean: Si un
colegio plantea que su perfil de alumno se basa en la adquisicin de una
gran cantidad de contenido que el alumno debe recordar y reproducir en
un examen, entonces sus evaluaciones sern tpicos exmenes que miden
bsicamente la capacidad que tiene el alumno para recordar hechos y datos
concretos. Por otro lado, si el perfil de alumno se basa en el desarrollo de
habilidades acadmicas concretas, en el desarrollo de conceptos que
trascienden los lmites de las disciplinas y en la capacidad de transferencia
lejana y cercana de conocimientos y habilidades a situaciones complejas,
entonces las evaluaciones sern una amplia variedad de instrumentos que
incluyen exmenes, estudio de casos, actividades experimentales,
investigaciones matemticas, obras de arte, paginas web, actividades
interdisciplinarias y tantos otros instrumentos como la creatividad del
docente y la complejidad de las realidades elegidas a estudiar sean capaces
de generar.
En este contexto, la discusin cambia de perspectiva y ya no se centra
entre la conveniencia o no de evaluaciones externas sino en cuales son los

Head of Curriculum & Vice-Principal Oeiras International School.

69

contenidos y las habilidades que las evaluaciones tanto internas como


externas deben medir.
Al revisar la literatura disponible relacionada con la habilidad de
pensamiento y la taxonoma que clasifica y ordena estas habilidades, nos
encontramos con cambios importantes desarrollados en la ltima dcada,
por ejemplo, en la taxonoma de Bloom cuya versin revisada por
Anderson, se resume en el siguiente diagrama.

Habilidades de pensamiento de orden superior.

CREAR
EVALUAR
ANALIZAR
APLICAR
COMPRENDER
RECORDAR
Habilidades de pensamiento de orden inferior.

Desde la perspectiva de esta taxonoma y del perfil de alumnos que un


colegio o un sistema educativo desea obtener al final del proceso, la
discusin entonces se centra en que tipo de evaluaciones externas son
adecuada para medir los conocimientos y las habilidades de los alumnos y
no si las evaluaciones externas son adecuadas o no. Adems hay una
ventaja evidente cuando se aplican evaluaciones externas: Estas
evaluaciones son un estndar externo al proceso que no est influenciado
por emociones u otros factores, por lo tanto sus resultados pueden ser
considerados objetivos.
En resumen, la implementacin de evaluaciones externas que consideren
diferentes estilos de aprendizaje, inteligencias mltiples y habilidades
superiores del pensamiento seria una muy buena herramienta para medir el

70

logro de un proceso enseanza-aprendizaje diseado y desarrollado bajo


los mismos preceptos.

71

Porque que necessria a avaliao externa? A resposta est numa frase


do prmio Nobel Franois Jacob, que nos diz que a familiaridade provoca
a cegueira e portanto ns tendemos a deixar de ver os pormenores
naquilo que nos familiar e isso leva-nos, muitas vezes, a pedir, ou a ter
necessidade, numa linguagem de investigao, de criar um afastamento,
para vermos alguns aspetos que no vemos quando as questes nos so
demasiado familiares. , do meu ponto de vista, uma das razes para que a
avaliao externa seja uma necessidade social porque, como j foi referido
por Domingos Fernandes, acima de tudo, estamos a falar de um processo
social.
Relativamente s questes da educao, s aprendizagens, a pergunta de
fundo, e eu creio que a pergunta que est subjacente a este seminrio e a
vrias das intervenes que foram feitas, : Mas deve ou no existir
avaliao externa das aprendizagens? Ou seja, quando estamos a falar da
questo das aprendizagens dos alunos, a primeira pergunta : Deve ou no
deve existir? Deve ou no deve ter lugar? H, realmente, duas razes
essenciais para a existncia de avaliao externa das aprendizagens. A
primeira razo a confiana social, pelo que disse anteriormente, ou seja,
como a familiaridade provoca a cegueira o que acontece que h alguma
desconfiana dos aspetos resultantes do juzo sobre alguma coisa que nos
familiar. A avaliao, enquanto processo social tem funes como a
certificao e a seleo, que, para garantir a confiana social, exigem a
dimenso externa da avaliao.
Por outro lado, a educao, hoje, tornou-se uma das maiores indstrias do
mundo moderno, as escolas (e os centros comerciais) so os nicos
stios onde h concentraes permanentes de multides e tm dimenses
sociais apreciveis no sentido quantitativo e qualitativo. A educao
entrou completamente no mundo das pessoas, de todas as pessoas, e no
deixa ningum de fora as escolaridades so obrigatrias, cada vez mais

Escola Superior de Educao Instituto Politcnico de Castelo Branco.

72

longas esta mquina cada vez maior e cada vez mais complexa e isso
exige, naturalmente, uma regulao poltica cada vez mais difcil, cada vez
mais exigente, precisamente porque a sua natureza cada vez maior e
mais complexa. Essa regulao poltica exige distanciamento e a
necessidade de ter indicadores que lhe permitam tomar decises e que
possam ser cruzados com a tal informao que vem da maior
familiaridade, ou seja, a informao que vem diretamente das escolas, dos
professores e dos alunos.
Mas, isto coloca um problema que o seguinte: Quando referimos a
avaliao externa do que estamos a falar em concreto? Quando olhamos
em termos imediatos diremos que a avaliao que no da
responsabilidade direta dos professores ou das escolas aquilo a que
chamamos avaliao externa. Mas a complexidade desta mquina que so
os sistemas educativos modernos originou o desenvolvimento de uma
panplia enorme de instrumentos de avaliao. Os instrumentos vo-se
criando, vo-se diversificando, cada vez h mais instrumentos porque
tambm h mais complexidades, mais objetivos, mais atores e isso obriga
sua multiplicao. H quem refira, no entanto, que tecnicamente os
instrumentos so sempre os mesmos, mas na verdade no so, pois os
instrumentos no so s a sua definio tcnica, so tambm, o seu uso, a
sua utilizao, as suas consequncias, os seus efeitos. Os instrumentos
tambm so isso. Os instrumentos no so exclusivamente os testes em
concreto, so o uso que lhes dado, a forma como so concebidos, a
forma com so aplicados, a forma como utilizada a informao que deles
provm, etc.
Na verdade eu diria que existem trs tipos essenciais de instrumentos
muito distintos, provavelmente menos distintos no seu aspeto, mas
absolutamente distintos no seu objetivo, na sua finalidade, ou seja, no que
fazemos com os seus resultados e esses instrumentos tm tempos de vida
completamente diferentes na histria social e na histria da poltica
educativa. Eu distingo esses trs instrumentos por trs diferenas: os
exames com um objetivo de fazer uma certificao social (no uma
certificao escolar, eu insisto, uma certificao social), as provas

73

aferidas que pretendem monitorizar os programas, os atores, os contextos,


etc., (e por isso podem no se aplicar a todos); e os testes internacionais
que tambm tm a mesma natureza, mas que nasceram com um objetivo
muito diferente, o de comparar polticas educativas (no se pode ignorar
isto, porque o objetivo no s monitorizar os sistemas de ensino, mas,
atravs dessa informao, fazer tambm a comparao e a avaliao das
polticas).
Uma nota sobre os testes internacionais e, nomeadamente, o PISA, porque
este ganhou uma dimenso, hoje, que eu diria que, praticamente, no h
nenhum responsvel de poltica educativa no mundo, pelo menos no
mundo desenvolvido, que possa olhar de forma menos atenta para o PISA.
Ganhou o espao de conseguir transformar-se realmente num instrumento
de verdadeira monitorizao das polticas e hoje esse objetivo est
presente, de forma clara e expressa, nos seus objetivos. Dever ser difcil
encontrar na Europa um discurso poltico sobre educao ou um programa
de um governo que de alguma forma no v buscar aspetos de
fundamentao ao que o PISA nos diz.
Esse impacto tem sido enorme em termos de poltica educativa. Recordo
que desde os primeiros resultados do PISA a que Grek (2009) chamou o
PISA shock quando saram os primeiros resultados na Alemanha e o
PISA surprise na Finlndia, precisamente pela diferena que existia nos
resultados obtidos e aquilo que eram as expetativas que esses pases
tinham relativamente aos seus prprios resultados e as expetativas que
outros pases tinham relativamente a esses resultados. Um estudo recente
(Breakspear, 2012) que envolve 37 pases mostra que hoje o PISA se
transformou realmente num standard internacional de performance, no
dos alunos, mas dos sistemas escolares dos vrios pases. Aparentemente,
os resultados dos alunos j so um instrumento do verdadeiro objetivo do
PISA.
Mas afinal, na avaliao externa em Portugal, qual o problema que
verdadeiramente no est resolvido e que ns oscilamos para ver se
conseguimos ou no resolver? o problema da existncia dos exames
e/ou da existncia das provas aferidas como instrumento central da

74

avaliao externa. E a minha convico de que no possvel fazer as


duas coisas ao mesmo tempo e o que ns tentamos fazer mascarar, isto ,
vamos tentando disfarar, tentando usar uma coisa para as finalidades da
outra, os exames com a finalidade de monitorizar o sistema e,
eventualmente o contrrio, que usar as provas aferidas com a finalidade
de certificar os resultados dos alunos. H uma diferena clara nas
finalidades, no referencial, no critrio e na forma de fazer o feedback.
Basta ler os relatrios do GAVE sobre as provas aferidas e ler os relatrios
sobre os exames e ver a diferena como so organizados os dois tipos de
relatrios, para perceber que o feedback dado por cada instrumento
bastante diferente e, portanto, o problema : com a avaliao externa
pretendemos fazer a certificao social (os diplomas escolares tm essa
funo), ou pretendemos utilizar essa informao para a melhoria das
aprendizagens? (Esta ltima a pergunta que nos foi colocada neste
seminrio)
Gostaria de fazer uma nota final sobre a questo porque, do meu ponto de
vista, esta deriva de transformar as provas aferidas de 4. ano e 6. ano em
exames uma deriva perigosa. A primeira questo , se so exames, o que
ns sabemos dos exames que eles servem para certificar, mas no
servem para o resto, como alis j foi explicado pela Carlinda Leite, e
muito bem, quando disse que, se os exames nos dessem esse feedback de
melhoria, h tantos anos que h exames, os resultados estariam sempre a
melhorar.
Os exames existem h mais anos que todas as outras formas de avaliao
externa, tanto em Portugal com nos outros pases, e Portugal um pas que
j passou pela situao de ter exames e de no ter exames e de ter provas
aferidas e de no ter. Portugal tem essa experincia, que uma experincia
bastante interessante e diferente de grande parte dos pases e eu deixo uma
nota para reflexo: a minha convico que a avaliao externa
extraordinariamente importante para a melhoria das aprendizagens mas
no exames com o formato que lhe temos dado. Os exames extinguem-se
com o ato de certificao, so provas gerais de domnio e no contm a
parte seguinte que a que verdadeiramente conta para a melhoria das

75

aprendizagens, ou seja, a informao que permite o feedback s escolas e


aos professores sobre as competncias especficas dos alunos.
Para a avaliao externa ter efeitos na melhoria das aprendizagens
indispensvel que os seus resultados sejam sistematicamente devolvidos
s escolas, aos professores e aos alunos e tratados de forma analtica em
funo das competncias avaliadas e da sua relao com o tempo e os
atores.
A avaliao externa, como qualquer avaliao sumativa, relaciona-se com
a melhoria das aprendizagens quando passa a formativa, isto , quando
nos permite passar do juzo interpretao e compreenso.
Por outro lado, para aqueles que acham que os exames so condio
promotora da qualidade do ensino e da melhoria das aprendizagens, eu fiz
alguns clculos sobre os anos em que no houve exames em Portugal e
cheguei concluso que os portugueses que tm 35 ou 36 anos e 53 ou 54
anos no fizeram qualquer tipo de exame at ao final do ensino secundrio
(fizeram, quanto muito, as provas de acesso ao ensino superior que no
relevante para o que estamos a discutir aqui). Assim a minha pergunta ,
para aqueles que acreditam que os exames so um instrumento
indispensvel garantia da qualidade das aprendizagens (no garantia da
qualidade da certificao social), e a pergunta se acham que, no caso dos
portugueses entre os 35 e os 50 anos, estamos perante uma gerao de
impreparados ou de falhados. Eu estou convictamente pensando que no, e
que, bem pelo contrrio, estamos perante uma gerao muito bem
preparada e alguns dos melhores cientistas portugueses so desta gerao
que no fez nenhum exame no ensino bsico e no ensino secundrio.
A minha convico essa, mas a pergunta fica para a reflexo de todos.

76

Ao longo da minha carreira docente, debati-me vrias vezes com a


pergunta seguinte: ser possvel haver uma prtica letiva de qualidade
quando se est sujeito a exame nacional?
Sustentada na tese de doutoramento intitulada Avaliao Formativa,
Avaliao Sumativa e Exames na Prtica de Trs Professoras de
Portugus de 12 Ano encontro uma resposta afirmativa. Fundamenta-a o
facto de Beatriz, uma das participantes do estudo, ter vestido, literalmente,
a camisola do exame e, luz do perfil do professor, definido na tese,
tambm ter vestido, em aula, a camisola da avaliao para as
aprendizagens. Esta complementaridade foi conseguida, na medida em
que a docente, imbuda das caractersticas do professor reflexivo,
conjugou sabiamente a avaliao formativa com a sumativa, como
revelam os avaliogramas desenhados. Demonstrou que ambas podem
coabitar em aula, mesmo com alunos que sero sujeitos a exames
nacionais. Porm, fica algum incmodo pelo facto de classificaes de
exame terem sido inferiores ao esperado.
Este texto comea por dar conta dos resultados da investigao, para
depois referir algumas prticas consideradas significativas, forma de
fundamentao da resposta questo inicial.

A tese de doutoramento Avaliao Formativa, Avaliao Sumativa e


Exames na Prtica de Trs Professoras de Portugus de 12. Ano,
defendida em 2010, no Instituto de Educao da Universidade de Lisboa,
resulta duma investigao de ndole qualitativa, de inspirao etnogrfica,
1

Agrupamento de Escolas D. Maria II, Sintra, Unidade de Investigao do Instituto de Educao,


Universidade de Lisboa.
Autora da tese de doutoramento aqui referida.

78

cuja unidade de anlise o professor, suas aes e pensamentos. No se


pode, por isso, generalizar exclusivamente com estes dados.
O enquadramento terico baseia-se na discusso do perfil do professor
(relativamente prtica letiva e avaliativa), de autores consagrados, quer
da rea dos saberes docentes (como Clark e Hollingswoth, 2002,
Hargreaves, 1994, 2000, Huberman, 2000, Joice e Calhoun, 2009,
Korthagen, 2005, Schn, 1983, Shulman, 1987, Zeichner, 1993), quer do
domnio da avaliao dos alunos (como Black e William, 1998, Crooks,
1988, Fernandes, 2005, Gipps, 2004, Goodlad, 2004, Harlen, 2006,
Natriello, 1987, Shepard, 2001, Stiggins e Conklin, 1992, Taras, 2005).
As professoras e respetivas turmas da Grande Lisboa foram selecionadas
pelos rgos de gesto, em funo dos critrios que entenderam. A turma
12A foi indicada por ser, sem dvida, a melhor turma da escola A,
pblica, e pelo facto de a professora Amlia no se importar de participar
no estudo. Beatriz foi considerada uma inevitabilidade, j que era a nica
professora de 12 ano da escola B, privada; a turma 12B surgiu por acaso,
pois no havia diferena significativa entre elas, tanto ao nvel dos
resultados como do comportamento. Carolina, da escola C, pblica,
encontrava-se numa fase profissional de desiluso, pelo que viu com
agrado o aparecimento de um olhar externo que pudesse ajud-la a
compreender esse sentimento; das suas turmas, a 12C ainda era das
melhorzinhas.
A recolha de dados foi equilibrada nas trs escolas e decorreu,
essencialmente, ao longo de 2006/2007. Baseou-se na observao de 86
aulas. De todas, foram elaboradas tanto snteses descritivas, que
evidenciaram os parmetros em observao, como avaliogramas (assim
designados pela semelhana com os eletrocardiogramas), que permitiram
visualizar de outro modo o sentir da aula. Baseou-se tambm em mais de
13 horas de entrevistas integralmente transcritas e interpretadas, feitas s
professoras, a um elemento da direo da escola e a alunos. Apenas as dos
alunos foram entrevistas coletivas. Baseou-se ainda na anlise de contedo
do dirio de campo e de artefactos escritos, estes num total de 154
documentos (documentos estruturantes das escolas, instrumentos de

79

avaliao, resoluo das provas de exame de Portugus B dos alunos


entrevistados, etc.).
A informao foi tratada de modo a perceber-se o tipo de relao existente
entre a avaliao formativa e a sumativa, o impacto dos exames na prtica
letiva, a forma de gesto quer das presses dos exames quer da aplicao
das duas modalidades de avaliao. Assim, veria se possvel haver uma
prtica letiva de qualidade quando se est sujeito a exame nacional.
Como afirmado na introduo, a minha resposta afirmativa, pois
identifiquei pelo menos um caso que revelou que a avaliao externa no
comprometeu a prtica letiva e avaliativa de qualidade. E se existe um
caso porque possvel! No entanto, as classificaes de exame ficaram
aqum dos desempenhos revelados pelos alunos ao longo do ano. Assento,
pois, a minha fundamentao nas evidncias, tanto nos resultados dos
exames como nas prticas observadas sobretudo em Beatriz e em todo o
contexto da turma 12B.

Num ano em que a mdia nacional das classificaes de exame (CE) de 1


fase se situou nos 10,8 valores, podemos dizer que os resultados das trs
turmas, revelados na Tabela 1, foram bons. O incmodo atrs aludido
surge por duas razes: a) pela inesperada descida da mdia da
classificao final da disciplina no 12 ano (CF) da turma 12B (diferena
de 4,41 valores para CE) e b) pela inverso das mdias de exame das
turmas 12A e 12B, quando as observaes identificaram estes ltimos
alunos com um desempenho bastante superior ao dos primeiros.
Tabela 1. Valores mdios de classificao de frequncia (CF), classificao interna final
(CIF) e classificao de exame (CE) comparados nas trs turmas

80

Importa tambm referir duas das concluses do estudo que vm a


propsito. Por um lado, identificaram-se alguns efeitos de washback, i.e.,
presses sentidas pela existncia de exames, como a alterao consciente e
inconsciente das classificaes internas, que aumentam a mdia de
classificao interna final (CIF) procedimento verbalizado por Amlia e
subentendido em Carolina. Por outro lado, os exames no se afiguraram
determinantes na prtica letiva das professoras, que parece estar mais
dependente dos seus estilos.
Relativamente prtica letiva, da anlise da literatura, identifiquei as
caractersticas fundamentais que permitem definir dois perfis extremados
de professores. Considerei que, para cada parmetro, um professor pode
situar-se num ponto de uma linha contnua que vai de um estilo mais
tcnico a outro mais reflexivo. Diretamente relacionados com as prticas
de ensino, encontram-se os parmetros: abordagem dos contedos (que
pode ser mais superficial ou mais profunda), recurso a tarefas (mais
simples e rotineiras ou mais complexas e diversificadas), processo de
interao oral (mais espontneo e intuitivo ou mais deliberado e
reflexivo), dinmicas de sala de aula (mais individualizadas ou mais
cooperativas) e explorao do currculo (mais restritiva ou mais
abrangente). Nas ligadas s prticas avaliativas, temos os parmetros:
finalidades da avaliao (mais sumativas ou mais formativas), tipo de
feedback (mais classificativo ou mais orientador), participao dos alunos
(mais passiva ou mais ativa) e preparao para os exames (mais
descontextualizada ou mais contextualizada). A sntese destes nove
parmetros conduz a um ltimo que identifica o estilo de determinado
professor como mais tcnico ou mais reflexivo. Das evidncias recolhidas
resultou a distribuio constante da Tabela 2.

81

Tabela 2. Sistematizao do perfil de ensino e avaliao de Amlia, Beatriz e Carolina

Mesmo sem entrarmos em pormenores, consegue perceber-se que Beatriz


(situada direita) , das trs intervenientes, a que melhor integra o perfil
reflexivo, o defensvel no paradigma atual. Por esta razo, fundamento a
minha resposta inicial na sua prtica, que apresento de imediato, parcial e
sucintamente.
Segundo os alunos, Beatriz expressiva, enrgica, direta, dura e exigente.
As suas aulas tm um ritmo prprio e acelerado. Eles apreciam-nas por
serem originais e criativas. As atividades ldicas, como lhes chama o
Bruno (EABruno,1), no tornam as aulas maadoras e ajudam-nos a
compreender a poesia, modo literrio de que no gostavam no incio, mas
que j aprenderam a gostar. Reconhecem a preocupao constante da
professora em criar surpresa, em revelar curiosidades relacionadas com os
contedos, o que permite dizerem que chega at a dar vontade de ficar
mais noventa minutos; sentem-se motivados.
Cada aula introduzida por uma conversa informal, em princpio externa
ao objetivo do Portugus. Depois, faz, de forma mais ou menos subtil,
uma reviso das ltimas matrias, com o intuito de obter feedback do que
lhes ficou mesmo sem eles terem estudado (EPB3,10). Este diagnstico
das aprendizagens aparece integrado num discurso fluido, como parte

82

natural do dilogo inicialmente estabelecido e que vai resvalando para os


contedos temticos, que explora durante a aula. Trata-se, de resto, de um
procedimento habitual na articulao entre as diferentes partes destas aulas
(OAB5). Beatriz f-lo conscientemente.
A professora possui um conhecimento profundo da matria que leciona,
muito alm da informao dos manuais escolares. Os dados novos surgem
em curtas exposies, entrecortadas pelo dilogo, por declamaes, por
leituras (normalmente feitas pela professora), por relatos de histrias
curiosas desconhecidas da turma e que prendem a sua ateno. Relacionaos com a atualidade.
Beatriz tem uma forma adulta de lidar com os alunos. Por um lado, a
exigncia que lhes pede tem-na para consigo prpria, quer pelo modo
como aprofunda as temticas quer pelo vocabulrio especfico que usa na
exposio e na relao dialgica que estabelece quer ainda pelo que espera
do desempenho discente. As correes que faz e as fundamentaes que
pede sistematicamente so disso testemunho. Por outro lado, aceitar que o
conhecimento se constri com base em mltiplas interpretaes d-lhe
uma humildade, que se sente verdadeira. Esta humildade materializa-se no
reconhecimento da sua incapacidade em responder a dvidas sobre a
Terminologia Lingustica para os Ensinos Bsico e Secundrio (TLEBS)
ou na hiptese de que a falha de comunicao possa estar do seu lado
(No foi exatamente isso que eu disse... Eu tambm posso no ter sido
muito clara - OAB9) ou ainda na genuna valorizao da opinio dos
alunos, aceitando e estimulando a sua perspetiva na interpretao de
textos, o que foi muito frequentemente observado. Esta abertura de
esprito j desencantou alguns alunos por acreditarem que o professor
deve saber tudo, todavia, diz no saber agir de outro modo.
A metodologia interativa a que recorre constitui outra das suas maisvalias, pela forma hbil como a implementa: faz perguntas cuja
formulao exige respostas abertas; atribui tempo necessrio elaborao
do raciocnio, sem quebrar o ritmo da aula; perseverante nos pedidos de
fundamentao e de exemplificao, estimulando os pensamentos de nvel

83

superior; incute autoconfiana nos adolescentes pela valorizao das suas


opinies; fornece feedback constantemente.
O currculo foi desenvolvido em praticamente toda a sua extenso
(contrariamente ao observado nas outras professoras), incluindo
apresentaes orais e contratos de leitura. As apresentaes, bipartidas,
constituram verdadeiros espetculos: primeiro apresentaram-nos, depois
fundamentaram todos os pormenores.
Do ponto de vista das prticas avaliativas, Beatriz revela valorizar muito a
avaliao para as aprendizagens. Preocupa-se especialmente com a
formao dos alunos enquanto cidados, por isso quer que compreendam
os fenmenos e que fundamentem as opinies/observaes, d-lhes
feedback orientador, diversifica as tarefas, insistindo nas metacognitivas.
Contudo, preocupa-se igualmente com a avaliao sumativa: apela
realizao voluntria de textos de diversas tipologias, que coloca na
internet; disponibiliza-se para os corrigir e comentar, nomeadamente nas
aulas semanais de esclarecimento de dvidas; perante a indeciso da tutela
na manuteno da TLEBS, acaba por trabalh-la nas ltimas aulas, pois
pode constar do exame
Mesmo ao nvel da avaliao interna, a sumativa bastante ponderada. Da
articulao que a docente fez entre ambas as modalidades de avaliao,
destaco uma revelada na 19 aula, constante do avaliograma da Figura 1.
As duas modalidades complementaram-se.
Eis a situao: Beatriz tinha solicitado a cada grupo de alunos uma nova
capa para a obra Felizmente H Luar! J as tinha recebido, analisado e
anotado. Porm, sentia-se incapaz de atribuir classificaes por falta de
informao que sustentasse os resultados. Em aula, os alunos justificaram
cada smbolo usado, a professora foi fazendo perguntas e eu assisti
alternncia, num largo espetro, entre a profundidade tpica da avaliao
formativa e a intencionalidade sumativa da avaliao.

84

AS

Figura 1. Avaliograma das 19 e 20 aulas de Beatriz

AF
20. aula

19. aula

Legenda
Desenrolar da aula na relao AF/AS

Espao eminentemente avaliativo

Iniciativa do prof

Espao eminentemente de prtica

Iniciativa do aluno

Espao eminentemente informativo

Beatriz sabe que os exames constituem um momento particularmente


importante na vida dos adolescentes e famlias. Solidariza-se com eles. De
tal modo que, no s os estimula ao mximo como, no dia do exame,
enverga uma t-shirt com Fernando Pessoa, frente, e Exame Nacional de
Portugus, atrs. Beatriz veste a camisola do exame! E pelo seu empenho,
no tenho dvidas que tambm veste a camisola da prtica letiva!
Porm, nem tudo foram rosas. Beatriz viveu incrdula e angustiada pelos
resultados de exame que no corresponderam ao esforo de ambos os
lados (professora e alunos). Logo em julho, quando as classificaes da
primeira chamada foram publicadas, a desiluso pelos resultados de
Portugus instalou-se. Quase todos os alunos pediram recurso, que foi
total ou parcialmente aceite. Com a publicao dos rankings nacionais, a
docente reforou esse sentimento, refletindo: se, por um lado, os alunos
so bons e tambm ela cumpre o seu dever, por outro, os resultados que
obtiveram nos exames no foram satisfatrios. Porqu? Na sua escola,
Portugus foi a disciplina com classificaes mais baixas! Nos rankings s
a Portugus, ficou em 90 lugar! O que que est mal?

85

As respostas s questes que Beatriz levantou exigiriam uma nova


investigao. Todavia, no tenho dvida de que algo est mal! Reveja-se a
Tabela 1. Pelo desempenho revelado ao longo do ano e pelo confronto
entre as provas de exame, inquestionavelmente, a turma 12B merecia: ter
melhores classificaes; ter classificaes superiores 12A.
Ocorreram-me, quatro hipteses justificativas:
1. Alinhamento entre o desenvolvimento do currculo e o exame porque
obteve melhores resultados a turma que viu o currculo prescrito
significativamente reduzido e no beneficiou, em aula, de uma
avaliao para as aprendizagens? Ter isso a ver com a natureza do
exame aplicado? Ser que desenvolver uma diversidade de
competncias e conhecimentos previstos, mas no avaliados na prova
nacional, no melhora a qualidade das respostas? Ou a disperso dos
alunos pelo desenvolvimento das diferentes competncias funciona
como distrator da preparao para o exame? De acordo com Popham
(2008) estes resultados no sero estranhos. O autor contesta a assero
de Black e Wiliam (1998), no porque uma melhor aprendizagem no
melhore os resultados, mas por considerar os exames de controlo das
aprendizagens insensveis lecionao: eles no detetam a diferena
entre uma formao adequada e uma inadequada. Popham (2008)
defende que as provas testem um nmero modesto de objetivos, que
sejam claramente descritas as competncias a serem testadas e que se
faa um relatrio por aluno para cada um desses objetivos. S assim os
exames podero ser sensveis lecionao. Mas poder esta proposta
funcionar? Como fazer, ento, alinhar a avaliao externa com a viso
reformista do currculo?
2. Classificao dos exames para alm dos critrios distribudos aos
professores-classificadores, que outros critrios, subjetivos, entram em
jogo? A questo no simples, porquanto, ultimamente, tem-se
assistido a sucessivas alteraes metodolgicas. Porm, a Portugus, a
escala de classificao raramente usada em toda a amplitude, situao

86

que pode beneficiar os alunos muito fracos e prejudicar os muito bons.


Existe, por isso, a tendncia para se descontar algo quando tudo se
apresenta bem (ou para contar algo quando a resposta muito fraca),
i.e., h a tendncia para a centralidade das classificaes (Noizet e
Caverni, 1978), situao a que todos os alunos estaro sujeitos. Mas
pensemos: ser que os alunos de uma escola muito boa, cujas provas
pertencem todas ao mesmo lote (muito bom, portanto), no so
prejudicados por esse mesmo facto, quando cotejados com outros que,
sendo tambm muito bons, tm as suas provas misturadas com outras
boas e satisfatrias? Podero estes efeitos de ancoragem estar a jogar o
seu papel no caso aqui investigado?
3. Autoconfiana e ansiedade dos alunos surgem-me algumas dvidas
respeitantes influncia das diferentes prticas pedaggicas: que
fatores mais contribuem para resultados mais eficazes? Ser que um
professor bastante rigoroso e exigente provoca insegurana nos alunos?
Ou ser que o facto de os alunos perceberem que h sempre algo a
melhorar (mesmo com uma slida formao) lhes coarta essa
confiana? Ser que a ansiedade dos alunos aumenta exageradamente
perante expectativas e ambies elevadas (ARG, 2002)?
4. Formao global prvia ao 12 ano levanta-se a questo: ser que as
aprendizagens anteriores ao ano de exame, adquiridas ao longo do
ciclo, exercem um peso bastante superior ao imaginado e,
consequentemente, as aprendizagens de 12 ano no so to
significativas? Ou nesta altura j s os contedos so significativos? Ou
ter a 12A capacidades e competncias que no foram demonstradas
em aula de Portugus apenas porque no foram explicitamente
solicitadas?
Tendo comeado com uma pergunta, acabo com muitas outras. H, assim,
espao para novas investigaes!

ARG, (2002a). Testing, Motivation and Learning. Cambridge: University of Cambridge


Faculty of Education.

87

Black, P., e Wiliam, D. (1998). Assessment and Classroom Learning. Assessment in


Education, 5(1), 7-74.
Clarke, D. e Hollingsworth, H. (2002). Elaborating a model of teacher professional
growth. Teaching and Teacher Education, 18, 947-967.
Crooks, T. (1988). The Impact of Classroom Evaluation Practices on Students. Review of
Educational Research, 58(4), 438-481.
Fernandes, D. (2005). Avaliao das Aprendizagens: desafios as teorias, prticas e
polticas. Cacm: Texto Editores.
Gipps, C. (2004). Beyond Testing: Towards a Theory of Educational Assessment. Oxon:
Routledge Falmer.
Goodlad, J. (2004). A Place Called School. Nova Iorque: McGraw-Hill. Edio especial
do vigsimo aniversrio.
Hargreaves, A. (2000). Four Ages of Professionalism and Professional Learning.
Teachers and Teaching: History and Practice, 6(2), 151-182.
Hargreaves, D. (1994). The New Professionalism: the synthesis of professional and
institutional development. Teaching & Teacher Education, 10(4), 423-438.
Harlen, W. (2006). On the Relationship Between Assessment for Formative and
Summative Purposes. In Gardner (Ed.) Assessment and Learning. Londres: Sage
Publ., pp. 103-117.
Huberman, M. (2000). O Ciclo de Vida Profissional dos Professores. In Nvoa (org.)
Vidas de Professores. Porto: Porto Editora, 2 ed., pp. 31-62.
Joyce, B. e Calhoun, E. (2009). Three Sides of Teaching: Styles, Models, and Diversity.
In Saha e Dworkin, International Handbook of Research on Teachers and
Teaching. Nova Iorque: Springer, pp. 645-652.
Korthagen, F. A. (2005). Practice, Theory and Person in Lifelong Professional Learning.
In Beijaard,. Meijer, Morine-Dershimer e Tillema (Eds.). Teacher Professional
Development in Changing Conditions. Holanda: Springer, pp. 79-94.
Natriello, G. (1987). The Impact of Evaluation Processes on Students. Educational
Psychologist, 22(2), 155-175.
Noizet, G. e Caverni, J. (1978). Psychologie de l'valuation scolaire. Paris: PUF.
Popham, J. (2008). Transformative Assessment. Virginia, EUA: Association for
Supervision and Curriculum Development.
Schn, D. (1983). The Reflective Practitioner. Nova Iorque: Basic Books.
Shepard, L. A. (2001). The Role of Classroom Assessment in Teaching and Learning. In
Richardson (Ed.) The Handbook of Research on Teaching (4 ed., pp. 10661101). Washington, DC: American Educational Research Association.

88

Shulman, L. (1987). Knowledge and Teaching: Foundations of the New Reform.


Harvard Educational Review, 57(1), 1-22.
Stiggins, R. e Conklin, N. (1992). In Teacher's Hands. Nova Iorque: State University of
New York Press.
Taras, M. (2005). Assessment Summative and Formative Some Theoretical
Reflections. British Journal of Educational Studies, 53(4), 466-478.
Zeichner, K. (1993). A Formao Reflexiva de Professores: Ideias e Prticas. Lisboa:
Educa.

EABruno,1 entrevista ao aluno Bruno, pg. 1


EPB3,10 terceira entrevista professora Beatriz, pg.10
OAB5 observao da 5 aula de Beatriz
OAB9 observao da 9 aula de Beatriz

89

A avaliao externa dos alunos, concretizada em testes intermdios e, em


particular, em exames nacionais, um instrumento regulador das suas
aprendizagens. , tambm, um meio de seleo para o ingresso no ensino
superior.
Por isso tornou-se, hoje, um tema central de reflexo e de preocupao nas
escolas. Tal facto tem necessariamente repercusses na gesto do
currculo e na prtica letiva do professor, ora com consequncias positivas
ora originando constrangimentos.

Destacam-se como aspetos positivos da avaliao externa dos alunos na


prtica docente os seguintes:
maior responsabilizao dos professores na gesto do currculo,
levando a uma preparao mais cuidada do processo de ensino e
aprendizagem e maior reflexo sobre o mesmo;
aumento do trabalho colaborativo entre professores;
cumprimento dos programas, em particular no que respeita
lecionao dos contedos;
maior assiduidade dos professores.
A avaliao externa dos alunos vista, tambm, como uma forma de
avaliar o trabalho dos professores e das escolas. Por isso nas escolas, e em
particular nos grupos disciplinares, h uma grande preocupao pela
gesto do currculo das disciplinas dos anos com exames nacionais, o que
nem sempre acontece com as dos restantes anos de escolaridade. Por
exemplo, no grupo disciplinar de Fsica e de Qumica, as disciplinas de
Fsica e de Qumica do 12. ano, que antigamente tinham um lugar de

Escola Secundria Frei Heitor Pinto, Covilh.

90

destaque no currculo, passaram a ser vistas como disciplinas menores,


especialmente pelos alunos, pelo facto de j no terem exame nacional.
As disciplinas em que h exames nacionais tornaram-se, portanto, o alvo
principal de tomada de decises sobre a gesto do currculo em reunies
de grupos disciplinares e departamentais. Tal facto tem conduzido a uma
promoo do trabalho colaborativo entre professores, em especial no que
concerne preparao de materiais, com relevncia positiva para
professores menos experientes. Os baixos resultados nos exames nacionais
tambm levaram os professores a refletirem mais sobre o processo de
ensino e aprendizagem, designadamente atravs da anlise de relatrios
sobre o desempenho dos alunos na avaliao externa, na expectativa de
uma melhoria dos resultados.
O cumprimento dos programas tambm um aspeto positivo resultante da
avaliao externa. Na antiga disciplina de Fsica e Qumica dos 10. e 11.
anos no havia exames nacionais; verificava-se que, em muitos casos,
havia contedos que no eram lecionados numa das componentes (Fsica
ou Qumica). Tal situao tinha repercusses negativas no prosseguimento
de disciplinas da mesma rea do 12. ano e do ensino superior. Hoje isso
no se verifica, todos os contedos so abordados. Relativamente s
metodologias propostas nos Programas, elas podero ser implementadas
em maior ou menor extenso e qualidade, mas isso tambm acontecia
quando no havia exames nacionais, uma vez que um aspeto que
depende essencialmente do professor.
A extenso dos programas e o seu cumprimento integral levou a uma
maior assiduidade por parte dos professores, embora algumas vezes de
uma forma negativa: a preocupao com as disciplinas de exame to
grande que os professores acabam por comparecer nas aulas mesmo
doentes.

Apontam-se alguns aspetos negativos decorrentes da existncia de


avaliao externa:
91

tendncia para uma maior nfase no desenvolvimento de


competncias e conhecimentos objeto de avaliao em exames,
subvalorizando-se outros;
risco de um aprofundamento desadequado dos contedos,
promovendo a desistncia de alunos com mais dificuldades e,
portanto, um ensino para elites;
maior controlo/presso sobre o professor para o cumprimento de
calendarizaes (pelos pares, alunos, encarregados de educao,
direo) com possveis consequncias no ritmo e qualidade das
aprendizagens;
risco de uma padronizao de metodologias e instrumentos de
avaliao interna;
efeitos da cultura da escola (presso dos rankings, da avaliao
externa das escolas, dos contratos de autonomia): ensinar para o
sucesso na avaliao externa? Ou ensinar para o sucesso na
avaliao interna?
Os professores, pressionados pela melhoria dos resultados nos exames
nacionais e pela falta de tempo em abordar com qualidade os Programas,
tendem a selecionar os conhecimentos e, em particular, as competncias
que so objeto de avaliao em exame. Tal atitude subvaloriza o
desenvolvimento e respetiva avaliao de aspetos dos Programas que
contemplam uma formao mais geral do aluno no mbito disciplinar (por
exemplo, a pesquisa e anlise documental e a comunicao oral de ideias
com utilizao de linguagem prpria da disciplina).
Tambm alguns professores, receosos do grau de exigncia das provas de
exame, tendem a aprofundar em demasia certos contedos. Tal atitude
torna a disciplina inacessvel para os alunos que tm mais dificuldades,
podendo promover a sua desistncia.
H tambm um grande controlo sobre o professor relativamente ao
cumprimento da calendarizao anual feita no incio do ano letivo. Ele
vem no s da direo da escola mas, particularmente, dos pares (o
cumprimento da calendarizao visto como sinnimo de bom
profissionalismo), como dos prprios alunos e encarregados de educao
atravs de manifestaes de preocupao sobre a possibilidade do

92

professor no lecionar atempadamente os contedos. A gesto do


currculo passou, portanto, a extravasar o domnio do professor,
estendendo-se a outros agentes educativos. Ora esta presso, para alm de
tornar pouco saudveis as relaes institucionais, tende a promover uma
uniformizao no tratamento dos alunos, pois impe o mesmo ritmo de
aprendizagem a todas as turmas independentemente das suas
caractersticas. E so os alunos com dificuldades que mais sofrem com
esta tentativa de uniformizao.
H igualmente um risco de padronizao das metodologias e dos
instrumentos de avaliao interna usados, os quais so escolhidos pelo
grupo disciplinar tendo em conta as caractersticas do exame nacional. Por
um lado, a utilizao de metodologias semelhantes e, em particular, de
instrumentos de avaliao (por exemplo, usar os mesmos testes em todas
as turmas do mesmo ano) leva ao tratamento igual de alunos que podem
ter caractersticas muito diferentes, com eventual prejuzo da qualidade
das suas aprendizagens. Por outro lado, as decises coletivas provenientes
de trabalho colaborativo ou de estruturas superiores da escola sobrepemse deciso individual do professor, podendo coloc-lo numa posio de
mero tcnico que cumpre orientaes. O professor, enquanto construtor de
currculo, pode ser posto em causa, o que leva a um empobrecimento na
diversidade e na inovao.
Tambm a cultura de escola influencia as decises dos professores na
gesto do currculo. H escolas que, pela quantidade e qualidade dos seus
alunos, podem ser mais exigentes e trabalham com um objetivo: obter uma
boa posio nos rankings. Outras, pelo contrrio, instaladas em zonas
desfavorecidas, no tm esta pretenso como objetivo principal, mas sim o
sucesso educativo (e no s escolar!), investindo nos seus resultados a
nvel interno. E o professor tem de adotar um estilo que esteja de acordo
com a cultura de escola, o que tem implicaes na sua prtica letiva.
Outros indicadores externos, como a avaliao externa das escolas e os
contratos de autonomia, so fatores de presso nas decises dos
professores: por um lado h que melhorar o sucesso na avaliao interna,
por outro no deve haver grandes discrepncias entre a avaliao interna e

93

externa. E a expectativa sobre a conciliao destes resultados recai sobre o


professor, aumentando a sua responsabilizao no processo de avaliao.

Como conciliar os aspetos positivos e negativos da avaliao externa dos


alunos e a gesto do currculo pelo professor?
incompatvel a avaliao externa e a diversidade e inovao na prtica
letiva do professor?
Nota-se uma pretenso em avaliar os professores pelos resultados que os
seus alunos obtm nas provas de exames nacionais. Esta pretenso, sendo
errada, mais um fator de presso sobre o professor. Verifica-se que um
mesmo professor ora tem bons resultados ora menos bons. Eles dependem
de muitas variveis mas, essencialmente, dos alunos e do tipo de prova.
Nem o desempenho de um aluno nem o de um professor pode ser avaliado
apenas pelo resultado de um exame.
E nem todo o tipo de conhecimento ou competncia de um aluno pode ser
avaliado num exame. A atestar isto recorda-se que alguns alunos j foram
medalhados em olimpadas internacionais mas no obtiveram a
classificao mxima em exames nacionais. No , por isso, razovel que
a prtica letiva do professor seja liderada por objetivos relacionados s
com a avaliao externa, pois preciso promover um desenvolvimento
integral do aluno e esse tambm deve ser avaliado. No se podem reduzir
os objetivos da avaliao interna aos objetivos da avaliao externa, pois
eles so diferentes e, por isso mesmo, a legislao confere-lhes pesos
diferentes.
Tambm no se pode reduzir o papel do professor ao de um mero tcnico
que cumpre acriticamente orientaes superiores ou se limita a usar
recursos disponveis. A padronizao do ensino, com o objetivo de uma
pretensa igualdade que conduz melhoria de resultados em exames
nacionais, pode pr em causa a qualidade das aprendizagens. Por um lado
trata de igual forma o que diferente os alunos no promovendo
metodologias de diferenciao. Por outro, tambm no promove o

94

desenvolvimento profissional do professor e pe em causa a sua


identidade: suposto este construir e reconstruir, atravs da reflexo,
ambientes de aprendizagem diversificados e adequados s caractersticas
dos seus alunos.
A avaliao externa no incompatvel com um professor construtor de
currculo. preciso que haja uma diminuio da tenso entre as decises
coletivas e a deciso individual do professor. Deve haver mais liberdade e
confiana no professor relativamente s suas opes didticas, pois a
este que cabe a tomada de deciso em sala de aula, baseada nas
necessidades individuais dos alunos, uma vez que a natureza da
aprendizagem requer flexibilidade e capacidade de resposta. a reflexo
constante sobre o seu trabalho e a renovao das suas estratgias que
promotora de ambientes de aprendizagem adequados s necessidades dos
alunos. E so esses ambientes que podem promover bons resultados,
incluindo os da avaliao externa.

95

A articulao entre avaliao formativa e avaliao sumativa,


nomeadamente na modalidade de exames nacionais, tem sido amplamente
discutida, na literatura, por vrios autores (Wiliam e Black, 1996; Harlen,
2006; Wiliam, 2000, Santos, 2013), sendo frequente considerar-se que
estas duas modalidades de avaliao so de difcil compatibilizao. Esta
dificuldade deve-se, em parte, ao facto de estes dois tipos de avaliao
terem funes diferentes: a avaliao formativa tem como propsito
promover aprendizagens; a avaliao sumativa tem como funo
estabelecer uma sinopse das aprendizagens alcanadas. Ou, por outras
palavras, a avaliao formativa tem uma natureza prospetiva, enquanto a
avaliao sumativa tem uma natureza retrospetiva (Wiliam, 2000).
Para alm da dificuldade de articulao entre avaliao sumativa e
formativa, muitos autores defendem, tambm, que a avaliao sumativa
externa pode conduzir ao empobrecimento do ensino, nomeadamente no
que respeita avaliao formativa, como se a primeira pudesse aniquilar a
segunda. O aumento da importncia de ensinar para o teste trouxe um
empobrecimento curricular e o negligenciar de tcnicas pedaggicas
associadas avaliao formativa (Gardner, 2006, p.197). Ou seja, para
alm de se aceitar que estas duas modalidades de avaliao so
incompatveis, parece existir a ideia de que, em certo sentido, nem
desejvel que tal articulao ocorra.
Se, por um lado, a investigao educacional tende a valorizar a avaliao
formativa, desenvolvida em sala de aula, como uma estratgia eficaz na
promoo das aprendizagens; por outro lado, a poltica educativa tende a

Escola Secundria de Verglio Ferreira e Unidade de Investigao e Desenvolvimento em


Educao e Formao, Instituto de Educao, Universidade de Lisboa.
2

Instituto de Educao, Universidade de Lisboa.

96

valorizar a avaliao sumativa externa e a publicao do ranking de


escolas, como forma de regulao, monitorizao e, at mesmo, como
fomentadora da qualidade da educao. Como acontece com quase todas
as posies dicotmicas tomadas na rea da educao, aceitar que uma das
modalidades de avaliao melhor ou mais desejvel do que a outra, ou
que as duas so incompatveis, pode ter consequncias nefastas. Como diz
Nvoa (2010, p. 40), Para aceder inteligncia das coisas no podemos
ceder ao facilitismo do pensamento binrio.
Neste texto, argumenta-se que as tarefas de avaliao includas nos
exames nacionais de Biologia e Geologia (BG) podem ser usadas pelos
professores, em sala de aula, para desenvolver avaliao formativa,
funcionando, assim, como instrumentos pedaggicos charneira, capazes de
articular a avaliao formativa e sumativa. Ou seja, servindo, em
simultneo, para sustentar a progresso das aprendizagens dos alunos e
para a obteno de melhores resultados escolares. O argumento estruturase, ao longo do texto, em trs componentes: 1) Desmistificaes da ideia
de que os professores no devem ensinar para os exames; 2) Identificao
de um problema os maus resultados obtidos pelos alunos portugueses
nos exames nacionais de BG , estabelecimento de hipteses explicativas
e propostas de atuao e 3) Descrio de uma interveno educativa,
implementada com vinte professores do ensino secundrio, que parte de
questes de exame para o desenvolvimento de estratgias de avaliao
formativa focadas no desenvolvimento do raciocnio cientfico e na
construo de explicaes cientficas.

A ideia de que os professores no devem ensinar para os exames tem sido,


na rea da educao em cincia, uma fonte de tenso entre investigadores
e professores. Por um lado, os investigadores, centrados na literacia
cientfica, tendem a defender que ensinar para os exames promove
aprendizagens no significativas, rapidamente esquecidas aps a
realizao da prova. Isto ocorrer porque o formato tradicional dos exames
favorece a memorizao e a compreenso simples de factos e conceitos,

97

avaliadas atravs de itens de resposta fechada, que permitem objetivar a


comparao e seriao do desempenho dos alunos. Assim, atividades de
inquiry, argumentao e discusso, por exemplo, to importantes para o
desenvolvimento de competncias cientficas, seriam preteridas em sala de
aula, empobrecendo o ensino. Por seu turno, os professores, centrados no
sucesso dos alunos nos exames, tendem a defender que ensinar para os
exames promove as aprendizagens realmente valorizadas pelo Ministrio
da Educao e Cincia e que o que importa o acesso dos alunos ao
ensino superior.
Estes dois objetivos literacia cientfica e sucesso nos exames , ambos
legtimos e desejveis, no so incompatveis. possvel ensinar para os
exames, sem comprometer os princpios orientadores da educao em
cincia, desde que estes estejam articulados.
Vrios autores (James, 2006; Pellegrino, 2009) defendem que a
articulao entre currculo, ensino e avaliao pode ser conseguida se
todas estas dimenses da educao derivarem da mesma conceo de
cognio e aprendizagem. Assim, uma teoria de aprendizagem,
cientificamente credvel, constitui o elemento chave que permite que as
trs dimenses sejam dirigidas para os mesmos fins e se potenciem
mutuamente, em vez de trabalharem com objetivos opostos (Pellegrino,
2009, p. 5).
Em Portugal, possvel observar como diferentes concees de
aprendizagem das cincias tm afetado, ao longo do tempo, o currculo, o
ensino e os exames de Biologia e de Geologia. No sendo vises
dicotmicas ou exclusivas, podemos identificar uma viso mais
cognitivista e uma viso mais construtivista da aprendizagem.
Numa viso mais cognitivista da aprendizagem, so enfatizados a mente e
o processamento de informao. O currculo e a avaliao organizam-se
em torno de conhecimentos e processos cognitivos, expressos atravs de
objetivos educacionais. No ensino so privilegiadas metodologias
baseadas na transmisso, no fluxo e processamento de informao, nas
ideias prvias dos alunos. Nos exames, as questes surgem

98

descontextualizadas, j que o que importa a complexidade do


conhecimento e dos processos cognitivos a que apela cada item. Uma
questo deste tipo poder, por exemplo, solicitar ao aluno para observar a
figura de um estgio de desenvolvimento embrionrio de uma ave e
indicar o nome e funo de determinada estrutura, presente nessa figura. A
figura fornecida sem qualquer enquadramento e, para responder
corretamente, o aluno ter, necessariamente, que ter tido contacto prvio
com figuras semelhantes fornecida na prova. Este era o modelo de itens
mais visvel nos exames de Biologia e de Geologia at 2006.
Numa viso mais construtivista da aprendizagem, ou de cognio situada,
para alm da mente, importa o sujeito e o contexto. O currculo organizase em torno de situaes de aprendizagem (Joannaert et al., 2006), dandose nfase perceo/ao, ou seja leitura que o aluno capaz de fazer
da situao e capacidade de agir sobre ela, atravs da mobilizao das
competncias apropriadas. No ensino so privilegiadas metodologias
centradas em projetos, trabalho prtico de natureza investigativa, estudos
de caso, discusses Ou seja, situaes de aprendizagem que se
aproximem das prticas cientficas ou que coloquem os alunos perante
problemas do quotidiano que exijam uma interpretao cientfica. Nos
exames, as questes surgem enquadradas por cenrios cientficos, que
podem ser casos reais de investigao ou situaes concretas da natureza,
com os quais os alunos nunca tiveram contacto. Uma tarefa de avaliao
deste tipo poder, por exemplo, partir do resumo de um artigo cientfico,
fornecendo-se ao aluno o objetivo da investigao, procedimento, tcnicas
de obteno de dados e resultados experimentais. Deste cenrio cientfico
decorre um conjunto de questes, entre as quais se pode incluir, por
exemplo, a solicitao de uma explicao dos resultados obtidos na
experincia. Os exames de BG so, desde 2006, deste ltimo tipo, sendo
construdos em torno de quatro cenrios cientficos.
Concluindo, i) nalguns aspetos, as tarefas de avaliao presentes no atual
modelo de exames de BG, esto mais prximas de situaes de
investigao cientfica autntica, nas quais se pretende envolver os alunos,
do que muito do trabalho prtico implementado em sala de aula,

99

considerando as limitaes materiais, tcnicas e humanas de uma escola;


ii) genericamente, as tarefas de avaliao dos exames de BG esto
articuladas com os princpios tericos defendidos para o ensino das
cincias, nomeadamente com abordagens construtivistas e baseadas no
inquiry. Assim, as tarefas de avaliao dos exames nacionais de BG
podem constituir-se, a par de outras atividades de sala de aula, como um
contexto favorvel ao desenvolvimento de competncias envolvidas na
investigao cientfica autntica (inquiry based learning) e na literacia
cientfica. Encerram, ainda, a importante vantagem de serem reconhecidas
por professores e alunos como relevantes na obteno de sucesso, o que
pode aumentar o seu comprometimento com as tarefas.

Segundo os relatrios anuais publicados pelo Jri Nacional de Exames e


pelo Gabinete de Avaliao Educacional, os resultados obtidos pelos
alunos no exame nacional de BG tm sido sistematicamente maus, sendo
que, nos ltimos sete anos, a mdia nacional de classificaes se situa em
torno dos nove valores (Sousa et al., 2013).
Pacificada a ideia de que os professores podem usar os exames nacionais
como instrumento pedaggico em sala de aula, sem que isso comprometa
os princpios orientadores da educao em cincia, importa agora procurar
compreender que fatores podero explicar o fraco desempenho dos alunos
no exame de BG. S assim ser possvel encontrar vias de atuao que
contrariem a tendncia verificada nos resultados. Vrios podero ser esses
fatores, no entanto dois deles parecem-nos, partida, particularmente
relevantes: i) desadequao das aprendizagens-foco e do grau de exigncia
cognitiva do instrumento de recolha de dados/exame e ii) desadequao do
ensino levado a cabo pelos professores face s competncias requeridas
pelo exame. Atentemos ao primeiro destes fatores, j que, do segundo, nos
ocuparemos na terceira parte deste texto.
Tradicionalmente, o grau de exigncia cognitiva dos exames avaliado
tendo em conta critrios relacionados com o grau de complexidade dos

100

conhecimentos e das capacidades cognitivas mobilizados por um


determinado item de avaliao. Para o efeito, podem ser usadas diferentes
taxonomias de objetivos educacionais, sendo que uma das mais divulgadas
a Taxonomia de Bloom modificada (Krathwohl, 2002). Num estudo
recente, desenvolvido por Ferreira e Morais (2013), foi avaliado o grau de
exigncia conceptual das questes sobre trabalho prtico presentes nos
exames e provas intermdias de BG. Usando como critrios de anlise,
precisamente, a complexidade do conhecimento e das capacidades
cognitivas e, ainda, o grau de relao teoria/prtica, estas autoras
concluem que A avaliao externa apresenta um baixo nvel de exigncia
conceptual (p. 20). Parece-nos, contudo, que face ao formato dos atuais
exames de BG, alinhado com uma viso de aprendizagem baseada na
cognio situada, para alm destes critrios ou variveis mais relacionados
com os conhecimentos e capacidades dos alunos, necessrio considerar
variveis contextuais, associadas s tarefas de avaliao (Mislevy, 2008),
ou seja relacionadas com os cenrios cientficos apesentados aos alunos.
Mislevy e seus colaboradores, num projeto designado por PADI
Principled Assessment Designs for Inquiry, identificam um conjunto de
variveis associadas a diferentes cenrios de avaliao de inquiry, que
designam por task model variables. Estas variveis podem assumir
diferentes caractersticas que permitem alterar o foco ou dificuldade da
tarefa (Baxter e Mislevy, 2005; Riconscente et al., 2005). Tendo em conta
o trabalho destes autores e o caso concreto dos exames nacionais de BG,
identificam-se algumas variveis associadas s tarefas de avaliao, que
podem condicionar o grau de exigncia cognitiva dos exames:
Grau de familiaridade com a situao/cenrio cientfico (a situao
um exemplo do padro ou uma situao de exceo na
natureza);
Linguagem cientfica (familiaridade do aluno com termos,
notaes, sinais, smbolos, unidades);

101

Grau de delimitao do domnio cientfico e diversidade dos


conceitos envolvidos (de um nico domnio cientfico/inter-relao
entre vrios domnios cientficos);
Volume de informao;
Nmero de distratores. Por exemplo, presena, ou no, de
informao no relevante ou contraditria;
Complexidade do desenho investigativo, em cenrios
experimentais. Por exemplo, nmero de variveis e sua natureza,
tipo e diversidade de controlos, familiaridade com as tcnicas de
recolha de dados e seus fundamentos;
Complexidade dos resultados experimentais fornecidos. Por
exemplo, volume de dados, nmero de dados confirmativos e
infirmativos,
facilidade
em
encontrar
padres/valores
significativos/dados anmalos, diversidade e familiaridade com os
suportes de dados/representaes grficas (modelos, grficos,
esquemas).
Considerando estas variveis, uma primeira anlise de 83 cenrios
cientficos presentes nos exames de BG, realizados entre 2006 e 2013,
leva a crer que estes apresentam, em geral, uma exigncia cognitiva
considervel.
Tendo em conta a funo sumativa dos exames, seria desejvel que a
avaliao sumativa externa tivesse especial preocupao com a
abrangncia e representatividade da amostra de itens em cada prova de
exame, tendo em conta as aprendizagens estabelecidas no programa.
Como diz Pellegrino (2009, p. 24), Avaliao sumativa em larga escala
deve concentrar-se nos aspetos mais crticos e centrais de aprendizagem
num determinado domnio, tal como identificados nos padres curriculares
e ser informada pela pesquisa e teoria em cognio. Por seu turno, a
avaliao formativa, em sala de aula, deveria debruar-se, em
profundidade, sobre a qualidade das aprendizagens dos alunos, dando
especial ateno ao detalhe, diversidade de situaes, situaes de
exceo, conceitos fronteira, margens do programa (de modo a fazer
102

emergir o que os alunos no sabem e a fragilidade das suas aprendizagens,


permitindo ao professor atuar sobre elas).
Ora parece que estas caractersticas da avaliao formativa e da avaliao
sumativa externa esto invertidas, com os professores a centrarem-se mais
nos conceitos e processos cognitivos estruturantes e a avaliao externa a
recorrer a uma variedade de estratgias que parecem buscar mais aquilo
que o aluno no sabe, em vez do que o aluno sabe.
Concluindo, se bem que, em termos genricos, os exames estejam
articulados com os princpios defendidos para a educao em cincia,
nomeadamente no que respeita s teorias de aprendizagem mais
amplamente aceites, uma anlise mais fina revela incongruncias que
merecem ser reapreciadas, no sentido de se reajustarem as aprendizagens
avaliadas e o grau de exigncia cognitiva dos exames. Recorrendo, de
novo, s palavras de Pellegrino (2009, p. 29 e 30),
Para que o sistema suporte a aprendizagem deve ter uma
qualidade a que chamamos coerncia. [] A base conceptual para
a avaliao em larga escala deve ser uma verso mais ampla do que
faz sentido no nvel mais refinado (Mislevy, 1996). Desta forma,
os resultados da avaliao externa sero consistentes com a
compreenso mais detalhada da aprendizagem resultante do ensino
e avaliao realizados em sala de aula.

A desadequao do ensino levado a cabo pelos professores, face s


competncias requeridas pelo exame, poder ser um dos fatores que
contribui para os maus resultados dos alunos, nos exames de BG. Com as
finalidades de alinhar ensino e avaliao e de desenvolver as competncias
de raciocnio cientfico e de construo de explicaes cientficas dos
alunos, desenvolveu-se um estudo de interveno. Partindo de cenrios
cientficos e de questes extradas de exames de BG, desenharam-se
estratgias de avaliao formativa que vinte professores do ensino
103

secundrio, aps formao, implementaram em sala de aula, com os seus


alunos, ao longo de 5 meses, durante o ano letivo de 2013/2014.
A opo pelo estudo de interveno justifica-se pelo facto de sermos
sensveis crtica por vezes apontada investigao educacional de que
esta tem permitido conhecer cada vez melhor a realidade, atravs de
estudos descritivos, mas que pouco tem acrescentado sobre como agir
sobre ela, para mudar as prticas dos professores e melhorar as
aprendizagens dos alunos, atravs de estudos de interveno.
As estratgias de avaliao formativa incidiram sobre o raciocnio
cientfico e a construo de explicaes cientficas. Estas aprendizagens
foram selecionadas porque so transversais e relevantes em qualquer ano
de escolaridade e so, segundo os relatrios do GAVE (2008 a 2013),
aquelas em que os alunos de BG apresentam maiores dificuldades. Por
outro lado, so competncias cientificamente relevantes, centrais no
empreendimento cientfico. Como diz Popper (1992, p. 152) O objetivo
da cincia encontrar explicaes satisfatrias do que quer que se nos
apresente e nos impressione como estando a precisar de explicao. As
explicaes cientficas baseiam-se em corpos significativos de
conhecimento e de evidncias. Por sua vez, O aspeto central do
raciocnio cientfico consiste na diferenciao e coordenao entre teoria e
evidncias (Kuhn, 2010). Assim, quer o raciocnio cientfico, quer a
construo de explicaes cientficas requerem a articulao entre
conhecimento e evidncias cientficas, podendo ser trabalhadas em
simultneo, em sala de aula.
Muito resumidamente, o estudo desenvolveu-se com base numa
metodologia de design-based research. Este tipo de metodologia
desenvolvido para testar e refinar desenhos educativos. Pressupe colocarse uma primeira verso (prottipo) em sala de aula e otimiz-la, tendo em
conta a complexidade do ambiente natural. Considerando as necessidades
polticas de implementao de medidas em larga escala, deu-se especial
ateno validade ecolgica da interveno educativa, nomeadamente ao
seu potencial de disseminao e amplificao (scale-up). Assim, no
desenho da interveno, procurou-se que esta fosse reconhecida como til

104

pelos professores (uma das razes pela qual se partiu de questes de


exame), no se afastasse demasiado das prticas por eles j desenvolvidas
(para que no fosse rejeitada) e, ainda, que no consumisse muito tempo,
nem recursos (os principais obstculos apontados pelos professores na
implementao de inovaes).
A interveno educativa compreendeu i) uma formao de professores e
ii) uma interveno pedaggica desenvolvida pelos professoresformandos, durante o normal decorrer das suas aulas. Durante a formao,
os professores aprenderam acerca da estrutura de uma explicao
cientfica, como encontrar evidncias nos dados de observao ou
experimentais, como identificar os principais esquemas de raciocnio
cientfico.
Estes
conhecimentos
cientficos
(substantivos
e
epistemolgicos) so indispensveis interpretao do desempenho dos
alunos, quando raciocinam e constroem explicaes cientficas e ao
estabelecimento de um feedback de qualidade, realmente impulsionador da
progresso das aprendizagens dos alunos, aspetos centrais da avaliao
formativa. Durante a formao, os professores construram explicaes
cientficas e analisaram respostas de alunos, de acordo com um referencial
de avaliao, especfico para explicaes cientficas (McNeill e Krajcik,
2008).
A interveno pedaggica foi desenvolvida em dois ciclos de
implementao-reflexo-refinamento de prticas. Ou seja, depois de cada
ciclo de interveno em sala de aula, realizou-se uma sesso de formao
conjunta, com a formadora e todos os formandos, para reflexo e
apresentao de propostas de refinamento de prticas. Em certo sentido, as
atividades desenvolvidas com os alunos mimetizaram as atividades
desenvolvidas pelos professores durante as primeiras sesses de formao,
organizando-se em cinco momentos chave: i) justificao da importncia
das explicaes cientfica na atividade acadmica e cientfica, ii)
clarificao de como se estrutura uma explicao cientfica, iii) modelao
de explicaes cientficas, pelo professor, iv) construo, de explicaes
cientficas, pelos alunos (individualmente e em grupo), a partir de

105

questes de exames nacionais, v) questionamento e feedback fornecidos


pelo professor.
Foram envolvidos nesta interveno educativa, para alm dos 20
professores formandos, cerca de 550 alunos dos 10 e 11 anos. A
avaliao do impacto desta interveno educativa est, ainda, em curso.
Contudo, demonstra, desde j, que possvel alinhar a avaliao formativa
com a avaliao sumativa externa, em processos de mudana reconhecidos
pelos professores envolvidos como muito relevantes.

Se a investigao em desenvolvimento profissional, nos


ltimos vinte anos, nos mostrou alguma coisa, que
podemos mudar o pensamento dos professores, sem
mudar as suas prticas e a nica coisa que tem impacto
no aproveitamento dos alunos a prtica do professor.
Dylan Wiliam (2007)

A melhoria das prticas de avaliao associadas aprendizagem das


cincias requer um trabalho significativo no que respeita investigao,
formao de professores e disseminao de boas prticas.
Pellegrino (2012) deu o ttulo Assessment of Science Learning: Living in
Interesting Times ao seu comentrio final de um nmero especial da
revista Journal of Research in Science Teaching sobre avaliao das
aprendizagens cientficas. Este ttulo enfatiza o facto de vivermos num
tempo repleto de incerteza, mas tambm de oportunidade para a mudana.
A avaliao das aprendizagens, sublinha o autor, um poderoso
instrumento para melhorar o ensino das cincias, mas a forma como
considerada nos sistemas educativos pode ter resultados nem sempre
desejveis ou positivos (p. 832).
Procurmos demonstrar neste texto que uma abordagem pragmtica da
investigao educacional, que tenha em conta as preocupaes dos
professores e as necessidades polticas, e no perca de vista o que
realmente importa (a qualidade das aprendizagens dos alunos), pode

106

contribuir para se ultrapassarem mitos e problemas e para potenciar as


sinergias e o valor educativo da avaliao externa e da avaliao
formativa.

Baxter, G., & Mislevy, R. J. (2005). The case for an integrated design framework for
assessing science inquiry. CSE Technical Report 638. Los Angeles: The
National Center for Research on Evaluation, Standards, Student Testing
(CRESST), Center for Studies in Education, UCLA. Acedido em
http://padi.sri.com/downloads/TR5_IDFramework.pdf
Ferreira, S. e Morais, A.M. (2013). Exigncia conceptual do trabalho prtico nos exames
nacionais: Uma abordagem metodolgica. Olhar de Professor, 16 (1), 149-172.
Acedido em http://essa.ie.ulisboa.pt/curricula_amorais_texto.htm
Gardner, J. (2006). Assessment for learning: A compelling conceptualization. In: J.
Gardner (Ed.), Assessment and Learning (p. 197- 204). London: Sage
GAVE (Gabinete de Avaliao Educacional, atualmente Instituto de Avaliao
Educacional). Relatrios Nacionais de 2008 a 2013. MEC: GAVE. Acedido em
http://www.gave.min-edu.pt/np3/24.html
Harlen, W. (2006). On the relationship between assessment for formative and summative
purposes (p.103-117). In: J. Gardner (Ed.), Assessment and Learning. London:
Sage
James, M. (2006). Assessment, teaching and theories of learning (p. 47- 60). In: J.
Gardner (Ed.), Assessment and Learning. London: Sage
Jonnaert, P.; Barrette, J. & Mascciotra, D. (2006). Revisiting the concept of competence
as an organizing principle for programs of study: From competence to
competent action. Montral: Observatoire des rformes en ducation, Universit
du Qubec Montral
Krathwohl, D. R. (2002). A revision of Bloom's taxonomy: An overview. Theory into
Practice, 41(4), 212-218
Kuhn, D. (2010). What is scientific reasoning and how does it develop? (p.497- 523) In:
U. Goswami (Ed.), Handbook of Childhood Cognitive Development. West
Sussex, UK: Wiley-Blackwell
McNeill, K. L. & Krajcik, J. (2008). Inquiry and scientific explanations: Helping students
use evidence and reasoning(p. 121-134). In J. Luft; R. Bell & J. Gess-Newsome
(Eds.), Science as inquiry in the secondary setting. Arlington, VA: NSTA.

107

Mislevy, R. J. (2008). How cognitive science challenges the educational measurement


tradition. Measurement: Interdisciplinary Research and Perspectives, 6, 124
Nvoa, A. (2010). A terceira margem do rio. Conferncia Que currculo para o Sculo
XXI?. Lisboa: Assembleia da Repblica/Conselho Nacional de Educao
Pellegrino, J. W. (2009). The design of an assessment system for the Race to the Top: A
learning sciences perspective on issues of growth and measurement. Center for
K12 Assessment & Performance Management, Educational Testing Service.
Acedido em http://www.k12center.org/rsc/pdf/PellegrinoPresenterSession1.pdf
Pellegrino, J.W. (2012). Assessment of science learning: Living in interesting times.
Journal of Research in Science Teaching, 49 (6), p. 831-841
Popper, K. (1992, original publicado em 1956). O realismo e o objectivo da cincia.
Lisboa: Publicaes D. Quixote
Riconscente, M., Mislevy, R., Hamel, L. (2005). An introduction to PADI task templates
(PADI Technical Report 3). Menlo Park, CA: SRI International
Santos, L. (2013). Impacto da avaliao externa nas prticas docentes: Painel III.
Seminrio Avaliao das aprendizagens na avaliao da educao. Lisboa:
Conselho Nacional de Educao
Sousa, H.; Sampaio, M.; Castanheira, M. T.; Pereira, S. e Loureno, V. (2013). Anlise
preliminar dos resultados: Provas finais de ciclo Exames finais nacionais 2013.
Lisboa: GAVE/MEC
Wiliam, D. & Black, P. (1996). Meanings and Consequences: A Basis for Distinguishing
Formative and Summative Functions of Assessment. British Educational
Research Journal, 22 (5), p. 537-548
Wiliam, D. (2000, August). Integrating formative and summative functions of
assessment. Paper presented to Working Group 10 of the International Congress
on Mathematics Education, Makuhari, Tokyo
Wiliam, D. (2007). Content then process: teacher learning communities in the service of
formative assessment (p. 183-204). In: D. Reeves (Ed.), Ahead of the curve: The
power of assessment to transform teaching and learning. Bloomington, IN:
Solution Tree

108

Avaliar o impacto da avaliao externa num dado sistema educativo


constitui uma tarefa de enorme complexidade, sobretudo se o enfoque for
a melhoria do desempenho dos alunos, elemento central na avaliao do
prprio sistema. Em Portugal, essa tarefa pode estar a ser dificultada, entre
outros aspetos, pelo facto de todo o sistema de avaliao estar alicerado
em provas pblicas e na incontornvel necessidade de todos os anos
produzir novos instrumentos de avaliao externa.
Medir a qualidade de um sistema educativo tendo por referncia o papel e
os resultados dos exames, tendo em conta o desempenho escolar dos
alunos, constitui uma tarefa indissocivel do comportamento de inmeros
atores. De forma mais fina, indicadores como taxas de reteno ou de
abandono escolar ou ainda o desvio entre mdia de idades real de uma
dada coorte de alunos e a idade modal para um dado ano letivo so
cruciais na avaliao do sistema e so associadas, ainda que indiretamente,
aos nveis de sucesso nessa mesma avaliao externa.
No caso nacional, todavia, aquela associao requer particular cautela.
Uma anlise realista e vlida dos resultados da avaliao externa como
contributo para essa mtrica de avaliao do sistema requer uma
contextualizao de mltiplas variveis que, em regra, no tida em
considerao.
Como ponto prvio, no possvel ignorar que a avaliao externa surge
no percurso escolar dos alunos de forma pontual, no tempo no final de
cada ciclo bem como no elenco de disciplinas frequentadas: duas
disciplinas Portugus e Matemtica nos trs primeiros momentos de
aplicao de provas externas, final do 1., do 2. e do 3. ciclos do ensino
1

Presidente do Conselho Diretivo do Instituto de Avaliao Educativa, I.P..

110

bsico; quatro disciplinas, em que o Portugus transversal ao universo de


alunos do ensino regular que pretendem concluir o ensino secundrio, e
outras trs, escolhidas de um elenco de 19 em funo do percurso escolar
adotado.
Em segundo lugar, o contributo do resultado dos exames para a
classificao final de um aluno interno est limitado a 30% do valor final.
Os restantes 70% decorrem da avaliao interna.
Um terceiro aspeto prende-se com a avaliao dos alunos ao longo do seu
percurso escolar regular: um aluno que nunca tenha sido retido avaliado
em sede de classificao final de frequncia em cerca de 80 ocasies,
considerando o nmero de disciplinas e os anos de escolaridade
frequentados. Mas, at concluir a escolaridade obrigatria, s realiza
obrigatoriamente dez provas nacionais em sede de avaliao externa.
Dito isto, fica claro que os exames, em sentido estrito, e
independentemente de se discutir o seu elenco, em termos das disciplinas
avaliadas ou dos momentos, mais ou menos precoces no percurso escolar
dos alunos em que so aplicados, constituem apenas uma pequena parte do
problema.
Um contributo para uma reflexo coerente e sustentada do impacto dos
exames na avaliao do desempenho do sistema educativo pressupe,
entre outros aspetos, ter em considerao a finalidade (ou finalidades) da
sua aplicao. Afinal, para que fazemos exames? Para:
certificar aprendizagens;
selecionar os alunos, no caso do ensino secundrio;
regular o ensino e a aprendizagem;
monitorizar, ao longo do tempo, a qualidade do desempenho do
sistema educativo.
Os exames, no caso nacional e em termos concretos, servem apenas uma,
duas ou para mltiplas daquelas finalidades?
Alm das finalidades formais da avaliao externa, consagradas de longa
data no nosso quadro legislativo certificao das aprendizagens e
seleo para o ingresso no ensino superior numa lgica de eficcia e

111

sobretudo de eficincia, considerando que fazer e aplicar exames tem


custos que no so irrelevantes, fundamental que se procure potenciar o
papel dos exames tambm ao nvel da regulao do ensino e da
aprendizagem, bem como da monitorizao diacrnica da qualidade do
desempenho do sistema educativo.
A recorrente associao entre resultados de exames, prticas pedaggicas
e qualidade do desempenho do sistema educativo a dimenso que mais
relevncia assume no plano meditico e acadmico em Portugal, bem
como na maioria dos pases em que se aplicam este tipo de provas.
, contudo, indispensvel equacionar que to grande ambio no
aproveitamento dos resultados dos exames implica, para a concretizao
de uma anlise correta e consequente dos mesmos, a consciencializao
das limitaes associadas ao sistema nacional de exames.
As consideraes a seguir apresentadas propem to-somente uma
apreciao superficial dos problemas e visam, principalmente, provocar o
que se considera ser uma necessria e urgente reflexo sobre a
problemtica dos exames no nosso sistema de ensino.

O sistema de avaliao externa nacional, quer pela forma como est


concebido, quer pela forma como parece ser vivenciado, principalmente
por alunos e professores, e a avaliar pelos resultados observados nos
ltimos cinco anos, no mostra sinais de estar a contribuir para o que se
pode considerar uma regulao positiva do ensino e da aprendizagem. Ou
seja, os exames e o uso dos seus resultados deviam contribuir para,
conjuntamente, informar alunos e professores dos domnios, na
aprendizagem e na lecionao, em que so evidentes mais dificuldades.
Assim, de forma gradual, mas sustentada, deveria ser evidente para
sucessivas coortes de alunos um desejvel progresso traduzido na
melhoria dos resultados, situao que, salvaguardadas variaes de
resultados que decorrem apenas de aspetos de ordem estatstica, se deveria

112

traduzir num aumento geral das classificaes mdias dos exames


nacionais, o que no se observa.
Como atrs se referiu, o sistema de avaliao externa nacional engloba um
nmero de provas que se pode considerar adequado e os seus resultados
tm um peso reduzido no cmputo da avaliao final em cada ciclo de
estudos. Apresenta caratersticas especficas, ao nvel da conceo das
provas e no modo como so lidos e usados os resultados que, embora com
forte potencial para uma eficaz regulao positiva do ensino e de
promoo da melhoria das aprendizagens, no parecem ajudar
prossecuo do papel de regulao a que atrs se aludiu, e que se
justificaria plenamente, dado o investimento que a sua aplicao acarreta.
Como contributo para a reflexo sobre o papel dos exames no sistema de
ensino, vale a pena destacar, entre outros, os seguintes aspetos:
o facto de todas as provas de avaliao externa de alunos
concebidas por instituies nacionais e aplicadas em contexto de
exame serem pblicas, ou seja, ano aps ano necessrio a total
reposio dos itens no sistema1;
a valorizao, em termos acadmicos e mediticos, dos resultados
globais (indicadores macro associados essencialmente s mdias
nacionais), em detrimentos dos resultados por item, por domnio
ou por tema, sempre que disponveis;
a disponibilizao de informao (resultados) muito detalhada e
com forte potencial para informar e apoiar decises pedaggicas e
opes didticas de qualidade.

i) Impactos positivos e negativos no funcionamento do sistema de ensino


A natureza pblica das provas apresenta vantagens e desvantagens no que
se refere ao impacto potencialmente positivo ou negativo no
1

Considerando o nmero de provas finais de ciclo, exames finais nacionais e testes intermdios
aplicados e produzidos anualmente, estima-se que, em mdia, sejam concebidos de novo, todos
os anos, cerca de 2500 itens, dos quais cerca de 1800 se tornam pblicos.

113

funcionamento do sistema de ensino, em geral, e de avaliao, em


particular.
O conhecimento das provas e dos respetivos critrios de classificao por
todos os interessados, logo aps a sua realizao, facilita a regulao dos
processos de reapreciao, quando existem. Pode constituir tambm uma
mais-valia para professores e alunos, que assim podem, em anos
subsequentes, estar mais familiarizados com a natureza especfica das
provas para que preparam os alunos e com a tipologia e especificidade dos
itens a que estes tero de responder.
Todavia, aquela suposta mais-valia comporta tambm aspetos
reconhecidos como negativos: incentiva o chamado training to the test,
que, em ltima instncia, mais no do que um treino que contamina de
forma menos positiva o processo educativo na vertente processual inerente
a uma correta forma de ensinar e de aprender: aprender para ficar a
saber e no apenas para obter um resultado.
Aprende-se a tcnica de responder s questes, no raras vezes em
detrimento de uma aprendizagem focada no rigor dos conceitos, na
preciso da linguagem e, principalmente, na capacidade de desenvolver
operaes mentais que sustentam e estruturam o processo cognitivo,
consolidam e enriquecem o saber, tendo em vista uma aprendizagem que
se quer para a vida e no para o imediatismo da obteno de uma nota
ou de um sucesso efmero.
O conhecimento de uma extensa bateria de itens, disponvel na pgina
eletrnica do IAVE, a que se juntam as inmeras publicaes com mais
umas largas centenas de itens de cada disciplina, pode estar a fomentar, de
forma muito generalizada, um estudo que, estando centrado no treino
atrs referido, legitima uma suspeio, embora no confirmada
psicometricamente, de que o prvio conhecimento das provas poder
contribuir para inflacionar de forma artificial os resultados, ou pelo menos
para sustentar a sua manuteno, sem oscilaes estatisticamente
relevantes, ao longo dos ltimos anos.

114

Aquela tentao para o treino, apenas pelo treino (embora haja tambm
aspetos positivos em pensar e elaborar respostas a exames como estratgia
de aprendizagem), uma armadilha a que muitas vezes os alunos no
conseguem fugir. A presso social sobre os resultados, os rankings, ainda
muitas vezes concebidos e divulgados sem qualquer contextualizao de
ordem socioeconmica, ou a habitual presso meditica na anlise dos
resultados constituem os ingredientes perfeitos para que os exames no se
estejam a traduzir num real e efetivo benefcio para a melhoria das
aprendizagens.
Entenda-se, para que no restem dvidas, que o problema no reside nos
exames enquanto instrumentos de medida do sucesso educativo, mas sim
na forma como so vivenciados por quem os realiza e por quem divulga e
por quem l e usa os respetivos resultados. De acordo com a literatura
especializada1, a conceo de avaliao marcada pelos efeitos da sua
componente sumativa est presente no sistema muito para alm da
realizao dos exames: em contexto de avaliao interna, o peso relativo
dos resultados dos testes no balano final das classificaes muito
significativo, mesmo em disciplinas e em anos de escolaridade que nunca
estiveram sujeitos a provas finais ou a exames nacionais.
ii) Implicaes financeiras e de mobilizao de recursos humanos na
manuteno do sistema de exames assente em provas pblicas
Complementarmente aos aspetos de ordem pedaggica, vale a pena
tambm equacionar a vertente financeira. A constante e ininterrupta
produo de itens obriga a uma mobilizao de recursos humanos muito
superior necessria numa situao de aplicao de provas no pblicas,
como, por exemplo, as provas aplicadas nos estudos internacionais de
avaliao de alunos PISA, PIRLS ou TIMSS ou como o recentemente
aplicado teste de Ingls Key for Schools.

No mbito do projeto PROMED, desenvolvido pelo ex-GAVE, foi possvel recolher informao
sobre prticas de avaliao interna num universo em mais de 100 escolas. As evidncias das
prticas descritas corroboram as consideraes aqui referidas.

115

Uma opo pela utilizao de provas no pblicas permitiria, a prazo, uma


reduo muito substantiva dos custos associados disponibilizao de
instrumentos de avaliao externa. Ultrapassada a fase de investimento na
constituio de um banco de itens robusto, integrando um nmero de itens
com diferentes propriedades e capazes de avaliar globalmente as
aprendizagens decorrentes do currculo, a possibilidade de reutilizao dos
mesmos itens em avaliaes consecutivas permitiria reduzir em mais de
80% o nmero de itens que atualmente necessrio produzir.
Aquela opo, em cuja aplicao no se tem investido, em grande medida
pelos constrangimentos legais que se observam no que se refere
expectativa e direito dos destinatrios em aceder aos enunciados,
permitiria a disponibilizao de itens previamente calibrados e a aplicao
diacrnica de instrumentos cuja comparabilidade ficaria acima de
qualquer dvida: nestas circunstncias, as flutuaes de resultados
deixariam de fora a varivel associada aplicao de provas que, embora
concebidas no sentido de serem o mais similares possvel, no deixam de
ser todos os anos diferentes.
Naquele caso, poderia assumir-se que, excludas as variveis de contexto,
cuja interferncia nos resultados sempre residual, e excluindo a normal
variabilidade de resultados de natureza meramente estatstica, as possveis
oscilaes de resultados, positivas ou negativas, seriam um reflexo muito
fino da qualidade do desempenho dos respondentes.
Tambm o esforo requerido em matria de mobilizao de recursos
humanos seria naturalmente muito diferente. Os autores e outros
especialistas envolvidos na conceo e validao tcnica e cientfica das
provas dedicam, nas atuais circunstncias, a esmagadora maioria do tempo
de colaborao com o IAVE escrita dos itens e dos respetivos critrios
de classificao, em detrimento de um maior envolvimento na anlise dos
resultados, no estudo do seu impacto no sistema ou na proposta de opes
didticas e pedaggicas que convirjam para uma sustentada melhoria da
aprendizagem.

116

Sabendo-se que em Portugal a formao inicial dos docentes descura,


quase totalmente, a rea da avaliao, e muito em concreto a rea
especfica da conceo e validao de instrumentos de avaliao, a
mobilizao e a manuteno de equipas constitui, no raras vezes, um
desafio difcil de ultrapassar, e que na soluo atrs referida ficaria muito
facilitada.
Sem um estudo exaustivo que permita aferir os eventuais ganhos
financeiros na opo pela aplicao de provas no pblicas, a avaliar pelos
encargos com os custos atuais, e ponderando, em alternativa, um modelo
de avaliao baseado em provas no pblicas, pode-se estimar uma
reduo de custos da ordem dos 50% a 70% face aos valores atuais.
iii) Implicaes da existncia de provas pblicas na chamada
comparabilidade dos exames
A necessidade de todos os anos renovar os itens das provas de avaliao
externa coloca um outro problema adicional, que se prende com as
limitaes tcnicas na previso e na validao dos resultados. Esta
limitao constitui um dos principais constrangimentos na procura da to
pretendida comparabilidade das provas.
Em boa verdade, o que feito, predominantemente em termos mediticos
ou por entidades representativas de professores das diversas disciplinas,
uma comparao a posteriori dos resultados observados em dois ou mais
anos consecutivos. Se estes so idnticos infere-se que as provas so
comparveis; se diferem, de um ano para o outro, estando longe de ser
consensual qual a variao da mdia do exame que sustenta a afirmao
de que so diferentes, afirma-se que as provas no so comparveis.
Aquele discurso, fortemente enraizado na nossa sociedade, peca por uma
enorme impreciso tcnica e concetual. Duas ou mais provas so
comparveis sempre e independentemente dos resultados que possam
gerar. Mas o que de facto se pretende que as provas aplicadas em
diferentes ocasies sejam estruturalmente semelhantes, ou seja, se esteja
em presena do que se pode designar por provas paralelas. O que
equivale a dizer que se devia ter em conta, o que raramente acontece, a

117

consistncia dos chamados moderadores de dificuldade1, como sejam,


entre outros, o contedo testado, os estmulos utilizados na formulao das
perguntas, as caratersticas das tarefas propostas ou a consistncia da
resposta esperada, implicando uma adequao entre a pergunta e os
respetivos critrios de classificao.
Ora no se conhece, at esta data, comentrios pblicos sobre provas
passadas que explicitem uma anlise prvia alicerada nas caratersticas
das provas, como atrs referido, pelo que, em regra, os comentrios
produzidos resultam de um olhar holstico, apriorstico e no raras vezes
apressado. Esta urgncia na pronncia pblica sobre as provas, muitas
vezes resultado das exigncias editoriais dos meios de comunicao
social, no tem em conta as dimenses tcnicas que constituem os
elementos que permitem aferir do grau de semelhana ou dissemelhana,
em termos de dificuldade, entenda-se, de duas ou mais provas.
Assim, no contexto nacional, em que falamos sempre de provas pblicas,
uma anlise conducente a uma avaliao comparada do grau de
dificuldade de provas ter sempre de ter em considerao:
o objeto de avaliao e a sua relevncia face ao currculo prescrito;
o nmero de itens, total e por tipologia;
a distribuio do nmero de itens por grau de dificuldade
estimado2;
a tipologia, o nmero e a complexidade dos suportes dos itens
(textos, tabelas, grficos, mapas, etc.);
a distribuio das cotaes pelos diversos itens;

Leong, C. (2006). On varying the difficulty of test items. 32nd Annual Conference of the
International Association for Educational Assessment. Singapura.

O processo de determinao/previso do resultado de cada item, o que no limite implica pensar na


previso do resultado global da prova, em provas pblicas dificilmente pode alicerar-se em
procedimentos de pr-teste e de consequente validao das propriedades psicomtricas do item
ndice de dificuldade e de discriminao por recurso, por exemplo, a tcnicas estatsticas como
o Rasch Model ou a IRT (Teoria de Resposta ao Item), entre outros, solues amplamente
aplicadas em provas no pblicas.

118

os critrios de classificao e os esquemas de classificao


(pontuao de etapas de resoluo ou de descritores de
desempenho).
A comparao dos resultados das provas, de facto, no permite aferir, no
imediato, se as estas so ou no equivalentes no seu grau de dificuldade.
Comparar resultados constitui uma tarefa que se esgota na mtrica
adotada: diferena algbrica, variao percentual entre os resultados das
provas de uma mesma disciplina. O valor obtido pode elucidar sobre
situaes totalmente distintas:
resultados similares1 podem ser registados em provas
profundamente diferentes nas propriedades referidas;
resultados com significativa disparidade podem ser registados em
provas com elevado grau de semelhana, mais uma vez no que se
refere s suas propriedades tcnicas e estruturais.
Caso a caraterizao pblica de uma dada prova fosse precedida de uma
anlise tcnica das suas propriedades, e da se constatasse a existncia de
um elevado grau semelhana com uma outra prova tida como referncia,
aplicada no ano ou em anos letivos anteriores, seria possvel inferir que a
variao de resultados observada mediria, com elevado grau de confiana,
uma dada evoluo da qualidade do desempenho acadmico do universo
de alunos que a realizou, por comparao com um outro universo, que se
reporta ao da coorte de alunos que ter realizado prova equivalente em ano
ou anos anteriores.
Ora, na falta dessa anlise sobram referncias ao aparente grau de
dificuldade de uma dada prova logo aps a sua aplicao. No raras vezes
so as opinies de alunos ou de professores sada de uma dada escola,
noutros casos so as opinies das associaes de professores
representativas das disciplinas envolvidas que aferem a suposta maior ou
menor dificuldade da prova. A comunicao social tem, por regra, o papel

No existe um valor, absoluto ou relativo, sobre o qual haja consenso ou qualquer baliza
tecnicamente vlida quanto ao que se entende por resultado similar. Deste modo, a medida de
semelhana reveste-se, em si mesma, de uma profunda limitao operacional.

119

de ampliar essas opinies, num momento em que ainda estamos longe de


poder conhecer quaisquer resultados.
O valor daquelas opinies muito relativo. Ano aps ano assiste-se a uma
frequente inconsistncia entre as opinies expressas no imediatismo do
conhecimento do enunciado e os resultados mais tarde divulgados:
coincidncias entre afirmaes de maior facilidade ou de maior
dificuldade e a variao positiva ou negativa dos resultados de um ano
para o outro so to comuns como o seu contrrio e, mesmo quando
coincidentes, as variaes, pela sua diminuta amplitude, no tm
expresso estatisticamente relevante.
Ainda que possam existir antevises de subidas ou descidas de resultados
que se revelem acertadas, a verdade que as variaes interanuais dos
resultados considerando a mdia nacional dos exames, o indicador mais
utilizado quer nas provas do ensino bsico, quer do ensino secundrio,
tm apresentado, por regra, amplitudes dentro do previsto, estatisticamente
expectveis e no significativas, para este tipo de varivel: inferiores a 10
pontos no ensino bsico e inferiores a 15 pontos no ensino secundrio1.
Aqueles valores de referncia, cuja determinao se baseia numa anlise
de longo prazo das variaes interanuais de resultados de exames nas
disciplinas do ensino bsico e secundrio, apenas constitui uma baliza
operacional que a todo o momento pode ser revista e questionada.
Todavia, e independentemente de outros valores a ter em considerao,
nunca se poder esquecer que:
a) o resultado final de uma prova constitui o somatrio dos resultados
obtidos nos itens que a compem;
b) o modelo de conceo e aplicao de provas vigente replica
anualmente a disponibilizao de provas cuja estrutura e
constituio, no que se refere tipologia dos itens e,
consequentemente, tambm natureza das operaes mentais que

Valores tidos por referncia no trabalho desenvolvido pelo IAVE e que foram utilizados como
critrios na avaliao do ex-GAVE no mbito do QUAR.

120

esto subjacentes a uma adequada resoluo dos mesmos, se tm


mantido constantes1;
c) variaes mnimas nos resultados de itens similares publicados em
provas de anos sequenciais (admita-se que apenas de 1, 2 ou 3
pontos, em 200), amplificadas pelo nmero de itens das provas
(em muitos casos da ordem das duas dezenas ou mais) podem
gerar variaes totais cuja amplitude fcil de antever;
d) variaes de resultados cuja ordem de grandeza se situa abaixo de
10% da amplitude da escala de pontuao utilizada nas provas
(100 ou 200 pontos, consoante os nveis de ensino) carecem de
uma anlise tcnica e estatstica detalhada at que se possa inferir,
com um mnimo de rigor, sobre a natureza das variveis
explicativas para tal variao: apenas um facto de natureza
estatstica, que traduz o normal comportamento de valores gerados
no contexto em que o so; ou, de facto, uma de duas situaes
uma prova concetualmente mais fcil ou mais difcil que a do ano,
ou anos, anteriores, ou, por sua vez, um sinal de que a coorte
avaliada num dado ano evidencia uma prestao cuja qualidade
global melhor ou pior que as suas antecedentes.
Aqueles aspetos raramente so tidos em conta nos juzos de valor e nas
mltiplas declaraes que so produzidos acerca dos resultados dos
exames e do seu impacto no sistema de ensino.
Sem esgotar a questo, por isso necessrio refletir sobre o interesse e a
potencial mais-valia do contnuo e repetido uso meditico da informao
produzida em torno da aplicao dos exames. Trata-se de um processo
que, acima de tudo, alimenta o interesse de alguma comunicao social,
fortemente marcado no tempo (decorre, em regra, ao longo de trs meses,
de maio a julho), com forte impacto social e poltico, mas que, ano aps
ano, se esgota no final de cada vero, ficando bvio o seu reduzido

As alteraes de estrutura de uma dada prova apenas tm ocorrido em duas circunstncias: em


consequncia de alteraes curriculares; por evidente obsolescncia ou inadequao de opes
em matria de conceo da prova ou de itens, o que, em regra, gera atualizaes desenvolvidas
em estreita colaborao com os membros do Conselho Cientfico que integram o IAVE (exConselho Consultivo do GAVE), onde esto representadas as associaes de professores e
sociedades cientficas das vrias reas disciplinares.

121

interesse em procurar informao relevante para uma discusso


tecnicamente vlida e consistente sobre o impacto da avaliao externa no
sistema educativo.

Para alm da mediatizao das opinies apriorsticas sobre o grau de


dificuldade das provas, exploradas no dia da sua realizao ou nos dias
imediatos, o tipo de anlises que enchem as pginas dos jornais ou
alimentam debates televisivos tomam por referncia leituras de resultados
que apenas ajudam especulao e a uma certa agitao social.
Alguns exemplos so esclarecedores dos objetivos que muitas vezes
subjazem s notcias publicadas.
O uso das classificaes totais na divulgao dos resultados dos exames
do ensino secundrio, em detrimento das classificaes dos alunos
internos, prtica recorrente. Este indicador, que resulta do clculo da
mdia dos resultados do total de alunos, internos e autopropostos, revelase inadequado para caracterizar o desempenho da populao de alunos em
anlise, pelo que a sua divulgao desprovida de sentido. Os alunos
internos so os que completaram o seu percurso escolar regular,
frequentaram as aulas at ao final do ano letivo e obtiveram uma
classificao final que legitimou a sua presena no exame: ou seja,
tiveram o aval dos respetivos professores para a realizao do exame final.
Os alunos autopropostos, ou a sua larga maioria, a avaliar pelos
resultados, so os que, antecipando a sua reprovao em sede de avaliao
interna, optam por anular a matrcula: muito provavelmente, no teriam,
no final do ano letivo, o aval dos seus professores para a realizao do
exame.
A diferena entre a mdia de um e de outro grupo de alunos, internos e
autopropostos, assume valores muito desiguais de disciplina para
disciplina, bem como o peso relativo dos alunos autopropostos no
universo dos alunos que realiza a prova, pelo que desprovido de
significado a sua utilizao no contexto em que feita. Aquela diferena
chega a ser superior a 4 valores (40 pontos em 200). Como se sabe,
122

agregar os resultados de populaes com caratersticas to diferentes


mesmo um exemplo clssico, no ensino da estatstica, de situaes em que
no se deve utilizar uma mdia simples.
Todavia, para servir intuitos mediticos, como o valor da mdia total ,
pelas razes apontadas, sempre inferior ao valor da mdia dos alunos
internos, acaba por ser o mais utilizado por diversos rgos de
comunicao social.
Outra situao muito frequente a contabilizao do nmero de
disciplinas cujos resultados so inferiores ou superiores aos observados no
ano imediatamente anterior. Trata-se de mais um exerccio sem qualquer
sentido. Em primeiro lugar, porque no conjunto das 23 provas do ensino
secundrio haver sempre um determinado nmero de subidas e de
descidas, que varivel de ano para ano. De facto, o que menos provvel
que numa mesma disciplina a variao entre dois anos consecutivos seja
igual a zero. Em segundo lugar, porque a simples contabilizao do
nmero de disciplinas cujos resultados sobem ou descem (o enfoque
maior quando o nmero de descidas supera o das subidas) no tem em
considerao a amplitude dessas variaes. Fica considerao do leitor
imaginar como seriam capas de jornais se, por um qualquer imprevisto
estatstico, num dado ano os resultados descessem em todas as disciplinas
ainda que apenas um ou dois pontos (em 200).
Como se referiu, as leituras de resultados que mais frequentemente se
divulgam carecem de maior reflexo e aprofundamento para que delas se
possam extrair informaes relevantes e significativas para uma adequada
avaliao do sistema de ensino. De entre outros exemplos que se poderiam
selecionar, fica uma chamada de ateno para o uso descontextualizado da
diferena de resultados entre a classificao interna de frequncia (CIF) e
a classificao do exame (CE).
No que se refere relao entre as classificaes de exame (CE) e as
classificaes internas de frequncia (CIF), pode realar-se a manuteno
de uma correlao positiva e relativamente forte entre as duas
classificaes (CE e CIF) nas disciplinas com maior afluncia de alunos,

123

como so os casos das disciplinas como Fsica e Qumica A, Matemtica


A e Biologia e Geologia (entre 0,77 e 0,79). Este indicador ligeiramente
inferior aos anteriores em disciplinas da rea das cincias sociais e
humanas, como Geografia A, Histria A, Economia A ou Filosofia (entre
0,59 e 0,71) e na disciplina de Portugus (0,64). Com estes valores
percebe-se um elevado grau de correspondncia entre os desempenhos de
uma parte significativa dos alunos em sede de avaliao interna e externa.
Fica, no entanto, por explicar a diferena, em valores (ou pontos) entre
aquelas duas classificaes obtidas a partir de instrumentos e processos
distintos de avaliao. Todavia, especulativo afirmar que a validade dos
exames, ou dos seus resultados, possa ser posta em causa pelo facto de nas
disciplinas com piores resultados nos exames (por exemplo, Matemtica A
ou Fsica Qumica A) as diferenas entre a CE e a CIF serem muito
acentuadas. De facto, se atendermos s significativas diferenas no objeto
de avaliao, que constitui o suporte para a produo de resultados em
ambos os casos, ou s componentes que concorrem para a composio das
classificaes (muito mais diversificadas em contexto de avaliao de sala
de aula), as diferenas, sistematicamente observadas em todas as
disciplinas, podem ser compreensveis e no devem justificar, sem uma
anlise mais profunda, quaisquer outras leituras.
Mais difcil de entender a significativa regularidade da CIF,
considerando as 11 disciplinas com mais de 2500 alunos internos sujeitos
a exame. Com exceo de Desenho A, Geometria Descritiva A ou
Economia A (com CIF entre 14,2 e 15,2 valores), todas as outras, onde se
incluem disciplinas to dspares no que se refere sua natureza, pblicosalvo e que desde sempre tm apresentado resultados da avaliao externa
to divergentes (Matemtica A, Fsica Qumica A por oposio a
Portugus, Geografia ou Filosofia), apresentam um valor mdio da CIF
que se confina ao intervalo entre 13,0 e 13,7 valores. Esta circunstncia,
alis uma marca crnica do nosso sistema de ensino, pode, outrossim,
levar-nos a questionar a validade dos resultados atrs referidos, que no
espelham a reconhecida especificidade e diversidade das disciplinas em

124

apreo, no que se refere, entre outros aspetos, s concees sociais sobre a


complexidade das respetivas reas cientficas.
Uma ltima nota para a utilizao dos resultados dos exames como
medida para o estabelecimento de rankings das escolas sem contexto
social de suporte. Trata-se de uma situao que, embora tendencialmente
se esteja a corrigir, ainda introduz uma profunda distoro na forma como
se processa a apropriao social da qualidade do desempenho das
organizaes escolares.
De facto, qualquer valorizao da qualidade da prestao apenas centrada
nos resultados dos exames, baseada em resultados mdios globais, deixa
de fora elementos de anlise essenciais. Como reconhecido
internacionalmente, os indicadores de natureza socioeconmica que
contextualizam a situao de partida dos alunos envolvidos so
indissociveis de uma avaliao credvel e justa da qualidade da prestao
educativa das escolas em apreo. Numa escola que se pretende inclusiva e
capaz de minimizar os efeitos da reteno ou da excluso, um indicador da
progresso da qualidade da aprendizagem dos alunos envolvidos no ciclo
de estudos que culmina com o exame ou a medida da percentagem de
alunos entrada e sada desse mesmo ciclo so tambm elementos cuja
anlise se considera essencial e ainda por fazer no nosso sistema.

Como atrs se referiu, uma das vantagens em dispor de provas pblicas


consiste no conhecimento sem restries de todo o manancial de itens e
dos respetivos critrios de classificao, por oposio a um sistema de
provas no pblicas em que apenas habitual a libertao de alguns itens
que constituem exemplos ilustrativos das provas publicadas.
A conjugao do conhecimento de todos os itens publicados com os
respetivos resultados constitui um recurso que no vulgar encontrar
disponvel em outros sistemas educativos.

125

No sistema nacional, desde 2007, primeiramente no contexto das antigas


provas de aferio do ensino bsico e depois numa prtica alargada a todas
as provas, assiste-se a uma combinao de oferta de resultados que junta
informao macro, como por exemplo as mdias nacionais ou a
percentagem de classificaes positivas, divulgada quer pelo JNE, quer
pelo IAVE, disponvel para o pblico em geral, com informao detalhada
ao nvel do item, desde h vrios anos divulgada pelo ex-GAVE e agora
pelo IAVE.
Os resultados por item esto a ser progressivamente disponibilizados ao
pblico em geral, embora cada escola receba anualmente um relatrio, de
acesso restrito, com os seus prprios resultados, por item, por turma, por
escola (escolas integradas em unidades orgnicas ao nvel do
agrupamento).
Assim, presentemente, temos disponvel informao sobre os seguintes
indicadores:
Combinao de resultados ao nvel macro e micro com informao
georreferenciada, desde 2008;
Resultados por item e por escola a nvel regional e nacional;
Possibilidade de situar os resultados da escola, por disciplina e por
item, no contexto regional e nacional;
Possibilidade de identificar na escola as reas em que os alunos
evidenciam fragilidades em cada disciplina.
Esta informao, que carece de uma leitura e interpretao por parte dos
professores de cada disciplina e dos rgos de gesto de cada unidade
orgnica, apresenta condies para propiciar um feedback diferido com
implicaes na reformulao das estratgias de ensino e de aprendizagem.
No se trata, como se por vezes implcito em alguns escritos sobre a
matria, em dar feedback aos alunos que realizaram um dado exame, mas
aproveitar o que a sua prestao nos ensina para aplicar nos anos
subsequentes as medidas pedaggicas e didticas que permitam corrigir ou
minorar as limitaes observadas nos alunos que iro realizar exames nos
anos seguintes.

126

Uma anlise sistemtica de resultados por item ao longo de sries com


cinco ou mais anos, tendo por referncia itens com elevado grau de
semelhana, como tem sido a prtica nas provas nacionais, no mostra, em
termos gerais, que aquele potencial feedback nas prticas de ensino esteja
a propiciar melhorias visveis e sustentadas na qualidade das
aprendizagens realizadas pelos alunos.

A evoluo mais recente dos resultados mostra-nos que numa srie mais
longa, superior a cinco anos, independentemente das variaes anuais, no
h uma tendncia clara e sustentada de subida ou descida das mdias
nacionais, da percentagem de alunos com classificaes ditas negativas
ou positivas, e mesmo os grficos de frequncias, que ilustram as
distribuies dos resultados, apresentam uma configurao muito similar.
O conhecimento de um largo acervo de itens disponvel para consulta
pblica, bem como a manuteno de provas cuja conceo observa
princpios que visam preservar a sua semelhana, so condies que
permitem uma familiarizao dos alunos com as provas que realizam
assim como um treino para realizao dos exames operado com itens
muito similares aos que acabam por encontrar nas suas provas. Estas
circunstncias poderiam at sustentar e explicar uma expetvel subida dos
resultados, o que est longe de se observar.
Ora aquela informao (detalhada), cruzada ou no com os relatrios
nacionais, permite, sempre que se proceda a uma anlise fina das
evidncias que esses resultados ilustram, detetar para cada escola as reas
especficas de aprendizagem que cronicamente mostram ser aquelas em
que um nmero significativo de alunos revela mais dificuldades.
Assumindo que, em termos mdios, as sucessivas coortes de alunos
registam percursos escolares que antecedem o momento da realizao de
um dado exame marcados por processos de aprendizagem que geram
nveis de proficincia similares, toda a informao que em resultado de
cada exame possvel compilar deveria conduzir progressiva
implementao de intervenes didticas especificamente focadas na
127

tentativa de superao das reconhecidas dificuldades. No entanto, como


foi referido, mais uma vez a informao de que se dispe no mostra
sinais sustentados de melhoria nos resultados de itens similares na
generalidade das disciplinas, ou seja, itens que avaliam, ao longo de anos
sucessivos, os mesmos contedos ou as mesmas operaes mentais.
No atual contexto, os exames constituem uma ferramenta indispensvel
para assegurar um referencial nacional nico na certificao da qualidade
da aprendizagem dos alunos, e nessa medida, podem tambm constituir
um instrumento de medida til na seleo de alunos, nomeadamente no
acesso ao ensino superior1.
Todavia, no esqueamos que o papel dos exames no se deve esgotar
naquelas duas finalidades. Num quadro de eficincia decorrente da
aplicao dos exames essencial usar positivamente o seu potencial efeito
de regulao do ensino e da aprendizagem e de monitorizao da
qualidade do desempenho do sistema educativo. Ainda que aquelas
finalidades no pressuponham, em si mesmas, juzos de valor quanto a
aspetos de ordem qualitativa, aquilo que se espera de um qualquer sistema
social, de que a educao no exceo, uma progressiva melhoria.
No plano da regulao da qualidade do ensino e da aprendizagem, parece
ser notrio que os exames tm sido boas ferramentas para sustentar a
manuteno de um status quo marcado por duas evidncias socialmente
bem aceites: mdias nacionais em torno do valor da linha de corte entre
classificaes ditas negativas e positivas; distribuies de frequncia
dos resultados em que cerca de 50% dos alunos alcanam classificaes de
exame inferiores ao valor da dita linha de corte.
Os exames podem e devem ser tambm uma ferramenta para uso
formativo, o que, no caso nacional, fica particularmente facilitado pela
conjugao de provas pblicas e de uma poltica de divulgao de
1

A discusso em torno da valia dos exames como instrumentos de seleo de alunos no acesso ao
ensino superior no pode nem deve ignorar as limitaes que decorrem do uso dos seus
resultados. O recurso a eventuais opes alternativas de seriao dos candidatos mas, sobretudo,
o uso de outros critrios subjacentes forma de clculo utilizada ou o uso de classificaes
mnimas so aspetos que deveriam merecer profunda reflexo e eventual alterao.

128

resultados que privilegia uma informao de elevada qualidade e detalhe.


nesse sentido que se entende que a regulao dos exames deveria ter um
impacto positivo claro e sustentado na qualidade da aprendizagem, com
expresso numa subida gradual dos resultados.
Assim, no que se refere monitorizao do sistema de ensino, aquilo que
os resultados dos exames nos mostram, a avaliar pelos dados dos ltimos
cinco anos, sem prejuzo, como atrs referido, das limitaes impostas
pela natureza pblica das provas, a expresso de uma estagnao apenas
quebrada, pontual e localizadamente em certos anos de escolaridade e
disciplinas, por alguns indcios de melhoria que nos anos mais prximos
ser necessrio confirmar.

Numa abordagem diacrnica e prospetiva incontornvel perspetivar a


educao num horizonte de longo prazo e, nesse sentido, o que hoje j se
sabe sobre os pontos fortes e fragilidades do nosso sistema de ensino deve
sustentar reflexo que possa concorrer para a manuteno, melhoria ou
alterao das opes que hoje se conhecem.
Entre outras situaes, podemos considerar como principal e mais urgente
desafio que se coloca ao sistema de ensino a necessidade de valorizao
da qualidade da aprendizagem, independentemente dos percursos
acadmicos dos alunos.
Se quisermos atribuir aos exames algum papel naquele processo
essencial que a informao que deles se extrai contribua para corrigir, ao
nvel dos processos cognitivos e das operaes mentais que constituem os
alicerces do saber e do saber pensar, as fragilidades detetadas em cada
momento.
Cada aluno, com os seus professores ou de forma autnoma, pode e deve
usar os resultados dos seus exames (ou do treino para a sua realizao)
como uma ferramenta de autoavaliao e de autoaprendizagem. J ao nvel
da escola, do departamento, do grupo disciplinar, ou mesmo a ttulo
individual, os resultados dos exames devem servir, no tanto para corrigir

129

os erros especficos detetados neste ou naquele aluno, mas para uma


reflexo sobre as razes que subjazem obteno de resultados menos
conseguidos num dado item ou conjunto de itens.
Mais do que olhar para o resultado mdio da escola, processo que continua
a dominar a ateno da maior parte dos intervenientes, indispensvel
refletir e agir a partir dos resultados por item de uma dada prova na
arquitetura e conceo do processo de ensino dos alunos a frequentar os
anos letivos precedentes. Sem prejuzo de se poder encontrar esta ou
formas similares de atuao em algumas escolas, ou em alguns contextos
disciplinares especficos dentro de algumas escolas, estamos longe de
poder constatar ser esta a forma mais habitual de usar a informao gerada
pelos resultados dos exames.
A cristalizao de resultados a que se tem assistido no plano da avaliao
externa nacional constitui, assim, a mais relevante preocupao quanto
possvel evoluo do sistema de ensino medida a partir deste indicador. A
avaliar pela forma como se lida com os resultados dos exames, parece
assistir-se a uma aceitao acrtica de um sistema que no mostra sinais de
evoluo positiva, que se replica, numa consentida mediania, de forma
mais ou menos imutvel ao longo de sucessivas coortes de alunos.
Os exames, muitas vezes apontados como uma das causas do problema do
insucesso ou da falta de qualidade da aprendizagem, pelo facto de
condicionarem as prticas de ensino e de aprendizagem, tm um potencial
formativo de cujo aproveitamento no existem evidncias sistemticas e
numericamente expressivas. Se certo que as preocupaes com os
resultados esto na ordem do dia, tambm verdade que se continua a
olhar para os resultados que menos ilustram e informam sobre a melhor
forma de intervir na superao dos problemas de aprendizagem que
persistem em afetar uma significativa percentagem dos nossos alunos: os
resultados mdios por escola ou globais, aqui designados por resultados
macro.
Aqueles resultados, como se viu, condicionados pela vertente pblica das
provas, incapazes de devolver um diagnstico fino sobre os problemas que

130

carecem de interveno didtica especfica, tm sido sobrevalorizados em


detrimento dos resultados micro, ao nvel do item, cuja apropriao carece
ainda de uma aprendizagem por fazer pela larga maioria dos professores,
dos alunos e mesmo dos pais.
Parecem longe de estar esgotadas as potencialidades formativas de um
adequado uso dos exames, quer na fase de preparao para a sua
realizao, quer, posteriormente, na anlise dos seus resultados.
Investir nesta abordagem da avaliao deveria constituir um dos focos a
privilegiar na formao de docentes. A aposta na generalizao do uso da
avaliao despida de conceitos estanques, ainda partida nas suas
dimenses sumativa e formativa, mas antes como uma ferramenta capaz
de ajudar a promover o sucesso, o caminho que desde h quase duas
dcadas se procura traar em sistemas educativos de outros pases, onde
h muito se percebeu que a soluo no reside na ausncia de avaliao
formal e externa mas sim na procura de uma utilizao verdadeiramente
conjugada dos vrios instrumentos de avaliao, aplicados interna e
externamente, com mais ou menos enfoque formativo ou sumativo, na
promoo de uma aprendizagem de qualidade.
No caso nacional, dispor de informao sistemtica sobre os resultados
por item constitui um recurso que permite mesmo ultrapassar um dos
obstculos concetuais que continua a alimentar a discusso em torno da
viabilidade do uso formativo da avaliao externa.
Como preocupao final, um olhar sobre a chamada linha de corte, o
valor que, na escala de medida, se convencionou como a fronteira entre o
sucesso e o insucesso. De facto, a tradio de considerar 50 pontos, na
escala de 0 a 100 pontos, ou 95 pontos (100 pontos por arredondamento),
na escala de 0 a 200 pontos, como as marcas que necessrio superar para
alcanar a aprovao no deixa de ter efeitos perversos na forma como
socialmente pensamos a aprendizagem. Aceita-se que o limiar de sucesso
se alcance num contexto em que se aprendeu metade do esperado, como
se aceitam como normais as distribuies de frequncia de resultados

131

que apresentam uma configurao de curva normal, gaussiana, em que


cerca de 50% dos alunos se situam abaixo da dita linha de corte.
Se certo que a aceitao de nveis de exigncia como os referidos no
universal no seio das famlias, igualmente verdade que para muitas o
principal desafio reside na obteno de uma classificao positiva,
ainda que prxima da referida linha de corte.
Discutir esta conceo de avaliao e de medida seria um bom exerccio
coletivo. Como sabido, falamos de uma conveno. Noutros pases e
noutros sistemas de avaliao entende-se que a linha de corte deve
apresentar outros valores. A ttulo de exemplo, no teste de ingls, Key for
Schools, aplicado em Portugal no ano letivo passado, a classificao
mnima que permite alcanar o nvel para que o teste foi concebido1 70
pontos em 100.
A questo preocupante a dois nveis: globalmente, ao estarmos a
legitimar a formao de jovens alicerada na aceitao de um desempenho
mediano como referncia de qualidade, minimizando o desafio de
considerar a aprendizagem um caminho sem fim; nomeadamente na
formao e na avaliao das crianas no incio do seu percurso escolar, em
concreto ao longo do 1. e do 2. ciclo do ensino bsico.
De facto, h muito que se reconhece que a aprovao naquela fase inicial e
crucial da formao com resultados prximos de referida linha de corte
indicia falhas graves na aprendizagem que se repercutem, e tendem a
ampliar, nos nveis de sucesso em ciclos de ensino subsequentes.
Considerar outro referencial para a medida de aprovao no deve
pressupor aceitar um aumento de retenes mas antes um incremento dos
nveis de exigncia na formao dos alunos, bem como um indispensvel
acompanhamento especfico enquanto forem evidentes as lacunas que
impeam desempenhos com outra expresso quantitativa em sede de
avaliao.

Nvel de proficincia lingustica A2, de acordo com o Quadro Europeu Comum de Referncia
(QECR).

132

Em termos concretos, por regra, os alunos que nos ciclos iniciais


obtivessem uma classificao de nvel 3, inferior a 70%, deveriam
beneficiar de apoio extraordinrio. Este apoio deveria ser desenhado em
funo das principais dificuldades de aprendizagem diagnosticadas quer
em sede avaliao interna, quer pelas evidncias dos resultados alcanados
na avaliao externa.
A informao de que hoje os professores dispem nestes nveis de ensino
possibilita, pelo que atrs se referiu, um diagnstico muito preciso das
fragilidades de cada aluno, conhecida pela anlise dos resultados por item
ou pela informao agregada por tema ou por domnio1.
Aquela circunstncia permite apoios que podem ser pensados com elevada
especificidade, isto , no estamos a falar de apoios generalizados numa
disciplina especfica durante um ou mais anos letivos, mas antes de
intervenes individualizadas e dedicadas superao de dificuldades
concretas, o que pode justificar a oferta de apoios educativos de durao
no necessariamente longa mas antes pontuais, de curta ou mdia durao.
No plano de potenciais desafios, e apenas para citar os que se podem
considerar essenciais e concretizveis num quadro realista, tendo em conta
os recursos disponveis, podemos considerar a urgente modernizao e
atualizao tecnolgica de toda arquitetura associada ao processo de
aplicao e classificao de provas, que, semelhana do que hoje se
observa noutros pases, dever ser sustentada por ferramentas que
permitam a desmaterializao de todo ou de grande parte do processo.
exemplo a aplicao de testes em suporte digital e a respetiva classificao
num mesmo suporte, processo que dever igualmente evoluir para a
aplicao, ainda que em circunstncias especficas, de testes adaptativos
(CAT).

No caso da utilizao dos resultados da avaliao externa como suporte da informao que visa
caraterizar o perfil de aprendizagem de um dado aluno, essencial ter em conta as limitaes
associadas ao facto de estarmos a considerar uma informao centrada numa bateria restrita de
itens e por vezes num nico instrumento de avaliao. As leituras que se devem fazer tero de ser
enquadradas com informao mais consistente que a avaliao interna deve ser capaz de gerar.

133

Se associarmos aqueles processos migrao para um quadro de provas


no pblicas, situao que, embora exija um quadro legal especfico que
carece de algum desenvolvimento, se justifica plenamente, pelo menos nas
provas aplicadas no ensino bsico, estamos em condies de usufruir de
vantagens em termos de qualidade e simplificao dos processos h muito
conhecidas: forte reduo de custos, pelo menos a mdio prazo; maior
objetividade e fiabilidade na classificao das provas; incremento da
validade dos resultados, seja pela aplicao de itens submetidos a pr-teste
e calibrados, seja pelo alargamento substancial da bateria de itens a
aplicar.
Em suma, necessrio que pensar sobre os exames seja pensar no
conjunto de pressupostos que lhes esto subjacentes e no conjunto de
medidas educativas e processuais que podem contribuir para incrementar a
sua eficcia e eficincia no sistema educativo.

134

A avaliao externa da aprendizagem considerada, pelo estudo PISA


2009, um fator crtico de sucesso para que qualquer sistema de ensino
possa evoluir no que diz respeito qualidade do processo de ensino e
aprendizagem, sendo geralmente aceite que a sua implementao produz
um efeito muito significativo sobre algumas variveis do mbito do
trabalho desenvolvido pelas escolas, designadamente:
Induz prticas inovadoras de ensino e de avaliao nas escolas
Regula as avaliaes internas
Fornece dados para avaliao do sistema educativo, para tomada
de decises
Regula o sistema d indicaes s escolas, aos professores e aos
alunos acerca do que considerado importante ensinar e aprender
A avaliao da aprendizagem geralmente considerada como um processo
sistemtico e padronizado de recolha de informao acerca dos
conhecimentos e capacidades adquiridos pelos alunos, no mbito do
processo de ensino e de aprendizagem, e que permite a formulao de
apreciaes acerca do trabalho desenvolvido.
Estas apreciaes, elaboradas por diversos atores e entidades mais ou
menos conhecedores do contexto educacional, baseiam-se tipicamente em
anlises estatsticas, nem sempre esclarecedoras, realizadas sobre os dados
gerados neste processo.
Pretende-se nesta comunicao apresentar outros olhares sobre os dados
da avaliao externa, que possam servir de base para estudos mais

Presidente do Jri Nacional de Exames.

135

profundos que contribuam decisivamente para uma melhor compreenso e


organizao do currculo.
A questo O que fazer com os dados da avaliao externa? leva-nos
naturalmente, numa dinmica analtica, a questionar se podemos ir mais
alm do que o cinzento obscuro das mdias das classificaes de exame,
mtrica a que infelizmente se resume o debate pblico sobre esta matria.
Esta pergunta suscita-nos uma srie de outras questes atravs das quais
podemos refletir, nomeadamente:
Que abordagens e olhares sobre a avaliao externa da
aprendizagem?
Quais os dados estatsticos mais adequados para uma anlise
efetiva dos resultados da avaliao externa?
A avaliao externa regula efetivamente os processos pedaggicos
de ensino e aprendizagem?
A avaliao externa permite-nos olhar de forma diferenciada para
os vrios tipos de alunos?
A avaliao externa promove uma verdadeira autoavaliao nas
escolas?
O Ranking das escolas d-nos uma real perceo da qualidade das
escolas?
Podemos definir trs nveis de anlise relativamente aos dados da
avaliao externa: o olhar dos decisores polticos, o olhar das escolas e o
olhar do pblico.
Os decisores polticos devem ter uma abordagem aos dados da avaliao
externa que lhes permita obter informaes importantes e consistentes
sobre o sistema educativo. Centralmente, os dados da avaliao externa
so olhados, em geral, de um ponto de vista que permite habilitar o MEC
para a tomada de decises relativas, principalmente, aos seguintes aspetos:
Aferio dos conhecimentos dos alunos a nvel nacional
Adequao dos currculos
Adequao dos programas das disciplinas
Regulao das prticas pedaggicas e das didticas das disciplinas
Adequao aos vrios tipos de alunos e escolas
Avaliao das escolas
136

O olhar das escolas sobre os dados da avaliao externa tem como


objetivo um verdadeiro e efetivo processo de autoavaliao, pelo que deve
ter em conta trs nveis principais de anlise, nomeadamente:
Anlise de nvel macro comparao com os dados estatsticos
nacionais
Anlise de nvel intermdio comparao com os dados
estatsticos regionais (NUTS III e Concelho)
Anlise de nvel local anlise fina dos resultados obtidos pelos
alunos da escola
O olhar do pblico normalmente limitado aos Rankings, listas de dados
apresentados pelos meios de comunicao social, os quais tm um
processo de anlise dos dados da avaliao externa que se resume, salvo
raras excees, apresentao das mdias das classificaes obtidas pelos
alunos de cada escola nas provas finais e nos exames nacionais.

Infelizmente a generalidade das anlises efetuadas por todos os agentes


que tm influncia, interesse ou participao no processo educativo so
totalmente monocrdicas no que diz respeito aos indicadores estatsticos
utilizados, o que leva a que apenas sejam valorizadas as mdias das
classificaes.
Com a utilizao generalizada de um nico indicador estatstico, podemos
concluir que a sociedade portuguesa , no mnimo, mdio-dependente.
Esta uma situao problemtica, j que a mdia , como todos sabemos,
uma medida estatstica que tem o potencial de esconder um grande
nmero de informaes fundamentais para uma correta anlise estatstica
dos dados da avaliao externa por todos os stakeholders, sejam os
responsveis polticos, as escolas ou o pblico em geral.
, por conseguinte, muito importante que nas diversas anlises dos dados
das provas finais de ciclo ou dos exames nacionais sejam utilizados
mtodos e medidas estatsticas que possam complementar a nica que
tipicamente utilizada. Assim, muito importante utilizar uma maior

137

diversidade de medidas estatsticas que possam caracterizar de forma mais


completa e fina as distribuies das classificaes das provas finais e dos
exames nacionais, nomeadamente, medianas, medidas de disperso,
desvio padro e coeficiente de variao, etc. Para alm desta maior
diversidade de indicadores, tambm muito importante a realizao de
anlises regionais, que nos permitem perceber as variaes de ndole local
e regional, bem como outro tipo de anlises significativas para avaliar da
qualidade dos processos de ensino aprendizagem nas escolas,
designadamente a anlise das diferenas entre as classificaes internas
(CIF) e as classificaes de exame (CE).
Como exemplo do tipo de anlise, podemos observar a distribuio das
classificaes do exame nacional de Portugus (639), da 1. fase de 2013.
Como se pode verificar, trata-se de uma distribuio descrita por uma
curva de Gauss, com uma baixa disperso dos dados. Neste caso a mdia
caracteriza de forma satisfatria a distribuio, pelo que ao dizermos que
esta tem o valor de 89 pontos, a probabilidade de uma classificao se
encontrar nas vizinhanas da mdia muito elevada.
Por outro lado, tambm muito importante fazer a desagregao dos
dados entre alunos internos e autopropostos, j que estes dois grupos de
alunos tm desempenhos bastante diferenciados, mais evidentes nas
disciplinas trienais do que nas disciplinas bienais, como veremos mais
frente. Na distribuio em apreo notria esta diferena, se observarmos
a barras azuis, que representam a distribuio das classificaes relativa
aos alunos autopropostos.

138

Se observarmos a distribuio que se apresenta em seguida, as mesmas


concluses j no podero ser tiradas apenas pela anlise dos valores das
mdias. Ao levarmos apenas em linha de conta o valor de 82 pontos da
mdia do exame de Matemtica A (635) estamos a escamotear
informaes muito importantes relativamente ao desempenho dos alunos,
nomeadamente, que existem muitos casos extremos, ou seja, muitos
alunos com classificaes muito elevadas e tambm com classificaes
muito baixas. Observa-se tambm uma grande diferena entre os alunos
internos e os autopropostos. Esta distribuio s fica devidamente
caracterizada atravs da anlise fina da distribuio e das respetivas
medidas de disperso.

139

Como j foi referido atrs a anlise da diferena entre CIF e CE de


extrema importncia para uma compreenso efetiva, tanto do desempenho
de cada aluno, bem como de cada disciplina da escola, no que diz respeito
ao nvel micro, mas tambm de enorme importncia no sentido de
determinar as desigualdades regionais e, principalmente as desigualdades
entre tipos de escolas.
considerado normal que exista uma diferena entre a avaliao interna e
a externa, j que a CIF engloba outras aprendizagens no passveis de
serem testadas em exames escritos e corresponde avaliao contnua dos
dois ou trs anos em que a disciplina lecionada. Contudo, a diferena
entre CIF e CE no pode ser demasiadamente acentuada pois que pode
configurar problemas no processo de ensino e aprendizagem de uma
disciplina, classificaes internas demasiadamente inflacionadas ou,
eventualmente, problemas nos instrumentos de avaliao externa.

140

Como se pode observar no quadro, em algumas disciplinas,


nomeadamente, Fsica e Qumica A (715) e Biologia e Geologia (702),
esta diferena muito pronunciada o que nos deve fazer refletir na procura
de explicaes e de solues para este problema sempre latente e de
grande impacto nos alunos, nas escolas e nos professores.

Observando o grfico seguinte, podemos observar que algumas disciplinas


tm mdias das classificaes de exame muito baixas, em comparao
com as restantes. De entre estas podemos destacar as disciplinas de Fsica
e Qumica A (715), Biologia e Geologia (702), Matemtica A (635) e
Portugus (639). Este panorama intrigante por ser sistemtico e
consistente ao longo dos anos.
Ser que so disciplinas mais difceis? Ser que o ensino nestas disciplinas
de m qualidade? Os professores que lecionam estas disciplinas no so
competentes? Ser que as prticas pedaggicas e as metodologias no so
as adequadas? Os alunos tm, todos, dificuldades de aprendizagem nesta

141

rea? No parecem ser hipteses explicativas viveis. Tanto mais que se


verifica nas escolas um enorme investimento em tempo e recursos
humanos no ensino destas reas.

Por outro lado, aps uma anlise rpida podemos observar que estas so as
disciplinas requeridas para o concurso nacional de acesso ao ensino
superior para os cursos de medicina, ou seja, so exames com um grau de
seletividade extremamente elevado, tendo em considerao que o acesso a
estes cursos se pode decidir por dcimas. Esta constatao leva-nos a
inferir que provvel que na elaborao destes exames haja a tendncia
natural para inserir mais itens de grau de dificuldade acima da mdia ou,
ento, que os critrios de classificao sejam mais exigentes que nos
demais exames.
Tendo isto em considerao, e constatando a cada vez maior preocupao
de professores e alunos com os maus resultados obtidos nestes exames a

142

nvel nacional e o seu grau percebido de dificuldade, podemos assistir,


principalmente nas cincias, a uma desvalorizao de metodologias
essenciais para a boa compreenso dos conceitos cientficos,
nomeadamente, o ensino experimental das cincias. Esta situao poder
dever-se ao facto de, primeira vista, estas metodologias no serem
diretamente valorizadas nos testes escritos, o que, no sendo
necessariamente verdade, leva os professores a querer preparar os
alunos para os exames sem perder tempo com atividades experimentais,
dedicando todo o seu tempo ao treino puro e simples de problemas e
exerccios.
Este um bom exemplo de que nem sempre a avaliao externa contribui
para uma melhoria das prticas pedaggicas e que dever fazer refletir os
decisores, os professores e as equipas que elaboram as provas.

A avaliao externa tem tambm como grande objetivo fornecer


informao para que os decisores polticos possam elaborar ou ajustar as
medidas de poltica educativa, necessrias para uma melhoria do sistema
de ensino. Uma anlise adequada e devidamente desagregada dos dados da
avaliao externa poder permitir encontrar padres estatsticos que nos
permitam efetuar intervenes no currculo destinadas resoluo de
problemas especficos de grupos de alunos diferenciados. Como exemplos
deste tipo de trabalho ser interessante referir os seguintes grupos:
Alunos do 1. ciclo Acompanhamento extraordinrio do 1. ciclo
Cursos profissionais prosseguimento de estudos no ensino
superior
Cursos cientfico-humansticos adequao do currculo aos vrios
cursos
Alunos internos e autopropostos
Estudos de gnero
Alunos do 1. ciclo Acompanhamento extraordinrio do 1. ciclo

143

A medida conhecida como Acompanhamento Extraordinrio foi criada


para apoiar os alunos que mostraram maiores dificuldades durante o ano
escolar e que no conseguiram obter classificao igual ou superior a nvel
3 a Portugus e ou Matemtica. Fazendo uma anlise dos dados da
avaliao externa referentes a estes alunos, podemos obter informaes
muito importantes para que os decisores possam produzir eventuais
alteraes e ajustamentos.
No ano de 2013, no 4. ano de escolaridade, encontravam-se em situao
de no aprovao no ciclo 3856 alunos. Aps a realizao do
Acompanhamento Extraordinrio e a 2. fase das provas finais de ciclo
recuperaram 652 alunos. Muitos consideram um nmero insuficiente,
tendo em conta os recursos humanos envolvidos. No entanto, prefervel
pensar neste nmero de forma absoluta, ou seja, 652 alunos conseguiram
ter sucesso nas provas e transitaram para o 5. ano de escolaridade. Pareceme que, s por isto, uma medida com sucesso.
Por outro lado, esta medida despertou um enorme interesse da parte dos
encarregados de educao pois que 67% dos alunos a Portugus e 77%
dos alunos a Matemtica que j se encontravam em situao de aprovao
no ciclo mas com nvel inferior a 3 a uma daquelas disciplinas,
frequentaram o Acompanhamento Extraordinrio e realizaram a prova na
2. fase para tentar recuperar. Em termos gerais, 10% dos alunos
conseguiram obter classificao igual ou superior a nvel 3 a Portugus na
2. fase. No caso da Matemtica este nmero foi de 22% o que seria de
esperar tendo em conta a durao desta medida e a didtica especfica
desta disciplina.
Cursos profissionais prosseguimento de estudos no ensino superior
As condies de acesso ao ensino superior dos alunos dos cursos
profissionais sofreram algumas alteraes no ano transato, passando estes
a ter de realizar mais exames nacionais para clculo da classificao final
de curso para efeitos de prosseguimento de estudos. A maioria dos exames
nacionais no correspondem s disciplinas que estes alunos tm no seu
currculo e mesmo quando isso acontece, por exemplo o programa de

144

Portugus idntico, os contedos no so abordados da mesma forma.


Uma anlise comparativa dos dados da avaliao externa dos alunos dos
cursos profissionais permite-nos verificar um desequilbrio nas
aprendizagens destes alunos em relao aos alunos dos cursos cientficohumansticos. Estes dados podem ser muito importantes para que possa
proceder aos ajustamentos necessrios nos currculos e tambm nas
condies de acesso ao ensino superior para estes alunos.
Como se pode verificar no quadro seguinte, os alunos dos cursos
profissionais no se encontram devidamente preparados para realizar, por
exemplo, o exame nacional de Matemtica A (635), j que obtiveram, na
prova, uma mdia de 37 pontos, em 200, e, o que mais marcante, uma
mediana de 26 pontos, o que significa que metade dos alunos obteve
classificao abaixo deste valor.
esclarecedor tambm analisar o comportamento destes alunos no exame
nacional de Portugus (639), dado que um dos exames obrigatrios para
prosseguimento de estudos. Apesar de o programa da disciplina ser igual,
a mdia obtida pelos alunos dos cursos profissionais foi de apenas 63
pontos, contrastando com os 95 pontos dos alunos dos cursos cientficohumansticos, o que denota no mnimo a necessidade de alteraes no
processo de ensino e aprendizagem desta disciplina, nos cursos
profissionais. O mesmo se pode dizer relativamente a Matemtica B (735),
cuja diferena de mdias substancial.

Prova/cdigo

Tipos de curso

Cursos cientfico-humansticos
Matemtica A (635)

Mediana

70609

86

80

2191

39

31

2009

37

26

76214

95

95

Cursos do ensino artstico especializado

1062

81

78

Cursos do ensino recorrente

2552

69

66

Cursos do ensino recorrente


Cursos do ensino profissional
tecnolgico
Cursos cientfico-humansticos

Portugus (639)

Mdia

145

Cursos do
tecnolgico

ensino

profissional

Cursos cientfico-humansticos
Matemtica B (735)

Cursos do
tecnolgico

ensino

profissional

14381

63

60

3600

84

80

2496

57

50

Cursos cientfico-humansticos adequao do currculo aos vrios cursos


Uma anlise comparativa dos dados referentes aos quatro cursos
cientfico-humansticos permite-nos verificar diferenas que nos podero
ser teis na adequao da aplicao dos programas das disciplinas aos
currculos dos cursos e s caractersticas dos alunos, atravs de prticas
pedaggicas diferenciadas. de salientar que os alunos do curso de
cincias e tecnologias tm melhores desempenhos a todas as disciplinas.
Prova/cdigo

Curso
C60 - Cincias e Tecnologias

Matemtica A (635)

Geometria Descritiva A (708)

Filosofia (714)

Mdia

Mediana

60642

87

82

9446

77

71

C62 - Lnguas e Humanidades

89

61

45

C64 - Artes Visuais

88

80

85

41774

101

100

6547

93

91

21216

88

86

C64 - Artes Visuais

6360

81

77

C60 - Cincias e Tecnologias

3221

127

139

82

63

20

79

48

C64 - Artes Visuais

7845

80

65

C60 - Cincias e Tecnologias

4428

95

95

565

86

75

C61 - Cincias Socioeconmicas

C60 - Cincias e Tecnologias


Portugus (639)

C61 - Cincias Socioeconmicas


C62 - Lnguas e Humanidades

C61 - Cincias Socioeconmicas


C62 - Lnguas e Humanidades

C61 - Cincias Socioeconmicas

146

C62 - Lnguas e Humanidades

Geografia A (719)

4033

89

84

C64 - Artes Visuais

815

64

56

C60 - Cincias e Tecnologias

328

97

98

6149

108

107

16369

92

90

19

88

85

C61 - Cincias Socioeconmicas


C62 - Lnguas e Humanidades
C64 - Artes Visuais

Alunos internos e autopropostos


Para uma anlise adequada dos resultados dos exames nacionais muito
importante efetuarmos uma desagregao dos dados entre alunos internos
e alunos autopropostos, tendo em considerao a significativa diferena
entre os resultados destes dois grupos nas disciplinas com maior nmero
de alunos.
No quadro seguinte podemos ver que as diferenas entre internos e
autopropostos em Matemtica A bastante pronunciada. No entanto, nas
disciplinas de Biologia e Geologia e Fsica e Qumica A essa diferena j
no to acentuada, pois que muitos alunos autopropostos realizam prova
para melhoria de classificao nestas duas disciplinas bienais,
respetivamente 22% e 18%, enquanto na disciplina de Matemtica apenas
6% dos alunos realizam prova para melhoria de classificao. Assim,
tambm muito importante fazer a desagregao entre alunos
autopropostos que realizam os exames para concluso dos que os realizam
para melhoria de classificao.
Autopropostos

1. Fase
cdigo Prova
623

Histria A

635

Internos

Mdia Mediana N

Mdia

Mediana

4271

80

77

11546

106

105

Matemtica A

16326

54

40

31624

97

95

639

Portugus

20723

67

65

50084

98

96

702

Biologia e Geologia

21555

76

70

29768

84

80

147

708

Geometria Descritiva A

3635

72

53

5648

122

127

712

Economia A

6032

88

85

5118

114

113

714

Filosofia

3297

75

65

5542

102

100

715

Fsica e Qumica A

22399

74

62

30499

81

75

719

Geografia A

4741

82

80

15145

98

97

735

Matemtica B

3001

66

59

1674

102

100

835

MACS

2783

59

52

6628

99

99

Estudos de gnero
Os estudos de gnero so tambm muito relevantes, dado que os
comportamentos e os desempenhos so muito diferenciados entre rapazes
e raparigas. Se analisarmos o nmero de provas realizadas por gnero
podemos obter informaes muito valiosas para entender a influncia das
questes curriculares e didticas em rapazes e raparigas. Como podemos
observar no quadro seguinte o nmero de provas realizadas por rapazes no
1. ciclo maior do que o realizado por raparigas, o que consistente com
os dados estatsticos da natalidade. No 2. ciclo ainda se verifica uma
preponderncia do sexo masculino relativamente ao feminino no que diz
respeito ao nmero de provas realizadas. No entanto, no 3. ciclo, verificase uma inverso no nmero de provas realizadas por gnero. Observa-se
um maior nmero de raparigas a realizarem provas finais de ciclo o que
pode indiciar uma maior dificuldade de os rapazes atingirem o 9. ano de
escolaridade ou ento uma maior preponderncia de alunos do gnero
masculino em vias formativas alternativas, tais como os PCA, cursos CEF,
cursos vocacionais ou PIEF, ou mesmo em abandono escolar. No ensino
secundrio esta diferena acentua-se, chegando a 54% do total. Esta
situao consistente com o nmero de alunos que acedem e terminam o
ensino superior por gnero.

148

Como j foi referido na primeira parte da comunicao, as escolas, para


poderem realizar um processo de autoavaliao que possa ser operacional
e efetivo, devem efetuar anlises nos trs nveis, macro, intermdio e
local.
A nvel local fundamental analisar no s a avaliao obtida nas provas e
exames realizados pelos alunos da escola mas tambm, e
fundamentalmente, o ponto de partida de cada aluno, pelo que se torna
absolutamente necessrio que as escolas procedam a avaliao diagnstica
sistemtica no incio de cada ciclo. Assim, para poderem efetuar a sua
autoavaliao as escolas devero ter em considerao o seguinte:
Estudar pormenorizadamente a distribuio de classificaes nas
vrias disciplinas
Comparar as CIF com as CE
Comparar com os resultados dos anos anteriores
Articular esta informao com estudos longitudinais relativos ao
percurso escolar de cada aluno tendo em conta o seu ponto de
partida em cada ciclo
Ponderar com o contexto socioeconmico de cada aluno

149

A disponibilizao dos dados da avaliao externa aos meios de


comunicao social e ao pblico em geral contribui sobremaneira para
transparncia da ao do estado no que diz respeito ao sistema educativo,
bem como para a prestao de contas aos cidados relativamente ao
trabalho efetuado nas escolas.
No entanto, as anlises simplistas baseadas apenas em comparao de
mdias das classificaes de exame tornaram os rankings numa fonte de
grande injustia relativa entre as escolas, visto que uma escola que se
encontre num meio socioeconmico menos favorecido tem maior
probabilidade de os seus alunos terem um menor desempenho na
realizao das provas de avaliao externa. Este facto, porm, no
significa que o trabalho realizado nessas escolas seja de menor qualidade.
Por vezes, so escolas que se encontram inseridas em contextos sociais to
deprimidos que o seu trabalho primordial se localiza ao nvel do combate
ao abandono escolar dos seus alunos. Nestas escolas conseguir que um
aluno termine o ensino secundrio poder ser considerado uma vitria.
Deste modo, deve ser de rejeitar de todo qualquer relao causa-efeito
direta entre a mdia das classificaes de exame e qualidade das escolas,
j que no so tidos em conta outros fatores estatsticos importantes, nem
os contextos socioculturais.
Apesar de tudo, atualmente encontramo-nos j algo longe dos rankings
dos primeiros anos. Desde 2012 que o MEC comeou a disponibilizar
dados de contexto das escolas, a fim de que os meios de comunicao
social possam entrar em linha de conta, na sua anlise, com dados
importantes tais como o contexto socioeconmico das escolas, o nmero
de alunos da escola, o nmero de alunos por cada disciplina, entre outros.
Os dados de contexto das escolas fornecidos aos media passam pela
disponibilizao de alguns indicadores, tais como:
Percentagem de alunos que beneficiam de ASE
Mdia do nmero de anos da habilitao dos pais

150

Mdia do nmero de anos da habilitao das mes


Percentagem de docentes do quadro de escola ou do quadro de
zona pedaggica
Melhoria estatisticamente significativa, com lugar atribuio de
crdito horrio

um facto sobejamente aceite que a avaliao externa tem uma


importncia fulcral na regulao do sistema educativo. No entanto, o seu
impacto no pode ficar restrito s suas funes usuais de certificao,
aferio e seleo. Cada vez mais se torna fundamental saber utilizar e
analisar os dados da avaliao externa para obter informao credvel que
nos permita melhorar o currculo, a avaliao e as didticas, tendo em
considerao todas as especificidades e diversidades que caracterizam o
nosso sistema educativo.

151

A Rede de Escolas de Excelncia (ESCXEL) uma parceria iniciada em


2008, entre a Faculdade de Cincias Sociais e Humanas da Universidade
Nova de Lisboa, atravs do seu Centro de Estudos de Sociologia
(CESNOVA), e um conjunto de cinco municpios e respetivas escolas
pblicas. Hoje inclui oito municpios: Amadora, Batalha, Castelo Branco,
Constncia, Loul, Mao, Oeiras e Vila de Rei, contando com a adeso
voluntria de todos os agrupamentos de escolas e escolas no agrupadas
existentes nos concelhos.
Somos uma rede colaborativa multifuncional, com uma grande
diversidade de atividades que no cabe aqui resumir. No mbito deste
seminrio, ater-me-ei ao processamento pelo CESNOVA dos resultados
das avaliaes externas dos alunos, expressas nas classificaes mdias
nos exames nacionais de todos os ciclos do Ensino Bsico e Secundrio e,
at recentemente, nas das provas de aferio no termo do 1. e do 2. ciclos
do Ensino Bsico (classificaes externas adiante designadas
genericamente por CE). Fazemo-lo atravs da construo de indicadores
homogneos que permitem:
Padronizar, criando comparabilidade intertemporal.
Resumir e simplificar padres e tendncias.
Mapear desempenhos e, fundamentalmente, tendncias de
evoluo.
O objetivo destes procedimentos e da disseminao dos indicadores
processados pelos parceiros mltiplo. Desde logo, o de acrescentar uma
nova camada de inteligibilidade aos resultados, e especialmente sua
evoluo, para informar a perceo, a problematizao, a discusso e as
1

CESNOVA, FCSH/NOVA

152

orientaes de ao de professores e diretores, conselhos de escola, e


responsveis polticos e tcnicos municipais.
Em segundo lugar, contribuir para uma cultura de colaborao e
benchmarking entre os atores da rede, atravs da identificao de
agrupamentos de escolas e das escolas no agrupadas (adiante designados
genericamente por escolas, por comodidade de expresso) que
apresentem tendncias mais positivas para um dado nvel mdio de
desempenho, apelando identificao e disseminao de boas prticas.
Finalmente, contribuir para a cultura de autoavaliao e para a
apresentao de resultados s avaliaes externas, sejam elas formais por
parte da tutela, ou informais por parte da comunidade que servem.
Importa precisar o nosso papel neste processo: a equipa do CESNOVA
tem a seu cargo a elaborao dos indicadores, a formao dos utilizadores
para a sua leitura e a elaborao dos relatrios que os apresentam e os
interpretam resumidamente. Cabe aos atores educativos e,
particularmente, s escolas analis-los e identificar os contextos e as
prticas que lhes subjazem, discutir e partilhar experincias, para gizarem
estratgias tendentes melhoria contnua, que no fundo o conceito de
excelncia que designa a rede.
Passo a apresentar em linhas gerais os principais indicadores que
construmos, definindo o seu contributo para o acrscimo de
inteligibilidade pretendido, segundo as trs funes acima definidas.

O primeiro princpio em que baseamos a construo dos nossos


indicadores a padronizao dos resultados, de modo a que sejam
comparveis entre escolas e municpios e atravs do tempo, pois s assim
podemos inferir concluses seguras sobre os seus nveis e tendncias de
evoluo.
De facto, cremos que a variabilidade interanual das mdias nacionais das
CE evidencia um efeito no negligencivel das variaes das prprias
provas, que pode viciar tanto a apreciao dos nveis mdios de resultados

153

nas escolas e municpios num dado ano, como, e sobretudo, a da sua


evoluo.
Vejamos por exemplo o comportamento recente da mdia das CE do
Agrupamento A da rede ESCXEL nos exames de Portugus no 3. ciclo
(fig. 1.1).
Figura 1: Mdias das CE do Agrupamento A e nacional em Portugus no 9. ano, 2008-2013
1.1: Agrupamento A

1.2: Nacional

Fonte: Jri Nacional de Exames e ESCXEL, Agrupamento [A] 2008-2013 (Lisboa: CESNOVA/FCSH, 2014).

A evoluo das mdias de resultados de exame no agrupamento configura


uma evoluo negativa ao longo dos seis anos. Contudo, essa evoluo
ganha um significado claramente diferente uma vez que a confrontamos
com a da mdia nacional da CE, ainda mais negativa (fig. 1.2). Salvo
admitindo que as competncias dos jovens de todo o pas em Portugus,
sada do 9. ano de escolaridade, tenham simultaneamente oscilado e
decrescido ao longo dos seis anos considerados, a evoluo explica-se pela
variao das provas de exame. Essa a hiptese que assumimos. Assim, a
evoluo do Agrupamento A surge-nos completamente diferente, uma vez
que os indexamos CE mdia nacional (Fig. 2):

154

Figura 2: ndice da mdia da CE do Agrupamento A em Portugus no 9. ano, base:


mdia nacional da CE=100, 2008-2013

Fonte: Jri Nacional de Exames e ESCXEL, Agrupamento [A] 2008-2013 (Lisboa: CESNOVA/FCSH, 2014).

Por este motivo, a maioria dos nossos indicadores de resultados escolares


baseia-se em ndices ou em rcios, tendo como base tornada constante a
mdia nacional no ano de referncia (valor 100 do ndice CE, na figura 2).
Refira-se que, por se tratar de uma indexao mdia nacional que anula
as diferenas interanuais devidas ao tipo de provas, este tratamento
permitiu compatibilizar as novas sries de resultados dos exames
nacionais do 4. e do 6. anos do Ensino Bsico com as anteriores sries
das provas de aferio.

Construdos os indicadores, o seu tratamento visa resumir e simplificar a


informao em tendncias ao longo dos perodos considerados. Nos vrios
casos em que foram compostos ou recompostos agrupamentos de escolas
ao longo de cada perodo em anlise, agregmos retrospetivamente os
resultados escolares das unidades (re)agrupadas para toda a janela de seis
anos, segundo a composio do agrupamento no ltimo ano. Tal como no
exemplo acima, em cada relatrio anual trabalhamos um perodo de seis

155

anos, funcionando numa lgica de janela mvel. Esse intervalo de tempo


contm um nmero de pontos de dados suficiente para identificar uma
tendncia de evoluo, e no to amplo que essa tendncia seja irrelevante
para a avaliao das prticas atuais da escola. Esse resumo de tendncias
feito escala da escola e escala do concelho, quando o concelho tem
mais do que um agrupamento.

Para medir a relao da classificao interna (CIF) com a CE e visualizar a


sua evoluo, construmos o ndice CIF, em que a base 100 constante no
tempo a mdia CE, qual indexmos a CIF. Nesta abordagem no
assumimos a mdia nacional como constante, antes comparamos a
evoluo deste ndice em cada disciplina entre a escola e o contexto
nacional.
Figura 3: Valores e retas de regresso dos ndices CIF do Agrupamento A e nacional em
Portugus no 9. ano, base: mdias da CE=100, 2008-2013

Fonte: Jri Nacional de Exames e ESCXEL, Agrupamento [A] 2008-2013 (Lisboa: CESNOVA/FCSH, 2014).

A figura 3 mostra-nos que, no Agrupamento A, a CIF em Portugus no 9.


ano esteve sempre acima da CE da disciplina, evoluindo no sentido da

156

valorizao relativa da CIF medida que, como sabemos, as mdias da


CE desceram (fig. 1.1). escala nacional, a valorizao relativa da CIF
foi em geral idntica, mas a sua subida foi mais acentuada, medida que
as CE desceram tambm mais acentuadamente, como vimos (fig. 1.2), no
fundo sugerindo a inelasticidade da CIF relativamente CE em ambas as
escalas, e maior escala nacional. Isto mostra s escolas, no s o grau de
ajustamento das suas prticas de avaliao interna relativamente aos
critrios dos exames nacionais, como em que medida as suas prticas de
avaliao interna a aproximam ou diferenciam da tendncia nacional de
relao entre estas duas classificaes.
Numa abordagem diversa, resumimos a evoluo da relao entre a CE e a
CIF operando com dois indicadores de base: o rcio da mdia CE da
unidade de anlise (escola ou concelho) mdia CE nacional (rcio CE) e
o rcio homlogo da mdia CIF da unidade de anlise mdia nacional
(rcio CIF).
A partir destes, construmos dois indicadores de diferena: o desvio do
rcio CE relativamente ao valor de base nacional, que mede em que
proporo a mdia CE da unidade de anlise foi superior ou inferior
nacional; e a diferena entre os rcios CIF e CE, que mede a sub- ou
sobrevalorizao da CIF relativamente CE, aferidas pela tendncia
nacional. A trajetria conjunta destes indicadores num diagrama de fases
permite-nos visualizar em que medida a relao entre a sub- ou
sobrevalorizao da CIF e a CE, aferidas pelos valores nacionais, tendeu,
relativamente relao nacional:
a permanecer:
num espao de paridade;
num espao de maior exigncia da avaliao interna
relativamente externa;
num espao de menor exigncia da avaliao interna
relativamente externa;
a evoluir num sentido ou no outro;
a ter um comportamento errtico.

157

Figura 4: Relao entre a diferena do rcio CE ao nacional e a diferena entre os rcios


CIF e CE do Agrupamento A em Portugus no 9. ano, 2008-2013

Fonte: Jri Nacional de Exames e ESCXEL, Agrupamento [A] 2008-2013 (Lisboa: CESNOVA/FCSH, 2014).

O exemplo na fig. 4 mostra que no Agrupamento A, na disciplina de


Portugus no 9. ano do Ensino Bsico, a relao entre a valorizao
relativa da CIF e a CE evoluiu entre 2008 e 2011 num sentido de aumento
da exigncia da CIF, por comparao com o ocorrido escala nacional,
passando ao longo destes quatro anos de uma posio de sobrevalorizao
relativa da CIF em 2008 para outro de clara sobrevalorizao da CE. Nos
dois ltimos anos do sexnio, regressou a posies mais prximas da
relao observada escala nacional, no tringulo delimitado pelos pontos
de 2009, 2010, 2012 e 2013 e para o qual tornou sempre aps as posies
extremas de 2008 e 2011: valorizao relativa da CIF moderada ou nula,
combinada com mdias CE quase coincidentes, ou moderadamente abaixo
das nacionais. A escola pode assim confrontar esta informao com as
suas estratgias de avaliao interna na disciplina, e aferir se esta evoluo
corresponde aos seus objetivos.

158

Para resumir a evoluo dos resultados da avaliao externa, usamos dois


indicadores principais:
o nvel mdio dos resultados da unidade de anlise na avaliao
externa, na mdia das disciplinas e em cada disciplina,
relativamente aos resultados nacionais (ou seja, a mdia do ndice
CE nos seis anos em anlise);
a progresso do nvel de resultados ao longo do perodo, dado pelo
pendor, positivo ou negativo, e pelo declive mais ou menos
acentuado da reta de regresso ajustada aos valores do ndice CE
ao longo dos anos em anlise.
A figura 5 visualiza esses dois indicadores, mostrando que o Agrupamento
A teve, no conjunto do perodo, um nvel mdio ligeiramente superior ao
nacional nos resultados da CE de Lngua Portuguesa de 9. ano, e
evidenciou ainda uma evoluo ascendente, merc do baixo valor de
partida e dos melhores resultados em 2011 e 2013.
Figura 5: Valores anuais, mdia e reta de regresso do ndice CE do Agrupamento A em
Portugus no 9. ano, 2008-2013

Fonte: Jri Nacional de Exames e ESCXEL, Relatrio do Agrupamento [A] 2008-2013 (Lisboa:
CESNOVA/FCSH, 2014).

159

Finalmente, para mapear de modo sinttico os desempenhos e as


tendncias de evoluo, utilizamos scoreboards (tabelas de pontuaes)
em que a tendncia definida pela combinao da mdia dos ndices CE
do perodo considerado com o declive da reta de regresso que resume a
sua progresso, segundo as seguintes escalas (fig. 6 e 7):
atribumos o score 1, bom, quando a mdia dos ndices CE nos
anos considerados igual ou superior mdia nacional da prova
(valor 100);
atribumos o score 2, sofrvel, quando a mdia inferior em at
5%, inclusive;
atribumos o score 3, em risco, quando a mdia inferior em
mais de 5% e menos de 15%;
atribumos o score 4, mau, quando a mdia inferior em 15% ou
mais.

Figura 6: Scores atribudos mdia, segundo os intervalos de mdias dos ndices CE

Mdia

Score

>=100

[95,100[

]85,95[

<=85

O declive, por sua vez, resume a progresso dos resultados, representando


a variao linear de a pontos percentuais no ndice por cada ano do
perodo observado. No caso de um declive positivo (a superior a 0), a reta
ascendente, o que significa que, no conjunto dos dados observados, a
progresso tendencial dos ndices CE foi razo de a% em cada ano.
Inversamente, no caso de um declive negativo (a inferior a 0), a reta
descendente, o que significa que os ndices CE tenderam a diminuir a%
em cada ano. No caso de um declive nulo (a igual a 0), a reta horizontal.
160

Isto significa que, atravessando as variaes interanuais, o sentido da


progresso dos resultados foi de estagnao ao longo dos anos em anlise.
Tal como fizemos para a mdia dos ndices CE, atribumos scores a
intervalos de valores do declive (fig. 7):
atribumos o score 1, bom, quando o declive foi igual ou
superior a 2, ou seja, uma progresso tendencial positiva de 2% ou
mais por ano;
atribumos o score 2, sofrvel, quando o declive do Agrupamento
foi inferior a 2 e superior a 0, ou seja, uma progresso tendencial
positiva, mas fraca;
atribumos o score 3, em risco, quando o declive do
Agrupamento foi nulo ou negativo mas superior a -2, ou seja, uma
progresso tendencial estagnada ou moderadamente negativa;
esto classificados com o score 4, mau, os casos em que o
declive do Agrupamento foi negativo e igual ou inferior a -2, ou
seja, uma progresso francamente negativa, com decrscimo
tendencial de 2% ou mais por ano.

Figura 7: Scores atribudos ao declive, segundo os intervalos de declives da reta


de regresso dos ndices CE
Declive

Score

>=2

]0,2[

]-2,0]

<=-2

A tendncia, finalmente, resulta da combinao dos dois scores acima.


Como mostra a figura 8, supondo que o ritmo de progresso se mantivesse
no futuro prximo, consideramos que mesmo uma escola com resultados
iguais ou superiores mdia nacional estar em risco se tiver tido uma
progresso muito negativa (scores [1,4]), e uma tendncia sofrvel se
piorou um pouco ou no conseguiu melhorar (1,3); permanecendo com

161

uma boa tendncia se tiver melhorado mesmo marginalmente ([1,1] ou


[1,2]).
Reciprocamente, uma escola com resultados muito inferiores mdia
nacional ter, apesar de uma mdia m, uma tendncia sofrvel no curto
prazo se conseguiu uma evoluo francamente positiva (4,1), e menos m,
embora ainda em risco, se tiver tido uma progresso positiva sofrvel
(4,2); mas j se manter com uma tendncia m se no tiver conseguido
melhorar nada, ou tiver piorado mesmo que marginalmente ([4,3] ou
[4,4]). Mutatis mutandis, a mesma lgica aplica-se s situaes
intermdias.
Figura 8: Scores atribudos tendncia, segundo as combinaes dos scores da mdia e
do declive
Mdia

Declive

Tendncia

A tabela apresenta os scores em sentido descendente, de 1 (verde), os


melhores resultados, a 4 (vermelho), os piores. com estes blocos de cor

162

que construmos os scoreboards, para duas escalas (por escola e por


concelho), com diferentes agregaes de resultados (por ciclo e por
disciplinas em cada ciclo), e representados com diferentes graus de
complexidade (desde a mdia dos ndices de todos os exames de s um
ciclo at todos os ciclos com as disciplinas discriminadas). A traduo em
cores, conforme apresentado nas figuras antecedentes, tornam-nos
instrumentos expressivos que permitem uma leitura grfica rpida dos
resultados mdios, das suas evolues e das tendncias resultantes no
conjunto da rede.
Na ordenao dos scoreboards consideramos como primeiro critrio as
tendncias, que resumem as duas variveis estatsticas de mdia e declive
e, como segundo critrio, a mdia, que corresponde posio da escola
em relao aos resultados mdios nacionais dos exames. Esta opo visa
acentuar a capacidade de melhorar os resultados, tendo embora em conta o
nvel mdio destes que, como ficou dito, por sua vez resulta em parte da
sua evoluo.
Tratando-se de instrumentos de leitura simplificados, estes scoreboards
no dispensam a leitura e a anlise dos dados subjacentes; sob os mesmos
scores de mdia e declive, podem encontrar-se distribuies
substancialmente diferentes de resultados concretos. Por outro lado, pese
embora a ordenao, no pretendemos que sejam utilizados como meros
rankings de classificao de concelhos ou escolas. Trata-se, sim, de mapas
comparativos que resumem o estado dos resultados da rede no cmputo
geral do sexnio de referncia, em que cada escola pode situar-se e,
sobretudo, identificar outras escolas da rede com as quais se possa
comparar mais diretamente, tendo em vista o objetivo mais importante: a
utilizao da rede para benchmarking, ou seja, para a aprendizagem
partilhada de prticas que a experincia mostre terem resultado bem em
situaes comparveis (ou, inversamente, de erros a evitar).
A figura 9 representa o mais recente scoreboard da rede relativo ao 9.
ano, por escolas, com o perodo de referncia de 2008-2013. Num relance,
podemos ver que no conjunto da rede, as escolas apresentam melhores
tendncias na disciplina de Matemtica do que na de Portugus, e que isso

163

se deve no s a melhores mdias (em 25 escolas, 11 tiveram mdias boas


em Matemtica, e apenas nove em Portugus) mas tambm, e sobretudo, a
melhores progresses dos resultados. Com efeito, seis escolas apresentam
bons declives em Matemtica, face a apenas uma em Portugus; disciplina
esta em que houve igualmente um caso de declive francamente negativo,
ausente na de Matemtica. No menos importante o facto de s quatro
das oito escolas com mdias ms ou em risco na disciplina de Portugus
apresentarem declives positivos, ainda que sofrveis; enquanto em
Matemtica, de nove escolas com mdias ms ou em risco, seis tiveram
progresses sofrveis.
Por outro lado, este scoreboard mostra que em ambas as disciplinas, as
progresses positivas se concentraram nas escolas com mdias positivas
(12 de 16 em Portugus e 11 de 17 em Matemtica). Em parte, isso devese relao entre o declive e a mdia. Como ambos os indicadores foram
computados para o mesmo intervalo de tempo, a mdia no um valor de
partida, mas de chegada. Para situaes partida idnticas, um declive
positivo traduz-se num aumento da mdia, e um negativo numa reduo.
Logo, se o declive for acentuado, num sentido ou noutro, estar mais
provavelmente associado a um melhor ou pior score da mdia. Ainda
assim, no deixa de ser preocupante a escassez de declives sofrveis, e a
ausncia de bons, entre as escolas com mdias em risco ou ms. Sobretudo
atendendo a que, pela relao entre o declive e a mdia, nas escolas com
maus resultados partida as progresses positivas se traduziriam mais
provavelmente em mdias de risco ou sofrveis; ora, mesmo entre as
escolas com mdias sofrveis, s uma (a escola M), e esta apenas em
Matemtica, apresenta um bom declive de progresso.

164

Figura 9: Scoreboard de Portugus no 9. ano por agrupamentos, 2008-2013


PORTUGUS
Concelho

Agrupamento / Escola

MATEMTICA
T

Fonte: ESCXEL, Relatrios 2008-2013 (Lisboa: CESNOVA/FCSH, 2014).

Numa tica de benchmarking, mais especfica a cada escola, podero por


exemplo as escolas W, X e Y, com tendncias ms nas duas disciplinas, e
a V com tendncia m em Portugus, procurar junto das escolas T e U,
com mdias de risco ou ms, identificar o que fizeram para terem
alcanado declives positivos em ambas as disciplinas, assim como a K e a

165

M em Portugus e as P, Q, R e V em Matemtica, etc. O scoreboard pode


assim servir como um mapa para cada escola identificar possveis
parcerias para aprendizagem dentro da rede, dentro e fora dos seminrios
que realizamos regularmente.

Os resultados de exames nacionais no so mais do que uma parte da


avaliao externa do trabalho das escolas, por um lado, e da avaliao dos
conhecimentos e das competncias dos alunos, por outro. Num e noutro
terreno, no devem ser tomados como dados absolutos e irredutveis; as
suas determinantes, por outro lado, so certamente complexas e
insuficientemente conhecidas. No podem, contudo, ser ignorados, antes
devem ser trabalhados, aprofundada a sua anlise e reforada a sua
problematizao. O trabalho que prosseguimos na rede ESCXEL e que
aqui apresentei em traos largos visa isso mesmo: apresentar de uma outra
forma s escolas e aos municpios os dados que, partida, todos
conhecem, processados e organizados de modo a ir alm do bvio, a
reduzir a complexidade e, acima de tudo, a estimular a comparao, a
interrogao e a colaborao como ferramentas contra a complacncia ou
o conformismo.

166

A Escola Secundria Quinta do Marqus


(ESQM), em Oeiras, uma escola
secundria com 3. ciclo, uma escola
pblica com resultados consolidados,
com Contrato de Autonomia desde
2007, uma escola com 124 profissionais,
39 turmas e 1060 alunos.
A centralidade do Projeto da escola reside no ALUNO: para ele que
se trabalha; em funo dele que a escola se tem vindo a adaptar
constantemente. Nestes 20 anos de existncia, o projeto da escola foi-se
modificando, procurando ajustar-se s mudanas, quer do contexto
externo, quer da populao discente e malha urbana envolvente, e
procurando corresponder aos desafios, mantendo, no entanto, as suas
linhas orientadoras estruturantes.
A ESQM uma escola secundria com 3. ciclo. Enquanto escola pblica,
quer oferecer um servio de qualidade, promover aprendizagens
significativas, apostar no desenvolvimento pessoal e social e na
motivao para a aprendizagem, numa fase fundamental de construo
identitria dos jovens. Tem cumprido o que consideramos ser um servio
pblico de qualidade.
As opes da ESQM e o trabalho desenvolvido pelos seus professores e
tcnicos ao longo do tempo tm trazido resultados educativos bastante
positivos, j consolidados, que se revelam no s ao nvel das
classificaes finais das disciplinas, mas tambm na boa preparao dos
1

Diretora da Escola Secundria da Quinta do Marqus, Oeiras

167

alunos para o ciclo de estudos posteriores, na sua formao integral e na


sua satisfao e sentido de pertena escola. Os seis anos que os alunos
passam na escola criam um maior sentido de responsabilidade; a
comunidade reconhece a escola e confia nos seus profissionais e no seu
projeto.
A introduo dos exames, em 1997 no secundrio e em 2005 no bsico,
obrigou a escola a centrar-se mais nas disciplinas especficas com piores
resultados nos exames e a desenvolver estratgias para melhorar o
desempenho dos alunos. O impacto dos resultados dos primeiros exames
na escola foi enorme e os resultados obtidos muito aqum do que
espervamos. O desaire fez-nos refletir nas melhores estratgias para
superar essas dificuldades.
Nos ltimos 15 anos, a ESQM posiciona-se sempre entre as dez melhores
escolas pblicas do ensino secundrio, muitas vezes entre as cinco
melhores e, no ensino bsico, nos ltimos cinco anos, entre as cinco
primeiras da Grande Lisboa e entre as melhores do pas. Os resultados dos
exames podem, de facto, ser um incentivo para melhorar a qualidade das
aprendizagens, como a nossa escola o demonstra. preciso que o aluno
esteja no centro das preocupaes da escola.

Tem-nos guiado a preocupao de alcanar


bons resultados a nvel educativo. A ESQM
tem criado e recriado projetos para dar o seu
contributo inequvoco para o desenvolvimento
pessoal, cultural e social dos jovens que a
frequentam. A ESQM assumiu-se como uma
escola verdadeiramente cultural, virada ao exterior, proporcionando aos
alunos experincias de diversa ndole: cultural, artstica, cvica Embora
sem os recursos fsicos adequados (escola com pouco espao, sem ginsio,
sem qualquer infraestrutura de carter social para alunos ou professores),
aproveitou todos os espaos a nvel do currculo formal e no formal para
concretizar esse desgnio. Aproveitou as virtualidades do Contrato de

168

Autonomia para obter instalaes mais condignas e o to necessrio


ginsio e espao multiusos. No entanto, ao fim de 20 anos, continuamos
sem estes espaos to fundamentais. Continuamos a reinventar a escola,
de forma a que esta motive para as aprendizagens.
Aps a primeira avaliao externa das escolas em 2006, qual nos
candidatamos, o Contrato de Autonomia veio viabilizar, numa primeira
fase, a estabilizao de docentes na escola e a continuidade de projetos, a
reabilitao da Matemtica e de outras disciplinas e a melhoria substancial
dos resultados.
A escola tem responsabilidade no desenvolvimento do potencial
intelectual, afetivo, social dos seus alunos; ESQM interessam os
resultados acadmicos, mas sobretudo o desenvolvimento integral e
harmonioso dos alunos, para que cada um desenvolva ao mximo as suas
capacidades, como misso da escola melhorar o potencial da escola
significa melhorar o potencial de cada indivduo, de cada aluno.
Aos alunos procura-se incutir a importncia de aprender a aprender e da
aprendizagem ao longo da vida; a ESQM tem-se ajustado, tem procurado
solues, a nvel profissional e organizacional, que lhe permita cumprir
eficientemente a sua misso, responder s necessidades de educao e
formao dos seus alunos e s exigncias da sociedade. So estas ltimas
que fundamentam a oferta educativa da escola, maioritariamente orientada
para o prosseguimento de estudos. E o projeto educativo da escola que
justifica que esta oferta se no limite a cumprir os planos de estudo e os
programas e a satisfazer-se apenas com os resultados dos exames
nacionais e do concurso de acesso ao ensino superior e procure, quer no
mbito das atividades de complemento curricular, quer dos prprios
planos de estudo e programas, promover uma formao cultural ampla e
diversificada, articulada com a formao cvica que os jovens
necessitam.

169

A ESQM criou salas de estudo, ateliers de


tempos livres, espaos de apoio para os alunos,
atividades e projetos sempre procurou
compatibilizar uma abordagem mais informal,
que promovesse uma educao alargada, com
a preparao dos alunos para obterem bons
resultados acadmicos.
A escolaridade obrigatria de 12 anos tambm leva a escola a repensar
algumas prticas educativas. Todas as medidas integradoras, diferenciadas
e criativas, concebidas e implementadas, dirigidas aos alunos abrangidos
pela escolaridade obrigatria at ao momento presente, tero a sua
continuidade, mas, a partir de agora, considerando no s o 3. ciclo do
ensino bsico, mas tambm o ensino secundrio. Acresce aqui uma
mudana de paradigma e um enorme desafio para a escola, pois ter que
se alcanar o equilbrio entre um ensino secundrio de qualidade, que
permita o prosseguimento de estudos, e a capacidade de desenvolver
estratgias e dinmicas que garantam a concluso do ensino
secundrio para todos. Se, at h pouco tempo, a concluso do ensino
secundrio foi uma meta a que a escola sempre se props, hoje, um
pressuposto para todas as escolas do pas, cabendo-nos a ns encontrar
formas interessantes e criativas de alcanar esta meta com a qualidade
necessria, para que o ensino secundrio seja uma base slida que possa
alavancar percursos educativos e profissionais posteriores. mais um
desafio que aceitamos.
No entanto, sentimos cada vez mais constrangimentos nossa ao; o que
as escolas faziam j no conseguem fazer. Temos cada vez menos
recursos e menos flexibilidade, menos capacidade ou margem de manobra.
Poderamos pensar que o Contrato de Autonomia proporciona esses
espaos de autonomia, mas est muito aqum de corresponder s nossas
expectativas e necessidades.

170

A ESQM preocupa-se, na verdade, em proporcionar aos seus alunos


aprendizagens de qualidade, para que obtenham um elevado grau de
realizao escolar e de desenvolvimento pessoal.
No se ensina s para os exames, na medida em que se procura uma
formao integral, mas no se descura o papel dos exames no ensino e na
aprendizagem, no se descurando, igualmente, a sua importncia no futuro
dos alunos, nas condies de acesso ao ensino superior e profisso
desejada.

A temtica deste Seminrio Avaliao


Externa e Qualidade das Aprendizagens,
tendo por base a realidade EXAMES, remetenos, de imediato, para a questo: ser que a
avaliao externa cumpre a sua funo de
desenvolver, melhorar, motivar para as
aprendizagens? Que mais-valia trazem os
exames para a melhoria das aprendizagens?
A preocupao da ESQM tem sido organizar-se da melhor forma para
responder s necessidades dos nossos alunos. A ESQM uma escola de
presso; confronta-se com o dobro das candidaturas nos anos de entrada.
A populao escolar competitiva, maioritariamente virada para o
prosseguimento de estudos. As expectativas das famlias so altas. A
escola tem o dever de assegurar condies iguais para todos, pelo que
procura incutir nos seus alunos uma cultura de trabalho e rigor, para fazer
mais e melhor, e procura, igualmente, oferecer os recursos de apoio
necessrios aos que apresentem maiores dificuldades.
Na ESQM, conscientes da importncia dos exames para a certificao dos
jovens, para o mercado de trabalho e, sobretudo, para o prosseguimento de
estudos, temos procurado preparar os alunos para fazer face aos exames e
obterem bons resultados. Os Servios de Psicologia e Orientao utilizam,

171

igualmente, esses resultados como um dado importante no


aconselhamento e preparao do aluno para ingresso no ensino superior.
Naturalmente, h limitaes e virtualidades em todo este processo. Os
exames trazem limitaes ao nvel dos alunos, das prticas de ensino e da
orgnica da escola. So reguladores do processo de ensino e
aprendizagem; a ao do professor fica condicionada pelo exame, no tipo
de tarefas que prope aos alunos, nos contedos especficos a abordar, nas
metodologias de sala de aula. Os professores tm desenvolvido
competncias para prepararem os alunos para um bom desempenho nos
exames. Na ESQM, para alm de outras medidas tomadas, aderimos
tambm aos testes intermdios como uma boa estratgia de preparao
para os exames, do seu ponto de vista formativo e sumativo.
Mais uma vez, cabe escola encontrar o equilbrio entre esta realidade e a
necessidade de metodologias mais ativas e outras formas de avaliao
formativa; a necessidade de articular a avaliao interna com a avaliao
externa.
A introduo dos Rankings tem sido, igualmente, um elemento de
presso; podemos tambm refletir sobre o desempenho das escolas
pblicas face s privadas, sendo que os recursos e o pblico-alvo de umas
e de outras so substancialmente diferentes, no comparveis. Os exames
no permitem igualmente uma comparao ano a ano; o seu grau de
dificuldade varia, no esto devidamente calibrados e h muitos outros
fatores que influenciam os resultados.
Na nossa escola procurmos utilizar internamente esses dados e os
resultados disponibilizados e refletir sobre a posio relativa da escola e
das diferentes disciplinas nesses rankings. Os rankings, complementados
com os documentos elaborados na escola sobre os resultados da avaliao
interna e externa, so motivo de reflexo do Conselho Pedaggico,
aprofundada pelos departamentos, tomando por base, por um lado, os
indicadores gerais e as linhas de anlise estabelecidos e, por outro, os
resultados pormenorizados de cada uma das turmas. , assim, possvel
identificar tendncias, desvios e pontos crticos que cada um dos

172

departamentos e grupos considere relevantes e propor as medidas mais


ajustadas para a melhoria dos resultados e, consequentemente, mobilizar
os recursos para melhorar o desempenho da escola.

A ESQM desde sempre tomou como diretrizes


o exerccio regular da autoavaliao, com a
sistemtica identificao dos pontos fortes e
dos pontos fracos; a procura de indicadores
relevantes para anlise dos resultados;
apreciao e discusso dos resultados em
Conselho Pedaggico, Departamento, Grupo disciplinar. Preocupao em
devolver aos professores e profissionais da escola os resultados, pois so
eles os maiores agentes de mudana. A autoavaliao tem sido uma
prtica regular.
Em 2006 a Avaliao Externa, qual nos propusemos, trouxe-nos outro
incentivo para procurar mudanas concretas. Da resultou um dos
primeiros 22 Contratos de Autonomia do pas. Um olhar exterior sobre os
resultados, a presso exercida pelo Contrato de Autonomia obrigaram a
comunidade escolar interna a estar ainda mais atenta aos resultados dos
alunos e ao seu prprio desempenho. O Contrato de Autonomia centrou
a ateno nos resultados, mas tambm, naturalmente, nos processos a
desenvolver para os atingir. Levou-nos a estabelecer objetivos mais
concretos e quantificveis. Os professores, no mbito dos seus
departamentos, analisavam os resultados, procurando interpretar os
desvios e encetar estratgias ao nvel do seu grupo/disciplina, para
melhorar o desempenho dos alunos.
A apropriao dos resultados por parte dos intervenientes diretos
conduziu, necessariamente, a novas responsabilidades e consequentes
mudanas nas prticas pedaggicas e organizacionais da escola.
A escola integrou o Projeto ESCXEL em 2008, o que se revelou uma
excelente ferramenta de trabalho.

173

Elevar todos os alunos no seu desempenho, numa constante busca de melhores solues,
melhores processos

A ESQM integra o Projeto Escxel, desde


2008, em parceria com o CESNOVA e as
escolas de cinco concelhos envolvidos,
prosseguindo os mesmos objetivos de melhoria
da escola e do seu desempenho.
As diferentes vertentes do Projeto ESCXEL,
identificao, difuso e monitorizao das boas prticas escolares;
disponibilizao de instrumentos de anlise de diagnstico e de
interveno; elaborao de Relatrios de Escola e do Concelho pelo
CESNOVA; figura de Mediador para mobilizar, construir e difundir
estratgias, catalisador de processos de mudana, trouxe uma grande maisvalia escola. O projeto tem sido propiciador de oportunidades de
aprendizagem, momentos de reflexo e de trabalho cooperativo, com
diversas valncias e envolvimento dos elementos da comunidade
educativa. parte integrante do Projeto Educativo da escola, contribuindo
para alcanar as metas que nos propomos.
A escola j estava habituada a olhar para os seus resultados, a envolver os
professores na interpretao das tendncias e desvios e na procura de
novas estratgias para colmatar as dificuldades; os relatrios produzidos
pelo CESNOVA sobre os resultados dos exames na ESQM reforaram
essa anlise.
Como estratgia de trabalho criamos momentos de anlise e reflexo por
parte dos responsveis pela gesto da escola; sesses/debate envolvendo
todos os professores das diferentes disciplinas; recolha de elementos para
a interpretao dos dados; identificao de reas de fragilidade; sugestes
de melhoria; apresentao da anlise dos dados recolhidos.
A escola deu um salto qualitativo na anlise e interpretao dos
resultados. A introduo de outros indicadores e elementos de anlise e
de reflexo permitiu uma reflexo mais profunda, uma anlise
174

comparativa com anos anteriores, permitiu evidenciar factos disciplina a


disciplina, permitindo clarificar os objetivos e metas a alcanar. Deixamos
de ver os resultados, as mdias em abstrato; permitiu uma interpretao
mais detalhada dos fatores que influenciaram os resultados disciplina a
disciplina e em contexto; a comparao da nota interna e externa.
Evidenciou as margens de progresso muito mais claramente.

Esta anlise constante dos resultados e dos


desvios destes relativamente aos resultados
esperados e aos resultados pretendidos levanos a procurar implementar aes concretas e
mobilizar todos os recursos ao nosso alcance
para melhorar as nossas prticas.
Os resultados dos exames nacionais, quer no caso do secundrio, na
segunda metade dos anos 90, quer no caso do bsico j mais recentemente,
foram fracos, como j referido anteriormente, abaixo das expectativas. A
reflexo que a direo alargada fez relativamente s causas da situao
com que se viu defrontada em cada um desses dois momentos mobilizounos para aes concretas: a reorganizao dos departamentos e a aposta
no planeamento conjunto e parcerias; a continuidade pedaggica e a
consequente responsabilizao de cada um pelos resultados dos seus
alunos, pelo menos num ciclo de estudos; a distribuio de professores
pelo bsico e secundrio (a aposta da escola da mesma tipologia, 3. ciclo
e secundrio, tem trazido aspetos muito positivos); trabalho intenso no
PAM, Plano de Acompanhamento da Matemtica e adeso ao Projetopiloto dos Novos Programas da Matemtica do Ensino Bsico; aposta na
ao estratgica da Biblioteca e desenvolvimento da leitura, antes e aps o
Plano Nacional da Leitura; candidatura a projetos Comenius e outros
Em suma, como resultado desta avaliao constante dos resultados, a
gesto tem mobilizado os recursos necessrios, ou melhor, os recursos
possveis, para melhorar o desempenho da escola:
Novas dinmicas nos departamentos e grupos disciplinares;

175

Afetao de horas para aulas de reforo na(s) disciplina(s);


Critrios de distribuio de servio condicionados pelos exames;
Criao de condies para reforo do trabalho colaborativo;
Recursos educativos: oferta de SOS, Espaos de Apoio,
Coadjuvncia, interveno dos SPO;
Projeto Turma Alpha (FQ, Mat).

Face leitura dos resultados, a escola mobilizase para achar as melhores solues.
Como referido anteriormente, a ESQM tem
turmas maioritariamente de Cincias e
Tecnologias e, nas disciplinas de Fsica e
Qumica (11. ano e Matemtica (12. ano),
embora acima da mdia nacional, os resultados ficam aqum das nossas
expectativas. assim que no ano passado (em 12/13) encetamos um
projeto, o projeto Turma Alpha, que tem como objetivos especficos
diminuir as taxas de reprovao nessas duas disciplinas e melhorar as
mdias de escola em cada uma delas e, antes do mais, melhorar a
aprendizagem dos alunos nessas disciplinas.
A turma Alpha funciona numa base de flexibilidade e rotatividade, em
simultneo com as turmas de origem, sem sobrecarga de horrio para os
alunos. Destina-se a fornecer as bases necessrias para fazer face ao
exame aos alunos com dfices no seu percurso, aulas para alunos com
dificuldades de aprendizagem e um ensino mais personalizado e de apoio
direto. Os contedos programticos so os mesmos da turma original; no
tem alunos fixos; o professor da turma de origem que convida os alunos
a frequentar a turma, sendo que os alunos no podem estar muito tempo
afastados da turma de origem.
Temos tido bons resultados, mas falta ainda percorrer um longo caminho.
As constantes modificaes na legislao, nos despachos de lanamento
do ano letivo, os retrocessos dos processos de autonomia, a falta de

176

descentralizao, a normalizao excessiva, impedem muitas das solues


que gostaramos de implementar.

Escola, espao de autonomia para a inovao e criatividade

Os exames fazem parte da poltica educativa,


algo que foi colocado s escolas. Da Misso e
Viso da escola ressalta que, considerando
fundamentais os exames e os seus resultados,
particularmente por nos fornecer um termo de
comparao nacional para aquilo que pode ser
avaliado nos exames (quer ao nvel das classificaes, quer ao nvel das
dificuldades dos alunos), a escola no est determinada por estes. Na
ESQM no se ensina s para os exames, na medida em que se procura
uma formao integral, mas no se descura, de todo, o papel dos exames
no ensino e na aprendizagem e no se descura a sua importncia no futuro
dos alunos nas condies de acesso ao ensino superior e profisso
desejada. Mas se os exames no so o essencial, tm sido um ponto de
partida para algumas das mudanas com que temos procurado melhorar o
ensino e a aprendizagem na ESQM.
Os resultados dos exames tambm nos tm conduzido a uma reflexo
constante. A ESQM tem tido um trabalho de perseverana, de reflexo e
autoavaliao, de constante adaptao s mudanas e de implementar as
aes necessrias para melhorar o seu desempenho tambm neste campo
da avaliao externa. Assumimos as nossas responsabilidades. As escolas
apropriam-se dos resultados, fazem o seu trabalho. Os exames deviam ser
mais estveis; necessrio um maior investimento nos critrios de
correo e na calibragem dos exames. A tutela devia ouvir mais as
escolas.
Tentmos referir os pontos principais do que a escola conseguiu fazer, do
que lhe devido e daquilo em que foi ajudada pela administrao
educativa ou por parceiros o Escxel, por exemplo. Algumas coisas no
foram conseguidas, por limitaes prprias e de contexto a

177

administrao educativa e a legislao que produz, a falta de articulao


com outras escolas, outros setores da administrao.
A ESQM fez o seu percurso. Analisou os resultados. Mudou prticas.
Conseguiu dar um salto qualitativo; atingiu novos patamares, est entre as
melhores, mas sabe que tem ainda uma larga margem de progresso. Temos
maior ambio. A escola gostaria de ir mais longe, ter uma margem de
autonomia que lhe permita maior poder de deciso e de organizao
interna. difcil transpor este patamar. S possvel progredir com
inovao, correndo riscos, com novos projetos e novas dinmicas.
necessrio uma verdadeira autonomia para encetar esse caminho;
necessrio confiana nas escolas que j deram provas de desenvolver um
bom trabalho.
A tutela tem de confiar nas escolas e nos seus diretores; necessitamos de
uma administrao menos examinadora, menos normativa e mais
incentivadora de melhorias e mudanas, dinamizadora da diferenciao,
do dinamismo e do potencial das escolas.
As escolas e a tutela deviam ter presente que todos pretendemos a
melhoria do sistema educativo e dos seus impactos pessoais e sociais;
termos a capacidade de abertura de nos escutarmos mutuamente, sabendo
que rumamos todos na mesma direo; termos presente que o sucesso de
uns o sucesso de outros e de todos.
Esse pode ser um bom exame em que devemos passar, com garantidos
bons resultados.

178

O que vamos fazer com as concluses deste seminrio? um bom desafio


e eu no queria deixar de destacar duas ou trs ideias.
Em primeiro lugar, agradeo a todos os que participaram e, acima de tudo,
manifesto o meu regozijo em ver muitas escolas aqui. No quer dizer que
no haja mecanismos de representao dentro do Conselho Nacional de
Educao, mas h uma coisa que devemos perceber muito claramente:
que este Conselho mais do que trabalhar para o Ministrio tem de
trabalhar para a Educao e para as escolas em Portugal. nessa
perspetiva que consideramos que proporcionar espao para que estas
escolas possam traduzir a sua opinio atravs da reflexo que fazem sobre
as suas prprias experincias muito positivo.
Para abordar o primeiro aspeto que julgo ser importante, depois de termos
falado dos exames e das avaliaes externas, gostaria de regressar s
minhas tradies da Histria Econmica e fazer aqui um contrafactual: E
se no existissem exames, o que que aconteceria? Esta uma reflexo
que vale a pena fazer porque, para todos os efeitos, no vi aqui nenhuma
interveno que dissesse: O melhor acabar como os exames, deixem-nos
l estar como esto, vamos voltar ao sistema antigo. Ou seja, podemos
concluir pela existncia de um reconhecimento de que os exames tm um
papel importante e de que a chamada avaliao externa tem esse mesmo
papel importante. O problema que se pe o de saber quais so as
limitaes e quais so os desafios que o atual modelo de exames coloca s
escolas e s aprendizagens no sentido de podermos melhorar no s esse
mesmo modelo mas o desempenho das aprendizagens na prpria escola.
E, nesse sentido, julgo que ouvimos aqui alguns contributos que de certeza
no iremos esquecer. Ainda assim, colocou-se uma questo central para a
qualidade das aprendizagens: Ento e as avaliaes internas? Ou seja, os
muitos defeitos que podemos imputar s avaliaes externas no se
aplicaro s internas? Ser que as avaliaes internas no tm defeitos? O
grande problema que, durante muito tempo, as avaliaes internas

180

funcionavam como uma espcie de black box, ou seja, no sabamos o que


que se passava. Conhecamos as classificaes, mas como no havia
nenhuma comparao possvel entre o que a avaliao interna e um
referencial de avaliao externa um 17 um 17, um 12 um 12,
um 8 um 8. Com a introduo das chamadas provas de aferio, foi
possvel comear tambm a orientar um pouco as aprendizagens porque a
disperso de resultados na avaliao interna muitssimo maior do que a
disperso de resultados na avaliao externa. Isto interessante. Por outro
lado, se fizermos um grfico de disperso, detetamos que h escolas que
propositadamente inflacionam as suas classificaes. Especialmente no
12. ano, que isso que vai determinar se se entra ou no se entra no curso
de medicina ou noutro curso qualquer. E, nesse sentido, no me
interessam aqueles que esto na tendncia; interessam-me os chamados
outliers, aqueles que saem fora da tendncia, que esto l bem visveis.
Aqui a primeira sugesto que eu faria, eventualmente, ao Sr. Secretrio de
Estado a de pr a Inspeo de Educao a ver o que que se passa em
algumas destas escolas, porque o fundamental num sistema de avaliao
externa, num sistema de exames, a credibilidade. Se essa credibilidade
no assegurada atravs de um mecanismo de justia, e h mecanismos de
injustia no acesso ao Ensino Superior, que um bem superior, digamos
assim, a credibilidade vai-se rapidamente. Claro que existe sempre uma
margem de erro em avaliao, mas o problema o erro sistemtico e se
analisarmos, ao longo dos vrios anos, existem determinadas escolas que
erram sempre no mesmo sentido e sempre na mesma altura. Portanto, seria
interessante aprofundar esta questo, at para conferir essa credibilidade
que um sistema de exames exige, pois, a partir da altura em que as pessoas
no acreditarem que o sistema de exames um instrumento equilibrado e
justo, no obstante todas as limitaes que possam existir, os exames
deixam de ter um sentido, a descredibilizao total e deixa de haver
qualquer preocupao com estas avaliaes.
Mas tudo isso tem em grande parte a ver, tambm, com a avaliao
interna. Valia a pena ponderar, e se calhar no futuro vamos faz-lo, como
que se desenvolvem os diferentes modelos de avaliao interna e nas
diferentes disciplinas. E isso tem em grande parte a ver com a capacidade,
181

ou, pelo menos, com as competncias que os nossos professores tenham


no que diz respeito avaliao. que se parte do princpio de que todos
sabem avaliar e isso no verdade. Eu, sinceramente, nos meus primeiros
anos, quando era professor, cometi vrios erros e tentei melhorar porque ia
aprendendo com eles, mas ningum me ensinou, nem ningum me
chamou ateno para isso. Eu at teria agradecido que me tivessem
chamado a ateno para estes erros. Ora d a sensao que avaliar,
nomeadamente em termos de avaliao interna, um ato natural. No !
uma tcnica prpria, que exige determinado tipo de requisitos e
determinado tipo de abordagem, sobre os quais julgo que valeria a pena
pensarmos muito seriamente, porque creio que tambm necessrio fazer
alguma formao contnua sobre modelos e tcnicas de avaliao interna.
Podemos apresentar aqui um manancial estatstico de ponderao, de
aferio de itens, de tudo isso, mas depois as coisas esbarram naquilo que
a questo mais elementar, ou seja, porque que eu dou 12 e no dou 14?
Ou porque dou o 12 e no dou 8? Julgo que esse um ponto sobre o qual
vale a pena pensarmos.
Temos de olhar para os exames com algum cuidado e, acima de tudo, no
nos podemos esquecer que os exames so no final de cada ciclo e que
aquilo que nos interessa, em termos educacionais, saber quais so os
trajetos dos midos no que respeita sua progresso e forma como
trabalham. Se ns apenas considerarmos a questo da avaliao no final de
cada ciclo, fazemos anlise de chamado salto de barreiras. Ou seja, era
importante que pudssemos ter uma corrida de 110 metros e no uma de
110 metros com no sei quantas barreiras. E o grande problema coloca-se
muitas vezes no facto de essa avaliao no ter em conta os trajetos. E eu
no sou grande defensor, embora reconhea que h muita gente que j
trabalha sobre isso, do valor acrescentado, porque tambm entendo que o
processo educativo no anlogo ao processo produtivo de uma fbrica.
Enquanto com a economia ns conseguimos saber qual a combinatria
entre capital, terra e trabalho e, a partir da, atribumos preos e
calculamos um valor final, na educao no possvel fazer isso, porque
muitas das competncias adquiridas s se refletem, em termos de valor
acrescentado, muitos anos depois. No sei, portanto, como que se pode
182

fazer essa contabilidade e, sinceramente, penso que se deveria ter algum


cuidado porque muito interessante o conceito, mas a sua
operacionalizao levanta alguns problemas.
E agora recupero duas ou trs frases que tm a ver com a comparabilidade
dos exames. Na minha opinio, os exames no tm que ser comparveis,
mas era bom que fossem, ou seja, que fossem sujeitos a uma mesma
mtrica, um mesmo modelo. Por exemplo, tenho algumas dvidas se no
houve progresso nas aprendizagens e nos resultados como j hoje foi aqui
afirmado. Embora seja sensvel ao argumento que foi utilizado, continuo a
achar que se andamos a fazer exames, e temos registos de exames,
praticamente, h 14, 15 anos, e entretanto os testes internacionais revelam
que ns progredimos nas aprendizagens ento como que progredimos
tendo por base os testes internacionais e no progredimos nos testes
nacionais? So coisas diferentes, eu reconheo, mas no possvel
compatibilizar isto? Ou seja, no pode haver aqui um paradoxo? Porque
que ns progredimos nos testes internacionais, com pequenas variaes, e
depois no o fazemos nos testes nacionais? Das duas uma, ou so os testes
nacionais que no esto bem-feitos ou ento, eventualmente, os testes
nacionais obedecem a uma outra lgica que no responde a este problema
da comparabilidade. De qualquer maneira, julgo que este tema um tema
sobre o qual valeria a pena refletirmos um pouco, e em conjunto, at
mesmo para tentar apreender um pouco daquilo que a experincia do
IAVE porque, obviamente, quem est de fora pensa que sabe tudo, mas
no sabe. Eu gosto sempre de ouvir quem est por dentro destas mquinas
e destas instituies.
Nessa perspetiva, temos sempre o velho problema: para que que servem
os exames? Servem para avaliar aprendizagens ou programas? Porque as
aprendizagens no so necessariamente aquilo que os programas
apresentam e, portanto, temos aqui um tringulo entre avaliao externa,
aprendizagens e programas, reas que nem sempre coincidem. Agora,
temos de dizer claramente o que que queremos. No podemos ter a
pretenso de que o exame tenha que ir a tudo, no h hiptese. Qualquer
avaliao externa sempre uma avaliao limitada e, sendo limitada,

183

deve-se ter o maior cuidado com os resultados que decorrem dela. Mas
tambm necessrio dizer que, sendo uma avaliao limitada, o problema
saber o que que podemos tirar dela. No dizer que limitada e
mand-la embora. Est bem, limitada mas o que que nos ensina? E este
um dos pontos importantes desta temtica.
Relativamente aos rankings, estes so como as anedotas picantes. Uma
boa anedota picante no diz asneiras. Porqu? Porque a maldade no est
em quem faz o ranking, est em quem o v. A anedota tambm a mesma
coisa, a maldade nunca est em quem conta a anedota, mas est em quem
a ouve. E portanto, o problema no est na forma como se elaboram os
rankings, porque a mais simples, a mais simplificada, a mais linear que
possvel, e, por isso, vale o que vale. Porm, h uma coisa que julgo ser
importante: que, e alis o Presidente do Jri Nacional de Exames teve
oportunidade de o salientar, s o facto de se ter publicado esses resultados
alterou tudo. Para j, um direito do cidado: acesso informao
produzida pela administrao pblica. Em segundo lugar, quer queiramos
quer no, essa publicao funcionou como um elemento de presso sobre
as culturas escolares e que foi aquilo que, de certa forma, a Diretora da
Escola Secundria Quinta do Marqus disse hoje aqui. Ou seja, houve uma
alterao das culturas escolares no sentido de dizer: No basta termos
boas intenes, necessrio que as boas intenes produzam bons
resultados. Porque, durante muito tempo, andmos a ouvir que tnhamos
os melhores professores, tnhamos os melhores alunos, tnhamos tudo
isso ramos os melhores. O problema foi quando publicaram os
resultados internacionais. Foi um choque a publicao daqueles resultados
do TIMSS no sei se se lembram, em 95/96 foi um choque enorme.
Afinal no somos to inteligentes como ns pensvamos. Os alunos afinal
no sabem tanto quanto ns julgvamos que eles sabiam. E a partir da
que, na verdade, esta preocupao, de que no chega ter boas intenes,
pois temos de ter bons resultados, vai obrigar as escolas a alterar a sua
cultura, a forma como funcionam, o que no quer necessariamente dizer
que tudo est focado no resultado no, no pode ser mas acima de
tudo que temos que encontrar esse equilbrio entre desenvolver boas
aprendizagens e produzir bons resultados.
184

Penso que esta sntese reflete, de certa forma, entre muito mais que ficou
registado e em que ns iremos trabalhar, algumas das minhas
preocupaes e creio que algumas delas podem ser facilmente partilhveis
convosco. Nessa perspetiva, quero agradecer a vossa colaborao,
prometo fazer do Conselho Nacional de Educao essa casa comum da
Educao a que me referi no incio deste seminrio e fazer com que as
escolas, os professores e os dirigentes possam encontrar aqui, neste
Conselho, um ponto de reflexo conjunta e de partilha de experincias,
que eu julgo que o mais importante. E a partir da que ns podemos
encontrar solues que no sejam solues de guerra, mas que acima de
tudo sejam solues de paz e de futuro.
E nessa perspetiva que tambm ando a pensar que, eventualmente,
precisemos sair desta casa. Ou seja, temos de fazer alguns seminrios do
CNE no Porto, na Covilh, em vora, em Faro, porque o CNE no pode
estar confinado a estas paredes, embora muito agradveis, mas tem que
sair l para fora, para poder tambm ouvir aqueles que provavelmente nem
sempre tm hiptese de se poder deslocar e participar de forma ativa,
como aqueles que aqui esto hoje fizeram.
Muito obrigado pela vossa presena, passo a palavra ao Sr. Secretrio de
Estado para encerrar os trabalhos.

185

Senhor Presidente do Conselho Nacional de Educao


Senhor Presidente do Instituto de Avaliao Educativa
Senhor Presidente do Jri Nacional de Exames
Senhoras e senhores Conselheiros
Comeo por cumprimentar o Professor David Justino e aqui manifestar
desde j o meu agrado pela sua designao para presidir ao Conselho
Nacional da Educao e tambm pela forma como tem assumido as suas
funes, procurando que esta casa de facto seja uma casa da educao, que
oua todos os intervenientes no processo educativo e que contribuem para
a melhoria do sistema educativo.
Cumprimentar tambm as senhoras e os senhores conselheiros, os
senhores representantes das vrias instituies e associaes, aqui
presentes, o Sr. Presidente do IAVE, o Sr. Presidente do JNE, e dar nota
de que a questo, o tema que foi escolhido para reflexo, para debate
Avaliao Externa e Qualidade das Aprendizagens um tema que
percorre todo o sistema educativo e que preocupa naturalmente os
Governos.
Todos os Governos tm uma perspetiva prpria em relao avaliao, s
avaliaes interna e externa e, nesse sentido, desenvolvem polticas que
pensam serem as mais adequadas para que esse instrumento sirva para
melhorar a qualidade das prprias polticas e, acima de tudo, sirva para
melhorar os resultados escolares dos alunos.
Ora, ns sabemos do desenvolvimento a que estamos a assistir, em termos
sociais e tecnolgicos, e temos bem presente a presso que feita ou est
assumida sobre todos os sistemas educativos.
1

Secretrio de Estado do Ensino Bsico e Secundrio.

186

Daqui decorre que aos sistemas educativos se exija que respondam de


forma inovadora, adequada e eficaz s diferentes necessidades de cada
momento e em funo de cada contexto, com vista a assegurar uma
educao de qualidade para todos. O mesmo dizer: proporcionar as
condies necessrias aquisio e desenvolvimento de conhecimentos,
capacidades e atitudes que permitam aos alunos tornarem-se cidados de
sucesso.
Esse o propsito de qualquer Governo e, naturalmente, o propsito e
objetivo deste Governo.
Sabemos tambm que, no quadro da OCDE, Portugal um dos pases que
num curto espao de tempo mais recuperou nos indicadores da educao.
No entanto, sabemos ainda que nos encontramos aqum das metas que
pretendemos e devemos atingir. E medida que vamos progredindo,
maiores so os desafios e maior a dificuldade. E assim, tambm, porque
a escola se depara com uma presso acrescida decorrente da
heterogeneidade de pblicos, de atores, de projetos e de expectativas.
Uma vez que est garantido e generalizado o acesso educao, o desafio
hoje est em acolher todos, educando e integrando socialmente cada
aluno, desenvolver processos que permitam monitorizar e consolidar as
aprendizagens dos alunos ao longo de todo o seu percurso escolar, com
particular enfoque no 1. ciclo enquanto alicerce fundamental de
aprendizagem que permitir enfrentar os ciclos subsequentes de uma
forma mais slida e com sucesso.
E neste contexto a avaliao surge como um processo indissocivel do
ensino e da aprendizagem, assumindo um papel relevante na melhoria da
sua qualidade bem como da prpria organizao escola.
No vou entrar na polmica dos rankings, porquanto sabido que no
propsito deste Governo a sua especial valorizao. Continuamos a
disponibilizar os resultados acrescentando-lhes alguns elementos de
contexto para que possam traduzir o mais fielmente aquilo que a
evoluo desses prprios resultados. No entanto, relativamente avaliao
e sua necessidade, a investigao vai-nos dando conta de que
187

governantes, gestores escolares, pais e alunos, todos esto interessados na


avaliao e a vo utilizando, mais ou menos sistematicamente, de diversas
formas, sendo certo que os Governos precisam de avaliar para estabelecer
padres de excelncia, para monitorizar a qualidade da educao, para
definir ou reformular polticas.
Como tambm referia o Professor Domingos Fernandes, As escolas e os
respetivos rgos de gesto utilizam a avaliao para identificar pontos
fortes e pontos fracos dos seus projetos educativos, para planificar ou
melhorar projetos e programas em curso ou para investir e intervir na
gesto dos recursos humanos e materiais. Por sua vez, os professores e os
diretores responsveis pela vida das escolas utilizam a avaliao para
monitorizar o progresso dos alunos, para avaliar o currculo e proceder
ao seu ajustamento, para introduzir melhorias no processo de ensino,
para identificar reas problemticas, para a diversificao de estratgias
que contribuam para que todos os alunos possam aprender mais e melhor,
e, sobretudo que saibam dar sentido sua aprendizagem. Por fim, os pais
e os alunos utilizam, e podem utilizar alis, a avalizao para ajuizar
acerca do trabalho realizado pelas escolas, conhecer e analisar as
dificuldades evidenciadas, tomar decises relativas ao prosseguimento de
estudos, regular o processo de aprendizagem e tambm para a deciso
sobre a escolha de escola.
A avaliao deve, pois, ser um instrumento que ajude a melhorar o ensino
e a aprendizagem, a corrigir procedimentos, a integrar diferentes
contextos, a regular e definir critrios transparentes que ajudem os alunos
a organizar o seu estudo, motivando-os para a aprendizagem, a identificar
dificuldades, permitindo que se possa intervir em diversos domnios.
Assim, as preocupaes de monitorizao constante devem resultar no
desenvolvimento de esforos eficazes que contribuam para a melhoria dos
resultados escolares.
Ao nosso nvel, os relatrios produzidos pelas estruturas do MEC,
designadamente a IGEC, o IAVE e o JNE, que tiveram aqui a
oportunidade de j ter ouvido, no quadro da avaliao externa das escolas,

188

tm-nos dado o feedback relativamente ao modo como a avaliao externa


dos alunos tem levado as escolas a repensar as suas prticas, a definir
metas de aprendizagem com vista melhoria dos seus resultados
escolares, elaborando planos de melhoria envolvendo todos os
intervenientes no processo educativo e formativo.
E, nesse sentido, propsito do MEC contribuir para aumentar a eficcia
do sistema de ensino portugus, atravs do desenvolvimento de
mecanismos de garantia da qualidade e de novos padres educacionais.
Pretende-se dessa forma promover um sistema de educao equitativo e
inclusivo que conduza a nveis de desempenho mais elevados por parte de
todos os alunos, reduzindo as disparidades nos resultados escolares.
Considera-se, nesse captulo, fulcral o papel desempenhado pelas escolas
na otimizao dos processos educativos, adequando-os aos seus contextos
especficos e s caractersticas particulares dos seus discentes, definindo,
aplicando e avaliando estratgias educativas diversificadas de acordo com
os recursos disponveis com vista promoo do sucesso escolar dos
alunos.
Perante este quadro, que corresponde a um patamar de maior exigncia
relativamente educao que temos e educao que desejamos e que
precisamos, levanta-se a questo de tentar perceber a evoluo dos
resultados de que temos vindo a tomar conhecimento. Nesse sentido, as
vrias estruturas do MEC tm vindo a enfatizar a necessidade de proceder
avaliao, reflexo sobre esses mesmos resultados, no sentido de poder
desenvolver estratgias de interveno junto das escolas.
Ns sabemos que as escolas refletem sobre os resultados, mas o certo
que h regies, h agrupamentos em concreto, em que sistematicamente
no se vislumbram melhorias nos resultados escolares.
E aqui questiona-se o que pode e deve fazer a administrao educativa.
Numa perspetiva estrita de respeito pela autonomia das escolas,
poderamos dizer que cabe s escolas mobilizar os recursos e adotar as
estratgias mais adequadas, cabendo ao Estado ao Governo, ao
Ministrio da Educao , confinar-se verificao desses resultados.

189

Parece-nos que este no deve ser o caminho. Por isso temos estado a
trabalhar, juntamente com o IAVE e com o Jri Nacional de Exames,
exatamente no sentido de no prximo ano desencadearmos junto de um
grupo restrito de escolas e de agrupamentos, que vo evidenciando
resultados menos positivos, estratgias para ajudar a melhorar a sua
capacidade de resposta. E isto significar envolver a administrao
educativa nos processos de melhoria, respeitando, naturalmente, a prpria
autonomia das escolas e no interferindo com aquilo que so diagnsticos
entretanto j realizados.
H, por certo, muitas outras questes que podem ser suscitadas em torno
da avaliao. Alis, o Sr. Presidente levantou aqui um conjunto de
problemas, de questes, uma ou outra recomendao para o futuro
prximo, mais ainda quando nos estamos a aproximar do perodo de
provas e exames, designadamente uma divergncia, um distanciamento
entre resultados internos e resultados da avaliao externa. Porm, o que
ns temos como propsito essencial adotar, ao fim e ao cabo, aquilo que
disse que seria necessrio fazer: aproximar-nos do trabalho desenvolvido
pelas escolas, contribuir para o reforo da sua capacitao para a melhoria
dos resultados dos alunos e, neste plano, reforar tambm a autonomia das
escolas.
Alis, muito recentemente alargamos a autonomia das escolas ao nvel
curricular. No plano curricular, 25% da carga curricular ou da carga
horria pode ser decidida pelas escolas, que tm aqui uma margem muito
grande de manobra. Mas isso tem necessariamente consequncia,
devendo-se ter em conta aquilo que se pretende que sejam os resultados
que se venham a verificar depois com esse reforo de autonomia.
Vou concluir referindo que da parte do Ministrio da Educao e Cincia
h o propsito imediato de juntar, ao nvel regional, tudo aquilo que so as
boas experincias, as boas prticas das escolas que tm vindo a obter bons
resultados, numa perspetiva colaborativa com as estruturas da
administrao educativa, no sentido da melhoria consistente dos resultados
dos nossos alunos.

190

A todos agradeo esta disponibilidade para me escutar e ao Senhor


Presidente do Conselho Nacional de Educao agradeo o convite que foi
formulado.

191

Conselho Nacional de Educao


Rua Florbela Espanca
1700-195 Lisboa
Portugal
Tel.: (+351) 217 935 245
cnedu@cnedu.pt
www.cnedu.pt