AVALIAO E QUALIDADE DA EDUCAO

Bernardete A.Gatti FCC

gatti@fcc.org.br
Apoio da FAPESP

Resumo: As polticas de avaliao do sistema educacional no Brasil tm se centrado no
rendimento escolar, de tal forma que a representao sobre qualidade da educao tem sido
reducionista, traduzindo-se em desempenhos nas provas aplicadas pelos diferentes modelos
praticados. Alm de discutir o sentido dessas provas, tem-se que considerar que a prtica desses
processos inclui a premissa de que haja em seu planejamento e implementao uma concepo,
uma expectativa de valor, em relao ao trabalho a ser desenvolvido. Que contribuies trar,
para qu, para quem? Ser um processo alavancador para professores, alunos, gestores, ou ser
um processo para comparaes humilhantes ou descabidas?
Palavras-chave: polticas de avaliao; avaliao de rendimento; avaliao e qualidade
educacional.


INTRODUO

Comeo colocando que precisamos refletir mais sobre uma questo que se pe
em nosso cenrio de avaliaes dos sistemas de ensino, ou similares (Saeb, Enem, Prova
Brasil, Enade, e tantas outras em estados e municpios), tanto por razes de ordem
educacional, como pelo dispndio de dinheiro pblico com elas. A questo a analisar
: se avaliaes externas por si melhorassem a qualidade da educao, seramos o
pas com melhor desempenho dos alunos no mundo. No nos faltam avaliaes, que
se repetem e se superpem, e no nos faltam dados sobre escolas, diretores, professores,
alunos. J dispnhamos de avaliaes desse tipo em meados dos anos 1970, estudos do
ECIEL (Programa de Estudos Conjuntos de Integrao Econmica Latino-Americana)
de grande porte avaliando determinantes dos nveis de escolaridade e do rendimento
escolar obtidos por alunos com diferentes caractersticas pessoais e scio-econmicas.
Desde 1988 o Ministrio da Educao realiza mais sistematicamente avaliaes em
sistemas de ensino; o Saeb est fazendo dezessete anos; estados e municpios
desenvolveram seus modelos avaliativos de rendimento escolar, e, no faltam
divulgaes sobre os resultados, especialmente em forma de reportagens nos grandes
peridicos. Anlises estatsticas sofisticadas tm sido feitas, h j muitos anos,
chamando a ateno para fatores intervenientes no desempenho escolar. Em tese, estes
dados deveriam subsidiar polticas de melhoria da educao escolar e ajudar a balizar as
atividades de ensino nas escolas. Porm, pelos dados sucessivamente obtidos, o
desempenho escolar dos alunos continua abaixo do que se poderia esperar, em alguns
casos piorou. Isso nos leva a pensar que preciso considerar essa situao com mais
seriedade. Podemos, por exemplo, verificar que as polticas, em nvel nacional, estadual
ou municipal, no levaram suficientemente em conta os diferentes dados avaliativos,
utilizando-os apenas como provocao que morreu na praia. Ou, no caso de se ter
levado em conta esses dados, em parte, com a descontinuidade existente em todos os
nveis nas polticas educacionais, em funo de mudanas eleitorais, as iniciativas
anteriores so esvaziadas; e, isto, precisa ser encarado com mais seriedade pela
sociedade civil, com cobrana forte aos dirigentes que se sucedem e suspendem, a torto
e a direito, sem muita base objetiva, boas iniciativas, s porque so do governo anterior,
criando muitas vezes situaes caticas nas redes e nas escolas pblicas - estas
suspenses de iniciativas e alteraes sucessivas, ao sabor de modismos ou
convenincias, atingem basicamente as escolas pblicas, que atendem a grande maioria
da populao, que atendem s populaes menos providas de recursos, alimentando
uma desigualdade social flagrante. No podemos deixar de considerar tambm que nas
escolas ocorre o mesmo: mudanas sucessivas de direo sem continuidade de gesto,
mudanas sucessivas de professores, ou seja, no fixao de equipes escolares com ao
pedaggica continuada, avaliada e podendo ser aperfeioada. Isso dificulta o
desenvolvimento de um processo de ensinar mais integrado e seqencial, e dificulta a
identificao de diretores e professores com o resultado da escola.
Na linha de nossa argumentao, mesmo considerando que algumas aes
polticas foram guiadas por resultados dessas avaliaes, alguma coisa se passa no
interior das redes e das escolas que merece uma ateno especial. Creio que esses trs
aspectos desconsiderao pelas avaliaes, descontinuidade de polticas, e, problemas
intrnsecos s atividades de ensino nas escolas - se mostram bem claramente na cena
educacional do pas (basta ver as pesquisas), se cruzam, e a est: resultados
educacionais abaixo da crtica, nossa populao desprovida de instrumentos bsicos do
conhecimento para construir uma vida melhor. Mas, tambm h um fator relativo
divulgao e disseminao dos resultados das avaliaes realizadas: a divulgao via
imprensa estrepitosa. Limita-se a comparaes duvidosas, e dura um dia cai no
esquecimento, a disseminao nas redes no planejada e enfatizada, e, a forma com
que se apresentam os resultados, de um lado no so de leitura fcil, e de outro, no
contribui com elementos claros quanto aos aspectos de seqncia didtica e aspectos
scio-psico-pedaggicos relativos aos processos de ensino de crianas e jovens.
Quando se analisam aspectos ligados educao bsica estamos tratando de
aproximadamente 60 milhes de crianas e jovens que se acham matriculados em algum
nvel dessa educao, a grande maioria em escolas estaduais ou municipais. Num pas
de sistema federativo de governo, com trs instncias de decises autnomas unio,
estados, municpios -, heterogneo ao extremo em condies sociais e culturais como o
Brasil, este nmero pode nos dar uma idia do volume de diferenciais a considerar
quando se pensa analisar a qualidade desse ensino. Levando em conta que na dcada de
noventa tivemos enormes avanos na incorporao de crianas e jovens no sistema
escolar, ainda so preocupantes os patamares de qualidade a galgar. Mas, de qu
estamos falando quando nos referimos qualidade educacional?
As avaliaes do sistema educacional no Brasil, em sua divulgao mais ampla,
tm se centrado no rendimento escolar, de tal forma que a representao sobre qualidade
da educao na nossa sociedade tem sido reducionista, traduzindo-se em desempenhos
nas provas aplicadas pelos diferentes modelos praticados. No entanto, cabe perguntar:
qualidade educacional se traduz apenas por esses resultados? Evidentemente que no. A
qualidade da educao passa por questes como a existncia de uma filosofia
educacional e, pela conscincia do papel social da educao no s seu papel
instrumental, de utilidade, por exemplo, para o trabalho, mas seu papel para a
civilizao humana, para a constituio de valores de vida e convivncia, seu papel no
desenvolvimento de sensibilidades ao outro, ao meio ambiente, s expresses humanas
de cultura. Portanto, passa por elementos formativos que transcendem, embora no
dispensem de modo algum, a aquisio de conhecimentos apenas. Tambm nessa idia
de qualidade incorporam-se a equitatividade nas oportunidades formativas para todos os
cidados, a qual pelos dados, nossas polticas e os sistemas educacionais at aqui no
ofereceram. Basta lembrar que: ainda temos uma taxa de analfabetismo das pessoas de
15 anos ou mais, em torno de 11%, a segunda maior do continente; mais, essa taxa varia
entre 6% nos reas urbanas das Regies Sudeste e Sul e 38% no Nordeste rural; que
tambm, a educao infantil e o ensino mdio esto bem longe de atender a demanda
existente; o fluxo escolar de quem entrou na escola melhorou mas, as reprovaes no
sistema determinam distores ainda grandes na relao idade/srie. Por exemplo, por
dados do INEP/MEC, h um pouco mais de quinhentos mil alunos freqentando sries
do ensino fundamental e que tm idades correspondentes s sries do ensino mdio. Isso
fruto de reprovaes em sua maior parte, e, em menor proporo, fruto de abandono e
volta ao ensino posteriormente.
A noo de grandeza relativa s questes de escolarizao fundamental,
sobretudo para discusses de polticas de acesso e permanncia na escola, bem como
para equacionar melhor as necessidades para a qualificao do atendimento interno
escola. A questo das condies de permanncia dos alunos nos sistemas de ensino
mereceria uma ateno especial, pois o percurso das crianas e jovens nos vrios anos
de escolarizao indicador de qualidade. Estas taxas demandam, pois, iniciativas bem
delineadas e dirigidas para que os sistemas e suas escolas tenham condies de superar
tanto as taxas de reprovao, claro que por um ensino melhor e no por promoo
automtica, como o abandono e as de no seqncia do nvel fundamental para o mdio.
Os dados disponveis sinalizam que, se avanamos na incorporao de mais
crianas e jovens no sistema educacional, temos ainda muito que avanar em relao
incorporao de crianas na educao infantil e no ensino mdio, temos que buscar
melhor adequao do percurso desses alunos nas sries escolares, e, cuidar mais do
ensino a eles oferecidos no dia a dia da escola. Reprovaes e abandonos tm a ver com
a qualidade educacional, com a capacidade das escolas proverem com eficcia
conhecimentos aos alunos e motivao para os estudos. Para esta qualidade se mostrar
melhor atendida, algumas polticas e aes pblicas precisam ser revistas, e iniciativas
concretas em relao ao desenvolvimento do currculo em sala de aula se mostram
necessrias.
Esta posio no desqualifica a considerao do desempenho assinalado nas
avaliaes, sobretudo as nacionais. Pois todos os fatores levantados aqui esto
interligados. O desempenho um fator a considerar, porm necessrio complementar
a viso de qualidade de sistemas educacionais com outro conjunto de fatores que
ampliam a perspectiva sobre a dinmica destes sistemas, trazendo contribuio
possivelmente mais efetiva para cada escola. As avaliaes executadas tm trazido
dados para tanto, porm eles no tm sido suficientemente divulgados e discutidos, em
integrao com os resultados das provas, mantendo-se a viso de qualidade apenas
associada ao rendimento escolar estrito.

AS AVALIAES COMO ESTO SENDO REALIZADAS E DIVULGADAS
PODERIAM CONTRIBUIR PARA A MELHORIA DE CADA ESCOLA?

Para responder a essa questo precisamos discutir o sentido das provas, os
fundamentos e matrizes curriculares em que se apiam, o tipo de itens e seus contedos,
as formas como os resultados so expressos e as formas de disseminao de seus
resultados nos sistemas educacionais. Tem-se que considerar que a prtica desses
processos deveria incluir a premissa de que em seu planejamento e implementao
houvesse uma concepo, uma expectativa de valor, em relao ao trabalho a ser
desenvolvido, e no apenas a busca de resultados pontuais, flagrantes estticos de uma
medida pr-definida em referentes pouco claros, numa prova para a qual os alunos no
tm como fazer um preparo, por reviso, por exemplo, como o caso para outras
situaes em que provas so utilizadas. Pergunta-se: Que contribuies trazem de fato,
por qu, para qu e para quem? um processo alavancador para escolas, professores,
alunos, gestores, ou ser um processo para comparaes humilhantes ou descabidas?
um processo que alimenta a cooperao e busca de solues coletivas ou, serve apenas
para alimentar competio e concorrncia exacerbadas?

VAMOS TRATAR APENAS DE ALGUMAS DESSAS QUESTES

Fazemos uma avaliao pontual de conhecimentos adquiridos, segundo um dado
padro, e em relao a contedos pr-selecionados. Quanto a estes contedos,
evidenciamos um certo problema: como no temos referenciais nacionais bem definidos
quanto aos contedos escolares, segundo perodos de ensino definidos, no sabemos
com clareza quais contedos as escolas e professores esto trabalhando com seus alunos
nos diferentes anos, em qual seqncia, que aspectos so deixados de lado, etc., o que
dificulta a definio clara de parmetros avaliativos. Estes tm sido definidos por
aproximao, por especialistas, e condensados em matrizes cuja validade concreta no
est bem estabelecida. Embora se coloque que estas matrizes tm suas bases nos
Parmetros Curriculares Nacionais elaborados nos ltimos anos da dcada de mil
novecentos e noventa, estes no eram e no so obrigatrios, e nem so do
conhecimento da maioria dos professores, como apontam vrios estudos. Nem so
considerados em polticas estaduais e municipais. Ento, vale perguntar: at aqui, o que
estamos avaliando de fato? Claro, estamos avaliando aquilo que os testes medem, mas
no estamos avaliando o currculo escolar. As matrizes no so do conhecimento das
escolas, nem os itens das provas. Elas poderiam orientar o ensino, de um lado, mas, de
outro poderiam determinar um treinamento apenas nos aspectos que ela contm visando
no uma educao integrada mas, apenas, a obteno de bons resultados nas provas.
Esta questo dos currculos escolares um desafio. Sem referentes, os professores
adotam a seqncia deste ou daquele livro, ou escolhem em suas aulas livremente por
onde e at onde ir, e onde no ir. Isto implica uma seletividade um tanto aleatria, ao
sabor de circunstncias e, gera desigualdades enormes em contedos abordados, ou no,
de escola para escola. A maioria das boas escolas particulares usa os programas dos
grandes vestibulares e suas provas como referncia. Faz-se at um tipo de treino dos
alunos, pois o objetivo no parece ser bem o de educar integralmente, mas o de fazer o
aluno passar no vestibular. Vale perguntar se esses programas podem ser tomados como
currculo, se isso adequado, vez que os grandes vestibulares visam seleo apenas?
Precisamos diferenciar aqui os processos avaliativos educativos e os processos
seletivos, estes com referentes diferentes, pois atendem necessidade de cortes
pontuais com fins prticos (ocupar uma vaga na universidade, ocupar um cargo no
sistema de governo, etc.). Assim, a questo sobre a seleo de conhecimentos a serem
garantidos s novas geraes em toda e qualquer escola est a merecer uma discusso
nacional. Ao se conseguir ter um certo consenso orientador nessa matria, a sim, as
avaliaes teriam um suporte mais seguro e mais vlido.
De qualquer modo, considerar este problema no tira o mrito das intenes dos
implementadores dessas avaliaes. Na verdade, esses processos avaliativos acabam por
apontar fortemente para a necessidade de uma ampla discusso sobre o currculo escolar
na educao bsica, na busca de melhor orientao de gestores, escolas e professores
sobre os contedos principais esperados que a escola trabalhe com os alunos Aponta,
tambm, para a necessidade de aperfeioamento do processo avaliativo. Isto porque
consideramos importante esse tipo de avaliao para definio, redefinio de polticas,
propostas, atuao dos gestores em diferentes nveis, atuao das escolas e dos
professores, bem como para informao dos pais e da comunidade e suas possveis
atuaes. A questo bsica est na idia de que a funo primordial da escola, na
expresso de Soares (2007, p.136), educar atravs da instruo. Ou seja, sua funo
mais especfica ensinar, na crena da grande importncia do ato de ensinar, como ao
fundamental para a continuidade do processo civilizatrio humano, como fundamental
para a formao humana, para a constituio da histria humana em caminhos para o
viver melhor, o viver em melhores condies.

ENTO, O QU CONSIDERAR?

Na literatura especializada tem-se enfatizado dois pontos como importantes a
serem considerados nos processos avaliativos:
1. Toda avaliao educacional tem de partir de algum ponto de referncia, que
deve estar claro aos avaliadores e claro para a comunidade interessada. Aqui j temos
um problema relativo aos processos avaliativos implementados entre ns, como
mostramos acima. O referencial adotado orienta o modelo e procedimentos de coleta de
dados e informaes, e as interpretaes. Portanto, a avaliao toma sentido dentro de
uma filosofia educacional, em funo de polticas educacionais e do contexto em que se
realiza, e ela se funda no esclarecimento prvio queles que sero avaliados, sobre os
pontos a serem considerados. O processo tem que ser transparente.
2. Toda avaliao educacional tem por objetivo trazer elementos para novas
aes/intervenes, mudanas de rumo, busca de alternativas, tomadas de decises, ou,
para reafirmar caminhos tomados, quem sabe acrescentando algo. Ou seja, quando um
processo de avaliao no tem nenhuma conseqncia ele perde todo o sentido, perde
em credibilidade, perdendo-se oportunidades de mudar situaes, melhorar condies,
etc. As avaliaes no tm sido tomadas como suporte para polticas coerentes nos trs
nveis da gesto escolar. Tambm avaliaes educacionais no podem ser
condenatrias, classificatrias, se seu escopo verdadeiramente educacional,
verdadeiramente educativo. Numa perspectiva democrtica, a avaliao dirigida a
qualquer segmento ou modalidade de ensino, quando intencional e sistemtica,
pressupe colocar em evidncia as premissas educativas, os valores e contextos de
referncia em relao aos quais se avalia. Constitui-se, assim, como um processo de
investigao de uma realidade educativa, em que aspectos qualitativos se entrecruzam
com os quantitativos, numa dada perspectiva sobre qualidade scio-educacional. Essa
questo de qualificar de que tipo de qualidade est-se falando um dos problemas no
enfrentados nos modelos que temos adotado entre ns. Isto leva a comparaes
inadequadas e a classificaes bem problemticas.

COMO OS DADOS PODEM CHEGAR S ESCOLAS E SEUS ATORES?

No da maneira como vm sendo colocados. As escalas utilizadas no so de
compreenso imediata e os pontos destacados (125; 250; 350, etc) e suas tradues no
contribuem para as escolas em seu planejamento pedaggico e de aulas, pois, mostram-
se vagos, trazidos de modo to amplo que tm baixa significao para o
desenvolvimento dos trabalhos especficos em sala de aula. As escalas divulgadas no
tm o referencial pedaggico que ajude a dar sentido aos nmeros e vaga traduo dos
patamares atingidos. Qual o sentido concreto que essas escalas tm em termos dos
contedos escolares? Exemplificamos aqui com a divulgao dos resultados em Lngua
Portuguesa na Prova Brasil, 2005. Os resultados so apresentados em escala assinalando
a partir de 125, seguindo a 375. No nvel 125 descreve-se:A partir de textos curtos,
como contos infantis, histrias em quadrinhos e convites, os alunos de 4 e da 8 srie: -
localizam informaes explcitas que completam literalmente o enunciado da questo; -
inferem informaes implcitas; reconhecem elementos como o personagem principal; -
interpretam o texto com auxlio de elementos no-verbais; - identificam a finalidade do
texto; e estabelecem relao de causa e conseqncia em textos verbais e no-verbais.
Em qu estas consideraes ajudam o professor no desenvolvimento dia a dia de seu
processo de alfabetizao das crianas. Quais insumos psico-pedaggicos esto
envolvidos a? Quais textos foram usados e que dificuldades lingsticas apresentam?
Fica ainda a pergunta: todas as crianas apresentam esses comportamentos? Que erros
cometem? Como? Por qu? Os demais nveis tambm seguem esta descrio vaga.
Vejamos matemtica. No nvel 125 em matemtica, assinala-se: Neste nvel, os alunos
de 4 ou 8 srie resolvem problemas de clculo de rea com base na contagem das
unidades de uma malha quadriculada. Bom, e o que significa isto em relao ao
suposto currculo para essas sries e para o replanejamento didtico dos professores?
Outro aspecto a considerar que os resultados no so disseminados de modo
conseqente no interior das escolas, nem traduzidos de forma a ter um sentido claro
para gestores e docentes. Esse um dos problemas trazidos pela metodologia adotada
(teoria da resposta ao item) que tem satisfeito em parte a aspectos estatsticos, mas,
pouco tem contribudo com o ensino nas escolas. Alis, com a metodologia empregada
o que se pretende avaliar um conjunto de habilidades. Como associar estas
habilidades enunciadas com o trabalho cotidiano do ensino, com os processos
envolvidos nas aprendizagens? preciso buscar alternativas de enunciao dos
resultados, de modo mais detalhado e de forma que faa sentido para educadores, bem
como buscar meios para conseguir que as escolas, diretores, professores se apropriem
desses resultados e os discutam, e que haja condies de utilizao dos mesmos para a
melhoria do ensino. Isto exige, de um lado uma melhor traduo dos achados por
parte dos especialistas responsveis pelas escalas, e, de outro, um corpo a corpo da
gesto escolar com cada escola, com a criao de motivao no mbito de cada escola
para estudar e refletir sobre os achados e suas contribuies ao planejamento escolar e
de aula.
Uma induo esclarecida para interpretao e uso dos resultados, ressaltando
destes as necessidades de ensino a serem implementadas, absolutamente necessria.
Caso contrrio continuar-se- a passar ao largo da contribuio que esses resultados
podem oferecer para a melhoria da educao escolar. Tivemos a experincia do Saresp -
Sistema de Avaliao de Rendimento Escolar do Estado de So Paulo, o qual foi
implantado considerando que o professor participaria da aplicao e da correo das
provas, organizadas nos critrios clssicos de avaliao: uma prova com alguns itens
mais fceis, um conjunto de itens de dificuldade mdia, e alguns poucos itens mais
difceis, permitindo detalhar aspectos de domnio dos alunos, aspectos problemticos,
erros mais freqentes, permitindo guiar professores em seu dia a dia, pelos contedos
abordados. Todos os itens eram divulgados s escolas. Os professores deveriam corrigir
as provas e trabalhar os dados de sua escola. Havia um manual orientando o professor
para o clculo de mdia, desvio padro, grfico de desempenho, e os significados dessas
estatsticas, como interpret-las, como entender os desempenhos em sua escola. Havia
uma orientao psico-pedaggica para interpretar as respostas, e os erros cometidos, na
perspectiva educacional de que ao compreender esses erros, os porqus desses erros,
poder-se-ia planejar meios didticos para super-los. Cada escola podia, assim,
apropriar-se dos dados e de sua interpretao, esperando-se que isso levasse ao
replanejamento de atividades de ensino, que servisse de guia para o plano pedaggico
escolar. Mesmo assim, com esse processo implementado nas escolas estaduais, no se
tem idia do impacto disto nas aes dos gestores locais e dos professores. Por alguns
estudos sabemos que escolas se apropriaram de fato dos dados, eles foram discutidos e
geraram aes; outras muitas, deixaram os resultados na gaveta, sendo os dados de
conhecimento de poucos professores. D para imaginar, ento, o que ocorre com os
dados de avaliaes que ficam em divulgaes gerais, com traduo pedaggica
precria e de pouco sentido didtico para as escolas. Passa-se ao largo. Por outro lado,
at aqui, gestores municipais e estaduais, diretores de escola, sentiam-se pouco
provocados pelos resultados divulgados, esquecidos logo a seguir. Falo at aqui, porque
a Prova Brasil parece estar se colocando como novo dado neste cenrio das avaliaes,
e, em funo do IDEB (Indicador de Desenvolvimento da Educao Bsica), que indica
numericamente posies mais confortveis at as muito pouco confortveis de estados,
municpios e escolas em relao aos desempenhos dos alunos nas provas e ao fluxo
escolar de cada uma dessas unidades, governadores, prefeitos, diretores escolares
podero ser confrontados em funo desse indicador. Porm, ainda ser necessrio
envolver mais a populao em geral, e os pais de alunos, em particular, na compreenso
e discusso desses resultados gerando cobranas a quem de direito.

Resta um desafio aos educadores nas redes que desenvolver um certo esforo para
compreenso dos dados divulgados. Mas este esforo s poder ser exigido se cada
escola a eles tiver acesso, com informao suficiente para incorpor-los como elementos
orientadores de aes.

REFERNCIAS BIBLIOGRFICAS

Gatti, Bernardete A.. Avaliao institucional: processo descritivo, analtico ou reflexivo?
Estudos em Avaliao Educacional, v.17, 2006, p.7-14.

--------------. Avaliao da Educao Bsica. IX Congresso Paulista de Formao de Professores,
guas de Lindia, UNESP: CD-ROM, setembro, 2007.

--------------. Debate Avaliao em Educao:o que a escola pode fazer para melhorar seus
resultados? Cadernos CENPEC, n.3, So Paulo, 2007, p.31-33; p.36-38.

--------------. Construindo caminhos para o sucesso escolar. Seminrio Internacional
UNESCO/INEP/CONSED/UNDIME, Braslia, DF, junho 2007.

--------------. Avaliao educacional no Brasil: pontuando uma histria de aes. Eccos-Revista
Cientfica. So Paulo, Uninove, v.4, 2002, p.17-41.

MEC/INEP. Prova Brasil. Avaliao de rendimento escolar. Braslia, DF, 2006. Folheto de
divulgao.

--------------- . Dados diversos: Site:www.inep.gov.br

Soares, Jos Francisco, Melhoria do desempenho cognitivo dos alunos no ensino fundamental.
Cadernos de Pesquisa, FCC/Autores Associados, v.37, n.130, 2007, p.135-160.