s s i f o / r e v i s t a d e c i n c i a s d a e d u c a o n .

9 m a i / a g o 0 9

issn 16464990

Avaliao de sistemas educacionais no Brasil

Bernardete A. Gatti
gatti@fcc.org.br Fundao Carlos Chagas, So Paulo, Brasil

Resumo: Este artigo apresenta em seqncia temporal algumas iniciativas e modelos de avaliao de sistemas educacionais no Brasil. Lembra a estrutura federativa do Estado brasileiro e o desdobramento das avaliaes nos sistemas federal, estaduais e municipais de ensino. Aborda a questo da formao de pessoal em avaliao educacional, as caractersticas assu midas pelas avaliaes implementadas, tanto na educao bsica, como no ensino superior. Apontamse as mudanas de modelo e as controvrsias advindas com o desenvolvimento dessas avaliaes. Comentamse alguns de seus efeitos. Palavraschave: Avaliao educacional, Sistemas de ensino, Rendimento escolar, Avaliao institucional.

Gatti, Bernardete (2009). Avaliao de sistemas educacionais no Brasil. Ssifo. Revista de Cincias da Educao, 09, pp. 718. Consultado em [ms, ano] em http://sisifo.fpce.ul.pt

A Avaliao Educacional, hoje, um campo de estudos com teorias, processos e mtodos espe cficos, mas tambm, um campo abrangente que comporta subreas, com caractersticas diferentes, por exemplo, avaliao de sistemas educacionais, avaliao de desempenho escolar em nvel de sala de aula, avaliao institucional, avaliao de progra mas, autoavaliao. Comporta, tambm, diferentes abordagens tericas como a sistmica, a iluminativa ou compreensiva, a avaliao participativa, etc. No Brasil este campo de conhecimento s veio a mere cer maior ateno, estudos e anlises crticas mais fundamentadas, h relativamente pouco tempo. As questes ligadas avaliao educacional tendo adentrado muito tardiamente nas discusses no campo da educao, tambm sofreu aqui, em sua va lorizao e desenvolvimento como campo terico, dos efeitos relativos quase ausncia de formao nos cursos de educao de profissionais especiali zados. Esta formao vem se dando por outros ca minhos. Campo sujeito ainda a fortes crticas ideo lgicas, conta com massa crtica intelectual relativa mente pequena, a qual est em crescimento em fun o de programas avaliativos postos em prtica em vrios nveis do sistema educacional brasileiro, com abrangncia nacional ou regional. Isto implicou em preparao especial de funcionrios nos diferentes nveis de administrao do sistema escolar brasilei ro, e na formao de pessoal universitrio no exte rior. Alguns grupos de especialistas foram se cons tituindo em universidades e centros de pesquisa, e, com os estmulos de formao no exterior pelas
8

polticas nacionais de capacitao de pessoal, vem aumentando o nmero de pesquisadores na rea. Com isso, tem se tornado possvel melhor qualificar os processos avaliativos de amplo espectro, relati vos ao desempenho de alunos da educao bsica (ensino fundamental e mdio), ou do nvel superior, e, de instituies de ensino. Neste artigo pretende mos tratar desses processos avaliativos, os de maior porte, no Brasil, recuperando sua trajetria no tem po. Sendo o Brasil uma federao, lembramos que o sistema educacional comporta a rede pblica de ensino com gesto federal, estadual ou municipal e, a rede de escolas privadas, autorizadas e super visionadas por um dos trs nveis federativos. Cada nvel federativo tem seu grau de responsabilidade definido pela Constituio de 1988, e, no referente s redes de ensino, pela Lei de Diretrizes e Bases da Educao Nacional, aprovada no ano de 1996.

AVALIAES EM LARGA ESCALA NA EDUCAO BSICA: ENSINO FUNDAMENTAL E MDIO Dada a constituio trplice das redes de ensino no Brasil estaremos nos referindo ora a avaliaes na cionais, ora a estaduais, ora a municipais. Para traar a trajetria das avaliaes de desem penho de redes de ensino tomamos como ponto de partida os anos mil novecentos e sessenta, porque foi nessa dcada que surgiu fortemente a preocupa o especfica com processos avaliativos escolares,

ssifo 9 | bernardete a. gatti | avaliao de sistemas educacionais no brasil

baseados em critrios mais claramente enunciados e instrumentos que poderiam garantir, at certo pon to, que a avaliao do nvel de realizao obtido es tivesse mais objetivamente garantida. Nessa dcada e na subseqente, profissionais receberam formao mais aprofundada na rea de avaliao de rendimen to escolar, alguns no exterior. Na Fundao Getlio Vargas do Rio de Janeiro criouse em 1966 o CE TPP, Centro de Estudos de Testes e Pesquisas Psi colgicas, onde testes educacionais passam a ser de senvolvidos e estudados (Fundao Getlio Vargas, 1970). A equipe do CETPP elaborou um conjunto de provas objetivas para as ltimas sries do ensino mdio, nas reas de Linguagem, Matemtica, Cin cias Fsicas e Naturais e Estudos Sociais. Realizou se, ento, pesquisa com conjuntos de alunos do ensino mdio, a qual inclua um questionrio sobre caractersticas scioeconmicas dos alunos e suas aspiraes. Esta pode ser considerada a primeira iniciativa relativamente ampla, no Brasil, para verifi cao da aquisio de conhecimentos e sua relao com diferentes variveis, como sexo, nvel socioeco nmico, e outras. Nesse Centro desenvolveramse, ainda, cursos sobre elaborao de provas objetivas, com especialistas estrangeiros, e fizeramse vrias publicaes sobre temas ligados avaliao edu cacional. Simultaneamente, na Fundao Carlos Chagas especialistas em testes e medidas tambm estavam sendo formados. No entanto, a expertise conseguida no teve nesse momento aplicao em avaliaes de redes de ensino, tendo sido utilizada em processos seletivos para universidades, cursos superiores e cargos pblicos. Em meados dos anos 1970 desenvolveuse, pela iniciativa do ECIEL (Programa de Estudos Conjun tos de Integrao Econmica Latinoamericana), um estudo avaliativo de porte, no Brasil e outros pases da Amrica Latina, sobre os determinantes dos n veis de escolaridade e do rendimento escolar obtidos por alunos com diferentes caractersticas pessoais e scioeconmicas. Aos alunos foi aplicado questio nrio para levantamento de dados sobre situao scioeconmica, atitudes com relao ao processo escolar e aspiraes, e, um exame de compreenso de leitura e de cincias. Foram coletados dados de diretores, professores e escolas (Castro & Sangui netti, 1977). Realizouse estudo, nesse mesmo per odo, com a finalidade de chegar a um instrumento

de medida que permitisse verificar a situao do desempenho dos alunos nas 1aS sries do ensino fundamental. Amostras foram utilizadas para testar o instrumento, em duas formas paralelas, com crian as de todas as regies geogrficas do pas, abran gendo Leitura, Escrita e Matemtica. Este projeto derivou da experincia com outros estudos durante a dcada de setenta no ento estado da Guanabara (hoje cidade do Rio de Janeiro), e, outros pequenos estudos, feitos em convnio com o Centro Brasilei ro de Pesquisas Educacionais/INEP/Ministrio da Educao, desde a dcada de 1960. No houve, no entanto, nos anos imediatamente subseqentes outras iniciativas com a inteno de avaliaes mais abrangentes, embora alguns ensaios localizados tenham sido desenvolvidos. No se ob serva, nesse perodo, preocupao de administra es pblicas com uma avaliao sistemtica do ren dimento escolar dos alunos das redes de ensino. Em nvel nacional essa preocupao vai aparecer a partir de 1988, com alguns estudos exploratrios, ocorren do a implementao de um sistema nacional de ava liao da educao bsica apenas em 1990. Houve apenas uma municipalidade a da cidade de S.Paulo que se constituiu em exceo e preocupouse no incio dos anos 1980 com essa questo, tendo realiza do o primeiro estudo avaliativo de uma rede de ensi no. A avaliao foi conduzida pelo Departamento de Planejamento da Secretaria Municipal de Educao da Cidade de So Paulo, com o objetivo de verifi cao do nvel de escolaridade dos alunos da Rede Municipal de Ensino, abrangendo, alm das sries iniciais do ensino fundamental, tambm o terceiro estgio da educao infantil. Foram avaliadas todas as crianas do terceiro estgio de educao infantil, as de 1a, 3a, 5a, 7a sries do ensino fundamental e, os alunos do primeiro ano do ensino mdio. As provas abrangeram Lngua Portuguesa, Matemtica e Cin cias. Foi construda uma bateria de testes especficos, baseada no currculo escolar definido pela Secretaria Municipal de Educao para suas escolas, poca. A idia era poder utilizar esses dados para plane jamento das atividades escolares e extraescolares. Porm, tendo havido mudana de administrao em 1982, o estudo ficou com seus resultados sem utilizao, uma vez que os novos dirigentes no se interessaram em utilizar os resultados obtidos e levar adiante o processo iniciado dois anos antes.
9

ssifo 9 | bernardete a. gatti | avaliao de sistemas educacionais no brasil

Numa outra vertente, a da avaliao de polticas educacionais e avaliao de programas, entre 1978 e 1982, encontramos alguns estudos que se propem avaliar a poltica nacional de educao, enfocando a seletividade da educao, utilizandose desde dados demogrficos at estudos de caso (Fundao Carlos Chagas, 1981, 4v.). Estes estudos abrem um outro leque de possibilidades em avaliao numa direo diferente da avaliao de desempenho por testes. Como se observa, lenta e esparsamente, algumas competncias vinham se formando na rea de ava liao, sobretudo envolvendo a questo da medida de rendimento escolar. Algumas administraes pblicas da educao mostraram interesse nesses estudos mas, sem continuidade, nem em relao a equipes que se formavam, nem em relao aos estu dos. A descontinuidade em polticas tem sido uma marca nas gestes pblicas no Brasil, alis, no s em relao aos estudos avaliativos, como a todos os aspectos de iniciativas de administraes ante riores. Tambm, nesse mesmo perodo incios dos oitenta o pensamento educacional voltase crtica dos empirismos, dos tecnicismos, das opera cionalizaes burocrticas e a rea de avaliao, que mal comeara a formar quadros, sofre uma retrao grande no seio das universidades. Durante a dcada de 1980, uma experincia que pode ser colocada como um marco na histria de desenvolvimento de estudos de avaliao de po lticas e programas envolvendo no s estudos de rendimento escolar mas de variados fatores, foi a da avaliao do Projeto EDURURAL um projeto de educao desenvolvido em todos os estados do Nor deste brasileiro. A avaliao acompanhou a imple mentao e desenvolvimento do projeto, sob vrios aspectos, de 1982 a 1986. Avaliaramse as formas de gerenciamento geral do projeto e, por amostra, o ge renciamento local, analisandose o sistema de mo nitoria, os professores, as Organizaes Municipais de Ensino, os alunos, as famlias. Desenvolveramse testes para avaliar crianas em nvel de segundas e quartas sries do ensino fundamental, consideran do sua pertinncia zona rural em classes, em geral, multisseriadas. Estas provas foram desenvolvidas a partir de amostras de exerccios e trabalhos colhi dos nas escolas dos trs estados onde a avaliao se desenvolvia, Piau, Cear e Pernambuco. Coletou se materiais de alunos, trabalhouse com o pessoal
10

da regio, e, depois que se deu a forma final das provas. O que se tentava era construir um conjunto de provas tanto quanto possvel adequado quela realidade, buscando maior validade para os dados de rendimento escolar. As crianas foram avaliadas em 1982, 1984 e 1986. Nesses mesmos anos, os de mais dados sobre o programa, seu gerenciamento, as caractersticas das escolas, o pessoal docente, as famlias, etc., tambm eram coletados e anlises integradas e multivariadas foram feitas procuran do encontrar traos caractersticos relevantes para verificarse a contribuio scioeducacional do programa, como tambm os impasses. Anlises qua litativas dos dados levantados foram desenvolvidas, tendo sido agregados estudos de caso ao modelo avaliativo, para anlise e compreenso em maior profundidade de situaes mais especficas (Uni versidade Federal do Cear, 1988, 7v.). Seminrios foram realizados sobre seus resultados, durante o processo e depois. Esses resultados tiveram vrias conseqncias sobre as polticas vigentes. Alm dis so, muitas outras anlises derivaram destes dados, desde anlises com enfoque em polticas pblicas, at anlises do que acontece com a escola que se situava na prpria casa da professora; ou, qual o problema das escolas que estavam junto a assenta mentos de pessoal sem terra; etc. Com metodologia clara e bem definida, com os cuidados de coleta e anlise, representou um exemplo do que se poderia fazer com estudos dessa natureza na direo de se propugnar por uma escola mais condizente com as necessidades das populaes menos favorecidas so cialmente. O cuidado com as interpretaes, com a clareza dos limites de significao dos dados, tendo presente os pressupostos sobre os quais se assenta va o modelo avaliativo, ofereceu uma oportunidade para se formar pessoas e pensar a rea criticamente a partir de uma ao direta. Estudos que deram subsdios implantao do sistema nacional de avaliao da educao bsica Ao final dos anos 1980 discusses sobre vrios pro blemas que ocorriam nos sistemas educacionais, apontados pelos pesquisadores da rea de educao, chega ao auge com o debate pblico sobre os indica dores que mostravam o alto ndice de fracasso esco lar (repetncia e evaso escolar) na escola bsica, no

ssifo 9 | bernardete a. gatti | avaliao de sistemas educacionais no brasil

pas. Uma das questes que se colocava que no se possuam dados sobre o rendimento escolar dos alu nos em nvel de sistema e os fatores a ele associados. Nesse momento, promoveuse no MEC [Ministrio da Educao] uma oficina de trabalho com um gru po de educadores para discutir a questo. Colocava se ento que, com a mudana da nossa Constitui o, poderia haver uma nova estrutura poltica e que isto sinalizava a necessidade de uma mudana na atuao do Ministrio da Educao em relao ao ensino fundamental e mdio, levandoo a ter um pa pel orientador e um papel avaliador como referncia para polticas e avanos na rea da educao bsica. Ao final de 1987, foi proposto que se fizesse uma ava liao de rendimento escolar em 10 capitais de es tados do pas, para se aquilatar se um processo de avaliao mais amplo por parte do Ministrio seria vivel e traria resultados relevantes. A avaliao foi feita nas 1as, 3as, 5as e 7as sries de escolas pblicas em 10 capitais de Estados, com provas em Lngua Portu guesa (com redao), matemtica e cincias. Foi um estudo piloto para verificar a viabilidade do proces so, como as administraes e as escolas receberiam esse tipo de avaliao, se as provas seriam adequa das, etc. Utilizouse a teoria clssica em avaliao e o grande desafio foi mesmo a construo de provas que tivessem validade para as realidades dos dife rentes estados envolvidos (no se dispunha de um currculo nacional). Isto tornouse possvel a partir de parcerias locais. Com esta etapa tendo sido rela tivamente bem sucedida, com as discusses sobre os resultados das provas e fatores a eles associados havidas em alguns estados, e discusses em semin rios nacionais ou locais, expandiuse o estudo avalia tivo para mais 20 capitais e, depois mais 39 cidades distribudas em 14 estados e, poca, um territrio (Vianna, 1988, 1989a, 1989b). Paralelamente, com apoio da Secretaria de Ensino de Segundo Grau do Ministrio da Educao, realizouse uma avaliao de rendimento escolar de alunos do 3 ano do ensino mdio, abrangendo todas as modalidades existentes (geral, normal, tcnico industrial, comercial, etc.). Tambm no ano de 1988, como extenso ini ciativa do MEC, a Secretaria de Estado da Educa o do Paran realizou uma avaliao dos alunos de 2 e 4 sries nas escolas desse estado. Provas espe cficas de Lngua Portuguesa, Matemtica, Cincias e Estudos Sociais foram elaboradas, a partir de itens

produzidos por professores locais, com base nos guias curriculares vigentes no Paran (Vianna & Gat ti, 1988). Em 1991 completando o ciclo de avaliaes exploradoras proposto pelo MEC realizouse o mes mo tipo de avaliao feito nas escolas pblicas, em escolas privadas, em 11 Estados e no Distrito Federal. As avaliaes de rendimento escolar realizadas entre 198891 trouxeram o impacto dos baixos resul tados mdios, muito aqum do esperado, que reper cutiram tanto no Ministrio, como nas Secretarias de Educao e na mdia, criando nas administraes pblicas interesse pelos processos avaliativos. Com os resultados obtidos e dados das escolas, dos pro fessores e dos alunos, dispunhase de muitas infor maes, sobre as quais se poderia debruar, refletir e tirar inferncias tanto para polticas dirigidas s redes de ensino como um todo, como para questes da aprendizagem de alunos nas salas de aula. Estes primeiros estudos mais abrangentes de alunos e es colas serviram de base para a implantao do SAEB Sistema de Avaliao da Educao Brasileira. Para isso contribuiu, tambm, a participao do Brasil, logo no incio dos anos 1990, no segundo Programa Internacional de Avaliao de Proficin cia Educacional. Esse programa internacional, que poca envolvia 27 pases, pretendia ser comparativo. Portanto, a metodologia de aplicao e os testes fo ram elaborados por uma equipe internacional de es pecialistas: chineses, rabes, americanos, suecos, ho landeses, etc., num processo de validao recproca. Mas, no Brasil o estudo ficou restrito a apenas duas capitais (Fortaleza e S. Paulo) tornando a compara bilidade pretendida comprometida. Foram avaliadas crianas de 13 anos de idade, no importando a s rie em que o aluno se encontrava (a correspondncia idadesrie no era garantida). A idia desse estudo internacional era procurar saber qual domnio de co nhecimentos teriam as crianas dessa idade em cada um dos pases participantes. No estudo aqui realizado no foram includas crianas que estavam fora da es cola e crianas com excessiva defasagem idadesrie, problema que na maior parte dos pases participantes no se colocava. A avaliao, embora realizada apenas em duas capitais, mostrava o precrio desempenho dos alunos de 13 anos no Brasil, na comparao com outros pases: penltima colocao. A contundncia dos dados obtidos at aqui leva o Ministrio da Educao e alguns dos Estados da
11

ssifo 9 | bernardete a. gatti | avaliao de sistemas educacionais no brasil

federao a desenvolver uma poltica de avaliao de redes de ensino de forma a trazer a pblico os resul tados, na inteno de se buscar formas de superao da precria situao das aprendizagens escolares. Os resultados mdios eram muito preocupantes. Estmulos vindos de rgos internacionais tiveram papel relevante na consolidao e ampliao dessas avaliaes. O Sistema Nacional de Avaliao da Educao Bsica SAEB A partir de 1993, o Ministrio da Educao, em arti culao com as Secretarias Estaduais de Educao, implantou o Sistema de Avaliao da Educao Bsica (SAEB). Realizado por amostra nacional de alunos, inicialmente com provas objetivas no mode lo clssico, essa avaliao passou a ser realizada anu almente, abrangendo sries do ensino fundamental e mdio, tendo aperfeioado sua metodologia e, fi nalmente, em 1995, adotado os procedimentos pre conizados pela Teoria da Resposta ao Item. Pesqui sadores da Fundao Carlos Chagas capitanearam a introduo dessa metodologia no SAEB (Andrade & Valle, 1998; Fletcher, 1991, 1995). No entender dos especialistas poderia oferecer informaes mais seguras sobre o repertrio escolar das crianas e jo vens, bem como oferecer condies de comparabi lidade em escala, o que no era possvel no modelo anterior. Pelos documentos disponveis verificase que a inteno associada a essa avaliao era a de prover informaes para tomadas de deciso quanto a diversos aspectos das polticas educacionais, bem como para pesquisas e discusses, a partir da gera o e organizao de informaes sobre o desempe nho acadmico dos alunos no sistema e fatores a ele associados. Hoje esto disponveis vrias bases de dados sobre as sucessivas avaliaes feitas em nvel nacional, e relatrios que disponibilizam as anlises realizadas. O SAEB compese de dois grandes ei xos: o primeiro voltado ao acesso ao ensino bsico no qual se verifica o atendimento demanda (taxas de acesso e taxas de escolarizao) e a eficincia (ta xas de produtividade, taxas de transio e taxas de eficincia interna); o segundo eixo relativo quali dade, implicando no estudo de quatro dimenses re lativas: 1. ao produto desempenho do aluno quan to a aprendizagem de contedos e desenvolvimento de habilidades e competncias; 2. ao contexto
12

nvel scioeconmico dos alunos, hbitos de estu do, perfil e condies de trabalho dos docentes e diretores, tipo de escola, grau de autonomia da es cola, matriz organizacional da escola; 3. ao processo planejamento do ensino e da escola, projeto pe daggico, utilizao do tempo escolar; estratgias de ensino; 4. aos insumos infraestrutura, espao fsi co e instalaes, equipamentos, recursos e materiais didticos. Os instrumentos de coleta so as provas aos alunos, questionrios aplicados a alunos, profes sores e diretores, questionrio sobre as condies da escola. Nos dois ltimos anos agregouse ao modelo geral de avaliao, estudos de caso de situaes es pecficas consideradas relevantes para anlise mais aprofundada de fatores contextuais intervenien tes nos resultados (Brasil/Ministrio da Educao, 2002; Fontanive & Klein, 2000; Pestana, 1999). O SAEB veio sendo objeto de vrios estudos e discusses, inclusive de comisses em nvel de Ministrio na busca de seu aperfeioamento. Pro blemas tcnicos tm sido superados, por exemplo, quanto modelagem das provas e o teor dos itens e sua validade, quanto ao processo de amostragem, que vem sendo aperfeioado, etc., levantandose, tambm, problemas quanto divulgao, dissemi nao e apropriao dos resultados nos diferentes nveis de gesto do sistema e aos professores. Fran co (2001) nos oferece observaes interessantes quanto s potencialidades e aos problemas relativos a essa avaliao, pontuando sugestes sobre as for mas de tornar o SAEB mais relevante para gestores e professores, por exemplo, ilustrando com exemplos claros dificuldades dos alunos, propondo alternati vas pedaggicas, em linguagem adequada, construir melhor explicitao dos fatores que contam em educao (efeito escola, efeito sala de aula), apre sentao das escalas de proficincia em linguagem e esquemas grficos facilmente inteligveis para no especialistas, estabelecimento de relacionamentos com secretarias estaduais e municipais mais efetivos para apropriao dos resultados, etc. Mais recentemente o Ministrio de Educao expandiu a avaliao de desempenho do sistema educacional, com a Prova Brasil, aplicada a todos os alunos dos primeiros anos do ensino fundamental, integrando essa prova ao SAEB. Com isso avanou se na construo de um indicador o ndice de Desenvolvimento da Educao Bsica (IDEB), a

ssifo 9 | bernardete a. gatti | avaliao de sistemas educacionais no brasil

partir de 2007, que integra o fluxo escolar e as m dias de desempenho nas avaliaes nacionais. Essas mdias referemse ao desempenho no SAEB para os Estados e na Prova Brasil para os Municpios. possvel dispor de um valor do Indicador para o pas como um todo, cada Estado, Municpio e Escola. Iniciativas regionais Foi durante os anos mil novecentos e noventa que diversas avaliaes de sistemas escolares vo tomar corpo tambm em vrias regies do pas, alm do m bito nacional j exposto. Abaixo relatamos trs inicia tivas em Estados da Federao, as mais consolidadas. Estado de S. Paulo Assim, em 1992 foi realizada no Estado de S. Pau lo avaliao dos alunos das Escolas Padro, projeto de inovao curricular desenvolvido pela Secretaria Estadual de Educao, inicialmente com 306 escolas no Estado, depois ampliandose para mais de mil, com vistas a abranger aos poucos todas as escolas do sistema, o que no chegou a acontecer. O objetivo da avaliao era verificar se com os insumos educacio nais diferenciados que recebiam as escolas e profes sores se obtinham melhorias no nvel de aprendiza gem escolar por parte dos alunos. A avaliao ento realizada abrangeu Lngua Portuguesa, Redao, Matemtica, Cincias, Histria e Geografia, tendo sido aplicado um questionrio para sondagem de caractersticas dos alunos. Foram submetidos a ela todos os alunos de 8 srie. Essa avaliao seria o marco zero, com a qual sucessivamente se procura ria comparar o futuro desenvolvimento educacional das crianas. Esperavase, no incio dos trabalhos, poder realizar avaliaes sucessivas, durante vrios anos, com dados da progresso dessas crianas que estavam vinculadas ao Projeto da Escola Padro. Os primeiros resultados foram interpretados psi copedagogicamente e recomendaes curriculares foram feitas e consolidadas em documentos distri budos s escolas. A partir dos dados obtidos vrios estudos com foco especfico foram realizados para subsidiar aes especficas junto s escolas (Gatti, 1996). Essa avaliao, que pretendia ser longitudinal, foi descontinuada por mudana na administrao da Secretaria de Educao do Estado. A nova gesto desenvolveu outros estudos visando comparar Es colas Padro e No Padro, considerando a regio

da escola, os perodos, diurno e noturno dos cursos. Os dados foram divulgados para a rede. Enfatizavase que se deveria enfrentar com critrio e determinao os pontos crticos revelados em relao ao processo de ensino. As provas foram analisadas e implicaes pedaggicas foram apontadas, com recomendaes quanto aos pontos crticos em cada disciplina avalia da (Mondel & Maluf, 1994). Ao mesmo tempo, entre 1992 e 1994, outro projeto de avaliao vinha sendo desenvolvido, amostralmente, nas escolas estaduais do Estado de S.Paulo, com carter de uma verdadeira pesquisa avaliativa: O Projeto de Avaliao de Impacto do Ciclo Bsico e da Jornada nica na rea Metropo litana de So Paulo. A equipe de pesquisa fez um estudo longitudinal de acompanhamento de um mesmo segmento de crianas, durante 3 anos, com o objetivo complexo de analisar mudanas de apren dizagem e de caractersticas cognitivas ao longo do tempo. Esse foi um tipo de pesquisa em avaliao nunca antes desenvolvido no pas, inclusive com um estudo paralelo de carter antropolgico. Este permitiu que se tivesse uma compreenso profun da do que se passava no cotidiano das escolas e no desenvolvimento cognitivo das crianas (Neubauer et al., 1996). A partir de 1995 instituise no Estado de S.Paulo, como parte de um programa para a edu cao pblica do estado, o SARESP (Sistema de Avaliao do Rendimento Escolar no Estado de S. Paulo), que vem se realizando at hoje, abrangen do sries sucessivas, com questionrios informati vos, e fazendose as equalizaes necessrias ano a ano para se obter comparabilidade. Neste modelo todos os alunos matriculados nas sries envolvidas so avaliados (Espsito, 2000; SEESP, 1996, 1998). O sistema SARESP tem mantido as avaliaes peri dicas e em 2008 fundamentou a criao de um in dicador de desenvolvimento educacional especfico para o Estado de S. Paulo IDESP , com carac tersticas de construo um pouco mais nuanceadas do que o ndice do Ministrio da Educao. Estado de Minas Gerais Tambm o Estado de Minas Gerais comea a partir de 1992 a desenvolver um programa de avalia o das suas escolas pblicas. Como as demais ini ciativas, o propsito da avaliao era dar base para a melhoria da qualidade do ensino e fazia parte de
13

ssifo 9 | bernardete a. gatti | avaliao de sistemas educacionais no brasil

uma proposta mais ampla do governo do estado para a educao. As avaliaes foram planejadas e reali zadas em ciclos, a cada dois anos, eram avaliaes censitrias, incorporando outras informaes atra vs de questionrios. Em 1998, com a implantao da progresso continuada nas escolas, passouse a fazer a avaliao todos os anos. Desenvolveuse com este programa de avaliao uma proposta formativa de quadros na prpria Secretaria, atravs de cursos especficos oferecidos aos tcnicos, aqui e no exte rior (Antunes et al., 1992; Souza, 1999). Hoje, o Es tado de Minas Gerais possui um complexo modelo de avaliao de sua rede de ensino o SIMAVE: Sistema de Avaliao da Qualidade do Ensino e das Escolas. Esse Sistema composto por trs progra mas de avaliao: PROALFA voltado avaliao dos nveis de alfabetizao; PROEB verifica a efi cincia e a qualidade do ensino com base no desem penho nas sries finais dos blocos de ensino; PAAE realiza diagnsticos progressivos da aprendiza gem para subsidiar intervenes pedaggicas. Estado do Paran O Estado do Paran realizou em 1995 sua pri meira avaliao em larga escala como expanso do SAEB, oferecendo aos seus municpios e s esco las resultados particularizados. Deuse continuida de ao processo nos anos subseqentes e, em 2000, introduziu no processo avaliativo do ensino funda mental a metodologia da teoria da resposta ao item, tomando como referncia os contedos do Curr culo Bsico para as Escolas Pblicas do Paran. Desenvolveramse estudos analticos detalhados sobre o desempenho dos alunos de 4 e 8 sries. As matrizes de referncia das provas trazem inovaes em sua concepo em relao a outras abordagens, por exemplo, em Lngua Portuguesa, contempla cinco reas: procedimentos de leitura, recursos ex pressivos e efeitos de sentido, variao lingustica, coerncia e coeso, e, conhecimento lingstico operacional. Anlises diversificadas encontramse consolidadas em relatrios publicados e distribudo rede. A disseminao desses resultados foi realiza da por trs tipos diferentes de relatrios: para dire tores de escola e secretrios municipais de educa o, com uma viso mais global e comparativa; para professores e equipes pedaggicas contendo an lises detalhadas dos itens, dos tipos de erros, com
14

recomendaes e sugestes pedaggicas; e, para presidentes de associaes de pais e mestres e pais de alunos foi feito no Boletim da Escola uma sntese especfica da situao da escola e uma descrio dos nveis de desempenho alcanados (SEEPR, 2001). Mais recentemente implementouse nesse Estado um processo de avaliao institucional envolvendo escolas, regionais de ensino e Secretaria. Estado do Cear O Estado do Cear desenvolveu um sistema ava liativo de suas escolas a partir de 1996, com avalia o, por amostras, de desempenhos de alunos do ensino fundamental. Realizou, tambm, um proces so de avaliao institucional de escolas, com envol vimento da comunidade, o qual se mostra como um modelo diferenciado em relao ao que se fez em outros estados. Neste Estado foi institucionalizado o SPAECE Sistema Permanente de Avaliao da Educao Bsica. Conforme documentado pela Secretaria Estadual de Educao (Cear, 2009), compreende trs vertentes: Avaliao de Desempe nho Acadmico, Avaliao Institucional e Estudos e Pesquisas Educacionais. Na primeira, de natureza externa, o Sistema avalia as competncias e habili dades dos alunos do Ensino Fundamental e do En sino Mdio, nas disciplinas de Lngua Portuguesa e Matemtica. Identificase o nvel de proficincia e a evoluo do desempenho dos alunos. Abrange todos os alunos das escolas estaduais e municipais. So aplicados questionrios investigando dados scioeconmicos e hbitos de estudo dos alunos, perfil e prtica dos professores e diretores. Na ver tente da Avaliao Institucional, possibilita escola, atravs da AutoAvaliao e da Avaliao de Desem penho do Ncleo Gestor, conhecer e aperfeioar as interrelaes, os servios prestados, o desempenho do corpo docente e discente, dos funcionrios e gestores. Objetiva a implementao de mudanas no cotidiano escolar. A terceira vertente compre ende Estudos e Pesquisas Educacionais, bem como Avaliaes de Programas, buscando aprofundar o conhecimento das situaesproblema e das ten dncias detectadas nas avaliaes.

ssifo 9 | bernardete a. gatti | avaliao de sistemas educacionais no brasil

CONTRIBUIES E DESAFIOS Essas experincias de mais amplo espectro contribu ram para a formao e o aperfeioamento de pes quisadores e tcnicos em avaliao de desempenho escolar e institucional em sistemas de ensino, tanto em nvel do Ministrio da Educao, nas Secre tarias e em diversas instituies que passaram a se dedicar ao campo. Depreendese pelos documentos consultados que se buscou ao longo do tempo criar um ambiente propcio receptividade de avaliaes, incrementar competncias no campo, e estimular o emprego das avaliaes para mudanas, interven es, melhorias nas escolas e no ensino. Tambm, despertar estudos crticos. Ou seja, pensavase em provocar mudanas na representao dos proces sos avaliativos que tinham conotao punitiva e de depreciao dandolhes novo significado. Todos sabemos das dificuldades de mudanas dessa natu reza mudanas scioculturais mas, tentavase no nvel das gestes estimular o incio desse pro cesso. Fatores internos e externos interpuseramse e as contradies implicadas nesses procedimentos tomaram corpo. De um lado, uma nfase muito for te que acaba sendo dada aos melhores e aos piores desempenhos, a mdia valorizando apenas a mdia das notas obtidas e no outros resultados at mais importantes. De outro, observouse a pequena uti lizao dos dados por parte das redes, seja por pro cessos inadequados de disseminao e de dar acesso e visibilidade aos dados, seja por dificuldades nas redes de lidar, analisar, interpretar esses dados peda gogicamente. Os problemas de utilizao dos dados por diretores de escola, coordenadores pedaggicos e professores vem ocorrendo tanto na utilizao das avaliaes estaduais como das avaliaes nacionais. A disseminao dos dados em formas mais adequa das, diferenciadas conforme a audincia pblico em geral, pais, professores, gestores ponto ne vrlgico a ser resolvido no desenvolvimento desses processos. O IDEB e o IDESP tm sido melhor

compreendidos, porm, necessrio que aspectos pedaggicos ligados aos desempenhos sejam mais amplamente expostos e discutidos. O grande desa fio , ainda, a apropriao por parte das escolas dos resultados obtidos por seus alunos e a utilizao des ses resultados para orientar as atividades de ensino. Aspectos mais tcnicos, ligados construo de provas de avaliao de desempenho, tanto relativos fidedignidade como validade, tambm foram ob jeto de discusso. As matrizes de referncia tm sido sistematicamente criticadas, em que pese a busca de seu aperfeioamento contnuo. Outro aspecto pol mico a utilizao da Teoria da Resposta ao Item nos principais processos avaliativos nas grandes redes de ensino, onde se questiona a pertinncia do modelo e a adequao das anlises e sua consistncia.

FINALIZANDO Podese afirmar que vem mudando a representao dos processos avaliativos de sistemas educacionais no Brasil, em relao aos quais houve inicialmente uma reao contrria muito forte, e que uma cultu ra de avaliao educacional est se consolidando, na idia de accountability. Salutares so os debates e as contraposies aos diversos processos avaliativos im plementados em vrios dos nveis educacionais, e nos vrios sistemas de administrao educacional do pas (Unio, Estados e Municpios). A preocupao com os resultados dos processos de ensino est presente atualmente nas administraes pblicas da educa o e nas escolas, dando margem a iniciativas como aperfeioamento dos currculos escolares, formao continuada de professores, reviso da formao bsi ca de docentes, produo de materiais didticos no vos em vrios tipos de suporte (impressos, virtuais, DVDs, etc.). O impacto dessas avaliaes comea a ser sentido na educao bsica esperandose que as avaliaes sejam vistas como estmulos mudana em processos educacionais, e, no como punio.

ssifo 9 | bernardete a. gatti | avaliao de sistemas educacionais no brasil

15

Referncias bibliogrficas Andrade, Dalton F. & Valle, Raquel C. (1998). Introduo Teoria da Resposta ao Item. So Paulo, Estudos em Avaliao Educacional, 18, pp. 1332. Antunes, Ana Lcia; Xavier, Edir P. C. & Freitas, Maria A. de. (1992). Avaliao do rendimento do aluno da escola estadual de Minas Gerais: o CBA. So Paulo, Estudos em Avaliao Educa cional, 6, pp. 2942. ANPED Associao Nacional de PsGradua o e Pesquisa em Educao (1999). A Ava liao da psgraduao em debate. So Paulo: ANPED. ANPED Associao Nacional de PsGradua o e Pesquisa em Educao (2005). 40 Anos da PsGraduao em Educao. Revista Brasileira de Educao. So Paulo: ANPED/Autores Asso ciados. BRASIL. Ministrio da Educao e do Desporto (1995). Resultados do SAEB 1995: a escola que os alunos freqentam. Braslia: MEC. BRASIL. Ministrio da Educao (1996). Pro grama de Avaliao Institucional das Universi dades Brasileiras PAIUB. Avaliao: Revista da Rede de Avaliao Institucional da Educao Superior,1, 1, pp. 4368. BRASIL. Ministrio da Educao (2002). Siste ma Nacional de Avaliao da Educao Bsica: SAEB. In BRASIL. Ministrio da Educao, Textos divulgados para a imprensa: coletnea 1966 2001. Braslia: MEC/INEP, pp. 133155. Castro, Cludio de M. & Sanguinetty, Jorge A. (1977). Custos e determinantes da educao na Amrica Latina: resultados preliminares. Rio de Janeiro: INTED. CEAR (2009). Sistema Permanente de Avaliao da Educao Bsica SPAECE. Fortaleza: Se cretaria de Estado da Educao. Esposito, Yara L. (coord.); SO PAULO (Estado) & Secretaria da Educao (2000). Sistema de avaliao de rendimento escolar do Estado de So Paulo SARESP 98: conhecendo os resultados da avaliao. So Paulo: SEE/FDE. Fletcher, Philip R. (1991). Avaliao do perfil cog nitivo da populao brasileira. So Paulo, Estu dos em Avaliao Educacional, 4, pp. 2764.
16

Fletcher, Philip R. (1995). Propsitos da avaliao educacional: uma anlise de alternativas. S. Paulo, Estudos em Avaliao Educacional, 11, pp. 93112. Fontanive, Nilma S. & Klein, Ruben (2000). Uma viso sobre o sistema de avaliao da educao bsica do Brasil SAEB. Rio de Janeiro, En saio: Avaliao e Polticas Pblicas em Educao, 29, 8, pp. 409439. Franco, Creso (2001). O SAEB sistema de ava liao da educao bsica: potencialidades, pro blemas e desafios. Revista Brasileira de Educa o, 17, pp. 127133. Fundao Carlos Chagas (1981). Educao e de senvolvimento social. 4v. So Paulo: FCC/DPE. Fundao Getlio Vargas (1970). Testes e medidas na educao. Rio de Janeiro: FGV. Gatti, Bernardete A. (1992). Avaliao da jornada nica em So Paulo. Estudos em Avaliao Edu cacional, 5, pp. 8590. Gatti, Bernardete A. (1996). Desenvolvimento de projetos de avaliao do sistema educacional no Estado de So Paulo. Estudos em Avaliao Edu cacional, 13, pp. 1926. Mondel, Lcia M. & Maluf, Mnica M. B. (1994). Avaliao do Rendimentos de Alunos das Esco las Padro. Estudos em Avaliao Educacional, 10, pp. 103122. Neubauer, Rose; Davis, Cludia & Espsito, Yara L. (1996). Avaliao do processo de inovaes no ciclo bsico e seu impacto sobre a situao de ensinoaprendizagem na Regio Metropolitana de So Paulo. Estudos em Avaliao Educacio nal, 13, pp.3564. Pestana, Maria Ins G. S. (1999). O Sistema de ava liao brasileiro. Braslia, Revista Brasileira de Estudos Pedaggicos, 191, 79, pp. 6573. SEEPR PARAN. Secretaria da Educao. Coordenao de Informaes Educacionais (2001). Cadernos Ava. Curitiba: SEEPR. SEESP SO PAULO (Estado) Secretaria da Educao (1996). Sistema de avaliao de ren dimento escolar do Estado de So Paulo SA RESP: relatrio final dos resultados da 1 aplica o. So Paulo: SEE. SEESP SO PAULO (Estado) Secretaria da Educao (1998). Sistema de avaliao de rendi mento escolar do estado de So Paulo SARESP. So Paulo: SEE/FDE.

ssifo 9 | bernardete a. gatti | avaliao de sistemas educacionais no brasil

Souza, Maria Alba de (1999). A Experincia de Avaliao Educacional em Minas Gerais: 1992 1998. Estudos em Avaliao Educacional, 19, pp. 5776. Universidade Federal do Cear (1988). Eduru ral 19811985: avaliao da educao bsica no nordeste brasileiro. (7 v.). Fortaleza: UFC/FCC/ DPE. Vianna, Heraldo M. (1988). Avaliao do Rendi mento de Alunos de Escolas de 1 grau da Rede Pblica: uma aplicao experimental em 10 cida des. Educao e Seleo, 17, pp. 552.

Vianna, Heraldo M. (1989a). Avaliao do Rendi mento de Alunos de Escolas de 1 grau da Rede Pblica: um estudo em 39 cidades. Educao e Seleo, 20, pp. 556. Vianna, Heraldo M. (1989b). Avaliao do Rendi mento de Alunos de Escolas do 1 Grau da Rede Pblica: um estudo em 20 cidades. Educao e Seleo, 19, pp. 3398. Vianna, Heraldo M. & Gatti, Bernardete A. (1988). Avaliao do Rendimento de alunos das 2s e 4s sries de Escolas Oficiais do Estado do Paran. Educao e Seleo, 18, pp. 562.

ssifo 9 | bernardete a. gatti | avaliao de sistemas educacionais no brasil

17

18

ssifo 9 | bernardete a. gatti | avaliao de sistemas educacionais no brasil