1 PDF

Public Disclosure Authorized Public Disclosure Authorized Public Disclosure Authorized Public Disclosure Authorized
41789
Preencha a cha de cadastro no nal deste livro
e receba gratuitamente informaes
sobre os lanamentos e as promoes da Elsevier.
Consulte tambm nosso catlogo

completo, ltimos lanamentos
e servios exclusivos no site
www.elsevier.com.br
Do original: Assessing National Achievement Levels in Education
Copyright 2009, by The International Bank for Reconstruction and Development/The World Bank
Publicado originalmente em Ingls pelo Banco Mundial. Em caso de discrepncias, prevalecer a verso original em ingls.
Esta obra foi elaborada pela equipe do Banco Internacional para Reconstruo e Desenvolvimento/Banco Mundial.
As afirmaes, interpretaes e concluses aqui contidas no expressam necessariamente a opinio dos diretores
executivos da instituio ou dos governos que eles representam.
O Banco Mundial no garante a exatido dos dados includos nesta publicao. As fronteiras, cores, denominaes e
outras informaes mostradas em qualquer mapa neste estudo no implicam nenhuma opinio da parte do Banco Mundial
em relao situao jurdica de qualquer territrio, bem como o endosso ou a aceitao de suas fronteiras.
This work was originally published by The World Bank in English as National Assessments of Educational Achievement,
Volume 1: Assessing National Achievement Levels in Education in 2007. This Brazilian Portuguese translation was arranged
by Elsevier Brazil. Elsevier Brazil is responsible for the quality of translation. In case of any discrepancies, the original
language will govern.
The findings, interpretations, and conclusions expressed herein are those of the author(s) and do not necessarily reflect the
views of the Executive Directors of The World Bank or the governments they represent.
The World Bank does not guarantee the accuracy of the data included in this work. The boundaries, colors, denominations,
and other information shown on any map in this work do not imply any judgement on the part of The World Bank concerning
the legal status of any territory or the endorsement or acceptance of such boundaries.
Direitos e permisses
O material contido nesta publicao protegido por direito autoral. A cpia e/ou transmisso sem permisso de uma parte
ou de todo o contedo podero ser consideradas violao da lei aplicvel. O Banco Internacional para Reconstruo e
Desenvolvimento/Banco Mundial estimula a disseminao desta obra e normalmente permitir com rapidez a reproduo
de trechos deste relatrio.
Para obter permisso de fotocpia ou reimpresso de qualquer parte deste livro, envie um pedido contendo informaes
completas para Copyright Clearance Center Inc., 222 Rosewood Drive, Danvers, MA 01923, USA; telefone: 978-750-8400;
fax: 978-750-4470; Internet: www.copyright.com.
Todas as outras perguntas sobre direitos e licenas, inclusive direitos subsidirios, devem ser dirigidas ao Office of the
Publisher, The World Bank, 1818 H Street NW, Washington, DC 20433, USA.
Fax: 202-522-2422; e-mail: pubrights@Worldbank.org.
2011, The International Bank for Reconstruction and Development/The World Bank
Todos os direitos reservados e protegidos pela Lei no 9.610, de 19/02/1998.
Copidesque: Shirley Lima da Silva Braz
Reviso: Edna Cavalcanti e Roberta Borges
Editorao Eletrnica: Estdio Castellani
Elsevier Editora Ltda.
Conhecimento sem Fronteiras
Rua Sete de Setembro, 111 16o andar
20050-006 Centro Rio de Janeiro RJ Brasil
Rua Quintana, 753 8o andar
04569-011 Brooklin So Paulo SP Brasil
Servio de Atendimento ao Cliente
0800-0265340
sac@elsevier.com.br
ISBN 978-85-352-3960-7
Edio original: ISBN 978-0-8213-7258-6
CIP-Brasil. Catalogao-na-fonte
Sindicato Nacional dos Editores de Livros, RJ
G825a Greaney, Vincent
Avaliao dos nveis de desempenho educacional / Vincent Greaney e Thomas Kellaghan ; traduo Maria
Lcia de Oliveira. Rio de Janeiro : Elsevier, 2011.
il. (Pesquisas do Banco Mundial sobre avaliaes de desempenho educacional ; v. 1)
Traduo de: Assessing national achievement levels in education
Apndice
Inclui bibliografia
ISBN 978-85-352-3960-7
1. Testes e medidas educacionais. 2. Avaliao educacional. I. Kellaghan, Thomas. II. Ttulo. III. Srie.
10-4613. CDD: 371.262
CDU: 37.091.26
AGRADECIMENTOS
U
ma equipe conduzida por Vincent Greaney
(consultor do Grupo de Educao da Hu-
man Development Network do Banco Mun-
dial) e Thomas Kellaghan (Educational Research Center, St. Patricks
College, Dublin) preparou esta srie.
Tambm contriburam para a srie Sylvia Acana (Uganda National
Examinations Board), Prue Anderson (Australian Council for Educa-
tional Research), Fernando Cartwright (Canadian Council on Learning),
Jean Dumais (Statistics Canada), Chris Freeman (Australian Council
for Educational Research), Hew Gough (Statistics Canada), Sara Howie
(University of Pretoria), George Morgan (Australian Council for Educa-
tional Research), T. Scott Murray (DataAngel Policy Research) e Gerry
Shiel (Educational Research Center, St. Patricks College, Dublin).
O trabalho foi realizado sob a direo geral de Ruth Kagia, diretora
do Setor de Educao do Banco Mundial, e Robin Horn, gerente do
Setor de Educao. Robert Prouty iniciou e supervisionou o projeto at
agosto de 2007. Marguerite Clarke supervisionou as ltimas etapas, at a
reviso e publicao. Somos gratos s contribuies do painel de reviso:
Al Beaton (Boston College), Irwin Kirsch (Educational Testing Service)
e Benoit Millot (Banco Mundial).
Comentrios adicionais por pares foram feitos por diversos funcio-
nrios do Banco Mundial, incluindo Carlos Rojas, Eduardo Velez, Eli-
zabeth King, Harry Patrinos, Helen Abadzi, Jee-Peng Tan, Marguerite
Clarke, Maureen Lewis, Raisa Venalainen, Regina Bendokat, Robert
Prouty e Robin Horn.
Agradecemos especialmente a Aidan Mulkeen e Sarah Plouffe. Re-
cebemos apoio valioso de Cynthia Guttman, Matseko Ramokoena,
Aleksandra Sawicka, Pam Spagnoli, Beata Thorstensen, Myriam Waiser,
Peter Winograd e Hans Wagemaker. Tambm somos gratos a Patricia
Arregui, Harsha Aturupane, Luis Benveniste, Jean-Marc Bernard, Carly
Cheevers, Zewdu Gebrekidan, Venita Kaul, Pedro Ravela e Kin Bing
Wu.
Desejamos agradecer s seguintes instituies a permisso de re-
produzir seu material: Examinations Council of Lesotho (Conselho
de Exames do Lesoto), International Association for the Evaluation of
Educational Achievement (Associao Internacional para Avaliao do
Aproveitamento Escolar), National Center for Education Statistics of
the U.S. Department of Education (Centro Nacional de Estatsticas
de Educao do Departamento de Educao) (EUA), Organisation for
Economics Co-operation and Development (Organizao para a Coope-
rao e o Desenvolvimento Econmico) (OCDE) e Papua New Guinea
Department of Education (Departamento de Educao de Papua Nova
Guin).
Hilary Walshe ajudou a preparar o manuscrito. O desenho, a edio e
produo dos livros foram coordenados por Mary Fisk e Paola Scalabrin,
do Escritrio de Publicaes do Banco Mundial.
O Irish Educational Trust Fund; o Bank Netherlands Partnership Pro-
gram; o Educational Research Center, Dublin; e o Australian Council
for Educational Research deram generoso apoio preparao e publica-
o desta srie.
A traduo desta srie para o portugus s foi possvel com o genero-
so apoio da Russia Education Aid for Development Trust Fund.
PREFCIO
N
um discurso para marcar os primeiros 100
dias de sua presidncia do Grupo Banco
Mundial, Robert Zoellick delineou seis te-
mas estratgicos para orientar o trabalho do Banco com vista promoo
de uma globalizao inclusiva e sustentvel. Um desses temas centrou-
se no papel do Banco como uma instituio singular e especial de co-
nhecimento e aprendizagem... um brain trust de experincia aplicada.
Zoellick observou que, para cumprir esse papel, o banco deve enfocar,
contnua e rigorosamente, os resultados e a avaliao da efetividade.
Esse desafio maior na rea de educao, em que um grande corpo de
evidncias empricas associa educao e crescimento econmico e indica
que o aumento das taxas de matrcula e de concluso so condies ne-
cessrias, mas no suficientes, para a reduo da pobreza. Em vez disso, a
melhoria dos produtos do aprendizado melhores nveis de conhecimen-
to e de habilidades cognitivas dos alunos fundamental para aliviar a po-
breza e elevar a competitividade econmica (e ser crucial para sustentar
os ganhos j obtidos no acesso educao). Em outras palavras, o pleno
potencial da educao em relao ao crescimento econmico s pode se
concretizar se o ensino oferecido for de alta qualidade e se forem desen-
volvidos os conhecimentos e as habilidades cognitivas dos alunos.
As evidncias disponveis indicam que muito baixa a qualidade dos
resultados do aprendizado nos pases em desenvolvimento. Ao mesmo
tempo, apenas alguns desses pases monitoram sistematicamente esses
resultados, seja realizando as prprias avaliaes do aproveitamento dos
alunos, seja participando de avaliaes regionais ou internacionais. A fal-
ta desse tipo de informao sistemtica sobre o aprendizado dos alunos
no mbito do sistema educacional como um todo torna difcil avaliar os
nveis globais de aproveitamento e o desempenho relativo de determi-
nados subgrupos e acompanhar a evoluo do aproveitamento ao lon-
go do tempo. Isso tambm torna mais difcil determinar a efetividade
das polticas governamentais destinadas a melhorar os resultados nessas
reas e em outras.
Essa mudana do foco, saindo do acesso e passando a se concentrar no
aproveitamento, uma questo central para o Banco e os pases-mem-
bros. Trata-se tambm de uma rea que carece de ferramentas e recursos
adequados s necessidades dos pases em desenvolvimento. Esta srie de
livros editados por Vincent Greaney e Kellaghan Thomas contribui
de maneira significativa para cobrir essa lacuna. A srie foi concebida
para tratar de muitos dos problemas envolvidos e fazer com que os re-
sultados do aprendizado ganhem maior importncia na agenda educa-
cional de pases de baixa renda. Ela ajudar os pases a desenvolver sua
capacidade de medir os nveis nacionais de aprendizado dos alunos de
formas mais vlidas, sustentveis e sistemticas. Espera-se que essa ca-
pacidade se traduza na elaborao de polticas baseadas em evidncias
e que levem melhoria perceptvel da qualidade do aprendizado. um
componente importante do esforo para alcanar a promessa real de que
a educao esteja associada a economias dinmicas.
Marguerite Clarke
Especialista Snior em Educao
SUMRIO
1 INTRODUO 1
2 AVALIAES NACIONAIS DE APROVEITAMENTO

DE ALUNOS 7
Quais so os principais elementos de uma avaliao nacional? 12
Quais as diferenas entre avaliao nacional e exames pblicos? 14
3 POR QUE REALIZAR UMA AVALIAO NACIONAL? 17
4 DECISES ENVOLVIDAS NUMA AVALIAO NACIONAL 23

Quem deve dar orientaes de polticas para a avaliao nacional? 23
Quem deve realizar a avaliao nacional? 25
Quem aplicar as provas e os questionrios? 30
Qual o pblico-alvo a ser avaliado? 31
A avaliao cobrir todo o pblico-alvo ou apenas uma amostra? 33
O que ser avaliado? 35
Como ser avaliado o aproveitamento? 40
Com que frequncia sero realizadas as avaliaes? 45
Como deve ser divulgado o aproveitamento dos alunos? 45
Que tipos de anlises estatsticas devem ser feitas? 48
Como devem ser apresentados e usados os resultados de uma
avaliao nacional? 50
Quais so os componentes de custo de uma avaliao nacional? 52
Resumo das decises 55
5 QUESTES ENVOLVIDAS NAS FASES DE PROJETO,

IMPLEMENTAO, ANLISE, APRESENTAO DE
RELATRIO E UTILIZAO DE UMA AVALIAO NACIONAL 57
Projeto 57
Implementao 59
Anlise 61
Elaborao do relatrio 64
Divulgao e utilizao das constataes 65
6 AVALIAES INTERNACIONAIS DO APROVEITAMENTO

DE ALUNOS 67
Crescimento da atividade de avaliao internacional 69
Vantagens das avaliaes internacionais 72
Problemas das avaliaes internacionais 77
7 CONCLUSO 83
APNDICES
A ESTUDOS DE CASO DE PASES 91

A.1. ndia 91
A.2. Vietn 93
A.3. Uruguai 97
A.4. frica do Sul 99
A.5. Sri Lanka 102
A.6. Nepal 105
A.7. Chile 107
A.8. Estados Unidos 110
A.9. Uganda 113
B ESTUDOS INTERNACIONAIS 119

B.1. Tendncias internacionais no estudo de matemtica
e cincias (TIMSS) 119
B.2. Estudo internacional sobre o progresso do letramento
em leitura (PIRLS) 125
B.3. Programa internacional de avaliao de alunos PISA 129
C ESTUDOS REGIONAIS 139
C.1. Consrcio da frica Austral e Oriental para monitoramento
da qualidade da educao (SACMEQ) 139
C.2. Programa de anlise dos sistemas de educao da Confemen
PASEC 148
C.3. Laboratrio latino-americano de avaliao da qualidade da
educao 153
REFERNCIAS 159
NDICE 169
QUADROS
2.1 Etipia: Objetivos da Avaliao Nacional 11

2.2 Exemplo de Questes Abordadas na Avaliao Nacional
do Vietn 11
2.3 Principais Elementos de uma Avaliao Nacional 13
4.1 Composio da CCN Proposta em Serra Leoa 24
4.2 Exemplos de Itens de Mltipla Escolha 43
4.3 Exemplos de Itens Abertos 43
6.1 A Experincia da frica do Sul com Avaliaes
Internacionais 82
FIGURAS
3.1 O Hiato no Aproveitamento entre Alunos de 9 Anos nos Estados

Unidos: Avaliao da Leitura, NAEP 1971-99 19
3.2 Porcentagens de Alunos da 4a Srie nos Nveis Proficiente
ou Acima em Leitura, NAEP 1992-2003 20
4.1 Percentual Mdio de Respostas Corretas em Matemtica,
por reas de Contedo no Lesoto 47
A.9.1 Distribuio das Pontuaes do Teste de Letramento na
6a Srie em Uganda 116
B.3.1 Amostra de Itens do Teste de Matemtica do PISA 132
B.3.2 Pontuaes Mdias de Letramento em Leitura e Pontuaes na
Subescala de Leitura do PISA, 2000 134
B.3.3 Nveis de Proficincia dos Alunos em Matemtica no PISA 135
B.3.4 Percentual de Alunos em Cada Nvel de Proficincia na Escala
de Matemtica do PISA 136
B.3.5 Percentual de Alunos em Cada Nvel de Proficincia na Escala
de Leitura do PISA 137
C.1.1 Percentual de Alunos da 6a Srie que Alcanaram Nveis
de Proficincia em Leitura no SACMEQ, 1995-98 146
C.1.2 Mudanas nas Pontuaes de Letramento entre o SACMEQ I
e o SACMEQ II 147
C.2.1 Percentual de Alunos da 5a Srie com Baixo
Aproveitamento, PASEC, 1996-2001 151
C.3.1 Percentual de Alunos em Cada Nvel de Desempenho em
Linguagem, por Tipo de Escola e Localizao, LLECE 1997 157
TABELAS
2.1 Diferenas entre Avaliaes Nacionais e Exames Pblicos 16

4.1 Opes para Realizar uma Avaliao Nacional 26
4.2 Vantagens e Desvantagens da Avaliao Baseada no Censo
para Manter a Responsabilidade das Escolas 35
4.3 Processos de Compreenso de Leitura do PIRLS 37
4.4 Percentual que Alcanou a Meta ou o Nvel de Domnio por
Srie, Connecticut, 2006 49
4.5 rgos com a Responsabilidade Principal pelas Decises numa
Avaliao Nacional 55
6.1 Comparao entre o TIMSS e o PISA 70
6.2 Porcentagem de Alunos da 8a Srie que Alcanaram os Padres de
Referncia Internacionais do TIMSS em Matemtica: Pases com
Pontuaes Altas e Baixas 80
A.2.1 Porcentagens e Erros-Padro de Alunos com Diferentes
Nveis de Habilidade em Leitura 96
A.2.2 Relao entre Algumas Variveis Relativas ao Professor e ao
Aproveitamento em Matemtica 96
A.5.1 Dados sobre Antecedentes e Fonte na Avaliao Nacional do
Sri Lanka 103
A.5.2 Porcentagem de Alunos que Alcanaram o Domnio da Primeira
Lngua, por Provncia 109
A.7.1 ndice para Prmios de Merecimento para Escolas no Chile,
1998-99 110
A.9.1 Porcentagem de Alunos da 3a Srie em Uganda com Nvel de
Proficincia em Letramento em Ingls, 2005 114
B.1.1 Percentuais-alvos dos Testes de Matemtica do TIMSS 2007
relativos aos Domnios de Contedo e Cognitivos, 4a e 8a Sries 122
B.1.2 Distribuio do Aproveitamento em Matemtica na 8a Srie
no TIMSS 124
B.2.1 Porcentuais de Alunos da 4a Srie que Alcanaram os Padres
de Referncia do PIRLS em Aproveitamento em Leitura 128
Linguagem, por Tipo de Escola e Localizao, LLECE 1997 155
Matemtica, por Tipo de Escola e Localizao, LLECE 1997 156
ABREVIAES
CONFEMEN Conferncia dos Ministros da Educao dos Pases de

Lngua Francesa
DiNIECE Direo Nacional de Informao e Avaliao da Quali-
dade da Educao Argentina
IEA Associao Internacional para Avaliao do Aproveita-
mento Escolar
IIEP Instituto Internacional para o Planejamento Educacional
LLECE Laboratrio Latino-Americano de Avaliao da Quali-
dade da Educao
MESyFOD Programa de Modernizao da Educao Secundria e
Formao de Docentes Uruguai
NAEP Avaliao Nacional do Progresso Educacional Estados
Unidos
NAPE Avaliao Nacional do Progresso em Educao Uganda
OCDE Organizao para a Cooperao e o Desenvolvimento
Econmico
PASEC Programa de Anlise dos Sistemas Educacionais da
CONFEMEN
PIRLS Estudo Internacional sobre o Progresso do Letramento
em Leitura
PISA Programa Internacional de Avaliao de Alunos
SACMEQ Consrcio da frica Austral e Oriental para Monitoramen-
to da Qualidade da Educao
SIMCE Sistema de Medio da Qualidade da Educao Chile
SNED Sistema Nacional de Avaliao do Desempenho dos
Estabelecimentos Educacionais Subvencionados Chile
SSA Sarva Shiksha Abhiyan India
TIMSS Estudo das Tendncias Internacionais no Estudo de Ma-
temtica e Cincias
UMRE Unidade de Medio de Resultados Educacionais Uruguai
UNEB Comisso Nacional de Exames de Uganda
UNESCO Organizao das Naes Unidas para a Educao, a Cin-
cia e a Cultura
CAPTULO
1 INTRODUO
N
este livro introdutrio, descrevemos as
principais caractersticas das avaliaes na-
cionais e internacionais que, nas dcadas de
1990 e 2000, tornaram-se ferramentas extremamente populares para
determinar a qualidade da educao. Esse aumento de popularidade re-
flete duas mudanas importantes. Em primeiro lugar, a crescente glo-
balizao e o interesse em mandatos globais, incluindo o Educao Para
Todos (UNESCO, 2000). Em segundo, representa uma mudana geral
de nfase: o foco do processo de avaliao da qualidade da educao
desvincula-se dos insumos (como taxas de participao dos alunos, ins-
talaes fsicas, material didtico e formao de professores) e passa a se
concentrar nos resultados (como os conhecimentos e as habilidades que
os alunos adquiriram em consequncia da exposio ao ensino) (Kella-
ghan e Greaney, 2001b). Por sua vez, essa nfase nos resultados pode
ser considerada expresso da preocupao com o desenvolvimento do
capital humano, a partir de duas convices: de que o conhecimento
est substituindo as matrias-primas e o trabalho como recurso para o
desenvolvimento econmico e que a disponibilidade de conhecimen-
tos e habilidades essencial para determinar a taxa de desenvolvimento
econmico de um pas e sua competitividade num mercado internacio-
2 | SRIE P ESQUISAS DO BA NC O M U NDI AL SOB R E AVAL I A E S DE DE SE M PE NH O E DU C AC I ONAL
nal (Kellaghan e Greaney, 2001a). Para dar uma resposta a essa preo-
cupao, foi necessrio obter informaes sobre o aproveitamento dos
sistemas educacionais, e isso, por sua vez, resultou em que as provas
tradicionais de aproveitamento, at ento usadas para avaliar os alunos
individualmente, passassem a ser utilizadas para se obter informao
sobre os resultados do sistema educacional como um todo (ou de um
segmento claramente definido).
O desenvolvimento da capacidade nacional de avaliao tem permi-
tido que os ministrios de Educao como parte de sua funo gesto-
ra descrevam os nveis nacionais de aproveitamento, especialmente
nas principais reas temticas, e comparem os nveis de aproveitamento
dos principais subgrupos (tais como meninos e meninas, grupos tnicos,
alunos de escolas rurais e urbanas, alunos de escolas pblicas e particu-
lares). Adicionalmente, isso fornece evidncias que permitem aos minis-
trios apoiarem ou refutarem afirmaes de que, ao longo do tempo, os
padres de aproveitamento dos alunos esto subindo ou baixando.
Apesar do aumento das atividades de avaliao nos mbitos nacional
e internacional, h ainda, em vrios lugares, falta de compreenso a res-
peito do valor potencial dos dados que a avaliao pode fornecer, bem
como carncia daquelas habilidades necessrias para realizar uma slida
avaliao tcnica. Mesmo quando os pases procedem a uma avaliao
nacional ou participam de uma avaliao internacional, com frequncia
as informaes resultantes no so plenamente exploradas. Existem di-
versas possveis razes para isso: o envolvimento dos formuladores de
polticas com a avaliao pode ter sido apenas perifrico, e talvez no
tenha se comprometido totalmente com ela; os resultados da anlise
podem no ter sido comunicados de forma inteligvel para os formu-
ladores de polticas; ou os formuladores talvez no tenham percebido
plenamente as implicaes das concluses para a poltica social em geral
ou para a poltica educacional, em especial no que se refere a definies
sobre currculos, alocao de recursos, prticas de ensino e desenvolvi-
mento profissional dos professores.
Para abordar essas questes, esta srie de livros foi concebida como
uma forma de levar ao conhecimento dos leitores a complexa tecnologia
que se tem desenvolvido no campo da realizao de avaliaes nacionais
AVAL I A O DOS N V E I S DE APR OV E I TAM E NTO E SC OL AR | 3
e internacionais. Este livro introdutrio descreve os principais conceitos

de avaliaes e procedimentos nacionais e destina-se, principalmente,
a formuladores de polticas e tomadores de decises na rea da educa-
o. Os objetivos e as principais caractersticas das avaliaes nacionais
so descritos no Captulo 2 (veja tambm Apndice A). As razes para
a realizao de uma avaliao nacional so consideradas no Captulo 3, e
as principais decises envolvidas no projeto e no planejamento de uma
avaliao so abordadas no Captulo 4. As questes que devem ser levadas
em conta, bem como os erros comuns a serem evitados nas fases de proje-
to, implementao, anlise, apresentao de relatrios e utilizao de uma
avaliao nacional so identificados no Captulo 5. No Captulo 6 esto
descritas as avaliaes internacionais de aproveitamento dos alunos, cujos
procedimentos tm muitas caractersticas em comum com as avaliaes
nacionais (tais como amostragem, aplicao das provas, coleta de dados
sobre antecedentes e contextos, e mtodos de anlise (veja Apndice B).
A principal diferena entre as avaliaes nacionais e internacionais
destaca tanto o ponto forte quanto o ponto fraco de uma avaliao inter-
nacional. Ela tem como ponto forte o fato de fornecer dados sobre certo
nmero de pases, permitindo a cada um deles comparar os resultados
de seus alunos com os resultados obtidos pelos de outros. O ponto fraco
que a exigncia de que os instrumentos de teste sejam aceitveis para
todos os pases participantes faz com que talvez no reflitam exatamente
a gama de aproveitamentos dos alunos de diferentes pases.
Outra caracterstica das avaliaes internacionais que levam os pa-
ses participantes a coletar dados de mbito nacional para fazer sua an-
lise interna. Com isso, os dados coletados para o estudo internacional
podem ser usados para o que seria, de fato, uma avaliao nacional. No
entanto, essa prtica tem seus problemas, e os dados obtidos desse modo
podem ser menos adequados para a elaborao de polticas do que se
tivessem sido coletados para uma avaliao nacional especfica.
Um procedimento intermedirio, que se situa entre as avaliaes na-
cionais de cada pas e os estudos internacionais em grande escala que
abrangem todo o mundo, o estudo regional. Nesse, vrios pases de uma
regio, que provavelmente compartilham diversas caractersticas socioe-
conmicas e culturais, colaboram num estudo (veja Apndice C).
Outra variante a avaliao subnacional, limitada a uma regio (esta-

do ou provncia) dentro de um pas. Avaliaes subnacionais foram rea-
lizadas em vrios pases de grandes dimenses (como Argentina, Brasil e
Estados Unidos) para satisfazer a necessidades de informaes locais ou
regionais. Esses exerccios so relativamente independentes e diferem
das avaliaes nacionais, na medida em que os instrumentos e procedi-
mentos aplicados variam entre as regies, o que impede comparaes
inter-regionais diretas do aproveitamento dos alunos.
No captulo final deste volume, so apresentadas algumas concluses
gerais e feitas consideraes sobre condies relativas ao desenvolvimen-
to e institucionalizao da capacidade de avaliao nacional e utiliza-
o tima dos resultados da avaliao. No final do livro, so descritas as
principais caractersticas das avaliaes nacionais em nove pases (Apn-
dice A), seguidas de descries de trs estudos internacionais (Apndice
B) e trs estudos regionais (Apndice C).
Os livros subsequentes desta srie fornecem detalhes sobre a concep-
o e a implementao de uma avaliao nacional. So livros destinados
a pessoas diretamente envolvidas na elaborao de provas e question-
rios e na coleta, anlise ou descrio de dados de uma avaliao na-
cional. Foram concebidos como uma introduo aos aspectos tcnicos
fundamentais e s habilidades bsicas necessrias para a realizao dessas
tarefas.
O Volume 2, Desenvolvimento de testes e questionrios para avalia-
o do desempenho educacional, tem uma parte dedicada elaborao
de cada um dos trs principais instrumentos: testes de aproveitamento,
questionrios e manuais de aplicao de provas. A Parte I aborda a ela-
borao de testes de aproveitamento e do papel que o contexto de um
teste e o esquema ou tabela de especificaes desempenham na elabora-
o. Descreve o processo de redao de itens (ou questes) e d exem-
plos de vrios tipos, incluindo itens de mltipla escolha, resposta curta e
questes abertas. Tambm descreve o processo de reviso dos itens, ou
painel, que uma atividade essencial para garantir a validade do con-
tedo da prova. Inclui diretrizes para realizar pr-testes, selecionar os
itens para a prova final e produzir a verso final de uma prova. A parte
termina com uma breve exposio sobre o treinamento de pontuadores
ou avaliadores e sobre a pontuao manual das questes. A segunda par-

te descreve as etapas da elaborao de questionrios: concepo de um
questionrio, redao dos itens, pontuao e codificao de respostas
e associao entre os dados derivados do questionrio e as pontuaes
de aproveitamento dos alunos. A parte final descreve a concepo e o
contedo de um manual de aplicao, a seleo dos aplicadores de teste
e o papel que lhes cabe.
O Volume 3 tambm est dividido em trs partes. A Parte I con-
centra-se em questes prticas a serem abordadas na execuo de um
programa de avaliao nacional em larga escala. Abrange planejamento,
oramentao, contratao de pessoal, obteno de instalaes e equi-
pamentos, contatos com as escolas, seleo de aplicadores de provas,
embalagem e expedio, e garantia da segurana da prova. Esta parte
tambm cobre os aspectos logsticos de pontuao de provas, limpeza
de dados e elaborao de relatrios. A Parte II inclui um manual com
todos os passos necessrios para que as equipes de avaliao desenhem
uma amostra nacional adequada. A limpeza e o gerenciamento de dados
so abordados na parte final.
A primeira metade do Volume 4 trata da gerao de dados em n-
vel de item, utilizando tanto a abordagem da teoria clssica das provas
quanto a da teoria da resposta ao item. Os tpicos abordados incluem
anlise dos itens da prova-piloto e da prova final, monitoramento de
mudanas no aproveitamento ao longo do tempo, construo de um
teste a partir de itens previamente criados, calibragem e estabelecimento
de nveis de aproveitamento ou de proficincia. A segunda metade do
livro foi projetada para ajudar os analistas a realizar uma anlise de nvel
bsico dos resultados da avaliao nacional e inclui sees sobre medidas
de tendncia central e disperso, diferenas na pontuao mdia, identi-
ficao de alunos de alto e baixo aproveitamento, correlao, regresso
e representao visual de dados.
O uso dos resultados da avaliao do desempenho educacional, o Volu-
me 5, centra-se nas formas de elaborar relatrios destinados aos que tm
influncia sobre as polticas. Apresenta uma metodologia para projetar
uma estratgia de comunicao e divulgao de um programa nacional
de avaliao. Tambm descreve a preparao de relatrios tcnicos, de
comunicados de imprensa, de sesses de informao para os principais

formuladores de polticas e de relatrios para professores e outros gru-
pos de especialistas. A segunda parte do livro destaca alguns dos usos
efetivos que os pases tm dado aos resultados das avaliaes nacionais,
como elaborao de polticas, reforma curricular, distribuio de recur-
sos, treinamento de professores, atribuio e cobrana de responsabili-
dades, monitoramento das mudanas registradas no aproveitamento e
em outras variveis ao longo do tempo.
Antecipa-se que as pessoas que estudarem o contedo desses livros e
realizarem os exerccios propostos adquiriro as habilidades bsicas ne-
cessrias para uma avaliao nacional. Devem, no entanto, ter em mente
trs fatores. Primeiro, no devem encarar os livros como um conjun-
to de meras frmulas ou algoritmos a serem aplicados mecanicamente.
Em vez disso, devem estar preparadas para tomar decises em diversas
etapas da avaliao nacional (por exemplo, na seleo do contedo da
prova, na amostragem e na anlise). medida que se ganhe experin-
cia, o processo de tomada de decises sobre essas questes dever ser
simplificado. Em segundo lugar, os usurios podem, por vezes, solicitar
o aconselhamento de profissionais mais experientes antes de tomar suas
decises. Em terceiro lugar, devem estar preparados para se adaptar s
mudanas no conhecimento e na tecnologia que, inevitavelmente, ocor-
rero nesta rea nos prximos anos.
CAPTULO
2 AVALIAES
NACIONAIS DE
APROVEITAMENTO
DE ALUNOS
C
omeamos o captulo definindo uma ava-
liao nacional e listando questes a que
se destinaria a responder. Em seguida, fa-
zemos uma lista dos principais elementos de uma avaliao nacional.
Finalmente, consideramos as diferenas entre avaliao nacional e
exames pblicos.
Uma avaliao nacional projetada para descrever o aproveitamento
dos alunos em uma rea de currculo e agregar essas informaes para
fornecer uma estimativa do nvel de aproveitamento no sistema edu-
cacional como um todo em determinada idade ou nvel de ensino. Ela
fornece dados para se realizar determinado tipo de auditoria nacional
da educao, com vista a levar aos formuladores de polticas informa-
es sobre aspectos-chave do sistema. Em geral, isso envolve a aplica-
o de provas de aproveitamento, a uma amostra ou a uma populao
de alunos, geralmente centrada num setor particular do sistema (como
alunos da 5 srie ou alunos com 13 anos). Os professores e outros (por
exemplo, pais, diretores e alunos) podem ser solicitados a fornecer infor-
maes sobre antecedentes e contextos, geralmente em questionrios;
quando relacionadas ao aproveitamento do aluno, essas informaes po-
dem permitir a percepo de como o aproveitamento est relacionado
com fatores como caractersticas das famlias, nveis de formao dos

professores, atitudes dos professores com relao a diferentes reas de
currculos, conhecimento dos professores e disponibilidade de material
de ensino-aprendizagem.
Os sistemas de avaliao nacional em vrias partes do mundo tendem
a apresentar traos comuns. Todos incluem avaliao da linguagem dos
alunos, ou letramento em leitura, e de suas habilidades matemticas (ou
letramento em matemtica). Alguns sistemas avaliam o aproveitamento
dos alunos em um segundo idioma, em cincias, arte, msica ou estudos
sociais. Praticamente todos os sistemas nacionais de avaliao avaliam
os alunos do primeiro grau. Em muitos sistemas, avaliaes nacionais
tambm so realizadas no segundo grau, geralmente no perodo de esco-
laridade obrigatria.
Os sistemas nacionais de avaliao tambm diferem de um pas para
outro. Em primeiro lugar, diferem na frequncia com que so realizadas
as avaliaes. Em alguns pases, a avaliao realizada todos os anos,
embora a rea de currculo avaliada possa variar de ano para ano. Em
outros sistemas, as avaliaes so menos frequentes. Em segundo lugar,
diferem quanto ao rgo que realiza a avaliao. Em alguns sistemas,
isso cabe ao Ministrio da Educao; em outros, cabe a um centro de
pesquisa nacional, um consrcio de entidades educacionais, uma uni-
versidade ou uma comisso de exames. Em terceiro lugar, a participao
de uma escola pode ser voluntria ou obrigatria. Quando voluntria, a
no participao de algumas escolas quase invariavelmente distorce os
resultados e leva a uma imagem inexata dos nveis de aproveitamento no
sistema educacional.
Embora a maioria dos pases industrializados j tivesse sistemas de
avaliao nacional havia algum tempo, somente na dcada de 1990 a
capacidade de gerir as avaliaes tornou-se mais amplamente disponvel
em outras partes do mundo. Por exemplo, ocorreu um rpido desenvol-
vimento da criao de avaliaes nacionais durante a dcada de 1990
em municpios da Amrica Latina e do Caribe, muitas vezes para for-
necer dados de linha base para reformas educacionais (Rojas e Esquivel,
1998). Depois da Declarao de Jomtien (veja Declarao Mundial so-
bre Educao Para Todos, 1990), esse desenvolvimento representou uma
mudana na avaliao da qualidade, tirando o foco dos insumos educa-

cionais e passando a enfatizar resultados. O artigo 4o da Declarao de
Jomtien afirma que o foco da educao bsica deve estar na aquisio
do aprendizado e de seus resultados efetivos, e no mais exclusivamente
na matrcula, na participao continuada em programas estabelecidos e
no atendimento aos requisitos de certificao (Declarao Mundial so-
bre Educao Para Todos, 1990, 5). Mais recentemente, o Plano de Ao
de Dacar (UNESCO, 2000), produzido no final dos 10 anos de acom-
panhamento de Jomtien, tambm destacou a importncia dos resultados
do aprendizado. Entre a lista dos sete objetivos acordados, estava o de,
at 2015, melhorar todos os aspectos da qualidade da educao... de
modo que resultados reconhecidos e mensurveis sejam alcanados por
todos, especialmente em letramento em linguagem, letramento em ma-
temtica e habilidades essenciais para a vida (UNESCO, 2000, iv, 7).
Esses objetivos implicam que, para os pases que se comprometeram
a atingir as metas estabelecidas em Educao Para Todos, os esforos
para melhorar a qualidade da educao tero de ser acompanhados de
procedimentos que forneam informaes sobre o aprendizado dos alu-
nos. Como resultado, os governos nacionais e os rgos doadores tm
aumentado bastante o apoio a avaliaes nacionais destinadas a monito-
rar o aproveitamento dos alunos. O pressuposto frequente que no s
as avaliaes nacionais fornecero informaes sobre o estado da educa-
o, mas tambm que o uso dessa informao deve levar melhoria do
aproveitamento.
Se essa melhoria finalmente acontecer ou no, algo ainda a ser
visto. At agora, no parece haver se materializado a expectativa de que
Educao Para Todos e o acompanhamento regular dos nveis de apro-
veitamento resultassem em melhoria dos padres de aprendizado (Pos-
tlethwaite, 2004). Isso pode se dever ao fato de que, embora Educao
Para Todos tenha levado ao rpido aumento no nmero de alunos que
frequentam a escola, esse aumento no foi acompanhado de mais recur-
sos (especialmente de professores treinados). Alm disso, as informaes
obtidas nas avaliaes tm sido, muitas vezes, de m qualidade, e, mes-
mo quando isso no ocorre, no vm sendo sistematicamente levadas em
conta para a tomada de decises.
10 | SRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I A E S DE DE SE M PE NH O E DU C AC I ONAL
Todas as avaliaes nacionais procuram respostas para uma ou mais

das seguintes perguntas:
yComo est o aprendizado dos alunos no sistema educacional (com

referncia a expectativas gerais, objetivos do currculo, preparao
para continuar o aprendizado ou preparao para a vida)?
yExistem evidncias de pontos fortes e fracos especficos no conheci-
mento e nas habilidades dos alunos?
yExistem subgrupos na populao-alvo que apresentam baixo apro-
veitamento? Existem disparidades, por exemplo, entre o aproveita-
mento de meninos e meninas, alunos de escolas urbanas e escolas
rurais, alunos de idiomas ou grupos tnicos diferentes, ou alunos em
diferentes regies do pas?
yQuais os fatores associados ao aproveitamento dos alunos? Em que
medida o aproveitamento varia de acordo com as caractersticas do
ambiente de aprendizagem (por exemplo, recursos da escola, forma-
o e competncia dos professores, tipo de escola) ou com as circuns-
tncias das famlias dos alunos e de suas comunidades?
yEsto sendo cumpridos os padres estabelecidos pelo governo para a
proviso de recursos (por exemplo, livros didticos, qualificao dos
professores e outros insumos relacionados qualidade)?
yO aproveitamento dos alunos muda ao longo do tempo? Essa questo
pode ser de particular interesse se estiverem sendo realizadas refor-
mas no sistema educacional. Para responder pergunta, necessrio
realizar avaliaes que produzam dados comparveis em diferentes
pontos no tempo (Kellaghan e Greaney, 2001b, 2004).
A maioria dessas questes foi levada em conta durante o processo de

desenho e implementao da avaliao nacional feita pela Etipia (veja
o Quadro 2.1).
Uma caracterstica da abordagem do Vietn avaliao nacional,
alm de avaliar o aproveitamento dos alunos, foi o forte foco em insu-
mos fundamentais, como condies fsicas das escolas, acesso a materiais
educativos e qualificao dos professores (veja o Quadro 2.2).
QUADRO 2.1
Etipia: Objetivos da Avaliao Nacional

1. Determinar o nvel de aproveitamento acadmico dos alunos e o desenvolvimen-
to de atitudes na educao bsica etope.
2. Analisar as variaes no aproveitamento dos alunos por regio, gnero, localiza-
o e idioma de instruo.
3. Explorar os fatores que influenciam o aproveitamento dos alunos no ensino bsico.
4. Monitorar a melhoria do aproveitamento dos alunos desde a realizao do pri-
meiro estudo de base em 1999/2000.
5. Desenvolver a capacidade do sistema educacional para realizar avaliaes nacionais.
6. Criar dados de linha de base confiveis para o futuro.
7. Gerar recomendaes para a formulao de polticas destinadas a melhorar a
qualidade da educao.
Fonte: Etipia, Organizao Nacional de Exames, 2005.
QUADRO 2.2
Exemplo de Questes Abordadas na Avaliao Nacional do Vietn
Questes Relativas a Insumos
y Quais as caractersticas dos alunos da 5 srie?
y Quais as condies de ensino nas salas de aula da 5 srie e nas escolas do pri-
meiro grau?
y Qual o estado geral dos edifcios escolares?
Questes Relativas a Padres de Facilidades Educacionais
y Foram cumpridas as normas do Ministrio em relao a:
Tamanho da turma?
Mobilirio da sala de aula?
Qualificaes dos membros da equipe?
Questes Relativas Equidade dos Insumos para as Escolas
y Houve equidade na distribuio dos recursos entre as provncias e entre escolas

de uma mesma provncia, em termos de:
Insumos de recursos materiais?
Insumos de recursos humanos?

QUADRO 2.2
Questes Relativas ao Aproveitamento
y Qual o percentual de alunos que atingiram os diferentes nveis de habilidade em

leitura e matemtica?
y Qual o nvel atingido pelos professores da 5a srie em leitura e matemtica?
Questes Relativas a Influncias sobre o Aproveitamento
y Quais os principais fatores que explicam a varincia no aproveitamento em leitura

e matemtica?
y Quais as principais variveis em que se diferenciaram as escolas mais eficazes e

as menos eficazes?
Fonte: Banco Mundial, 2004.
QUAIS SO OS PRINCIPAIS ELEMENTOS

DE UMA AVALIAO NACIONAL?
Embora as avaliaes nacionais possam variar na forma como so imple-

mentadas, tendem a conter vrios elementos comuns (veja o Quadro 2.3
e Kellaghan e Greaney, 2001b, 2004).
evidente, a partir da lista de elementos no Quadro 2.3, que ne-
cessria uma boa dose de reflexo e preparao antes de se chegar
etapa em que os alunos estejam efetivamente realizando as provas de
avaliao. Deve ser nomeado um rgo responsvel pela coleta de dados,
devem ser tomadas decises sobre as questes de polticas a serem abor-
dadas e as provas e os questionrios devem ser elaborados e testados.
Na fase de preparao do teste propriamente dito, devem ser iden-
tificadas as amostras (ou o pblico-alvo) de escolas e alunos, as escolas
devem ser contatadas e os aplicadores de prova, selecionados e treina-
dos. Em alguns pases (por exemplo, ndia, Vietn e alguns pases da
frica), os professores foram submetidos a uma avaliao que continha
as mesmas tarefas dadas a seus alunos (veja A.1 e A.2 no Apndice A e
C.1 no Apndice C). Aps a aplicao da prova, ser necessrio dedicar
muito tempo e esforo para preparar os dados para anlise, avali-los e
redigir os relatrios.
QUADRO 2.3
Principais Elementos de uma Avaliao Nacional
y O Ministrio da Educao nomeia um rgo implementador no mbito do minis-

trio ou um organismo externo e independente (por exemplo, um departamento
universitrio ou uma organizao de pesquisa) e prov o financiamento.
y O Ministrio da Educao determina necessidades de polticas que devem ser

abordadas na avaliao, s vezes em consulta com as partes interessadas mais
importantes na rea da educao (por exemplo, representantes dos professores,
especialistas em currculo, pessoas da rea empresarial e pas de alunos).
y O Ministrio da Educao, ou uma comisso de coordenao nomeada por ele,

identifica o pblico-alvo a ser avaliado (por exemplo, alunos da 4 srie).
y O Ministrio da Educao determina a rea de aproveitamento a ser avaliada (por

exemplo, letramento em linguagem ou em matemtica).
y O rgo implementador define a rea de aproveitamento e a descreve em funo

de contedos e habilidades cognitivas.
y O rgo implementador prepara provas de aproveitamento e material de apoio

questionrios e manuais de aplicao e adota medidas para garantir sua validade.
y As provas e os documentos de apoio so previamente testados pelo rgo

implementador e, posteriormente, analisados pela comisso de coordenao
e por outros rgos competentes para determinar a adequao de currculos
e assegurar que os itens levem em conta sensibilidades de gnero, tnicas e
culturais.
y O rgo implementador seleciona a amostra-alvo (ou populao-alvo) de escolas

ou alunos, providencia a impresso de materiais e estabelece comunicao com
as escolas selecionadas.
y O rgo implementador treina aplicadores de provas (por exemplo, professores,

inspetores escolares ou estudantes universitrios).
y Os instrumentos da pesquisa (provas e questionrios) so aplicados nas escolas

em uma data especificada e sob a direo geral do rgo implementador.
y O rgo implementador assume a responsabilidade pela coleta dos instrumentos

da pesquisa e por encaminh-los para a atribuio de pontos, alm de se encarre-
gar da limpeza e preparao dos dados para anlise.
y O rgo implementador estabelece a confiabilidade dos instrumentos de avalia-

o e dos procedimentos.
y O rgo implementador procede anlise dos dados.
y Verses preliminares dos relatrios so preparadas pelo rgo implementador e

revistas pela comisso de coordenao.
QUADRO 2.3
y Os relatrios finais so preparados pelo rgo implementador e divulgados pela

autoridade competente.
y O Ministrio da Educao e outros interessados relevantes revisam os resultados

em funo das necessidades de polticas a que pretendem atender e determinam
um curso de ao adequado.
Fonte: Autores.
Ao tentar realizar uma avaliao nacional, os pases de baixa renda

tm de lidar com problemas de maior monta que os enfrentados por
outros pases. Seus oramentos para educao podem ser exguos. De
acordo com dados de 2005 (Banco Mundial, 2007), alguns pases alo-
cam 2% ou menos do produto interno bruto para a educao pblica
(por exemplo, Bangladesh, Camares, Chade, Repblica Dominicana,
Guin, Cazaquisto, Laos, Mauritnia, Paquisto, Peru, Repblica do
Congo, Emirados rabes Unidos e Zmbia), em comparao com os
mais de 5% da maioria dos pases de renda mdia e alta.
Demandas concorrentes no setor de educao para atividades, como
construo de escolas, formao de professores e fornecimento de materiais
educativos, podem resultar na indisponibilidade de recursos para monitorar
o aproveitamento escolar. Alm disso, em muitos pases de renda baixa, e
at de renda mdia, a capacidade institucional para realizar uma avaliao
nacional limitada. Tambm podem ter de enfrentar outros problemas ad-
ministrativos e de comunicao causados por estradas precrias ou servios
de correio e telefonia inadequados. Finalmente, por ser muito alta a varia-
o nos nveis de aproveitamento de alunos de diferentes escolas em alguns
pases de baixa renda, necessrio que se trabalhe com uma amostra grande
(veja UNEB 2006; Banco Mundial, 2004).
QUAIS AS DIFERENAS ENTRE AVALIAO NACIONAL

E EXAMES PBLICOS?
Os exames pblicos desempenham papel crucial em muitos sistemas

educacionais quando se trata de certificar o aproveitamento dos alunos,
selecionar alunos que prosseguiro com os estudos e padronizar o que

ensinado e aprendido nas escolas. s vezes, pensa-se que os exames
pblicos fornecem a mesma informao que uma avaliao nacional, o
que pareceria eliminar a necessidade de um sistema nacional de avalia-
o num pas que tenha um sistema de exame pblico. No entanto, tais
exames no podem produzir o tipo de informao que uma avaliao
nacional busca fornecer.
Em primeiro lugar, como os exames pblicos desempenham papel
importante na seleo de alunos (para o nvel seguinte do sistema
educacional e, s vezes, para emprego), buscam estabelecer diferena
entre alunos com aproveitamento relativamente elevado e, por isso,
talvez no faam uma cobertura adequada do currculo. Em segundo
lugar, os exames, bem como as caractersticas dos alunos que se sub-
metem a eles, mudam de ano para ano, limitando as inferncias que
poderiam ser feitas a partir de anlises comparativas ao longo do tem-
po. Em terceiro lugar, o fato de fortes interesses estarem ligados ao
desempenho (ou seja, de que o desempenho dos alunos num exame
tenha consequncias importantes para eles e talvez para seus profes-
sores) poderia levar os professores (e alunos) a se concentrarem nas
reas de currculo examinadas e a negligenciar outras reas impor-
tantes que no so examinadas (por exemplo, habilidades prticas).
Desse modo, o aproveitamento no exame no d uma imagem exata
do currculo pretendido. Embora existam algumas excees, normal-
mente no se tomam decises sobre alunos, professores ou escolas na
sequncia de um exame pblico.
Em quarto lugar, as informaes sobre o aproveitamento dos alunos
geralmente so exigidas numa idade anterior quela em que so reali-
zados os exames pblicos. Em quinto lugar, o tipo de informao sobre
antecedentes e contextos (o ensino, os recursos, os alunos e suas fam-
lias) usada na interpretao dos dados de aproveitamento coletados em
avaliaes nacionais no est disponvel para interpretar os resultados de
exames pblicos (Kellaghan, 2006). A Tabela 2.1 resume as principais
diferenas entre avaliaes nacionais e exames pblicos.
TABELA 2.1
Diferenas entre Avaliaes Nacionais e Exames Pblicos
Avaliaes nacionais Exames pblicos

Objetivo Fornecer retornos para os Certicar e selecionar alunos.
formuladores de polticas.
Frequncia Para matrias especcas, Anualmente, e com mais
oferecidas numa base regular frequncia quando o sistema
(como a cada quatro anos). permite repeties.
Durao Um ou dois dias. Pode se estender por algumas
semanas.
Quem testado? Normalmente, uma amostra Todos os alunos que
de alunos de determinada desejem fazer o exame e
srie ou faixa etria. estejam no nvel de ensino
correspondente.
Formato Usualmente, mltipla Usualmente, redao e mltipla
escolha e respostas curtas. escolha.
O que est em jogo: Pouca importncia. Grande importncia.
importncia para
alunos, professores e
outros
Cobertura do Em geral, connado a uma Abrange as principais reas
currculo ou duas matrias. temticas.
Efeito sobre o ensino Pouqussimo efeito direto. Principal efeito: professores
tendem a ensinar o que se
espera que caia no exame.
Reforo do ensino Muito improvvel. Frequentemente.
para alguns alunos
Os alunos recebem os Raramente. Sim.
resultados?
So coletadas Frequentemente, por Raramente.
informaes meio de questionrios
adicionais dos alunos? respondidos por eles.
Pontuao Em geral, envolve Normalmente, um processo
tcnicas estatisticamente simples, baseado num esquema
sosticadas. predeterminado de marcao.
Efeito sobre o nvel Improvvel que tenha efeito. Resultados fracos ou perspectiva
de aproveitamento de fracasso podem conduzir ao
do aluno abandono precoce da escola.
Utilidade para Adequadas, se as provas No so adequados, porque
acompanhar as forem concebidas os itens dos exames e os
tendncias dos nveis j tendo em vista o pblicos-alvo mudam de ano
de aproveitamento ao acompanhamento. para ano.
longo do tempo
Fonte: Autores.
CAPTULO
3 POR QUE REALIZAR

UMA AVALIAO
NACIONAL?
A
deciso de realizar uma avaliao nacional
pode decorrer de diversas razes. Frequen-
temente, as avaliaes nacionais refletem
os esforos de um governo para modernizar seu sistema educacio-
nal, introduzindo uma abordagem de gesto empresarial (corporativa)
(Kellaghan, 2003). Essa abordagem baseia-se em conceitos utilizados no
mundo dos negcios, como planejamento estratgico e foco em resulta-
dos, e pode envolver a responsabilizao com base no aproveitamento.
Vista dessa perspectiva, a avaliao nacional pode fornecer informaes
sobre um nmero limitado de medidas de resultado s quais atribuem
importncia os formuladores de polticas, os polticos e a comunidade
educacional mais ampla.
O objetivo essencial desta abordagem fornecer informaes sobre
o funcionamento do sistema educacional. Muitos governos no dispem
de informaes bsicas sobre aspectos do sistema especialmente os
nveis de aproveitamento dos alunos , nem mesmo sobre insumos bsi-
cos. As avaliaes nacionais podem proporcionar tais informaes, o que
representa uma condio prvia essencial para a elaborao de polticas
slidas. Por exemplo, a avaliao nacional do Vietn ajudou a constatar
que muitas salas de aula careciam de recursos bsicos (Banco Mundial,
2004). De forma similar, a avaliao de Zanzibar revelou que 45% dos

alunos no tinham um lugar para se sentar (Nassor e Mohammed, 1998).
A avaliao nacional do Buto observou que alguns alunos tinham de
passar vrias horas a cada dia locomovendo-se entre a escola e sua casa
(Buto, Cmara de Exames, Ministrio da Educao, 2004). A avaliao
da Nambia revelou que muitos professores tinham pouco domnio de
competncias bsicas em ingls e matemtica (Makuwa, 2005).
Com o desenvolvimento da chamada economia do conhecimento,
a necessidade de obter informaes sobre o que os alunos aprendem na
escola tem assumido importncia crescente. Alguns analistas argumen-
tam que os alunos necessitaro de nveis de conhecimentos e habilidades
mais elevados que no passado, particularmente nas reas de matemtica
e cincias, se quiserem participar, de forma significativa, do mundo do
trabalho. Alm disso, dado que o pronto acesso a bens e servios aumen-
ta com a globalizao, considera-se que a capacidade de um pas para
competir com sucesso depende, em grande medida, das habilidades que
tenham os trabalhadores e gestores para gerenciar a utilizao de capi-
tal e tecnologia. Esse fator pode indicar a necessidade de se comparar
o desempenho dos alunos em seu prprio sistema educacional com o
desempenho de alunos em outros sistemas. No entanto, deve-se evitar
o perigo de atribuir demasiada importncia ao aproveitamento agregado
dos alunos para explicar o crescimento econmico, j que existem mui-
tos outros fatores envolvidos (Kellaghan e Greaney, 2001a).
As avaliaes nacionais, quando realizadas por certo tempo, podem
ser usadas para determinar se os padres melhoraram, pioraram ou
mantiveram-se estveis. Muitos pases em desenvolvimento enfrentam
o problema de expandir as matrculas, construir muitas escolas e formar
um grande nmero de professores enquanto tentam, ao mesmo tempo,
melhorar a qualidade da educao s vezes, no contexto de um ora-
mento diminudo. Nessa situao, os governos precisam monitorar os
nveis de aproveitamento para determinar como as mudanas no nme-
ro de matrculas e nas condies oramentrias afetam a qualidade do
aprendizado. Caso contrrio, existe o risco de que o aumento nas taxas
de matrcula possa ser facilmente aceito como prova de melhoria na
qualidade da educao.
Os dados da avaliao nacional tm sido utilizados para monitorar o

aproveitamento ao longo do tempo. Uma srie de estudos feitos na fri-
ca entre 1995/96 e 2000/01 revelou um declnio significativo nas pon-
tuaes de letramento em leitura no Malaui, na Nambia e Zmbia (veja
a Figura C.1.2 no Apndice C). Nos Estados Unidos, a Avaliao Nacio-
nal do Progresso Educacional (NAEP), que tem acompanhado os nveis
de aproveitamento em leitura ao longo de quase trs dcadas, constatou
que, embora as crianas negras e hispnicas de 9 anos tenham reduzido
o hiato de aproveitamento que havia entre elas e as crianas brancas
at cerca de 1980, o diferencial na pontuao das provas manteve-se
relativamente constante nos anos seguintes (Figura 3.1). Tambm nos
Estados Unidos, a NAEP ajudou a identificar as mudanas ocorridas nos
nveis de aproveitamento em leitura em diversos estados (Figura 3.2).
No Nepal, os resultados das avaliaes nacionais foram usados para
monitorar mudanas no aproveitamento ao longo do perodo 1997-2001
e, em particular, os efeitos das decises de polticas relativas a oramen-
to, currculos, livros didticos, materiais didticos e formao de profes-
sores (veja A.6 no Apndice A).
Quando os dados de avaliaes nacionais so usados para monitorar
o aproveitamento ao longo do tempo, a mesma prova deve ser utiliza-
da em cada avaliao ou, se forem utilizadas provas diferentes, alguns
FIGURA 3.1
O Hiato no Aproveitamento entre Alunos de 9 Anos nos Estados Unidos:

Avaliao da Leitura, NAEP 1971-99
pontuao em leitura
230
220
210
200
190
180
170
160
1971 1975 1980 1984 1988 1990 1992 1994 1996 1999
ano
branco negro hispnico
Fonte: Winograd e Thorstensen, 2004.

FIGURA 3.2
Porcentagens de Alunos da 4a Srie nos Nveis Proficiente ou Acima

em Leitura, NAEP 1992-2003
40
percentual proficiente
35
30
25
20
15
1992 1994 1998 2002 2003
ano
Delaware Novo Mxico
Kentucky Carolina do Norte
Maryland Carolina do Sul
Texas
Fonte: Winograd e Thorstensen, 2004.
itens devem ser comuns, de modo que os desempenhos nas provas

possam ser equiparados ou vinculados. Qualquer que seja o caso, os
itens comuns devem ser mantidos em sigilo, para que o conhecimento
do aluno ou do professor a respeito de seu contedo no invalide as
comparaes feitas.
Outros usos que podem ser feitos de uma avaliao nacional depen-
dem de os dados terem sido coletados numa amostra de escolas ou num
censo no qual se obtiveram informaes sobre todas (ou quase todas) as
escolas. Em ambos os casos, os resultados podem ser usados para forne-
cer orientao aos formuladores de polticas interessados em melhorar
a qualidade da educao. Por exemplo, os resultados podem ajudar os
governos a identificar a fora da relao entre qualidade do aprendiza-
do dos alunos e vrios fatores sobre os quais tm algum controle (por
exemplo, a disponibilidade de livros didticos, o tamanho da turma e o
nmero de anos anteriores de treinamento dos professores).
Uma anlise dos resultados pode levar a decises que afetem a desti-
nao de recursos no sistema educacional em geral (por exemplo, para
a reforma dos currculos e livros didticos ou para formao de profes-
sores) ou em categorias de escolas com caractersticas especficas (por
exemplo, escolas em reas rurais ou escolas que atendem a alunos de
reas em condies socioeconmicas desfavorveis). Podem ser encon-
trados muitos exemplos do uso dos resultados de avaliaes nacionais
e internacionais para tais fins. Tm sido usados na Austrlia para criar
programas destinados a aumentar a participao e o desempenho das
meninas em matemtica e cincias (Keeves, 1995); tm conduzido a
reformas curriculares em pases de baixa e mdia renda (Elley, 2005);
ajudaram a reorientar recursos financeiros para as escolas mais pobres no
Chile (veja A.7 no Apndice A) e promoveram o profissionalismo dos
professores no Uruguai (veja A.3 no Apndice A).
Os resultados de uma avaliao nacional tambm podem ser usados
para mudar a prtica em sala de aula (Horn, Wolff e Vlez, 1992). No
entanto, levar informaes aos professores e promover alteraes em
seu comportamento com vista a aumentar substancialmente o aprovei-
tamento dos alunos no uma tarefa fcil. A presso sobre as escolas
e salas de aula para a mudana maior quando os resultados de uma
avaliao nacional se baseiam num censo escolar, e no numa amostra,
e quando fortes interesses esto ligados ao desempenho. Nenhuma ao
especfica pode ser empreendida pelas autoridades alm da publicao
de informaes sobre o aproveitamento (por exemplo, em tabelas clas-
sificativas). Mas podem-se associar sanes ao desempenho. As sanes
podem assumir a forma de recompensa por melhor desempenho (por
exemplo, as escolas, os professores ou ambos recebem incentivos eco-
nmicos se os alunos atingirem uma meta especfica) ou de punio
por um mau desempenho (por exemplo, no promoo dos alunos ou
demisso de professores) (veja A.7 no Apndice A para uma breve des-
crio do programa de recompensa do Chile).
Quando uma avaliao nacional obtm informaes sobre o aprovei-
tamento dos alunos em todas as escolas (ou na maior parte delas), alguns
formuladores de polticas podem ver a a oportunidade de usar esses da-
dos para avaliar a qualidade dos professores e das escolas. Obviamente,
os professores e os alunos devem assumir alguma responsabilidade pelo

aprendizado, mas o papel das instituies, dos rgos e das pessoas que
exercem controle sobre os recursos e as atividades das escolas tambm
deve estar refletido em um sistema de responsabilizao. Repartir equi-
tativamente as responsabilidades de todas as partes interessadas impor-
tante, seja no caso de uma avaliao baseada em amostra ou num censo.
A avaliao nacional do Uruguai um bom exemplo do reconhecimento
da responsabilidade que cabe a cada um dos interessados (incluindo o
Estado) pelo aproveitamento dos alunos (veja A.3 no Apndice A).
Em alguns casos, uma avaliao nacional pode ter papel meramente
simblico destinado a legitimar a ao estatal: adotam-se modelos in-
ternacionalmente aceitos de modernidade e confere-se ao processo de
deciso poltica uma aparncia de racionalidade cientfica (Benveniste,
2000, 2002; Kellaghan, 2003). Quando esse o fator que motiva uma
avaliao nacional, o ato de avaliar tem maior importncia que seus re-
sultados. Se uma avaliao nacional realizada apenas para atender
exigncia de um rgo financiador, ou mesmo para cumprir os compro-
missos internacionais assumidos por um governo no sentido de monito-
rar os progressos destinados a alcanar os Objetivos de Desenvolvimento
do Milnio, tal avaliao pode ter pouco mais que um valor simblico, e
suas concluses podem no ter peso algum na gesto do sistema educa-
cional ou na formulao de polticas.
CAPTULO
4 DECISES ENVOLVIDAS
NUMA AVALIAO
NACIONAL
N
este captulo, consideramos 12 decises en-
volvidas no planejamento de uma avaliao
nacional (veja Greaney e Kellaghan, 1996;
Kellaghan, 1997; e Kellaghan e Greaney, 2001b, 2004).
QUEM DEVE DAR ORIENTAES DE POLTICAS

PARA A AVALIAO NACIONAL?
O Ministrio da Educao deve nomear uma comisso de coordenao

nacional (CCN) para fornecer orientao geral ao rgo que realizar
a avaliao. A comisso pode ajudar a garantir que a avaliao nacional
seja prestigiada e que sejam abordadas questes-chave de polticas que
interessem ao ministrio e a outros. Tambm poderia ajudar a resolver
os graves problemas administrativos e financeiros que podem surgir
durante a execuo da avaliao nacional. Dar CCN uma participa-
o efetiva desde a fase de definio do rumo e do propsito da avalia-
o nacional tambm aumentar a probabilidade de que os resultados
da avaliao venham a desempenhar papel relevante na formulao de
polticas futuras.
A composio de uma CCN variar de pas para pas, dependendo da

estrutura de poder dentro do sistema educacional. Alm de representan-
tes do Ministrio da Educao, a CCN pode incluir representantes dos
principais grupos tnicos, religiosos e lingusticos, bem como os grupos
a cujos membros caber tomar medidas em funo dos resultados (como
formadores de professores, professores, inspetores escolares e especia-
listas em currculo). O Quadro 4.1 apresenta uma lista de membros
que deveriam integrar uma comisso de coordenao para uma avaliao
nacional em Serra Leoa, proposta pelos participantes em um seminrio
internacional. O fato de se levarem em conta as necessidades de infor-
mao dos vrios interessados deve contribuir para que o exerccio de
avaliao nacional no resulte em um relatrio que ser criticado ou ig-
norado devido sua incapacidade de examinar as perguntas corretas.
QUADRO 4.1
Composio da CCN Proposta em Serra Leoa

y Comisso de Educao Bsica
y Movimento da Sociedade Civil
y Secretaria Descentralizada
y Diretor-Geral da Educao (presidente)
y Direo de Planejamento da Educao
y Conselho Inter-Religioso
y Centro Nacional de Desenvolvimento de Pesquisa de Currculos
y Sindicato dos Professores de Serra Leoa
y Estatsticas de Serra Leoa
y Faculdades de Formao de Professores
y Conselho de Exames da frica Ocidental
A CCN no deve ser sobrecarregada com reunies, nem deve ser

chamada a lidar com as tarefas rotineiras de execuo relacionadas com
a avaliao nacional. Em alguns casos, pode fornecer orientao na fase
inicial de identificao do objetivo e do fundamento lgico da avaliao,
determinando as reas de currculos e os nveis de ensino que sero ava-

liados, ou selecionando o rgo (ou os rgos) que conduzir a avalia-
o embora os itens de prova tambm possam ser decididos antes da
criao da comisso. provvel que a CCN seja mais ativa no incio do
exerccio de avaliao e que o rgo implementador se responsabilize
pela maior parte do detalhamento do trabalho como desenvolvimento
de instrumentos, amostragem, anlise e relatrios. O rgo implementa-
dor, no entanto, deve fornecer CCN as verses preliminares das provas
e dos questionrios, bem como as descries dos procedimentos pro-
postos, de modo que os membros da comisso possam dar orientaes e
garantir que as necessidades de informao que deflagraram a avaliao
estejam sendo atendidas adequadamente. Os membros da CCN tam-
bm devem analisar as verses preliminares dos relatrios elaboradas
pelo rgo implementador.
Responsabilidade de dar a orientao poltica: Ministrio da Educao
QUEM DEVE REALIZAR A AVALIAO NACIONAL?
A avaliao nacional deve ser realizada por uma equipe ou organizao

que goze de credibilidade e cujo trabalho possa impor respeito e aumen-
tar a probabilidade de ampla aceitao dos resultados. Vrios pases atri-
buram a responsabilidade pelas avaliaes nacionais a diferentes tipos
de grupos, como, por exemplo, equipes criadas no mbito do Ministrio
da Educao, organismos autnomos (universidades, centros de pesqui-
sa) ou equipes tcnicas estrangeiras. Seria de se esperar que diversos fa-
tores influenciem essa deciso, incluindo os nveis de capacidade tcnica
nacional e as circunstncias administrativas e polticas. A Tabela 4.1 lista
algumas vantagens e desvantagens potenciais das diferentes categorias de
organismos de implementao. Devem-se levar em conta esses itens no
momento de decidir quem realizar a avaliao.
TABELA 4.1
Opes para Realizar uma Avaliao Nacional
rgo designado Vantagens Desvantagens

Extrado de pessoal do Ministrio Provavelmente conta com a conana do Os resultados podem ser objeto de manipulao
da Educao ministrio. poltica, inclusive supresso.
Goza de fcil acesso ao pessoal-chave, a materiais Pode ser visto com ceticismo por outras partes
e dados (por exemplo, dados sobre a populao interessadas.
escolar). Pessoal que pode estar incumbido de muitas
Talvez no seja necessrio obter fundos para pagar outras tarefas.
esse pessoal. Pode faltar capacidade tcnica.
Extrado de pessoal do rgo de Normalmente goza de conana. Pessoal que pode estar incumbido de muitas
exames pblicos Tem experincia com a execuo de avaliaes outras tarefas.
seguras. A capacidade tcnica pode ser fraca.
Talvez no seja necessrio obter fundos para pagar Talvez no tenha acesso fcil aos dados.
esse pessoal. A experincia com exames pblicos pode resultar
Algumas habilidades (por exemplo, o em itens de teste muito difceis.
desenvolvimento de testes) que podem ser
transferidas para reforar a unidade responsvel
pelo teste.
A probabilidade de ser sustentvel maior que em
alguns outros modelos.
Extrado do setor universitrio/de Resultados podem ter maior credibilidade perante preciso levantar fundos para cobrir custos de
pesquisa as partes interessadas. pessoal.
Maior probabilidade de haver alguma competncia Pode ser menos sustentvel que alguns outros
tcnica. modelos.
Talvez os dados sejam utilizados para estudos Pode entrar em conito com o Ministrio da
adicionais sobre o sistema de ensino. Educao.
Recrutado como assistncia Maior probabilidade de que seja tecnicamente Probabilidade de ser caro.
tcnica estrangeira (AT) competente. Pode no ser sensvel ao contexto educacional.
Tipo de nanciamento que pode ajudar a garantir Diculdade em garantir a sustentabilidade da
a concluso no tempo certo. avaliao.
Possivelmente pouco reforo da capacidade
nacional.
Composto por uma equipe Pode melhorar a capacidade tcnica dos nacionais. Possvel diculdade para coordenar os trabalhos
nacional com algum apoio de AT Pode assegurar a realizao no tempo certo. dos membros da equipe nacional e da AT.
internacional Pode aumentar a credibilidade dos resultados. Talvez seja difcil garantir a transferncia de
competncias para os nacionais.
Equipe do ministrio com apoio Pode garantir apoio do ministrio para obter AT AT nacional que pode no ter a capacidade
de AT nacional nacional. tcnica necessria.
Menos caro do que a AT internacional. Outras desvantagens potenciais listadas no item
Ministrio da Educao e que podem se aplicar ao
caso.
Fonte: Autores.
Em alguns casos, as tradies e a legislao podem impor restries

liberdade que um Ministrio da Educao tem para escolher um rgo im-
plementador. Na Argentina, por exemplo, as provncias devem autorizar os
contedos curriculares a serem aferidos na avaliao nacional. Inicialmente,
pediu-se s provncias que produzissem os itens de teste; no entanto, muitas
no tinham capacidade tcnica para faz-lo. Numa fase posterior, as pro-
vncias receberam um conjunto de possveis perguntas para aprovao, e a
Direo Nacional de Informao e Avaliao da Qualidade da Educao
(DiNIECE) criou os instrumentos finais de avaliao a partir do conjunto
de itens pr-aprovados. Mais recentemente, os itens das provas foram con-
cebidos de modo independente pelo pessoal da universidade e aprovados
pelo Conselho Federal. O DiNIECE permanece responsvel pela concep-
o dos testes de aproveitamento, pelas anlises dos resultados, bem como
pela coordenao geral das atividades anuais de avaliao.
Vale a pena refletir sobre a grande variedade de habilidades necess-
rias para realizar uma avaliao nacional antes de decidir a quem deve
ser atribuda a responsabilidade. Essa questo abordada com mais de-
talhes no Volume 3 desta srie. A avaliao nacional , fundamental-
mente, um esforo de equipe. A equipe deve ser flexvel, estar disposta a
trabalhar sob presso e de forma colaborativa, e preparada para aprender
novas abordagens de avaliao e novas tecnologias associadas. O lder da
equipe deve ter grandes habilidades gerenciais. Ele ter a obrigao de
organizar a equipe, coordenar e agendar atividades, apoiar o treinamen-
to e obter e controlar os recursos financeiros. O lder da equipe deve ser
politicamente astuto, porque ter de se reportar CCN e atuar como
elemento de ligao junto s autoridades nacionais, regionais e, em al-
guns casos, a rgos de governo em nvel local e a representantes das
partes interessadas (tais como professores e entidades religiosas).
A equipe deve ter excelentes habilidades operacionais ou de execu-
o. As tarefas a serem realizadas incluem oficinas para redatores de
itens e aplicadores de provas; organizao da impresso e distribuio
de provas, questionrios e manuais; contatos com escolas; desenvolvi-
mento de material de treinamento, e coleta e gravao de dados. Ser
necessria uma pequena equipe especializada de elaboradores de testes
para analisar o currculo, desenvolver quadros de especificaes ou um
esquema de teste, fazer uma redao preliminar dos itens, selecionar os

itens aps o pr-teste ou piloto e aconselhar sobre a pontuao. Aps a
aplicao da prova, as perguntas abertas e de mltipla escolha devero
receber uma pontuao.
A equipe vai exigir o apoio de uma ou mais pessoas com competncia
estatstica e analtica em vrios tpicos: seleo de amostras, ponderao
de dados, entrada de dados e preparao de arquivos, anlise de itens
dos dados das provas, anlise estatstica geral dos resultados globais e
preparao de arquivos de dados para outros usurios (por exemplo,
acadmicos e alunos de ps-graduao) que realizaro anlises secun-
drias. Muitos pases em desenvolvimento carecem de capacidade nessa
ltima rea, levando a situaes em que os dados so coletados, mas
nunca devidamente analisados ou divulgados.
A equipe deve ter o pessoal necessrio para redigir e divulgar os resul-
tados, produzir comunicados de imprensa e panfletos ou boletins infor-
mativos direcionados a pblicos especficos. Tambm seria de se esperar
que a equipe desempenhasse papel fundamental na organizao de ofici-
nas para professores e outros funcionrios da rea de educao, para que
possam discutir a importncia dos resultados e suas implicaes para o
ensino e o aprendizado.
A maioria dos membros da equipe pode trabalhar em tempo parcial e ser
empregada se e quando necessrio. Essa categoria poderia incluir os redato-
res de itens principalmente professores em atividade com bom conheci-
mento do currculo e especialistas em amostragem e anlise estatstica. Os
membros da equipe poderiam ser recrutados fora do setor de educao. Por
exemplo, um organismo encarregado do censo nacional poderia ser uma
boa fonte de competncias na rea de amostragem. Pessoal de computao
com experincia relevante poderia ajudar na limpeza de dados, e jornalistas
podem contribuir com a elaborao de comunicados de imprensa que des-
pertem interesse. Nem o Camboja nem a Etipia empregaram pessoal em
tempo integral para realizar suas avaliaes nacionais.
Responsabilidade de realizar as avaliaes nacionais: rgo implemen-

tador (Ministrio da Educao, comisso de exames, rgo de pesquisa,
universidades).
QUEM APLICAR AS PROVAS E OS QUESTIONRIOS?
As tradies administrativas nacionais e as percepes dos nveis de con-

fiana, bem como as fontes de financiamento, tendem a influenciar a
seleo do pessoal responsvel pela aplicao de provas e questionrios
numa avaliao nacional. A prtica varia. Por exemplo, alguns pases
tm usado alunos de ps-graduao, enquanto a Zmbia envolveu ins-
petores escolares e funcionrios graduados do ministrio na aplicao
da prova e do questionrio. Outros pases tm utilizado professores ex-
perientes que trabalham em outras escolas ou professores aposentados.
Nas Maldivas, um aplicador de teste tem de fazer parte do quadro de
pessoal de uma escola localizada numa ilha que no aquela em que est
a escola-alvo.
Os aplicadores de teste devem ser cuidadosamente selecionados. De-
vem ter boas habilidades organizacionais, experincia de trabalho em
escolas e estar empenhados em seguir rigorosamente as orientaes da
prova e do questionrio. Idealmente, devem ter experincia em sala de
aula, falar o mesmo idioma dos alunos, com o mesmo sotaque, e ter uma
forma de ser que imponha autoridade, sem ser ameaadora. O Volume
3 considera as vantagens e desvantagens de haver professores, inspeto-
res, treinadores de professores, membros da comisso de exames e alu-
nos universitrios como aplicadores de testes.
Embora possa parecer administrativamente conveniente e muito econ-
mico utilizar como aplicadores de provas os prprios professores dos alu-
nos que esto participando da avaliao nacional, raramente isso feito,
por diversas razes. Alguns professores podem sentir que a eficcia de seu
ensino est sendo avaliada. Outros podem ter dificuldade de abandonar a
prtica normal de tentar ajudar os alunos e talvez no consigam adaptar-se
abordagem formal de um teste. E outros podem fazer cpias das provas
ou de partes dela, eliminando a possibilidade de se usarem esses itens em
futuras avaliaes nacionais. Usar os professores para aplicar as provas a seus
prprios alunos tambm pode diminuir a percepo do pblico quanto
confiabilidade dos resultados da avaliao.
Responsabilidade de aplicar provas e questionrios: rgo implementador.

QUAL O PBLICO-ALVO A SER AVALIADO?
Tal como o termo geralmente entendido, as avaliaes nacionais refe-

rem-se a pesquisas realizadas nos sistemas educacionais. Essa conotao,
porm, nem sempre existiu. Quando a primeira avaliao nacional foi
realizada nos Estados Unidos (em 1969), tanto alunos que frequentavam
escolas quanto grupos da populao que no estavam na escola (jovens
de 17 e 18 anos e adultos jovens de 26 a 35 anos) foram avaliados em
cidadania, leitura e cincias. A avaliao da populao fora da escola foi
suspensa, contudo, em razo do custo elevado (Jones, 2003). Posterior-
mente, foram realizadas pesquisas de letramento de adultos, mas sem
relao com as avaliaes nacionais.
A questo da avaliao de crianas mais jovens fora da escola tem
mais relevncia em muitos pases em desenvolvimento do que nos Es-
tados Unidos, porque neles existem muitas crianas em idade escolar
que no frequentam a escola. Obviamente, o aproveitamento (ou fal-
ta dele) dessas crianas uma questo que interessa a formuladores
de polticas e a polticos, e pode ter particular relevncia para o setor
de educao no formal. No entanto, difcil imaginar sua incluso
numa avaliao nacional convencional. Embora determinados grupos
de jovens fora da escola possam ser avaliados usando-se provas na-
cionais de avaliao num estudo separado, os mtodos de avaliao e
procedimentos de amostragem geralmente seriam muito diferentes,
e as circunstncias especficas dessas crianas (por exemplo, necessi-
dades especiais, desvantagem socioeconmica ou distncia da escola)
teriam de ser levadas em conta.
No que se refere a crianas em idade escolar, os formuladores de
polticas querem informaes sobre seus conhecimentos e habilidades
em determinados pontos de suas vidas escolares. preciso decidir se os
pblicos-alvos sero definidos em funo da idade ou da srie, ou por
uma combinao de ambas. Nos pases em que existe grande variao
na idade em que os alunos entram na escola, e se adota a poltica de no
promoo, alunos de uma mesma faixa etria no estaro concentrados
na mesma srie. Nesse caso, existe uma slida base para se preferir a
segmentao por nvel de ensino, e no por idade.
A srie a ser avaliada normalmente deveria ser definida pelas ne-

cessidades de informaes do Ministrio da Educao. Se, por exem-
plo, o ministrio est interessado em saber sobre os nveis de aprovei-
tamento dos alunos que completaram o ensino bsico, pode solicitar
que uma avaliao nacional seja realizada no final do ltimo ano (5a
ou 6a srie, em muitos pases). O ministrio tambm pode solicitar
uma avaliao nacional da 3a ou 4a sries se precisar de dados sobre
como os alunos esto se saindo na metade do ciclo do ensino bsico.
Essa informao poderia ento ser utilizada para introduzir medidas
corretivas (como cursos durante o trabalho para os professores), a fim
de resolver problemas em aspectos especficos do currculo identifi-
cados na avaliao.
As sries em que so feitas as avaliaes nacionais tm variado de pas
para pas. Nos Estados Unidos, os nveis de aproveitamento dos alunos
so avaliados nas 4a, 8a e 12a sries; na Colmbia, o aproveitamento
avaliado nas 3a, 5a, 7a e 9a sries; no Uruguai, na pr-escola e nas 1a, 2a e
6a sries; no Sri Lanka, nas 4a, 8a e 10a sries. Nos pases anglfonos da
frica, um consrcio regional de sistemas educacionais Consrcio da
frica Austral e Oriental para Monitoramento da Qualidade da Educa-
o (SACMEQ, na sigla em ingls) avaliou alunos da 6a srie. Os pases
da frica francfona que integram o Programa de Anlise dos Sistemas
Educacionais (PASEC, na sigla em francs) da Conferncia dos Minis-
tros da Educao dos Pases de Lngua Francesa (CONFEMEN, na sigla
em francs) avaliaram alunos nas 2a e 5a sries.
s vezes, a seleo da srie ditada por consideraes pragmticas. O
Ministrio Federal da Educao da Nigria decidiu avaliar alunos na 4a
srie porque, se a prova fosse feita em qualquer nvel inferior, teria sido
necessrio traduzi-la para vrios idiomas locais. E no se considerou ade-
quado aplicar as provas em sries mais elevadas, porque tanto os alunos
quanto os professores estariam voltados para os exames de admisso ao
ensino fundamental.
Relativamente poucos pases realizam avaliaes em larga escala nas
1 , 2a ou 3a sries. Os alunos nesses nveis talvez no consigam seguir ins-
a
trues ou lidar com as tarefas cognitivas exigidas pela avaliao ou com

o desafio de completar provas de mltipla escolha. Um estudo jamaica-
no observou que um nmero considervel de alunos da 1a srie no foi

capaz de reconhecer as letras do alfabeto (Lockheed e Harris, 2005).
No entanto, deve-se ter em mente que, como as informaes sobre os
padres de aprendizado dos alunos nas sries iniciais podem ser cruciais
para os processos de reforma, devem existir procedimentos alternativos
para monitorar esses padres.
Responsabilidade de selecionar o pblico-alvo a ser avaliado: Ministrio da

Educao e CCN.
A AVALIAO COBRIR TODO O PBLICO-ALVO

OU APENAS UMA AMOSTRA?
A maioria dos estudos nacionais, bem como todos os regionais e inter-

nacionais, usa abordagens baseadas em amostras para determinar os
nveis nacionais de aproveitamento. Algumas avaliaes nacionais tm
usado tanto o censo quanto amostragem (por exemplo, Costa Rica,
Cuba, Frana, Honduras, Jordnia, Mxico e Uruguai), enquanto a
maior parte das avaliaes subnacionais coleta dados do censo (por
exemplo, Minas Gerais, Paran e So Paulo, no Brasil; Bogot, na Co-
lmbia, e Aguascalientes, no Mxico) (veja Crespo, Soares e Mello e
Souza, 2000). Vrios fatores favorecem a utilizao de uma amostra
se o objetivo obter informaes sobre o funcionamento do sistema
educativo como um todo para fins de polticas. Esses fatores incluem:
menores custos na aplicao da prova e na limpeza e gesto dos dados;
menos tempo para anlise e relatrios; maior exatido, devido possi-
bilidade de assegurar superviso mais intensa do trabalho de campo e
de preparao dos dados (Ross, 1987).
Como observado no Captulo 3, o objetivo da avaliao fundamen-
tal para determinar quando se deve testar uma amostra ou todos os alu-
nos de uma populao-alvo. Por um lado, a deciso de envolver toda a
populao-alvo pode refletir a inteno de partilhar com as escolas, os
professores ou mesmo os alunos a responsabilidade pelo aprendizado.
Isso facilita o uso de sanes (incentivos ou penalidades), o fornecimen-
to de informaes s escolas sobre seu aproveitamento individual e a pu-

blicao de tabelas classificativas, bem como a identificao das escolas
com maior necessidade de assistncia (como feito no Chile e no Mxico,
por exemplo).
Por outro lado, a abordagem baseada em amostras permitir a de-
teco de problemas apenas no nvel do sistema como um todo. No
ser possvel identificar as escolas especficas que estejam necessitando
de apoio, embora se possam identificar os tipos ou categorias de es-
colas (por exemplo, pequenas escolas rurais) que requeiram ateno.
Essa abordagem tambm capaz de identificar problemas relativos
equidade de gnero ou de etnia. Um argumento contra o uso de uma
abordagem baseada em amostras que, como a avaliao no tem fortes
interesses associados ao aproveitamento, alguns alunos no estaro mo-
tivados a levar a prova a srio.
No entanto, esse no foi o caso em muitos pases inclusive na frica
do Sul em que alguns alunos receavam que seu desempenho nos testes
do TIMMS (Tendncias no Estudo Internacional de Matemtica e Cin-
cias) fosse contar para seus resultados escolares oficiais. interessante
notar que houve trapaa durante a aplicao da prova, provavelmente
por causa da percepo de que interesses relativamente elevados esta-
vam ligados ao desempenho (veja A.4 no Apndice A).
As vantagens e desvantagens da utilizao de uma avaliao nacional
para promover a noo de responsabilidade das escolas, dos professores
e dos alunos esto contidas na Tabela 4.2. Os tpicos listados derivam,
na maior parte dos casos, de estudos sobre os efeitos de exames pblicos
nos quais existiam fortes interesses em jogo, no de um estudo de ava-
liaes nacionais. No entanto, devem ser relevantes para as avaliaes
nacionais baseadas em censos, pelo menos para aquelas que funcionam
como substituto de exames pblicos (como nos Estados Unidos e em
alguns pases da Amrica Latina).
Responsabilidade de decidir sobre o uso de uma amostra ou do censo: Mi-

nistrio da Educao
TABELA 4.2
Vantagens e Desvantagens da Avaliao Baseada no Censo para Manter
a Responsabilidade das Escolas
Vantagens Desvantagens
Incide sobre o que so Tende a conduzir negligncia das reas de estudo
considerados aspectos que no so testadas.
importantes da educao.
Destaca aspectos Tende a conduzir negligncia de aspectos dos temas
importantes de matrias no testados (como uncia oral na lngua).
especcas.
Ajuda a garantir que os Tem contribudo para a evaso precoce e
alunos alcancem um padro a repetncia.
aceitvel antes da promoo.
Permite comparaes diretas Resulta na classicao injusta de escolas em que
entre as escolas. diferentes contextos sociais so atendidos e os
resultados no so signicativamente diferentes.
Cria conana pblica no Tem levado a fraudes durante a aplicao do teste e
desempenho do sistema. subsequente correo de resultados.
Exerce presso sobre os Tende a enfatizar a memorizao e a aprendizagem
alunos para que aprendam. por repetio.
Os resultados de algumas Melhor desempenho pode estar limitado a um teste
escolas e alunos elevam os especco e no ser evidente em outros testes da
nveis de desempenho do mesma matria.
teste.
Permite que os pais avaliem Conduz a uma avaliao injusta da eccia com
a eccia de escolas e base na pontuao no teste, e no leva em conta
professores especcos. outros fatores reconhecidamente associados ao
aproveitamento do aprendizado.
Tende a ser popular com Raramente responsabiliza os polticos por no darem
os polticos e os meios de apoio proviso de recursos educacionais.
comunicao.
Fonte: Autores.
O QUE SER AVALIADO?
Todas as avaliaes nacionais medem os resultados cognitivos da instru-

o ou as habilidades acadmicas nas reas de letramento em linguagem
e letramento em matemtica, e isso reflete a importncia desses resulta-
dos para a educao bsica. Em alguns pases, o conhecimento de cin-
cias e de estudos sociais est includo na avaliao. Seja qual for o mbito
da avaliao, a explicitao de um marco de referncia, ou marco con-
textual, importante em duas etapas: na construo dos instrumentos

de avaliao e, depois, durante a interpretao dos resultados. O mar-
co de referncia pode estar disponvel em um documento de currculo
se, por exemplo, o documento apresenta expectativas de aprendizagem
claramente priorizadas e postas em prtica. Na maioria dos casos, no
entanto, tal marco de referncia no estar disponvel, e os encarregados
da avaliao nacional tero de constru-lo. Para realizar essa tarefa, ser
necessria uma cooperao estreita entre o rgo de avaliao, os res-
ponsveis pelos currculos e outras partes interessadas.
Os marcos de referncia de uma avaliao tentam esclarecer em de-
talhes, numa avaliao em larga escala, o que est sendo avaliado, como
est sendo avaliado e por que est sendo avaliado (veja Kirsch, 2001). O
objetivo desse marco dar transparncia ao processo de avaliao e aos
pressupostos que o informam, no apenas para os elaboradores dos testes,
mas tambm para um pblico muito maior, incluindo professores, pessoal
de currculo e formuladores de polticas. O marco de referncia geral-
mente comea com uma definio geral ou uma declarao de propsito
que norteia o fundamento lgico da avaliao e especifica o que deve ser
medido em termos de conhecimentos, habilidades e outros atributos. Em
seguida, identifica e descreve os vrios desempenhos ou comportamentos
que revelaro esses atributos, identificando um nmero especfico de ta-
refas ou variveis caractersticas a serem utilizadas no desenvolvimento da
avaliao e indicando como esses desempenhos devem ser utilizados para
avaliar o aproveitamento dos alunos (Mullis et al., 2006).
Muitas avaliaes nacionais se basearam em uma anlise de contedo,
em determinado nvel de ensino, daquilo que se supe que os alunos devam
ter aprendido como resultado da exposio a um currculo prescrito ou pre-
tendido. Normalmente, essa anlise feita em uma matriz que tem os com-
portamentos cognitivos no eixo horizontal, e os temas ou reas de contedo
no eixo vertical. Assim, a interseo de um comportamento cognitivo e de
uma rea de contedo representar um objetivo do aprendizado. As clulas
podem ser ponderadas em termos de importncia.
Avaliaes nacionais (e internacionais) recentes basearam-se em pes-
quisas sobre o desenvolvimento alcanado pelos alunos quanto a obras
literrias e habilidades matemticas que podem estar ou no represen-
tadas nos currculos nacionais. Por exemplo, no documento Marco de

Referncia e Especificaes para o Estudo Internacional sobre o Progres-
so do Letramento em Leitura (PIRLS, na sigla em ingls), realizado em
2006 pela Associao Internacional para Avaliao do Aproveitamento
Escolar (IEA, na sigla em ingls), o letramento em leitura definido
como a capacidade de compreender e utilizar as formas da linguagem
escrita exigidas pela sociedade e/ou valorizadas pelo indivduo. Leitores
jovens podem construir significado a partir de uma variedade de textos.
Eles leem para aprender, participar de comunidades de leitores na escola
e na vida cotidiana, e por prazer (Mullis et al., 2006, 3). A partir dessa
definio, evidente que ler muito mais do que decodificar textos ou
compreender o significado de uma passagem ou de um poema. O PIRLS
aclarou ainda mais o que pretendia medir ao indicar o processo e as ta-
refas que seriam objetos da avaliao e os percentuais de itens da prova
dedicados a cada um (Tabela 4.3).
TABELA 4.3
Processos de Compreenso de Leitura do PIRLS
Processos de
compreenso Exemplos de tarefas Itens
Focalizar e Procurar ideias especcas. 20%
recuperar Encontrar denies ou frases.
informao Identicar o cenrio de uma histria (por exemplo,
explcita tempo, lugar).
Encontrar a tpico frasal ou ideia principal (expressa
explicitamente).
Fazer inferncias Inferir que um acontecimento causou outro. 30%
simples Identicar generalizaes no texto.
Descrever a relao entre os personagens.
Determinar o referente de um pronome.
Interpretar e Determinar a mensagem geral ou tema. 30%
integrar ideias e Contrastar as informaes do texto.
informaes Inferir o sentido de humor ou o tom de uma histria.
Encontrar uma aplicao na vida real para a informao
contida no texto.
Examinar e Avaliar a probabilidade de que os eventos descritos 20%
avaliar contedo, possam acontecer.
linguagem e Descrever como o autor concebeu um nal inesperado.
elementos textuais Julgar a integridade ou a clareza da informao no texto.
Determinar as perspectivas do autor.
Fonte: Campbell et al., 2001; Mullis et al., 2006.
O documento que define o marco de referncia especificou que a

avaliao usaria cadernos de prova com cinco passagens literrias e cinco
informativas, e que cada passagem seria seguida de 12 questes, sendo
metade de mltipla escolha e as demais de respostas fechadas. Alm dis-
so, indicou que, como as atitudes e os comportamentos relativos leitu-
ra so importantes para o desenvolvimento do hbito da leitura por toda
a vida e esto associados ao aproveitamento em leitura, o PIRLS incluiria
no questionrio alguns itens destinados a avaliar as atitudes e os compor-
tamentos dos alunos com relao leitura. A seleo de alunos que se
encontravam no quarto ano de escolaridade como a populao-alvo para
a avaliao foi justificada com base no fato de que essa etapa representa-
va a fase de transio entre aprender a ler e ler para aprender.
No seu marco de referncia para a avaliao, o PIRLS reconheceu os
dois principais propsitos da leitura para os alunos:
yLer para ganhar experincia de leitura

yLer para adquirir e usar informao.
O documento tambm ofereceu uma justificativa detalhada para a

nfase dada pelo PIRLS obteno de informaes adicionais sobre o
ambiente e o contexto em que os alunos aprendem a ler. Essa nfase le-
vou incluso de itens no questionrio para identificar as caractersticas
da famlia que podem incentivar as crianas a aprender a ler: as atividades
dos pais relacionadas ao letramento, a lngua falada em casa, as ligaes
entre a casa e a escola, e atividades de letramento fora da escola. Os itens
relativos escola abrangiam recursos da escola que podem afetar direta
ou indiretamente o aproveitamento da leitura. O documento-quadro
tambm justificava a avaliao de variveis relativas sala de aula, tais
como abordagens instrucionais e natureza da formao de professores.
Outro modo de basear um instrumento de avaliao nas expecta-
tivas ou prescries contidas no currculo o que vivel no caso de
alunos mais velhos construir um teste que reflita o conhecimento e
as habilidades de que os alunos possivelmente precisaro e que pode-
ro desenvolver na vida adulta. O Programa Internacional de Avaliao
de Alunos (PISA) forneceu um exemplo desse mtodo quando decidiu
avaliar o letramento matemtico de alunos de 15 anos, definido como

a capacidade de identificar e compreender o papel que a matemtica
desempenha no mundo, de tomar decises bem fundamentadas e usar
a matemtica para participar de trabalhos que atendam s necessidades
da vida do indivduo como um cidado construtivo, interessado e refle-
xivo (OCDE, 2003, 24) (veja B.3 no Apndice B). Embora essa abor-
dagem se enquadre bem num estudo internacional, j que a alternativa
de conceber um instrumento de avaliao igualmente apropriado para
uma variedade de currculos obviamente problemtica, tambm pode
ser utilizada numa avaliao nacional.
Algumas poucas avaliaes nacionais coletaram informaes sobre os
resultados afetivos (por exemplo, as atitudes dos alunos com relao
escola e sua autoestima). Na Colmbia, so avaliadas as atitudes dos alu-
nos relativas paz. Embora esses resultados sejam muito importantes,
sua medio tende a ser menos confivel que a medio de resultados
cognitivos, e as anlises com base neles tm-se revelado de difcil inter-
pretao. No Chile, as dificuldades tcnicas para medir valores e atitu-
des dos alunos com relao ao aprendizado levaram ao abandono dessas
reas (veja A.7 no Apndice A).
Uma avaliao em larga escala (Monitoramento do Aproveitamento
do Aprendizado) avaliou as habilidades para a vida, definidas como o
conhecimento e as atitudes dos alunos sobre sade e nutrio, meio am-
biente, responsabilidade cvica, e cincia e tecnologia (Chinapah, 1997).
Embora seja geralmente aceito que as habilidades para a vida sejam im-
portantes e devam ser ensinadas, h bastante discordncia sobre sua exa-
ta natureza. Sua medio tambm tem se revelado difcil.
A maioria das avaliaes nacionais coleta informaes sobre os aluno,
a escola e fatores domsticos considerados relevantes para o aprovei-
tamento (por exemplo, gnero dos alunos; sua vida escolar, incluindo
repetncia; recursos nas escolas, incluindo disponibilidade de livros di-
dticos, nvel de formao de professores e suas qualificaes; e situao
socioeconmica das famlias). As informaes so, em geral, obtidas por
meio de questionrios (e, ocasionalmente, em entrevistas) aplicados aos
alunos, professores, diretores e, s vezes, aos pas, ao mesmo tempo em
que esto sendo aplicados os instrumentos de avaliao.
A identificao de fatores contextuais relacionados com o aprovei-

tamento dos alunos pode ajudar a identificar as variveis manipul-
veis, ou seja, os fatores que podem ser alterados pelos formuladores
de polticas, como a regulamentao do tempo alocado para as reas
de currculo, a oferta de livros didticos e o tamanho da turma. No
entanto, os dados contextuais coletados em alguns estudos nacionais
(e internacionais) no podem desempenhar esse papel, porque no
medem adequadamente as condies em que vivem os alunos. A de-
terminao da situao econmica, por exemplo, pode estar baseada
numa lista de itens que inclui um carro, uma televiso e uma torneira
embora isso no se ajuste situao de um pas em que a maioria da
populao vive, pelo menos durante parte do ano, com o equivalente
a menos de US$1 por dia. Alm disso, apesar da relevncia de fatores
como estado de sade e estado nutricional, no h como obter infor-
maes sobre eles (Naumann, 2005).
Em algumas avaliaes, o aproveitamento dos professores tambm
foi avaliado. No Vietn (veja A.2 no Apndice A) e em vrios pases afri-
canos que participaram dos estudos do SACMEQ (veja C.1 do Apn-
dice C), os professores tiveram de responder aos mesmos itens do teste
aplicado a seus alunos, como forma de se obter uma percepo de seus
nveis de domnio do assunto. Em Uganda, foi possvel saber o quanto os
professores afirmavam estar familiarizados com os principais documen-
tos curriculares oficiais.
Responsabilidade de decidir o que ser avaliado: Ministrio da Educao,

CCN, com insumos fornecidos pelo rgo implementador.
COMO SER AVALIADO O APROVEITAMENTO?
Deve-se conceber um instrumento, ou mais de um, para fornecer a in-

formao que a avaliao nacional pretende obter. Assim como variam
as finalidades das avaliaes nacionais e seus usos propostos, variam
tambm os instrumentos utilizados nas avaliaes e as formas como os
resultados so apresentados.
Algumas avaliaes nacionais apresentam resultados em funo das

caractersticas da distribuio das pontuaes nas provas por exemplo,
a mdia percentual de itens que os alunos responderam corretamente e
como as pontuaes se distriburam em torno da mdia. Ou os resulta-
dos podem ser apresentados numa escala relativa a uma mdia arbitr-
ria (como 500, por exemplo) e a um desvio-padro tambm arbitrrio
(como 100, por exemplo). Embora essas pontuaes possam ser usadas
para comparar o desempenho de subgrupos na amostra, tm utilizao
limitada numa avaliao nacional, principalmente porque pouco nos di-
zem a respeito do nvel de conhecimentos dos alunos sobre as matrias
ou das habilidades reais que adquiriram.
Para resolver essa questo e tornar os resultados de uma avaliao
mais significativos para as partes interessadas, um nmero crescente
de avaliaes nacionais procura apresentar os resultados de uma forma
que especifica o que os alunos sabem e o que no sabem e identifica
os pontos fortes e fracos em seus conhecimentos e habilidades. Essa
abordagem envolve a combinao das pontuaes dos alunos com as
descries das tarefas que so capazes de fazer (por exemplo, pode
ler em determinado nvel de compreenso ou pode realizar ope-
raes matemticas bsicas). Os desempenhos podem ser classifica-
dos de diversos modos (por exemplo, satisfatrio ou insatisfatrio,
bsico, proficiente ou avanado), e pode-se determinar a pro-
poro de alunos em cada nvel. Estabelecer a correspondncia entre
as pontuaes dos alunos e os nveis de aproveitamento uma tarefa
complexa que envolve o julgamento de especialistas em currculos e
em anlise estatstica.
A forma como os resultados sero descritos deve ser decidida na fase
de elaborao das provas. Assim, a elaborao poderia comear com a
especificao de um quadro de referncia no qual so explicitadas as
expectativas a respeito do aprendizado; em seguida, seriam escritos os
itens do teste destinados a avaliar em que medida os alunos atendem s
expectativas. No entanto, se os itens no atenderem a certos critrios
na fase do pr-teste, incluindo a medida em que conseguem captar as
diferenas entre os alunos, no podero ser usados no instrumento de
avaliao final. Devem ser tomados cuidados para garantir que objetivos
importantes do currculo estejam representados numa avaliao, mesmo

que nenhum aluno no pr-teste fornea evidncia de alcan-los.
A maioria das avaliaes nacionais e internacionais utiliza, em grande
medida, o formato de mltipla escolha em seus instrumentos. Muitas
vezes, aqueles itens sero complementados por perguntas abertas que
requerem que o aluno escreva uma palavra, frase ou sentena. Exemplos
de itens de mltipla escolha e de perguntas abertas so fornecidos nos
Quadros 4.2 e 4.3, respectivamente.
Em vrias avaliaes nacionais (por exemplo, a NAEP, nos Estados
Unidos, e a Avaliao Nacional de Leitura em Ingls, na Irlanda) e in-
ternacionais (por exemplo, o TIMSS e o PISA), cada aluno responde a
apenas uma frao do nmero total de itens utilizados numa avaliao
(veja A.8 no Apndice A; B.1 e B.3 no Apndice B). Essa abordagem
amplia as reas do currculo cobertas pela prova sem colocar um fardo
muito grande sobre os alunos individualmente. Tambm permite o uso
de passagens dissertativas (por exemplo, uma crnica ou um artigo de
jornal) na avaliao da compreenso em leitura. Em outras avaliaes,
todos os alunos respondem ao mesmo conjunto de itens. Embora haja
algumas vantagens em haver alunos individuais respondendo a apenas
uma frao de itens, tambm existem desvantagens, especialmente para
os pases que esto comeando um programa de avaliao nacional. A
administrao (por exemplo, impresso e distribuio) mais complexa,
assim como a pontuao e o ordenamento das pontuaes, e anlises
envolvendo dados individuais de alunos podem ser problemticas (veja
Sofroniou e Kellaghan, 2004).
A questo do idioma de avaliao geralmente recebe menos ateno
do que merece. Ela est associada a dois problemas. Em primeiro lugar,
embora em muitos pases existam grandes grupos minoritrios (e, s ve-
zes, majoritrios) para os quais a lngua de instruo no seu idioma
materno, os alunos so normalmente avaliados na lngua de instruo.
Em Uganda, por exemplo, a maioria dos alunos faz as provas em sua
segunda lngua (veja A.9 no Apndice A). O baixo desempenho em
provas atribudo a essa prtica, bem como o so os geralmente limita-
dos progressos acadmicos dos alunos e o abandono precoce da escola
(Naumann, 2005).
QUADRO 4.2
Exemplos de Itens de Mltipla Escolha
Matria: Geografia
O rio Volga fica na:
A. China
B. Alemanha
C. Federao Russa
D. Sucia.
Matria: Matemtica
Uma foca tem de respirar enquanto dome. Martin observou uma foca durante uma
hora. No incio da observao, a foca mergulhou at o fundo do mar e comeou a
dormir. Em oito minutos, flutuou lentamente at a superfcie e respirou. Passados
trs minutos, ela estava de volta ao fundo do mar, e o processo recomeou de forma
muito regular. Depois de uma hora, a foca estava:
A. no fundo da gua
B. a caminho da superfcie
C. respirando
D. a caminho do fundo.
Fonte: Exemplo de matemtica: OCDE, 2007. Reproduzido com permisso.
QUADRO 4.3
Exemplos de Itens Abertos
Matria: Linguagem
ALTO o oposto de BAIXO
Qual o oposto de:
RPIDO ________ ESCURO________
PESADO ________ VELHO_________
Matria: Matemtica
Use sua rgua para desenhar um retngulo com um permetro de 20cm. Identifique
com o nome a largura e o comprimento.
Um segundo problema relativo linguagem surge quando os ins-

trumentos de avaliao precisam ser traduzidos em uma ou mais
lnguas. Quando se desejar fazer comparaes entre desempenhos
avaliados em diferentes lnguas, a anlise deve levar em conta a possi-
bilidade de que eventuais diferenas possam ser atribudas a diferen-
tes graus de dificuldade lingustica encontrados pelos alunos nas pro-
vas de avaliao. A questo parcialmente resolvida com a mudana
de palavras. Por exemplo, em uma avaliao internacional realizada
em Gana, a palavra neve foi substituda por chuva. Se variaes
nas diferenas de idiomas estiverem associadas a variaes nos fatores
culturais e econmicos, o problema agravado, pois pode ser difcil
assegurar a equivalncia, em todos os idiomas em que redigido um
teste, entre a forma como so elaboradas as perguntas e a adequao
cultural dos contedos. Por exemplo, o material apropriado ao con-
texto de alunos nas reas rurais cobrindo caa, mercado ou feira,
atividades agrcolas e jogos locais pode ser desconhecido para os
alunos em reas urbanas.
Quaisquer que sejam os detalhes do mtodo utilizado, a avaliao
precisa fornecer informaes vlidas e confiveis. A validade tem di-
versas facetas, incluindo a adequao de um instrumento de avaliao
para representar o conceito (por exemplo, letramento em leitura) ou
a rea de currculo (por exemplo, estudos sociais) identificados no
contexto de avaliao. O julgamento de especialistas em currculo
importante aqui. Alm disso, o instrumento de avaliao deve medir
apenas o que se pretende medir com ele. Assim, um teste de mate-
mtica ou cincias deve avaliar os conhecimentos e habilidades dos
alunos nessas reas, e no sua competncia em linguagem. A con-
fiabilidade dos procedimentos de avaliao em avaliaes nacionais
geralmente envolve saber estimar em que medida os itens individuais
de um teste avaliam o conceito geral que o teste pretende medir e,
no caso de itens em aberto, a medida em que dois ou mais membros
da equipe concordam em suas pontuaes.
Responsabilidade de decidir como ser avaliado o aproveitamento: rgo

de implementao.
COM QUE FREQUNCIA SERO REALIZADAS AS AVALIAES?
A frequncia com que se realiza uma avaliao nacional varia de pas para
pas, podendo ir de avaliaes anuais at uma a cada 10 anos. Pode existir a
tentao de avaliar o aproveitamento na mesma rea de currculo e em um
mesmo pblico-alvo todos os anos, mas essa frequncia desnecessria, bem
como muito dispendiosa, se o objetivo for monitorar os padres nacionais.
Nos Estados Unidos, leitura e matemtica so avaliadas a cada dois anos, e
outras matrias tm avaliaes menos frequentes. A avaliao internacional
do letramento em leitura (PIRLS) teve um espao de cinco anos entre a
primeira aplicao e a segunda (2001-06). No Japo, o aproveitamento nas
reas principais do currculo avaliado a cada 10 anos, a fim de orientar a
reviso de currculos e de livros didticos (Ishino, 1995).
Se o objetivo da avaliao manter os professores e as escolas e at
mesmo os alunos responsveis pelo aprendizado, as provas podem ser
realizadas a cada ano. Alm disso, dado que tal avaliao incide sobre o
desempenho de indivduos, bem como sobre o desempenho do sistema,
todos (ou quase todos) os alunos no sistema educacional sero avaliados.
Esse esquema foi adotado no Chile e na Inglaterra.
No entanto, se a finalidade da avaliao apenas fornecer informaes
sobre o aproveitamento do sistema como um todo, talvez seja adequado
fazer a avaliao de uma amostra de alunos em determinada rea de curr-
culo a cada trs a cinco anos. Como os sistemas educacionais no mudam
rapidamente, avaliaes mais frequentes provavelmente no registrariam
mudanas. mais que provvel que avaliaes feitas com frequncia exces-
siva limitem o impacto dos resultados e resultem em custos desnecessrios.
Responsabilidade por decidir a frequncia da avaliao: Ministrio da

Educao
COMO DEVE SER DIVULGADO O APROVEITAMENTO DOS ALUNOS?
Embora os formuladores de polticas provavelmente prefiram estatsti-

cas resumidas, a evidncia sobre a multidimensionalidade do aprovei-
tamento sugere que um nico ndice de aproveitamento, tal como a

pontuao total de uma prova, pode ocultar informaes importantes.
Uma abordagem alternativa fornecer informaes diferenciadas que
reflitam os pontos fortes e fracos no currculo de um pas. A informao
seria ainda mais valiosa se distinguisse entre o conhecimento dos alunos
sobre fatos bsicos e habilidades bsicas e sua compreenso mais profun-
da, ou de ordem superior.
Para descrever o aproveitamento dos alunos em avaliaes nacionais,
tem-se usado uma variedade de procedimentos, e isso reflete a riqueza
de dados que uma avaliao pode fornecer (veja o Volume 5, O uso dos
resultados da avaliao do desempenho educacional). A seleo de um ou
mais procedimentos deve ser orientada pelas necessidades de informa-
o do Ministrio da Educao e de outros interessados.
Informaes no Nvel de Item
Esta informao envolve pouco mais alm de simplesmente relatar o

percentual de alunos que responderam corretamente a itens individuais.
Uma avaliao nacional pode revelar que a maioria dos alunos teve de-
sempenho insatisfatrio em uma questo de matemtica que envolvia o
uso de ndices, ou que praticamente todos os alunos foram capazes de
estabelecer associaes entre palavras simples e imagens. Em Gana, por
exemplo, apenas 1% dos alunos respondeu corretamente a uma pergun-
ta do TIMSS sobre a refrao da luz (Gana, Ministrio da Educao,
Juventude e Esportes, 2004). Esse tipo de informao, embora muito
detalhada para a elaborao de polticas nacionais, provavelmente inte-
ressaria aos que trabalham com currculos, aos formadores de professo-
res e, possivelmente, a autores de livros didticos.
Desempenho em Domnios de Currculo
Os itens podem ser agrupados em unidades curriculares ou domnios, e

as pontuaes das provas podem ser divulgadas em funo do desempe-
FIGURA 4.1
Percentual Mdio de Respostas Corretas em Matemtica, por reas de Contedo

no Lesoto
80
70
respostas corretas (%)
60
50
40
30
20
10
0
nmero medida forma representao
de dados
rea de contedo
Fonte: Lesoto, Conselho de Testes do Lesoto e Centro Nacional de Desenvolvimento de Currculos, 2006.
nho em cada domnio. Itens de leitura, por exemplo, tm sido classifica-

dos por capacidade de recuperar informaes de um texto, fazer infern-
cias a partir de um texto, interpretar e integrar informaes, examinar e
avaliar as informaes contidas no texto (Eivers et al., 2005). A Figura
4.1 ilustra como o Lesoto divulgou o desempenho em matemtica por
rea de contedo.
Padres de Desempenho
O desempenho em avaliaes nacionais e internacionais descreve o que

se requer dos alunos nas provas para que consigam uma classificao no
nvel bsico, proficiente ou avanado numa rea de currculo. O
nmero de nveis pode variar (veja A.2 no Apndice A para uma descri-
o de seis nveis de proficincia de leitura utilizados numa avaliao na-
cional no Vietn, e C.1 no Apndice C para oito nveis de leitura e oito
nveis de habilidade matemtica utilizados no SACMEQ). A seleo dos

pontos de corte que diferenciaro os nveis envolve o uso de dados esta-
tsticos e julgamentos subjetivos.
Padres de Domnio
Os nveis de domnio podem basear-se na pontuao geral obtida na

prova (por exemplo, respostas corretas a determinado percentual de
itens de teste). No Sri Lanka, o nvel de domnio para uma avaliao na-
cional da 4a srie foi fixado em 80%. Menos de 40% dos alunos atingiram
esse nvel no teste de seu idioma materno ou em matemtica, e menos
de 10% o alcanaram no teste de ingls (Perera et al., 2004). Os nveis
de domnio tambm podem se basear no atingimento de determinado
nvel de desempenho. Nos Estados Unidos, o estado de Connecticut usa
cinco nveis de desempenho (abaixo do bsico, bsico, proficiente,
conforme a meta e avanado). A meta definida como um nvel
desafiador, embora fosse razoavelmente possvel esper-la dos alunos, e
aceita como o nvel de domnio. Os dados da Tabela 4.4 mostram que
bem mais da metade dos alunos nas 3a e 4a sries alcanou o nvel con-
forme a meta (ou de domnio) em todas as trs reas de currculo.
Responsabilidade por decidir como o aproveitamento dos alunos apresen-

tado: rgo de implementao, com insumos da CCN.
QUE TIPOS DE ANLISES ESTATSTICAS DEVEM SER FEITAS?
Algumas anlises sero ditadas pelas questes de polticas que inicial-

mente motivaram a avaliao. A maioria das avaliaes nacionais forne-
ce evidncias sobre o aproveitamento por gnero, regio, rea urbana ou
rural, etnia ou lngua, e tipo de escola frequentada (pblica ou privada).
Algumas avaliaes tambm fornecem dados sobre a qualidade das ins-
talaes escolares (por exemplo, no Qunia). As anlises que envolvem
essas variveis so relativamente simples e tm significado bvio para
TABELA 4.4
Percentual que Alcanou a Meta ou o Nvel de Domnio por Srie, Connecticut, 2006
Srie Matemtica Leitura Escrita

Na meta Avanado Na meta Avanado Na meta Avanado
ou acima ou acima ou acima ou acima ou acima ou acima
(%) (%) (%) (%) (%) (%)
3a 56 22 54 17 61 22
4a 59 22 58 16 63 22
Fonte: Departamento de Educao de Connecticut, 2006.
os formuladores de polticas e os polticos. No entanto, no represen-

tam adequadamente a complexidade dos dados. So necessrias formas
mais complexas de anlise se quisermos, por exemplo, lanar luz sobre
os fatores relativos escola e sobre os antecedentes e contextos que
contribuem para o aproveitamento. Exemplos do uso de procedimentos
estatsticos complexos encontram-se na descrio da avaliao nacional
do Vietn (veja A.2 no Apndice A).
Devem-se levar em conta as limitaes das anlises e os problemas de
se inferir causalidade a partir de estudos que coletam, ao mesmo tempo,
dados sobre aproveitamento e sobre outras variveis. Embora seja difcil,
e s vezes impossvel, separar os efeitos da comunidade, da famlia e de
fatores escolares sobre o aprendizado dos alunos, essa complexidade no
tem impedido que algumas pesquisas faam interpretaes causais dos
dados obtidos em avaliaes nacionais e internacionais.
Responsabilidade de decidir sobre os mtodos de anlise estatstica: rgo

de implementao.
COMO DEVEM SER APRESENTADOS E USADOS OS RESULTADOS

DE UMA AVALIAO NACIONAL?
Caso se deseje que os resultados de uma avaliao nacional afetem a pol-

tica nacional de educao, esses devem ser divulgados o mais rapidamente
possvel aps a concluso da anlise dos dados. No passado, os relatrios
tcnicos que continham uma quantidade considervel de dados tendiam a
ser a nica forma de apresentao dos resultados. Alguns grupos de usurios
(por exemplo, os professores no Chile; ver A.7 no Apndice A), contudo,
consideraram que a linguagem desses relatrios era excessivamente tcnica.
Como resultado, cresce a cada dia o reconhecimento de que indispens-
vel adotar outras formas de divulgao. As alternativas incluem relatrios
resumidos centrados nos principais resultados e especialmente preparados
para os formuladores de polticas (que dispem de pouco tempo para ler
textos longos); comunicados de imprensa; relatrios especiais para rdio e
televiso; e relatrios separados para escolas, professores, elaboradores de
currculos e formadores de professores. Em alguns pases (por exemplo, Sri

Lanka), so preparados relatrios distintos para cada provncia. Um relat-
rio na Etipia foi traduzido para quatro lnguas principais. As necessidades
de informao das partes interessadas devem determinar o contedo de re-
latrios adicionais.
Ainda na fase de planejamento, o Ministrio da Educao deve fazer
a dotao oramentria adequada para a elaborao do relatrio e sua di-
vulgao. Em colaborao com a comisso de coordenao nacional, deve
definir procedimentos para comunicar s partes interessadas os resultados
das avaliaes nacionais. As estratgias apropriadas para comunicar os re-
sultados devem levar em conta o fato de que, entre os usurios (quer se
trate de administradores ou professores), h grande variao na capacidade
de compreender a informao estatstica e aplic-la na tomada de decises.
Obviamente, no faz sentido produzir relatrios se as informaes ali con-
tidas no forem adequadamente divulgadas. Assim, tambm necessrio
definir uma estratgia de divulgao para que a informao relevante atinja
todas as partes interessadas. A estratgia deve identificar potenciais usurios
(principais instituies e indivduos) e seus nveis de competncia tcnica.
Os resultados da avaliao nacional tm sido utilizados para estabele-
cer padres de referncia que permitam acompanhar os nveis de apro-
veitamento do aprendizado (por exemplo, no Lesoto), reformar curr-
culos, fornecer dados de linha de base sobre a quantidade e qualidade de
materiais educacionais nas escolas (por exemplo, no Vietn), identificar
correlatos de aproveitamento e diagnosticar aspectos do currculo que
no esto sendo dominados pelos alunos. O Uruguai, por exemplo, usou
os resultados de sua avaliao nacional a fim de preparar manuais para
professores e identificar contedos curriculares e reas comportamentais
que, posteriormente, ajudaram a direcionar um programa em grande
escala para a capacitao durante o trabalho (veja A.3 no Apndice A).
O Volume 5 contm uma extensa parte sobre a elaborao de relat-
rios e a utilizao dos resultados da avaliao nacional.
Responsabilidade de apresentar e utilizar os resultados da avaliao nacio-

nal: rgo implementador, Ministrio da Educao, CCN, formadores
de professores, autoridade curricular, professores.
QUAIS SO OS COMPONENTES DE CUSTO DE

UMA AVALIAO NACIONAL?
O custo de uma avaliao nacional vai variar muito entre os pases, de-
pendendo dos nveis salariais do pessoal e dos custos dos servios. Den-
tro de um pas, o custo tambm varia em funo de alguns dos seguintes
fatores, ou de todos (Ilon, 1996):
yrgo implementador. Os custos variaro dependendo de o rgo ter

as instalaes e os conhecimentos necessrios ou de precisar, respec-
tivamente, aprimor-las ou contratar consultores em tempo integral
ou parcial. O custo de fornecer instalaes e equipamentos, incluindo
computadores e software, tambm precisa ser levado em conta.
yContedo e elaborao do instrumento. As opes para a seleo do
contedo e da forma da avaliao devem levar em conta o custo e
outros fatores como validade e facilidade de aplicao. A construo
de itens de mltipla escolha mais cara que a de itens em aberto,
mas, em geral, o trabalho de pontuao da mltipla escolha menos
dispendioso. O custo da traduo de provas, questionrios e manuais,
bem como de treinar os redatores de itens, tambm precisa ser con-
siderado.
yNmero de escolas e alunos participantes. Uma avaliao baseada no
censo ser obviamente mais cara que outra baseada numa amostra.
Os custos aumentam se houver necessidade de dados confiveis para
setores do sistema (estados ou municpios, por exemplo). Concentrar
a avaliao numa faixa de idade especfica tender a ser mais caro que
focalizar um nvel de ensino, porque alunos de todas as idades podem
estar espalhados em vrias sries, e isso exigiria material de avaliao
complementar e sesses adicionais de provas.
yAdministrao. A coleta de dados tende a ser o componente mais caro
de uma avaliao nacional. Ela envolve obter informaes das escolas
antes da avaliao; conceber, imprimir, embalar e enviar material de
teste e questionrios; e criar um sistema para aplicar os instrumen-
tos. Os fatores que contribuem para o custo global incluem: nmero
de escolas e alunos participantes; viagens; dificuldade de acesso s
escolas; alojamento para os entrevistadores (se necessrio); coleta e

retorno de questionrios e provas concludos.
yPontuao, gerenciamento de dados e entrada de dados. Os custos va-
riaro de acordo com alguns aspectos: o nmero de escolas, alunos,
professores e pais que participarem; o nmero de itens em aberto;
se os itens so pontuados manualmente ou a mquina; o nmero de
estudos de confiabilidade feitos entre avaliadores; a qualidade da apli-
cao da prova e da pontuao.
yAnlise. Os custos da anlise dependero do tipo de procedimentos
de avaliao utilizados e da disponibilidade de tecnologia para pon-
tuao e anlise. Apesar de a pontuao a mquina ser normalmente
considerada mais barata que a manual, esse fator de reduo do custo
pode no se aplicar a um pas em que os custos de tecnologia so ele-
vados e os custos trabalhistas, baixos.
yApresentao dos resultados. A avaliao dos custos deve levar em
conta o fato de que sero necessrias diferentes verses de um re-
latrio para os formuladores de polticas, os professores e o pblico
em geral; tambm se devem considerar a natureza e a amplitude da
estratgia de divulgao do relatrio.
yAtividades de acompanhamento posterior. Talvez haja necessidade de
dotao oramentria para atividades como treinamento dos profes-
sores durante o trabalho (em consequncia dos resultados da avalia-
o nacional), sesses informativas para rgos de currculos e anlises
secundrias dos dados. Tambm podem ser necessrias medidas para
contornar a escassez de habilidades em reas profissionais cruciais
(por exemplo, anlise estatstica). Deve ser feita dotao orament-
ria para provveis aumentos salariais durante o perodo da avaliao
(dois a trs anos, normalmente), para compensar a inflao e para
eventos inesperados (contingncias).
Algumas avaliaes nacionais no alcanaram seus objetivos bsicos

porque o oramento foi insuficiente. Embora o oramento global seja
responsabilidade do Ministrio da Educao, pessoas com experincia
em clculo de custos e em projetos que envolvem dados em grande es-
cala devem participar das discusses sobre o oramento. Funcionrios
do ministrio que no estejam familiarizados com projetos desse porte

provavelmente tero dificuldade de compreender a necessidade de ora-
mento para atividades como provas-piloto e limpeza de dados.
Os nmeros da NAEP dos Estados Unidos fornecem uma ideia geral
dos custos que devem ser orados: coleta de dados (30%), desenvolvi-
mento de instrumentos (15%), anlise de dados (15%), apresentao
de resultados e divulgao (15%), amostragem (10%), processamento de
dados (10%) e gerenciamento (5%) (Ilon, 1996). Em alguns pases em
que, por exemplo, funcionrios do ministrio ou integrantes de comis-
so de exames aplicam a prova como parte de suas funes normais, no
se pode fazer uma dotao oramentria para cobrir algumas atividades.
Os custos e salrios variaro de acordo com as condies econmicas
nacionais. No Camboja (que no est entre os primeiros 100 pases do
mundo em termos de renda nacional bruta), o pagamento s pessoas que
redigiram os itens em 2006 foi equivalente a US$5 por dia.
Possivelmente, os pases com recursos muito limitados no achariam
conveniente gast-los com uma avaliao nacional, especialmente dian-
te da probabilidade de que seus sistemas educacionais tenham muitas
necessidades no atendidas. Se realmente quiserem desenvolver uma
atividade de avaliao nacional, seria muito aconselhvel que limitassem
o nmero de reas de currculo (apenas uma, em um nico nvel de en-
sino) e buscassem a assistncia tcnica e o apoio de doadores.
Ao considerar os custos, bom ter em mente que o custo dos progra-
mas de prestao de contas e demonstrao de resultados e das avalia-
es nacionais, em particular muito pequeno em comparao com o
de outros programas educacionais (veja Hoxby, 2002). O nus de no
realizar uma avaliao de no descobrir o que est funcionando e o que
no est funcionando no sistema educacional provavelmente muito
maior que o custo de uma avaliao. O Volume 3 discute questes rela-
tivas ao custeio de uma avaliao nacional.
Responsabilidade de estimar os componentes de custo de uma avaliao

nacional: Ministrio da Educao, com insumos de consultoria.
RESUMO DAS DECISES
A Tabela 4.5 identifica os rgos que tm a responsabilidade principal

de tomar decises relativas aos 12 componentes de uma avaliao nacio-
nal discutidas neste captulo.
TABELA 4.5
rgos com a Responsabilidade Principal pelas Decises numa Avaliao Nacional
Responsabilidade principal
Ministrio Comisso de
da Coordenao
Deciso Educao Nacional Agncia Outros
Dar orientao poltica
Realizar avaliao nacional
Aplicar testes e
questionrios
Escolher a populao a ser
avaliada
Determinar amostra ou
populao-alvo
Decidir o que avaliar
Decidir como o
aproveitamento avaliado
Determinar a frequncia da
avaliao
Selecionar mtodos de
comunicar resultados
Determinar procedimentos
estatsticos
Identicar mtodos
de comunicar e utilizar
resultados
Estimar componentes de
custo
Fonte: Autores.
CAPTULO QUESTES ENVOLVIDAS
5 NAS FASES DE PROJETO,

IMPLEMENTAO,
ANLISE, APRESENTAO
DE RELATRIO E
UTILIZAO DE UMA
AVALIAO NACIONAL
N
este captulo, identificamos uma srie de
questes que determinam a confiana que
os interessados possam ter nos resultados
de uma avaliao nacional. Para cada um dos cinco componentes da
atividade de avaliao nacional (projeto, execuo, anlise dos dados,
elaborao de relatrios, divulgao e utilizao dos resultados obtidos),
sugerimos uma srie de atividades que reforaro a confiana e que,
portanto, devem contribuir para a utilizao tima dos resultados e das
constataes. Para cada componente, tambm identificamos os erros co-
muns que tm ocorrido em avaliaes nacionais e dos quais os avaliado-
res devem estar conscientes, a fim de evit-los.
PROJETO
O projeto da avaliao define os parmetros gerais do exerccio: os apro-

veitamentos a serem avaliados, a srie ou a idade em que os alunos sero
avaliados, as questes de polticas a resolver, e se a avaliao envolver
toda a populao-alvo ou uma amostra de alunos.
Atividades Recomendadas
yEnvolver, desde o incio, os formuladores de polticas do alto escalo

para garantir apoio poltico e obter sua ajuda no momento de definir
o marco de referncia da avaliao.
yDeterminar e levar em conta as necessidades de informao dos for-
muladores de polticas durante o processo de seleo dos aspectos do
currculo, dos nveis de ensino e dos subgrupos da populao-alvo
(por exemplo, por regio ou por gnero) que sero avaliados.
yObter apoio dos professores, envolvendo representantes dos profes-
sores em decises de polticas relacionadas com a avaliao.
yEstar ciente de que, se houver fortes interesses em jogo associados ao
desempenho dos alunos, isso pode levar oposio de professores e
ao estreitamento do currculo efetivo, na medida em que os professo-
res concentraro o ensino naquilo que ser avaliado.
Erros Comuns
yDeixar de fazer a proviso financeira adequada para os aspectos fun-

damentais de uma avaliao nacional, incluindo a elaborao de rela-
trios e sua divulgao.
yDeixar de criar uma comisso de coordenao nacional e de us-la
como fonte de informao e orientao no decurso da avaliao.
yDeixar de obter o comprometimento do governo com o processo de
avaliao nacional, o que resulta em: incapacidade de identificar as
questes polticas fundamentais que devem ser abordadas na fase de
projeto da avaliao; ausncia de uma comisso de coordenao na-
cional; ou realizao simultnea de mais de uma avaliao nacional
(muitas vezes, apoiadas por doadores externos).
yDeixar de envolver partes interessadas relevantes (por exemplo, os
representantes dos docentes ou os formadores de professores) no pla-
nejamento da avaliao nacional.
yOmitir da populao-alvo avaliada determinado subgrupo (por
exemplo, alunos de escolas particulares ou alunos de escolas pe-
quenas), o que poder introduzir srias distores nos resultados

da avaliao.
yDefinir metas irrealistas para as pontuaes do teste (por exemplo,
aumento de 25% nas pontuaes num perodo de quatro anos).
yDeixar de alocar tempo suficiente para a elaborao da prova.
IMPLEMENTAO
A implementao abrange uma vasta gama de atividades, que vo desde

o desenvolvimento de instrumentos de avaliao adequados, a seleo
dos alunos que respondero aos instrumentos, at a aplicao dos instru-
mentos nas escolas.
yDescrever em detalhes o contedo e as habilidades cognitivas que

caracterizam o aproveitamento, bem como as variveis contextuais
que sero avaliadas.
yConfiar a elaborao das provas a pessoal familiarizado tanto com os
padres curriculares quanto com os nveis de aprendizado dos alunos
(especialmente professores em exerccio).
yUtilizar instrumentos que avaliem adequadamente as habilidades
e os conhecimentos sobre os quais se requerem informaes e que
forneam dados relevantes sobre os subdomnios de habilidades ou
conhecimentos (por exemplo, resoluo de problemas), em vez de
apresentar apenas uma pontuao global.
yDesenvolver itens claros e inequvocos para compor o teste e o ques-
tionrio, e apresent-los de forma clara e atraente.
yAssegurar que existam procedimentos adequados para avaliar a equiva-
lncia das verses caso haja necessidade de traduo dos instrumentos.
yFazer um teste-piloto dos itens, questionrios e manuais.
yRever os itens para identificar possveis ambiguidades e preconceitos
relacionados s caractersticas dos alunos (por exemplo, gnero, loca-
lizao ou pertencimento a grupo tnico), corrigi-los e, se necessrio,

elimin-los.
yFazer uma cuidadosa reviso grfica de todos os materiais.
yEstabelecer procedimentos para garantir a segurana de todos os ma-
teriais da avaliao nacional (por exemplo, provas e questionrios)
durante todo o processo de avaliao, evitando que caiam em mos
de pessoas no autorizadas.
yGarantir os servios de uma pessoa ou uma unidade com experincia
em amostragem.
yEspecificar a populao-alvo definida (a populao da qual se vai ex-
trair uma amostra ou seja, a base da amostragem) e a populao-al-
vo excluda (por exemplo, os elementos da populao-alvo aos quais
muito difcil chegar ou que no seriam capazes de responder ao
instrumento). Devem ser fornecidos dados exatos sobre as popula-
es excludas.
yCertificar-se de que a amostra proposta representativa e de tama-
nho suficiente para fornecer informaes sobre as populaes-alvo, e
com um nvel de erro aceitvel.
ySelecionar membros da amostra, a partir da base de amostragem, de
acordo com as probabilidades conhecidas de seleo.
ySeguir um procedimento padro quando aplicando provas e questio-
nrios. Preparar um manual de aplicao.
yCertificar-se de que os aplicadores de prova estejam completamente
familiarizados com o contedo das provas, dos questionrios e ma-
nuais e com os procedimentos de aplicao.
yElaborar e implementar um mecanismo de garantia de qualidade que
cubra, entre outras coisas, validade da prova, amostragem, impresso,
aplicao da prova e preparao de dados.
Erros Comuns
yAtribuir as tarefas de elaborao de provas a pessoas no familiariza-

das com os nveis provveis de desempenho dos alunos (por exemplo,
acadmicos), o que pode resultar em provas muito difceis.
yEspelhar o currculo de forma inadequada nas provas, como, por

exemplo, deixando de incluir aspectos importantes do currculo.
yDeixar de incluir certos itens no teste-piloto ou testar os itens numa
amostra no representativa da populao-alvo.
yUtilizar na verso final da prova um nmero insuficiente dos itens
que compunham o teste-piloto.
yDeixar de dar uma definio clara do conceito avaliado (por exem-
plo, leitura).
yIncluir um nmero insuficiente de itens da amostra para alunos que
no esto familiarizados com o formato de teste.
yNo incentivar os alunos a solicitar esclarecimentos ao supervisor de
teste antes de fazer a prova.
yDeixar de dar instrues adequadas aos impressores de provas, ques-
tionrios e manuais a respeito de prazos.
yNo fazer uma reviso cuidadosa das provas, dos questionrios e ma-
nuais de aplicao.
yUsar dados nacionais inadequados ou obsoletos sobre o nmero de
alunos e de escolas para fazer a amostra.
yDeixar de realizar os procedimentos adequados de amostragem, in-
clusive a seleo de um percentual predeterminado de escolas (por
exemplo, 5%).
yDar treinamento inadequado aos aplicadores da prova e do questionrio.
yPermitir interveno externa (por exemplo, a presena do diretor na
sala de aula) durante a aplicao da prova.
yPermitir que os alunos se sentem perto uns dos outros durante a ava-
liao (isso incentiva a cola).
yDeixar de estabelecer o hbito de se fazerem horas extras, se necess-
rio, para concluir as tarefas-chave a tempo.
ANLISE
As anlises estatsticas organizam, resumem e interpretam os dados co-

letados nas escolas. Devem abordar as questes de polticas identificadas
na fase de projeto da avaliao nacional.
yGarantir servios estatsticos competentes.

yPreparar um livro de cdigo com instrues especficas para a prepa-
rao de dados para anlise.
yConferir e limpar os dados para remover erros (por exemplo, rela-
tivos a nmeros, notas fora do intervalo e incompatibilidades entre
dados coletados em diferentes nveis).
yCalcular erros de amostragem, levando em conta as complexidades
da amostra, tais como estratificao e agrupamentos (clustering).
yPesar os dados para que a participao de cada setor da amostra nas
pontuaes agregadas de aproveitamento reflita suas propores na
populao-alvo.
yIdentificar o percentual de alunos que alcanaram os nveis ou pa-
dres previamente definidos como aceitveis.
yAnalisar os dados da avaliao para identificar os fatores que pode-
riam explicar a variao nos nveis de aproveitamento dos alunos, com
vistas a dar subsdios para o processo de formulao de polticas.
yAnalisar os resultados por domnios de currculo. Fornecer informa-
es sobre os subdomnios de uma rea de currculo (por exemplo,
aspectos de leitura, matemtica).
yLevar em conta que inmeros fatores de medio, curriculares e so-
ciais podem explicar o desempenho dos alunos.
Erros Comuns
yUsar anlises estatsticas inadequadas, inclusive deixando de dar peso

aos dados da amostra na anlise.
yBasear os resultados em nmeros pequenos (por exemplo, uma mi-
noria de professores que integraram a amostra e que poderiam ter
respondido a determinada questo).
yComparar o desempenho dos alunos em diferentes reas de currculo
e afirmar, com base nas diferenas de pontuao mdia, que os alunos
esto se saindo melhor em determinada rea.
yDeixar de enfatizar a natureza arbitrria dos pontos de corte das

pontuaes selecionadas (por exemplo, domnio versus no dom-
nio, aprovao versus fracasso), dicotomizando resultados e no
reconhecendo a vasta gama de pontuaes registradas nas provas
de um grupo.
yNo reportar erros-padro associados a estatsticas individuais.
yComputar e divulgar classificaes de escolas com base nos resulta-
dos de um teste de aproveitamento sem levar em conta fatores-chave
contextuais que contribuem para a classificao. Surgem classifica-
es diferentes quando os desempenhos das escolas so comparados
usando-se pontuaes de desempenho no ajustadas, pontuaes
ajustadas por fatores contextuais (por exemplo, o percentual de alu-
nos de baixa condio socioeconmica) e pontuaes ajustadas por
aproveitamento anterior.
yInferir causalidade onde talvez no possa ser justificada (por exem-
plo, atribuindo as diferenas no aproveitamento do aprendizado a
uma nica varivel, como a administrao de escolas particulares ou
o tamanho da turma).
yComparar os resultados de provas realizadas em dois perodos, embo-
ra tenham sido usados itens no equivalentes.
yComparar os resultados de provas realizadas em dois perodos sem
explicitar a medida em que importantes condies contextuais (por
exemplo, currculo, matrculas, renda familiar ou o nvel de conflitos
civis) podem ter mudado nesse nterim. Embora a maioria das vari-
veis relacionadas com a educao tenda a no apresentar mudanas
muito rpidas durante um curto perodo (por exemplo, 3 a 4 anos),
alguns pases adotaram polticas que resultaram em grandes mudan-
as no nmero de matrculas. Aps a abolio das taxas escolares, por
exemplo, o nmero de alunos matriculados nas escolas aumentou
muito no Malaui e em Uganda.
yLimitar a anlise principalmente a uma lista de pontuaes mdias de
regies geogrficas ou administrativas.
ELABORAO DO RELATRIO
Faz pouco sentido realizar uma avaliao nacional se os resultados no

forem apresentados com clareza e no tiverem relao com as necessida-
des dos vrios interessados.
yElaborar relatrios em tempo hbil tendo em mente as necessidades

dos clientes e apresent-los num formato que seja facilmente com-
preendido pelas partes interessadas, especialmente aquelas que se en-
contram em posio de tomar decises.
yApresentar um relatrio de resultados por gnero e regio, se o pro-
cesso de amostragem assim o permitir.
yProporcionar informao adequada no relatrio ou em um manual
tcnico para possibilitar a replicao da avaliao.
Erros Comuns
yEscrever relatrios excessivamente tcnicos.

yDeixar de destacar alguns resultados principais.
yFazer recomendaes sobre uma varivel especfica, embora a anlise
haja questionado a validade dos dados relativos a essa varivel.
yDeixar de relacionar os resultados da avaliao a currculo, livros di-
dticos e aspectos da formao de professores.
yNo reconhecer que fatores fora do controle do professor e da escola
contribuem para as pontuaes do teste.
yDeixar de reconhecer que as diferenas entre pontuaes mdias po-
dem no ser estatisticamente significativas.
yProduzir o relatrio com atraso, quando j no seja mais possvel in-
fluenciar decises relevantes de polticas.
yFazer uma reviso da literatura excessivamente extensa no relatrio
de avaliao.
yDeixar de divulgar junto ao pblico interessado um texto em separa-

do com as mensagens mais relevantes do relatrio.
DIVULGAO E UTILIZAO DAS CONSTATAES
importante que os resultados das avaliaes nacionais no fiquem es-

quecidos nas prateleiras dos formuladores de polticas, mas que sejam
transmitidos numa linguagem adequada a todos os que podem afetar a
qualidade do aprendizado dos alunos.
yDisponibilizar os resultados aos interessados, especialmente aos prin-

cipais formuladores e gestores de polticas.
yUsar os resultados, quando apropriado, para a elaborao de polticas
e para melhorar o ensino e os currculos.
Erros Comuns
yIgnorar os resultados durante o processo de formulao de polticas.

yDeixar de considerar as implicaes dos resultados da avaliao na-
cional para as partes interessadas relevantes (por exemplo, os forma-
dores de professores ou o pessoal que trabalha com currculos).
yDeixar de refletir com a equipe da avaliao nacional sobre as lies
aprendidas e no lev-las em conta durante as avaliaes posteriores.
CAPTULO
6 AVALIAES
INTERNACIONAIS DO
APROVEITAMENTO DE
ALUNOS
N
este captulo, descrevemos as avaliaes
internacionais do aproveitamento educa-
cional dos alunos, considerando-se que so
usadas em muitos pases como fontes de dados para uma avaliao na-
cional. Primeiro, delineamos as principais caractersticas das avaliaes
internacionais em termos de suas semelhanas e diferenas com as ava-
liaes nacionais. Em seguida, descrevemos o aumento da atividade de
avaliao internacional. Ento, identificamos as vantagens das avaliaes
internacionais, bem como os problemas associados a elas.
Uma avaliao internacional do aproveitamento dos alunos tem mui-
tas semelhanas com uma avaliao nacional. Ambos os exerccios ado-
tam procedimentos similares (nas etapas de construo de instrumen-
tos, amostragem, pontuao e anlise). Tambm podem ter objetivos
semelhantes, como: determinar quo bem os alunos esto aprendendo
no sistema educacional; identificar pontos fortes e fracos especficos nos
conhecimentos e nas habilidades adquiridos pelos alunos; comparar os
aproveitamentos de subgrupos da populao-alvo (por exemplo, defi-
nidos em termos de gnero ou lugar); ou determinar a relao entre o
aproveitamento dos alunos e uma variedade de caractersticas do am-
biente de aprendizado da escola, das famlias e das comunidades. Alm
disso, ambos os exerccios podem tentar estabelecer se o aproveitamento

dos alunos muda ao longo do tempo (Kellaghan e Greaney, 2004). Na
prtica, porm, nem sempre clara a razo que leva um pas a decidir
participar de uma avaliao internacional (Ferrer, 2006).
A principal vantagem de uma avaliao internacional em relao a
uma avaliao nacional que a primeira tem como objetivo fornecer aos
formuladores de polticas, educadores e ao pblico em geral informaes
sobre o sistema educacional de seus respectivos pases em comparao
com os de outros (Beaton e outros, 1999; Husn 1973; Postlethwai-
te, 2004). Presume-se que essa informao pressione os formuladores
de polticas e os polticos para que melhorem os servios. Alm disso,
espera-se que a informao contribua para a maior compreenso dos
fatores (que variam de pas para pas) relacionados com as diferenas de
aproveitamento dos alunos.
As reas de currculo que tm atrado a maior taxa de participao
em estudos internacionais ao longo dos anos so compreenso em lei-
tura, matemtica e cincias. Tm sido realizados estudos em escolas de
primeiro e segundo graus. Normalmente, usa-se uma combinao de s-
rie escolar e idade para determinar quem ir participar (por exemplo, os
alunos de duas sries adjacentes que contenham as maiores propores
nas idades de 9 a 13 anos; alunos dos nveis de ensino que contenham o
maior nmero nas idades de 9 e 14 anos; a srie mais elevada de duas s-
ries adjacentes que contenham o maior nmero de alunos com 9 anos).
Em outro estudo internacional, foram selecionados alunos de determi-
nada idade (15 anos).
Os resultados de avaliaes internacionais como o TIMMS (Tendn-
cias no Estudo Internacional de Matemtica e Cincias) e o PISA (Pro-
grama Internacional de Avaliao de Alunos), e tambm os de avaliaes
regionais, tm sido usados para preparar relatrios nacionais especficos
sobre o desempenho de cada pas. Para realizar essas anlises, as bases de
dados internacionais podem ser acessadas.
Existem variaes considerveis entre os pases no que se refere
extenso do uso dos resultados de avaliaes internacionais e nacionais
para a formulao de polticas. Muitos pases industriais conduzem as
prprias avaliaes nacionais e tambm participam de avaliaes in-
ternacionais. Os Estados Unidos tm a prpria Avaliao Nacional do

Progresso Educacional para as 4a, 8a e 12a sries; tambm participam
de avaliaes internacionais de aproveitamento. Alguns pases industria-
lizados tm participado de avaliaes internacionais, mas no realizam
avaliaes nacionais (por exemplo, a Federao Russa e a Alemanha).
Da mesma forma, alguns pases em desenvolvimento tm usado as ava-
liaes internacionais como fonte nica de suas avaliaes nacionais
(Braun e Kanjee, 2007). Muitos dos pases mais pobres do mundo no
tm tomado parte em avaliaes internacionais nem realizado avaliaes
nacionais, embora a situao esteja mudando nos ltimos anos.
CRESCIMENTO DA ATIVIDADE DE AVALIAO INTERNACIONAL
A atividade de avaliao internacional teve incio em 1958, quando um

grupo de pesquisadores reuniu-se para examinar a possibilidade de se
realizar um estudo de resultados de aproveitamento (que j haviam sido
medidos) e de seus determinantes, comparando escolas dentro de um
mesmo pas e entre pases (Husn e Postlethwaite, 1996). Desde ento,
mais de 60 pases tm participado de estudos internacionais de apro-
veitamento em uma rea de currculo ou em vrias: leitura, matem-
tica, cincias, escrita, literatura, lnguas estrangeiras, educao cvica e
alfabetizao digital. As avaliaes internacionais mais conhecidas so o
TIMSS (veja B.1 no Apndice B), o PIRLS, realizado pela IEA (veja B.2
no Apndice B) e o PISA, realizado pela OCDE (veja B.3 no Apndi-
ce B). Avaliaes regionais em leitura e matemtica tm sido feitas em
pases da frica Austral e da frica Oriental (veja C.1 do Apndice C),
na frica francfona (veja C.2 do Apndice C) e na Amrica Latina
(veja C.3 no Apndice C). Diversas caractersticas nas quais diferem o
TIMSS e o PISA so apresentadas na Tabela 6.1 (veja tambm B.1 e B.3
no Apndice B).
O nmero de pases que participam de estudos internacionais tem
aumentado ao longo dos anos. At a dcada de 1980, usualmente os
estudos abrangiam menos de 20 pases, mas o Estudo sobre Letramento
em Leitura realizado pela IEA em 1991 atraiu 32 pases. Em 2003, 52
TABELA 6.1
Comparao entre o TIMSS e o PISA
TIMSS 2003 PISA 2003

Objetivos Fornecer evidncias comparativas sobre Fornecer evidncias comparativas sobre o rendimento"
em que medida os alunos dominam o do sistema de ensino nos principais pases industrializados
contedo do currculo ocial da escola em e avaliar se os alunos podem aplicar seus conhecimentos e
matemtica e cincias, comum a uma srie competncias em leitura, matemtica e cincias a situaes
de pases. da vida real.
Monitorar mudanas nos nveis de Monitorar mudanas nos nveis de aproveitamento e na
aproveitamento ao longo do tempo. equidade dos resultados do aprendizado ao longo do
Monitorar as atitudes dos alunos com tempo.
relao a matemtica e cincias. Monitorar as abordagens do aluno aprendizagem e suas
Analisar a relao entre uma srie de atitudes em relao a matemtica, cincias e leitura.
fatores instrucionais e escolares e nveis de Fornecer um banco de dados para a elaborao de
aproveitamento. polticas.
(A leitura coberta numa avaliao
parte, feita pelo PIRLS.)
Marco de referncia Desenvolvido por especialistas em Desenvolvido por especialistas em contedo de alguns
contedo de alguns pases participantes. pases participantes.
Populao-alvo 4a e 8a sries Alunos com 15 anos
Adequao do currculo Projetado para avaliar o currculo ocial, Projetado para cobrir os conhecimentos adquiridos
organizado em torno de reas de currculo na escola e fora dela, denidos em termos de ideias
reconhecidas e comuns aos pases e competncias abrangentes aplicadas a situaes
participantes. pessoais, educacionais, prossionais, pblicas e
cientcas.
Diferenas no contedo de itens 8 srie, distribuio de itens: Matemtica, ideias globais: Distribuio dos itens:
(matemtica, 8 srie) y Nmero, 30% y Quantidade y Nmero, 31,8%
y lgebra, 25% y Espao e forma y Geometria, 21,2%
y Dados, 15% y Mudana e relaes y Estatstica, 21,2%
y Geometria, 15% y Incerteza y Funes, 10,6%
y Mensurao, 15% y Matemtica discreta, 5,9%
y Probabilidade, 5,9%
y lgebra, 3,5%
Processos cognitivos 8 srie: Distribuio do item:
y Soluo de problemas de rotina: 40% y Associao: 47%
y Uso de conceitos: 20% y Reproduo: 31%
y Conhecimento de fatos e y Reexo: 22%
procedimentos: 5%
y Raciocnio: 25%
Tipos de item (matemtica) Cerca de dois teros so itens de mltipla Cerca de um tero so itens de mltipla escolha e o
escolha, e o restante so questes restante, em geral, so questes fechadas (uma possvel
fechadas ou abertas. resposta certa) ou abertas (mais de uma possvel resposta
certa).
Frequncia A cada quatro anos: a mesma nfase em A cada trs anos: ampla cobertura de um domnio (assunto)
matemtica e cincias em cada ciclo. a cada nove anos (leitura em 2000, matemtica em 2003 e
cincias em 2006), alm de cobertura menos extensa dos
outros dois a cada trs anos.
Cobertura geogrca 48 pases: 20 de renda alta, 26 de renda 30 pases da OCDE e outros 11 pases.
mdia e dois de renda baixa.
Anlise Quatro nveis de referncia e uma Sete nveis de procincia em matemtica e uma
pontuao mdia, com base nos pontuao mdia, baseados em pases da OCDE.
resultados de todos os pases
participantes.
Fonte: Marcos de referncia do TIMSS e do PISA; Centro Nacional de Estatsticas Educacionais dos Estados Unidos, s.d.; base de dados Indicadores de Desenvolvimento
Mundial.
pases participaram do TIMSS e 41 do PISA (30 Estados-membros da

OCDE e 11 pases parceiros). Alm disso, os estudos internacionais
dos ltimos anos tm destacado o acompanhamento do desempenho ao
longo do tempo. As trs mais importantes avaliaes internacionais hoje
existentes (TIMSS, PIRLS e PISA) so aplicadas a intervalos regulares e
passaram a ser descritas como estudos de tendncias.
Como regra, a participao dos pases no industrializados nos es-
tudos internacionais tem sido baixa. No entanto, esse nmero tambm
vem aumentando ao longo dos anos. O TIMSS atraiu o maior nmero
deles em 2003 (sete pases da frica) e em 2007 (seis da frica). Como
ocorreu, de modo geral, nos estudos internacionais, os pases no indus-
trializados tambm mostraram maior interesse em participar de avalia-
es de matemtica e leitura que de outras reas de currculo.
O crescimento recente da participao em estudos internacionais
pode ser atribudo globalizao, a um movimento nas reas de sade
e educao para comparar e avaliar os servios tomando como padro
de referncia aqueles de outros pases e o interesse global. Algumas evi-
dncias de pesquisa apoiam a ideia de que a qualidade da educao (em
particular, naqueles aspectos representados pelo aproveitamento em
matemtica e cincias) desempenha papel importante no crescimento
econmico, embora essa relao no seja inteiramente consistente en-
tre os pases ou ao longo do tempo (Coulombe, Tremblay e Marchand,
2004; Hanushek e Kimko, 2000; Hanushek e Wssmann, 2007; Rami-
rez et al., 2006). Seja qual for a razo, as polticas de educao em todo
o mundo tm se centrado, cada vez mais, na necessidade de acompanhar
o aproveitamento agregado dos alunos num contexto internacional.
VANTAGENS DAS AVALIAES INTERNACIONAIS
Diversas razes tm sido propostas aos pases para incentiv-los a par-

ticipar de uma avaliao internacional do aproveitamento dos alunos.
Talvez a mais bvia seja que os estudos internacionais fornecem um
marco de referncia a partir do qual possvel avaliar o aproveitamento
dos alunos e os currculos de um pas e implantar procedimentos para
lidar com as deficincias percebidas (Strauss, 2005). Ao comparar os

resultados de diferentes pases, um pas pode utilizar a avaliao para
ajud-lo a definir o que possvel alcanar, saber como o aproveitamen-
to est distribudo e ver as relaes entre o aproveitamento mdio e sua
distribuio. Por exemplo, ser que um elevado aproveitamento mdio
pode coexistir com baixas disparidades no desempenho? Os resultados
do PISA sugerem que sim.
Os dados sobre aproveitamento fornecem apenas informaes limi-
tadas. Tem-se argumentado a favor dos estudos internacionais que eles
podem se beneficiar com a variabilidade existente entre os sistemas edu-
cacionais: a diversidade de condies que podem ser estudadas mais
ampla que a encontrada em um nico pas (Husn, 1973). Com base
nisso, a anlise dos dados coletados nesses estudos normalmente consi-
dera as associaes existentes entre o aproveitamento e uma vasta gama
de variveis contextuais. As variveis consideradas incluem contedo do
currculo, tempo dedicado a trabalhos escolares, treinamento de profes-
sores, tamanho da turma e organizao do sistema educacional. Clara-
mente, o valor dos estudos internacionais reforado, na medida em que
permitem a pesquisadores e formuladores de polticas elaborar hipteses
sobre o que explicaria as diferenas entre pases quanto ao aproveita-
mento dos alunos. Alm disso, os estudos internacionais tambm forne-
cem uma base para a avaliao de polticas e prticas.
As avaliaes internacionais tm o potencial de trazer luz alguns
conceitos que, embora necessrios para se compreender a educao, es-
to sendo negligenciados em um pas por exemplo, a definio de
letramento, ou a conceituao do currculo em termos de inteno,
implementao e aproveitamento (ver, por exemplo, Elley, 2005). As
avaliaes tambm podem ajudar a identificar pressupostos que talvez
tenham sido adotados sem maiores exames (por exemplo, o valor da
educao abrangente, em comparao com a educao seletiva; turmas
menores sendo associadas a maior aproveitamento; ou a repetncia vista
como um benefcio para os alunos).
Os estudos internacionais podem atrair a ateno da mdia e de um
amplo espectro de partes interessadas, tais como polticos, formuladores
de polticas, acadmicos, professores e o pblico em geral. As diferenas
nos nveis de aproveitamento entre os pases so evidentes nas estats-

ticas descritivas fornecidas nos relatrios desses estudos. De fato, essas
diferenas so geralmente destacadas nas tabelas classificativas em que
os pases aparecem ordenados pelo nvel mdio de aproveitamento. Os
dados comparativos fornecidos por esses estudos causam mais impacto
(e mais choque) que os resultados de uma avaliao nacional. Os resul-
tados insatisfatrios podem incentivar o debate, e esse, por sua vez, pode
fornecer aos polticos e a outros formuladores de polticas uma justifi-
cativa para aumentar os recursos oramentrios destinados educao
especialmente se os resultados insatisfatrios estiverem associados a um
nvel mais baixo de gastos na rea.
Uma caracterstica importante de uma avaliao internacional o
fato de fornecer dados que podem ser usados por cada pas para fazer
anlises internas e produzir o prprio relatrio de avaliao nacional.
Essa prtica seguida pelos pases que participam do PISA (veja B.3
no Apndice B) e do SACMEQ (veja C.1 no Apndice C). A prtica
reforada se, indo alm dos dados coletados para o estudo internacional,
tambm forem obtidos dados sobre questes que constituam uma preo-
cupao ou um interesse relevante de pases especficos.
A participao em avaliaes internacionais tem uma srie de vantagens
prticas, especialmente para os pases nos quais as universidades no conse-
guem desenvolver os tipos de habilidades necessrias para se realizar uma
avaliao nacional. Em primeiro lugar, uma agncia central pode realizar
anlises em nvel nacional a serem utilizadas nos relatrios de cada pas.
Em segundo lugar, os estudos podem contribuir para o desenvolvimento da
capacidade local em diversas atividades tcnicas: amostragem, definio de
aproveitamento, elaborao de provas, anlise de estatsticas e elaborao
de relatrios. Em terceiro lugar, as necessidades de pessoal e os custos en-
volvidos (por exemplo, para o desenvolvimento de instrumentos, limpeza
e anlise de dados) podem ser inferiores aos de avaliaes nacionais porque
certos custos so compartilhados com outros pases.
Um estudo dos efeitos do TIMSS sobre o ensino e o aprendizado
de matemtica e cincias nos pases participantes fornece evidncias da
diversidade de atividades que um estudo internacional pode gerar (Ro-
bitaille, Beaton e Plomp, 2000):
yOs resultados do TIMSS foram destacados em debates parlamentares

sobre mudanas planejadas na poltica de educao (Japo).
yO ministro da Educao estabeleceu uma fora-tarefa em matemti-
ca e cincias (Nova Zelndia).
yO presidente ordenou que fosse implementado um pacote de resgate
para melhorar o desempenho em cincias e matemtica (no qual o trei-
namento de professores receberia uma ateno especial) (Filipinas).
yForam estabelecidos padres de referncia nacionais em letramento
em leitura e letramento matemtico (Austrlia).
yOs resultados contriburam para o desenvolvimento de novos padres
educacionais em matemtica e cincias (Federao Russa).
yOs resultados ajudaram a mudar a natureza das discusses pblicas
na rea de educao, deixando de lado as discusses baseadas em opi-
nies e privilegiando-se discusses baseadas em fatos (Sua).
yOs resultados levaram ao desenvolvimento de materiais de instruo
derivados da anlise dos equvocos e erros mais comuns cometidos
pelos alunos ao responder s questes do TIMSS (Canad).
yOs resultados aceleraram mudanas na reviso de currculos (Rep-
blica Tcheca; Cingapura).
yOs resultados do TIMSS foram identificados como um dos diversos
fatores que influenciam mudanas na poltica de educao em mate-
mtica (Inglaterra).
yForam formadas comisses para rever currculos de matemtica e
cincias (Kuwait).
yNovos tpicos foram adicionados ao currculo de matemtica (Ro-
mnia).
yIntroduziu-se novo contedo nos currculos de matemtica e cincias
relacionados com situaes da vida real (Espanha).
yOs resultados ajudaram a destacar a necessidade de melhorar o
equilbrio entre matemtica pura e matemtica aplicada a contex-
tos (Sucia).
yOs resultados do TIMSS destacaram crenas sobre diferenas de g-
nero e atitudes negativas com relao cincia e matemtica e fo-
ram utilizados como base para uma reforma curricular e para o de-
senvolvimento profissional dos professores (Coreia do Sul).
yOs resultados influenciaram o produto das discusses sobre como

melhorar a organizao da formao de professores e como dar maior
nfase questo (Islndia).
yOs resultados do TIMSS levaram a medidas para reforar o desenvol-
vimento profissional de professores de matemtica e cincias (Norue-
ga, Estados Unidos).
yCriou-se um sistema centralizado de exames, em parte como respos-
ta aos resultados do TIMSS (Letnia).
yOs resultados do TIMSS influenciaram grandes mudanas no ensino,
na organizao das escolas e das turmas, na formao de professores
e na definio de metas para as escolas (Esccia).
yOs resultados do TIMSS afetaram a pesquisa educacional, o desenvol-
vimento de padres, o desenvolvimento de documentos curriculares,
os estudos dos professores, as metodologias de ensino de matemtica
e cincias e o desenvolvimento de livros didticos (Rep. Eslovaca).
Os resultados das anlises dos dados do PISA levaram ao seguinte:
yLanaram dvidas sobre o valor do uso extensivo de computadores

na sala de aula como forma de melhorar o aproveitamento.
yDestacaram o fato de que o nvel de gastos nacionais com educao
no est associado ao aproveitamento (entre os pases participantes).
yDeflagraram amplo debate poltico sobre a educao (Alemanha).
yContriburam para o desenvolvimento do currculo de cincias no
ensino fundamental (Irlanda).
yEnfatizaram a complexidade da relao entre situao socioeconmi-
ca e o aproveitamento em leitura na comparao entre pases.
yDestacaram a ligao entre aproveitamento, tipos de escola e acom-
panhamento do currculo dentro de escolas.
yEmbasaram a noo de que escolas pblicas e privadas tendem a ter
os mesmos efeitos para os mesmos tipos de alunos, mas que escolas
privadas que dependem do governo so relativamente mais efetivas
para os alunos de nveis socioeconmicos mais baixos.
ySalientaram a necessidade de programas intensivos de idioma e leitura
para alunos estrangeiros, a fim de incrementar o aproveitamento (Sua).
PROBLEMAS DAS AVALIAES INTERNACIONAIS
Apesar das vantagens bvias, vrios problemas associados s avaliaes

internacionais devem ser considerados antes que os pases decidam par-
ticipar de uma (veja Kellaghan, 1996).
O primeiro problema refere-se dificuldade de se desenhar um
procedimento de avaliao que mea adequadamente os resultados
de diversos currculos. Embora os currculos em todo o mundo te-
nham elementos comuns, particularmente no ensino bsico, tambm
existem diferenas considerveis entre os pases no que se refere ao
que ensinado, a quando ensinado e aos padres de aproveitamen-
to esperados.
A reviso de itens do TIMSS feita pela frica do Sul mostra que
apenas 18% dos itens de cincia correspondiam ao currculo nacional da
7a srie, enquanto 50% correspondiam ao currculo da 8a srie (Howie e
Hughes, 2000). Quanto mais diferirem os pases em termos de currcu-
los e nveis de aproveitamento, mais difcil se torna criar um processo de
avaliao que sirva a todos os que participam de uma avaliao interna-
cional, e mais duvidosa a validade de quaisquer inferncias feitas sobre
aproveitamentos comparativos.
Seria de se esperar que um teste de desempenho baseado no conte-
do do currculo nacional fornecesse uma medida mais vlida do domnio
do currculo que outro concebido para servir como denominador co-
mum dos currculos oferecidos em 30 a 40 pases. Por exemplo, uma au-
toridade nacional encarregada do currculo e os que fazem o projeto de
uma avaliao internacional poderiam atribuir pesos bastante diferentes
habilidade de fazer inferncias a partir de um texto. Uma avaliao na-
cional, ao contrrio de uma avaliao internacional, tambm pode testar
os aspectos curriculares exclusivos de cada pas.
A elaborao de um instrumento de avaliao comum mais difcil
em algumas reas de currculo (por exemplo, cincias e estudos sociais)
que em outras (por exemplo, leitura). No caso de cincias, descobriu-se
que os padres de aproveitamento eram mais heterogneos que em ma-
temtica. Alm disso, necessrio recorrer a um maior nmero de fato-
res para explicar as diferenas de desempenho dos alunos em cincias do
que em matemtica. Assim, difcil imaginar um teste de cincias que

seja adequado para diferentes sistemas educacionais.
Um segundo problema com os estudos internacionais que, embora
estudos anteriores tivessem o objetivo ambicioso de aproveitar a varia-
o existente entre sistemas educacionais para avaliar a importncia
relativa de uma variedade de recursos escolares e processos de instru-
o, essa meta, na prtica, provou-se muito difcil de alcanar. Dado
que o efeito relativo das variveis depende do contexto em que esto
inseridas, no se pode presumir que prticas associadas a alto apro-
veitamento em um pas mostraro relao semelhante em outro. Na
verdade, constatou-se que variam de pas para pas a fora das correla-
es entre os fatores contextuais ou antecedentes e o aproveitamento
dos alunos (ver, por exemplo, OCDE e Instituto de Estatsticas da
UNESCO 2003; Wilkins, Zembylas e Travers, 2002). Existem difi-
culdades especficas quando pases em desenvolvimento esto envolvi-
dos num estudo desenhado para pases industrializados, pois os fatores
socioeconmicos dos primeiros podem ser muito diferentes daqueles
que prevalecem nos pases industrializados e podem incluir pobreza,
aspectos nutricionais e de sade, infraestrutura educacional precria e
carncia de financiamento.
O terceiro problema associado s avaliaes internacionais refere-se
ao fato de que os pblicos-alvo e as amostras de alunos que participam
das avaliaes internacionais podem no ser exatamente comparveis.
Por exemplo, as diferenas de desempenho podem resultar do fato de
que difere entre os pases a dimenso de certas categorias de alunos que
so transferidos para turmas especiais e podem acabar sendo excludos
de uma avaliao (por exemplo, os alunos em programas especiais ou
alunos de escolas em que a lngua de ensino diferente da lngua da
avaliao).
O problema mais evidente quando a idade para entrar na escola,
a taxa de reteno e a taxa de evaso diferem entre os pases, e isso
particularmente relevante em estudos dos quais participam pases in-
dustrializados e pases em desenvolvimento. Em alguns desses ltimos,
grandes propores de alunos abandonam os estudos bem antes do
final do perodo de escolaridade obrigatria. Enquanto as taxas de es-
colarizao lquida no ensino bsico na Europa Ocidental e na Amrica

do Norte alcanam quase 100%, nos pases da frica Subsaariana so
inferiores a 60%, em mdia (UNESCO, 2002). Os padres de aban-
dono precoce da escola podem diferir de pas para pas. Na Amrica
Latina e nos pases rabes, os meninos so mais propensos que as meni-
nas a no completar a 5a srie; o inverso verdadeiro em alguns pases
africanos (por exemplo, Guin e Moambique). Surgiram problemas
de amostragem para o TIMSS na Repblica do Imen, onde diversas
escolas no tm a 4 srie e onde uma escola para crianas nmades no
pde ser localizada.
Numa avaliao nacional tambm podem surgir problemas de com-
parabilidade semelhantes. Por exemplo, o diferencial de desempenho
dos alunos em vrios estados da ndia tem sido atribudo ao diferencial
de taxas de sobrevivncia (veja A.1 no Apndice A).
O quarto problema leva em conta o fato de que, como a variao
das pontuaes do teste um fator importante quando se pretende
descrever adequadamente o aproveitamento dos alunos no sistema
escolar e, adicionalmente, determinar os correlatos de aproveitamen-
to, so necessrios exames nacionais cuidadosamente concebidos para
assegurar uma distribuio relativamente ampla das pontuaes. No
entanto, muitos itens que aparecem em avaliaes internacionais tm
representado dificuldades muito grandes para os alunos de pases me-
nos industrializados, o que resulta no achatamento (pouca variao)
das pontuaes dos testes. Isso fica evidente nos dados apresentados
na Tabela 6.2, baseados numa seleo entre pases que participaram
do TIMSS 2003.
Os dados mostram o percentual de alunos da 8 srie que atingiram
determinados nveis ou padres de referncia de desempenho quando
comparados a todos os alunos que fizeram a prova. Daqueles que fize-
ram o teste de matemtica, 7% alcanaram o padro de referncia inter-
nacional avanado, 23% alcanaram o padro alto, a metade ficou no
padro intermedirio e cerca de trs quartos ficaram no nvel baixo.
Em forte contraste, nenhum aluno de Gana alcanou os padres inter-
nacionais avanado e alto, sendo que 2% atingiram o padro inter-
medirio e 9% ficaram no baixo.
TABELA 6.2
Porcentagem de Alunos da 8a Srie que Alcanaram os Padres de Referncia
Internacionais do TIMSS em Matemtica: Pases com Pontuaes Altas e Baixas
Pases Avanado Alta Intermediria Baixa

Cingapura 44 77 93 99
Taipei 38 66 85 96
Coreia do Sul 35 70 90 98
Mdia internacional 7 23 49 74
Filipinas 0 3 14 39
Bahrain 0 2 17 51
frica do Sul 0 2 6 10
Tunsia 0 1 15 55
Marrocos 0 1 10 42
Botsuana 0 1 7 32
Arbia Saudita 0 0 3 19
Gana 0 0 2 9
Fonte: Mullis et al., 2004, 64.
Denies usadas no TIMSS, 2003: Avanado: Os alunos podem organizar informaes, fazer ge-
neralizaes, solucionar problemas no rotineiros, extrair concluses dos dados e justic-las. Alto:
Os alunos podem aplicar sua compreenso e seu entendimento numa grande variedade de situaes
relativamente complexas. Intermedirio: Os alunos podem aplicar conhecimento matemtico bsico
em solues simples. Baixo: Os alunos tm algum conhecimento matemtico bsico.
Da mesma forma, no PISA 2003, o uso limitado da avaliao para a for-

mulao de polticas internas ficou sublinhado quando se constatou a falta
de varincia estatstica nas notas dos testes de diversos pases participantes;
a maioria dos alunos com 15 anos no Brasil, na Indonsia e na Tunsia teve
pontuao inferior ao Nvel 1. (O Nvel 2 tem sido sugerido como um re-
quisito mnimo para que os alunos entrem no mundo do trabalho ou pos-
sam continuar os estudos.) Claramente, muito limitada a informao que
os estudos fornecem aos formuladores de polticas e tomadores de deciso
sobre o escopo do aproveitamento dos alunos nesses sistemas educacionais.
Alm disso, devido pouca varincia no aproveitamento, as correlaes en-
tre o aproveitamento e as variveis contextuais ou associadas escola pouco
revelariam sobre os fatores que contribuem para o aproveitamento.
Em quinto lugar, as avaliaes internacionais enfrentam um problema
quando o foco principal da apresentao dos resultados da avaliao fica
concentrado no ordenamento dos pases em termos das pontuaes m-
dias dos alunos (tpico que, em geral, atrai o maior interesse da mdia).
As classificaes em si no nos dizem nada sobre os inmeros fatores
que podem estar na base das diferenas de desempenho entre os pases.
Alm disso, as classificaes podem ser enganosas quando se ignora a sig-
nificncia estatstica das diferenas mdias de aproveitamento. Depen-
dendo dos demais pases que integram a lista, a classificao de determi-
nado pas pode variar e esta uma considerao importante quando
se comparam classificaes ao longo do tempo. Assim, por exemplo, se
em determinado ano diminui o nmero de pases que tradicionalmente
tm alta pontuao e aumenta o nmero dos que costumam apresentar
baixos resultados, a classificao de um pas pode aumentar sem que isso
indique necessariamente melhoria em seu aproveitamento.
O sexto problema refere-se ao fato de que o desempenho insatisfat-
rio numa avaliao internacional (assim como numa avaliao nacional)
pode acarretar alguns riscos polticos para funcionrios graduados asso-
ciados qualidade da educao, inclusive ministros e secretrios da Edu-
cao. O risco tende a ser maior quando a classificao internacional de
um pas menor que a de um tradicional pas rival. Em alguns pases nos
quais os dados foram coletados, os funcionrios se recusaram a permitir
a incluso dos resultados em publicaes que comparavam pases. (A
IEA j no permite que os pases participantes optem por ficar fora das
comparaes.) A obteno de dados comparativos de pases vizinhos ou
de outros dentro de uma regio pareceria prefervel a se obterem dados
sobre pases de todo o mundo, entre os quais existem grandes disparida-
des de nveis de desenvolvimento socioeconmico. Um exemplo dessa
abordagem encontrado na Amrica Latina e no Caribe, onde 13 pases
realizaram em conjunto uma avaliao de competncias bsicas em lin-
guagem e matemtica em 1997 (veja C.3 no Apndice C). As avaliaes
do SACMEQ realizadas no sul e no leste da frica sob os auspcios de
uma rede de ministrios na dcada de 1990 tambm permitiram compa-
raes internacionais no mbito regional (veja C.1 no Apndice C).
Em stimo lugar na lista de problemas das avaliaes internacionais,
pode ser muito difcil atender s exigncias de cumprimento dos prazos
em pases que carecem de pessoal administrativo e tm de lidar com
precria infraestrutura de comunicaes (veja Quadro 6.1).
QUADRO 6.1
A Experincia da frica do Sul com Avaliaes Internacionais

A experincia da frica do Sul com o TIMSS sublinha os problemas que enfrentam os
realizadores de avaliaes internacionais. Pode ser difcil, ou mesmo impossvel, aten-
der aos prazos impostos pelos organizadores naquelas situaes em que os servios
de correios e de telefonia sejam precrios ou os fundos de viagem para chegar s
escolas sejam insuficientes.
Outros problemas incluem falta de dados exatos sobre o pblico-alvo e sobre as
escolas; baixa capacidade de gesto; insuficiente ateno aos detalhes, especialmen-
te na edio, codificao e coleta de dados; falta de financiamento para apoiar os que
trabalham no projeto e dificuldade em garantir um material impresso de qualidade em
tempo hbil. Certas instrues para os aplicadores de teste (por exemplo, para que
caminhem entre as filas de carteiras durante o exame) so obviamente inadequadas
quando as salas de aula no tm corredores.
Fonte: Howie, 2000.
O tempo alocado para a realizao de vrias tarefas associadas or-

ganizao de uma avaliao internacional (por exemplo, a impresso ou
distribuio dos cadernos de prova), que pode ser considerado razovel
nos pases industrializados, talvez seja insuficiente em muitos pases em
desenvolvimento que enfrentam inmeros problemas bsicos, inclusive
a precariedade dos sistemas de comunicao.
Finalmente, existem custos substanciais associados participao em
um estudo internacional. Um pas que desejasse participar do TIMSS
para a 8a srie deveria pagar US$40 mil, alm de todos os custos rela-
tivos a impresso, distribuio, aplicao da prova, entrada de dados e
pontuao. As avaliaes nacionais, claro, tambm envolvem custos
considerveis.
CAPTULO
7 CONCLUSO
O
s leitores que perseveraram at este pon-
to j devero estar familiarizados com as
principais caractersticas das avaliaes na-
cionais e internacionais, as semelhanas entre as avaliaes e os aspectos
nos quais diferem, as razes para se engajar em uma avaliao e os pro-
blemas aos quais prestar ateno ao longo do processo. J devero ter
tambm uma compreenso geral das principais atividades envolvidas,
incluindo identificao das questes-chave de polticas ligadas a educa-
o, construo de instrumentos, seleo das escolas e dos alunos que
iro representar o sistema educacional, anlise de dados para descrever
o aproveitamento dos alunos e seus correlatos, e comunicao de resul-
tados a diferentes pblicos. Todas essas tarefas requerem conhecimento
especializado e habilidades especficas.
Se o leitor um formulador ou gestor de polticas num Ministrio da
Educao, pouco provvel que possua qualquer dos conhecimentos ou
habilidades especializados envolvidos nos detalhes da execuo de uma
avaliao nacional. Mas isso no significa que no tenha papel crucial
a desempenhar numa avaliao em suas diversas etapas deflagrar o
processo e sua concepo geral, atuar como facilitador durante a imple-
mentao, a interpretao e a aplicao das concluses. Neste captulo,
prestamos ateno especial ao papel do formulador ou gestor de polti-

cas nas etapas de desenvolvimento e institucionalizao da atividade de
avaliao nacional e destacamos sua participao no esforo de utilizar o
mais plenamente possvel os resultados.
Formuladores ou gestores de polticas aos quais cabe decidir se ser
realizada uma avaliao nacional (ou se o pas participar de uma ava-
liao internacional) devem estar persuadidos de que as informaes re-
sultantes da avaliao sero teis para identificar problemas no sistema
educacional e embasar as polticas e prticas destinadas a solucion-los.
O compromisso desses protagonistas provavelmente ser reforado se a
avaliao reunir cinco condies.
Em primeiro lugar, os aproveitamentos avaliados devem ser conside-
rados resultados importantes da escolaridade e refletir adequadamente o
currculo. Em segundo, o instrumento utilizado na avaliao deve ter o
potencial de fornecer informaes diagnsticas sobre aspectos do apro-
veitamento dos alunos, particularmente sobre os pontos fortes e fracos
no perfil de aproveitamento. Em terceiro lugar, o mtodo de amostra-
gem (quando se tratar de uma avaliao baseada numa amostra) deve
assegurar que os dados coletados representam adequadamente o apro-
veitamento do sistema educacional como um todo (ou de uma parte
dele claramente identificada). Em quarto lugar, devem ser usadas an-
lises apropriadas para identificar e descrever as principais caractersticas
dos dados, incluindo as relaes entre variveis significativas. Em quinto
lugar, os aspectos tcnicos da avaliao devem observar os padres pro-
fissionais vigentes em reas como elaborao de provas, amostragem e
anlise estatstica.
Todas essas atividades exigem considerveis recursos e apoio poltico.
Por exemplo, o formulador ou gestor de polticas tem o papel crucial de
garantir que estejam disponveis os conhecimentos e habilidades neces-
srios para projetar, gerenciar e interpretar uma avaliao nacional. Em
muitos pases, eles no existiro, e devero ser especificamente desen-
volvidos para isso. Esse desenvolvimento exigir programas iniciais de
treinamento de longa ou curta durao. Na sequncia desses programas,
devem ser tomadas providncias para aumentar, numa base regular, as
habilidades tcnicas das pessoas envolvidas na realizao de uma avalia-
o nacional, por meio de programas de formao no pas, participao

em reunies profissionais e estudos de graduao de maior durao.
Em alguns pases, a atividade de avaliao nacional parece operar
margem do sistema educacional, divorciada da estrutura e dos processos
normais de elaborao de polticas e tomada de deciso. Nessa situa-
o, no h garantia de que as informaes obtidas numa avaliao sero
usadas para orientar as polticas ou que avaliaes nacionais sero reali-
zadas no futuro para monitorar mudanas no aproveitamento ao longo
do tempo. Para que essas questes sejam tratadas, a atividade de avalia-
o nacional deve tornar-se parte normal do funcionamento do sistema
educacional. Isso exigir que alguns formuladores de polticas do alto
escalo participem ativamente do desenho global da avaliao e este-
jam presentes (ou representados) na comisso de coordenao nacional.
Tambm requerer oramento adequado e deciso sobre a localizao
fsica e institucional da atividade, que variar de pas para pas, depen-
dendo das circunstncias locais.
muito importante que o governo assuma compromisso de longo
prazo com a construo de uma base institucional forte para a realizao
regular de avaliaes nacionais. Isso pode permitir que um rgo recrute
e treine pessoas com conhecimentos essenciais em reas como elabora-
o de provas, amostragem e anlise estatstica. Um baixo compromisso
pode resultar num padro de atribuir a avaliao nacional a diferentes
organismos, uma estratgia que em nada contribui para criar a neces-
sria competncia tcnica nas disciplinas relevantes. Em mais de um
pas, mltiplas agncias tm realizado avaliaes nacionais em separado,
usando uma variedade de abordagens com valor limitado para a formu-
lao de polticas de educao.
Em alguns casos, o compromisso do governo pode ser aumenta-
do quando uma unidade dentro do ministrio com o apoio de uma
dotao especfica no oramento para educao realiza a avaliao.
No Chile, por exemplo, o compromisso do governo e a resposta aos
resultados do Sistema de Medio da Qualidade da Educao (SIMCE)
aumentaram quando a avaliao nacional foi transferida de uma uni-
versidade para o ministrio. A avaliao anual, a apresentao dos re-
sultados num tempo hbil e o reconhecimento do valor dos resultados
para a formulao de polticas ajudaram a fortalecer a legitimidade

do SIMCE, institucionalizar seu trabalho, garantir o compromisso adi-
cional do governo e maior apoio. Em vrios outros pases latino-ame-
ricanos, existem institutos de avaliao, independentes do Ministrio
da Educao, que conseguiram criar uma reputao de competncia
e autonomia, conduzindo avaliaes com considervel flexibilidade e
coerncia (Ferrer, 2006).
A institucionalizao em si no suficiente, embora provavelmente
contribua para evitar uma situao em que os resultados da avaliao
nacional no cheguem s pessoas relevantes do governo. Tambm ne-
cessrio investir esforos na elaborao de procedimentos eficazes para
comunicar os resultados aos interessados, dentro e fora do ministrio.
Alm dos funcionrios governamentais, as constataes da avaliao
nacional so relevantes para o trabalho de elaboradores de currculos,
comisses de exames, formadores de professores, e professores em sua
prtica diria nas escolas. Para atender s necessidades de informao
de todos esses pblicos, necessrio produzir vrios relatrios e adotar
diferentes estratgias de divulgao. As estratgias devem identificar os
potenciais usurios (as principais instituies e os indivduos-chaves) e
seu nvel de conhecimentos tcnicos. indispensvel que exista um re-
latrio tcnico com informaes suficientes para permitir a replicao
do estudo. Mas os dados tcnicos tambm precisam ser traduzidos em
formas compreensveis para usurios no tcnicos, e podem ser apre-
sentados num relatrio sinttico (por exemplo, para o pblico) ou num
relatrio mais detalhado para os formuladores de polticas. Esse relatrio
detalhado poderia indicar, por exemplo, se o sistema est deixando de
atender plenamente a algum grupo em particular, se as lacunas encon-
tradas requerem medidas corretivas e se os fatores associados ao desem-
penho superior podem ser identificados.
Em muitos pases, a formulao de polticas tende a ser influenciada
pelas prioridades polticas e pelas percepes dos ministros e de altos
funcionrios. Com frequncia, o processo desencadeado por experin-
cias pessoais e informaes esparsas, ou por presses polticas; apenas
muito raramente, baseia-se nos resultados de uma anlise de dados vli-
dos e confiveis sobre o funcionamento do sistema educacional como
seriam os resultados de uma avaliao nacional bem concebida e bem

implementada.
Os formuladores de polticas devem assumir a liderana para garan-
tir que as evidncias objetivas e confiveis sobre o funcionamento do
sistema educacional, resultantes da avaliao nacional, sejam utilizadas
para melhorar a qualidade global do processo de tomada de decises.
Podem fazer isso examinando resultados da avaliao nacional e re-
fletindo sobre sua relevncia para a elaborao de polticas em reas
como equidade de gnero e regional, fornecimento de materiais educa-
tivos nas escolas, qualificao dos professores e fornecimento de cursos
durante o trabalho. Podem verificar se as mudanas introduzidas desde
a avaliao nacional anterior parecem ter afetado o aproveitamento
dos alunos. Podem incentivar e apoiar os cursos de formao de pro-
fessores (cursos convencionais e cursos durante o trabalho), para que
estudem os resultados e alterem as prticas atuais nos pontos em que
as evidncias revelam a necessidade de ajustes. Os formuladores de po-
lticas tambm podem aconselhar a autoridade responsvel a respeito
de mudanas no contedo curricular quando a evidncia claramente
indicar que os alunos acharam o material muito fcil ou, mais prova-
velmente, muito difcil.
O envolvimento direto dos formuladores de polticas nos primeiros
passos do projeto geral da avaliao e tambm na etapa posterior con-
cluso, para discutir a relevncia dos resultados, pode ajudar a garantir
que venham a reconhecer o valor de uma avaliao nacional. Ao longo
do tempo, pode-se esperar que os formuladores de polticas passem a
considerar uma avaliao nacional instrumento-chave para o processo de
formulao de polticas educacionais.
Breves descries das prticas de avaliao nacionais em nove pases
so apresentadas no Apndice A. As descries no so exaustivas, e os
casos no so apresentados como modelos perfeitos de boas prticas.
Vrios deles, na verdade, so falhos em muitos aspectos tcnicos. No
entanto, efetivamente revelam importantes semelhanas e diferenas na
abordagem. As semelhanas tm a ver com o fato de que, em todos os
pases, as provas avaliaram o letramento em linguagem e em matemtica
em uma ou mais sries do ensino bsico. Em todos os pases, as ava-
liaes foram baseadas em amostras. No Chile e no Uruguai, tambm

foram feitas avaliaes das quais participaram todas as escolas.
As diferenas entre os pases referem-se frequncia com que so fei-
tas as avaliaes, que variou de um a quatro anos. O rgo responsvel
pela execuo da avaliao tambm variou: o Ministrio da Educao,
um instituto de pesquisa apoiado pelo governo, ou uma comisso nacio-
nal de exames. Em diversos pases, o rgo implementador contou com
significativo apoio internacional. Em pelo menos dois (Chile e frica do
Sul), o rgo de implementao mudou entre uma avaliao e outra.
A forma de descrever o aproveitamento dos alunos tambm variou:
a citao da mdia e da distribuio do nmero de itens aos quais os
alunos responderam corretamente, a determinao do percentual de
alunos cujo desempenho atingiu os padres esperados ou o percen-
tual da pontuao em diferentes nveis de proficincia. Os mtodos
de anlise tambm variaram bastante, provavelmente como reflexo
da capacidade tcnica das equipes nacionais de avaliao. Sofisticadas
abordagens analticas foram utilizadas em alguns pases (por exemplo,
Estados Unidos e Vietn).
A utilizao dos resultados das avaliaes pareceu variar bastante, em-
bora no se possa ter certeza quanto a isso, porque pouca a informao
disponvel em muitos pases sobre em que medida os resultados foram
divulgados ou efetivamente contriburam para a formulao de polticas.
Alm de descrever as diferenas de gnero, alguns pases utilizaram os
resultados de uma avaliao nacional para apoiar as seguintes aes:
yFornecer recomendaes de polticas para o setor de educao (Sri

Lanka, Vietn).
yDocumentar disparidades regionais no aproveitamento (Nepal, fri-
ca do Sul, Sri Lanka).
yEstruturar um importante programa de treinamento de professores
durante o trabalho (Uruguai).
yProporcionar apoio financeiro e outros tipos de apoio s escolas com
baixas pontuaes (Chile).
yLevar ao conhecimento dos professores os pontos fracos e fortes no
aproveitamento dos alunos (Uganda).
yDescrever, ao longo do tempo, as alteraes no aproveitamento de

alunos pertencentes a minorias (Estados Unidos).
ySugerir reduo da nfase em lgebra e geometria no currculo (Buto).
As pessoas envolvidas no projeto de uma avaliao nacional talvez

desejem conhecer uma srie de prticas um tanto incomuns encontradas
nas avaliaes descritas no Apndice A:
yLanar uma campanha de sensibilizao da opinio pblica antes da

avaliao (Chile).
yColetar dados adicionais, simultaneamente coleta dos dados sobre
aproveitamento dos alunos, para monitorar em que medida as insta-
laes da escola melhoraram ao longo do tempo (Vietn).
yAplicar o teste de desempenho aos professores, bem como aos alunos
(Vietn, ndia).
yTrabalhar em estreita colaborao com os sindicatos de professores
para realizar a avaliao (Uruguai).
O Apndice B fornece descries das principais caractersticas dos

trs atuais estudos internacionais em larga escala que abrangem todo o
mundo. Esses estudos concentram-se no letramento em trs reas: lei-
tura, matemtica e cincias. Essas trs reas de conhecimento e habi-
lidades provavelmente seriam consideradas o cerne da formao dos
alunos em todos os pases. Os trs estudos tambm se preocupam em
acompanhar o aproveitamento dos alunos ao longo do tempo.
O nvel de competncia tcnica em estudos internacionais muito
alto, e os pases que participam deles podem, com isso, melhorar seus
conhecimentos e habilidades. Muitos pases, como vimos, tambm usam
os dados coletados numa avaliao internacional para realizar anlises
em nvel nacional, o que significa usar a avaliao internacional como
uma avaliao nacional. Esse procedimento pode ser enriquecido se,
alm do requerido pelo estudo internacional, tambm forem colhidas
informaes contextuais especficas sobre o pas em mbito nacional.
O projeto dos estudos internacionais muito semelhante ao de uma
avaliao nacional, exceto quanto ao fato de que preciso levar em con-
ta que a avaliao ser realizada em vrios pases. Assim, os instrumen-

tos de avaliao podem no ser igualmente adequados para todos os
pases, seja porque no representem bem os currculos das escolas, que
podem variar de pas para pas, ou porque no reflitam toda a gama
de aproveitamento dos alunos, que pode variar enormemente entre os
pases. Tm sido adotadas duas abordagens para tratar a variao nos
currculos escolares. No TIMMS (B.1 no Apndice B), bem como em es-
tudos anteriores realizados sob os auspcios da Associao Internacional
para Avaliao do Aproveitamento Escolar, as provas so desenvolvidas
durante exerccios de construo de consenso entre os pases participan-
tes, e os elementos comuns de seus currculos so includos nas provas.
A abordagem do Programa Internacional de Avaliao de Alunos (PISA)
(B.3 no Apndice B) tem sido no basear os instrumentos de avaliao
numa anlise de currculos, mas usar o parecer de especialistas para
determinar os conhecimentos e habilidades que alunos de 15 anos deve-
ro ter adquirido perto do final da escolaridade obrigatria, a fim de que
possam participar plenamente da vida em sociedade.
O fato de que o aproveitamento dos alunos esteja relacionado com
o desenvolvimento econmico dos pases significa que avaliaes con-
cebidas para pases industrializados (como o TIMSS e o PISA) prova-
velmente no fornecero uma descrio satisfatria do aproveitamento
num pas em desenvolvimento. Foram criados estudos regionais para os
pases menos industrializados, a fim de resolver esse problema, e trs
desses estudos dois na frica e um na Amrica Latina esto descritos
no Apndice C. Esses estudos funcionaram como avaliaes nacionais e
tambm internacionais.
APNDICE
A ESTUDOS DE
CASO DE PASES
A.1. NDIA
Objetivo. Foi desenvolvida uma avaliao para ajudar o governo da

ndia a fornecer dados de linha de base sobre a qualidade da educao
em cada um dos estados. A avaliao parte do programa governa-
mental Sarva Shiksha Abhiyan (SSA), cujo objetivo era chegar a 2010
com a matrcula universal estendida a todo o ensino fundamental.
Anteriormente, haviam sido realizadas avaliaes de aproveitamento
em larga escala em alguns distritos escolares como parte do progra-
ma governamental Educao Primria Distrital (Prakash, Gautam e
Bansal, 2000). As pontuaes mdias em matemtica e linguagem
foram comparadas por distrito, rea temtica e nvel de ensino. A
avaliao concluiu que os alunos se saram melhor em linguagem e
que o aproveitamento mdio na amostra de alunos mais velhos no
foi to impressionante quanto o dos alunos nas sries inferiores. A
maior parte das diferenas entre os distritos, quando comparado o
aproveitamento de meninos e meninas em matemtica e linguagem,
no foi estatisticamente significativa. Alm dessa avaliao em nvel
distrital, realizou-se uma avaliao em grande escala em 22 estados
no incio de 1990 (Shukla et al., 1994).
Frequncia. A cada trs anos.
Sries. A avaliao da 5a srie foi realizada em 2001-02. As 3a e 4a sries,

bem como a ltima srie do ensino fundamental (que varia de estado
para estado), tambm foram avaliadas.
Aproveitamentos avaliados. Linguagem e matemtica.
Quem fez? Conselho Nacional de Pesquisa e Treinamento (em Dli),

com o apoio dos Institutos de Educao distritais, que supervisionaram
a coleta de dados.
Amostra ou pblico-alvo. Amostra.
Anlise. Foram apresentadas as pontuaes da 5a srie em cada estado,

em funo do percentual de itens respondidos corretamente.
Utilizao dos resultados. Os resultados da 5a srie mostraram peque-

nos hiatos nos nveis de aproveitamento nas comparaes entre gneros
e entre escolas rurais e urbanas. Os dados sero utilizados para monito-
rar as mudanas nos nveis de aproveitamento escolar e para identificar
fatores educacionais e no educacionais que podem ajudar a explicar as
diferenas no aproveitamento dos alunos.
Pontos interessantes. Uma avaliao anterior em grande escala feita em

22 estados aplicou a mesma prova a professores e alunos. Em um estado
em que os alunos tiveram pontuaes mdias muito baixas, apenas um
dos 70 professores que realizaram a prova respondeu corretamente a
todos os 40 itens de aritmtica. Entre os professores, 10% responderam
corretamente a menos da metade dos itens (Shukla et al., 1994).
A avaliao nacional ser usada para ajudar a monitorar o efeito da
iniciativa SSA. Ao contrrio do que ocorre na maioria das outras avalia-
es nacionais, as pontuaes so divulgadas em funo do percentual
total de itens respondidos corretamente. Espera-se que os estados com
nveis de aproveitamento particularmente insatisfatrios recebam aten-
o especial. Alguns estados com forte tradio de ensino, em termos de

elevadas taxas de escolarizao (por exemplo, Kerala e Himachal Pra-
dash) registraram pontuaes mdias relativamente baixas na avaliao
da 5a srie, enquanto alguns dos outros com taxas de escolarizao rela-
tivamente baixas (por exemplo, Bihar, Orissa e Bengala Ocidental) tive-
ram notas mais altas. Esse resultado, que tambm foi encontrado numa
avaliao anterior dos 22 estados, explica-se pelo fato de que, nos trs
ltimos mencionados, as amostras de alunos que fizeram as provas ten-
diam a ser de sobreviventes no sistema educacional, pois muitos dos
alunos menos favorecidos, em termos de contexto domstico e nveis de
habilidade, j haviam deixado a escola por volta da 5a srie.
Fonte: ndia, National Council of Educational Research and Training,

Department of Educational Measurement and Evaluation (Conselho
Nacional de Pesquisas Educacionais e Formao, Departamento de
Mensurao e Avaliao Educacional), 2003.
A.2. VIETN
Objetivo. Medir a qualidade da educao com enfoque particular no

aproveitamento dos alunos no ensino bsico.
Frequncia. Avaliaes anteriores em pequena escala foram realizadas

entre 1998 e 2000 nas 3a e 5a sries, mas no forneciam informaes
adequadas que pudessem ser usadas como padres de referncia para
monitorar as tendncias ao longo do tempo.
Srie. 5a
Aproveitamentos avaliados. Leitura no idioma vietnamita e matem-

tica em 2001.
Instrumentos. Testes de aproveitamento; questionrios aplicados a alu-

nos, professores e escolas.
Quem fez? Ministrio da Educao e Formao, apoiado por outros r-

gos nacionais, e uma equipe internacional apoiada pelo Banco Mundial
e pelo Departamento para o Desenvolvimento Internacional do Reino
Unido.
Amostra ou pblico-alvo. A amostra foi desenhada para ser representa-

tiva da populao-alvo nacional e da populao-alvo em cada uma das
61 provncias.
Anlise. As anlises incluram tabulaes cruzadas de dados de aprovei-

tamento e dados das escolas por regio, correlatos de aproveitamento,
anlise fatorial, modelagem de resposta ao item de dados sobre itens
do teste, alm de modelagem linear hierrquica para a identificao de
fatores associados ao aproveitamento.
Utilizao dos resultados. Funcionrios governamentais fizeram 40 re-

comendaes de polticas com base nos resultados gerais.
Pontos interessantes. As provas incluram itens do Estudo sobre Le-

tramento em Leitura realizado em 1991 pela Associao Internacio-
nal para Avaliao do Aproveitamento Escolar (Elley 1992, 1994)
que foram usados para comparar os resultados com outros pases.
As mesmas provas foram aplicadas a professores e alunos; 12% dos
alunos tiveram pontuaes mais altas que as de 30% dos professores.
Menos de 3% das escolas dispunham de recursos obrigatrios (por
exemplo, biblioteca, gua encanada). Mais de 80% dos alunos esta-
vam em salas de aula que tinham recursos mnimos (quadro-negro,
giz e assim por diante), enquanto 10% tinham professores que no
haviam completado o ensino fundamental. Foram estabelecidos seis
nveis de proficincia de acordo com o desempenho dos alunos na
prova de leitura:
yNvel 1. Estabelece a correspondncia entre palavras ou frases no

texto com o auxlio de imagens. Restrito a um vocabulrio limitado
ligado a imagens.
yNvel 2. Localiza texto expressado em frases curtas e repetitivas e

pode lidar com o texto sem a ajuda de imagens. O texto se restringe
a sentenas curtas e frases com padres repetitivos.
yNvel 3. L e compreende trechos mais longos. Pode procurar infor-
mao no texto, para trs ou para a frente. Compreende parfrases.
Um vocabulrio mais amplo possibilita o entendimento de frases com
estrutura relativamente complexa.
yNvel 4. Associa informaes contidas em diferentes partes do texto.
Seleciona e associa partes do texto para derivar e deduzir diferentes
significados possveis.
yNvel 5. Associa inferncias e identifica a inteno de um autor a
partir de informaes expressas de diferentes modos, em diferentes
tipos de texto e em documentos nos quais a informao no est
explcita.
yNvel 6. Combina o texto e conhecimentos de fora para inferir vrios
significados, inclusive significados ocultos. Identifica os objetivos de
um autor, atitudes, valores, crenas, motivos, pressupostos no decla-
rados e argumentos.
Houve variao considervel no nvel de desempenho dos alunos em

ambas as provas de leitura e matemtica. Por exemplo, o nmero de alu-
nos que alcanaram os dois mais altos nveis de leitura foi muito menor
em Ha Giang e Tien que em Da Nang (Tabela A.2.1). A relao entre
as caractersticas do professor e as pontuaes dos alunos foi estabele-
cida depois de levar em conta o contexto domstico dos alunos (Tabela
A.2.2).
Fonte: Banco Mundial 2004.

TABELA A.2.1
Porcentagens e Erros-Padro de Alunos com Diferentes Nveis de Habilidade
em Leitura
Indicador de Nvel Nvel Nvel Nvel Nvel Nvel

Provncia unidade 1 2 3 4 5 6
Ha Giang Percentual 7,5 22,1 27,4 18,7 18,5 5,7
EP 1,66 3,23 3,06 2,97 3,07 2,09
Tien Giang Percentual 2,8 13,4 28,8 20,2 22,4 12,5
EP 0,7 2,0 2,49 1,8 2,46 2,78
Da Nang Percentual 0,8 5,7 15,4 21,3 32,9 24,1
EP 0,34 0,88 1,79 1,89 1,98 3,23
Vietn Percentual 4,6 14,4 23,1 20,2 24,5 13,1
EP 0,17 0,28 0,34 0,27 0,39 0,41
Fonte: Banco Mundial, 2004, v. 2, Tabela 2.3.
Nota: EP = erro-padro.
TABELA A.2.2
Relao entre Algumas Variveis Relativas ao Professor e ao Aproveitamento
em Matemtica
Correlao parcial,
depois de considerar
Correlao o contexto domstico
Varivel do professor simples do aluno
Sexo do(da) professor(a) 0,17 0,14
Formao acadmica 0,08 0,04
Conhecimento de matemtica 0,29 0,25
Classicado como excelente 0,18 0,13
professor(a)
Recursos na sala de aula 0,24 0,15
Nmero de horas preparando e 0,00 0,01
marcando
Frequncia de reunies com os pais 0,05 0,04
Nmero de visitas de inspeo 0,13 0,11
Fonte: Banco Mundial, 2004, v. 2, Tabela 4.38.
Nota: As correlaes acima de 0,02 so estatisticamente signicativas.
(a) Os alunos ensinados por professoras tiveram pontuaes mais altas.
A.3. URUGUAI
Objetivo. A avaliao nacional destinava-se a identificar em que medida

os alunos que concluram o ensino bsico haviam desenvolvido enten-
dimento fundamental de linguagem e matemtica, bem como os fatores
socioculturais que podem ter influncia sobre o aproveitamento dos alu-
nos. A avaliao enfatizou o desenvolvimento profissional, que inclua
o diagnstico de problemas do aprendizado, dando aos professores in-
formaes sobre o desempenho dos alunos e ajudando-os a melhorar o
ensino e a avaliao. A avaliao tambm pretendia utilizar os dados dos
testes e questionrios para melhorar as condies da escola.
Frequncia e srie. Sexta srie (a cada trs anos) em 1996, 1999, 2002 e
2005. Alm disso, as 1a, 2a e 3a sries foram avaliadas com propsitos de
aperfeioamento dos professores em 2001. A 9a srie foi testada em 1999
e a 12a, em 2003. Desde 2003, os alunos de 15 anos esto sendo avaliados
como parte do Programa Internacional de Avaliao de Alunos (PISA).
Aproveitamentos avaliados. Matemtica (resoluo de problemas) e

compreenso em leitura na 6a srie; matemtica, linguagem, cincias
naturais e cincias sociais nas 9a e 12a sries.
Instrumentos. Testes de aproveitamento; questionrios para pais, pro-

fessor e diretor da escola.
Quem fez? No incio, a Unidade de Medio de Resultados Educacionais

(UMRE), criada como parte de um projeto financiado pelo Banco Mun-
dial, era a responsvel pela avaliao nacional na 6a srie, enquanto o
Programa de Modernizao da Educao Secundria e Formao de Do-
centes (MESyFOD), um projeto financiado pelo Banco Interamericano,
era responsvel pela avaliao nacional no nvel secundrio. Desde 2001,
as atividades de avaliao foram unificadas e institucionalizadas sob a
Gerncia de Pesquisa e Avaliao, parte da Administrao Nacional da
Educao Pblica. O financiamento vem de agncias internacionais.
Amostra ou pblico-alvo. Pblico-alvo e amostra de alunos da 6a srie,

excluindo escolas rurais muito pequenas; todo o pblico-alvo da 9a srie;
amostras das 1a, 2a, 3a e 12a sries; amostra para as avaliaes do PISA.
Anlise. A UMRE utilizou o corte de 60% de respostas corretas como

um ndice de adequao do desempenho dos alunos. As pontuaes de
cada escola foram comparadas com a mdia nacional, com a mdia dis-
trital ou regional e com escolas que atendiam a alunos de origens socioe-
conmicas semelhantes. Os dados do teste de aproveitamento foram
relacionados com fatores contextuais e com antecedentes.
Utilizao dos resultados. Os resultados foram utilizados principal-

mente por professores, diretores e pela inspetoria escolar. O governo
usou os resultados para identificar escolas que requeriam apoio especial
e amplos programas de formao de professores durante o trabalho. Os
resultados em nvel nacional foram amplamente divulgados. Quarenta
dias aps a prova e antes do final do ano letivo, as escolas participantes
receberam um relatrio confidencial com os resultados agregados por
escola, apresentando item por item. Os relatrios no incluam os resul-
tados individuais dos alunos nem os resultados desagregados por turma.
A UMRE adotou vrias providncias: produziu manuais de ensino para
ajudar a resolver as deficincias percebidas em linguagem e matemtica
e organizou programas de treinamento para professores durante o tra-
balho nas escolas situadas em reas desfavorecidas; preparou relatrios
para o pessoal de superviso; organizou oficinas para os inspetores sobre
questes relativas aos resultados da prova. As provas foram disponibili-
zadas para outras escolas que no integravam a amostra. Todas as esco-
las receberam um relatrio das mdias nacionais para cada competncia
testada. Escolas que no foram testadas receberam as normas nacionais
para fins comparativos. Quase 80% dessas escolas aplicaram as provas e
compararam seus resultados com as normas fornecidas. Os inspetores
realizaram as prprias oficinas para desenvolver compreenso dos resul-
tados, avaliar o efeito da privao social sobre os resultados do apren-
dizado do aluno e sugerir linhas de ao para melhorar a qualidade da
educao.
Pontos interessantes. Inicialmente, o sindicato dos professores do primeiro

grau fez forte oposio avaliao nacional. Em particular, opunha-se pu-
blicao dos resultados de cada escola. No final, o sindicato foi persuadido
pelo compromisso do governo de no publicar os resultados de escolas ou
professores, mas permitir que pudessem ser utilizados com fins de diag-
nstico. Apenas dados agregados deveriam ser publicados. Alm disso, o
governo convidou os professores a participar dos grupos que planejariam a
avaliao e de outros grupos consultivos. Os professores tambm tiveram
grande envolvimento na elaborao das provas. At o momento, no houve
grande oposio a uma avaliao formal desse tipo no ensino bsico. De
modo geral, tem-se concordado que os professores ou escolas no podem
ser penalizados por resultados ruins nos testes. O sindicato dos professores
do ensino mdio no tem sido muito favorvel avaliao e adotou a atitu-
de de esperar para ver. A aceitao da iniciativa da UMRE e dos resultados
pelos professores atribuvel confidencialidade dos resultados das provas,
divulgao imediata dos resultados, contextualizao das pontuaes de
teste (levando em conta os dados do contexto sociocultural), ao reconhe-
cimento de que os resultados dos alunos dependem de uma combinao
de fatores (que incluem variveis relativas a famlia, escola, comunidade e
professores).
Embora os governos de alguns pases estejam buscando modos de
fazer com que as escolas e os professores tambm se responsabilizem
pelos resultados escolares, o Uruguai adota uma abordagem diferente. O
Estado assume a responsabilidade de promover um ambiente propcio
para ajudar a alcanar a igualdade no sistema educacional.
Fontes: Benveniste, 2000; Ravela, 2005.
A.4. FRICA DO SUL
Objetivo. A frica do Sul tem realizado uma srie de avaliaes nacio-

nais nas 3a, 6a e 9a sries. Tambm participou de trs estudos interna-
cionais que tinham como objetivo produzir dados de linha de base que
possibilitassem acompanhar o progresso futuro e comparar os currculos
e o aproveitamento em matemtica e cincias com os de pases indus-

trializados. Cada um desses estudos internacionais poderia ser conside-
rado uma avaliao nacional do aproveitamento escolar. A participao
numa avaliao internacional proporcionou oportunidade para o desen-
volvimento de capacidades locais.
A frica do Sul foi o nico participante africano no TIMSS em 1995;
no TIMSS de 1999, Marrocos e Tunsia tambm participaram, e, no
TIMSS de 2003, agregaram-se a eles Botsuana, Gana e Egito. A frica
do Sul tambm participou da avaliao da 6a srie realizada em 2000
pelo Consrcio de Monitoramento da Qualidade da Educao da frica
Austral e Oriental (SACMEQ) e da avaliao da 4a srie (Monitoramen-
to do Aproveitamento do Aprendizado) que comeou em 1992.
Frequncia. TIMSS, 1995, 1999 e 2003.
Srie. 8a
Instrumentos. Provas de aproveitamento; questionrios aplicados a alu-

nos, professores e diretores.
Aproveitamentos avaliados. Matemtica e cincias.
Quem fez? Conselho de Pesquisas em Cincias Humanas em 1995 e

1999, e Universidade de Pretria em 2003.
Amostra ou pblico-alvo. Amostra. Uma turma completa da 8a srie foi

examinada em cada escola selecionada.
Anlise. O estudo comparou o desempenho dos alunos em matemtica

e cincias com o de outros pases em funo de desempenho mdio e
desempenho nos 5o, 25o, 50o, 75o e 95o percentis. Tambm comparou a
frica do Sul com outros pases participantes em termos dos anteceden-
tes e das atitudes dos alunos, currculos, caractersticas dos professores,
caractersticas da sala de aula e os contextos de aprendizagem escolar e
instruo; incluiu tambm uma comparao das pontuaes mdias de
desempenho ao longo do tempo.
Utilizao dos resultados. Os resultados do TIMSS tm servido de sub-

sdio para debates parlamentares.
Pontos interessantes. A frica do Sul tem 11 idiomas oficiais. Algu-

mas palavras tiveram de ser traduzidas para o ingls sul-africano, e
alguns contextos tiveram de ser modificados. Um tempo considervel
foi dedicado a resolver problemas logsticos imputveis inadequao
de alguns servios, tais como e-mail e telefone, que em outros lugares
esto amplamente disponveis. A equipe de pesquisa nacional achou
difcil cumprir os prazos impostos pelo TIMSS. O esforo inicial de
amostragem revelou cerca de 4 mil escolas que no estavam no banco
de dados nacional. A transferncia de competncias entre as equipes
que realizaram as trs avaliaes TIMSS, no que se refere aos diversos
aspectos envolvidos numa avaliao, foi limitada. Apenas um dos inte-
grantes da equipe do primeiro TIMSS participou do TIMSS de 2003.
A maioria dos alunos fez a prova escrita em uma lngua diferente de
sua lngua de origem.
O segundo TIMSS foi utilizado para um estudo detalhado realizado
no pas (Howie, 2002). Os resultados incluram o seguinte:
yAs estatsticas oficiais indicavam turmas de tamanhos diferentes (mui-

to maiores) do encontrado na amostra nacionalmente representativa
de escolas participantes, o que sugere informaes erradas sobre da-
dos de matrculas escolares.
yAlguns alunos estavam com receio de que seu desempenho nas pro-
vas fosse contar em seu histrico escolar oficial. Alguns ficaram com
medo de pedir ajuda. Muitos encontraram grande dificuldade com as
questes abertas. Problemas adicionais foram causados por atrasos na
chegada, absentesmo e fraudes durante a aplicao da prova.
yMuitos alunos tiveram problemas para completar as provas e os ques-
tionrios, por dificuldades de linguagem. Muitos professores no ti-
nham a necessria fluncia no idioma para se comunicar efetivamen-
te com os alunos.
yOs professores gastaram muito tempo ensinando matrias que deve-
riam ter sido cobertas nas sries anteriores.
yPerto de 25% dos professores da 8a srie no tinham qualificao para

ensinar matemtica e no tinham formao de nvel superior.
yOs alunos cujo idioma de origem era o ingls ou o africner tiveram
pontuaes significativamente mais altas que as dos alunos que fala-
vam outra lngua africana em casa.
yMenos de 0,5% dos alunos atingiu o nvel mais alto de desempenho
em matemtica, comparados a 10% da amostra internacional. A m-
dia (381) das pontuaes mais altas alcanadas em nove provncias
(Western Cape) foi significativamente inferior pontuao mdia
internacional do TIMSS (487).
yNem a escola nem o tamanho da turma foram preditores significati-
vos do aproveitamento em matemtica.
Realizaram-se avaliaes nacionais das 3a, 6a e 9a sries solicitadas

pelo Departamento de Educao, a fim de obter dados de linha de base
para avaliaes futuras e sugerir iniciativas de polticas. Cada uma dessas
avaliaes utilizou dados de questionrios, bem como dados da prova de
aproveitamento, para fornecer uma base a partir da qual seriam avalia-
dos os esforos de longo prazo destinados a melhorar o acesso, a quali-
dade, a eficincia e a equidade. As comparaes entre provncias produ-
ziram evidncia de grandes diferenas regionais no aproveitamento. Os
nveis gerais de desempenho foram considerados baixos. Por exemplo, a
avaliao da 6a srie registrou percentual mdio de pontuaes corretas
de apenas 38% em linguagem, 27% em matemtica e 41% em cincias
naturais. Foram elaborados relatrios especficos sobre a 6a srie para
cada provncia, e o relatrio nacional tambm teve uma verso especfi-
ca sobre a 6a srie.
Fontes: Howie, 2000, 2002, Kanjee, 2006; Reddy, 2005, 2006.
A.5. SRI LANKA
Objetivo. Avaliar o aproveitamento dos alunos que haviam concludo a

4a srie em 2003.
Frequncia. As avaliaes anteriores haviam sido realizadas na 3a srie

(1996) e na 5a (1994, 1999). Alm disso, outras avaliaes foram reali-
zadas na 4a srie (2007) e nas 8a e 10a sries (2005).
Srie. 4a
Aproveitamentos avaliados. Primeira lngua (cingals ou tamil), mate-

mtica e ingls.
Instrumentos. Testes de aproveitamento; questionrios aplicados a direto-

res, chefias seccionais, professores de classe e pais (veja Tabela A.5.1).
TABELA A.5.1
Dados sobre Antecedentes e Fonte na Avaliao Nacional do Sri Lanka
Tipo de Nmero de
informao Questionrio Sees questes
Antecedentes da Diretor y Antecedentes gerais 37
escola y Perl do professor
y Instalaes da escola
y Situao nanceira
y Opinies
Chefe de setor y Antecedentes gerais 13
y Instalaes da escola
y Procedimentos de avaliao
do ensino-aprendizado
y Opinies
Professor de y Antecedentes gerais 41
classe y Informaes acadmicas e
prossionais
y Detalhes da sala de aula
y Opinies
Famlia Pais y Antecedentes gerais 51
y Instalaes da casa
y Situao socioeconmica
y Apoio ao aprendizado
y Opinies
Alunos y Antecedentes gerais 26
y Educao pr-escolar
y Atividades ps-escola
y Opinies
Fonte: Perera et al., 2004, Tabela 3.7.
Quem fez? Centro Nacional de Pesquisa e Avaliao em Educao, loca-

lizado na Faculdade de Educao da Universidade de Colombo.
Amostra ou pblico-alvo. Amostra desenhada para ser representativa da

populao nacional de alunos da 4a srie e da populao dessa srie em
cada uma das nove provncias.
Anlise. Foram feitas comparaes das pontuaes de aproveitamento

por tipo de escola, localidade, gnero e nvel de formao dos profes-
sores. As provncias e os distritos foram ordenados por sua classificao
em cada rea temtica. Usou-se a deteco de relaes causa-efeito (path
analysis) para examinar as relaes entre escola, contexto familiar e fa-
tores relacionados com os alunos, por um lado, e aproveitamento dos
alunos, por outro.
Utilizao dos resultados. Os resultados foram usados para analisar o

setor de educao, contribuir para o desenvolvimento de uma nova es-
tratgia governamental e orientar o apoio dos doadores na rea de edu-
cao. As constataes esto sendo utilizadas atualmente para estabele-
cer padres de referncia a partir dos quais se vem monitorando o nvel
de aproveitamento dos alunos em cada uma das provncias.
Pontos interessantes. A equipe da avaliao nacional do Sri Lanka se-

lecionou a pontuao de 80% como ponto de corte para determinar o
domnio em uma rea.1
Foram divulgadas as percentagens de alunos com domnio em cada
uma das trs reas testadas. Os resultados sugerem que o padro espe-
rado foi fixado num nvel exageradamente alto que no correspondia
realidade. Embora, com base nas pontuaes mdias, o relatrio da
avaliao tenha concludo que o desempenho global na primeira lngua
parece ser de um padro satisfatrio (Perera et al., 2004, 47), quando o
desempenho avaliado com base no nvel de domnio, surge um quadro
1Aparentemente, essa deciso baseou-se num ponto de corte utilizado pela UNESCO em estudos
anteriores de monitoramento do aproveitamento do aprendizado (UNESCO, 1990).
diferente. Menos de 40% dos alunos conseguiram o domnio na lngua

local e em matemtica, e menos de 10% alcanaram esse nvel em ingls.
Os resultados mostraram grande disparidade de aproveitamento entre as
provncias e os distritos (Tabela A.5.2). Foram identificados subgrupos
com baixos nveis de aproveitamento. Relatrios especficos foram pu-
blicados para cada uma das nove provncias do pas.
Fonte: Perera et al., 2004.
A.6. NEPAL
Objetivo. A avaliao nacional de 2001 foi realizada para determinar em

que medida o aproveitamento dos alunos havia mudado ao longo de um
perodo de quatro anos, durante uma fase de grandes mudanas polticas.
Frequncia. Dados de linha de base foram obtidos para alunos da 3a

srie em 1997. (A 5a srie foi avaliada em 1999.)
Srie. 3a
Aproveitamentos avaliados. Matemtica, nepals e estudos sociais.
Instrumentos. Foram aplicados testes de aproveitamento em matemtica,

nepals e estudos sociais a todos os alunos da amostra. Foram aplicados
questionrios a diretores e professores das trs reas temticas em cada
escola da amostra. Foram entrevistados 25% dos alunos e seus pais.
Quem fez: Centro de Servios Educacionais e de Desenvolvimento.
Amostra ou pblico-alvo. Uma amostra de 171 escolas.
Anlise. Pontuaes de teste acima de 75% de respostas corretas foram

classificadas como desempenho satisfatrio. Outras anlises incluram
estudos de confiabilidade de cada teste e comparaes de pontuaes
mdias relativas a 1997 e 2001. Foi feita a anlise de varincia para com-
parar as pontuaes mdias de desempenho dos alunos entre regies e
adotou-se a anlise de regresso mltipla para identificar fatores relacio-
nados com o aproveitamento dos alunos.
Utilizao dos resultados. Os resultados foram utilizados para moni-

torar mudanas no aproveitamento de 1997 a 2001 e, em particular,
avaliar o efeito de mudanas em polticas, que incluram aumento do
oramento, novos currculos, novos livros didticos e materiais de en-
sino, novos centros de formao de professores. Foram identificadas as
regies com desempenhos mais altos. Em 2001, as diferenas entre as
pontuaes mdias de meninos e meninas foram significativas apenas
em matemtica; os meninos tiveram pontuaes mdias mais elevadas.
As pontuaes mdias gerais em estudos sociais foram significativamen-
te mais altas em 2001 que em 1997.
Pontos interessantes. Os dados ajudaram a identificar reas de currculo

em que os alunos pareciam ter tido alguma dificuldade. Em matemtica,
os alunos foram capazes, de modo geral, de descrever palavras em n-
meros e nmeros em palavras, medir o tempo e o peso, somar nmeros
em palavras at quatro dgitos e somar nmeros decimais. Em geral,
no conseguiam resolver problemas verbalmente usando qualquer das
quatro operaes bsicas (adio, subtrao, multiplicao, diviso). Em
nepals, o aluno mdio tendia a ser capaz de ler uma histria simples e
usar algum vocabulrio, mas no sabia ler corretamente nem responder
a perguntas com base em passagens ou questes que descreviam uma
histria pictrica.
Os resultados da avaliao mostraram que muitas das reformas pareciam
ter surtido pouco efeito. Mais de 60% dos professores disseram que suas au-
las nunca haviam sido supervisionadas. Eles tendiam a receber relativamen-
te pouco apoio durante o trabalho. Cerca de um tero no havia recebido
treinamento. A instruo em sala de aula foi considerada ineficaz.
O relatrio concluiu que, apesar das inmeras reformas realizadas,
provavelmente ainda era muito cedo para se observar melhoria no apro-
veitamento dos alunos. O relatrio da avaliao nacional tambm des-
tacou a qualidade relativamente pobre do apoio educao recebido

em casa. Mais de 25% das mes eram analfabetas, e menos de 7% delas
haviam concludo a 5a srie.
Fonte: Khaniya e Williams, 2004.
A.7. CHILE
Objetivo. O Sistema de Medio da Qualidade da Educao (SIMCE)

do Chile foi originalmente concebido para ajudar a orientar os pais na
escolha de uma escola. Ele agora busca trs objetivos: fornecer informa-
es ao Ministrio da Educao sobre em que medida os alunos esto al-
canando as metas de aprendizado consideradas mnimas pelo Minist-
rio; fornecer informaes aos pais, professores e s autoridades em nvel
municipal, regional e central; e fornecer aos formuladores de polticas
dados que possam orientar a alocao de recursos para desenvolvimento
de livros didticos e currculos e para a formao de professores durante
o trabalho, especialmente nas reas mais carentes. O SIMCE busca me-
lhorar o sistema educacional introduzindo procedimentos de avaliao
que enfatizam avaliao, informao e incentivos. Tambm serve para
sublinhar o compromisso do Ministrio da Educao com a melhoria da
qualidade e da equidade do sistema educacional.
O Chile tambm opera um sistema de avaliao parte, mas relacio-
nado ao SIMCE, para premiao da excelncia no mbito do SNED (Sis-
tema Nacional de Avaliao do Desempenho Docente). O SNED abran-
ge escolas pblicas ou privadas que recebem financiamento estatal, for-
necendo incentivos a professores e escolas para elevar os nveis de apro-
veitamento dos alunos.
Frequncia. Anual.
Sries. 4a e 8a
Aproveitamentos avaliados. Espanhol (leitura e escrita), matemtica,

cincias naturais e cincias sociais.
Instrumentos. Os alunos fazem provas de aproveitamento, autoconceito

e percepo. Questionrios foram respondidos por diretores, professores
e pais (apenas em um ano).
Quem fez? A primeira aplicao do SIMCE foi feita em 1978 por um

rgo externo, a Pontifcia Universidade Catlica do Chile. Atualmente,
a avaliao feita pelo Ministrio da Educao.
Amostra ou pblico-alvo. Todos (praticamente todos) os alunos nas s-

ries relevantes so avaliados em espanhol e matemtica. Provas de cin-
cias naturais, histria e geografia so aplicadas a 10% dos alunos. Escolas
muito pequenas em lugares inacessveis so excludas.
Anlise. As escolas recebem uma classificao em comparao com ou-

tras escolas da mesma categoria socioeconmica, bem como uma clas-
sificao nacional. O SIMCE identifica as 900 escolas que compem
os 10% com as mais baixas pontuaes nas provas de matemtica e lin-
guagem dentro de suas respectivas regies/provncias e destina recursos
especiais para elas (programa P-900).
Utilizao dos resultados. Os resultados do SIMCE so amplamente

utilizados em discusses sobre polticas. Seus relatrios informam, por
sala de aula, o percentual mdio de respostas corretas para cada objetivo
avaliado, bem como o nmero mdio de respostas corretas no total da
prova. No incio do ano escolar, o SIMCE divulga os resultados nacional-
mente e tambm por escola, localizao e regio. Os manuais do SIMCE
explicam os resultados e como os professores e as escolas podem us-los
para melhorar o aproveitamento dos alunos. As escolas beneficiadas pelo
programa P-900 recebem apoio sob a forma de melhoria da infraestru-
tura, livros didticos e bibliotecas para as salas de aula, material didtico
e oficinas de capacitao de professores durante o trabalho. As escolas
so excludas do programa P-900 quando suas pontuaes no SIMCE
excedem o ponto de corte de 10%.
O programa SNED usa as pontuaes do SIMCE junto com quatro
outras medidas de qualidade da escola. Os professores das escolas com
melhor desempenho dentro de uma regio recebem uma premiao

em dinheiro equivalente a um salrio mensal, aproximadamente. Num
esforo para assegurar a equidade, o ministrio seleciona escolas que
atendem a grupos socioeconmicos semelhantes, tanto urbanas quan-
to rurais e dos nveis bsico ou fundamental. Embora diversos fatores
sejam levados em conta no clculo do ndice, o aproveitamento esco-
lar representa quase dois teros da pontuao do ndice (Tabela A.7.1).
O sistema de ponderao periodicamente modificado para refletir as
prioridades de polticas.
TABELA A.5.2
Porcentagem de Alunos que Alcanaram o Domnio da Primeira Lngua, por Provncia
Percentual
que alcanou Percentual
Grupo Classicao Provncia o domnio buscado
Acima de 50% 1 Ocidental 53,5 80,0
26% a 50% 2 Meridional 42,6 80,0
3 Ocidental Norte 42,2 80,0
4 Sabaragamuwa 40,2 80,0
5 Central Norte 35,6 80,0
6 Uva 33,9 80,0
7 Central 33,8 80,0
1% a 25% 8 Oriental 23,7 80,0
9 Norte-Oriental 22,7 80,0
Fonte: Perera et al., 2004, Tabela 4.14.
Pontos interessantes. O SIMCE usa uma campanha macia de relaes

pblicas que inclui folhetos para pais e escolas, cartazes para as escolas,
vdeos para oficinas, programas de televiso e comunicados de imprensa.
Os relatrios so distribudos para diretores, lderes municipais, super-
visores escolares e funcionrios de ministrio. Os pais tambm recebem
um relatrio individualizado para sua escola. Os jornais publicam os
resultados de cada escola. Como os municpios recebem financiamento
do governo central em funo do nmero de alunos, tm um interesse
especfico no resultado; bons resultados no SIMCE tendem a atrair mais
alunos e, consequentemente, mais receita.
As escolas nas quais um grande nmero de alunos no comparece na

data das provas no recebem os resultados. Algumas escolas superestima-
ram o nvel de pobreza dos alunos para ajudar a aumentar suas chances de
se qualificar para receber ajuda do programa P-900. A maior preocupao
dos professores parece ser com a posio de sua escola em relao s escolas
semelhantes, e no com a oportunidade de usar os resultados para pro-
mover o dilogo dentro da escola e ajudar a diagnosticar as reas onde os
alunos parecem ter maiores dificuldades. Alguns professores tm criticado
a natureza excessivamente tcnica dos relatrios sobre as escolas. O SIMCE
dedica relativamente pouca ateno aos dados dos questionrios aplicados
a alunos, pais e professores. Constatou-se ser tecnicamente difcil medir
as atitudes em face do aprendizado e dos valores dos alunos. O programa
SNED presume que os incentivos financeiros inspiraro os professores a
fazer maiores esforos para melhorar o aprendizado.
Fontes: Arregui e McLauchlan, 2005; Benveniste, 2000; Himmel, 1996,

1997; McMeekin, 2000; Olivares, 1996; Wolff, 1998.
TABELA A.7.1
ndice para Prmios de Merecimento para Escolas no Chile, 1998-99
Fator Percentual
Eccia (pontuaes SIMCE em matemtica e cincias) 37
Valor agregado (ganho mdio na pontuao SIMCE) 28
Iniciativa 6
Melhoria nas condies da escola 2
Igualdade de oportunidade 22
Cooperao pais-professor 5
Fonte: Delannoy, 2000, Tabela 1.5.
A.8. ESTADOS UNIDOS
Objetivo. A Avaliao Nacional do Progresso Educacional (NAEP), que

teve incio em 1969, mede o aproveitamento escolar dos alunos e mo-
nitora mudanas no aproveitamento em idades e sries especficas. A
NAEP, muitas vezes chamada de The Nations Report Card, tambm
examina aproveitamentos de subpopulaes-alvo definidas por carac-

tersticas demogrficas e por antecedentes e contextos especficos. Na
maioria dos estados, a amostra da NAEP suficientemente grande para
permitir inferncias sobre o aproveitamento em cada estado.
Frequncia. As avaliaes de matemtica e leitura so realizadas pelo

menos uma vez a cada dois anos e com menor frequncia em outras
reas de currculo.
Sries. 4a, 8a e 12a. Avaliaes estaduais especficas que utilizam as pro-

vas da NAEP limitam-se s 4a e 8a sries.
Aproveitamentos avaliados. Matemtica, leitura, cincias, escrita, ar-

tes, cidadania, economia, geografia e histria americana. Novas reas
temticas que sero avaliadas: lngua estrangeira e histria geral.
Instrumentos. Testes de aproveitamento em leitura, matemtica, cincias,

escrita, histria americana, cidadania, economia, geografia e artes. Um ques-
tionrio (ao qual o aluno pode escolher responder ou no) no final do ca-
derno de prova coleta informaes sobre caractersticas demogrficas dos
alunos, experincias em sala de aula e apoio aos estudos em casa. Um ques-
tionrio respondido pelo professor centra-se no histrico dos professores, sua
formao e prticas de instruo. Um questionrio relativo escola busca
informaes sobre as polticas e caractersticas da escola. O professor fornece
dados sobre alunos com deficincia ou que esto aprendendo o ingls.
Quem fez? Um Conselho Nacional de Avaliao, nomeado pelo secre-

trio de Educao, tem a responsabilidade global pela NAEP. O conse-
lho composto por governadores, deputados estaduais, funcionrios das
escolas municipais e estaduais, educadores, representantes de empresas
e membros do pblico em geral. Vrios rgos foram contratados para
realizar segmentos especficos da NAEP. No perodo 2003-06, as ati-
vidades de desenvolvimento de itens, anlise, amostragem e coleta de
dados, distribuio e pontuao, e manuteno de pginas na internet
estavam a cargo de diferentes rgos.
Amostra ou pblico-alvo. Amostras das 4a e 8a sries em nvel estadual

(somente escolas pblicas) e estudantes da 12a srie em nvel nacional.
O tamanho da amostra para cada teste da NAEP de cerca de 2.500
alunos em cada estado. Um estudo em separado sobre as tendncias de
longo prazo divulga informaes em nvel nacional com os resultados
em matemtica e leitura para amostras de alunos com 9, 13 e 17 anos
extradas de escolas pblicas e privadas.
Anlise. Cada aluno responde apenas a uma parte do nmero total de

itens do teste em determinada rea de contedo. Os dados permitem
comparaes entre grupos (por exemplo, alunos do gnero masculino
e do feminino em determinado estado). O modelo de resposta ao item
utilizado para estimar caractersticas da medio de cada questo da
avaliao e criar uma escala nica para representar o desempenho. So
aplicados pesos s amostras para refletir as caractersticas do pblico-al-
vo. As escalas construdas permitem comparar avaliaes realizadas em
anos diferentes com pblicos-alvos semelhantes. Medidas de controle de
qualidade so aplicadas em cada fase da anlise. So divulgados os per-
centuais de alunos em cada um dos trs nveis de proficincia: bsico
(domnio parcial dos conhecimentos exigidos), proficiente (comando
competente da matria) e avanado (nvel superior de desempenho).
Utilizao dos resultados. Os resultados so amplamente divulgados.

Porta-vozes polticos e outros tm utilizado os resultados da NAEP para
expressar opinies tanto positivas quanto negativas sobre a qualidade do
sistema escolar americano.
Pontos interessantes. A NAEP monitora tendncias no desempenho de

subgrupos. D-se especial ateno s taxas de evoluo dos subgrupos mi-
noritrios, principalmente ao aumento nas pontuaes em leitura desde
1971. Em geral, as pontuaes em leitura e matemtica aumentaram entre
os alunos da 4a srie, enquanto as diferenas de aproveitamento entre alunos
de diferentes raas diminuram. Em termos gerais, no foram registradas
taxas de crescimento no aproveitamento em leitura durante um perodo
em que duplicou o nmero de alunos latino-americanos (que, tradicional-
mente, tm tido dificuldade em dominar leitura em ingls). A mudana na

natureza do pblico-alvo estudantil torna difcil determinar se os esforos
para melhorar a pedagogia e o currculo esto tendo efeito.
Fonte: Johnson, 1992; Centro Nacional de Estatsticas de Educao

(EUA), 2005, 2006.
A.9. UGANDA
Objetivo. A Avaliao Nacional do Progresso em Educao (NAPE)

realizada em julho de 2005, no segundo semestre escolar, foi uma entre
as diversas avaliaes nacionais realizadas em Uganda. Os objetivos es-
pecficos da avaliao foram os seguintes:
yDeterminar o nvel de aproveitamento dos alunos em letramento em

ingls e letramento em matemtica.
yAnalisar as relaes entre aproveitamento, de um lado, e gnero e
idade dos alunos, localizao da escola (urbana, perifrica, rural) e
zonas do pas, de outro.
yExaminar padres de aproveitamento.
yComparar aproveitamentos de alunos da 3a e 6a sries em 1999 e 2005.
Frequncia. Uganda tem realizado avaliaes nacionais de aproveita-

mento desde 1996. Inicialmente, pares de matrias (letramento em lin-
guagem e em matemtica; cincias e estudos sociais) eram avaliados a
cada trs anos. A partir de 2003, o foco tem sido nos dois tipos de letra-
mento, que so avaliados anualmente.
Sries. 3a e 6a.
Aproveitamentos avaliados. Letramento em ingls e matemtica. A
fluncia oral em ingls avaliada a cada trs anos.
Instrumentos. Testes de aproveitamento nos letramentos em linguagem

e matemtica. As avaliaes nacionais anteriores usavam questionrios
para alunos, professores e diretores. Avaliaes que coletam dados com

questionrios so realizadas a cada trs anos.
Quem fez? Comisso Nacional de Exames de Uganda (UNEB).
Amostra ou pblico-alvo. Inicialmente, foram amostrados distritos em

cada uma das 14 zonas do pas. O tamanho da amostra foi aumentado
para garantir um mnimo de trs escolas em cada distrito.
Anlise. As pontuaes dos alunos em cada teste foram classificadas em

um dos quatro nveis: avanado, adequado, bsico e inadequado.
As pontuaes correspondentes aos nveis foram determinadas e defi-
nidas quando os testes estavam sendo elaborados por painis dos quais
participavam funcionrios do Centro Nacional de Desenvolvimento
Curricular, faculdades de pedagogia que formavam professores do ensi-
no bsico, a Agncia de Padres Educacionais, a UNEB e profisses liga-
das ao ensino. No teste de ingls de 50 itens aplicado na 3a srie, foram
utilizados intervalos de pontuao para definir nveis de desempenho:
38-50, avanado; 20-37, adequado; 15-19, bsico; e 0-14, inade-
quado. Os painis decidiram que o nvel adequado deveria ser consi-
derado o nvel mnimo desejado de proficincia. Menos de 40% dos
alunos da 3a srie alcanaram o nvel desejado de proficincia em ingls
(Tabela A.9.1). Os resultados do teste de desempenho foram relatados
(em termos percentuais) de acordo com idade dos alunos, localizao da
escola (urbana ou rural), regio geogrfica e zona.
TABELA A.9.1
Porcentagem de Alunos da 3a Srie em Uganda com Nvel de Proficincia
em Letramento em Ingls, 2005
Classicao Meninos Meninas Todos

(%) (%) (%)
Prociente (avanado + adequado) 36,9 39,7 38,3
Abaixo do nvel desejado de procincia 63,1 60,3 61,7
(bsico + inadequado)
Fonte: UNEB, 2006, Tabela 3.02.
Utilizao dos resultados. A UNEB imprimiu um cartaz para cada

sala de aula das 3a e 6a sries em Uganda listando reas de currculo
em que o desempenho dos alunos em nvel nacional foi considerado
adequado (com dizeres como, por exemplo: Podemos contar nme-
ros, ou Podemos realizar adio e subtrao de nmeros escritos em
nmeros e smbolos) ou menos adequado (por exemplo, Ajude-nos
a desenvolver um vocabulrio mais amplo ou Ajude-nos a fazer a
diviso de nmeros corretamente ou ainda Ajude-nos a resolver
problemas verbais de matemtica). Cartazes semelhantes foram pre-
parados para os professores.
A UNEB planeja disseminar as lies aprendidas a partir da ava-
liao nacional de 2005 sob a forma de relatrios separados, de uso
simples, contendo as implicaes da NAPE para professores, diretores,
supervisores, inspetores, formadores de professores e formuladores de
polticas. Tambm est projetando uma iniciativa-piloto para usar as
abordagens da avaliao nacional a fim de melhorar a avaliao feita
nas salas de aula.
Pontos interessantes. A maioria dos alunos teve de fazer os testes em

sua segunda lngua, pois seria muito difcil encontrar um idioma usa-
do por todos. Mais de 25% das escolas do ensino bsico no puderam
ser includas na avaliao nacional devido, em parte, agitao civil
existente em determinadas regies. A UNEB concluiu que algumas
escolas haviam inflacionado o nmero de matrculas para obter mais
recursos.
Muitos dos itens da prova de linguagem apareceram sob o ttulo geral
de gramtica (50% para a 3a srie e 30% para a 6a srie). Em geral, os alu-
nos acharam difceis os itens do teste. Muitos estudantes tiveram pontua-
es relativamente baixas (veja Figura A.9.1). Embora o estudante tpico
da 3a srie devesse ter cerca de 8 a 9 anos, a idade mdia real dos alunos
que fizeram o teste era 10,2 anos; alguns tinham 11 anos ou mais.
Foram encontradas diferenas significativas de aproveitamento entre
as zonas. Na zona de Kampala, 87% dos estudantes da 6a srie alcana-
ram o nvel desejado de proficincia em letramento em ingls; nas outras
seis zonas, o percentual correspondente foi inferior a 30%. O desempe-
nho no subteste de escrita da 6a srie revelou diferenas significativas

entre os nveis de desempenho esperados e os reais. O nvel desejado de
proficincia foi alcanado por cerca da metade dos alunos que escreve-
ram uma histria sobre uma imagem, pela quarta parte dos que escre-
veram uma carta e por um dcimo dos que compuseram e escreveram
uma histria. O relatrio tcnico incluiu uma amostra das cartas escritas
pelos alunos e listas de erros comuns nos testes de matemtica. Tambm
incluiu inmeras recomendaes e uma lista de rgos ou unidades que
devem assumir a responsabilidade de dar seguimento a elas.
A UNEB recrutou os servios de um consultor externo para fiscalizar a
qualidade de seu trabalho, especificamente a qualidade das caractersticas
estatsticas dos itens de prova e a correspondncia entre os itens selecio-
nados e os objetivos do currculo. O consultor observou uma estreita cor-
respondncia entre os itens e o currculo, mas recomendou que se desse
maior ateno resoluo de problemas em matemtica. O trabalho do
FIGURA A.9.1
Distribuio das Pontuaes do Teste de Letramento na 6a Srie em Uganda
140
120
100
frequncia
80
60
40
20
0
0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85
pontuao
Fonte: Clarke, 2005.

consultor foi parcialmente limitado pela no disponibilidade de informa-

es sobre as avaliaes anteriores no que se referia elaborao de pro-
vas, pesos da amostra, desenho do projeto e anlise. Alguns dos problemas
decorriam do fato de que uma parte dos trabalhos de anlise da NAPE
havia sido feita por um rgo no associado UNEB. O consultor reco-
mendou que cpias de todos os instrumentos, detalhes da amostragem,
procedimentos analticos e outras documentaes relevantes sejam man-
tidas em arquivos pelo rgo nacional de avaliao (UNEB).
Fonte: UNEB, 2006.

APNDICE
B ESTUDOS
INTERNACIONAIS
B.1. TENDNCIAS INTERNACIONAIS NO ESTUDO

DE MATEMTICA E CINCIAS (TIMSS)
Marco de Referncia
Os principais objetivos do TIMMS (Trends in International Mathema-

tics and Science Study), organizado pela Associao Internacional para
Avaliao do Aproveitamento Escolar (IEA), foram os seguintes:
yAvaliar o aproveitamento dos alunos em matemtica e cincias, des-

crito em funo de conceitos, processos, habilidades e atitudes.
yDescrever o contexto no qual se d o aproveitamento dos alunos, a fim
de identificar fatores associados ao aprendizado que pudessem ser me-
lhorados por meio de mudanas em polticas (relativas, por exemplo, a
nfases no currculo, alocao de recursos ou prticas instrucionais).
J foram realizados trs estudos TIMSS. O primeiro cobriu 45 sis-

temas de educao em 1994-1995 e avaliou trs pblicos-alvo (3a e 4a
sries; 7a e 8a sries; ltimo ano do ensino fundamental). O segundo
estudo cobriu 38 sistemas de educao em 1999 e avaliou alunos da 8a
srie. O terceiro foi realizado em 2003, cobrindo 50 sistemas e avaliando

alunos das 4a e 8a sries. Estudos adicionais foram realizados em 2007 e
2008, e programados para 2011. O TIMSS distingue entre o currculo
pretendido, o executado e o alcanado e, nas anlises, explora a forma
como esto inter-relacionados. O currculo pretendido representa uma
declarao dos objetivos de ensino e aprendizado visados pela sociedade;
esses objetivos so normalmente descritos em currculos, declaraes de
polticas e em regulamentos, e esto refletidos nos livros didticos, re-
cursos educacionais e exames. O currculo implementado o modo como
o currculo pretendido interpretado pelos professores e oferecido aos
alunos. Dados sobre a implementao (que fornecem um ndice das
oportunidades de aprender oferecidas aos alunos) so coletados princi-
palmente por meio de questionrios aplicados a professores e alunos. O
currculo alcanado o que os alunos aprenderam, conforme inferido de
seu desempenho nos testes.
Instrumentos
Os seguintes componentes de matemtica so avaliados nos testes do

TIMSS:
yContedo. Nmeros; medio; geometria; proporcionalidade, fun-

es, relaes e equaes; dados, probabilidade, estatsticas; anlise
elementar; validao e estrutura.
yExpectativas de desempenho. Conhecer, utilizar procedimentos de ro-
tina, investigar e solucionar problemas, usar o raciocnio matemtico,
comunicar.
yPerspectivas. Atitudes, carreiras, participao, interesse crescente, h-
bitos da mente.
Os componentes de cincias do TIMSS compreendem o seguinte:
yContedo. Cincias da terra, cincias biolgicas, cincias fsicas; cin-

cia, tecnologia, matemtica; histria da cincia; questes ambientais;
a natureza da cincia; a cincia e outras disciplinas.
yExpectativas de desempenho. Compreender; teorizar, analisar, resolver

problemas; utilizar ferramentas, procedimentos de rotina e processos
da cincia; investigar o mundo natural; comunicar.
yPerspectivas. Atitudes, carreiras, participao, interesse crescente, se-
gurana, hbitos da mente.
Desde a criao do TIMSS, seus marcos de referncia j foram altera-

dos para refletir as mudanas curriculares e pedaggicas dos pases par-
ticipantes. Os elaboradores usaram uma grade curricular que se baseia
em estudos anteriores (em particular, no caso da matemtica, o Segundo
Estudo Internacional de Matemtica) para desenvolver testes por meio
de um processo de construo de consenso entre os pases participantes.
Vrias centenas de itens (de mltipla escolha e resposta fechada) pas-
saram por um teste-piloto e foram avaliados em funo de adequao
e ajuste ao currculo. Para alcanar a cobertura mxima do currculo
sem colocar um peso demasiadamente grande sobre os alunos que par-
ticiparam do estudo, os itens do teste foram distribudos por livretos.
Cada aluno respondeu a apenas um livreto. A Tabela B.1.1 apresenta
um exemplo retirado do documento-marco que orientou a avaliao fei-
ta pelo TIMSS em 2007.
Os questionrios foram elaborados e aplicados para obter informa-
es sobre o seguinte:
yContextos sociais e educacionais gerais (no nvel do sistema).

yContextos local, da comunidade e das escolas (no nvel das escolas).
yAspectos dos antecedentes pessoais (para cada aluno).
Os instrumentos foram traduzidos em mais de 30 idiomas.
Participantes
Trs populaes-alvo participaram do TIMSS original em 1994-95:
yPblico-alvo 1. Alunos do par de sries adjacentes que continham a

maioria dos estudantes com 9 anos (geralmente as 3a e 4a sries).
TABELA B.1.1
Percentuais-alvos dos Testes de Matemtica do TIMSS 2007 relativos aos
Domnios de Contedo e Cognitivos, 4a e 8a Sries
Domnios de Contedo na 4a Srie Porcentagens

Nmero 50
Formas Geomtricas e Medidas 35
Apresentao de Dados 15
Domnios de Contedo na Oitava Srie Porcentagens
Nmero 30
lgebra 30
Geometria 20
Dados e Acaso 20
Domnios Cognitivos Porcentagens
4 Srie
a
8a Srie
Conhecimento 40 35
Aplicao 40 40
Raciocnio 20 25
Fonte: Mullis et al., 2005, Mostra 2. Reproduzido com permisso.
yPblico-alvo 2. Alunos do par de sries adjacentes que continham a maior

parte dos estudantes com 13 anos (geralmente, as 7a e 8a sries).
yPblico-alvo 3. Alunos do ltimo ano do ensino fundamental. Foram
identificadas duas subpopulaes: (1) todos os estudantes que fize-
ram uma prova de letramento em matemtica e leitura e (2) estudan-
tes que estavam se especializando em matemtica ou fsica ou que
passaram por um teste especializado.
Em 1994-1995, 45 sistemas educacionais participaram do TIMSS

(abrangendo os trs tipos de pblico-alvo). Entre eles, um era do con-
tinente africano (frica do Sul), seis estavam na sia/Oriente Mdio
(Hong Kong, China, Ir, Japo, Israel, Coreia do Sul; Kuwait, Cinga-
pura e Tailndia) e um estava na regio da Amrica Latina e do Caribe
(Colmbia). Os nomes dos sistemas educacionais que aparecem neste
Apndice so os listados nos relatrios dos estudos.
Em 1999, 38 sistemas educacionais participaram do TIMSS, cobrindo

apenas o pblico-alvo 2. Entre eles, trs estavam na frica (Marrocos,
frica do Sul e Tunsia); 13 na sia/Oriente Mdio (Taipei, Hong Kong,
Indonsia, Ir, Israel, Japo, Jordnia, Coria do Sul, Malsia, Filipinas,
Cingapura, Tailndia e Turquia) e dois na Amrica Latina e Caribe (Ar-
gentina e Chile).
Cinquenta pases participaram do TIMSS 2003 (cobrindo os pbli-
cos-alvos 1 e 2). Seis estavam na frica (Botsuana, Egito; Gana; Mar-
rocos, frica do Sul e Tunsia), 17 na sia/Oriente Mdio (Bahrain;
Taipei, Hong Kong, China; Indonsia, Ir, Japo, Israel, Jordnia, Coreia
do Sul, Lbano, Malsia; Palestina, Filipinas, Arbia Saudita, Cingapura,
Sria e Imen) e um na Amrica Latina e no Caribe (Chile).
Alguns resultados
A Tabela B.1.2 apresenta os resultados do teste de matemtica de 2003

para a 8a srie. Aproximadamente um tero dos alunos nos sistemas de
mais alto desempenho alcanou o padro de referncia avanado. Em
forte contraste, 19 dos sistemas com as pontuaes mais baixas registra-
ram no mximo 1% de alunos nesse nvel de referncia. Cingapura ficou
em primeiro lugar tanto na prova da 4a srie quanto na da 8a. Alguns
sistemas demonstraram aproveitamento mdio significativamente maior
em relao aos seus desempenhos em 1995 e 1999, enquanto outros
registraram quedas significativas na pontuao. Coreia do Sul, Hong
Kong, China, Letnia, Litunia e Estados Unidos estavam entre os que
melhoraram as pontuaes da 8a srie.
No conjunto, as diferenas entre gneros no aproveitamento em ma-
temtica foram insignificantes. No entanto, as meninas superaram os
meninos em alguns sistemas, enquanto os meninos se saram melhor
em outros. Um nvel elevado de educao dos pais estava associado a
pontuaes de aproveitamento mais elevadas em praticamente todos os
sistemas. No estudo de 2003, tanto na 4a quanto na 8a srie o nmero
de livros em casa teve correlao significativa com o aproveitamento dos
alunos em matemtica.
TABELA B.1.2
Distribuio do Aproveitamento em Matemtica na 8a Srie no TIMSS
Anos ndice de
Escala de
de Mdia Desenvolvi-
Pases Distribuio do Aproveitamento em Matemtica Pontuao
Escolari- de Idade mento Humano
Mdia
dade* **0,884
Cingapura 8 14,3 605 (3,6)
Coreia do Sul 8 14,6 589 (2,2) 0,879

Hong Kong 8 14,4 586 (3,3) 0,889
Taipei 8 14,2 585 (4,6)
Japo 8 14,4 570 (2,1) 0,932
Blgica 8 14,1 537 (2,8) 0,937

Pases Baixos 8 14,3 536 (3,8) 0,938
Estnia 8 15,2 531 (3,0) 0,833
Hungria 8 14,5 529 (3,2) 0,837
Malsia 8 14,3 508 (4,1) 0,790
Letnia 8 15,0 508 (3,2) 0,811
Fed. Russa 7 ou 8 14,2 508 (3,7) 0,779
Rep. Eslovaca 8 14,3 508 (3,3) 0,836
Austrlia 8 ou 9 13,9 505 (4,6) 0,939

Estados Unidos 8 14,2 504 (3,3) 0,937
1
Litunia 8 14,9 502 (2,5) 0,824
Sucia 8 14,9 499 (2,6) 0,941
1
Esccia 9 13,7 498 (3,7) 0,930
2
Israel 8 14,0 496 (3,4) 0,905
Nova Zelndia 8,5 - 9,5 14,1 494 (5,3) 0,917
Eslovnia 7 or 8 13,8 493 (2,2) 0.881
Itlia 8 13,9 484 (3,2) 0,916
Armnia 8 14,9 478 (3,0) 0,729
1
Srvia 8 14,9 477 (2,6)
Bulgria 8 14,9 476 (4,3) 0,795
Romnia 8 15,0 475 (4,8) 0,773
Mdia Internacional 8 14,5 467 (0,5)
Noruega 7 13,8 461 (2,5) 0.944
Moldvia 8 14,9 460 (4,0) 0,700
Chipre 8 13,8 459 (1,7) 0,891
2
Macednia 8 14,6 435 (3,5) 0,784
Lbano 8 14,6 433 (3,1) 0,752
Jordnia 8 13,9 424 (4,1) 0,743
Ir 8 14,4 411 (2,4) 0,719
1
Indonsia 8 14,5 411 (4,8) 0,682
Tunsia 8 14,8 410 (2,2) 0,740
Egito 8 14,4 406 (3,5) 0,648
Bahrain 8 14,1 401 (1,7) 0,839
Palestina 8 14,1 390 (3,1) 0,731
Chile 8 14,2 387 (3,3) 0,831
1
Marrocos 8 15,2 387 (2,5) 0,606
Filipinas 8 14,8 378 (5,2) 0,751
Botswana 8 15,1 366 (2,6) 0,614
Arbia Saudita 8 14,1 332 (4,6) 0,769
Gana 8 15,5 276 (4,7) 0,567
frica do Sul 8 15,1 264 (5,5) 0,684

Inglaterra 9 14,3 498 (4,7) 0,930
Participantes do Padro de Referncia
Pas Basco 8 14,1 487 (2,7)
Indiana (EUA) 8 14,5 508 (5,2)
Ontrio (Prov. Canad) 8 13,8 521 (3,1)
Quebec (Prov. Canad) 8 14,2 543 (3,0)
0 100 200 300 400 500 600 700 800
Percentis de Desempenho Mdia do pas significativamente

mais alta que a mdia internacional
5 25 35 95
Mdia do pas significativamente
Intervalo de Confiana de 95% para a Mdia (+-25E) mais baixa que a mdia internacional
* Representa anos de escolaridade contados do 1 Populao Nacional Desejada no cobre toda a

primeiro ano do nvel 1 da ISCED. Populao Internacional Desejada (ver Anexo A.6).
** Retirado do Relatrio sobre Desenvolvimento 2 Populao Nacional Desejada cobre menos de 90%
Humano de 2003 do Programa das Naes Unidas da Populao Internacional Desejada (ver Anexo A.6).
para o Desenvolvimento, pp. 237-240. A Coreia testou a mesma coorte de alunos que outros
Atendeu s diretrizes para taxas de participao na pases, mas no final de 2003, quando comeava o
amostra somente depois que as escolas substitutas ano escolar seguinte.
foram includas (Ver Anexo A.9). () Erros-padro aparecem em parnteses. Como os
Quase atendeu s diretrizes para taxas de participao resultados esto arredondados para o nmero inteiro
na amostra somente depois que as escolas substitutas mais prximo, alguns totais podem parecer
foram includas (ver Anexo A.9). inconsistentes.
No atendeu s diretrizes para taxas de participao Um travesso () indica que dados comparveis no
na amostra (ver Anexo A.9). esto disponveis.
Fonte: Mullis et al., 2004, Anexo 1.1. Reproduzido com permisso.

A amplitude do currculo testado no TIMSS de 2003 variou entre os

sistemas. Os relatrios dos professores sobre os alunos da 8a srie indica-
ram que, em mdia, 95% haviam recebido ensinamentos sobre nmeros,
78% sobre medio, 69% sobre geometria, 66% sobre lgebra e 46% sobre
dados. Mais de 80% dos alunos tiveram professores com pelo menos al-
guma formao profissional em matemtica. Livros didticos foram am-
plamente utilizados como base do ensino. O uso de calculadora, em con-
trapartida, variou muito entre os sistemas. O uso disseminado na 4a srie
era permitido em apenas cinco sistemas. Escolas nas quais poucos alunos
viviam em famlias economicamente desfavorecidas tiveram, em mdia,
57 pontos a mais na 8a srie e 47 pontos a mais na 4a srie que aquelas em
que mais da metade dos alunos vinha de famlias desfavorecidas.
B.2. ESTUDO INTERNACIONAL SOBRE O PROGRESSO

DO LETRAMENTO EM LEITURA (PIRLS)
Marco de Referncia
O Estudo sobre Letramento em Leitura feito pela IEA em 1991 serviu

de base para a definio de letramento em leitura do PIRLS (Progress in
International Reading Literacy Study). Para o PIRLS (2001 e 2006), o
letramento em leitura foi definido como
... a capacidade de compreender e utilizar as formas da linguagem es-

crita exigidas pela sociedade e/ou valorizadas pelo indivduo. Leitores
jovens podem construir significado a partir de uma variedade de tex-
tos. Eles leem para aprender, participar de comunidades de leitores e
por prazer (IEA, 2000, 3).
O contexto de avaliao do PIRLS abrange dois grandes objetivos que

foram combinados com quatro processos de compreenso. Os objetivos
so os seguintes:
yLiterrio. Leitura para uma experincia literria na qual o leitor mer-

gulha no texto para se envolver em eventos e personagens imaginados
e para desfrutar o idioma.
yInformativo. Leitura para adquirir e utilizar informaes, na qual o

leitor se envolve com aspectos do mundo real representados em tex-
tos cronolgicos (por exemplo, quando os eventos so descritos em
biografias, receitas, instrues) ou em textos no cronolgicos, em
que as ideias so organizadas logicamente, e no cronologicamente
(por exemplo, em textos de discusso ou persuaso).
Os processos de compreenso exigem dos alunos o seguinte:
yEnfocar e recuperar informaes explcitas. Por exemplo, procurar ideias es-
pecficas; encontrar o tpico frasal ou ideia principal, quando explcita.
yFazer inferncias simples. Por exemplo, inferir que um evento causou
outro; identificar generalizaes no texto.
yInterpretar e integrar ideias e informaes. Por exemplo, discernir a
mensagem geral ou o tema de um texto; comparar e contrastar infor-
maes num texto.
yAnalisar e avaliar o contedo, a linguagem e elementos textuais. Descre-
ver como o autor concebeu um final surpreendente; avaliar a comple-
tude ou clareza da informao no texto.
O PIRLS foi realizado em 2001 e 2006.
Instrumentos
Estimou-se que o uso de textos autnticos (isto , aqueles tipicamente

lidos pelos alunos em suas experincias dirias) para cada um dos dois
objetivos (leitura para experincia literria e leitura para adquirir e usar
informao) exigiria quatro horas de teste. Dado que no parecia razo-
vel esperar que qualquer aluno se sentasse por mais de uma hora numa
situao de teste, o material da avaliao foi distribudo em 10 livretos,
dos quais cada aluno respondeu a apenas um.
A habilidade dos alunos em cada um dos quatro processos de com-
preenso foi avaliada em questes que acompanhavam os textos. Foram
utilizados dois formatos: mltipla escolha e resposta fechada.
Informaes sobre as atitudes dos alunos com relao leitura e sobre
seus hbitos de leitura foram obtidas por meio de um questionrio. Os
questionrios tambm foram aplicados aos pais dos alunos, professores

e diretores de escolas para coletar informaes sobre o contexto familiar
dos alunos e sobre experincias escolares consideradas relevantes para o
desenvolvimento do letramento em leitura.
Participantes
O pblico-alvo do PIRLS foi definido como a srie superior de duas s-

ries adjacentes que tivessem o maior nmero de alunos com 9 anos. Na
maioria dos sistemas, foi a 4a srie.
Trinta e cinco sistemas educacionais participaram do PIRLS em 2001.
Incluam um da frica (Marrocos), seis da sia/Oriente Mdio (Hong
Kong, China, Ir, Israel, Kuwait, Cingapura e Turquia) e trs da Am-
rica Latina e do Caribe (Argentina, Belize e Colmbia) (Mullis et al.,
2003). Quarenta e um sistemas participaram do PIRLS em 2006. Entre
os africanos, acrescentou-se a frica do Sul. Na sia/Oriente Mdio,
entraram Taipei, Indonsia e Qatar, e saiu a Turquia. Na Amrica Latina
e no Caribe, saram os trs anteriores e entrou Trinidad e Tobago.
O prximo PIRLS est agendado para 2011.
Algumas Constataes
Foram criados quatro padres de referncias com base nas pontuaes

dos alunos no teste: o quartil inferior de referncia, definido como o 25o
percentil (o ponto acima do qual ficaram 75% dos alunos); a mediana de
referncia, definida como o 50o percentil; o quartil superior de referncia,
definido como o 75o percentil; e o padro superior de referncia, com os
10% de pontuaes mais elevadas, definido como o 90o percentil. Se as
pontuaes de aproveitamento em leitura tivessem a mesma distribui-
o em cada um dos pases, cerca de 10% dos alunos em cada pas seriam
classificados no padro de referncia superior. A Tabela B.2.1 apresenta
os resultados para os pases participantes. Pode-se ver, por exemplo, que
24% dos alunos de ingls tiveram pontuaes na categoria mais alta e
que 10 sistemas tiveram menos de 5% dos alunos nessa categoria.
TABELA B.2.1
Percentuais de Alunos da 4a Srie que Alcanaram os Padres de Referncia
do PIRLS em Aproveitamento em Leitura
Padro de Padro de Padro de Padro de
Percentuais de Alunos que Alcanaram Referncia Referncia Referncia
Pases Referncia
os Padres de Referncia Internacionais Primeiros Quartil Quartil
10% Superior Mediano Inferior
** Inglaterra 24 (1,6) 45 (1,9) 72 (1,6) 90 (1,0)
Bulgria 21 (1,3) 45 (1,9) 72 (1,9) 91 (1,1)
Sucia 20 (1,1) 47 (1,4) 80 (1,3) 96 (0,5)
* Estados Unidos 19 (1,3) 41 (2,0) 68 (2,0) 89 (1,2)
Nova Zelndia 17 (1,4) 35 (1,7) 62 (1,9) 84 (1,3)
1
Canad (O.Q) 16 (1,0) 37 (1,3) 69 (1,3) 93 (0,6)
Cingapura 15 (1,5) 35 (2,3) 64 (2,3) 85 (1,6)
* Pases Baixos 14 (1,0) 40 (1,7) 79 (1,5) 98 (0,5)
Itlia 14 (1,0) 36 (1,3) 69 (1,5) 92 (0,8)
* Esccia 14 (1,1) 32 (1,8) 62 (1,8) 87 (1,1)
Hungria 13 (0,9) 36 (1,5) 71 (1,2) 94 (0,6)
1
Litunia 13 (1,4) 36 (1,7) 71 (1,7) 95 (0,6)
Letnia 12 (1,1) 36 (1,6) 73 (1,5) 96 (0,6)
Alemanha 12 (0,8) 34 (1,3) 69 (1,2) 93 (0,6)
2
Israel 11 (0,8) 28 (1,2) 54 (1,4) 79 (1,1)
Romnia 11 (1,3) 27 (2,0) 54 (2,1) 81 (1,7)
Repblica Tcheca 10 (0,9) 32 (1,5) 68 (1,5) 93 (0,7)
2
Grcia 10 (0,8) 28 (2,0) 60 (2,2) 89 (1,2)
Frana 9 (0,9) 26 (1,2) 60 (1,4) 90 (0,9)
2
Federao Russa 8 (1,0) 27 (2,1) 64 (2,3) 92 (1,6)
Repblica Eslovaca 7 (1,0) 23 (1,4) 59 (1,7) 88 (1,1)
Islndia 7 (0,6) 23 (1,0) 53 (1,0) 85 (0,8)
Hong Kong 6 (0,7) 26 (1,7) 64 (1,9) 92 (1,1)
Noruega 6 (0,9) 19 (1,2) 48 (1,4) 80 (1,4)
Chipre 6 (0,8) 18 (1,3) 45 (1,6) 77 (1,4)
Eslovnia 4 (0,5) 17 (1,0) 48 (1,2) 83 (0,9)
Moldvia 4 (0,9) 15 (1,8) 42 (2,5) 79 (1,7)
Macednia 3 (0,4) 10 (0,9) 28 (1,5) 55 (2,1)
Turquia 2 (0,3) 7 (0,9) 25 (1,6) 58 (1,7)
Argentina 2 (0,4) 5 (0,8) 17 (1,6) 46 (2,5)
Ir 1 (0,2) 4 (0,5) 16 (1,4) 42 (1,9)
Colmbia 1 (0,4) 3 (0,8) 14 (1,5) 45 (2,4)
2
Marrocos 1 (0,9) 3 (1,4) 8 (2,1) 23 (3,0)
Kuwait 0 (0,1) 2 (0,4) 10 (1,1) 36 (2,0)
Belize 0 (0,2) 1 (0,4) 5 (0,6) 16 (1,3)
Ontrio (Canad) 19 (1,4) 40 (1,8) 70 (1,6) 92 (0,8)

Quebec (Canad) 11 (1,0) 31 (1,8) 67 (2,0) 94 (0,8)
0 25 50 75 100
Percentual Percentual Percentual Padro de Referncia Primeiros 10% (90 percentil) = 615
de alunos de alunos de alunos Padro de Referncia Quartil Superior (75 percentil) = 570
igual ou igual ou igual ou
superior ao superior ao superior ao Padro de Referncia Mediano (50 percentil) = 510
Padro de Padro de Padro de
Referncia Padro de Referncia Quartil Inferior (25 percentil) = 435
Referncia Referncia
Primeiros Superior Mediano
10%
* O Canad est representado apenas pelas provncias inferior a 65%, o Canad aparece como Canad (O, Q),
de Ontrio e Quebec. A mdia internacional no inclui referindo-se apenas s provncias de Ontrio e Quebec.
os resultados dessas provncias separadamente. 2a A Populao Nacional Definida cobre menos de 95%
Atendeu s diretrizes para taxas de participao na da Populao Internacional Desejada (veja Anexo A.4)
amostra somente depois que as escolas substitutas 2b A Populao Nacional Definida cobre menos de 80%
foram includas (Ver Anexo A.7). da Populao Internacional Desejada (veja Anexo A.4)
Quase atendeu s diretrizes para taxas de participao ( ) Erros-padro aparecem em parnteses. Como os
na amostra depois que as escolas substitutas foram resultados esto arredondados para o nmero inteiro
includas (ver Anexo A.7). mais prximo, alguns totais podem parecer
A Populao Nacional Desejada no abrange toda a inconsistentes.
Populao Internacional Desejada. Como a cobertura
Fonte: Mullis et al., 2004, Anexo 1.1. Reproduzido com permisso.

As meninas tiveram pontuaes mdias significativamente maiores

que os meninos em todos os sistemas. Nos itens que mediam a leitura
com fins informativos, os alunos na Sucia, nos Pases Baixos e na Bulg-
ria tiveram as maiores pontuaes. Atividades precoces de alfabetizao
antes de iniciar a escola, como ler livros e contar histrias, estavam po-
sitivamente relacionadas ao desempenho posterior em leitura. Filhos de
pais que tinham atitudes favorveis leitura tiveram pontuaes mais
elevadas no aproveitamento em leitura. Os alunos que falavam em casa
a lngua utilizada na avaliao tenderam a ter pontuaes mais elevadas
que os alunos que falavam outras lnguas. As respostas dos diretores in-
dicaram que, em todos os sistemas, e da 1a 5a sries, a leitura era mais
enfatizada que qualquer outra rea dos currculos.
Na mdia, os professores disseram que a maioria dos alunos da 4a srie
lia em voz alta para toda a turma diariamente. Usavam pouco as bibliotecas,
embora essas tendessem a estar disponveis. Em mdia, a maioria dos pro-
fessores baseava-se nas prprias avaliaes, e no em provas objetivas, para
acompanhar o progresso do aluno. Quase dois em cada trs alunos disseram
que liam histrias ou romances pelo menos uma vez por semana. Em todos
os sistemas, as atitudes dos alunos com relao leitura estavam positiva-
mente correlacionadas com o aproveitamento em leitura.
B.3. PROGRAMA INTERNACIONAL DE AVALIAO

DE ALUNOS PISA
Marco de Referncia
O Programa Internacional de Avaliao de Alunos (PISA Program-

me for International Student Assessment) avalia os conhecimentos e as
habilidades dos alunos de 15 anos a cada trs anos, sob os auspcios
da Organizao para a Cooperao e o Desenvolvimento Econmico
(OCDE). O PISA foi desenvolvido para fornecer indicadores regulares
de aproveitamento de alunos prximos do final do perodo de escolari-
dade obrigatria. Os dados destinam-se a alimentar os Indicadores Inter-
nacionais sobre Sistemas de Educao da OCDE.
Os alunos so avaliados em trs domnios: leitura, matemtica e cin-

cias. At o momento, foram realizadas trs avaliaes PISA. Em 2000,
a leitura foi o domnio principal avaliado, ficando matemtica e cincias
como domnios secundrios. Em 2003, a matemtica foi o domnio prin-
cipal e, em 2006, o foco ficou em cincias.
O PISA est projetado para ser usado por pases individuais para (1)
avaliar as habilidades de letramento dos alunos, em comparao com os
alunos de outros pases participantes, (2) estabelecer padres de refern-
cia para a melhoria educacional, em comparao com o desempenho dos
alunos de outros pases, e (3) avaliar a capacidade nacional de fornecer
elevados nveis de equidade nas oportunidades e nos resultados educa-
cionais. O PISA tenta avaliar em que medida os alunos que se encontram
perto do final do perodo de escolaridade obrigatria adquiriram alguns
dos conhecimentos e habilidades essenciais para a plena participao na
sociedade.
Participantes
Em 2000, 32 pases participaram do PISA. Dois anos depois, outros 11

pases se juntaram ao grupo. Nenhum pas africano participou da ava-
liao de 2000. Entre os participantes da sia/Oriente Mdio, estavam
dois pases da OCDE (Japo e Coreia do Sul) e cinco pases parceiros
no membros da OCDE (Hong Kong, Indonsia, Israel, Federao Russa
e Tailndia). Na Amrica Latina e no Caribe, participaram o Mxico e
tambm quatro pases no membros da OCDE: Argentina, Brasil, Chile
e Peru. Todos os 30 Estados-Membros da OCDE e mais 11 sistemas
parceiros participaram em 2003. Entre os novos sistemas parceiros,
havia um da frica (Tunsia), um da sia (Macau) e um da Amrica
Latina e Caribe (Uruguai). Trs sistemas parceiros originais (Argenti-
na, Chile e Peru) no participaram da avaliao de 2003. E a Turquia,
membro da OCDE, participou pela primeira vez em 2003. Em 2006,
o nmero de sistemas participantes subiu para 57. A Tunsia continuou
a ser o nico participante africano. Novos sistemas parceiros na sia/
Oriente Mdio incluam Azerbaijo, Taipei, Jordnia, Quirguisto e Qa-
tar. Todos os sistemas latino-americanos que participaram da avaliao

em 2000 ou 2003 aplicaram as provas do PISA em 2006, que tambm
foi aplicada pela Colmbia, um novo parceiro.
O pblico-alvo do PISA so alunos de 15 anos que integram uma
amostra aleatria obtida em diferentes nveis de ensino nas escolas par-
ticipantes.
Instrumentos
O teste de Letramento em Leitura pressupe que os alunos sejam tec-

nicamente capazes de ler e busca avaliar sua capacidade de entender e
refletir sobre uma vasta gama de materiais escritos em diferentes situa-
es. So identificadas trs dimenses: o contedo ou a estrutura dos tex-
tos (contnuos, como narrativa e descritiva, e no contnuos, como ta-
belas, grficos e formulrios); os processos que precisam ser executados
(recuperao, interpretao, reflexo e avaliao); e a situao que gerou
o conhecimento ou as habilidades, ou qual so aplicados (pessoal, p-
blica, ocupacional e educacional).
O teste de Letramento em Matemtica diz respeito capacidade dos
alunos para analisar, raciocinar e comunicar ideias quando formulam,
resolvem e interpretam problemas matemticos em uma variedade de
contextos. Foram destacadas trs dimenses no contexto da matemtica:
contedo (espao e forma, mudana e relaes, quantidade e incerteza);
competncias (o grupamento de reproduo, o grupamento de conexes
e o grupamento de reflexo) e situaes (pessoais, educacionais ou pro-
fissionais, tanto pblicas quanto cientficas). Os itens do teste esto mais
prximos das situaes da vida real do que normalmente ocorre em
provas convencionais de aproveitamento (veja Figura B.3.1)
O teste de Letramento Cientfico avalia a habilidade dos alunos de
chegar a concluses adequadas a partir das evidncias e informaes que
recebem, criticar afirmaes com base em evidncias e distinguir entre
opinies e declaraes baseadas em evidncias.
O marco de referncia em cincias abrange trs dimenses: conceitos
cientficos (selecionado da fsica, qumica, cincias biolgicas e cincia
FIGURA B.3.1
Amostra de Itens do Teste de Matemtica do PISA
CARPINTEIRO
Um carpinteiro tem 32m de madeira e quer fazer uma cerca em torno
de um canteiro no jardim. Ele est pensando em usar um dos seguintes
formatos:
A B
6m 6m
10 m 10 m
C D
6m 6m
10 m 10 m
Pergunta 1
Faa um crculo em Sim ou No em cada
desenho para indicar se o canteiro pode ser
feito com 32m de madeira
Formato
do Usando este formato, pode-se fazer
canteiro o canteiro com 32m de madeira?
Formato A Sim / No
Formato B Sim / No
Formato C Sim / No
Formato D Sim / No
Fonte: OCDE, 2003. Reproduzido com permisso.
da Terra e do espao); processos (descrever, explicar e predizer fenme-

nos cientficos; compreender a pesquisa cientfica); e aplicao (na vida
e na sade; na Terra e no meio ambiente; em tecnologia).
O fato de o nmero de itens de teste ser muito superior ao que po-

deria ser respondido por um aluno individual garante uma cobertura
adequada dos domnios de interesse. Os itens de teste esto distribudos
em 13 livretos que contm vrias combinaes de matemtica, leitura,
cincias e resoluo de problemas.
Tambm foram aplicados questionrios aos alunos (para obter in-
formaes sobre seu compromisso com o aprendizado, estratgias de
aprendizado e crenas sobre si mesmos; sua percepo do ambiente
de aprendizado e seus contextos familiares) e aos diretores das escolas
(para obter informaes sobre as polticas e prticas escolares e a quali-
dade dos recursos disponveis) (OCDE, 2004b).
Algumas Constataes
O PISA divulga as pontuaes mdias dos pases em uma tabela clas-

sificativa (Figura B.3.2). Tambm classifica o desempenho dos alunos
por nvel de proficincia. Para isso, toma como base aquilo que as pon-
tuaes de testes indicam que os alunos normalmente podem fazer. A
Figura B.3.3 descreve as habilidades associadas a cada um dos seis nveis
de proficincia do PISA de matemtica. A Figura B.3.4 resume como os
alunos de cada pas se distriburam entre os nveis de proficincia.
Os resultados indicam diferenas considerveis entre pases como
Finlndia, Coreia do Sul e Canad, onde a maioria dos alunos teve pon-
tuao acima do Nvel 2, e Brasil, Tunsia e Indonsia, onde apenas uma
pequena minoria atingiu esse nvel de proficincia. Outras constataes
mostram que menos de 5% dos alunos nos pases da OCDE alcana-
ram o Nvel 6, enquanto cerca de um tero era capaz de desempenhar
as funes associadas aos nveis 4, 5 e 6. Onze por cento dos alunos
no foram capazes de executar as tarefas de matemtica do Nvel 1.
Na maioria dos pases, os meninos tenderam a obter pontuaes mais
elevadas que as meninas, especialmente em tarefas relacionadas a espa-
o e forma. Em alguns pases (Austrlia, ustria, Japo, Pases Baixos,
Noruega e Polnia), as diferenas de aproveitamento entre gneros no
foram significativas. As meninas tenderam a ter menor interesse pela
FIGURA B.3.2
Pontuaes Mdias de Letramento em Leitura e Pontuaes na Subescala de Leitura

do PISA, 2000
LEITURA NA SUBESCALA
Pontuao combinada de
letramento em leitura Recuperao de informaes Interpretao de textos Reflexo sobre textos
Pas Mdia Pas Mdia Pas Mdia Pas Mdia
Finlndia 546 Finlndia 556 Finlndia 555 Canad 542
Canad 534 Austrlia 536 Canad 532 Reino Unido 539
Nova Zelndia 529 Nova Zelndia 535 Austrlia 527 Irlanda 533
Austrlia 528 Canad 530 Irlanda 526 Finlndia 533
Irlanda 527 Coreia do Sul 530 Nova Zelndia 526 Japo 530
Coreia do Sul 525 Japo 526 Coria do Sul 525 Nova Zelndia 529
Reino Unido 523 Irlanda 524 Sucia 522 Austrlia 526
Japo 522 Reino Unido 523 Japo 518 Coria do Sul 526
Sucia 516 Sucia 516 Islndia 514 ustria 512
ustria 507 Frana 515 Reino Unido 514 Sucia 510
Blgica 507 Blgica 515 Blgica 512 Est. Unidos 507
Islndia 507 Noruega 505 ustria 508 Noruega 506
Noruega 505 ustria 502 Espanha 506 Frana 506
Frana 505 Islndia 500 Noruega 505 Islndia 501
Est. Unidos 504 Est. Unidos 499 Est. Unidos 505 Dinamarca 500
Dinamarca 497 Sua 498 Rep. Tcheca 500 Blgica 497
Sua 494 Dinamarca 498 Sua 496 Frana 496
Espanha 493 Itlia 488 Dinamarca 494 Grcia 495
Rep. Tcheca 492 Espanha 483 Espanha 491 Sua 488
Itlia 487 Alemanha 483 Itlia 489 Rep. Tcheca 485
Alemanha 484 Rep.Tcheca 481 Alemanha 488 Itlia 483
Hungria 480 Hungria 478 Polnia 482 Hungria 481
Polnia 479 Polnia 475 Hungria 490 Portugal 480
Grcia 474 Portugal 455 Alemanha 475 Grcia 478
Portugal 470 Grcia 450 Portugal 473 Polnia 477
Luxemburgo 441 Luxemburgo 433 Luxemburgo 446 Mxico 446
Mxico 422 Mxico 402 Luxemburgo 419 Mxico 442
Mdia OCDE 500 Mdia OCDE 498 Mdia OCDE 501 Mdia OCDE 502
Pases no OCDE Pases no OCDE Pases no OCDE Pases no OCDE

Liechtenstein 483 Liechtenstein 492 Liechtenstein 484 Liechtenstein 468
Fed. Russa 462 Letnia 451 Fed. Russa 468 Letnia 458
Letnia 458 Fed. Russa 451 Letnia 459 Fed. Russa 455
Brasil 396 Brasil 365 Brasil 400 Brasil 417
NOTA: Embora os Pases Baixos tenham participado do Programa Internacional de Avaliao de Alunos (PISA) em 2000, problemas tcnicos com sua amostra impedem que os resultados sejam
discutidos aqui. Para obter informaes sobre os resultados dos Pases Baixos, ver OCDE (2001). A mdia da OCDE a mdia das mdias nacionais de 27 pases da OCDE. Como o PISA
principalmente um estudo da OCDE, os resultados para os pases no membros da OCDE so apresentados separadamente dos pases da OCDE e no esto includos na mdia da OCDE.
A mdia significativamente superior mdia dos EUA A mdia no significativamente diferente da mdia dos EUA A mdia significativamente inferior mdia dos EUA
Fonte: OCDE, 2001, Figura 3. Reproduzido com permisso.

FIGURA B.3.3
Nveis de Proficincia dos Alunos em Matemtica no PISA
O que os alunos podem fazer normalmente
Pon- Nvel No nvel 6, os alunos podem conceituar, generalizar e utilizar informaes

com base em suas pesquisas e na modelagem de situaes problemticas
tuao complexas. Eles podem associar diferentes fontes de informao e
representaes, bem como transitar com flexibilidade entre elas. Os alunos
neste nvel so capazes de pensamentos e raciocnios matemticos avanados.
Esses alunos podem utilizar percepes e entendimentos, bem como domnio
de operaes e relaes matemticas simblicas e formais, para desenvolver
novas abordagens e estratgias em situaes novas. Os alunos neste nvel
podem formular e comunicar com exatido suas aes e reflexes a respeito
das constataes, interpretaes e argumentaes, bem como a respeito da
668 adequao dessas s situaes originais.
Nvel No nvel 5, os alunos podem desenvolver modelos para situaes complexas e

trabalhar com eles, identificando as limitaes e especificando as hipteses.
Podem selecionar, comparar e avaliar as estratgias adequadas para lidar com
problemas complexos relacionados a esses modelos. Os alunos neste nvel
podem trabalhar estrategicamente usando habilidades mentais e de raciocnio
amplas e bem desenvolvidas, representaes devidamente associadas ao caso,
caracterizaes simblicas e formais e percepes relativas a essas situaes.
Podem refletir sobre suas aes e elaborar e comunicar interpretaes e raciocnios.
606
Nvel No nvel 4, os alunos podem trabalhar de forma eficaz com modelos explcitos
para situaes concretas complexas, e essas podem envolver restries ou
requerer que sejam feitas suposies. Podem selecionar e integrar diferentes
representaes, incluindo as simblicas, associando-as diretamente a aspectos
de situaes reais. Os alunos neste nvel podem utilizar habilidades bem
desenvolvidas e raciocinar com flexibilidade, com algum discernimento,
nesses contextos. Podem elaborar e comunicar explicaes e argumentos com
base em suas interpretaes, ideias e aes.
544
Nvel No nvel 3, os alunos podem executar procedimentos claramente descritos,
inclusive aqueles que necessitam de decises sequenciais. Podem selecionar
e aplicar estratgias simples de resoluo de problemas. Os alunos neste nvel
podem interpretar e utilizar representaes baseadas em diferentes fontes de
informao e raciocinar diretamente a partir delas. Podem elaborar comunicaes
breves relatando interpretaes, resultados e seu raciocnio.
482
Nvel No nvel 2, os alunos podem interpretar e reconhecer situaes em contextos
que requeiram no mais que uma inferncia direta. Podem extrair informaes
relevantes a partir de uma nica fonte e fazer uso de um nico modo
representacional. Os alunos neste nvel podem empregar algoritmos bsicos,
frmulas, procedimentos ou convenes. So capazes de raciocnio direto e de
420 fazer interpretaes literais dos resultados.
Nvel No nvel 1, os alunos podem responder a questes que envolvem contextos
conhecidos, em que todas as informaes relevantes esto presentes e as
perguntas esto claramente definidas. So capazes de identificar as informaes
e realizar procedimentos de rotina de acordo com instrues diretas em
situaes explcitas. Podem realizar aes bvias e imediatamente derivadas
358 do estmulo dado.
Fonte: OCDE, 2004a, Figura 1. Reproduzido com permisso.

FIGURA B.3.4
Percentual de Alunos em Cada Nvel de Proficincia na Escala de Matemtica do PISA
Percentual de alunos
100
75
50
25
25
50
75
100
Finlndia
Coreia
Canad
Hong Kong
Pases Baixos
Macau
Liechtenstein
Japo
Austrlia
Sua
Islndia
Nova Zelndia
Dinamarca
Blgica
Repblica Tcheca
Frana
Irlanda
Sucia
ustria
Repblica Eslovaca
Noruega
Alemanha
Luxemburgo
Polnia
Espanha
Hungria
Letnia
Estados Unidos
Portugal
Fed. Russa
Itlia
Grcia
Srvia
Uruguai
Turquia
Tailndia
Mxico
Brasil
Tunsia
Indonsia
Os pases esto classificados em ordem decrescente pelo percentual de alunos com
15 anos ou mais nas 2, 3, 4, 5 e 6 sries.
Abaixo do Nvel 1 Nvel 1 Nvel 2 Nvel 3 Nvel 4 Nvel 5 Nvel 6
Fonte: OCDE, 2003b, Figura 2.16a. Reproduzido com permisso.
matemtica, menor prazer com o tema, e alegaram ficar mais estressadas

que os meninos nessa rea de currculo. Os alunos americanos tenderam
a ter autoconceitos mais fortes em matemtica que alunos de outros
pases. Em contrapartida, os alunos do Japo e da Coreia do Sul, pases
que tiveram pontuaes mais altas na prova de matemtica, tenderam a
ter autoconceitos relativamente fracos em matemtica. A ocupao dos
pais e o apoio educao dos filhos mostraram forte correlao com o
aproveitamento do aluno.
Raramente, observaram-se diferenas de gnero no aproveitamento
em cincia: percentagens semelhantes de meninos e meninas tiveram
pontuaes particularmente altas e baixas. Na leitura, a pontuao m-

dia da Finlndia ficou um nvel e meio acima do nvel de proficincia
mdio da OCDE. A Finlndia, assim como a Coreia do Sul e o Canad,
tambm registrou diferenas internas relativamente baixas, sugerindo
nveis de equidade educacional mais elevados que os da maioria dos
pases participantes. Pouqussimos alunos na Indonsia, Tunsia e Srvia
alcanaram o Nvel 3 ou acima (veja Figura B.3.5).
FIGURA B.3.5
Percentual de Alunos em Cada Nvel de Proficincia na Escala de Leitura do PISA
Percentual de alunos
100
75
50
25
25
50
75
100
Finlndia
Coreia
Canad
Liechtenstein
Austrlia
Hong Kong
Irlanda
Nova Zelndia
Sucia
Pases Baixos
Blgica
Macau
Sua
Noruega
Japo
Frana
Polnia
Dinamarca
Estados Unidos
Alemanha
ustria
Letnia
Repblica Tcheca
Luxemburgo
Espanha
Hungria
Portugal
Itlia
Grcia
Repblica Eslovaca
Uruguai
Fed. Russa
Turquia
Brasil
Tailndia
Mxico
Srvia
Tunsia
Indonsia
Islndia
Os pases esto classificados em ordem decrescente pelo percentual de alunos com

15 anos ou mais nas 3, 4 e 5 sries.
Abaixo do Nvel 1 Nvel 1 Nvel 2 Nvel 3 Nvel 4 Nvel 5 Nvel 6
Fonte: OCDE, 2004b, Figura 6.2. Reproduzido com permisso.

APNDICE
C ESTUDOS REGIONAIS
C.1. CONSRCIO DA FRICA AUSTRAL E ORIENTAL PARA

MONITORAMENTO DA QUALIDADE DA EDUCAO (SACMEQ)
Marco de Referncia
O Consrcio da frica Austral e Oriental para Monitoramento da Quali-

dade da Educao (SAMCEQ Southern and Eastern Africa Consortium
for Monitoring Educational Quality) um agrupamento voluntrio de
ministrios da Educao da frica Austral e Oriental que inclui Botsua-
na, Qunia, Lesoto, Malaui, Maurcio, Moambique, Nambia, Seiche-
les, frica do Sul, Suazilndia, Tanznia, Zanzibar, Uganda, Zmbia e
Zimbbue. Lanado em 1995 com apoio do Instituto Internacional para
o Planejamento Educacional (IIPE) da UNESCO, o SACMEQ foi con-
cebido para (1) desenvolver a capacidade institucional por meio da for-
mao conjunta (aprender fazendo, para planejadores educacionais) e
da realizao de pesquisas cooperativas sobre polticas educacionais que
afetam a vida escolar e a qualidade da educao (por exemplo, identifi-
cando os pontos fracos dos sistemas educacionais em funo de insumos
e processos) e (2) monitorar mudanas no aproveitamento (IIEP, 2007).
Uma caracterstica notvel do SACMEQ sua estratgia sistemtica de
consultar formuladores de polticas do alto escalo governamental para

identificar questes de interesse que podero ser abordadas em estudos
empricos. Tambm busca promover o envolvimento das partes inte-
ressadas e a maior transparncia do processo de tomada de deciso. A
primeira rodada de estudos SACMEQ foi realizada entre 1995 e 1999.
As preocupaes de polticas que orientaram os estudos SACMEQ II
realizados entre 2000 e 2003 foram agrupadas em cinco temas princi-
pais (Murimba, 2005b; Passos et al., 2005):
yCaractersticas dos alunos e de seus ambientes de aprendizado.

yCaractersticas e percepes dos professores (por exemplo, sobre en-
sino e recursos).
yCaractersticas e percepes dos diretores de escolas (por exemplo,
sobre o funcionamento das escolas e os problemas encontrados).
yEquidade na alocao de recursos humanos e materiais entre regies
e escolas.
yAproveitamento em leitura e matemtica dos alunos e de seus pro-
fessores.
O SACMEQ baseou-se num estudo anterior (1991) realizado no

Zimbbue (Ross e Postlethwaite, 1991) e comeou como uma srie de
estudos nacionais. No entanto, tinha uma dimenso internacional, j que
os estudos compartilhavam muitas caractersticas (questes de pesquisa,
instrumentos, pblicos-alvo, procedimentos de amostragem e anlises).
feito um relatrio separado para cada pas. Foram feitas comparaes
transnacionais para o SACMEQ II, mas no para o SACMEQ I.
Instrumentos
Foi aplicado um teste de aproveitamento para coletar dados sobre os

nveis de letramento dos alunos em leitura e matemtica. Diversos itens
do TIMSS foram incorporados s provas do SACMEQ II para se obte-
rem dados comparativos. Utilizaram-se questionrios para coletar dados
de linha de base sobre insumos educacionais, condies gerais da vida
escolar e avaliaes da equidade na distribuio de recursos humanos e

materiais. Informaes sobre o contexto familiar dos alunos foram obti-
das por meio de questionrios respondidos por eles; pediu-se aos alunos
que marcassem numa lista os itens existentes em suas casas, como jornal
dirio, revista semanal ou mensal, rdio, televiso, telefone, motocicleta,
bicicleta, gua encanada e eletricidade.
Os testes do SACMEQ II incluram itens selecionados de quatro es-
tudos anteriores: Estudo dos Indicadores da Qualidade da Educao do
Zimbbue, SACMEQ I, TIMSS e o Estudo sobre Letramento em Leitu-
ra realizado pela Associao Internacional para Avaliao do Aproveita-
mento Escolar (IEA). O uso desses itens tornou possvel a comparao
dos desempenhos registrados nesses estudos com o desempenho dos alu-
nos testados no SACMEQ II.
Os relatrios dedicam espao considervel descrio das caracte-
rsticas dos professores (por exemplo, suas qualificaes) e das condi-
es nas escolas (por exemplo, mobilirio, material, tamanho e espa-
o da sala de aula), examinando como se comparam com os padres
de referncia do ministrio e como variam de acordo com a escola e
a localizao.
O SACMEQ II adotou a definio de letramento em leitura utilizada
no Estudo sobre Letramento em Leitura da IEA (de 1990): [A] capaci-
dade de compreender e usar as formas da linguagem escrita exigidas pela
sociedade e/ou valorizados pelo indivduo (Elley, 1992, 3). Tambm
baseou o desenvolvimento do teste em trs domnios identificados no
estudo da IEA:
yProsa narrativa. Texto contnuo em que o objetivo do autor contar

uma histria, seja real ou ficcional.
yProsa expositiva. Texto contnuo concebido para descrever, explicar
ou transmitir informao factual ou opinio.
yDocumentos. Informaes estruturadas apresentadas sob a forma de
grficos, tabelas, mapas, listas ou conjuntos de instrues.
Construiu-se uma tabela de especificaes em que os trs domnios

foram cruzados com sete nveis de habilidade em leitura:
yLembrar literalmente
yParafrasear conceitos
yEncontrar a ideia principal
yFazer inferncias a partir de textos
yLocalizar informaes
yLocalizar e processar
yAplicar regras.
O SACMEC II definiu letramento em matemtica como a capa-

cidade de compreender e aplicar procedimentos matemticos e tomar
decises a partir deles como indivduo e membro da sociedade mais
ampla (Shabalala, 2005, 76). O teste avaliou a competncia em trs
domnios:
yNmero. Operaes e linha de nmeros, razes quadradas, arredonda-

mento e valor de lugar, nmeros significativos, fraes, porcentagens,
razo.
yMedio. Relacionado com distncia, comprimento, rea, capacidade
volumtrica, dinheiro, tempo.
yEspao-dados. Formas geomtricas, grficos, tabelas de dados.
A tabela de especificaes combinou esses trs domnios com cin-

co nveis de habilidade propostos (ou esperados), que iam desde, por
exemplo, realizar operaes nicas simples utilizando nmeros de at
dois dgitos (Nvel 1), at fazer clculos envolvendo diversas etapas e
uma mistura de operaes com fraes, decimais e nmeros inteiros
(Nvel 5).
A maioria dos itens de teste estava no formato de mltipla escolha.
Os resultados foram apresentados em trs formas: (1) pontuaes
mdias, (2) porcentagens de alunos que atingiram os nveis mnimos e
desejveis de aproveitamento e (3) porcentagem de alunos que atingi-
ram oito nveis de competncia segundo o modelo que utiliza a tcnica
de escalonamento baseada na teoria da resposta ao item (Rasch).
As pontuaes mdias so medidas mdias de desempenho e podem
ser utilizadas para descrever o desempenho de diferentes categorias de
alunos (por exemplo, meninos e meninas, alunos que vivem em diferen-

tes provncias e distritos).
Os nveis mnimos e desejveis de aproveitamento foram definidos
por comits de especialistas (compostos por especialistas em currculo,
pesquisadores e professores experientes) antes da coleta de dados. Fo-
ram identificados dois nveis:
yUm nvel mnimo, indicativo de que um aluno mal conseguiria sobre-

viver durante o prximo ano de escolaridade.
yUm nvel desejvel, indicativo de que um aluno seria capaz de lidar
com o prximo ano de escolaridade.
As anlises foram realizadas para identificar os vrios nveis de habi-

lidades apresentados pelos alunos e proporcionar maior conhecimento
sobre a natureza do aproveitamento. As habilidades de leitura associadas
a oito nveis incluram o seguinte:
yNvel 1. Pr-leitura: estabelece a correspondncia entre palavras e

imagens que envolvem conceitos concretos e objetos do cotidiano.
yNvel 2. Leitura emergente: estabelece a correspondncia entre pala-
vras e imagens que envolvem preposies e conceitos abstratos; usa
sistemas de dicas para interpretar frases lendo o texto para diante.
yNvel 3. Leitura bsica: interpreta o significado (fazendo a correspon-
dncia entre palavras e frases para completar uma frase) num texto
curto e simples.
yNvel 4. Leitura de significado: l para diante e para trs, a fim de
associar e interpretar informaes localizadas em vrias partes de um
texto.
yNvel 5. Leitura interpretativa: l para diante e para trs, a fim de
combinar e interpretar informaes de vrias partes de um texto em
associao com informao externa (recordada) que completa e con-
textualiza o significado.
yNvel 6. Leitura inferencial: l textos mais longos (narrativos, exposi-
tivos) para combinar informaes de vrias partes de um texto, a fim
de inferir o propsito do autor.
yNvel 7. Leitura analtica: localiza informao em textos mais longos

(narrativos, expositivos) para combinar informaes e inferir as crenas
pessoais do autor (sistema de valores, preconceitos, tendenciosidades).
yNvel 8. Leitura crtica: localiza informaes em textos mais longos
(narrativos, expositivos) para inferir e avaliar o que o escritor presu-
mia sobre o tpico e sobre as caractersticas do leitor (por exemplo,
idade, conhecimentos, crenas pessoais, valores).
As habilidades em matemtica associadas a oito nveis incluram o

seguinte:
yNvel 1. Pr-letramento numrico: aplica operaes de identificao

ou subtrao em uma nica etapa; reconhece formas simples; en-
contra correspondncia entre nmeros e imagens; conta em nmeros
inteiros.
yNvel 2. Matemtica emergente: aplica uma operao de soma ou
subtrao em duas etapas envolvendo execuo e controle (por meio
de estimativa bsica); estima o comprimento de figuras familiares;
reconhece formas bidimensionais comuns.
yNvel 3. Matemtica bsica: traduz a informao grfica em fraes;
interpreta valor de lugar dos nmeros inteiros at mil; interpreta uni-
dades de medida simples do cotidiano.
yNvel 4. Incio do letramento: usa operaes matemticas mltiplas
em nmeros inteiros, fraes, decimais ou numa combinao de to-
dos eles.
yNvel 5. Letramento competente: resolve problemas de operaes
mltiplas envolvendo unidades cotidianas de medio, nmeros in-
teiros ou de outros tipos, ou todos eles.
yNvel 6. Matematicamente habilitado: resolve problemas de opera-
es mltiplas envolvendo fraes, razes e decimais; traduz infor-
mao representada verbal e graficamente em forma simblica, alg-
brica e de equao.
yNvel 7. Resoluo de problemas: extrai informaes a partir de ta-
belas, grficos e representaes visuais e simblicas para identificar e
resolver problemas em vrias etapas.
yNvel 8. Soluo de problemas abstratos: identifica a natureza de um

problema matemtico no explcito, embutido em informaes ver-
bais ou grficas, e traduz isso em forma algbrica ou numa equao,
a fim de encontrar a soluo.
Participantes
Entre 1995 e 1999, sete ministrios da Educao coletaram informaes

no SACMEQ I sobre letramento em leitura dos alunos da 6a srie. Entre
2000 e 2002, 14 ministrios completaram os estudos SACMEQ II como
parte de um estudo sobre letramento em leitura e letramento em mate-
mtica dos alunos da 6a srie.
As condies variaram muito de pas para pas. Por exemplo, a renda
nacional bruta das Seicheles ($6.730) foi quase 40 vezes a do Malaui
($170). Os gastos pblicos em educao variaram entre 30% na Suazi-
lndia e 7% na Tanznia, enquanto o percentual de determinado grupo
etrio matriculado no ensino bsico variou de cerca de 40% em Moam-
bique at pouco mais de 90% em Maurcio, nas Seicheles e na frica do
Sul (Murimba, 2005b).
Tanto professores quanto alunos responderam aos testes de aprovei-
tamento em vrios pases.
Alguns Resultados
Havia diferenas considerveis de aproveitamento entre os pases (Figu-

ra C.1.1)
Apenas 1% dos alunos da 6a srie no Malaui atingiu o nvel desejvel
em leitura, enquanto no Zimbbue foram 37%. Quase 4 em cada 10
alunos nos pases que participaram do SACMEQ II alcanaram o nvel
mnimo de domnio de leitura (definido por cada pas antes da aplica-
o da prova), mas apenas 1 em 10 atingiu o nvel desejvel.
As comparaes das pontuaes de letramento em leitura de alunos
em reas urbanas e rurais revelaram grandes diferenas em favor dos
FIGURA C.1.1
Percentual de Alunos da 6a Srie que Alcanaram Nveis de Proficincia em Leitura

no SACMEQ, 1995-98
Qunia 23
65
Zimbbue 37
56
Maurcio 27
53
Zanzibar 5
46
Nambia 8
26
Zmbia 2
26
Malaui 1 22
0 10 20 30 40 50 60 70
Alunos que alcanaram nveis de proficincia em leitura (%)
desejvel mnimo
Fonte: UNESCO, 2004, Figura 3.1. Reproduzido com permisso.
alunos de reas urbanas em quatro pases (Qunia, Nambia, Tanznia

e Zmbia), enquanto em Maurcio e nas Seicheles a diferena no foi
estatisticamente significativa. As causas provveis das diferenas urba-
no-rurais so complexas. Comparadas com alunos de reas urbanas, os
alunos de reas rurais tinham famlias com nveis socioeconmicos mais
baixos, eram mais velhos, tinham maior probabilidade de haver repetido
um ano e recebiam menos apoio em casa para fazer o trabalho escolar.
Alm disso, as escolas rurais geralmente recebiam menos recursos (e de
qualidade inferior) que as escolas urbanas, o que se refletia na forma
como os professores atribuam e corrigiam as tarefas de casa, na frequn-
cia com que se reuniam com os pais dos alunos e no nvel de apoio dado
pelos inspetores (Zhang, 2006).
Uma caracterstica interessante do SACMEQ foi a utilizao dos re-
sultados para comparar a proviso de recursos e as tendncias de apro-
veitamento em leitura num perodo marcado por rpido aumento nas
matrculas escolares na regio. Todos os seis sistemas educacionais que
participaram do SACMEQ I (1995) e do SACMEQ II (2000) regis-
FIGURA C.1.2
Mudanas nas Pontuaes de Letramento entre o SACMEQ I e o SACMEQ II
560
Pontuaes mdias em frequncia
Qunia
540
Maurcio
520
500
480 Mdia
Zanzibar
460
Nambia
440 Zmbia
Malaui
420
SACMEQ I SACMEQ II
1995 96 2000 01
traram aumento global no fornecimento de recursos s escolas entre as

duas avaliaes (Murimba, 2005a). Em cinco dos seis pases, no entan-
to, as pontuaes mdias nacionais de letramento diminuram (Figura
C.1.2); essas diferenas foram estatisticamente significativas em apenas
trs pases: Malaui, Nambia e Zmbia. Globalmente, as pontuaes de
aproveitamento caram, em mdia, 4% nos seis pases.
Cada relatrio nacional produziu uma srie de recomendaes para
os formuladores de polticas. Por exemplo, o relatrio da Tanznia re-
comenda que o governo investigue as disparidades de gnero na escola-
rizao e identifique opes para ajudar a elimin-las (Mrutu, Ponera e
Nkumbi, 2005). Essa ao incluiria a prestao de cuidados a crianas
rfs para aliviar as meninas das pesadas responsabilidades domsticas
que as impedem de frequentar a escola.
Alguns pases tambm avaliaram os professores em funo do dom-
nio da disciplina usando a mesma prova aplicada aos alunos. Na Tanz-
nia, menos de metade dos professores atingiu o nvel mais alto (Nvel 8)
em leitura (46,1%) ou em matemtica (43,9%).
Os resultados do SACMEQ tm aparecido em comisses presi-

denciais e nacionais (no Zimbbue e na Nambia), em revises da
poltica educacional por primeiros-ministros e membros do gabinete
(em Zanzibar), em estudos setoriais sobre a educao nacional (na
Zmbia) e nas revises de um plano diretor para a educao nacional
(em Maurcio).
Em vrios pases, os resultados foram interpretados como indicando a
necessidade de se estabelecerem padres para os recursos em educao.
Por exemplo, o Qunia introduziu padres de referncia para o forneci-
mento de instalaes de sala de aula (como mesas por aluno e livros por
aluno). No Zimbbue, foram fornecidos fundos especiais para equipar
as salas de aula.
Altas taxas de abandono e baixos ndices de concluso levaram o
Ministrio da Educao do Qunia a reforar seu setor de educao
no formal para atender aos que no se encaixam no sistema formal.
Tambm no Qunia, as constataes do SACMEQ sobre gnero,
disparidades regionais e ineficincias internas foram utilizadas para
orientar o desenvolvimento de planos de ao, a fim de implementar
o Educao Para Todos em nvel nacional, provincial e distrital (Mu-
rimba, 2005a).
C.2. PROGRAMA DE ANLISE DOS SISTEMAS

DE EDUCAO DA CONFEMEN PASEC
Marco de Referncia
O Programa de Anlise dos Sistemas de Educao (PASEC Program-

me danalyse des Systemes ducatifs de la Confemen) realizado sob
os auspcios da Conferncia dos Ministros da Educao dos Pases de
Lngua Francesa, ou CONFEMEN, na sigla em francs. Foi lanado em
1991, durante uma conferncia de ministros da Educao de pases fran-
cfonos em Djibuti, onde foi realizado em 1992 o primeiro estudo.
O PASEC tem como principal objetivo subsidiar a tomada de deci-
ses em educao e, mais especificamente, tratar de questes importan-
tes da poltica educacional nacional. Para isso, avalia o aproveitamento

dos alunos e busca identificar os fatores-chave associados a ele, bem
como seus custos associados, a fim de estabelecer hierarquia do grau de
eficincia de potenciais intervenes educativas.
Cinco caractersticas do PASEC so dignas de nota. Em primeiro
lugar, tem uma dimenso internacional, na qual propostas de estudos
nacionais so debatidas numa reunio dos pases que integram a CON-
FEMEN. Caso a proposta seja aprovada, o representante nacional da
CONFEMEN torna-se responsvel pela criao de um grupo interdis-
ciplinar de especialistas dentro do Ministrio da Educao que, por sua
vez, ser responsvel pela execuo (projeto de questionrio, aplicao,
entrada e anlise de dados, elaborao do relatrio). O PASEC, no en-
tanto, no foi concebido prioritariamente para comparar o aproveita-
mento dos alunos entre pases.
Em segundo lugar, os alunos so testados no comeo e no fim do ano
letivo. Esse sistema significa que, nas anlises, as caractersticas dos alu-
nos no momento da entrada podem ser levadas em conta para se obter a
medida de seu crescimento durante todo o ano.
Em terceiro lugar, estudos realizados em quatro pases (Guin, Mali,
Nger e Togo) foram concebidos com um tema especfico em mente. Por
exemplo, Guin e Togo adotaram como tema as polticas de emprego de
professores (incluindo formao) introduzidas no Togo, em 1983, e na
Guin, em 1998, para reduzir o custo de contratao de mais professo-
res reconhecendo-se, ao mesmo tempo, que essas polticas poderiam
afetar a qualidade da educao.
Em quarto lugar, a partir de 1995, os mesmos instrumentos foram
utilizados em outros cinco pases (Burkina Faso, Camares, Costa do
Marfim, Senegal em 1995-1996 e Madagascar, em 1997-1998), permi-
tindo comparaes internacionais.
Finalmente, em dois pases (Costa do Marfim e Senegal), painis
representativos de alunos identificados na 2a srie em 1995 foram
acompanhados por meio de estudos longitudinais at o final da 6a
srie, em 2000.
Instrumentos
Foram construdos testes (de mltipla escolha e respostas fechadas) de

francs e matemtica com base em elementos comuns aos currculos dos
pases francfonos da frica. Os testes foram projetados para aplicao
no incio e no final da 2a e 5a sries. As provas finais continham alguns
itens das provas do incio do ano, alm de itens baseados no material
abordado ao longo do ano. Na 2a srie, as provas de francs avaliaram o
vocabulrio de leitura dos alunos, a compreenso de sentenas e textos,
e a escrita. Os testes da 5a srie, alm de avaliar compreenso, analisaram
tambm ortografia e aspectos de gramtica.
As provas de matemtica na 5a srie incluram itens para avaliar o co-
nhecimento dos alunos sobre as propriedades dos nmeros e sua capacidade
de realizar clculos bsicos (adio e subtrao). Havia tambm itens nos
quais os alunos deveriam usar adio, subtrao, multiplicao e diviso
para solucionar problemas, bem como itens para avaliar o conhecimento
dos alunos sobre fraes e decimais e conceitos geomtricos bsicos.
Tambm foram aplicados um teste de rabe em Maurcio e um teste
de malagasi em Madagascar. Em Camares, uma traduo para o ingls
do teste em francs foi aplicada a alunos de lngua inglesa.
Os questionrios aplicados aos alunos forneceram dados sobre suas
caractersticas pessoais (gnero, idade, nutrio e lngua falada) e so-
bre seus antecedentes e contextos (educao dos pais, disponibilidade
de livros em casa e distncia da escola); os questionrios aplicados aos
professores versaram sobre suas caractersticas pessoais (gnero, idade e
educao ou formao) e o ambiente das salas de aula.
Nas anlises, os dados sobre antecedentes e contextos foram cruzados
com o aproveitamento dos alunos a fim de se identificarem possveis
relaes entre os dois conjuntos de variveis. Deu-se especial ateno
ao crescimento ou ao valor agregado no decurso de um ano e con-
tribuio de fatores internos escola (como nvel de formao dos pro-
fessores, tamanho da turma e disponibilidade de livros didticos), bem
como a fatores no escolares, como educao dos pais, distncia da esco-
la e lngua falada em casa (Bernard, 1999; CONFEMEN 1999; Kulpoo
e Coustre, 1999).
Participantes
At o momento, 18 pases j participaram de atividades do PASEC: Be-

nin, Burkina Faso, Camares, Repblica Centro-Africana, Chade, Costa
do Marfim, Repblica Democrtica do Congo, Gabo, Djibuti, Guin,
Madagascar, Mali, Mauritnia, Maurcio, Nger, Repblica do Congo,
Senegal e Togo.
Algumas Constataes
Os resultados sugerem baixos nveis de aproveitamento, como os refle-

tidos nas pontuaes dos testes de leitura e matemtica (Figura C.2.1).
Baixo aproveitamento foi definido como uma pontuao abaixo do 25o
percentil nas provas de leitura e matemtica.
J foram realizadas vrias anlises dos dados do PASEC. Numa delas,
os dados de cinco pases (Burkina Faso, Camares, Costa do Marfim,
Madagascar e Senegal) foram usados em um modelo linear hierrquico
para avaliar as caractersticas do aluno, da escola e as de mbito nacional
FIGURA C.2.1
Percentual de Alunos da 5a Srie com Baixo Aproveitamento, PASEC, 1996-2001

alunos da 5 srie com
baixo aproveitamento
50
41 43
40 36
33 32
30 27
17 19 22 21
20 16 14
10
0
Senegal Madagascar Burkina Togo Costa Camares
Faso do Marfim
Francs matemtica

Nota: A avaliao foi realizada em Burkina Faso, Camares, Costa do Marfim e Senegal em 1995/96;
em Madagascar, em 1997/98; e no Togo, em 2000/01. Os pases esto classificados pela proporo
de alunos com baixo aproveitamento em matemtica. Baixo aproveitamento definido como uma
pontuao abaixo do 25o percentil em leitura e matemtica.
que determinavam os aproveitamentos da 5a srie em francs e mate-

mtica (Michaelowa, 2001). Estas foram algumas das constataes que
surgiram.
yDiversas caractersticas individuais dos alunos e das famlias (incluin-

do a alfabetizao dos pais e o uso da lngua francesa em casa) esta-
vam relacionadas com o aproveitamento.
yEmbora os alunos pudessem aparecer como beneficirios da repetn-
cia, os ganhos foram apenas temporrios.
yTanto a educao inicial dos professores quanto o treinamento regu-
lar durante o trabalho parecem fatores importantes na determinao
do aproveitamento dos alunos.
yO nmero de dias em que os professores estiveram ausentes da escola
afetou negativamente o aproveitamento dos alunos.
yEmbora recebessem pagamento menor, os professores voluntrios
(empregados pelos pais dos alunos) eram mais eficazes do que os
professores funcionrios pblicos.
yA filiao sindical dos professores tinha uma correlao estatistica-
mente significativa e com sinal negativo com o aproveitamento
dos alunos.
yA disponibilidade de livros escolares teve um forte efeito positivo no
aproveitamento do aprendizado.
yO tamanho da turma (at 62 alunos) estava positivamente relaciona-
do com o aproveitamento.
yO aprendizado numa sala de aula multisseriada teve efeito positivo
sobre o aproveitamento.
yOs alunos das escolas visitadas durante o ano por um inspetor apre-
sentaram melhor desempenho que os das escolas no visitadas.
yO aproveitamento das meninas parecia se beneficiar do fato de terem
uma professora, enquanto o dos meninos parecia melhorar quando
tinham um professor.
C.3. LABORATRIO LATINO-AMERICANO DE AVALIAO

DA QUALIDADE DA EDUCAO
Marco de Referncia
O Primeiro Estudo Comparativo Internacional de Linguagem e Matem-

tica na Amrica Latina foi realizado pelo Laboratrio Latino-Americano
de Avaliao da Qualidade da Educao (LLECE Latinoamericano de
Evaluacin de la Calidad de la Educacin). Essa rede de sistemas nacio-
nais de educao na Amrica Latina e Caribe foi criada em 1994 e co-
ordenada pelo Escritrio Regional da UNESCO para a Amrica Latina
e o Caribe.
O principal objetivo do estudo era fornecer informaes sobre o
aproveitamento dos alunos e os fatores associados que poderiam ser de
utilidade para a formulao e a execuo das polticas de educao nos
pases. Isso seria feito por meio da avaliao do aproveitamento das po-
pulaes no ensino bsico e abordaria as seguintes questes: O que os
alunos aprendem? Em que srie ocorre o aprendizado? Quais habilida-
des os alunos desenvolveram? Quando ocorre o aprendizado? Em que
condies ocorre o aprendizado? (Casassus et al., 1998).
A adoo de um marco comparativo foi vista como a melhor estrat-
gia para ampliar a compreenso da situao educacional em cada pas.
Concluiu-se ser necessrio realizar um estudo internacional na Amrica
Latina porque, alm de poucos pases da regio terem participado de um
estudo desse tipo, os instrumentos utilizados no levaram em conta as
caractersticas especficas dos currculos da regio.
Instrumentos
Foram elaborados dois testes de aproveitamento (em formulrios sepa-

rados), em linguagem e matemtica, nos quais estava representado o
contedo curricular de cada pas participante. As provas foram de ml-
tipla escolha, e a de linguagem tambm tinha questes abertas.
Os componentes de linguagem incluam compreenso em leitura,

prticas de metalingustica e produo de texto em espanhol exceo
do Brasil, onde os alunos foram testados em portugus.
Os componentes de matemtica incluam nmeros, operaes com
nmeros naturais, fraes comuns, geometria e medidas.
Recolheu-se ampla informao nos questionrios (respondidos por
alunos, professores, diretores e pais ou responsveis) a respeito dos fa-
tores que poderiam estar associados com o aproveitamento dos alunos
(por exemplo, a localizao e o tipo da escola, a escolaridade dos pais ou
tutores e as percepes dos alunos e professores sobre a disponibilidade
de recursos de aprendizagem na escola).
Participantes
Em 1997, 13 pases participaram de uma pesquisa: Argentina, Bolvia,

Brasil, Chile, Colmbia, Costa Rica, Cuba, Repblica Dominicana,
Honduras, Mxico, Paraguai, Peru e Venezuela. Os dados de 11 pases
esto includos no primeiro relatrio da pesquisa.
Em cada pas, foram avaliadas amostras de cerca de 4 mil alunos da 3a
srie (com 8 e 9 anos) e da 4a (com 9 e 10 anos). Os 20% mais velhos
da populao total foram excludos (Casassus et al., 1998, 18).
Alguns Resultados
Os resultados, classificados por tipo de escola (pblica ou privada) e

localizao (cidades com mais de um milho de habitantes, rea urbana,
rea rural), indicam que os nveis de aproveitamentos dos alunos cuba-
nos, qualquer que seja a localizao da escola, esto muito frente dos
de outros pases (Tabelas C.3.1 e C.3.2).
TABELA C.3.1
Percentual de Alunos em Cada Nvel de Desempenho em Linguagem, por Tipo de Escola e Localizao, LLECE 1997
Pblica Privada Megacidade Urbana Rural

Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel
Pas I II III I II III I II III I II III I II III
Argentina 95 77 57 99 93 78 96 85 72 96 79 59 88 62 42
Bolvia 87 55 30 91 70 46 90 66 39 87 58 35 77 40 24
Brasil 95 80 54 98 93 72 96 88 62 95 82 58 84 62 38
Chile 93 71 49 97 86 67 94 76 53 95 79 60 89 63 41
Colmbia 89 59 35 97 81 56 96 79 53 89 60 36 89 57 33
Cuba 100 98 92 n.a. n.a. n.a. 100 99 93 100 98 92 100 98 92
Rep. Dominicana 77 52 30 83 64 42 84 65 42 73 44 25 73 39 20
Honduras 87 55 29 94 73 44 92 67 38 87 55 29 78 35 17
Mxico 89 58 38 96 84 65 94 70 50 89 64 43 82 48 30
Paraguai 88 60 37 93 75 54 n.a n.a n.a 90 67 44 81 51 32
Peru 86 55 29 94 78 54 92 70 43 85 57 34 71 30 13
Venezuela 88 59 38 91 70 49 91 68 48 88 60 38 84 58 39
Fonte: UNESCO, 2001, Tabela 8.

Nota: n.a. = no se aplica.
TABELA C.3.2
Percentual de Alunos em Cada Nvel de Desempenho em Matemtica, por Tipo de Escola e Localizao, LLECE 1997
Pblica Privada Megacidade Urbana Rural

Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel Nvel
Pas I II III I II III I II III I II III I II III
Argentina 96 54 12 98 71 23 98 70 26 96 54 11 94 43 6
Bolvia 93 43 9 96 59 18 95 49 12 94 51 14 89 36 8
Brasil 93 52 12 97 67 26 96 58 17 94 55 15 84 40 7
Chile 92 46 7 97 57 15 94 49 10 95 52 12 87 38 6
Colmbia 93 42 5 97 55 10 97 53 8 93 43 6 92 50 12
Cuba 100 92 79 n.a. n.a. n.a. 100 95 82 99 90 76 99 50 72
Rep. Dominicana 82 37 4 86 43 7 86 42 6 81 36 4 79 38 7
Honduras 84 36 7 93 39 5 87 35 3 86 39 8 78 23 13
Mxico 94 55 10 98 69 20 97 62 13 94 58 13 90 46 10
Paraguai 87 29 2 90 49 12 n.a. n.a. n.a. 88 42 9 82 34 8
Peru 87 29 2 94 54 11 88 43 8 89 33 4 78 23 2
Venezuela 76 25 2 76 33 5 75 26 3 77 27 3 68 22 2
Fonte: UNESCO, 2001, Quadro 8.
Nota: n.a. = no se aplica.
Mais de 90% dos alunos cubanos atingiram os nveis mais altos de

proficincia (Nvel III) em linguagem. Com uma exceo (escolas ru-
rais), mais de 75% alcanaram esse nvel em matemtica. Enquanto 72%
dos alunos das reas rurais em Cuba alcanaram o Nvel III em matem-
tica, na maioria dos demais pases esse percentual foi inferior a 10%.
Anlises adicionais dos dados do LLECE centraram-se nas variaes
entre os pases na relao entre situao socioeconmica (baseada no
nvel de escolaridade dos pas) e aproveitamento (veja Figura C.3.1).
Os dados indicam que os gradientes socioeconmicos variam consi-
deravelmente entre os pases; a relao mais pronunciada na Argentina
e no Brasil do que em Cuba, que teve relativamente pouca variao no
nvel de educao dos pais. Embora os alunos das escolas privadas te-
nham tido melhor desempenho que os das escolas pblicas, as diferenas
entre os grupos no foram significativas quando se levava em conta a
situao socioeconmica do aluno (Cpula das Amricas, 2003).
FIGURA C.3.1
Percentual de Alunos em Cada Nvel de Desempenho em Linguagem,

por Tipo de Escola e Localizao, LLECE 1997
350
Cuba
325
pontuao em linguagem
300
Chile Argentina
275
Paraguai
Brasil Colmbia
250 Venezuela
s
Bolvia dura Rep.
Hon
225 Dominicana
Mxico
200
0 2 4 6 8 10 12 14 15
educao dos pais (anos de escolaridade)
Fonte: Willms e Somers, 2005.

Cuba teve a menor variao dos nveis de educao dos pais, bem como
o nvel mais alto de aproveitamento dos alunos. Outras anlises revelaram
que, em comparao com outros pases, Cuba tendia a ter mais creches,
mais atividades educacionais em casa, classes menores, mais professores
altamente capacitados e menos salas de aula multisseriadas ou agrupadas
por habilidades (Willms e Somers, 2001). Em um estudo de acompanha-
mento, os resultados do LLECE foram utilizados para identificar escolas
com resultados excepcionais em sete pases: Argentina, Bolvia, Chile,
Colmbia, Costa Rica, Cuba e Venezuela (LLECE, 2002).
Apesar dessa variedade de anlises, a Fora-Tarefa para Reforma
Educacional na Amrica Central (2000, 19), em seu relatrio intitulado
Tomorrow is too late (Amanh tarde demais), observou que
em quase todos os casos, no existe uma poltica clara que estabelea

como os resultados da avaliao podem e devem ser usados. Testes
de aproveitamento acadmicos ainda no fazem parte das polticas de
responsabilizao sendo demandadas por vrios grupos. No tem ha-
vido discusses sobre o tipo de decises que poderiam decorrer desses
resultados, e h pouco consenso sobre o valor intrnseco de avaliar o
desempenho dos alunos. Em consequncia disso, esses programas so
especialmente vulnerveis a mudanas no governo e at no pessoal
que ocupa cargos elevados no ministrio.
REFERNCIAS
ARREGUI, P. e C. McLauchlan. 2005. Utilization of Large-Scale Assessment Re-

sults in Latin America. Documento indito preparado para o Partnership for
Educational Revitalization in the Americas e o World Bank Institute.
BANCO MUNDIAL. 2004. Vietnam: Reading and Mathematics Assessment Study.
Vols. 1-3. Washington, DC: Banco Mundial.
. 2007. Base de dados EdStats. http://www1.worldbank.org/education/eds-
tats/.
BEATON, A. E., T. N. Postlethwaite, K. N. Ross, D. Spearritt e R. M. Wolf. 1999.
The Benefits and Limitations of International Educational Achievement Studies.
Paris: UNESCO International Institute for Educational Planning.
BENVENISTE, L. 2000. Student Assessment as a Political Construction: The Case
of Uruguay. Education Policy Analysis Archives 8 (32): 1-41.
. 2002. The Political Structuration of Assessment: Negotiating State Power
and Legitimacy. Comparative Education Review 46: 89118.
BERNARD, J.-M. 1999. Les Enseignants du Primaire dan Cinq Pays du Programme
dAnalyse des Systmes Educatifs de la CONFEMEN: Le Rle du Matre dans
le Processus dAcquisition des Elves. Relatrio do Grupo de Trabalho sobre a
Profisso de Docente, Seo Francfona, da Associao para o Desenvolvimento
da Educao na frica (ADEA). Paris: ADEA.
BRAUN, H. e A. Kanjee. 2007. Using Assessment to Improve Education in Deve-
loping Countries. In Educating All Children: A Global Agenda J. E. Cohen, D.
E. Bloom e M. B. Malin (orgs.)., 30353. Cambridge, MA: MIT Press.
BUTO, Cmara de Exames, Ministrio da Educao. 2004. National Educational

Assessment in Bhutan: A Benchmark of Student Achievement in Literacy and Nu-
meracy at Class 6, 2003. Thimphu, Buto: Ministrio da Educao.
CAMPBELL, J. R., D. L Kelly, I. V. S. Mullis, M. O. Martin e M. Sainsbury. 2001.
Framework and Specifications for PIRLS Assessment 2001. 2a ed. Chestnut Hill,
MA: Boston College.
CASASSUS, J., J. E. Froemel, J. C. Palafox e S. Cusato. 1998. First International
Comparative Study of Language, Mathematics, and Associated Factors in Third
and Fourth Grades. Santiago, Chile: Laboratrio Latino-Americano de Avalia-
o da Qualidade da Educao.
Centro Nacional de Estatsticas de Educao (EUA) 2005. National Assessment of
Educational Progress: The Nations Report Card, Reading 2005. U.S. National
Center for Education Statistics, Washington, DC.
. 2006. NAEP Overview. U.S. National Center for Education Statistics,
Washington, DC. http://nces.ed.gov/nationsreportcard/about/.
. s.d. Comparing NAEP, TIMSS, and PISA in Mathematics and Science.
U.S. National Center for Education Statistics, Washington, DC. http://nces.
ed.gov/timss/pdf/naep_timss_pisa_comp.pdf.
CHINAPAH, V. 1997. Handbook on Monitoring Learning Achievement: Towards
Capacity Building. Paris: UNESCO.
CLARKE, M. 2005. NAPE Technical Analysis and Recommendations. Kampala:
Uganda National Examinations Board.
CONFEMEN 1999. Les Facteurs de lEfficacit dans lEnseignement Primaire: Les
Resultats du Programme PASEC sur Neuf Pays dAfrique et de lOcan Indien.
Dacar: CONFEMEN.
Connecticut Department of Education. 2006. State Releases Connecticut Mastery
Test Results. News, 9 de agosto. http://www.sde.ct.gov/sde/lib/sde/PDF/Pres-
sRoom/ 2006cmtresults.pdf.
COULOMBE, S., J.-F. Tremblay e S. Marchand. 2004. International Adult Litera-
cy Survey: Literacy Scores, Human Capital, and Growth across Fourteen OECD
Countries. Ottawa: Estatsticas do Canad.
CRESPO, M., J. F. Soares, A. de Mello e Souza. 2000. The Brazilian National
Evaluation System of Basic Education: Context, Process, and Impact. Studies in
Educational Evaluation 26: 10525.
CPULA das Amricas. 2003. Regional Report: Achieving the Educational Goals.
Santiago: Ministrio da Educao, Chile; Paris: UNESCO.
Declarao Mundial sobre Educao para Todos. 1990. Adotada pela Conferncia
Mundial de Educao para Todos: Atendendo Necessidades Bsicas de Apren-
dizado, Jomtien, Tailndia, 59 de maro. New York: UNESCO. Http://www.

unesco.org/education /information/nfsunesco/pdf/JOMTIE_E.PDF.
DELANNOY, F. 2000. Education Reforms in Chile 198098: A Lesson in Pragma-
tism. Washington, DC: Banco Mundial.
EIVERS, E., G. Shiel, R. Perkins e J. Cosgrove. 2005. The 2004 National Assessment
of English Reading. Dublin: Educational Research Centre.
ELLEY, W. B. 1992. How in the World Do Students Read? IEA Study of Reading
Literacy. Haia, Holanda: International Association for the Evaluation of Educa-
tional Achievement.
(org.). 1994. The IEA Study of Reading Literacy: Achievement and Instruction
in Thirty-Two School Systems. Oxford, Reino Unido: Pergamon.
. 2005. How TIMSS-R Contributed to Education in Eighteen Developing
Countries. Prospects 35 (2): 199212.
ETIPIA, National Organisation for Examinations. 2005. Second National Learning
Assessment of Ethiopia. Addis Abeba: National Organisation for Examinations.
FERRER, G. 2006. Educational Assessment Systems in Latin America: Current Prac-
tice and Future Challenges. Washington, DC: Partnership for Educational Revi-
talization in the Americas.
FORA-TAREFA para a Reforma da Educao na Amrica Central. 2000. Tomor-
row Is Too Late. http://thedialogue.org/publications/preal/tomorrow.pdf.
GANA, Ministrio da Educao, Juventude e Esportes. 2004. Results from Ghana-
ian Junior Secondary 2 Students Participation in TIMSS 2003 in Mathematics and
Science. Acra: Ministrio da Educao, Juventude e Esportes.
GREANEY, V. e T. Kellaghan. 1996. Monitoring the Learning Outcomes of Educa-
tion Systems. Washington, DC: Banco Mundial.
HANUSHEK, E. A. e D. D. Kimko. 2000. Schooling, Labor-Force Quality, and
the Growth of Nations. American Economic Review 90 (5): 1184208.
HANUSHEK, E. A., and L. Wssmann. 2007. Education Quality and Economic
Growth. Washington, DC: Banco Mundial.
HIMMEL, E. 1996. National Assessment in Chile. In National Assessments: Test-
ing the System, org. P. Murphy, V. Greaney, M. E. Lockheed e C. Rojas, 11128.
Washington, DC: Banco Mundial.
. 1997. Impacto Social de los Sistemas de Evaluacin del Rendimiento Escolar:
El Caso de Chile. In Evaluacin y reforma educativa: Opciones de poltica (org.). B.
lvarez H. e M. Ruiz-Casares, 12557. Washington, DC: ABEL/PREAL/AID.
HORN, R., L. Wolff e E. Velez. 1992. Educational Assessment Systems in Latin
America: A Review of Issues and Recent Experience. Major Project of Education
in Latin America and the Caribbean Bulletin 27: 727.
HOWIE, S. 2000. TIMSS-R in South Africa: A Developing Country Perspective.

Texto apresentado durante o encontro anual da American Educational Research
Association, Nova Orleans, 2428 de abril.
. 2002. English Proficiency and Contextual Factors Influencing Mathema-
tics Achievement of Secondary School Pupils in South Africa. Tese de Douto-
rado, Universidade de Twente, Holanda.
HOWIE, S. e C. Hughes. 2000. South Africa. In The Impact of TIMSS on the
Teaching and Learning of Mathematics and Science, org. D. Robitaille, A. Beaton
e T. Plomp, 13945. Vancouver, BC: Pacific Educational Press.
HOXBY, C. E. 2002. The Cost of Accountability. Trabalho para Discusso 8855,
National Board of Economic Research, Cambridge, MA.
HUSN, T. 1973. Foreword. In Science Achievement in Nineteen Countries, org. L.
C. Comber e J. P. Keeves, 1324. New York: Wiley.
HUSN, T. e T. N. Postlethwaite. 1996. A Brief History of the International As-
sociation for the Evaluation of Educational Achievement (IEA). Assessment in
Education 3 (2): 12941.
IEA. 2000. Framework and Specifications for PIRLS Assessment 2001. Chestnut Hill,
MA: International Study Center, Boston College.
IIEP. 2007. Southern and Eastern Africa Consortium for Monitoring Educational
Quality. IIEP, Paris. http://www.unesco.org/iiep/eng/networks/sacmeq/sac-
meq.htm.
ILON, L. 1996. Considerations for Costing National Assessments. In National As-
sessment: Testing the System, P. Murphy, V. Greaney, M. E. Lockheed e C. Rojas
(orgs.), 6988. Washington, DC: Banco Mundial.
NDIA, National Council of Educational Research and Training, Department of
Educational Measurement and Evaluation. 2003. Learning Achievement of Stu-
dents at the End of Class V. Nova Deli: Department of Educational Measure-
ment and Evaluation.
ISHINO, T. 1995. Japan. In Performance Standards in Education: In Search of
Quality, 14961. Paris: OCDE.
JOHNSON, E. G. 1992. The Design of the National Assessment of Educational
Progress. Journal of Educational Measurement 29 (2): 95110.
JONES, L. V. 2003. National Assessment in the United States: The Evolution of a
Nations Report Card. In International Handbook of Educational Evaluation. T.
Kellaghan e D. L. Stufflebeam (orgs.), 883904. Dordrecht, Holanda: Kluwer
Academic.
KANJEE, A. 2006. The State of National Assessments of Learner Achievement.
Trabalho indito preparado para o Human Sciences Research Council, Pretria,
frica do Sul.
KEEVES, J. P. 1995. The Contribution of IEA Research to Australian Education.

In Reflections on Educational Achievement: Papers in Honour of T. Neville Postleth-
waite. W. Bos e R. H. Lehmann, 13758. Nova York: Waxman.
KELLAGHAN, T. 1996. IEA Studies and Educational Policy. Assessment in Edu-
cation 3 (2): 14360.
. 1997. Seguimiento de los resultados educativos nacionales. In Evalua-
cin y reforma educativa: Opciones de poltica. B. lvarez H. e M. Ruiz-Casares
(orgs.), 2365. Washington, DC: ABEL/PREAL/AID.
. 2003. Local, National and International Levels of System Evaluation: In-
troduction. In International Handbook of Educational Evaluation. T. Kellaghan e
D. L. Stufflebeam, 87382. Dordrecht, Holanda: Kluwer Academic.
. 2006. What Monitoring Mechanisms Can Be Used for Cross-National (and
National) Studies? In Cross-National Studies of the Quality of Education: Plan-
ning Their Design and Managing Their Impact. K. N. Ross e I. J. Genevois (orgs.),
5155. Paris: International Institute for Educational Planning.
KELLAGHAN, T. e V. Greaney. 2001a. The Globalisation of Assessment in the
20th Century. Assessment in Education 8 (1): 87102.
. 2001b. Using Assessment to Improve the Quality of Education. Paris: Interna-
tional Institute for Educational Planning.
. 2004. Assessing Student Learning in Africa. Washington, DC: Banco Mundial.
KHANIYA, T. e J. H. Williams. 2004. Necessary but Not Sufficient: Challenges
to (Implicit) Theories of Educational Change Reform in Nepals Education
System. International Journal of Educational Development 24 (3): 31528.
KIRSCH, I. 2001. The International Adult Literacy Study (IALS): Understanding
What Was Measured. Princeton, NJ: Educational Testing Service.
KULPOO, D. e P. Coustre. 1999. Developing National Capacities for Assess-
ment and Monitoring through Effective Partnerships. In Partnerships for Capac-
ity Building and Quality Improvements in Education: Papers from the ADEA 1997
Biennial Meeting, Dacar. Paris: Associao para o Desenvolvimento da Educao
na frica.
LESOTO, Examinations Council of Lesotho e National Curriculum Development
Centre. 2006. Lesoto: National Assessment of Educational Progress, 2004. Ma-
seru: Examinations Council of Lesotho e National Curriculum Development
Centre.
LLECE. 2002. Qualitative Study of Schools with Outstanding Results in Seven Latin
American Countries. Santiago: LLECE.
LOCKHEED, M. E. e A. Harris. 2005. Beneath Education Production Functions:
The Case of Primary Education in Jamaica. Peabody Journal of Education 80
(1): 628.
MAKUWA, D. 2005. The SACMEQ II Project in Namibia: A Study of the Condi-

tions of Schooling and Quality of Education. Harare: Southern and Eastern Africa
Consortium for Monitoring Educational Quality.
MCMEEKIN, R. W. 2000. Implementing School-Based Merit Awards: Chiles Expe-
riences. Washington, DC: Banco Mundial.
MICHAELOWA, K. 2001. Primary Education Quality in Francophone Sub-Sa-
haran Africa: Determinants of Learning Achievement and Efficiency Consider-
ations. World Development 29 (10): 1699716.
MRUTU, A., G. Ponera e E. Nkumbi. 2005. The SACMEQ II Project in Tanzania: A
Study of the Conditions of Schooling and the Quality of Education. Harare: South-
ern and Eastern Africa Consortium for Monitoring Educational Quality.
MULLIS, I. V. S., A. M. Kennedy, M. O. Martin e M. Sainsbury. 2006. PIRLS
2006: Assessment Framework and Specifications. Chestnut Hill, MA: Internatio-
nal Study Center, Boston College.
MULLIS, I. V. S., M. O. Martin, E. J. Gonzalez e S. J. Chrostowski. 2004. TIMSS
2003 International Mathematics Report: Findings from IEAs Trends in Interna-
tional Mathematics and Science Study at the Fourth and Eighth Grades. Chestnut
Hill, MA: International Study Center, Boston College.
MULLIS, I. V. S., M. O. Martin, E. J. Gonzalez e A. M. Kennedy. 2003. PIRLS
2001 International Report: IEAs Study of Reading Literacy Achievement in Pri-
mary Schools. Chestnut Hill, MA: International Study Center, Boston College.
MULLIS, I. V. S., M. O. Martin, G. J. Ruddock, C. Y. OSullivan, A. Arora e E.
Erberber. 2005. TIMSS 2007 Assessment Frameworks. Chestnut Hill, MA: Inter-
national Study Center, Boston College.
MURIMBA, S. 2005a. The Impact of the Southern and Eastern Africa Consortium
for Monitoring Educational Quality (SACMEQ). Prospects 35 (1): 91108.
. 2005b. The Southern and Eastern Africa Consortium for Monitoring Edu-
cational Quality (SACMEQ): Mission Approach and Projects. Prospects 35 (1):
7589.
NASSOR, S. e K. A. Mohammed. 1998. The Quality of Education: Some Policy Sug-
gestions Based on a Survey of Schools Zanzibar. SACMEQ Policy Research 4,
International Institute for Educational Planning, Paris.
NAUMANN, J. 2005. TIMSS, PISA, PIRLS, and Low Educational Achievement
in World Society. Prospects 35 (2): 22948.
OCDE. 2001. Outcomes of Learning: Results from the 2000 Program for International
Student Assessment of 15-Year-Olds in Reading, Mathematics, and Science Lit-
eracy. Paris: OCDE. http://nces.ed.gov/pubs 2002/2002115.pdf.
. 2003. The PISA 2003 Assessment Framework: Reading, Mathematics, Science
and Problem Solving Knowledge and Skills. Paris: OCDE.
. 2004a. First Results from PISA 2003: Executive Summary. Paris: OCDE.
http://www.oecd.org/dataoecd/1/63/34002454.pdf.
. 2004b. Learning for Tomorrows World: First Results from PISA 2003. Paris:
OCDE.
. 2007. Sample Questions: PISA Mathematics with Marking Guide.
OCDE, Paris. http://pisa-sq.acer.edu.au.
OCDE e Instituto de Estatsticas da UNESCO. 2003. Literacy Skills for the World of
Tomorrow: Further Results from PISA 2000. Paris e Montreal: OCDE e Instituto
de Estatsticas da UNESCO.
OLIVARES, J. 1996. Sistema de Medicin de la Calidad de la Educacin de Chile:
SIMCE, Algunos Problemas de la Medicin. Revista Iberoamericana de Educa-
cin 10. http://www.rieoei.org/oeivirt/rie10a07.htm.
PASSOS, A., T. Nahara, F. Magaia e C. Lauchande. 2005. The SACMEQ II Project
in Mozambique: A Study of the Conditions of Schooling and the Quality of Educa-
tion. Harare: Southern and Eastern Africa Consortium for Monitoring Educa-
tional Quality.
PERERA, L., S. Wijetunge, W. A. de Silva e A. A. Navaratne. 2004. Achievement
after Four Years of Schooling. National Assessment of Achievement of Grade Four
Pupils in Sri Lanka: National Report. Colombo: National Education Research
and Evaluation Centre, Universidade de Colombo.
POSTLETHWAITE, T. N. 2004. What Do International Assessment Studies Tell
Us about the Quality of School Systems? Documento bsico para o Education
for All Global Monitoring Report 2005, UNESCO, Paris.
PRAKASH, V., S. K. S. Gautam e I. K. Bansal. 2000. Student Achievement under
MAS: Appraisal in Phase-II States. Nova Deli: National Council of Educational
Research and Training.
RAMIREZ, F. O., X. Luo, E. Schofer e J. W. Meyer. 2006. Student Achievement
and National Economic Growth. American Journal of Education 113 (1): 129.
RAVELA, P. 2005. A Formative Approach to National Assessments: The Case of
Uruguay. Prospects 35 (1): 2143.
REDDY, V. 2005. Cross-National Achievement Studies: Learning from South
Africas Participation in the Trends in International Mathematics and Science
Study. Compare 35 (1): 6377.
. 2006. Mathematics and Science Achievement at South African Schools in
TIMSS 2003. Cidade do Cabo, frica do Sul: Human Sciences Research Coun-
cil Press.
ROBITAILLE, D. F., A. E. Beaton e T. Plomp (orgs.). 2000. The Impact of TIMSS
on the Teaching and Learning of Mathematics and Science. Vancouver, BC: Pacific
Educational Press.
ROJAS, C. e J. M. Esquivel. 1998. Los Sistemas de Medicin del Logro Academico

en Latino Amrica. LCSHD Paper 25, Washington, DC: Banco Mundial.
ROSS, K. 1987. Sample Design. International Journal of Educational Research 11
(1): 5775.
ROSS, K. e T. N. Postlethwaite. 1991. Indicators of the Quality of Education: A
Study of Zimbabwean Primary Schools. Harare: Ministry of Education and Cul-
ture; Paris: International Institute for Educational Planning.
SHABALALA, J. 2005. The SACMEQ II Project in Swaziland: A Study of the Con-
ditions of Schooling and the Quality of Education. Harare: Southern and Eastern
Africa Consortium for Monitoring Educational Quality.
SHUKLA, S., V. P. Garg, V. K. Jain, S. Rajput e O. P. Arora. 1994. Attainments of
Primary School Children in Various States. Nova Deli: National Council of Edu-
cational Research and Training.
SOFRONIOU, N. e T. Kellaghan. 2004. The Utility of Third International Math-
ematics and Science Study Scales in Predicting Students State Examination Per-
formance. Journal of Educational Measurement 41 (4): 31129.
STRAUS, M. 2005. International Comparisons of Student Achievement as Indica-
tors for Educational Policy in Slovenia. Prospects 35 (2): 18798.
UNEB. 2006. The Achievements of Primary School Pupils in Uganda in English Li-
teracy and Numeracy. Kampala: UNEB.
UNESCO. 1990. Final Report of the World Congress on Education for All: Meeting
Basic Learning Needs, Jomtien, Thailand. Paris: UNESCO.
. 2000. The Dakar Framework for Action Education for All: Meeting Our Col-
lective Commitments. Paris: UNESCO.
. 2001. Technical Report of the First International Comparative Study. Santia-
go: Escritrio Regional para a Amrica Latina e o Caribe.
. 2002. EFA Global Monitoring Report 2002: Is the World on Track? Paris:
UNESCO.
. 2004. EFA Global Monitoring Report 2005: The Quality Imperative. Paris:
UNESCO.
WILKINS, J. L. M., M. Zembylas e K. J. Travers. 2002. Investigating Correlates
of Mathematics and Science Literacy in the Final Year of Secondary School.
In Secondary Analysis of the TIMSS Data, org. D. F. Robitaille e A. E. Beaton,
291316. Dordrecht, Holanda: Kluwer Academic.
WILLMS, J. D. e M.-A. Somers. 2005. Raising the Learning Bar in Latin America:
Measuring Student Outcomes. Policy Brief, Canadian Research Institute for
Social Policy, Universidade de New Brunswick, Fredericton.
WINOGRAD, P. e B. Thorstensen. 2004. Using Large Scale Assessments to In-
form the Policies and Practices That Support Student Learning. Trabalho para
discusso apresentado na International Reading Association e World Banks

Global National Assessment Training Project, Escritrio de Responsabilizao
na Educao, Santa F, NM.
WOLFF, L. 1998. Educational Assessment in Latin-America: Current Progress and
Future Challenges. Trabalho para Discusso 11, Programa de Promocin de la
Reforma Educativa en America Latina y el Caribe, Partnership for Educational
Revitalization in the Americas, Washington, DC.
ZHANG, Y. 2006. Urban-Rural Literacy Gaps in Sub-Saharan Africa: The Roles
of Socioeconomic Status and School Quality. Comparative Education Review
50 (4): 581602.
NDICE
Quadros, guras e tabelas esto indicadas com q, f e t.
abordagens de avaliao nacional frica Subsaariana, taxas de

baseadas no censo e em amostra, escolarizao lquida na, 79
33-34, 84, 88 Alemanha, 68, 76, 128t, 134f, 136f,
Administrao Nacional da 137f
Educao Pblica (Uruguai), Amrica do Norte, matrcula no
97 ensino fundamental, 79
frica Amrica Latina e Caribe
avaliao de professores na, 14 avaliao nacional na, 8
objetivos da avaliao nacional avaliaes como substituto de
na, 19 exames pblicos na, 34
PIRLS na, 127 dados comparativos e, 81
populao a ser avaliada na, 32 institutos de avaliao na, 85
taxas de escolarizao lquida na, padres de frequncia escola
79 na, 79
TIMSS na, 72 PISA na, 129, 131
Veja tambm Consrcio da Veja tambm Laboratrio
frica Austral e Oriental para Latino-Americano de
Monitoramento da Qualidade Avaliao da Qualidade da
da Educao (SACMEQ) Educao (LLECE)
frica do Sul, 42, 77, 80t, 82q, amostra ou populao a ser avaliada,
88, 89, 122, 124t, 127, 139, 33-34, 55t, 84, 88
145 anlise de contedo para avaliao
estudo de caso da, 99-102 nacional, 36
anlises e procedimentos estatsticos Avaliao Nacional de Leitura em

atividades recomendadas, 62 Ingls (Irlanda), 42
custos de, 53 Avaliao Nacional do Progresso
decises envolvidas na avaliao Educacional (NAEP, EUA), 19,
nacional e, 48, 50, 55t 20f, 42, 54, 68, 110112
erros comuns, 62-63 avaliao subnacional, 4
questes na, 61-63 Azerbaijo, 130
aplicao de testes/provas e Bahrain, 80t, 124t
questionrios, 30, 53, 55t, 81 Banco Interamericano, 97
apresentao do aproveitamento de Banco Mundial, 97
alunos Bangladesh, 14
desempenho em domnios do Blgica, 124t, 134f, 136f, 137f
currculo, 45-47 Belize, 127, 128t
elaborao de relatrio, 64-65 Benin, 151
informaes no nvel de item, 46 Bolvia, 154, 155t, 156t, 157f
padres de desempenho, 47 Botsuana, 80t, 100, 124t, 139
padres de domnio, 47-48, 49t Brasil, 4, 33, 80, 130, 133, 134f,
aproveitamento dos professores, 136f, 137f, 154, 155t, 156t, 157
avaliao do, 14, 39, 92, 95, 145 Bulgria, 124t, 129, 128t
Arbia Saudita, 80t, 122, 124t Burkina Faso, 149, 151
Argentina, 4, 25, 127, 128t, 130, Buto, 17-18, 89
154, 155t, 156t, 157 Camares, 14, 149, 151, 151f
Armnia, 124t Cambdia, 29, 54
Associao Internacional para Canad, 75, 124t, 128t, 133, 134f,
Avaliao do Aproveitamento 136f, 137
Escolar (IEA), 36-37, 69, 81, 90, capacidade tcnica
141 compromisso de longo prazo do
Veja tambm Estudo Internacional governo e, 85
sobre o Progresso do Letramento condies para a avaliao
em Leitura (PIRLS); nacional e, 84
Tendncias Internacionais de usurios, 86
no Estudo de Matemtica e divulgao e uso de avaliao
Cincias (TIMSS) nacional e, 50
Austrlia, 21, 74, 124t, 133, 134f, doadores e, 54
136f, 137f efeito da falta de, 39
ustria, 133, 134f, 136f, 137f estudos internacionais e, 90
avaliao de resultados afetivos, 39 procedimentos estatsticos e,
avaliao internacional do 61-63, 88
aproveitamento de alunos, 3, realizao de avaliao nacional e,
67-82, 119-137 25, 26t, 27t
crescimento da prtica de, 69-72 Caribe, pases do. Veja Amrica
problemas com, 77-82 Latina e Caribe
vantagens da, 72-76 Cazaquisto, 14
Chade, 14, 151 conabilidade, 14, 45, 53, 87, 106

Chile Congo, Repblica Democrtica do,
abordagens de avaliao baseadas 14, 151
no censo no, 34 Consrcio da frica Austral e
apresentao e uso de resultados Oriental para Monitoramento
no, 50 da Qualidade da Educao
avaliao de resultados afetivos (SACMEQ), 139-148
no, 39 avaliao do aproveitamento de
compromisso do governo com o professores, 39
processo de avaliao no, 85 constataes, 145-148
estudo de caso do, 88, 89, dados comparativos e, 81
107-110 instrumentos, 47, 140-145
frequncia da avaliao no, 45 marco de referncia, 139-140
LLECE no, 154, 155t, 156t, 157f participantes, 69, 100, 145
objetivos da avaliao nacional populao avaliada e, 32
no, 21, 22 uso de dados do, 74
rgo de implementao no, 88 Coreia do Sul, 75, 80t, 122, 124t,
PISA no, 130, 131 123, 130, 133, 134f, 136, 137
programa de premiao no, 21, Costa do Marm, 149, 151
22, 107-110 Costa Rica, 33, 154
TIMSS no, 122 Cuba, 33, 124t, 154, 155t, 156t,
China, 122, 123, 127, 130, 130 157
Chipre, 124t, 128t currculo
Cingapura, 75, 80t, 122, 123, 127, desempenho em domnios do,
128t 35-36, 45-47, 62
classicao de pontuaes de testes, desenvolvimento e avaliao, 9,
63, 73, 80-81 32, 38-39, 44, 51, 54, 61, 84
Veja tambm tabela classicativa divulgao de dados de avaliao
Colmbia, 32, 33, 39, 122, 127, e, 46
128t, 130, 154, 155t, 156t, equipes e, 29
157f estreitamento do, 58
comisso de coordenao nacional, estudos internacionais e, 68, 69,
2325, 28, 33, 39, 51, 55t 70t, 73, 75-78
comisso nacional de exames, 88 exames pblicos e, 14, 16t, 15
compromisso de longo prazo do formuladores de polticas e, 79,
governo, importncia do, 85 87
CONFEMEN (Conferncia dos frequncia de avaliaes e, 45
Ministros da Educao dos TIMSS e, 125
Pases de Lngua Francesa em custos, 45, 74, 82
Porcentagem), 148-149 da aplicao de teste, 54
Veja tambm Programa de Anlise da avaliao nacional, 52-55
dos Sistemas Educacionais da de anlises e procedimentos
CONFEMEN (PASEC) estatsticos, 53
necessidades de pessoal e, 53 divulgao e uso das constataes, 2,

rgos de implementao e, 52 3, 85-86
TIMSS e, 82 Djibuti, 151
decises em avaliaes nacionais, 2, Educao Para Todos, 1, 9, 148
23-55 Egito, 100, 124t
amostra ou censo, 33-34, 55t, elementos de uma avaliao
84, 88 nacional, 13-14
aplicao de provas e Emirados rabes Unidos, 14
questionrios, 30, 53, 55t equipes para realizar a avaliao
comit de coordenao nacional nacional, 29
(CCN), 23-25, 28, 33, 39, 51, erros comuns, 57-65
55t Esccia, 76, 124t, 128t
como o aproveitamento ser Eslovnia, 124t, 128t
avaliado, 39-44, 53, 55t Espanha, 75, 134f, 136f, 137f
componentes de custo, 52-55 Estados Unidos
divulgao e uso de resultados, avaliao subnacional nos, 4
50-51, 55t avaliaes como substituto de
frequncia da avaliao, 45, 55t, exames pblicos nos, 34
88 estudo de caso dos, 110-112
marco de referncia da avaliao, objetivos da avaliao nacional
35-39, 55t nos, 18-20, 110-111
o que ser avaliado, 35-39, 55t PIRLS, 128t
orientaes de polticas para, PISA, 133, 134f, 136, 137f
23-25, 55t, 84-85 populao a ser avaliada nos, 31,
populao a ser avaliada, 31-34, 32
55t, 84 TIMSS, 75, 124t, 125
principal responsabilidade por, 55 Veja Avaliao Nacional do
procedimentos estatsticos, 48, Progresso Educacional (NAEP)
50, 53, 55t Estnia, 124t
quem deve realizar a avaliao Estudo Internacional sobre o
nacional, 2, 28-29, 55t Progresso do Letramento em
relatrios sobre aproveitamento Leitura (PIRLS), 125-128
de alunos, 45-48, 55t constataes, 127-128
resumo de, 47 frequncia, 45
Dinamarca, 134f, 136f, 137f instrumentos, 3638, 69, 126
Direo Nacional de Informao marco de referncia, 125-126
e Avaliao da Qualidade da participantes, 127
Educao (DiNIECE, Argentina), estudos de caso de pases, 4, 5,
28, 27 88-89, 91117
diretrizes de polticas para a frica do Sul, 99-102
avaliao nacional, 23-28, 55t, Chile, 107-110
84-85, 89 Estados Unidos, 110-112
Veja tambm Apndices A e C ndia, 91-93
Nepal, 105-107 frequncia da avaliao, 45, 55t, 88,

Sri Lanka, 102-105 91, 93, 97, 101, 105, 107, 111,
Uganda, 112-117 113, 119, 126, 130, 145, 149
Uruguai, 97-99 Gabo, 151
Vietn, 93-96 Gana, 44, 46, 79, 80t, 100, 124t
estudos internacionais, 3, 4, 89-90, gnero
119-137 casos de pases e, 91, 92, 96t,
Estudo Internacional sobre o 104, 106, 113, 115
Progresso do Letramento em educao em matemtica e
Leitura (PIRLS), 125-128 cincias e, 21
Programa Internacional de frequncia escola e, 79
Avaliao de Alunos (PISA), PASEC e, 153
38-39, 42, 129-137 PIRLS e, 129
Tendncias Internacionais no PISA e, 133, 136
Estudo de Matemtica e SACMEQ e, 142, 147, 148, 151
Cincias (TIMSS), 34, 42, 90, TIMSS e, 125
119-123 uso da avaliao nacional para
estudos regionais, 3, 4, 90, 139-158 apoiar aes de polticas e, 89
Consrcio da frica Austral e globalizao e avaliao
Oriental para Monitoramento internacional, 1, 72
da Qualidade da Educao Grcia, 128t, 136f, 137f
(SACMEQ), 139-148 Guin, 14, 79, 149, 151
Laboratrio Latino-Americano habilidades para a vida, avaliao de,
de Avaliao da Qualidade da 39
Educao (LLECE), 153-157 Honduras, 33, 154, 155t, 156t, 157f
Programa de Anlise dos Sistemas Hong Kong, 122, 124t, 123, 127,
Educacionais da CONFEMEN 128t, 130, 136f, 137f
(PASEC), 148-152 Hungria, 124t, 128t, 134f, 136f, 137f
Etipia, 11, 29, 50 idioma (lngua) da avaliao, 9, 33,
Europa Ocidental, taxas de 42-44, 48, 78, 101, 102, 104,
escolarizao lquida na, 79 109t, 115, 129
exames pblicos vs. avaliao IEA. Veja Associao
nacional do aproveitamento de Internacional para Avaliao do
alunos, 7-8, 14-15 Aproveitamento Escolar
fatores contextuais e aproveitamento Imen, 79, 122
de alunos, 39-39 implementao, 3, 57-65
Federao Russa, 68, 75, 124t, 128t, opes para a, 28, 26-27t
134f, 136f, 137f ndia, 14, 79, 89
Filipinas, 75, 80t, 122, 124t estudo de caso da, 91-93
Finlndia, 133, 134f, 136-137 Indonsia, 80, 122, 124t, 127, 130,
Formato de mltipla escolha, 42, 133, 136f, 137
42q informaes no nvel de item,
Frana, 33, 128t, 134f, 136f, 137f divulgao de, 39, 45-46, 92, 98
Inglaterra, 45, 75, 124t, 128t Luxemburgo, 134f, 136f, 137f

institucionalizao da avaliao Macau, 130, 136f, 137f
nacional, 85 Macednia, 124t, 128t
Instituto Internacional para o Madagascar, 151
Planejamento Educacional (IIEP), Malsia, 122, 124t
139 Malaui, 19, 139, 145, 147
Veja tambm Consrcio da Maldivas, 30
frica Austral e Oriental para Mali, 149, 151
Monitoramento da Qualidade Marco de Referncia e
da Educao (SACMEQ) Especicaes (IEA), 36-37
institutos de pesquisa, 25, 26t, 29, marcos de referncia para a
88 avaliao, 35-39, 55t
Ir, 122, 124t, 127, 128t Marrocos, 80t, 100, 122, 124t, 127,
Irlanda, 42, 76, 134f, 136f, 137f 128t
Islndia, 76, 128t, 134f, 136f, 137f matrcula no ensino fundamental, 79
Israel, 122, 124t, 127, 128t, 130 Maurcio, 139, 145, 146, 147f, 148,
Itlia, 124t, 128t, 134f, 136f, 137f 151
Jamaica, 33 Mauritnia, 14, 151
Japo, 45, 75, 122, 124t, 130, 133, MESyFOD (Programa de
134f, 136, 137f Modernizao da Educao
Jomtien, Declarao de (1990), 9 Secundria e Formao de
Jordnia, 33, 130 Docentes), 97
Kuwait, 75, 122, 127, 128t Mxico, 33, 34, 130, 134f, 136f,
Laboratrio Latino-Americano 137f, 154, 155t, 156t, 157f
de Avaliao da Qualidade da mdia e avaliaes internacionais, 73
Educao (LLECE) Ministrios da Educao
constataes, 153-158 como rgos implementadores, 88
instrumentos, 153 custos da avaliao nacional e,
marco de referncia, 153 54, 55
participantes, 154 divulgao e uso de resultados e,
Laos, 14 51
Lesoto, 47, 51, 139 o que ser avaliado, denio de,
Letnia, 76, 124t, 123, 128t, 134f, 39
136f, 137f realizao de avaliao nacional
letramento, marco de avaliao do, pelos, 2, 25, 26t, 29
3638 Moambique, 79, 139, 145
Veja tambm Estudo Moldvia, 124t, 128t
Internacional sobre o Progresso Monitoramento do Aproveitamento
do Letramento em Leitura do Aprendizado, 39, 100, 104
(PIRLS) Nambia, 19, 139, 146, 147
Lbano, 124t Nepal, 19, 88
Liechtenstein, 134f , 136f, 137f estudo de caso do, 105-107
Litunia, 124t, 123, 128t Nger, 149, 151
Nigria, 33 Peru, 14, 130, 130, 154, 155t, 156t

Noruega, 76, 124t, 128t, 133, 134f, PIRLS. Veja Estudo Internacional
136f, 137f sobre o Progresso do Letramento
Nova Zelndia, 75, 124t, 128t, 134f, em Leitura
136f, 137f PISA. Veja Programa Internacional
objetivos da avaliao nacional, 2, de Avaliao de Alunos
17-22 Plano de Ao de Dacar (2000), 9
Objetivos de Desenvolvimento do Polnia, 133, 134f, 136f, 137f
Milnio, 22 populao a ser avaliada
Organizao para a Cooperao e baseada no censo ou em amostra,
o Desenvolvimento Econmico 33-34, 55t, 84, 88
(OCDE), 69, 129 decises na avaliao nacional e,
Veja tambm Programa 31-33, 55t
Internacional de Avaliao de na avaliao internacional,
Alunos (PISA) 78-79
rgos de implementao subgrupos, 2, 9
aplicao de testes e questionrios Portugal, 136f, 137f
por, 31 pr-teste, 4, 28
custos e, 52 Veja tambm teste-piloto
decises, resumo das, 55t Produtos da educao, nfase nos,
divulgao e uso de resultados e, 1-2
51 Programa de Anlise dos Sistemas
o que ser avaliado, determinao Educacionais da CONFEMEN
de, 34 (PASEC), 148-152
realizao de avaliao nacional e, constataes, 151-152
25, 26-27t, 29 instrumentos, 150
responsabilidade por decidir marco de referncia, 148-149
como o aproveitamento ser participantes, 151
avaliado, 45 populao a ser avaliada e, 32
padro de referncia, 72, 79, 80t, Programa de Modernizao da
124t Educao Secundria e Formao
padres de domnio, 4748, 49t de Docentes (MESyFOD), 97
Pas Basco, 124t Programa Internacional de Avaliao
pases rabes, padres de frequncia de Alunos (PISA), 129-137
escola nos, 79 comparao com o TIMSS, 69,
Pases Baixos, 124t, 129, 128t, 133, 70-71t
136f, 137f constataes, 72, 90, 133-137
Palestina, 124t instrumentos, 42, 131-133
Paquisto, 14 marco de referncia da avaliao
Paraguai, 154, 155t, 156t, 157f do, 38-39
PASEC. Veja Programa de Anlise marco de referncia, 90, 129
dos Sistemas Educacionais da participantes, 69, 97, 130-131
CONFEMEN uso de dados do, 68, 74, 75-76
programas de prmios por Estabelecimentos Educacionais

desempenho, 21, 22, 107-110 Subvencionados, Chile), 107-110
projeto de uma avaliao nacional, Sri Lanka, 32, 48, 51, 88
2-4, 57-65 estudo de caso de, 102-105
Qatar, 127, 130 Suazilndia, 139, 145
Qunia, 48, 139, 146, 147f, 148 Sucia, 75, 124t, 129, 128t, 134f,
questes abertas na avaliao, 42, 136f, 137f
43q Sua, 75, 76, 134f, 136f, 137f
Quirguisto, 130 tabelas classicativas, 22, 35t, 73,
realizao de avaliao nacional, 2, 133
28-29, 55t Veja tambm classicao de
Reino Unido, 134f pontuaes de testes
Repblica Centro-Africana, 151 Tailndia, 122, 130, 136f, 137f
Repblica Dominicana, 14, 154, Taipei, 80t, 122, 124t, 127, 130
155t, 156t, 157f Tanznia, 139, 145, 146, 147
Repblica Eslovaca, 76, 124t, 128t, Tendncias Internacionais no
136f, 137f Estudo de Matemtica e Cincias
Repblica Tcheca, 75, 128t, 134f, (TIMSS), 119-123
136f, 137f comparado com o PISA, 69,
responsabilidade pela avaliao 70-71t
nacional, 26-27t, 55t constataes, 90, 122-123
Veja tambm Apndice A custo do, 82
Romnia, 124t, 128t marco de referncia, 90,
SACMEQ. 119-120
Veja Consrcio da frica motivao dos estudantes e, 34
Austral e Oriental para participantes, 69, 72, 99-101,
Monitoramento da Qualidade 122
da Educao SACMEQ e, 140-141
sanes e desempenho, 22, 33-34 uso de dados do, 68, 74-75
Seicheles, 139, 145, 146 teste-piloto, 5, 13, 28, 54, 59, 61,
Senegal, 149, 151 121
Serra Leoa, 24 Veja tambm pr-teste
Srvia, 124t, 136f, 137 testes e questionrios, aplicao de,
Sria, 122 30, 53, 55t, 81
Sistema de Medio da Qualidade Togo, 149, 151
da Educao (SIMCE), 85, treinamento de professores, 1, 6, 7,
107-110 14, 18, 20, 24, 38, 51, 64, 73, 74,
situao econmica e 104, 106, 111, 123, 149, 151,
aproveitamento dos alunos, 39, 152
63, 72, 76, 78, 90, 98, 103t, 108, durante o trabalho, 53, 98, 152
146, 157 Trinidad e Tobago, 127
SNED (Sistema Nacional de Tunsia, 80, 100, 122, 124t, 130,
Avaliao do Desempenho dos 133, 136f, 137
Turquia, 127, 128t, 130, 136f, 137f Venezuela, 154, 155t, 156t, 157f
Uganda, 39, 42, 88, 139 Vietn
estudo de caso de, 113-117 aproveitamento de professores
UNESCO, 139 no, 14, 39, 95
Unidade de Medio de Resultados contribuio para a formulao
Educacionais (UMRE), 97-99 de polticas no, 88
universidades e avaliao nacional, divulgao e uso de resultados
8, 12q, 25, 26t, 29, 74 no, 51
Uruguai estudo de caso do, 88, 9396
censo v. amostra, abordagens da exemplos de questes na
avaliao nacional no, 32, 33 avaliao nacional do, 10, 11q
contribuio para a formulao objetivos da avaliao nacional
de polticas no, 88 no, 17
divulgao e uso de resultados no, padres de desempenho no, 47
51 procedimentos estatsticos no, 48,
estudo de caso do, 88, 88, 97-99 88
objetivos da avaliao nacional Zmbia, 14, 19, 30, 139, 146, 147,
no, 21, 22 148
PISA, 131, 136f, 137f Zanzibar, 17, 139, 147
validade, 4, 5, 13, 34, 44, 51, 61, Zimbbue, 139, 140, 141, 145,
64, 76, 86 146f, 147, 148

1 PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

1 PDF

Uploaded by

Copyright:

Available Formats

Public Disclosure Authorized Public Disclosure Authorized Public Disclosure Authorized Public Disclosure Authorized

Consulte tambm nosso catlogo

2 AVALIAES NACIONAIS DE APROVEITAMENTO

3 POR QUE REALIZAR UMA AVALIAO NACIONAL? 17

4 DECISES ENVOLVIDAS NUMA AVALIAO NACIONAL 23

5 QUESTES ENVOLVIDAS NAS FASES DE PROJETO,

6 AVALIAES INTERNACIONAIS DO APROVEITAMENTO

A ESTUDOS DE CASO DE PASES 91

B ESTUDOS INTERNACIONAIS 119

2.1 Etipia: Objetivos da Avaliao Nacional 11

3.1 O Hiato no Aproveitamento entre Alunos de 9 Anos nos Estados

2.1 Diferenas entre Avaliaes Nacionais e Exames Pblicos 16

CONFEMEN Conferncia dos Ministros da Educao dos Pases de

e internacionais. Este livro introdutrio descreve os principais conceitos

Outra variante a avaliao subnacional, limitada a uma regio (esta-

ou avaliadores e sobre a pontuao manual das questes. A segunda par-

comunicados de imprensa, de sesses de informao para os principais

com fatores como caractersticas das famlias, nveis de formao dos

mudana na avaliao da qualidade, tirando o foco dos insumos educa-

Todas as avaliaes nacionais procuram respostas para uma ou mais

yComo est o aprendizado dos alunos no sistema educacional (com

A maioria dessas questes foi levada em conta durante o processo de

Etipia: Objetivos da Avaliao Nacional

Exemplo de Questes Abordadas na Avaliao Nacional do Vietn

Questes Relativas a Insumos

y Quais as caractersticas dos alunos da 5 srie?

y Qual o estado geral dos edifcios escolares?

Questes Relativas a Padres de Facilidades Educacionais

y Foram cumpridas as normas do Ministrio em relao a:

Mobilirio da sala de aula?

Qualificaes dos membros da equipe?

Questes Relativas Equidade dos Insumos para as Escolas

y Houve equidade na distribuio dos recursos entre as provncias e entre escolas

Insumos de recursos materiais?

Insumos de recursos humanos?

Questes Relativas ao Aproveitamento

y Qual o percentual de alunos que atingiram os diferentes nveis de habilidade em

y Qual o nvel atingido pelos professores da 5a srie em leitura e matemtica?

Questes Relativas a Influncias sobre o Aproveitamento

y Quais os principais fatores que explicam a varincia no aproveitamento em leitura

y Quais as principais variveis em que se diferenciaram as escolas mais eficazes e

Fonte: Banco Mundial, 2004.

QUAIS SO OS PRINCIPAIS ELEMENTOS

Embora as avaliaes nacionais possam variar na forma como so imple-

Principais Elementos de uma Avaliao Nacional

y O Ministrio da Educao nomeia um rgo implementador no mbito do minis-

y O Ministrio da Educao determina necessidades de polticas que devem ser

y O Ministrio da Educao, ou uma comisso de coordenao nomeada por ele,

y O Ministrio da Educao determina a rea de aproveitamento a ser avaliada (por

y O rgo implementador define a rea de aproveitamento e a descreve em funo

y O rgo implementador prepara provas de aproveitamento e material de apoio

y As provas e os documentos de apoio so previamente testados pelo rgo

y O rgo implementador seleciona a amostra-alvo (ou populao-alvo) de escolas

y O rgo implementador treina aplicadores de provas (por exemplo, professores,

y Os instrumentos da pesquisa (provas e questionrios) so aplicados nas escolas

y O rgo implementador assume a responsabilidade pela coleta dos instrumentos

y O rgo implementador estabelece a confiabilidade dos instrumentos de avalia-

y O rgo implementador procede anlise dos dados.

y Verses preliminares dos relatrios so preparadas pelo rgo implementador e

y Os relatrios finais so preparados pelo rgo implementador e divulgados pela

y O Ministrio da Educao e outros interessados relevantes revisam os resultados

Ao tentar realizar uma avaliao nacional, os pases de baixa renda

QUAIS AS DIFERENAS ENTRE AVALIAO NACIONAL

RPIDO ESCURO

PESADO VELHO_