Reynaldo Fernandes

Universidade de So Paulo - USP

 Avaliao Educacional: aspectos gerais Avaliao na Educao Bsica no Brasil Importncia e limites da Avaliao para fins de Accountability

 Avaliao: Ao ou efeito de atribuir valor ou mrito alguma coisa Avaliao de Programas: Medir os impactos (resultados) do programa no envolve juzo de valor Julgar esses impactos - envolve juzo de valor

 Avaliao educacional: est relacionada idia de medir e julgar resultados educacionais Pode estar interessada em resultados passados ou mesmo buscando inferir resultados futuros

Idia de focar resultados independe da avaliao ter por base indicadores de aprendizagem propriamente ou indicadores de insumos e processos

usando indicadores de resultados

usando indicadores de insumos e processos

 Independente de se usar indicadores de aprendizagem ou indicadores de insumos e processos, a discusso sobre avaliao educao se d em dois nveis de anlise: Conceitual: o que medir, ou seja, quais so os principais resultados que devemos esperar da escola. Tcnico-operacional: como medir, ou seja, como obter os indicadores para medir tais resultados.

1. Diagnstico incio do processo (sistemas, escolas e alunos) 2. Credenciamento, Seleo e Accountability final do processo (avaliao somativa) 3. Aprimoramento das escolas, cursos ou instituies durante o processo (avaliao formativa) 4. Para fins administrativos (promoes, regulao etc)

 Duas medidas de interesse: Aferir o aprendizado do estudante Aferir a contribuio da escola para o aprendizado

Base para os Modelos de Valor Adicionado

 Avaliaes Somativas
Indicadores de aprendizagem (exames) Indicadores de Fluxo (aprovao, reprovao e abandono) Principal resultado esperado da escola: o aprendizado dos alunos e no tempo correto No h indicadores de valor adicionado para a educao bsica

 Principais Exames
SAEB Exame amostral com base na TRI para efeitos de diagnstico do sistema Prova Brasil Exame censitrio com base na TRI para fins de accountability ENEM Exame clssico e de carter voluntrio para efeitos de credenciamento, diagnstico e accountability

 Principais Exames (continuao)

Encceja Exame voluntrio com base na TRI para efeitos de credenciamento/certificao Provinha Brasil Exame voluntrio, aplicado pelas escolas, para efeitos de diagnstico dos alunos

Avaliao para fins de Accountability

 O termo accountability tem sido traduzido como transparncia, responsabilizao, rendio de contas e outros. A idia principal dos atuais programas de accountability educacional consiste em considerar no apenas os alunos, mas escolas, professores, diretores e gestores como responsveis pelo desempenho dos estudantes

 Os programas buscam criar um sistema de incentivos para que os responsveis pela educao dos estudantes moldem suas aes com o objetivo de que seus alunos obtenham bons resultados nos exames No se deve confundir responsabilidade (ter de prestar contas) com culpa (ato ou omisso repreensvel)

 Um sistema de accountability envolve: Exames padronizados em carter universal Ampla divulgao dos resultados Pode ter, ou no, recompensas e sanes atreladas aos resultados. Diferentes sistemas diferem no tipo de exame utilizado, na forma de divulgao dos resultados e nos esquemas de prmios/sanes subjacentes.

1. Accountability gera um sistema de incentivos para a melhoria da qualidade de ensino

2. Pode desfazer certas percepes equivocadas sobre o desempenho da escola

3. Um sistema de prmios/sanes pode aumentar os incentivos para a melhoria

1. Distoro de incentivos; 2. Gaming 3. Medidas sujeitas a erros sistemticos e aleatrios

 Raymond e Hanushek (2003) As evidncias existentes sobre sistemas estaduais de accountability indicam que seu uso leva a um aumento da proficincia dos estudantes. Estados que introduziram sistemas de accountability tendem a mostrar um aumento mais rpido na proficincia durante os anos 90, quando comparados aos estados que no introduziram tais medidas. (.....). Na comparao entre os estados, sabemos tambm que atrelar conseqncias performance nos exames produz melhores resultados.

 Exemplo: Chicago Brian Jacob (2002) Ano de implementao: 1996 Testes anuais de leitura e matemtica aos alunos da 3a, 6a e 8a sries (Iowa Test of Basic Skills ITBS). Fim da promoo social: alunos da 3a, 6a e 8a sries so requeridos a atingir um padro mnimo nos testes para serem promovidos. Caso no atinjam o padro mnimo, os alunos so obrigados a freqentar seis semanas de curso de vero e, ento, realizarem novos exames. Em caso de novo fracasso eles so retidos na srie.

 Escolas com menos de 15% dos alunos com proficincia acima da mdia nacional so colocadas em estgio de provao, o que envolve um aumento da fiscalizao. Escolas em estgio de provao que no apresentem uma melhora suficiente podem ser reconstitudas, com professores e dirigentes sendo remanejados ou demitidos.

Fonte: Jacob (2002)

Fonte: Jacob (2002)

Fonte: Jacob (2002)

 Em um sistema de Accountability as escolas so avaliadas com base no desempenhos de seus alunos nos exames externos. Dado que o desempenho nesses exames produz conseqncias para escolas e estudantes, eles acabam por orientar o currculo e o programa de ensino.

 Exames de final de ciclo deveriam ser baseados em um currculo padro ou nos conhecimentos e habilidades consideradas desejveis ao final do ciclo? Num sistema descentralizado - como o do Brasil, onde no h um currculo nico centrar o exame em conhecimentos e habilidade consideradas desejveis ao final do ciclo parece ser a sada. Como definir tais conhecimentos e habilidades?

 Exames baseados nos conhecimentos e habilidades consideradas desejveis podem afetar a estrutura curricular, mas a matriz de referncia de uma prova no currculo Uma avaliao somativa pode aferir a aquisio de conhecimentos e habilidades, mas no d o caminho para se obter tais conhecimentos e habilidades

 O fato de algo no ser cobrado nos exames no significa que ele no seja importante. Exemplo: Lngua Portuguesa Se o objetivo proporcionar aos estudantes autonomia em leitura e escrita, o papel da avaliao seria medir diretamente tais habilidades. Portanto, questes especificas de gramtica, como anlise sinttica, no so includas. Isso no significa dizer, evidentemente, que gramtica no importante e que as escolas no devam ensin-la

 Esse um assunto polmico, mas acredito que no papel do avaliador (em um sistema descentralizado) definir um currculo ou programa de ensino. O impacto da avaliao deve ser apenas indireto. Se a avaliao parte de um currculo (ou programa de ensino) ela no serve para julgar a eficincia de currculos (programas de ensino) alternativos.

1. Mdia da pontuao dos estudantes em exames padronizados reflete tambm o status socioeconmico dos estudantes, alm da qualidade da escola. 2. Nota ajustada pelo status socioeconmico como uma medida de valor adicionado Gera rudo e produz ordenaes instavis 3. Variao da pontuao mdia entre dois perodos como uma medida de progresso O mesmo problema do item 2.

- O fato do desempenho dos estudantes no refletir apenas a qualidade da escola, mas tambm as condies socioeconmicas dos estudantes, no grave em sistemas de accountability baseados apenas na publicao de resultados. - O pblico interessado pode extrair o sinal de qualidade de uma escola, por exemplo, por compar-la com escolas prximas e/ou que possuem pblico similar.

- Esse no o caso, no entanto, para os programas de accountability forte. Para esses, a questo da medida de desempenho um elemento sensvel, j que as premiaes e/ou punies so automaticamente atreladas a ela. - Premiar ou penalizar escolas com base no perfil dos alunos que elas recebem, alm de ser injusto, pode trazer conseqncias indesejveis estrutura de incentivos implcita nos programas.

- Existe certo consenso na literatura que programas de accountability forte deveriam utilizar alguma medida de valor adicionado - Entretanto, no h consenso sobre a melhor forma de fazer isso - Nova Iorque apresenta uma sada interessante. Comparar apenas escolas prximas, com base em um indicador socioeconmico das escolas - Atendimento de metas pode ser outra sada.

Taxa de promoo Srie 1 Srie (Fundamental) 2 Srie (Fundamental) 3 Srie (Fundamental) 4 Srie (Fundamental) 5 Srie (Fundamental) 6 Srie (Fundamental) 7 Srie (Fundamental) 8 Srie (Fundamental) 1 Srie (Mdio) 2 Srie (Mdio) 3 Srie (Mdio)
Fonte: MEC/INEP

Taxa de evaso

1981 1991 1996 2000 2003 2004 1981 1991 1996 2000 2003 2004 40.0 51.1 57.5 62.8 70.1 68.5 2.0 1.0 1.0 1.0 1.0 1 65.2 60.3 70.3 73.7 76.9 75.2 6.6 4.6 2.5 3.8 3.5 3.6 69.0 68.3 75.5 77.5 80.1 79.8 9.3 6.9 3.2 4.9 4.8 4.4 67.9 67.5 75.4 79.4 85.0 77.0 14.2 11.4 7.7 5.8 1.4 7.4 55.0 52.2 61.4 68.1 68.4 66.0 12.4 10.0 7.9 7.1 8.7 8.6 60.7 59.1 67.5 73.9 71.9 69.5 10.3 9.6 65.4 64.6 73.5 76.5 74.8 72.2 8.4 8.1 65.3 65.8 75.1 74.7 72.0 67.3 15.0 13.2 54.2 50.5 61.5 64.5 62.6 57.9 11.8 68.9 66.5 75.2 75.0 73.7 64.8 7.4 68.9 66.5 75.2 75.0 74.0 82.2 7.4 8.4 5.5 5.5 8.2 6.6 8.5 6.4 9.9 9.4 9.8 10

9.4 10.1 12.5 14.4 7.8 10.9 10.4 12.4 4.5 7.8 7.8 10.9 4.5 7.8 6.8 3.4

IDEB j

N j Pj

Indicador sinttico que combina informaes de desempenho - N (proficincia mdia dos alunos na Prova Brasil / SAEB) e de rendimento escolar - P (taxa mdia de aprovao na etapa de ensino)

IDEB - 2a fase do Ensino Fundamental IDEB atual Meta para IDEB (2025) 3.5 6 6.5 7 Proficincia em Matemtica Mdia no SAEB 239.5 308.6 325.7 342.8 Mdia correspondente no PISA* OCDE Reino Unido Holanda Posio correspondente no PISA* 42 25 19 4 Tempo para Convergncia (IDEB=9.9) 102 85 71 * PISA 2003

10 9 8 7 6 5 4 3 2 1 0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49

IDEB 2021 IDEB 2005 Tempo

Esforo necessrio

IDEB
10 9 1 0 3 2 6 5 4 8 7

2005 2010 2015 2020 2025 2030

Brasil IDEB_1: 5.0 IDEB_2: 6.8

IDEB BR: 6.0

2035 2040 2045 2050 2055 2060 2065 2070

ano Estado 1 Estado 2

2075 2080 2085 2090 2095