UNIVERSIDADE ESTADUAL DE CAMPINAS

INSTITUTO DE ESTUDOS DA LINGUAGEM

Monica Panigassi Vicentini

EXAME NACIONAL DO ENSINO MDIO:

A RELEVNCIA DE PESQUISAS EMPRICAS SOBRE VALIDADE E EFEITOS
RETROATIVOS

Campinas
2011

Monica Panigassi Vicentini

EXAME NACIONAL DO ENSINO MDIO:

A RELEVNCIA DE PESQUISAS EMPRICAS SOBRE VALIDADE E EFEITOS
RETROATIVOS

Monografia apresentada ao Instituto de Estudos da

Linguagem da Universidade Estadual de Campinas
como requisito parcial para a obteno do ttulo de
Licenciado em Letras Portugus

Orientador: Prof Dr Matilde Virginia Ricardi

Scaramucci

Campinas
2011

A Deus, pela graa de concluir um

sonho. Ao Leonardo, que foi a
inspirao

de

toda

minha

graduao. Aos meus amigos, que

me emprestaram seus ouvidos e
ombros. minha psicloga, que me
ajudou a sair de um dos momentos
mais tristes de minha vida.

Agradecimentos

A Deus, pela oportunidade e graa de realizar um sonho.

Profa. Dra. Matilde Virgnia Ricardi Scaramucci, pela orientao,

pacincia e indicao de uma rea de pesquisa que me encantou.

s professoras Maria Ceclia dos Santos Fraga e Claudia Hilsdorf Rocha,

por aceitarem fazer parte de minha banca de monografia e colaborarem com a
finalizao deste trabalho.

Ao meu pai, Argileu, e minha irm, Patrcia, por suportarem toda minha
tenso e temperamento sensvel.

Aos meus familiares, que me incentivaram e acreditaram no meu potencial

durante todos os anos de graduao.

Aos meus alunos, por acompanharem com pacincia a feitura deste trabalho,
muitas vezes esperando suas notas por mais de duas semanas.

Aos meus amigos de infncia, de faculdade, de van, de colgio, de bairro, de

igreja, de intercmbios, de trabalho, de aulas de latim e de tantos outros lugares, que
foram peas fundamentais para o meu equilbrio na concluso deste trabalho.

Por fim, e com lgrimas nos olhos, minha me, Maria Ignez, e ao meu
eterno namorado, Leonardo, que foram minha inspirao e vida; que, mesmo distantes,
me deram a fora que eu precisava para a conquista deste sonho; e que, eu sinto, esto
sorrindo orgulhosos neste momento.

Como professor no me possvel ajudar o educando a superar sua

ignorncia se no supero permanentemente a minha.
(Paulo Freire)

RESUMO

O presente trabalho procura salientar a relevncia de estudos sobre validade e efeito

retroativo no que diz respeito ao Exame Nacional do Ensino Mdio, o ENEM, antigo
exame externo de rendimento do alunado do Ensino Mdio. Em 2009, ele muda de
funo e proposto a diversas universidades federais como um exame de entrada, sem
que houvesse uma reflexo adequada sobre essas mudanas. Nessa nova funo, o
ENEM passa a ser um exame de alta relevncia, com o poder de decidir pelo ingresso e,
consequentemente, pelo futuro de milhares de candidatos que prestam a prova, alm de
poder direcionar o ensino mdio. O que pretendo mostrar, atravs de uma anlise dos
documentos oficiais do Ministrio da Educao sobre o exame que no h dados de
estudos empricos que comprovem sua validade e nem que mostrem em que medida os
efeitos positivos no ensino mdio so alcanados.

Palavras-chave: validade, efeito retroativo, ENEM, exame de rendimento, exame de

entrada

ABSTRACT

The present work aims at emphasizing the relevance of validity and washback studies
concerning the Brazilian High School National Examination (ENEM), a high school
achievement test that has become an entrance examination to federal universities since
2009, without properly reflection and discussion by experts in the subject. With this
new function, the examination (ENEM) becomes a high stake test, getting the power of
deciding on the entrance, and, consequently, on the future of thousands of applicants.
Besides that, it is a potential method to change the curriculum of high school. What it is
intended to show, by analyzing Governments official documents, websites and a few
researches on the subject, is that there arent empirical studies to accumulate evidences
about the validity of the test, neither researches that present in which extent there is a
positive washback in high school teaching and learning.

Keywords: validity, washback, ENEM, achievement test, entrance examination

LISTA DE FIGURAS
Figura 1 Portal do Instituto Nacional de Estudos e Pesquisas Ansio Teixeira....................... 42
Figura 2 Portal do Ministrio da Educao ............................................................................. 43
Figura 3 Portal do Exame Nacional do Ensino Mdio ............................................................ 44
Figura 4 Pgina no Portal do Instituto Nacional de Estudos e Pesquisas Ansio Teixeira...... 45

LISTA DE SIGLAS
ANDIFES - Associao Nacional dos Dirigentes das Instituies Federais de Ensino
Superior
CNE - Conselho Nacional de Educao
CONSED - Conselho Nacional de Secretrios de Educao
ENEM Exame Nacional do Ensino Mdio
ENCCEJA - Exame Nacional para Certificao de Competncias de Jovens e Adultos
ENC - Exame Nacional de Cursos
ENADE - Exame Nacional de Desempenho de Estudantes
FUVEST Fundao Universitria para o Vestibular
IELTS - International English Language Testing System
IFES Instituies Federais de Ensino Superior
INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira
LDB - Lei de Diretrizes e Bases da Educao Nacional
MEC - Ministrio da Educao
PCN Parmetros Curriculares Nacionais
PROUNI - Programa Universidade para Todos
REM - Reforma do Ensino Mdio
SAEB - Sistema de Avaliao do Ensino Bsico
SARESP - Sistema de Avaliao de Rendimento Escolar do Estado de So Paulo
TOEFL Test Of English as a Foreign Language
TRI - Teoria da Resposta ao Item
UEL - Universidade Estadual de Londrina
UFPR - Universidade Federal do Paran
UFRGS Universidade Federal do Rio Grande do Sul
UNICAMP Universidade Estadual de Campinas
VUNESP - Fundao para o Vestibular da Universidade Estadual Paulista

LISTA DE TABELAS

Tabela 1 Resumo dos contrastes entre as concepes de validao tradicional e contempornea ..... 25

SUMRIO
Introduo ............................................................................................................................... 12
Exame Nacional do Ensino Mdio ........................................................................................ 15
O antigo ENEM .................................................................................................................... 15
O novo ENEM ...................................................................................................................... 18
Fundamentao terica .......................................................................................................... 26
Validade/ validao de testes ................................................................................................ 27
Efeito retroativo de testes...................................................................................................... 31
ENEM: anlise dos dados ...................................................................................................... 38
Notcias ................................................................................................................................. 39
Portais na internet ................................................................................................................. 42
Documentos oficiais.............................................................................................................. 45
Pesquisas ............................................................................................................................... 50
Consideraes finais ............................................................................................................... 58
Referncias Bibliogrficas ..................................................................................................... 60
Anexos ...................................................................................................................................... 65

12

INTRODUO

Entre os estudos e pesquisas no contexto de avaliao na rea de Lingustica

Aplicada, no h mais dvidas quanto importncia de ser dar ateno especial
validade/ validao dos mais variados testes, bem como aos efeitos retroativos/
impactos que eles podem exercer no ensino que os precede. Comprova-se essa
importncia pelo nmero de pesquisas que vem crescendo no exterior e tambm no
Brasil acerca de ambos os conceitos (Hughes (1989); Messick (1989); Bachman (1990);
no Brasil, Gimenez (1999), Scaramucci (2000, 2002, 2004a, 2004b, 2005, 2009), entre
outros).
Questiona-se, neste trabalho, a escassa preocupao com validade e efeito
retroativo no que se refere aos vrios exames nacionais, como ENEM (Exame Nacional
do Ensino Mdio), PROVA BRASIL, ENCCEJA (Exame Nacional para Certificao de
Competncias de Jovens e Adultos), antigo ENC (Exame Nacional de Cursos), que deu
lugar ao ENADE (Exame Nacional de Desempenho de Estudantes), ou estaduais, como
o SARESP (Sistema de Avaliao de Rendimento Escolar do Estado de So Paulo).
Como apontado por Scaramucci (2004),

[...] exames so inseridos e descartados sem que uma anlise e avaliao

criteriosa de seus efeitos sejam realizadas, o que de se lamentar,
considerando-se os recursos de natureza diversa mobilizados para seu
desenvolvimento e implementao (2004: 294).

Ao contrrio de exames internacionais como o TOEFL ou IELTS, que

apoiam pesquisas para manter e melhorar sua qualidade, no se encontram disponveis,
por parte dos organizadores e elaboradores dos exames brasileiros, pesquisas empricas
para averiguao de sua validade e seus efeitos. As pginas e documentos oficiais
destinados a esses exames carecem desse tipo de informao. Entre eles encontram-se
objetivos, resultados, notas, estatsticas, grficos, etc., porm, no so disponibilizadas
quaisquer pesquisas desenvolvidas envolvendo esse questionamento.
No caso do ENEM, referncias validade ou aos seus efeitos na sociedade
tornam-se ainda mais necessrias em um momento de diversas mudanas relacionadas
sua configurao e aplicao. Desde 2009, a prova vem sendo aplicada como

13

modalidade nica1 de acesso ao ensino superior e, ao mesmo tempo, trazendo consigo

diversas crticas de professores, alunos, mdia etc.
Este trabalho prope-se a mapear documentos e estudos conduzidos sobre o
ENEM, visando apresentar evidncias (ou a falta delas) de preocupao com relao
validade e aos os efeitos retroativos que essa prova pode exercer no processo ensino/
aprendizagem. O objetivo de analisar os documentos oficiais e estudos tericos, alm de
buscar informaes sobre as configuraes do exame, foi verificar se eles prezavam por
informaes com referncia a esses conceitos. Portanto, o questionamento que direciona
este trabalho : os documentos oficiais e estudos tericos sobre o ENEM mostram
preocupao com conceitos como validade ou efeito retroativo que o exame pode
exercer na sociedade?
Para responder essa questo, prope-se uma pesquisa de natureza
documental e bibliogrfica. Por um lado, so apresentados estudos sobre efeito
retroativo e validade para sua melhor conceitualizao (MCNAMARA, 2000; BAILEY,
1999; CHAPELLE, 1999; GIMENEZ, 1999; SCARAMUCCI, 1998b, 1999c, 2002;
MESSICK, 1996, 1989; ALDERSON & WALL, 1993; BACHMAN, 1990; HUGHES,
1989) e estudos recentes que indicam a importncia de maiores investigaes desses
temas (CORREIA, 2003; BARTHOLOMEU, 2002; AVELAR; 2001). Por outro, so
analisados os portais do INEP, do MEC e do prprio ENEM, alm dos seguintes
documentos do Ministrio da Educao: Matriz de Referncia para o ENEM 2009
(BRASIL, 2009); Cartilha do aluno (BRASIL, 2007/2008); Manual do Inscrito e
Questionrio Socioeconmico (BRASIL, 2007), Relatrio Pedaggico (BRASIL,
2007); Fundamentao Terico-Metodolgica (BRASIL, 2005); Documento Bsico
(BRASIL, 2001/2002); e, da mesma forma, os seguintes estudos sobre o ENEM: Fisher
(2011/ 2009); Gomes e Borges (2009); Zirondi e Nascimento (2005); Vianna (2003) e
Mildner e Silva (2002). Conforme Lankshear e Knobel (2008), a pesquisa baseada em
documentos constri interpretaes para identificar ou dar estrutura a significados
atravs dos textos. No caso de pesquisas na rea educacional, o corpus deve incluir
documentos sobre polticas educacionais (p. 106).

Atravs do Sisu, Sistema de Seleo Unificada, que um sistema informatizado, gerenciado pelo MEC,
as instituies pblicas de ensino superior oferecem vagas para candidatos participantes do Enem.
Disponvel em http://sisu.mec.gov.br/sisu. Acesso em 7 de fevereiro de 2012.

14

Este trabalho est organizado em quatro partes: a parte 1 conta com uma
introduo e uma breve apresentao do Exame Nacional do Ensino Mdio. Na parte 2,
discutem-se os conceitos de validade e efeito retroativo. Na parte 3, apresenta-se a
anlise documental e bibliogrfica no contexto de avaliao sobre o ENEM. Na parte 4,
so feitas as consideraes finais.

15

1. EXAME NACIONAL DO ENSINO MDIO

O Exame Nacional do Ensino Mdio (ENEM) objeto de discusses de

pesquisadores e educadores2 desde sua primeira edio, em 1998, quando props uma
prova baseada em interpretao de textos, que, segundo seus proponentes, estabeleceria
o fim da decoreba. Passados quatorze anos, a prova ainda tema de discusses,
especialmente aps o ano de 2009, quando o ENEM, alm de modalidade alternativa ou
complementar aos vestibulares, foi designado modalidade nica de acesso s
instituies federais de ensino superior que adotaram o exame como nica fase.
interessante apontar que a importncia dada leitura e ao fim da
decoreba j era o foco de vestibulares como o da Universidade Estadual de Campinas
desde 19873.

Esse vestibular introduziu questes dissertativas, com o objetivo de

desencorajar a memorizao de frmulas e prticas mecnicas, procurando
selecionar um perfil de aluno desejvel pela universidade e promover
interao com o ensino mdio (SCARAMUCCI, 1999: 9).

As subsees abaixo procuram apresentar as configuraes do exame em

seus dois diferentes moldes.

1.1.

O ANTIGO ENEM

O ENEM contou com uma mesma estrutura durante suas primeiras onze
edies (1998-2008), sendo aplicado em mbito nacional e com carter voluntrio.
Como um exame externo de rendimento a ser realizado no final do ensino
mdio, avaliava o aprendizado dos anos de Ensino Mdio em uma proposta diferente de

Notcias e pesquisas sobre o ENEM sero apresentadas na parte 3 deste trabalho.

Disponvel em http://www.comvest.unicamp.br/vest2010/manual/historia.html. Acesso em 14 de

outubro de 2011.

16

outras avaliaes j estabelecidas pelo MEC. Segundo seus proponentes, priorizou-se,

desde o incio, uma prova com itens4 voltados para a leitura/ interpretao e soluo de
problemas, para avaliar o desempenho do aluno, procurando aferir o desenvolvimento
de competncias e habilidades fundamentais ao exerccio pleno da cidadania
(BRASIL, 2001: 5).
O exame, por meio de situaes-problema, propunha no avaliar somente
conhecimentos, o objetivo era a valorizao da capacidade de agir eficazmente em um
determinado tipo de situao, apoiando-se em conhecimentos, mas sem limitar-se a
eles (PERRENOUD apud AMORIM, 2011), isto , a capacidade do aluno de colocar
em funcionamento seus conhecimentos para proceder nas mais diversas circunstncias.
As habilidades se relacionariam diretamente a essa capacidade, porque so referentes ao
uso dessas competncias na prtica. Nessa prova, procurava-se identificar a autonomia
de julgamento e de atitudes do candidato frente s situaes mais prximas possveis do
real, com nfase na aferio das estruturas mentais e no apenas na memria (BRASIL,
2005: 7).

Competncias so as modalidades estruturais da inteligncia, ou melhor,

aes e operaes que utilizamos para estabelecer relaes com e entre
objetos, situaes, fenmenos e pessoas que desejamos conhecer. As
habilidades decorrem das competncias adquiridas e referem-se ao plano
imediato do saber fazer. Por meio das aes e operaes, as habilidades
aperfeioam-se e articulam-se, possibilitando nova reorganizao das
competncias (BRASIL, 2002: 5).

[...] a situao-problema prope uma forma de interao do aluno com uma

questo a ser resolvida, no como se ele fosse uma mquina, mas uma
pessoa. A situao problema, por seu enunciado, cria um contexto que
formula uma alterao a ser examinada pelo aluno. O contexto do enunciado
expressa-se pela forma e contedos de sua proposio. (BRASIL, 2005:32)5.

Procurando aferir as competncias e habilidades, por meio de situaesproblema, o exame contava com uma prova de redao, de carter dissertativo4

Os itens das provas so formulados e revisados por interessados em se cadastrarem e participarem de

evento de capacitao como elaboradores e revisores. Seus itens integram um Banco Nacional de Itens,
constitudo pelo INEP, com o intuito de aumentar a participao da comunidade acadmica brasileira.
Disponvel em http://portal.inep.gov.br/banco-nacional-de-itens. Acesso em 14 de novembro de 2011.
5

Em um dos relatrios pedaggicos disponibilizados pelo INEP (BRASIL, 2007) encontra-se um estudo
do impacto das variveis socioeconmicas no desempenho, caracterizando os participantes do ENEM.

17

argumentativo, a partir de uma proposta de ordem social, cientfica, cultural ou poltica;

e mais sessenta e trs questes de mltipla escolha das reas de Lngua Portuguesa,
Histria, Geografia, Qumica, Matemtica, Fsica e Biologia, avaliadas de maneira
interdisciplinar, ou seja, cada questo poderia conter a unio de diferentes disciplinas
para sua resoluo. Cem pontos eram os valores de cada parte da prova redao e
questes de acordo com a Matriz de Competncias.
A matriz foi elaborada para definir pressupostos e delinear caractersticas
operacionais do exame (BRASIL, 2001). Ela se referia s possibilidades totais da
cognio humana na fase de desenvolvimento prprio aos participantes do ENEM
(BRASIL, 2001).

Para estruturar o exame, concebeu-se uma matriz com a indicao de

competncias e habilidades associadas aos contedos do ensino fundamental
e mdio que so prprias ao sujeito na fase de desenvolvimento cognitivo,
correspondente ao trmino da escolaridade bsica. Tem como referncia a
LDB, os Parmetros Curriculares Nacionais (PCN), a Reforma do Ensino
Mdio, bem como os textos que sustentam sua organizao curricular em
reas de Conhecimento, e, ainda, as Matrizes Curriculares de Referncia
para o SAEB (BRASIL, 2001: 5).

A matriz indicava cinco diferentes competncias, tanto para a parte objetiva

quanto para a redao (BRASIL, 2001: 8):
I.

Dominar a norma culta da Lngua Portuguesa e fazer uso das linguagens

matemtica, artstica e cientfica.

II.

Construir e aplicar conceitos das vrias reas do conhecimento para a

compreenso de fenmenos naturais, de processos histrico-geogrficos,
da produo tecnolgica e das manifestaes artsticas.

III.

Selecionar, organizar, relacionar, interpretar dados e informaes

representados de diferentes formas, para tomar decises e enfrentar
situaes-problema.

IV.

Relacionar informaes, representadas em

diferentes formas,

conhecimentos disponveis em situaes concretas, para construir

argumentao consistente.

18

V.

Recorrer aos conhecimentos desenvolvidos na escola para elaborao de

propostas de interveno solidria na realidade, respeitando os valores
humanos e considerando a diversidade sociocultural.
Somadas a essas competncias, vinte e uma habilidades6 eram designadas

como aquelas que todos os candidatos deveriam demonstrar em seus resultados, ou seja,
referiam-se ao seu saber fazer. O documento Cartilha do Aluno (2007), nove anos
aps a primeira edio do exame, mencionava e priorizava esse mesmo modelo de
prova.

O Exame Nacional do Ensino Mdio ENEM trouxe novas luzes s

concepes de avaliao existentes no Ministrio da Educao e nas
instituies de ensino. Os reflexos da introduo, pelo Enem, de um modelo
de prova diferenciado j comearam a aparecer em diversos processos
seletivos para ingresso no ensino superior e nas aferies de desempenho
escolar. Os conceitos de competncias e habilidades ocupam papel de
destaque nas discusses sobre educao. (BRASIL, 2007: 4).

Entre os objetivos especficos do exame, o Instituto Nacional de Estudos e

Pesquisas Educacionais (INEP), responsvel pela elaborao e correo do exame,
tambm propunha que o ENEM fosse referncia para autoavaliao e modalidade
alternativa ou complementar aos processos de seleo, tanto para o mercado de trabalho
quanto para os exames de acesso a cursos profissionalizantes e ensino superior
(BRASIL, 2001). Tambm passou a agregar uma diferente funo a partir de 2004,
quando o MEC decidiu que o exame seria pr-requisito para o oferecimento de bolsas
parciais ou integrais em instituies de ensino superior privadas do Programa
Universidade para Todos (PROUNI)7, aumentando ainda mais sua importncia e status.

1.2.

O NOVO ENEM

Vide anexo 1.

Disponvel em
http://prouniportal.mec.gov.br/index.php?option=com_content&view=article&id=124&Itemid=140.
Acesso em 21 de novembro de 2011.

19

O exame passou a ser chamado Novo ENEM em 2009, quando o INEP

props forma e objetivos modificados para o exame. Entre essas mudanas, o
estabelecia como modalidade nica de acesso ao ensino superior nas universidades
pblicas federais.
Segundo as publicaes nas Portarias n 109 de 27 de maio de 2009 e 807
de 18 de junho de 20108, o INEP constituiu como objetivos do ENEM tornar-se:

1.
Referncia para a auto-avaliao do participante com vistas
continuidade de sua formao e insero no mercado de trabalho;
2.
Modalidade nica, alternativa ou complementar aos processos de
seleo nos diferentes setores do mundo de trabalho;
3.
Modalidade nica9, alternativa ou complementar aos exames de
acesso aos cursos profissionalizantes, ps-mdios e Educao Superior;
4.
Possibilitar a participao e criar condies de acesso a programas
governamentais;
5.
Promover a certificao de jovens e adultos no nvel de concluso do
ensino mdio;
6.
Promover avaliao do desempenho acadmico10 das escolas de
ensino mdio, onde cada escola recebe o resultado global;
7.
Promover avaliao do desempenho acadmico11 dos estudantes
ingressantes nas Instituies de Ensino Superior;
8.
Promover estudos e indicadores sobre a educao brasileira.

As funes de nmeros 1, 4, 6, 7 e 8 j estavam inclusas nas edies

anteriores a 2009. As mudanas ocorridas esto indicadas nos itens 2 e 3, com o
acrscimo da funo modalidade nica, que no era mencionada, e no item 5, que
indica que o exame poder garantir a certificao de concluso do Ensino Mdio, caso o
candidato obtenha um desempenho satisfatrio. De acordo com a funo de
modalidade nica, o exame no pode mais ser considerado somente de rendimento e
desempenho, visto que seu resultado utilizado para decidir quanto ao acesso a uma
instituio de ensino superior, designando-o, assim, exame de acesso.
A partir das alteraes na configurao e na aplicao da prova, o exame
passou a ser aplicado em dois dias12 e se constituir de quatro provas13, contendo cada
8

Portaria
n
109
de
27
de
maio
de
2009.
Disponvel
em
http://www.enem.inep.gov.br/pdf/portaria_enem_2009_1.pdf. Acesso em 03 de novembro de 2010.
Portaria
n
807
de
18
de
junho
de
2010.
Disponvel
em
http://www.enem.inep.gov.br/pdf/portaria807_180610.pdf. Acesso em 03 de novembro de 2010.
9

Grifo meu.

10

Grifo meu.

11

Grifo meu.

20

uma delas quarenta e cinco questes objetivas de mltipla escolha com cinco
alternativas, versando sobre as vrias reas de conhecimento em que se organizam as
atividades pedaggicas da Educao Bsica no Brasil. No primeiro dia, noventa
questes objetivas e, no segundo, mais noventa questes objetivas, alm de produo de
um texto dissertativo-argumentativo em Lngua Portuguesa. As questes objetivas e a
redao, no entanto, ainda avaliam o mesmo modelo configurado em 1998: destinam-se
a avaliar as competncias e habilidades em situaes-problema, agora, porm, de acordo
com uma nova matriz.
Alterando a configurao do ENEM, o Ministrio da Educao (MEC)
objetivava permitir uma articulao entre os itens da prova e o currculo do Ensino
Mdio, possibilitar comparaes entre as provas ao longo do tempo, democratizar o
acesso ao ensino superior e reformular o currculo do Ensino Mdio, levando em
considerao, segundo palavras de Fernando Haddad, atual Ministro da Educao, que
os vestibulares nos moldes atuais prejudicam o ensino por meio da criao de cursos
preparatrios14. Para ele, o ENEM veio para ficar e enfraquecer esse sistema de
cursinhos, chamados por ele de anomalia brasileira.

uma anomalia brasileira em virtude de no termos alterado a tempo o

formato atual do vestibular. Ele prprio dessa anomalia. Com o novo
formato, penso que alguns vo se adequar e haver espao ainda para isso.
Mas o ensino mdio que ser o grande beneficiado, porque vai poder se
reestruturar de uma maneira muito mais adequada15.

O MEC est confiando no ENEM para criar maiores chances ao aluno da

escola pblica no que se refere ao acesso ao ensino superior. O projeto de lei para o

12

Disponvel
http://historico.enem.inep.gov.br/index.php?option=com_content&task=view&id=83&Itemid=125.
Acesso em 24 de fevereiro de 2011.

em

13

So estruturadas nas seguintes reas do conhecimento: Prova I - Linguagens, Cdigos e suas

Tecnologias e Redao; Prova II - Matemtica e suas Tecnologias; Prova III - Cincias Humanas e suas
Tecnologias; Prova IV - Cincias da Natureza e suas Tecnologias. Disponvel em http:
//www.enem.inep.gov.br. Acesso em 03 de novembro de 2010.
14

15

J existem cursos prepaatrios para o ENEM (vide pgina 40).

Disponvel em http://oglobo.globo.com/educacao/mat/2009/04/11/fim-do-vestibular-haddad-diz-quenovo-enem-veio-para-ficar-que-cursinho-anomalia-755234215.asp. Acesso em 10 de maio de 2011.

21

novo Plano Nacional da Educao (decnio 2011-2020)16, por exemplo, prev a

utilizao de um exame nacional do ensino mdio como critrio de acesso educao
superior e como sistema de avaliao da educao bsica.
A proposta feita aos dirigentes das instituies federais procurava informar
o porqu das alteraes feitas no ENEM, alm de indicar como ele poderia auxiliar o
MEC na busca pela democratizao do acesso ao Ensino Superior. No documento
reconhecida a importncia dos vestibulares como necessrios, honestos, justos,
imparciais e que diferenciam estudantes que apresentam conhecimentos, saberes,
competncias

e habilidades consideradas

importantes, porm,

ressalta-se o

favorecimento a candidatos com maior poder aquisitivo. Conforme suas afirmaes, um

processo nico de seleo, ainda centrado na avaliao de competncias e habilidades,
estabeleceria muitos ganhos, entre eles a democratizao das vagas (no sentido da
possibilidade de deslocamento dos candidatos pelo pas), relacionamento positivo entre
Ensino Mdio e Superior, alm de ter potencial para reestruturar os currculos do Ensino
Mdio.
Para isso, prope-se que o exame seja aplicado em dois dias, com nmero
razovel de itens de alta complexidade. Esses itens seriam pautados na nova matriz,
elaborados e revisados segundo critrios tcnicos e pedaggicos e, por fim, pr-testados.
A escala para aferio dos itens passa a ser Teoria da Resposta ao Item
(TRI)17, modelo que se baseia na aferio do grau de dificuldade de cada um dos itens
do banco de itens, calibrados por meio de pr-testes, em uma populao semelhante
quela do exame, ou seja, alunos do Ensino Mdio. Essa escala permite ordenar
candidatos de acordo com seu nvel de proficincia. Segundo o documento,

[...] espera-se, assim, que a reestruturao do ENEM atenda plenamente

demanda das IFES por um instrumento de alto poder preditivo de
desempenho futuro, capaz de diferenciar estudantes em diferentes nveis de
proficincia.

16

Disponvel em portal.mec.gov.br/index.php?option=com_docman&task. Acesso em 15 de outubro de

2011.
17

A TRI um conjunto de modelos matemticos que procuram representar a probabilidade de um

indivduo dar certa resposta a um item como funo dos parmetros do item e da habilidade (ou
habilidades) do respondente. Essa relao sempre expressa de tal forma que quanto maior a habilidade,
maior a probabilidade de acerto no item (ANDRADE, TAVARES & CUNHA, 2000: 7).

22

Quando a proposta de mudana foi feita, ressaltava-se que as orientaes

curriculares do exame seriam expressas de modo claro, intencional e articulado para
cada rea, bem como haveria uma preocupao em comportar um nmero de itens de
alta complexidade para discriminar altssima proficincia de alta proficincia [...]18.
Essas orientaes esto especificadas na atual Matriz de Referncias para o
19

Enem 2009 , e so descritas como objetos de conhecimento associados a ela. Para a

rea de Linguagem, Cdigos e suas Tecnologias so colocados oito tpicos e suas
descries20, entre eles: estudo do texto; estudo do texto literrio; estudo dos aspectos
lingusticos em diferentes textos; estudo do texto argumentativo, seus gneros e
recursos lingusticos; estudo dos aspectos lingusticos da lngua portuguesa e, estudo
dos gneros digitais.
A nova matriz de referncia postula cinco eixos cognitivos para todas as
reas de conhecimento, chamados competncias na matriz anterior a 2009 (BRASIL,
2009).

I.

Dominar linguagens (DL): dominar a norma culta da Lngua

Portuguesa e fazer uso das linguagens matemtica, artstica e
cientfica e das lnguas espanhola e inglesa.

II.

Compreender fenmenos (CF): construir e aplicar conceitos das

vrias reas do conhecimento para a compreenso de fenmenos
naturais,

de

processos

histrico-geogrficos,

da

produo

tecnolgica e das manifestaes artsticas.

III.

Enfrentar situaes-problema (SP): selecionar, organizar, relacionar,

interpretar dados e informaes representados de diferentes formas,
para tomar decises e enfrentar situaes-problema.

IV.

Construir argumentao (CA): relacionar informaes, representadas

em diferentes formas, e conhecimentos disponveis em situaes
concretas, para construir argumentao consistente.

18

Disponvel em portal.mec.gov.br/index.php?option=com_docman.html. Acesso em 24 de fevereiro de

2011.

19

Disponvel em http://www.inep.gov.br/download/enem/2009/Enem2009_matriz.pdf. Acesso em 03 de

novembro de 2010.
20

Vide anexo 2.

23

V.

Elaborar propostas (EP): recorrer aos conhecimentos desenvolvidos

na escola para elaborao de propostas de interveno solidria na
realidade, respeitando os valores humanos e considerando a
diversidade sociocultural.

As reas de conhecimento receberam ttulos diferenciados de acordo com

designaes dos Parmetros Curriculares Nacionais (PCN): Linguagens, Cdigos e suas
Tecnologias; Matemtica e suas Tecnologias; Cincias da Natureza e suas Tecnologias;
Cincias Humanas e suas Tecnologias. O que diferencia cada uma dessas reas um
nmero determinado de competncias e habilidades. A rea de Linguagens, Cdigos e
suas Tecnologias, por exemplo, que engloba as disciplinas de Artes, Educao Fsica,
Lngua Portuguesa e, tambm a partir de 2010, Lngua Estrangeira Moderna (Ingls ou
Espanhol), exige do candidato nove diferentes competncias, cada uma delas com suas
habilidades especficas, que ao todo so trinta21.

Competncia de rea 1 - Aplicar as tecnologias da comunicao e da

informao na escola, no trabalho e em outros contextos relevantes para sua
vida;

Competncia de rea 2 - Conhecer e usar lngua(s) estrangeira(s)

moderna(s) como instrumento de acesso a informaes e a outras culturas e
grupos sociais;

Competncia de rea 3 - Compreender e usar a linguagem corporal

como relevante para a prpria vida, integradora social e formadora da
identidade;

Competncia de rea 4 - Compreender a arte como saber cultural e

esttico gerador de significao e integrador da organizao do mundo e da
prpria identidade;

Competncia de rea 5 - Analisar, interpretar e aplicar recursos

expressivos das linguagens, relacionando textos com seus contextos,
mediante a natureza, funo, organizao, estrutura das manifestaes, de
acordo com as condies de produo e recepo;

Competncia de rea 6 - Compreender e usar os sistemas simblicos

das diferentes linguagens como meios de organizao cognitiva da realidade
pela constituio de significados, expresso, comunicao e informao;

Competncia de rea 7 - Confrontar opinies e pontos de vista sobre

as diferentes linguagens e suas manifestaes especficas;

Competncia de rea 8 - Compreender e usar a lngua portuguesa

como lngua materna, geradora de significao e integradora da organizao
do mundo e da prpria identidade;

Competncia de rea 9 - Entender os princpios, a natureza, a funo e

o impacto das tecnologias da comunicao e da informao na sua vida
pessoal e social, no desenvolvimento do conhecimento, associando-o aos
conhecimentos cientficos, s linguagens que lhes do suporte, s demais

21

Vide anexo 3.

24

tecnologias, aos processos de produo e aos problemas que se propem

solucionar.

A matriz referente ao ano de 2011 conta com uma atualizao no que se

refere incluso das competncias relacionadas redao e aos nveis de conhecimento
esperados22, exercendo a funo de grade de correo da prova.
Na pgina da ANDIFES aponta-se que foi criado um comit de segurana
para avaliar a fase de experincia em que se encontra o exame. No entanto, dentre as
informaes no h qualquer meno forma como sero analisados o impacto ou a
validade da prova.

A pedido da Associao Nacional dos Dirigentes das Instituies Federais de

Ensino Superior (Andifes) foi criado um Comit de Governana. O Comit
tem entre suas responsabilidades discutir e acompanhar a elaborao do novo
Enem e seu impacto no currculo do ensino mdio. Fazem parte do Comit de
Governana representantes do Inep, do Ministrio da Educao, da Andifes e
do Conselho Nacional de Secretrios de Educao (Consed). As principais
dvidas e sugestes sobre o Novo Enem esto sendo estudadas em reunies
desse Comit23.

O Documento Bsico (BRASIL, 2002) j mencionava um Conselho Tcnico

constitudo para fazer avaliao externa do trabalho da equipe tcnica do ENEM e um
Conselho Consultivo, que contava com representantes de vrias instituies, entre elas
do Conselho Nacional de Educao (CNE), responsvel por focalizar os efeitos sociais
e polticos dos resultados de sua aplicao (do ENEM) e a forma como so capazes de
sinalizar as mudanas desejveis na Educao (2002: 26).Embora, portanto, a
preocupao com seus efeitos esteja explicitada nos documentos, no h qualquer
documento disponibilizado nos sites do INEP ou do Ministrio da Educao (MEC) que
mostre como esses efeitos esto sendo pesquisados ou mesmo quais so eles. As nicas
informaes sobre o ENEM esto disponveis na Matriz de Referncia e nos portais do
MEC e do INEP.
Da mesma forma, necessrio mencionar que no h nesses mesmos portais
documentos oficiais ou relatrios pedaggicos referentes ao perodo posterior a 2009,
22

23

Vide anexo 4.

Disponvel em
http://www.andifes.org.br/index.php?option=com_content&task=view&id=1627&Itemid=104. Acesso
em 30 de outubro de 2011.

25

alm dos que so citados aqui. O ltimo Relatrio Pedaggico data de 2007, quando o
exame tinha outro propsito, como informamos anteriormente.
fato que podem existir problemas devido ao fato de se agregarem funes
diferentes a um mesmo exame. Confuses provenientes dessa falta de reflexo podem
ser encontradas nos prprios materiais disponveis para alunos, como no Grande Livro
para o Novo ENEM (2010), que, entre as curiosidades apontadas, informa que o
objetivo que ele no seja um exame vestibular, sendo que, como exame de acesso/
entrada, ele se iguala a um vestibular:

No se preocupe com as definies e termos estranhos com que voc se

deparar em relao ao novo ENEM. Na verdade, essas modificaes vo
facilitar sua vida, as mudanas foram feitas para melhorar a avaliao do
exame e impedir que ele se transforme numa prova vestibular (2010: 43).

Pretende-se, neste trabalho, apontar a relevncia de se refletir e repensar tais

escolhas. Isso porque no esto bem estabelecidas discusses acerca das mudanas
ocorridas.

26

FUNDAMENTAO TERICA

No h como discutir validade e efeito retroativo sem enfatizar a

importncia da avaliao no contexto ensino/aprendizagem. Ela precisamente o
elemento que integra ensino e aprendizagem, coletando evidncias e permitindo
concluses a partir dessas evidncias.
Segundo Cheng (1999), a avaliao central para o recente debate sobre
reforma educacional por trs motivos: a) confia-se nos resultados de avaliaes para
documentar a necessidade de mudana; b) os resultados so vistos como agentes crticos
de reformas; c) so usados para demonstrar que mudanas ocorreram ou no. (p. 254).
Os testes, provas ou exames so instrumentos formais de avaliao. Entre
seus propsitos, destacam-se: testes de rendimento (aqueles que retomam os objetivos
de ensino/aprendizagem); de proficincia (testes que avaliam o uso futuro da lngua,
geralmente baseado em uma anlise de necessidades do pblico alvo); testes de
classificao ou de colocao (que avaliam o desempenho visando determinados nveis
ou cursos, como, por exemplo, em escolas de lnguas); e, finalmente, de entrada
(vestibulares, que controlam o acesso dos candidatos s universidades).
Quando pensamos em testes de lngua, podemos ainda classific-los em dois
tipos, dependendo da viso de lngua(gem) que os fundamenta: testes de conhecimento
ou de desempenho. Os testes podem ser de conhecimento, isto , aqueles que enfocam
conhecimentos estruturais, lexicais e gramaticais; ou de desempenho, quando buscam
avaliar seu desempenho comunicativo ou capacidade real de comunicao (LISBOA,
2007).
Por ser um instrumento to importante, a avaliao no pode ser pensada
sem a aferio de sua validade, isto , necessrio que toda avaliao, em especial
aquelas destinadas a grande nmero de candidatos (larga escala), seja uma
representao do que se prope a medir, tanto no que se refere ao seu contedo, quanto
ao seu construto (SCARAMUCCI, 2005).
Alm da extrema importncia desse quesito, necessrio salientar que as
avaliaes podem provocar impactos/efeitos no ensino e na sociedade em geral. Os
impactos, denominados na literatura na rea de avaliao como efeito retroativo (do
ingls washback ou backwash) podem ser de carter positivo ou negativo (fortes ou

27

fracos, entre outras classificaes), o que deve ser levado em considerao nesse
contexto em especial.
Efeito retroativo, portanto, pelo menos no estgio atual de conhecimento,
pode ser entendido como o impacto ou a influncia que exames externos e
avaliaes em geral tm exercido na sociedade em geral e especificamente no
ensino e na aprendizagem, assim como nas percepes e atitudes de
professores, alunos e formas de preparao (SCARAMUCCI, 2005: 2).

Portanto, procura-se aqui salientar a recorrncia e relevncia de estudos

sobre validade e efeito retroativo, visando associ-los ao ENEM para mostrar como
esse exame carece de investigaes empricas.

1.3.

VALIDADE/ VALIDAO DE TESTES

A partir do ttulo do captulo Validity: testing the test do livro de Tim

McNamara (2000) destinado ao estudo de validade, possvel design-la como um
conceito que diz respeito avaliao do prprio teste. Segundo o autor, o processo de
validao aquele no qual medidas podem ser tomadas para investigar os
procedimentos pelos quais decises sobre o teste foram obtidas (p. 48)24, isto , so
feitas indagaes acerca dos resultados obtidos no teste (evidncias) em relao s
decises (interpretaes) tomadas.

A validao de um teste similarmente envolve o pensar na lgica do teste,

particularmente em seu design e intenes, e tambm envolve olhar
evidncias empricas os fatos que emergem dos dados advindos de um
julgamento do teste ou de administraes operacionais. Se nenhum
procedimento de validao for disponvel, h um potencial para parcialidades
e injustia. Esse potencial significante em proporo ao que est em jogo25.

24

[...] measures may similarly be taken to investigate the procedures by which test judgments were
reached.
25

Test validation similarly involves thinking about the logic of the test, particularly its design and its
intentions, and also involves looking at empirical evidence the hard facts emerging from data from
test trials or operational administrations. If no validation procedures are available there is potential for
unfairness and injustice. This potential is significant in proportion to what is at stake (MCNAMARA,
2000: 48, traduo nossa)

28

O conceito de validade passou por mudanas e reformulaes nos ltimos

anos. Ocorreu uma mudana de viso sobre o conceito devido constatao da
complexidade dos fatores envolvidos nos testes de desempenho em contraposio aos
testes de conhecimento. Desde a viso tradicional de validade at contempornea, a
questo se coloca como essencial para o processo de desenvolvimento do teste. As
primeiras consideraes sobre validade de testes partem de Robert Lado (1961) e
caminham at conceituaes como as de Messick (1989), revisitadas por Chapelle
(1999), e no Brasil, especialmente por Scaramucci (1999).
Scaramucci (2009) define o conceito de validade, identificando duas vises:
uma tradicional, outra moderna ou expandida.

1.3.1. VISO TRADICIONAL

Segundo a viso tradicional, a validade definida como caracterstica de um

teste. Essa definio compartilhada por tericos como Hughes (1989) e Alderson et al
(1995). Um teste somente considerado vlido se mede o que proposto a medir
(HUGHES, 1989). Da mesma forma, so consideradas caractersticas de um teste sua
confiabilidade e praticidade.
So reconhecidos tipos de validade, embora no haja concordncia com
relao aos termos. Hughes (1989), por exemplo, designa trs tipos: validade de
contedo, validade relacionada a critrio e validade de construto. J Alderson et al.
(1995) classifica os tipos de validade como racional (interna, ou seja, com relao ao
contedo), emprica (externa, correlacional) e de construto, respectivamente.

[...] o termo construto refere-se a um construto psicolgico, uma

conceitualizao terica sobre um aspecto do comportamento humano que
no pode ser medida ou observada diretamente. Exemplos de construtos so
inteligncia, motivao para o rendimento, ansiedade, rendimento, atitude,
dominncia e compreenso em leitura. Validao de construto o processo
de coleta de evidncia para dar apoio ao argumento de que um teste
realmente mede o construto psicolgico que os elaboradores querem que
mea. O objetivo, nesse caso, determinar o significado dos escores ou notas
do teste para garantir que eles signifiquem o que o especialista esperava que
significassem (EBEL & FRISBIE apud SCARAMUCCI, 2009).

29

1.3.2. VISO CONTEMPORNEA

A validade refere-se medida que a prova elaborada uma amostra

representativa do que se deseja avaliar tanto em termos do contedo,
conforme consta do programa, no caso de exames vestibulares, como do
construto terico em que se baseia (viso de linguagem, de escrita e de
leitura, especificamente no caso da prova de redao) (SCARAMUCCI,
2005: 9).

Essa viso mais recente de validade critica a fragmentao e incompletude

da viso tradicional, que no levava em considerao significado de resultados, nem as
consequncias sociais de seu uso.
Para Messick (1989), a validade um conceito unitrio, mas multifacetado.
Ele associa a validade aos significados dos resultados de um teste, s implicaes de
valor, consequncias sociais e relevncia/ utilidade, enfatizando, assim, como o teste
usado. Conforme salienta Scaramucci (2009), o que validado, portanto, no o teste,
mas as inferncias derivadas dos resultados ou de outros indicadores, assim como as
implicaes para a ao determinadas pela interpretao (p. 33).
Como identificado por Messick, h fontes de ameaas validade de um
teste e elas podem ser de dois tipos: sub-representao do construto, ou seja, o teste
deixa de incluir questes importantes relacionadas a ele; e varincia irrelevante ao
construto, isto , o teste deixa de ser direto, quando h informaes includas que no
so necessrias.
O autor deu novo rumo s pesquisas sobre validade (CHAPELLE, 1994;
CHAPELLE & DOUGLAS, 1993; entre outros) quando incluiu no conceito as
consequncias que as avaliaes tem na sociedade, determinando que necessrio
investigar as consequncias do teste. Nesse caso, efeito retroativo visto como um tipo
de consequncia. Messick (1996) afirma que o efeito retroativo deve ser evidncia de
impacto no ensino e na aprendizagem apenas se ele puder ser relacionado introduo e
uso do teste (1996: 6). Para ele, o efeito retroativo est definitivamente ligado
questo de validade do teste. Assim, minimizando fontes de invalidade, as deficincias e
contaminantes que estimulam o efeito retroativo negativo so tambm minimizadas,
aumentando a probabilidade de efeito positivo.

30

Em uma viso mais contempornea, portanto, o conceito de validade visto

como parte de um processo, o qual diz respeito ao uso e interpretao dos resultados de
um teste. Essa viso tem o objetivo de promover a elaborao de um argumento de
validade (BACHMAN, 2005).
Scaramucci (2009) salienta que a validao um processo de coleta de
evidncias, mas em geral conduzida pelo elaborador do teste, a partir de suas
especificaes. Essas evidncias ou mtodos para investigar hipteses foram
identificados por Messick (1989). Eles passam a substituir os trs tipos de validade
(interna, externa e de construto) do conceito tradicional. So elas: evidncias relativas
ao contedo, substantiva, estrutural, passvel de generalizao, externa e consequencial.
Essas evidncias permitem avaliar os testes, englobando os impactos sociais. Para a
autora, aquilo que est sendo avaliado deve ser uma amostra real da capacidade que o
teste pretende avaliar, que seja preciso e consistente (SCARAMUCCI, 2009).
A autora apresenta uma tabela elucidativa, extrada de Chapelle (1999: 258),
sobre as mudanas ocorridas no conceito de validade:

Tabela 1. Resumo dos contrastes entre as concepes de validao tradicional e contempornea

(CHAPELLE, 1999: 258 apud SCARAMUCCI, 2009: 34)

A validade, portanto, no mais considerada uma caracterstica do teste; de

acordo com a viso em que entendida como um conceito unitrio, em que vrios
quesitos so avaliados, a validade refere-se s interpretaes dos resultados do teste.

31

1.4.

EFEITO RETROATIVO DE TESTES

Assim como os estudos sobre validade/ validao esto sendo desenvolvidos

e aprimorados ao longo dos anos, o fenmeno efeito retroativo tambm passou a trilhar
um caminho prprio. Esse fenmeno refere-se aos impactos que exames podem exercer
no processo ensino/aprendizagem. Ele vem sendo discutido com maior frequncia, bem
como investigado em pesquisas empricas sobre os mais diversos testes, principalmente
nos testes de proficincia em vrios contextos internacionais e, no Brasil, no contexto de
exames de entrada.
Como j dissemos antes, independentemente do propsito, exames so
capazes de exercer um efeito retroativo potencial, sendo mecanismos propulsores de
mudanas (SCARAMUCCI, 2007). Exatamente pelo poder que exercem, testes,
principalmente aqueles de alta-relevncia, passam a determinar prticas, livros
didticos, entre outros. Conforme Scaramucci (2005), os testes podem ser definidores
de contedos e capacidades desejveis dentro do processo ensino/aprendizagem.
A maior parte dos estudos voltados para a anlise do efeito retroativo de
avaliaes no ensino/aprendizagem no exterior (ALDERSON & WALL, 1993;
BAILEY, 1999; entre outros) aponta para a necessidade de mais pesquisas empricas
nesse contexto, especialmente visando uma melhor caracterizao do conceito.
J h inmeras pesquisas brasileiras que investigam esse fenmeno.
Elas acrescentam, ainda, que esse tipo de pesquisa de grande importncia, devido s
reflexes que promovem sobre as prticas de ensino (GIMENEZ, 1999; AVELAR,
2001; BARTHOLOMEU, 2002; entre outros). Muitas enfocam os efeitos exercidos por
exames vestibulares no ensino, entre outros, pelo problema de haver poucas vagas e o
acesso a elas ser extremamente competitivo (SCARAMUCCI, 2002: 4), o que faz com
que os alunos se dirijam aos cursos pr-vestibulares para se prepararem para esses
exames. Scaramucci (2005) exemplifica que o valor positivo de efeito retroativo , por
exemplo, um ensino que se reformula para que os alunos leiam e escrevam melhor, no
caso de um exame de leitura e escrita. Porm, os efeitos podem ser negativos, na medida

32

em que cursinhos ensinem estratgias para que as notas dos alunos aumentem sem
necessariamente aprenderem o que ser avaliado.
Os efeitos exercidos pelos exames podem ter um carter mais geral, quando
no se leva em considerao as caractersticas do teste - um exemplo seria um teste
fazer com que alunos estudassem mais -, como tambm podem ter um carter
especfico, considerando algum aspecto do exame - um teste que se pauta em leitura
fazer com que as prticas na sala de aula se voltem mais atentamente para a leitura.
O estudo de Alderson e Wall (1992/ 1993) oferece uma primeira
caracterizao do conceito de efeito retroativo, estudo considerado divisor de guas
por Scaramucci (1999c). Nele, os autores apontam que esse fenmeno, apesar de
comum na literatura sobre ensino/ aprendizagem de lnguas, complexo e no muito
bem compreendido. importante enfatizar que eles distinguem os termos efeito
retrativo e impacto. Segundo sua viso do conceito, efeito retroativo se refere aos
efeitos observados em sala de aula e, impacto, aos efeitos exercidos na sociedade em
geral. Alguns autores, no entanto, no fazem essa distino (CHENG, 2004;
SCARAMUCCI, 1999c, 2000/2001 e 2002, por exemplo)26.
Uma das maiores contribuies de Alderson e Wall (op. cit.) a nfase na
necessidade de estudos de natureza etnogrfica, com a triangulao das percepes dos
pesquisadores e dos dados coletados com evidncias coletadas a partir da observao
em sala de aula. Muitas pesquisas so apontadas por eles como limitadas, porque no
oferecem informaes desse tipo: Ns sugerimos que cada vez mais bvio que
precisamos olhar de perto para os eventos de sala de aula em particular, para ver se o
que os professores e alunos dizem que fazem refletido em seu comportamento 27.
Outra grande contribuio o questionamento da viso determinista que se
tinha sobre os exames. Antes desse artigo acreditava-se que, caso os testes fossem bem
elaboradas, os efeitos exercidos seriam bons, e vise-versa. Segundo os autores, essa
crena ingnua (SCARAMUCCI, 2005).

26

Neste trabalho concordamos com as vises de Cheng (2004) e Scaramucci (1999c, 2000/2001 e 2002)
sobre os termos.
27

We suggest that it is increasingly obvious that we need to look closely at classroom events in
particular, in order to see whether what teachers and learners say they do is reflected in their behavior
(ALDERSON & WALL,1992/1993: 127, traduo nossa).

33

Os autores desenvolvem e sugerem vrias hipteses para futuras pesquisas

que queiram investigar os efeitos que os testes podem provocar no processo ensino/
aprendizagem. So elas:
Um teste tem influncia no ensino.
Um teste tem influncia na aprendizagem.
Um teste tem influncia na forma como os professores ensinam.
Um teste tem influncia no que os professores ensinam.
Um teste tem influncia no que os alunos aprendem.
Um teste tem influncia na forma como os alunos aprendem.
Um teste tem influncia na taxa e seqncia de aprendizagem.
Um teste tem influncia na taxa e na seqncia de ensino.
Um teste tem influncia no grau e profundidade do ensino.
Um teste tem influncia no grau e profundidade da aprendizagem.
Um teste tem influncia nas atitudes, contedo, mtodo, etc. de ensino e de
aprendizagem.
Testes que tm consequncias importantes tero efeito retroativo.
Testes que tm consequncias importantes no tero efeito retroativo.
Testes tero efeito retroativo em todos os alunos e professores.
Testes tero efeito retroativo em alguns alunos e em alguns professores, mas
no em outros. (ALDERSON & WALL, 1992: 8-9 apud SCARAMUCCI,
2004).

Aps esse estudo, as investigaes para uma melhor caracterizao do

fenmeno s aumentaram.
Messick (1996), por exemplo, considera o efeito retroativo uma
consequncia proveniente da introduo e uso de um teste; em outras palavras, isso quer
dizer que os exames exercem efeito retroativo, que o autor caracteriza como um tipo de
consequncia, um dos elementos constituintes de uma viso contempornea de validade
dos testes. Para esse autor, portanto, a validao de um teste deve considerar as
consequncias de seu uso. Para um aprofundamento da noo de validade e
consequncias, vide Scaramucci (2009) e Scaramucci (no prelo28).

[...] efeito retroativo deve ser evidncia de impacto no ensino e na

aprendizagem (prticas boas ou ruins) apenas se essa evidncia puder ser
relacionada introduo e uso do teste, o que nem sempre possvel, uma
vez que em muitos contextos em que testes so introduzidos, no se tem
dados sobre as condies do ensino (baseline data) antes da introduo do
exame (MESSICK, 1994 apud SCARAMUCCI, 2004: 211).

No Brasil, Scaramucci (1998b, 1999c e 2002) e Gimenez (1999) trazem

os primeiros estudos sobre efeito retroativo no processo ensino/aprendizagem. Um dos
28

Validade e consequncias sociais das avaliaes em contextos de ensino de lnguas, a sair em

Linguarum Arena, Universidade do Porto.

34

fatores mais importantes levantados por Scaramucci (1998b, 1999c e 2002), que
investiga os efeitos do vestibular da Universidade Estadual de Campinas (UNICAMP)
no ensino, que o exame, embora pautado em uma viso de leitura como construo de
sentidos, no alterou a viso de leitura de alguns dos professores, ainda vista como
decodificao. A autora aponta evidncias de efeito retroativo nas atitudes e prticas dos
professores, embora parcial ou limitado, na medida em que refletem alguns, mas no
todos os aspectos distintivos do exame.

A concluso deste estudo, que visou investigar o impacto de um exame de

habilidade em leitura em trs configuraes de ensino de Ingls como
Lingual Estrangeira no nvel secundrio no Brasil que, apesar do fato de
que o exame teoricamente orientado para vises recentes de procedimentos
de leitura e est em uso por mais de uma dcada, ele falhou em modificar as
crenas dos professores no que concerne leitura e ao ensino de leitura, que
ainda parece ser visto como um processo passivo de decodificao, seguindo
a tradio de ensino de leitura em lngua materna nos primeiros e segundos
nveis secundrios bem como no ensino de lngua estrangeira no Brasil. 29

A pesquisa de Gimenez (1999), que investiga o vestibular da Universidade

Estadual de Londrina (UEL), mostra que somente algumas partes do exame exerceram
efeito retroativo, indicando que esse fenmeno depende das crenas do professor com
relao ao ensino. Nesse artigo sobre a orientao do vestibular da UEL para lngua
inglesa, aborda a necessidade apontada por Alderson & Wall (op. cit.) de se investigar
qual a natureza do conceito, quais as condies em que opera, o que o afeta, como
professores e alunos preparam-se para o exame e qual a natureza da relao entre um
exame e o ensino.
Artigos e teses mais recentes continuam indicando essa urgncia por estudos
empricos. Nesse contexto, Avelar (2001) procura analisar o efeito retroativo de uma
nova proposta de avaliao na percepo de professores e alunos no processo ensino/
aprendizagem. Sua pesquisa indica que h necessidade de pesquisas voltadas para os
efeitos retroativos tambm da avaliao de rendimento, afirmando que a avaliao
29

The conclusion of this study, aimed at investigating the impact of a reading ability exam on three
settings of EFL teaching at the secondary level in Brazil is that despite the fact that the exam is
theoretically oriented towards current views of the reading process and has been in use for over a decade,
it failed to change the beliefs of the teachers regarding reading and the teaching of reading, which still
seems to be viewed as a passive process of decoding, following the tradition of teaching reading in the
mother tongue in first and secondary levels as well as of foreign languages in Brazil. (SCARAMUCCI,
2002: 77, traduo nossa).

35

capaz de ampliar a percepo de professores e alunos sobre o processo ensino/

aprendizagem. Seus resultados de pesquisa mostram que a reflexo e as mudanas
implementadas no processo avaliativo fizeram com que o professor e os alunos se
tornassem coconstrutores do processo.

Acredito, portanto, que essa atividade, apesar dos problemas levantados,

ampliou a participao e possibilidades de produo do aluno. A avaliao,
contudo, quando modificada, requer que todo o processo tambm seja
modificado, porque as mudanas na avaliao no se sustentam em si
mesmas. Elas precisam estar interligadas aos outros componentes e fases de
um currculo (AVELAR, 2001: 160).

Segundo ela ainda,

A formao do professor enquanto avaliador pode auxili-lo a usar

instrumentos de avaliao que possibilitem um olhar incisivo sobre
sua prtica, a partir de diferentes perspectivas. Isso seria relevante
para a inovao e continuidade de quaisquer inovaes na prtica
educacional (AVELAR, 2001: 172).

Em sua dissertao de mestrado, Bartholomeu (2002) investiga o efeito

retroativo das provas de ingls dos vestibulares da UNICAMP, da FUVEST (Fundao
Universitria para o Vestibular) e da VUNESP (Fundao para o Vestibular da
Universidade Estadual Paulista) nas percepes, atitudes e motivaes de alunos do
terceiro ano do ensino mdio de uma escola particular.
Sua pesquisa destaca que outros fatores podem ter influncia maior sobre os
alunos do que o prprio exame. o caso da crena dos professores sobre o que
ensinar. Segundo os dados da pesquisa, as percepes e atitudes dos alunos so mais
dependentes da viso do professor do que da prova em si, confirmando que os efeitos
nas atitudes so fortemente marcados pelo ensino atravs do professor. Ele
considerado detentor do saber; o aluno, receptor. A pesquisadora enfatiza a falta de
autonomia dos alunos em buscar informaes extras sobre o exame, esperando sempre
pela informao vinda do professor.
Os resultados da pesquisa mostram um efeito parcial, no determinista, isso
porque o exame influencia alguns alunos, mas no todos. A autora concluiu que a
influncia da prova de ingls nas atitudes dos alunos, bem como na motivao para
estudarem ou se prepararem mais para as provas, foi pequena. A percepo de que a

36

prova de ingls no importante, j que no seria valorizada ou seria considerada de

menor importncia do que outras disciplinas.
Na mesma linha, Correia (2003) investiga a influncia da prova de ingls do
vestibular da UNICAMP nas concepes de alunos de um cursinho preparatrio sem
fins lucrativos. Por meio de uma pesquisa qualificativa e exploratria, a pesquisadora
procura triangular dados adquiridos a partir de questionrios e entrevistas sobre perfis,
percepes e maneiras de preparao para o vestibular por parte dos alunos, bem como
sobre concepo de leitura e percepes das professoras analisadas, com as informaes
obtidas das observaes em sala de aula.
Assim como Alderson e Wall (op. cit), a autora conclui que os exames no
tm carter determinista. No caso de sua pesquisa, o vestibular tem impacto na
preparao de alguns alunos, mas no de todos. Alm disso, embora o exame seja
elaborado com o intuito de enfatizar a leitura no ensino, no conseguiu alterar as
concepes de leitura dos professores desse curso.
Retorta (2007) tambm investigou os efeitos retroativos em escolas
pblicas, particulares e cursos pr-vestibulares de uma prova de ingls do vestibular da
Universidade Federal do Paran (UFPR) no ensino de ingls no Ensino Mdio.
A pesquisadora prope uma pesquisa qualitativa interpretativista de base
etnogrfica, indicando que, com a triangulao dos dados possvel fornecer uma maior
confiabilidade ao estudo.
Aps investigar cinco diferentes instituies de ensino mdio, assim como
Alderson e Wall (op. cit) e Correia (op. cit), tambm concluiu que o exame no
determinista; isso porque, diferentemente dos cursos pr-vestibulares e escolas
particulares, que so cenrios afetados por ele, ora positivamente, ora negativamente,
em intensidades diferentes; no provoca efeitos retroativos nos cenrios das escolas
pblicas, cujo ensino direcionado por livros didticos, e estes no levam em
considerao a prova de ingls do vestibular da UFPR, com a inteno de preparar os
alunos para a mesma: No caso das duas escolas estudadas, os livros so os mais
baratos do mercado e esto embasados em uma viso tradicional de ensino de gramtica
e traduo (RETORTA, 2007: 286).
Os estudos supracitados chamam a ateno para a necessidade de pesquisas
empricas sobre efeito retroativo. Segundo esses pesquisadores, elas devem ser de

37

carter etnogrfico, triangulando dados coletados, percepes do pesquisador e

observaes em sala de aula para uma melhor caracterizao do objeto de estudo.
Na prxima seo procuramos apontar evidncias (ou falta delas) de
preocupao com questes como validade e efeito retroativo no que se refere ao ENEM.
.

38

2. ENEM: ANLISE DOS DADOS

A partir da considerao do objetivo deste estudo monogrfico, que

mapear documentos e estudos conduzidos sobre o ENEM, visando apresentar
evidncias (ou a falta delas) de preocupao com questes como validade e efeitos
retroativos no processo ensino/ aprendizagem buscamos informaes para identificar
referncias/ preocupaes com esses conceitos, procurando apontar a relevncia de se
refletir e repensar as mudanas ocorridas no exame.
Como discutido na Introduo, os exames externos no Brasil carecem de
investigao acerca de sua validade e dos efeitos que exercem no ensino que os
precedem. Nas pginas e documentos destinados ao ENEM no se encontram estudos
sobre o exame. Comparando com o TOEFL ou IELTS, que so reconhecidos exames de
proficincia

30

em lngua inglesa, por exemplo, verifica-se a grande diferena com

relao preocupao com os conceitos mencionados. Ao analisar a pgina do TOEFL

na internet, encontram-se informaes vrias sobre pesquisas interessadas em investigar
se o exame vlido para o que prope, bem como seus impactos. Entre os tpicos de
pesquisa31, h estudos de evidncias sobre validade (validity evidence), interpretao de
resultados (score interpretation), anlise do impacto de testes (test impact), entre outros.
Da mesma forma, as publicaes da Cambridge University Press voltadas
para estudos em avaliaes de lngua32 tambm mostram a importncia das
investigaes relacionadas aos testes. Como exemplo, observa-se que todo o volume 25
desse peridico dedicado a estudar o efeito retroativo do exame International English
Language Testing System (IELTS) e sua potencial influncia na escrita acadmica.
Ao contrrio desses exames, nos sites ou documentos oficiais destinados aos
exames brasileiros no h evidncias de estudos que mostrem que esses temas sejam

30

Disponvel em http://www.publicacoes.inep.gov.br/resultados.asp?cat=5&subcat=2#. Acesso em 30 de

outubro de 2011.
31

32

Disponvel em http://www.ets.org/toefl/research/topics/. Acesso em 30 de outubro de 2011.

Green, A. IELTS Washback in Context: Preparation for academic writing in higher education. In.
Studies in Language Testing. Cambridge University Press: Cambridge, 2007. V. 25.

39

preocupao dos elaboradores. Os eixos tericos e objetivos so explicitados em todos

os documentos referentes ao exame. Sendo assim, necessrio que se reflita e analise se
as teorias e objetivos esto mesmo sendo alcanados pelo exame e se, com as mudanas
verificadas, eles devem ser repensados ou no.
O rgo responsvel por promover estudos, pesquisas e avaliaes sobre o
Sistema Educacional Brasileiro (INEP) no tem direcionado o pesquisador da rea de
avaliao para um ambiente que contenha informaes claras no que diz respeito
validade ou efeito retroativo dos exames.
bem verdade que no site de publicaes do INEP esto anexadas as
pesquisas dos peridicos Revista Brasileira de Estudos Pedaggicos e Em Aberto.
Ambos procuram publicar artigos resultantes de pesquisas que objetivam contribuir com
o ensino brasileiro, no entanto, as diversas pesquisas, disponveis de modo aleatrio,
discutem as mais variadas temticas relacionadas ao ensino sem uma organizao
temtica, diferentemente dos exames estrangeiros mencionados.
Em notcia publicada no Portal do INEP em 01 de Janeiro de 2010, aps o
estabelecimento do Novo ENEM, foram publicados os resultados das provas feitas
pelos alunos. Apontam-se, por exemplo, comentrios sobre os resultados do exame,
como

alunos

demonstrarem

dificuldade

de

leitura

compreensiva,

questes

socioeconmicas influenciarem o desempenho dos alunos, entre outros tpicos, mas no

estudos sobre o exame, consideraes a respeito dos resultados do teste, suas
implicaes, pesquisas em sala de aula etc. Muito se publica sobre o exame, sejam
elogios ou crticas, por parte de leigos ou mesmo pesquisadores, mas ainda escassa a
disponibilizao de estudos baseados na observao em sala aula ou na anlise
aprofundada dos resultados em relao ao construto do exame.
Nas subsees abaixo apresentamos as anlises de publicaes, documentos
oficiais e alguns estudos disponibilizados sobre o ENEM.

2.1.

NOTCIAS

O exame vem sendo foco de muitas discusses desde 2009, quando foi
reformulado, com os objetivos de democratizar as oportunidades de acesso s vagas de
ensino superior, possibilitar a mobilidade acadmica e induzir a reestruturao dos

40

currculos do ensino mdio33. possvel verificar notcias sobre o exame em portais da

internet, jornais e revistas que remetem a essas questes com frequncia cada vez maior,
todavia sem que se saiba sobre a extrema importncia de discusses apropriadas acerca
delas. Manchetes como as indicadas abaixo so exemplos:
Segundo pesquisas, ENEM no avalia realidade escolar34.
Pesquisas revelam que maioria dos estudantes enxerga o Enem como porta de
entrada para a universidade35.
Em um ano, nota mdia no Enem cai em 68% das escolas de elite de SP36.
Polmica na redao do Enem37.
Novo Enem pode provocar impacto no currculo das escolas de Ensino
Fundamental. 38
A mdia s vem provando como so necessrias atitudes urgentes quanto ao
ENEM. Escndalos vm sendo reportados desde as mudanas da prova: vazamento do
contedo da prova e questes aplicadas em um pr-teste que se repetiram no exame
oficial so as ltimas divulgadas39.
33

Disponvel em http://portal.inep.gov.br/web/enem/sobre-o-enem. Acesso em 20 de outubro de 2011.

34

Disponvel em http://educacao.uol.com.br/ultnot/2010/07/19/enem-nao-serve-para-avaliar-qualidadede-escola-diz-especialista.jhtm. Acesso em 29 de outubro de 10.

35

Disponvel em
http://oglobo.globo.com/educacao/mat/2008/03/06/pesquisas_revelam_que_maioria_dos_estudantes_enx
ergam_enem_como_porta_de_entrada_para_universidade-426120351.asp. Acesso em 29 de outubro de
11.

36

Disponvel em http://www.estadao.com.br/noticias/vidae,em-um-ano-nota-media-no-enem-cai-em-68das-escolas-de-elite-de-sp,771414,0.htm. Acesso em 20 de outubro de 2011.

37

Disponvel em http://jconline.ne10.uol.com.br/canal/cidades/educacao/noticia/2011/10/01/polemica-naredacao-do-enem-17699.php. Acesso em 07 de outubro de 2011.

38

Disponvel em
http://www.telecentros.desenvolvimento.gov.br/sitio/destaques/destaque.php?sq_conteudo=3912. Acesso
em 07 de outubro de 2011.

39

Disponvel em http://ultimosegundo.ig.com.br/educacao/enem/colegio-e-acusado-de-aplicar-questoes-

do-enem-antes-da-prova/n1597325589545.html. Acesso em 29 de outubro de 11.

Disponvel em http://noticias.uol.com.br/educacao/2011/10/28/defensoria-publica-vai-pedir-para-mecanular-pelo-menos-as-questoes-que-vazaram-do-enem.jhtm
Acesso em 29 de outubro de 11

41

Da mesma forma, o Ministro da Educao, Fernando Haddad, vem sendo

alvo de crticas em meio a seus pronunciamentos a favor do ENEM como nico
vestibular. Segundo notcia publicada no jornal O Estado de So Paulo, o ministro
afirma que ainda nesta dcada, o ENEM acabar com os vestibulares: Vai ser natural
esse movimento das universidades de abrirem mo de algo que no diz respeito a elas
(cuidar dos exames de seleo). Em lugar nenhum do mundo assim 40.
Um dos primeiros problemas apontados entre as notcias analisadas a
classificao das escolas pela nota do ENEM. Muitos reclamam da desconsiderao por
fatores sociais, culturais e econmicos. Segundo informaes da notcia, para o diretor
de uma escola de Rondnia, por exemplo, as notas do exame no refletem os resultados
e o sucesso dos alunos:

O Joo Bento teve mais de 330 alunos que fizeram o Enem, enquanto outras
escolas com um nmero menor de alunos, como a de Colorado DOeste, que
teve 22 alunos, logo na mdia feita das notas vo estar na nossa frente. No
d para comparar as caractersticas de uma escola pequena com outra grande
como a nossa41.

Em contrapartida, a maioria dos alunos (mais de 70%, que faz o exame

atualmente) est tentando entrar numa universidade42. Na mesma notcia, contudo, um
professor de matemtica questiona a validade do exame em um comentrio.

Considero preocupante sim, porque a validade do exame como aferio de

contedo no relevante. A prova no cobra contedos mnimos que sero
vitais na universidade, principalmente em cursos da rea tecnolgica. Como
saber se determinado candidato est preparado para entrar numa faculdade de
fsica ou engenharia, por exemplo? No futuro ele vai acabar tendo problemas
em disciplinas como Clculo ou lgebra.

40

Disponvel em http://www.estadao.com.br/noticias/vidae,haddad-defende-enem-obrigatorio-paraconcluintes-do-ensino-medio,771676,0.htm. Acesso em 29 de outubro de 11

41

Disponvel em
http://www.diariodaamazonia.com.br/diariodaamazonia/index2.php?sec=News&id=4554. Acesso em 29
de outubro de 11

42

Disponvel em
http://oglobo.globo.com/educacao/mat/2008/03/06/pesquisas_revelam_que_maioria_dos_estudantes_enx
ergam_enem_como_porta_de_entrada_para_universidade-426120351.asp. Acesso em 29 de outubro de
11

42

Essa notcia ainda acrescenta um fator importante para o andamento deste

estudo, que contraria as afirmaes do Ministro da Educao. Ela mostra que j existem
efeitos do exame no ensino, como o fato de algumas escolas e cursos preparatrios j
realizarem trabalho especial para o ENEM:

A partir de abril, maro, mais ou menos, o curso organiza aulas, todos os

sbado, focadas no Enem. Os alunos fazem questes parecidas com as
cobradas na prova e treinamos muita redao, que corresponde metade da
nota [...].

importante que se repense e reflita sobre o exame cuidadosamente,

considerando estudos sobre validade e efeitos que ele est provocando no ensino, para
que um exame desse porte no seja motivo de piadas, como verificado em protesto de
alunos de Fortaleza este ano, em cartaz com os seguintes dizeres: VEXAME
NACIONAL DO ENSINO MDIO43.
Logo, fato que a investigao acerca do efeito retroativo e da validade de
testes deve ser levada em considerao, em especial com relao a um exame como o
ENEM. Por conta disso, foram verificados estudos nas reas da Educao e da
Lingustica Aplicada que buscassem informaes acerca dessas questes.

2.2.

PORTAIS NA INTERNET

2.2.1. PORTAL DO ISTITUTO NACIONAL DE ESTUDOS E

PESQUISAS ANSIO TEIXEIRA (INEP)

A pgina destinada ao ENEM no Portal do INEP (vide figura 1) traz as

seguintes informaes:

43

Disponvel em http://www.dihitt.com.br/n/educacao/2011/10/28/estudantes-vexame-nacional-doensino-medio. Acesso em 29 de outubro de 11.

43

Figura 1. Portal DO ISTITUTO NACIONAL DE ESTUDOS E PESQUISAS ANSIO

TEIXEIRA

Sobre o Enem
Nesta pgina disponibilizado um pequeno trecho sobre o histrico do exame.
Legislao
Apresenta editais, leis e notas informativas.
O que cai na prova
Link para a Matriz de Referncia para o ENEM 2009.
Boletim de desempenho individual
Apresenta link para acessar os boletins referentes a 2008, 2009 e 2010.
Certificao
Introduz informaes para aqueles interessados em utilizar o ENEM como
certificado de concluso do Ensino Mdio
Edies Anteriores
Contm todas as provas do exame desde 1998.
Enem 2010: mdias por escolas
Link para as notas das escolas no ENEM 2010
Relatrio Pedaggico

44

Disponibiliza relatrios sobre o exame desde 2001 at 200744.

Downloads
Disponibiliza links para as questes e redao do exame, questionrio
socioeconmico e questes-modelo
Noticias
Traz as notcias mais recentes acerca do exame.
Fale Conosco
Indica modos de entrar em contato com o INEP.

2.2.2. PORTAL DO MINISTRIO DA EDUCAO (MEC)

A pgina do ENEM no Portal do MEC (vide figura abaixo) destinada aos

estudantes que desejam se candidatar prova e s introduz um resumo sobre as
mudanas no exame, bem como links para a Matriz de Referncia e para a pgina do
ENEM na web.

Figura 2. PORTAL DO MINISTRIO DA EDUCAO

44

No foi encontrada uma verso mais recente.

45

2.2.3. PORTAL DO EXAME NACIONAL DO ENSINO MDIO

(ENEM)

O portal destinado ao exame propriamente dito apresenta as mesmas

informaes indicadas no Portal do INEP. No entanto, desde a ltima aplicao do
exame no possvel acessar sua pgina inicial, j que no h links disponveis para
acess-la a partir da pgina de Provas e Gabaritos.

Figura 3. PORTAL DO EXAME NACIONAL DO ENSINO MDIO

2.3.

DOCUMENTOS OFICIAIS

Alguns dos documentos abaixo esto disponveis em outra pgina destinada

ao ENEM no Portal do INEP. Ela foi encontrada com a ajuda de um buscador de
informaes sobre o histrico do exame. necessrio indicar que ela no de fcil
acesso, pois no h um direcionamento a partir da pgina principal do ENEM. Alm
disso, sua ltima atualizao se refere ao ENEM 2007.

46

Figura 4. PGINA NO PORTAL DO INEP

2.3.1. DOCUMENTO BSICO (1999, 2001, 2002)

O Documento Bsico (de 1999 a 2002) visa apresentar e descrever o ENEM

para a populao, indicando sua fundamentao terica, objetivos, caractersticas do
exame, estrutura, matriz de competncias e habilidades (parte objetiva e redao) e
grade de correo.
Ele informa que o objetivo fundamental avaliar o desempenho do aluno ao
trmino do Ensino Mdio. Entre seus objetivos especficos: ser referncia para autoavaliao; modalidade alternativa ou complementar aos processos de seleo dos
diversos setores do mundo do trabalho e aos processos de acesso ao Ensino Superior e
cursos profissionalizantes ps-mdios.

47

Segundo o documento, o ENEM coloca-se em conformidade com o que

proposto na Lei de Diretrizes e Bases da Educao Nacional (LDB). Esta procura inserir
transformaes, dissociando o Ensino Mdio do vestibular e delineando o perfil de sada
do aluno do Ensino Mdio. Determina tambm um processo nacional de avaliao do
rendimento escolar, com o intuito de definir prioridades e melhorar a qualidade do
ensino.
Por conta dessa lei, prezou-se pela produo de um exame diferente dos j
introduzidos pelo MEC, com uma matriz que indicasse as competncias e habilidades
que deveriam ser desenvolvidas, transformadas e fortalecidas, prprias do sujeito ao
trmino do Ensino Mdio. Conforme afirmao, o ENEM poderia oferecer uma
imagem realista e sempre atualizada da educao no Brasil (p. 2); para isso, produziuse um exame baseado em anlise de competncias e habilidades dos alunos, voltado
para o desenvolvimento da cidadania, sem utilizao de decoreba

2.3.2. FUNDAMENTAO TERICO-METODOLGICA (2005)

Esse documento busca introduzir a fundamentao terico-metodolgica do

ENEM. Assim, apresenta os eixos tericos que estruturam o exame, como competncias
e habilidades; situao-problema; interdisciplinaridade e contextuao; e, em seguida,
procura explicar como o ENEM estruturado para ser articulado s reas de
conhecimento.
Apresenta-se o ENEM como um exame desenvolvido com

nfase na aferio das estruturas mentais com as quais construmos

continuamente o conhecimento e no apenas na memria, que,
importantssima na constituio dessas estruturas, sozinha no consegue
fazer-nos capazes de compreender o mundo em que vivemos (p. 7).

Por conta disso, o ENEM papel fundamental na introduo da Reforma do

Ensino Mdio (REM), proposta do MEC, que se daria a partir da compreenso por parte
das escolas da importncia dos conceitos situao-problema, interdisciplinaridade e
contextuao.
Os autores do documento procuram ento discutir e definir cada um dos
conceitos-chave do ENEM, apontando para as possibilidades de reflexo que a prova

48

oferece. Contudo, no propem ou analisam estudos empricos dessa caracterstica, e

nem mesmo fazem anlise dos itens da prova com relao ao construto.

2.3.3. RELATRIO PEDAGGICO (2008)

Nesse documento, o objetivo referendar as infinitas possibilidades que o

modelo de avaliao consagrado pelo ENEM trouxe para a compreenso do
desempenho dos jovens brasileiros ao trmino da escolaridade bsica (p. 6). Neste
estudo, foi dada preferncia ao relatrio mais recente disponvel entre as publicaes do
INEP, referente prova de 2007.
Os autores retomam consideraes sobre os eixos conceituais que
estruturam o exame, como resoluo de problemas; avaliao das estruturas da
inteligncia; competncias e habilidades; e, prtica de leitura e escrita.
A prova apresentada, bem como sua elaborao, correo e anlise de seus
resultados. A correo da redao, por exemplo, considerada um dos pontos mais
altos do ENEM, com reflexos positivos na sala de aula (p. 6). Essa informao indica
o potencial efeito retroativo que o exame exerce no ensino, mas no preza pela
investigao desse carter.
De acordo com esse documento, acredita-se que

a prova do ENEM, ao entrar na escola, possibilita a discusso entre

professores e alunos dessa nova concepo de ensino (a saber, conceitos de
situao-problema, interdisciplinaridade e contextualizao), preconizada
pela LDB, pelos PCNs e pela REM, norteadores da concepo do exame (p.
8).

Uma anlise pedaggica dos itens feita, com a introduo de estatsticas

acerca dos erros e acertos. Com referncia ao item 1 da prova de 2007, o documento
informa:

Com 73% de acertos, o item pode ser considerado fcil. Ao escolher a

alternativa correta C, os participantes demonstraram reconhecer que a nica
figura que retrata um patrimnio imaterial a da manifestao folclrica
brasileira Bumba meu Boi.
O bom ndice de discriminao (39%) demonstra que o item separou bem os
participantes de melhor (grupo superior) dos de pior rendimento (grupo

49

inferior) na prova. Para os participantes de melhor desempenho, o item foi

extremamente fcil (93% de acertos).
As outras alternativas atraram um percentual pequeno de participantes: A
(6%), B (4%) e E (3%). A opo pela alternativa D (14%), que atraiu
participantes de mdio desempenho, aponta para uma confuso entre
patrimnio imaterial, transmitido oral ou gestualmente, e patrimnio
natural, cujo aspecto relevante o fsico (p. 144).

Da mesma forma, no so introduzidas indagaes acerca da validade de

construto da prova. Essa anlise no voltada para aferio de informaes apontadas
no construto do exame, mas sim inclui uma anlise estatstica e o gabarito do item.

2.3.4. MANUAL DO INSCRITO (2007)

Os manuais para o inscrito visam orientar o candidato para consolidar sua

inscrio, indicando caractersticas da prova, sua matriz de competncias e habilidades,
metodologia de correo e instrues para o dia da prova.
As informaes so claras e precisas: indicam como se constitui a prova, as
competncias e habilidades requeridas na prova, o modo como avaliado o desempenho
na parte objetiva e na redao.

2.3.5. CARTILHA DO INSCRITO (2007, 2008)

As cartilhas publicadas para os inscritos no ENEM 2007 e 2008 procuram

explicar ao candidato informaes esclarecedoras dos objetivos e funes do exame,
suas caractersticas estruturais, procedimentos para as inscries, sobre correo,
resultados etc.

2.3.6. MATRIZ DE REFERNCIA PARA O ENEM 2009 (2009)

Como mencionado anteriormente, a matriz de referncia para o ENEM 2009

foi a primeira aps a mudana ocorrida na prova.

50

O documento informa os eixos cognitivos que estruturam o ENEM e as

competncias e habilidades associadas a eles, esperadas por parte do candidato. Introduz
tambm os objetos de conhecimento para cada uma das reas que compe o exame.

2.3.7. EDITAL DO ENEM 2011 (2011)

O edital disponvel para o ENEM 2011 apresenta ao candidato informaes

como: inscrio; disposio dos contedos da prova; locais e horrios de prova; clculo
da nota com base na Teoria da Resposta ao Item (TRI); correo da prova de redao
por dois corretores; acesso aos resultados; entre outros.

2.4.

PESQUISAS

Sero elencadas abaixo as pesquisas encontradas sobre o ENEM. No

entanto, a maioria delas referente verso antiga do exame. H estudos em andamento
que j investigam o Novo ENEM (Fisher, 2009, 2011), porm no conseguimos acesso
a eles na ntegra. Fisher (op. cit) investiga os itens de Literatura da prova e afirma haver
problemas graves em seu contedo. Tambm procura incentivar uma reflexo sobre as
mudanas ocorridas no exame.

2.4.1. ANTIGO ENEM: Mildner e Silva (2002); Vianna (2003);

Zirondi e Nascimento (2005); Gomes e Borgez (2009)

Quatro anos aps a primeira edio do ENEM, Mildner e Silva (2002),

ambos pesquisadores da rea de Educao, propuseram um estudo investigativo da
relevncia da utilizao do ENEM como modalidade alternativa ou complementar aos
concursos vestibulares, uma das funes atribudas ao exame j naquele momento.

[...] qualquer situao ou sistema de Avaliao de Resultados Educacionais

h de ter como objeto o processo pedaggico em seu todo e em seus
componentes, no se restringindo verificao de resultados. [...] o objetivo
da avaliao dos resultados educacionais dos alunos medir e interpretar
resultados de aprendizagem alcanados pelos alunos, relacionando-os a
objetivos e s avaliaes do currculo proposto, implementado e atingido [...]
(2002: 47).

51

Eles argumentam que o ENEM no pode ser considerado instrumento de

investigao, de reelaborao e aperfeioamento de prticas pedaggicas, uma vez que
instrumento de verificao de resultados e no de avaliao educacional. Sendo assim,

ignoram a ao das diferenas e necessidades de aprendizagem e de ensino

dos alunos sobre as prticas pedaggicas que vivenciam, e a influencia destas
ltimas sobre a amplitude qualitativa/ quantitativa daquelas diferenas e
necessidades individuais (2002: 49).

Isso significa que ambos [Enem e Concursos Vestibulares], no tratam de

questes e dificuldades didtico-pedaggicas, de ensino e de aprendizagem,
de metodologias, de professores e de estudantes, que venham a consistir em
cernes de anlise e reflexo, tericas e metodolgicas, de como fazer a
educao em termos da intima articulao entre como fazer, o para que
fazer e o que fazer pedaggico -, que subsidiem a elaborao de
estratgias de deciso pedaggica adequadas para o redirecionamento do
processo pedaggico em curso, no sentido de melhoria de qualidade
educacional para todos os alunos (2002: 69).

Conforme os estudos sobre efeito retroativo citados na parte 3 deste trabalho

possvel afirmar que efeito no necessariamente de aperfeioamento, uma vez que
isso depende de vrias questes, inclusive da qualidade do exame e das questes, mas
tambm da formao dos professores do ensino mdio. O exame no diz como fazer,
mas sim o que fazer, com relao aos contedos, por exemplo.
Alm de apontarem questes relativas ao carter de verificao de
resultados da prova, analisam alguns itens das provas do ENEM de 1998 a 2000 e, por
meio de anlise de questes com relao s suas habilidades e competncias,
questionam a validade de contedo de alguns itens da prova de Lngua Portuguesa e
Literatura de 1998 a 2000.
Por meio dessa anlise, as autoras confirmam que os itens das provas
apresentam relativa ausncia de validade de contedo, ou seja, itens que no se prestam
a aferir habilidades e competncias. urgente, segundo elas, realizar investigaes
sistemticas e abrangentes sobre a validade de contedo das provas do ENEM.
Da mesma forma, Vianna (2003), pesquisador do Departamento de
Pesquisas Educacionais da Fundao Carlos Chagas, estuda as avaliaes em largaescala, aquelas que abrangem um grande nmero de sujeitos. Nesse artigo, o autor

52

analisa o SAEB (Sistema de Avaliao do Ensino Bsico), o ENEM e o extinto ENC,

detendo-se questo de validade de contedo.
Apresentando o contexto de avaliao educacional brasileira, Vianna (2003)
aponta que as avaliaes apresentam os problemas educacionais, mas que no os
solucionam, concluindo sobre a necessidade de se considerar a complexidade das
mesmas.

[...] foram perdendo muito do seu carter relacional aluno/professor, com

vistas orientao da aprendizagem, passando a concentrar-se, sobretudo,
conforme chama ateno Kellaghan (2001), no desempenho institucional e no
dos sistemas, como sucede igualmente em outras avaliaes com objetivos
mais amplos, de que so exemplos, no nosso caso particular, as avaliaes
promovidas na dcada de 90, pelo Governo Federal SAEB Sistema de
Avaliao do Ensino Bsico, ENEM Exame Nacional do Ensino Mdio, e
ENC Exame Nacional de Cursos (2003: 44).

Observa ainda que no existem provas prticas, orais, ou avaliaes

observacionais.

Isso significa que no temos realmente um quadro avaliativo completo, que

seja descritivo das diferentes dimenses do alunado como seria desejvel,
mas uma simples mtrica do que se supe medir. possvel concluir, desse
modo, que muitas competncias e habilidades importantes no mundo atual
no so efetivamente avaliadas, ficando implicitamente comprometida a
definio do quadro educacional a ser configurado (2003: 45).

Vianna (2003) adverte que, nos dias atuais, os relatrios elaborados para
definio e implementao de polticas educacionais no costumam chegar s mos dos
professores para fins de anlise, discurso e estabelecimento de linhas de ao,
provocando assim impactos45 mnimos no ensino, muitas vezes pelo fato de serem
constitudos por linguajar tcnico de difcil compreenso ou por apresentarem resultados
que se relacionam a unidades macro, em termos globais. O autor acredita que h certa
incredulidade por parte de professores e alunos em relao s generalizaes,
consideraes que restringem o impacto das avaliaes (p. 45).
O fato que o que chega aos professores a interpretao que fazem no
tanto das orientaes, mas do que efetivamente cobrado no exame.

45

Impacto chamado de validade consequencial por esse autor.

53

Ao analisar o modelo de exame do antigo ENEM, questiona o fato do

exame avaliar competncias e habilidades e no medir contedos, sendo que, para ele,
avaliar contedos avaliar capacidades. Conforme sua afirmao, o exame carece de
requisitos mnimos como a validade de contedo e a validade de construto, pois no
oferece evidncias empricas de que estaria efetivamente medindo aquelas variveis [as
competncias e habilidades] que se prope a medir (p. 62). Acrescenta que o exame no
se fundamenta em dados empricos slidos, apoiados em pesquisas:

A verificao do seu funcionamento em relao a diferentes grupos

impositiva, sobretudo no caso nacional, que apresenta imensa diversidade
social, econmica, cultural e educacional, oferecendo quadros bastante
contrastantes (2003: 63).

H exatos 20 anos, tentamos chamar a ateno da comunidade educacional

para a relevncia da validade de construto (VIANNA, 1983), mas as coisas continuam
como estavam em priscas eras (p. 63).
importante enfatizar que Vianna (2003) refere-se ao modelo antigo do
ENEM. Passados sete anos e com um acrscimo de funes, ainda no se levam em
considerao questes pertinentes como essas.
Mais recentemente, Gomes e Borges (2009), acadmicos das reas de
Psicologia e Educao, fazem um estudo de validade de construto do exame, com o
objetivo de responder se o ENEM uma avaliao educacional construtivista ou no,
uma vez que segue referncia terico-construtivista e diz avaliar determinados
processos cognitivos. Apontam que o exame poderia ser visto como um teste de
inteligncia a servio da educao, j que prope testes baseados na resoluo de
problemas.
Segundo os autores, o ENEM prope mensurar modalidades estruturais da
inteligncia, as competncias, mas ainda no passou por um estudo de validade de
construto para verificar se ele ativa os processos que prope em seu modelo. Eles, por
conta disso, visam avaliar a validade de construto do exame.
Escolhendo 45 testes para identificar todos os nveis de habilidades
cognitivas do campo psicomtrico, tentando captar as relaes entre o desempenho e os
componentes da inteligncia, aplicam-nos juntamente prova de 2001 (com 63

54

questes) a 146 estudantes de oito turmas de terceiro ano do ensino mdio de uma
escola da rede federal de ensino.
Para a anlise, eles se apropriaram dos Trs Nveis de Habilidades
Cognitivas de Caroll (1993). Os trs nveis so: 1. Habilidades bastante especficas e
especializadas; 2. habilidades amplas, do tipo pensamento espacial, memria, etc.; 3.
Fator Geral (g), ativado por todos os tipos de testes da psicometria.
Dentre as dezenove habilidades investigadas, os autores afirmam que trs
delas tiveram relevncia para a explicao do desempenho dos estudantes no ENEM: a
habilidade de Resoluo de Problemas; a de Rapidez Cognitiva; a de Compreenso
Verbal. O resultado aponta que h forte associao entre a prova do ENEM e as
habilidades cognitivas, podendo ser uma avaliao educacional construtivista. [...]
possvel que o ENEM seja um teste de inteligncia a servio da educao (p. 80), pois,
aparentemente, faz o que promete (p. 82).
Da mesma forma, Zirondi e Nascimento, ambas as pesquisadoras da rea de
Letras, que compem uma srie de estudos acerca de gneros textuais, apresentam uma
crena na possibilidade do ENEM ser uma boa prova.
Zirondi e Nascimento (2005) questionam se a prova desencadeadora de
novas aes pedaggicas. Propem apresentar uma anlise do ENEM, justificando-se
pelo reflexo que ela pode exercer sobre a ao docente, j que uma das funes
implementar reformas no Ensino Mdio, buscando provocar a discusso sobre o que
fazer para melhorar o ensino-aprendizagem (BRASIL, 2002).
Elas consideram relevante investigar o ENEM, pois essa prova pode
implicar em reviso e reavaliao de parmetros curriculares, materiais, etc. Discorrem,
assim, a respeito do efeito retroativo de maneira explcita, mas breve, procurando
verificar se as provas do ENEM exercem influncia sobre a ao pedaggica. Elas vo
s salas de aula de Ensino Mdio para analisar a leitura e produo por meio de gneros
textuais. Sua pesquisa indica que o efeito retroativo j se faz presente nas aulas do
Ensino Mdio. Porm, o estudo no introduz discusses acerca das prticas por parte
dos professores, alunos, diretores e coordenadores, e nem analisa a questo da
correspondncia entre contedos avaliados e os trabalhados nos livros didticos. ,
contudo, importante salientar que para um estudo emprico, esse efeito indicado por elas
deveria ser apresentado por meio de uma triangulao dos dados coletados.

55

2.4.2. NOVO ENEM: Fisher (2009, 2011)

O estudo de Fisher (2011) foi encontrado em matria publicada no portal O

Globoi. Embora no consegussemos ter acesso ao trabalho na ntegra, achamos
relevante apontar discusses importantes levantadas por ele. As informaes destinadas
ao portal so bastante esclarecedoras quanto a sua posio em relao ao ENEM.
Em uma das poucas pesquisas em andamento sobre o tema, o pesquisador
manifesta que

ao se impor como exame quase universal de acesso ao ensino federal

superior, ele na prtica bloqueia experincias inventivas; ele passou de exame
diagnstico do ensino mdio para exame de ingresso universidade sem a
devida reflexo sobre as consequncias disso [...].

Interessante apontar que, assim como as provas de literatura analisadas por

alunos da UFRGS, quais seguem, em geral, a tendncia de colocar em questo a
necessidade do aluno ler um romance para fazer o exame46, a prova de redao no foi
alvo de mudanas. Ela continua sendo uma proposta de texto dissertativoargumentativo, baseada em um tema dado de qualquer natureza. Conforme Fisher
(2011), o MEC no considerou o conhecimento acumulado por diversas universidades,
cuja produo do vestibular tradicional, como o caso do vestibular da UNICAMP,
que vm repensando sua prova de redao e props uma alterao em 2011,
considerando a produo de variados gneros textuais por parte de seus candidatos,
priorizando assim a habilidade em leitura, que deve ser mais valorizada no ensino.

Que o MEC quisesse inventar um exame nacional com papel de seleo seria
at respeitvel, desde que, pelo menos, fosse levada em conta a vasta
experincia acumulada nas melhores universidades brasileiras. Ao longo de
quase 40 anos, foram elaboradas provas de seleo que representaram
incontvel avano, em todas as reas. As universidades operaram dentro de
regras relativamente duras, e o fizeram com grande competncia. Por que
bom motivo o MEC no considerou essa riqueza acumulada? Nem falemos
do processo de atribuio de notas para a redao, que vai ser feito sem a
necessria unidade de operao, cada avaliador em sua casa, em outro
desrespeito a uma larga e competente tradio das boas universidades
brasileiras.

46

Poesia e letra de cano somadas comparecem em 42% das questes; romance, medocres 12%; conto,
apenas 3%; em contraste, histrias em quadrinhos tm gordos 19% (FISHER, 2009).

56

Em outro artigo (2009), publicado na pgina da ANDIFES (Associao

Nacional dos Dirigentes das Instituies Federais de Ensino Superior), o mesmo autor
aponta a confuso criada pelo fato do ENEM passar de um exame de rendimento a um
exame de entrada sem as devidas precaues:
Criado com a saudvel finalidade de avaliar os estudantes e as escolas
brasileiras, o Enem agora passou, sem muita cautela, a ser um instrumento de
seleo para ingresso na universidade. So, ou deveriam ser, duas atividades
muito distintas, que o Brasil lamentavelmente tem misturado desde o comeo
dos anos 70, quando houve forte aumento do nmero de formandos no ensino
mdio demandando as escassas vagas superiores, num processo que
constrangeu as universidades a barrar candidatos em massa. Resultou que o
vestibular, exame de seleo para ingresso, gerou um rebote e virou critrio
informal, mas efetivo, de avaliao das escolas e dos alunos, num curtocircuito perverso, agora reiterado pelo MECii. (Fischer, 2009).

Nesse artigo indica-se um descontentamento com a prova no que se refere

literatura. Segundo o pesquisador, a prova aponta para uma no necessidade da leitura
de um romance como preparao para o exame.

O certo que o ENEM trata o texto literrio como apenas um texto entre
outros, um poema de Drummond no mesmo patamar que um anncio de
remdio e um cartaz contra o cigarro, sem nenhum contexto. As aulas de
histria da literatura costumam ser a melhor (quando no a nica) porta de
entrada oferecida pela escola ao mundo da cultura letrada; abolida do
programa do ENEM a demanda por essa dimenso, e na assustadora hiptese
de o exame vir a ser o vestibular universal para o terceiro grau, o que
ocorrer? (FISHER, 2009)

Esse questionamento de extrema importncia, j que a universidade

configura seu vestibular de acordo com o perfil de aluno que deseja ali. Como
poderosos agentes de impacto no ensino, os vestibulares vm sendo alvo de muitas
crticas por parte de pesquisadores, da mdia e tambm de leigos. fato que os cursos
pr-vestibulares (cursinhos), que engessam modelos de aprendizagem, so provas de
um efeito negativo dos vestibulares, no entanto, esses exames, se bem delineados,
tambm tm potencial para direcionar para uma melhoria do ensino, por exemplo, fazer
com que prticas dos professores e alunos ou materiais didticos sejam alterados.
importante que o governo se preocupe com uma democratizao das
oportunidades de concorrncia s vagas, mas essa preocupao deve ser muito bem
refletida, e principalmente pensada para uma melhoria do ensino, j que uma baixa na

57

qualidade de uma prova de to alta relevncia pode impact-lo gravemente, provocando

do mesmo modo uma queda em sua qualidade.
A questo que se coloca aqui que sendo vestibular, exigir-se-ia do exame
uma configurao diferenciada, priorizando o perfil de aluno desejado pelas
universidades.
Essa afirmao, contudo, no mostra a realidade atual, j que o ENEM no
deixa de causar no ensino o mesmo efeito, como se verifica na fala de um coordenador
de colgio em Belo Horizonte, em notcia divulgada pelo portal O Globo, j em 06 de
maro de 2008, afirmando que cursos j tm preparao especial para o ENEM:

A partir de abril, maro, mais ou menos, o curso organiza aulas, todos os

sbado, focadas no Enem. Os alunos fazem questes parecidas com as
cobradas na prova e treinamos muita redao, que corresponde a metade da
nota. Mas acho que a melhor preparao ainda um bom ensino mdio. 47.

Fisher (2009), assim como as manchetes supracitadas, faz meno ao j

denominado fenmeno do efeito retroativo - que tem o poder de alterar prticas diversas
nas escolas, tanto nas avaliaes, quanto na motivao, no ensino ou na aprendizagem,
bem como validade do exame, j que traz tona a possibilidade do exame no avaliar
o que prope.

47

Disponvel
em
http://oglobo.globo.com/educacao/mat/2008/03/06/pesquisas_revelam_que_maioria_dos_estudantes_enx
ergam_enem_como_porta_de_entrada_para_universidade-426120351.asp. Acesso em 10 de maio de
2011.

58

3. CONSIDERAES FINAIS

O objetivo deste trabalho foi mapear documentos e estudos conduzidos

sobre o ENEM, visando apresentar evidncias (ou a falta delas) de preocupao com
questes como validade e efeitos retroativos que essa prova pode exercer no processo
ensino/ aprendizagem em documentos e estudos tericos sobre o ENEM.
Verificou-se que, embora tenha passado por mudanas a partir de 2009 para
ser exame de acesso a diversas universidades federais, o Novo ENEM no foi alvo de
reflexes e estudos para esse processo. Ainda que se afirme existir um Comit de
Segurana para avaliar a prova, no h estudos que comprovem que ela vlida para o
que prope, se seus efeitos so benficos, ou se um de seus propsitos est sendo
cumprido: reformular o currculo do Ensino Mdio. Alm disso, o exame continua
sendo um teste de rendimento, que certifica a concluso do ensino mdio, carregando
duas funes que provavelmente deveriam ser cobradas separadamente.
Respondendo pergunta de pesquisa, que : os documentos oficiais e
estudos tericos sobre o ENEM mostram preocupao com conceitos como validade ou
efeito retroativo que o exame pode exercer na sociedade?, possvel afirmar que as
publicaes sobre essas questes com relao ao ENEM (antigo e novo) so escassas ou
mal direcionadas, alm de estarem desatualizadas48. Segundo as anlises, temos:
Portais: as pginas destinadas ao exame no direcionam para informaes
acerca da validade do exame ou de seus efeitos no ensino/aprendizagem;
Documentos Oficiais: alguns documentos mencionam vagamente o
potencial efeito positivo do exame, mas no provado empiricamente. Alm disso,
apontam para o fato do exame conter itens elaborados, revisados e pr-testados com
foco em competncias e habilidades na forma de situaes-problema, porm no
indicam/ fazem anlises que comprovem se eles realmente avaliam o que propem e da
maneira que propem;
48

O ltimo relatrio pedaggico disponvel data de 2008. A nica pesquisa encontrada sobre o Novo
ENEM o artigo de Fisher (2011) publicado em um portal da internet.

59

Pesquisas: h pesquisadores das reas de Educao, Psicologia e Letras

que se mostram interessados em avaliar os efeitos e a validade no caso do antigo
ENEM. Ainda sob uma viso mais tradicional, Mildner e Silva (2002) e Vianna (2003)
indicam ausncia de validade de contedo e de construto na prova. Segundo Vianna
(2003), isso ocorre porque no h dados empricos sobre o exame. J Gomes e Borges
(2009) apontam que h forte associao entre a prova e habilidades cognitivas previstas
nos objetivos do exame, mostrando que h validade de construto. Zirondi e Nascimento
(2005) indicam a presena de efeito retroativo nas salas de aula, embora no apresentem
dados dessa pesquisa, como informaes sobre os perfis e percepes dos alunos,
professores, etc. importante salientar que nesse momento o foco o ENEM como
exame de rendimento. Com relao ao Novo ENEM, encontramos uma nica pesquisa
publicada nos portais Andifes (2009) e O Globo (2011), que investiga a validade dos
itens de Literatura da prova, apontando para problemas com relao ao contedo e com
tambm para a falta de reflexo no que se refere s mudanas ocorridas no exame.

De acordo com esses estudos, a atual configurao do exame e, seu

consequente carter de alta relevncia, bem como as diversas polmicas que o envolvem
desde as suas alteraes, torna-se patente a necessidade de um estudo acerca da validade
do ENEM e dos efeitos que ele vem provocando no processo ensino/aprendizagem.
importante que a rea de Lingustica Aplicada investigue e promova estudos sobre
questes relacionadas ao exame.
O ensino brasileiro carece de mudanas e as avaliaes podem ser um
primeiro passo para essa conquista, especialmente o ENEM, que cotado como aquele
que acabar com os vestibulares no pas.
Para isso, uma reflexo deve ser feita junto s diversas universidades,
considerando seu grande conhecimento sobre vestibulares, para que os prximos passos
sejam dados.

60

REFERNCIAS BIBLIOGRFICAS

ALDERSON, J. C., & WALL, D. (1992). Does washback exist? Working Paper Series
11. CRILE, Lancaster University Republicado em Applied Linguistics 14, p. 115-129,
1993.
ALDERSON, J.C.; CLAPHAM, C.; WALL, D. (1995). Language test construction and
evaluation. Cambridge, Cambridge University Press, 310 p.
AMORIM, T. P. P. (2011). Uma anlise de necessidades comunicativas de
profissionais do eixo tecnolgico hospitalidade e lazer: subsdios para um programa de
ensino de ingls baseado em tarefas. Dissertao de mestrado. Programa de Psgraduao em Lingustica, UFSC, Florianpolis.
AVELAR, S. L. T. (2001). Mudanas na concepo e prtica da avaliao e seu efeito
no ensino/aprendizagem de lngua estrangeira (Ingls) em uma escola de ensino mdio
e tcnico. Dissertao de mestrado. Programa de Ps-graduao em Lingustica
Aplicada, IEL, Unicamp.
BACHMAN, L.F. Fundamental considerations in language testing.Oxford: Oxford
University Press, 1990.
__________. (2005). Building and supporting a case for test use. Language Assessment
Quarterly, 2(1):1-43.
BAILEY, K. (1996). Working for washback: A review of the washback concept in
language testing. Language Testing, 13, p. 257-279.
BRASIL (2000). Exame Nacional do Ensino Mdio ENEM: documento bsico 2000.
Braslia:
O
Instituto.
Disponvel
no
endereo
eletrnico
http://www.pedagogiaemfoco.pro.br/eenem.htm. Acesso em 03/05/2011.
__________. (2001). Exame Nacional do Ensino Mdio ENEM: documento bsico
2001. Braslia: O Instituto.
__________. (2002). Exame Nacional do Ensino Mdio ENEM: documento bsico
2002. Braslia: O Instituto.
__________. (2005). Exame Nacional do Ensino Mdio (ENEM): fundamentao
terico-metodolgica. Braslia: O Instituto.
__________. (2007). Cartilha do Aluno. Braslia: O Instituto.
__________. (2007). Cartilha do Inscrito: Enem 2007. Braslia, 2007.

61

__________. (2008). Relatrio Pedaggico 2007. Braslia: O Instituto.

__________. (2008). Cartilha do Aluno. Braslia: O Instituto.
__________. (2009). Exame Nacional do Ensino Mdio ENEM: matriz de referncia
2009.
Braslia:
O
Instituto.
Disponvel
em
http://www.inep.gov.br/download/enem/2009/Enem2009_matriz.pdf.
Acesso
em
03/11/2010.
__________. (2011). Edital do ENEM 2011, n 7. Disponvel em
http://download.inep.gov.br/educacao_basica/enem/edital/2011/edital_n07_18_05_2011
_2.pdf. Acesso em 30 de outubro de 2011.
__________. (2011). Mais de 70% dos participantes do Enem tm desempenho de.
Disponvel
em
http://portal.inep.gov.br/c/journal/view_article_content?groupId=10157&articleId=2022
1&version=1.0&p_p_auth=1BUbTcE4. Acesso em 02/06/2011.
BARTHOLOMEU, M. A. N. (2002). Prova de lngua estrangeira (Ingls) dos
vestibulares e sua influncia nas percepes, atitudes e motivaes de alunos do
terceiro ano do ensino mdio. Dissertao de mestrado, Programa de Ps-graduao em
Lingustica Aplicada, IEL, Unicamp.
CHAPELLE, C.A. 1999. Validity in language assessment. Annual Review of Applied
Linguistics, 19:254-272.
CHENG, L. (1999). Changing assessment: washback on teacher perspectives and
actions. Teaching and teacher education, 15 (3), p. 253-271.
__________ (2004). The washback effect of a public examination change on teachers
perceptions towards their classroom teaching. Em Cheng, L. Watanabe, Y & Curtis, A.
(Eds) Washback in Language Testing Research Contexts and Methods. Lawrence
Erlbaum Associates, New Jersey, p. 147-170.
CORREIA, R. M. D. (2003). O efeito retroativo da prova de ingls do vestibular da
Unicamp na preparao de alunos em um curso preparatrio comunitrio. Dissertao
de mestrado. Programa de Ps-graduao em Lingustica Aplicada, IEL, Unicamp.
DIRIO DA AMAZNIA (2010). ENEM no avalia realidade escolar. Disponvel em
http://www.diariodaamazonia.com.br/diariodaamazonia/index2.php?sec=News&id=455
4. Acesso em 29 de outubro de 11.
DIHITT (2011). Estudantes: Vexame Nacional do Ensino Mdio. Disponvel em
http://www.dihitt.com.br/n/educacao/2011/10/28/estudantes-vexame-nacional-doensino-medio. Acesso em 29 de outubro de 11.
ESTADO (2011). Haddad defende Enem obrigatrio para concluintes do ensino
mdio. Disponvel em http://www.estadao.com.br/noticias/vidae,haddad-defende-enem-

62

obrigatorio-para-concluintes-do-ensino-medio,771676,0.htm. Acesso em 29 de outubro

de 11
__________ (2011). Em um ano, nota mdia no Enem cai em 68% das escolas de elite
de SP Disponvel em http://www.estadao.com.br/noticias/vidae,em-um-ano-nota-mediano-enem-cai-em-68-das-escolas-de-elite-de-sp,771414,0.htm. Acesso em 20 de outubro
de 2011
FISHER, L. A. (2009). Cinco acusaes contra o ENEM. Disponvel em
http://www.andifes.org.br/index.php?option=com_content&task=view&id=2738&Itemi
d=37. Acesso em 07 de outubro de 2011.
__________ (2011). O Enem pode prejudicar o ensino de literatura nas escolas?.
Disponvel em http://oglobo.globo.com/blogs/prosa/. Acesso em 07 de outubro de 2011.
GIMENEZ, T. (1999). Concepes de linguagem e ensino na preparao de alunos para
o vestibular. Trabalhos em Lingustica Aplicada, 34, p. 21-37.
GOMES, C. M. A.; BORGES, O. (2009). O Enem uma avaliao educacional
construtivista? Um estudo de validade de construto. Em Est. Aval. Educ., So Paulo, v.
20, n. 42, p. 73-88, jan./abr 2009.
GRANDE LIVRO (2010). Grande livro do ENEM. So Paulo: DCL, 2010.
GREEN, A. IELTS Washback in Context: Preparation for academic writing in higher
education. In. Studies in Language Testing. Cambridge University Press: Cambridge,
2007. V. 25.
HUGHES, A. (1989). Testing for language teachers. Cambridge, Cambridge University
Press.
JORNAL DO COMMERCIO (2011). Polmica na redao do Enem. Disponvel em
http://jconline.ne10.uol.com.br/canal/cidades/educacao/noticia/2011/10/01/polemica-naredacao-do-enem-17699.php. Acesso em 07 de outubro de 2011.
LANKSHEAR, C. & KNOBEL, M. (2008). Pesquisa pedaggica: do projeto
implementao. Porto Alegre: Artmed.
LISBOA, M. F. G. (2007). A Avaliao em LE em Escolas de idiomas: subsdios para
uma formao reflexiva do professor de lnguas. Dissertao de mestrado. Programa de
Ps-graduao em Lingustica Aplicada, IEL, Unicamp.
MCNAMARA, T. (2000). Language Testing. Oxford, Oxford University Press.
MESSICK, S. (1989). Validity. Em R. Linn (Org.), Educational measurement. (3. ed.,
13-103). New York: American Council on Education and Macmillan Publishing
Company.
_____________. (1996). Validity and washback in language testing. Language Testing
13 (3), p. 241-255.

63

MILDNER, T; SILVA, A. da. (2002). O ENEM como forma alternativa ou

complementar aos concursos vestibulares no caso das reas de conhecimento Lngua
Portuguesa e Literatura: relevante ou passvel de refutao?.Em Estudos em Avaliao
Educacional, n. 25, jan-jun/ 2002.
NASCIMENTO, E. L. ; ZIRONDI, Maria Ilza . Prova do ENEM: um gnero
desencadeador de aes pedaggicas?. In: III Encontro Cientfico do Curso de Letras O Desafio das Letras, 2005, Rolndia-PR. Anais do III Encontro Cientfico do Curso de
Letras - O Desafio das Letras. Rolndia-PR : Faccar, 2005.
O GLOBO (2008). Pesquisas revelam que maioria dos estudantes enxergam o Enem
como
porta
de
entrada
para
a
universidade.
Disponvel
em
http://oglobo.globo.com/educacao/mat/2008/03/06/pesquisas_revelam_que_maioria_do
s_estudantes_enxergam_enem_como_porta_de_entrada_para_universidade426120351.asp. Acesso em 10 de maio de 2011.
PORTAL ANDIFES. Disponvel em http://www.andifes.org.br/. Acesso em 30 de
outubro de 2011.
PORTAL EXAME NACIONAL
http://enem.inep.gov.br/.

DO

ENSINO

MDIO.

Disponvel

em

PORTAL INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS

ANSIO TEIXEIRA. Disponvel em http://portal.inep.gov.br/.
PORTAL INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS
Disponvel
em
ANSIO
TEIXEIRA.
Histrico
ENEM.
http://historico.enem.inep.gov.br/index.php?option=com_content&task=view&id=83&Itemid=125.
Acesso em 24 de fevereiro de 2011.

PORTAL MINISTRIO DA EDUCAO. Disponvel em http://portal.mec.gov.br/.

PORTAL SISU - SISTEMA DE SELEO UNIFICADA. Disponvel em
http://sisu.mec.gov.br/sisu. Acesso em 7 de fevereiro de 2012.
PORTARIA n 109 de 27 de maio de 2009. Disponvel em
http://www.enem.inep.gov.br/pdf/portaria_enem_2009_1.pdf. Acesso em 03 de
novembro de 2010.
PORTARIA n 807 de 18 de junho de 2010. Disponvel em
http://www.enem.inep.gov.br/pdf/portaria807_180610.pdf. Acesso em 03 de novembro
de 2010
PUBLICAES

INEP.
Disponvel
em
http://www.publicacoes.inep.gov.br/resultados.asp?cat=5&subcat=2#. Acesso em 30 de outubro de 2011.

SCARAMUCCI, M. V. R. (1998b). O efeito retroativo dos vestibulares de lngua

inglesa da Unicamp no ensino de segundo grau de escolas pblicas e particulares de
Campinas. . In: XIII Encontro Nacional da ANPOLL, GT de Lingstica Aplicada, 1998,
Campinas. Caderno de Resumos. Campinas, 1998.

64

__________. (1999c). Vestibular e ensino de lngua estrangeira (Ingls) em uma escola

pblica. . Trabalhos Em Lingstica Aplicada, Unicamp, Campinas, v. 34, p. 7-29,
1999.
__________. (2000). Proficincia em LE: Consideraes Terminolficas e Conceituais.
In. Trabalhos em Lingstica Aplicada (36): 11-22, Jul./Dez. Departamento de
Lingstica Aplicada, IEL, Unicamp.
__________. (2002). Entrance examinations and TEFL in Brazil: a case study. Revista
Brasileira de Lingstica Aplicada, Belo Horizonte, Minas Gerais, v. 2, n. 1, p. 61-81,
2002.
__________. (2004). Efeito retroativo da avaliao no ensino/aprendizagem de lnguas:
o estado da arte . Trabalhos em Lingstica Aplicada, Campinas - SP, v. 2, n. 43, p. 203226.
__________. (2004). Compreenso (oral e escrita) e produo escrita no exame
CELPE-Bras: anlise do desempenho de candidatos hispanofalantes Em Portugus para
falantes de espanhol - artigos selecionados escritos em portugus e ingls. (orgs), A.
Simes, A. M. de Carvalho e L.Wiedemann. Pontes Editores, SP, Brazil, pp 126-144.
__________. (2005). Prova de redao nos vestibulares: educacionalmente benfica
para o ensino/aprendizagem da escrita?. In: Valdir do Nascimento Flores; Jane da Costa
Naujorks; Lcia S Rebello; Deborah Scopel Silva (Orgs.). (Org.). A redao no
contexto do Vestibular 2005: a avaliao em perspectiva. Porto Alegre, RS: Editora da
UFRGS, 2005, v. 1, p. 37-57.

__________. (2009). Avaliao da leitura em ingls como lngua estrangeira e validade

de construto EFL reading assessment and construct validity Calidoscpio. Vol. 7, n. 1,
p. 30-48, jan/abr.

RETORTA, M. S. (2007). Efeito retroativo do vestibular da Universidade Federal do

Paran no enisno de lngua inglesa em nvel mdio no Paran: uma investigao em
escolas pblicas, particulares e cursos pr-vestibulares. Dissertao de mestrado.
Programa de Ps-graduao em Lingustica Aplicada, IEL, Unicamp.
TOEFL RESEARCH TOPICS. Disponvel em http://www.ets.org/toefl/research/topics/.
Acesso em 30 de outubro de 2011.
LTIMO SEGUNDO EDUCAO (2011). Colgio acusado de aplicar questes do
Enem
antes
da
prova.
Disponvel
em
http://ultimosegundo.ig.com.br/educacao/enem/colegio-e-acusado-de-aplicar-questoesdo-enem-antes-da-prova/n1597325589545.html. Acesso em 29 de outubro de 11.

65

UOL EDUCAO (2010). ENEM no serve para avaliar qualidade de escola.

Disponvel em http://educacao.uol.com.br/ultnot/2010/07/19/enem-nao-serve-paraavaliar-qualidade-de-escola-diz-especialista.jhtm. Acesso em 29 de outubro de 10.
____________ (2011). Defensoria pblica vai pedir para MEC anular pelo menos as
questes
que
vazaram
do
Enem.
Disponvel
em
http://noticias.uol.com.br/educacao/2011/10/28/defensoria-publica-vai-pedir-para-mecanular-pelo-menos-as-questoes-que-vazaram-do-enem.jhtm. Acesso em 29 de outubro
de 11
VIANNA, H. M. (2003). Avaliaes Nacionais em Larga Escala: anlises e propostas.
Em Estudos em Avaliao Educacional, n. 27, jan-jun/2003.

Anexo 1
ANTIGO ENEM HABILIDADES

1. Dada a descrio discursiva ou por ilustrao de um experimento ou fenmeno, de

natureza cientfica, tecnolgica ou social, identificar variveis relevantes e selecionar os
instrumentos necessrios para realizao ou interpretao do mesmo.
2. Em um grfico cartesiano de varivel socioeconmica ou tcnico-cientfica,
identificar e analisar valores das variveis, intervalos de crescimento ou decrscimo e
taxas de variao.
3. Dada uma distribuio estatstica de varivel social, econmica, fsica, qumica ou
biolgica, traduzir e interpretar as informaes disponveis, ou reorganiz-las,
objetivando interpolaes ou extrapolaes.
4. Dada uma situao-problema, apresentada em uma linguagem de determinada rea de
conhecimento, relacion-la com sua formulao em outras linguagens ou vice-versa.
5. A partir da leitura de textos literrios consagrados e de informaes sobre concepes
artsticas, estabelecer relaes entre eles e seu contexto histrico, social, poltico ou
cultural, inferindo as escolhas dos temas, gneros discursivos e recursos expressivos dos
autores.
6. Com base em um texto, analisar as funes da linguagem, identificar marcas de
variantes lingusticas de natureza sociocultural, regional, de registro ou de estilo, e
explorar as relaes entre as linguagens coloquial e formal.

66

7. Identificar e caracterizar a conservao e as transformaes de energia em diferentes

processos de sua gerao e uso social, e comparar diferentes recursos e opes
energticas.
8. Analisar criticamente, de forma qualitativa ou quantitativa, as implicaes
ambientais, sociais e econmicas dos processos de utilizao dos recursos naturais,
materiais ou energticos.
9. Compreender o significado e a importncia da gua e de seu ciclo para a manuteno
da vida, em sua relao com condies socioambientais, sabendo quantificar variaes
de temperatura e mudanas de fase em processos naturais e de interveno humana.
10. Utilizar e interpretar diferentes escalas de tempo para situar e descrever
transformaes na atmosfera, biosfera, hidrosfera e litosfera, origem e evoluo da vida,
variaes populacionais e modificaes no espao geogrfico.
11. Diante da diversidade da vida, analisar, do ponto de vista biolgico, fsico ou
qumico, padres comuns nas estruturas e nos processos que garantem a continuidade e
a evoluo dos seres vivos.
12. Analisar fatores socioeconmicos e ambientais associados ao desenvolvimento, s
condies de vida e sade de populaes humanas, por meio da interpretao de
diferentes indicadores.
13. Compreender o carter sistmico do planeta e reconhecer a importncia da
biodiversidade para preservao da vida, relacionando condies do meio e interveno
humana.
14. Diante da diversidade de formas geomtricas planas e espaciais, presentes na
natureza ou imaginadas, caracteriz-las por meio de propriedades, relacionar seus
elementos, calcular comprimentos, reas ou volumes, e utilizar o conhecimento
geomtrico para leitura, compreenso e ao sobre a realidade.
15. Reconhecer o carter aleatrio de fenmenos naturais ou no e utilizar em situaesproblema processos de contagem, representao de frequncias relativas, construo de
espaos amostrais, distribuio e clculo de probabilidades.
16. Analisar, de forma qualitativa ou quantitativa, situaes-problema referentes a
perturbaes ambientais, identificando fonte, transporte e destino dos poluentes,
reconhecendo suas transformaes; prever efeitos nos ecossistemas e no sistema

67

produtivo e propor formas de interveno para reduzir e controlar os efeitos da poluio

ambiental.
17. Na obteno e produo de materiais e de insumos energticos, identificar etapas,
calcular rendimentos, taxas e ndices, e analisar implicaes sociais, econmicas e
ambientais.
18. Valorizar a diversidade dos patrimnios etnoculturais e artsticos, identificando-a
em suas manifestaes e representaes em diferentes sociedades, pocas e lugares.
19. Confrontar interpretaes diversas de situaes ou fatos de natureza histricogeogrfica, tcnico-cientfica, artstico-cultural ou do cotidiano, comparando diferentes
pontos de vista, identificando os pressupostos de cada interpretao e analisando a
validade dos argumentos utilizados.
20. Comparar processos de formao socioeconmica, relacionando-os com seu
contexto histrico e geogrfico.
21. Dado um conjunto de informaes sobre uma realidade histrico-geogrfica,
contextualizar e ordenar os eventos registrados, compreendendo a importncia dos
fatores sociais, econmicos, polticos ou culturais.

Anexo 2
Objetos de conhecimento associados s Matrizes de Referncia

1. Linguagem, Cdigos e suas Tecnologias

Estudo do texto: as sequncias discursivas e os gneros textuais no sistema de

comunicao e informao - modos de organizao da composio textual; atividades
de produo escrita e de leitura de textos gerados nas diferentes esferas sociais pblicas e privadas.
Estudo das prticas corporais: a linguagem corporal como integradora social e
formadora de identidade - performance corporal e identidades juvenis; possibilidades de
vivncia crtica e emancipada do lazer; mitos e verdades sobre os corpos masculino e
feminino na sociedade atual; exerccio fsico e sade; o corpo e a expresso artstica e
cultural; o corpo no mundo dos smbolos e como produo da cultura; prticas corporais

68

e autonomia; condicionamentos e esforos fsicos; o esporte;. a dana; as lutas; os

jogos; as brincadeiras.
Produo e recepo de textos artsticos: interpretao e representao do mundo para
o fortalecimento dos processos de identidade e cidadania Artes Visuais: estrutura
morfolgica, sinttica, o contexto da obra artstica, o contexto da comunidade. Teatro:
estrutura morfolgica, sinttica, o contexto da obra artstica, o contexto da comunidade,
as fontes de criao. Msica: estrutura morfolgica, sinttica, o contexto da obra
artstica, o contexto da comunidade, as fontes de criao. Dana: estrutura morfolgica,
sinttica, o contexto da obra artstica, o contexto da comunidade, as fontes de criao.
Contedos estruturantes das linguagens artsticas (Artes Visuais, Dana, Msica,
Teatro), elaborados a partir de suas estruturas morfolgicas e sintticas; incluso,
diversidade e multiculturalidade:
a valorizao da pluralidade expressada nas produes estticas e artsticas das minorias
sociais e dos portadores de necessidades especiais educacionais.
Estudo do texto literrio: relaes entre produo literria e processo social,
concepes artsticas, procedimentos de construo e recepo de textos - produo
literria e processo social; processos de formao literria e de formao nacional;
produo de textos literrios, sua recepo e a constituio do patrimnio literrio
nacional; relaes entre a dialtica cosmopolitismo/localismo e a produo literria
nacional; elementos de continuidade e ruptura entre os diversos momentos da literatura
brasileira; associaes entre concepes artsticas e procedimentos de construo do
texto literrio em seus gneros (pico/narrativo, lrico e dramtico) e formas diversas.;
articulaes entre os recursos expressivos e estruturais do texto literrio e o processo
social relacionado ao momento de sua produo; representao literria: natureza,
funo, organizao e estrutura do texto literrio; relaes entre literatura, outras artes e
outros saberes.
Estudo dos aspectos lingusticos em diferentes textos: recursos expressivos da lngua,
procedimentos de construo e recepo de textos - organizao da macroestrutura
semntica e a articulao entre ideias e proposies (relaes lgico-semnticas).
Estudo do texto argumentativo, seus gneros e recursos lingusticos: argumentao:
tipo, gneros e usos em lngua portuguesa - formas de apresentao de diferentes pontos
de vista; organizao e progresso textual; papis sociais e comunicativos dos

69

interlocutores, relao entre usos e propsitos comunicativos, funo sociocomunicativa

do gnero, aspectos da dimenso espao temporal em que se produz o texto.
Estudo dos aspectos lingusticos da lngua portuguesa: usos da lngua: norma culta e
variao lingustica - uso dos recursos lingusticos em relao ao contexto em que o
texto constitudo: elementos de referncia pessoal, temporal, espacial, registro
lingustico, grau de formalidade, seleo lexical, tempos e modos verbais; uso dos
recursos lingusticos em processo de coeso textual: elementos de articulao das
sequncias dos textos ou construo da microestrutura do texto.
Estudo dos gneros digitais: tecnologia da comunicao e informao: impacto e
funo social - o texto literrio tpico da cultura de massa: o suporte textual em gneros
digitais; a caracterizao dos interlocutores na comunicao tecnolgica; os recursos
lingusticos e os gneros digitais; a funo social das novas tecnologias.

Anexo 3
NOVO ENEM - Matriz de Referncia de Linguagens, Cdigos e suas Tecnologias

Competncia de rea 1 - Aplicar as tecnologias da comunicao e da informao na

escola, no trabalho e em outros contextos relevantes para sua vida.

H1 - Identificar as diferentes linguagens e seus recursos expressivos como elementos de

caracterizao dos sistemas de comunicao.
H2 - Recorrer aos conhecimentos sobre as linguagens dos sistemas de comunicao e
informao para resolver problemas sociais.
H3 - Relacionar informaes geradas nos sistemas de comunicao e informao,
considerando a funo social desses sistemas.
H4 - Reconhecer posies crticas aos usos sociais que so feitos das linguagens e dos
sistemas de comunicao e informao.

Competncia de rea 2 - Conhecer e usar lngua(s) estrangeira(s) moderna(s) como

instrumento de acesso a informaes e a outras culturas e grupos sociais*.

70

H5 Associar vocbulos e expresses de um texto em LEM ao seu tema.

H6 - Utilizar os conhecimentos da LEM e de seus mecanismos como meio de ampliar as
possibilidades de acesso a informaes, tecnologias e culturas.
H7 Relacionar um texto em LEM, as estruturas lingusticas, sua funo e seu uso
social.
H8 - Reconhecer a importncia da produo cultural em LEM como representao da
diversidade cultural e lingustica.

*A rea 2 ser includa apenas a partir de 2010

Competncia de rea 3 - Compreender e usar a linguagem corporal como relevante para

a prpria vida, integradora social e formadora da identidade.

H9 - Reconhecer as manifestaes corporais de movimento como originrias de

necessidades cotidianas de um grupo social.
H10 - Reconhecer a necessidade de transformao de hbitos corporais em funo das
necessidades cinestsicas.
H11 - Reconhecer a linguagem corporal como meio de interao social, considerando os
limites de desempenho e as alternativas de adaptao para diferentes indivduos.

Competncia de rea 4 - Compreender a arte como saber cultural e esttico gerador de

significao e integrador da organizao do mundo e da prpria identidade.

H12 - Reconhecer diferentes funes da arte, do trabalho da produo dos artistas em

seus meios culturais.
H13 - Analisar as diversas produes artsticas como meio de explicar diferentes
culturas, padres de beleza e preconceitos.
H14 - Reconhecer o valor da diversidade artstica e das inter-relaes de elementos que
se apresentam nas manifestaes de vrios grupos sociais e tnicos.

Competncia de rea 5 - Analisar, interpretar e aplicar recursos expressivos das

linguagens, relacionando textos com seus contextos, mediante a natureza, funo,

71

organizao, estrutura das manifestaes, de acordo com as condies de produo e

recepo.

H15 - Estabelecer relaes entre o texto literrio e o momento de sua produo,

situando aspectos do contexto histrico, social e poltico.
H16 - Relacionar informaes sobre concepes artsticas e procedimentos de
construo do texto literrio.
H17 - Reconhecer a presena de valores sociais e humanos atualizveis e permanentes
no patrimnio literrio nacional.

Competncia de rea 6 - Compreender e usar os sistemas simblicos das diferentes

linguagens como meios de organizao cognitiva da realidade pela constituio de
significados, expresso, comunicao e informao.

H18 - Identificar os elementos que concorrem para a progresso temtica e para a

organizao e estruturao de textos de diferentes gneros e tipos.
H19 - Analisar a funo da linguagem predominante nos textos em situaes especficas
de interlocuo.
H20 - Reconhecer a importncia do patrimnio lingustico para a preservao da
memria e da identidade nacional.

Competncia de rea 7 - Confrontar opinies e pontos de vista sobre as diferentes

linguagens e suas manifestaes especficas.

H21 - Reconhecer em textos de diferentes gneros, recursos verbais e no-verbais

utilizados com a finalidade de criar e mudar comportamentos e hbitos.
H22 - Relacionar, em diferentes textos, opinies, temas, assuntos e recursos
lingusticos.
H23 - Inferir em um texto quais so os objetivos de seu produtor e quem seu pblico
alvo, pela anlise dos procedimentos argumentativos utilizados.

72

H24 - Reconhecer no texto estratgias argumentativas empregadas para o

convencimento do pblico, tais como a intimidao, seduo, comoo, chantagem,
entre outras.

Competncia de rea 8 - Compreender e usar a lngua portuguesa como lngua materna,

geradora de significao e integradora da organizao do mundo e da prpria
identidade.

H25 - Identificar, em textos de diferentes gneros, as marcas lingusticas que

singularizam as variedades lingusticas sociais, regionais e de registro.
H26 - Relacionar as variedades lingusticas a situaes especficas de uso social.
H27 - Reconhecer os usos da norma padro da lngua portuguesa nas diferentes
situaes de comunicao.

Competncia de rea 9 - Entender os princpios, a natureza, a funo e o impacto das

tecnologias da comunicao e da informao na sua vida pessoal e social, no
desenvolvimento do conhecimento, associando-o aos conhecimentos cientficos, s
linguagens que lhes do suporte, s demais tecnologias, aos processos de produo e aos
problemas que se propem solucionar.

H28 - Reconhecer a funo e o impacto social das diferentes tecnologias da

comunicao e informao.
H29 - Identificar pela anlise de suas linguagens, as tecnologias da comunicao e
informao.
H30 - Relacionar as tecnologias de comunicao e informao ao desenvolvimento das
sociedades e ao conhecimento que elas produzem.

Anexo 4
COMPETNCIAS

EXPRESSAS

NA

MATRIZ

REDAO 2011

I - Demonstrar domnio da norma padro da lngua escrita.

DE

REFERNCIA

PARA

73

II - Compreender a proposta de redao e aplicar conceitos das vrias reas de

conhecimento para desenvolver o tema, dentro dos limites estruturais do texto dissertativoargumentativo.
III - Selecionar, relacionar, organizar e interpretar informaes, fatos, opinies e
argumentos em defesa de um ponto de vista.
IV - Demonstrar conhecimento dos mecanismos lingusticos necessrios para a construo
da argumentao.
V - Elaborar proposta de soluo para o problema abordado, respeitando os valores
humanos e considerando a diversidade sociocultural.

Nveis de conhecimentos associados s Competncias Expressas nas Matrizes de

Referncia para Redao do Enem.
Para cada uma das competncias expressas na matriz de referncia para redao do Enem,
existem nveis de conhecimento associados a essas competncias, conforme descritos
abaixo:

- Nvel 0:
Demonstra desconhecimento da norma padro, de escolha de registro e de convenes da
escrita. No defende ponto de vista e apresenta informaes, fatos, opinies e argumentos
incoerentes. Apresenta informaes desconexas, que no se configuram como texto. No
elabora proposta de interveno.
- Nvel I:
Demonstra domnio insuficiente da norma padro, apresentando graves e frequentes desvios
gramaticais, de escolha de registro e de convenes da escrita. Desenvolve de maneira
tangencial o tema ou apresenta inadequao ao tipo textual dissertativo-argumentativo. No
defende ponto de vista e apresenta informaes, fatos, opinies e argumentos pouco
relacionados ao tema. No articula as partes do texto ou as articula de forma precria e/ou
inadequada. Elabora proposta de interveno tangencial ao tema ou a deixa subentendida no
texto.
- Nvel II:
Demonstra domnio mediano da norma padro, apresentando muitos desvios gramaticais, de
escolha de registro e de convenes da escrita. Desenvolve de forma mediana o tema a
partir de argumentos do senso comum, cpias dos textos motivadores ou apresenta domnio
precrio do tipo textual dissertativo-argumentativo. Apresenta informaes, fatos e

74

opinies, ainda que pertinentes ao tema proposto, com pouca articulao e/ou com
contradies, ou limita-se a reproduzir os argumentos constantes na proposta de redao em
defesa de seu ponto de vista. Articula as partes do texto, porm com muitas inadequaes na
utilizao dos recursos coesivos. Elabora proposta de interveno de forma precria ou
relacionada ao tema, mas no articulada com a discusso desenvolvida no texto.
- Nvel III:
Demonstra domnio adequado da norma padro, apresentando alguns desvios gramaticais e
de convenes da escrita. Desenvolve de forma adequada o tema, a partir de argumentao
previsvel e apresenta domnio adequado do tipo textual dissertativo-argumentativo.
Apresenta informaes, fatos, opinies e argumentos pertinentes ao tema proposto, porm
pouco organizados e relacionados de forma pouco consistente em defesa de seu ponto de
vista. Articula as partes do texto, porm com algumas inadequaes na utilizao dos
recursos coesivos. Elabora proposta de interveno relacionada ao tema mas pouco
articulada discusso desenvolvida no texto.
- Nvel IV:
Demonstra bom domnio da norma padro, com poucos desvios gramaticais e de
convenes da escrita. Desenvolve bem o tema a partir de argumentao consistente e
apresenta bom domnio do tipo textual dissertativo-argumentativo. Seleciona, organiza e
relaciona informaes, fatos, opinies e argumentos pertinentes ao tema proposto de forma
consistente, com indcios de autoria, em defesa de seu ponto de vista. Articula as partes do
texto, com poucas inadequaes na utilizao de recursos coesivos. Elabora proposta de
interveno relacionada ao tema e bem articulada discusso desenvolvida no texto.
- Nvel V:
Demonstra excelente domnio da norma padro, no apresentando ou apresentando escassos
desvios gramaticais e de convenes da escrita. Desenvolve muito bem o tema com
argumentao consistente, alm de apresentar excelente domnio do tipo textual
dissertativo-argumentativo, a partir de um repertrio sociocultural produtivo. Seleciona,
organiza e relaciona informaes, fatos, opinies e argumentos pertinentes ao tema proposto
de forma consistente, configurando autoria, em defesa de seu ponto de vista. Articula as
partes do texto, sem inadequaes na utilizao dos recursos coesivos. Elabora proposta de
interveno inovadora relacionada ao tema e bem articulada discusso desenvolvida em
seu texto.

75