Lordelo 9788523209315 PDF

Avaliacao educacional
desatando e reatando ns
Jose Albertino Carvalho Lordlo

Maria Virgnia Dazzani
(orgs.)
SciELO Books / SciELO Livros / SciELO Libros

LORDLO, JAC., and DAZZANI, MV., orgs. Avaliao educacional: desatando e reatando ns
[online]. Salvador: EDUFBA, 2009. 349 p. ISBN 978-85-232-0654-3. Available from SciELO Books
<http://books.scielo.org>.
All the contents of this chapter, except where otherwise noted, is licensed under a Creative Commons
Attribution-Non Commercial-ShareAlike 3.0 Unported.
Todo o contedo deste captulo, exceto quando houver ressalva, publicado sob a licena Creative
Commons Atribuio - Uso No Comercial - Partilha nos Mesmos Termos 3.0 No adaptada.
Todo el contenido de este captulo, excepto donde se indique lo contrario, est bajo licencia de
la licencia Creative Commons Reconocimento-NoComercial-CompartirIgual 3.0 Unported.
AVALIAO EDUCACIONAL
Avaliacao_educacional.indb 1
31/03/2010 15:59:54
UNIVERSIDADE FEDERAL DA BAHIA

Reitor
Naomar Monteiro de Almeida Filho
Vice Reitor
Francisco Jos Gomes Mesquita
EDITORA DA UNIVERSIDADE FEDERAL DA BAHIA
Diretora
Flvia Goullart Mota Garcia Rosa
CONSELHO EDITORIAL
Titulares:
ngelo Szaniecki Perret Serpa
Caiuby Alves da Costa
Charbel Nin El-Hani
Dante Eustachio Lucchesi Ramacciotti
Jos Teixeira Cavalcante Filho
Alberto Brum Novaes
Suplentes:
Antnio Fernando Guerreiro de Freitas
Evelina de Carvalho S Hoisel
Cleise Furtado Mendes
Maria Vidal de Negreiros Camargo
FACULDADE DE EDUCAO
PROGRAMA DE PESQUISA E PS-GRADUAO EM EDUCAO
Linha de Pesquisa: Poltica e Gesto da Educao
31/03/2010 15:59:55
AVALIAO EDUCACIONAL
Jos Albertino Carvalho Lordlo
ORGANIZADORES
Salvador
2009
31/03/2010 15:59:55
2009 by Jos Albertino Carvalho Lordlo e Maria Virgnia Dazzani

Direitos para esta edio cedidos Editora da Universidade
Federal da Bahia.
Feito o depsito legal.
PROJETO GRFICO & DIAGRAMAO
Genilson Lima Santos
CAPA
Alberto Batinga Pinheiro
REVISO
lvaro Cardoso de Souza
NORMALIZAO
Snia Chagas Vieira
UFBA / Faculdade de Educao Biblioteca Ansio Teixeira

A945 Avaliao educacional : desatando e reatando ns / Jos Albertino Carvalho
Lordlo, Maria Virgnia Dazzani (organizadores). Salvador: EDUFBA,
2009.
349 p.
ISBN: 978-85-232-0654-3
1. Avaliao educacional. 2. Ensino superior Avaliao. 3. Educao e
estado. I. Lordlo, Jos Albertino Carvalho. II. Dazzani, Maria Virgnia.
CDD 371.26 22. ed.
Editora filiada :
EDUFBA Rua Baro de Jeremoabo, s/n Campus de Ondina,

Salvador Bahia CEP 40170 115 Tel/fax 71 3283 6164
www.edufba.ufba.br edufba@ufba.br
31/03/2010 15:59:55
Sumrio
Introduo 7
Avaliao de polticas educacionais: contexto e
conceitos em busca da avaliao pblica 17
Lanara Guimares de Souza (UNEB)
A avaliao da educao superior no Brasil:
desafios e perspectivas 31
Robinson Moreira Tenrio (ufba)
Maria Antonia Brando de Andrade (ufba, capes, cnpq)
A avaliao como uma poltica pblica: aspectos
da implementao do SINAES 57
Jorge Luiz Lordlo de Sales Ribeiro (UFBA)
Poder, representao, participao, conhecimento
e deciso: a CPA da UFBA 85
Jos Albertino Carvalho Lordlo (UFBA)
Mrcia Pontes (UFBA)
SINAES na perspectiva de membros da CPA:
implantao, conduo e avaliao 103
Robinson Moreira Tenrio (UFBA)
Rivailda Silveira Nunes de Argollo (IFBA)
A avaliao como instrumento de aperfeioamento
do ensino em odontologia 123
Maringela Silva Matos (UFBA)
Resultados preliminares do GERES 2005 para equidade nos
sistemas de ensino de cinco centros urbanos brasileiros 155
Paulo A. Meyer M. Nascimento (IPEA)
Robert E. Verhine (UFBA)
A avaliao do desempenho de alunos de educao superior:
uma anlise a partir da experincia do ENADE 173
Lys M. V. Dantas (FAPESB)
Identidade, avaliao e desempenho escolar 201
Marcos Emanoel Pereira (UFBA)
31/03/2010 15:59:55
Ameaa dos esteretipos no desempenho intelectual

de estudantes universitrios cotistas 225
Joice Ferreira da Silva (Mestre em Psicologia/UFBA)
Famlia, escola e desempenho acadmico 249
Maria Virgnia Dazzani (Instituto de Psicologia/UFBA)
Marcelo Faria (Departamento de Educao/UNEB)
Fatores associados ao desempenho escolar na
4 srie do ensino fundamental 265
Rosana de Freitas Castro (UFBA)
School effectiveness in primary schools: the role of school
climate and composition characteristics 297
Claudia Schuchart (University of Wuppertal, Alemanha)
How good is maimonides rule? strengths and pitfalls of using
institutional rules as instruments to assess class size effects 325
Sobre os autores 347
31/03/2010 15:59:55
Introduo
A avaliao do contexto da instituio educacional tem sido objeto
de uma vastssima literatura especializada de artigos e teses acadmicas e produzido incontveis livros. Podemos tratar desse tema
de vrios ngulos, desde o ponto de vista estritamente didtico e
das estratgias de avaliao da aprendizagem escolar at questes
epistemolgicas, sociais e polticas que esto implicadas na instituio educacional e em outras instituies que envolvem relaes
de saber-poder.
O Brasil de hoje ainda tem um grande desafio: uma educao
que concilie, de um lado, a qualidade e excelncia e, do outro, que
pratique valores que contribuam para a democratizao da sociedade.
Todos temos mesmo que apenas empiricamente uma ideia das
dificuldades pedaggicas, econmicas e polticas, como se fossem
ns cegos, que precisamos enfrentar e desatar para que esse grande
desafio seja superado. Do mesmo modo, so muitas e diferentes
as perspectivas que esto em frequente disputa para interpretar e
propor novas estratgias, tais como pontas soltas que devemos nos
esforar para convergir e amarrar.
Este livro segue essas direes, expressando um explcito compromisso com a qualidade e democratizao da educao e praticando
um dilogo que envolve muitas vozes desatando e reatando ns.
Um compromisso que quisemos compartilhar com o leitor, especialista ou no.
No primeiro captulo, Avaliao de polticas educacionais: contexto e
conceitos em busca da avaliao pblica, Lanara Guimares de Souza
trata do tema da avaliao luz de uma reflexo sobre polticas
educacionais. Para a autora, a avaliao de polticas educacionais,
entendida como um processo sistemtico, formativo, cuja construo e gesto so realizadas com a participao de todos os agentes
envolvidos, um tema complexo que se insere no debate mais amplo
sobre polticas pblicas e qualidade da educao.
avaliao educacional: desatando e reatando ns 7
31/03/2010 15:59:55
O objetivo desse captulo fazer uma reflexo sobre o campo da

avaliao na rea das polticas pblicas, destacando alguns de seus
pressupostos e fundamentos, no atual contexto brasileiro, especificamente, no tocante ao carter pblico da avaliao. A avaliao de
polticas educacionais envolve autoavaliao, avaliao de programas
e de projetos poltica vinculada, que tem por objetivo a melhoria
da qualidade da aprendizagem. Na primeira parte, Lanara Souza
aborda as questes conceituais da temtica e na contextualizao do
debate sobre o tema a partir da dcada de 90. Em seguida, destaca
algumas questes de carter conceitual e poltico-pedaggico presentes na literatura e que parecem fundamentais na implantao e
gesto de um processo de avaliao de polticas pblicas, tais como:
a participao dos envolvidos no processo, a natureza dos dados
sistematizados e a politizao das aes avaliativas, superando o
carter eminentemente tcnico que costumam ter.
O segundo captulo assinado em coautoria, de Robinson Moreira
Tenrio e Maria Antonia Brando de Andrade, discute os desafios e
perspectivas da avaliao da educao superior no Brasil. Segundo os
autores, a avaliao da educao superior tem se definido como um
ponto estratgico na articulao e gesto das polticas educativas. A
preocupao com a qualidade oferecida pelas Instituies de Ensino
Superior (IES) tem desencadeado uma srie de argumentos e aes
de ordem institucional e estatal na busca pelo amadurecimento do
campo avaliativo.
No Brasil, as recomendaes do novo modelo de administrao
pblica gerencial tm provocado alteraes no campo educacional
no que se refere organizao jurdica das instituies de ensino, a exemplo de novos processos de regulao e gesto. Esse fato
acarreta no desenvolvimento de polticas educacionais voltadas
para o atendimento da ideologia neoliberal, cuja lgica deveria
acompanhar a orientao do campo econmico. Assim, a articulao
entre a educao e a produo de conhecimento dever estar sob a
gide do binmio privatizaomercantilizao da educao, tendo
como interlocutores os organismos internacionais, a exemplo do
Banco Mundial. Por outro lado, a falta de financiamento pblico e
a recomendao da privatizao desse nvel de ensino implicam a
8 introduo
31/03/2010 15:59:55
crise das universidades pblicas, acarretando profundas mudanas

no cenrio da educao superior brasileira.
A organicidade do sistema de educao superior, diante de tais
premissas, toma como referncia a prpria diversificao do financiamento, bem como a padronizao de um processo de avaliao
centrado no processo de reforma da educao no pas, cujas polticas
se voltam, prioritariamente, para as atividades de ensino, mediante
adoo de critrios normativos e avaliaes parciais gerenciados
pelo prprio Estado.
O objetivo deste captulo reside, portanto, em compreender e
discutir a trajetria da avaliao da educao superior, seus avanos
e possibilidades nas ltimas dcadas, sobretudo a partir dos anos
90, neste cenrio de diversificao e oferta, que tem constitudo o
sistema educacional brasileiro.
Os captulos seguintes verticalizam essa temtica, concentrandose numa discusso crtica em torno do Sistema Nacional de Avaliao
da Educao Superior (SINAES). No captulo trs, A avaliao como
uma poltica pblica, Jorge Luiz Lordlo de Sales Ribeiro considera
que apesar do grande nmero de trabalhos e da diversificao dos
aspectos estudados, a avaliao sempre vista como uma ferramenta
para aferio. Da sua utilizao como elemento indicador do nvel
de execuo de uma atividade (se obteve sucesso ou insucesso),
como indicador de qualidade de uma atividade ou de um conjunto
delas, como elemento para apontar caminhos no processo decisrio
na gesto institucional, como medidor do nvel de aprendizagem,
etc. Para ele, porm, a avaliao pode cumprir outros importantes
papis. Este captulo caracteriza o Sistema Nacional de Avaliao
da Educao Superior como uma poltica pblica, ou seja, como um
conjunto de regras e objetivos que direcionam as prticas de uma
atividade pblica, identificando os procedimentos e as estratgias
utilizadas para a sua implementao.
Os captulos quatro, cinco e seis analisam criticamente duas
experincias de avaliao nesse cenrio. Jos Albertino Carvalho
Lordlo e Mrcia Pontes discutem o caso da Comisso Prpria de
Avaliao (CPA) da UFBA e Robinson Moreira Tenrio e Rivailda
Silveira Nunes de Argollo fazem algo semelhante em relao ao
31/03/2010 15:59:56
Instituto Federal de Educao Cincia e Tecnologia (antigo CEFET-BA).

Mesmo tratando de dois casos pontuais, esses captulos oferecem
excelentes elementos para entendermos os desafios da avaliao
institucional.
O propsito do trabalho de Jos Albertino Carvalho Lordlo e
Mrcia Pontes, partindo de conceitos como poder, representao, participao, conhecimento e deciso e de uma reflexo
epistemolgico-conceitual, descrever, tecer consideraes acerca
da necessidade de conciliao entre as dimenses poltica e tcnica
inerentes a esses processos. Recorrendo a referncias de autores e
temas de filosofia e cincia poltica, o captulo aborda particularmente a atuao da CPA/UFBA, enquanto instncia de avaliao
institucional da educao superior, centrando-se na experincia dos
sujeitos envolvidos em diferentes momentos.
Robinson Moreira Tenrio e Rivailda Argollo, por sua vez,
retomam consideraes gerais sobre a implantao do Sistema Nacional de Avaliao da Educao Superior (SINAES). Este captulo
contribui nessa discusso ao aproximar a teoria (aqui referenciada
no arcabouo legal que institui o SINAES) da prtica em uma Instituio de Ensino Superior, neste caso, o Instituto Federal de Educao
Cincia e Tecnologia da Bahia. Assim como o captulo precedente,
os autores tratam do tema a partir da experincia dos membros da
Comisso Prpria de Avaliao (CPA) na conduo e implantao da
autoavaliao institucional. A anlise abarca pesquisa documental
e bibliogrfica, enquanto a anlise prtica recorre a questionrios,
observaes assistemticas, experincias e reflexes de membros da
CPA que atuaram como representantes dos segmentos dos alunos,
dos docentes e do corpo tcnico-administrativo. Por fim, o captulo
elenca limites e possibilidades do Sistema e da prtica avaliativa na
Instituio, constata que a amplitude, complexidade e diversidade do
sistema federal, das Instituies de Ensino Superior e das dimenses
avaliadas evidenciam um longo caminho para o necessrio aperfeioamento do processo avaliativo.
O sexto captulo faz uma leitura fina de uma outra experincia
de avaliao institucional. Maringela Silva Matos e Robinson
Moreira Tenrio assinam o captulo intitulado A avaliao como ins-
10 introduo
31/03/2010 15:59:56
trumento de aperfeioamento do ensino em odontologia que, alm de uma

minuciosa reviso do marco legal e atenta anlise crtica da referida
experincia de avaliao, formula instigantes sugestes conceituais
e metodolgicas. Seu ponto de partida o fato de que o Brasil no
tem uma tradio em avaliar o seu sistema educacional.
O stimo captulo, escrito por Paulo A. Meyer M. Nascimento
e Robert E. Verhine, faz um estudo comparativo de sistemas de
avaliao educacional. H um pressuposto segundo o qual a educao
costuma ser percebida tanto quanto um investimento em capital
humano quanto como um direito. Independentemente de qual
desses dois ngulos os estudos econmicos no campo da Educao
privilegiam, objetivos de poltica associados equidade tambm
deveriam ser incorporados anlise no somente considerados
como objetivos secundrios em relao ao da eficincia. Entretanto,
as avaliaes de sistemas escolares concentram-se tradicionalmente
em rankings baseados apenas em uma nica medida de desempenho
ignorando que as notas obtidas por estudantes em tais testes no
so exclusivamente determinadas pela sua passagem pelos sistemas
de ensino; so, outrossim, fortemente influenciadas pela experincia
de vida, contexto psicossocial e cultural, histria, habilidades previamente desenvolvidas e, principalmente, pelo conjunto de condies
socioeconmicas a que esto sujeitos e sujeitas todo cidado e toda
cidad ao longo de seus ciclos escolares.
Esse captulo avalia cinco sistemas educacionais urbanos do Brasil
sob a perspectiva da equidade: notas obtidas em um teste de Leitura
aplicado no final de 2005 so confrontadas com o desempenho
inicial do mesmo grupo de alunos e alunas no incio daquele ano
letivo. O progresso de aprendizagem ento aferido que o objeto
analisado, em termos tanto da variao total da aprendizagem do
grupo, como da variao observada entre as escolas e dentro das
escolas da amostra. Assim, busca-se um desenho inicial do quadro
de segregao e seletividade de estudantes, e consequncias disso
para a equidade dos respectivos sistemas.
O captulo A avaliao do desempenho de alunos de educao superior:
uma anlise a partir da experincia do ENADE de Robert E. Verhine e Lys
M. V. Dantas apresenta uma anlise da avaliao do desempenho de
31/03/2010 15:59:56
alunos da Educao Superior desde a experincia do ENADE em seu

primeiro ciclo (2004-2006). O texto apresenta um breve panorama
histrico que situa e identifica o Exame e descreve as principais tendncias observadas quanto ao desempenho e ao perfil dos alunos que
participaram no referido perodo. Em seguida, focaliza cinco eixos de
reflexo para os quais discute os pontos crticos principais. So eles:
a pertinncia do Exame, a sua finalidade, seu carter obrigatrio e
a (falta de) equidade, a qualidade dos instrumentos, e o clculo do
Conceito ENADE e do IDD. Nas consideraes finais, so sintetizadas
algumas sugestes para o refinamento do ENADE e para a consolidao do Sistema Nacional de Avaliao da Educao Superior.
Os captulos subsequentes discutiro vrios aspectos da ideia
de desempenho escolar. O nono captulo, Identidade, avaliao e
desempenho, escrito por Marcos Emanoel Pereira, aborda, numa perspectiva psicossocial, as distintas relaes entre as diversas formas
de ameaas identidade e reduo do desempenho, notadamente
do desempenho acadmico e intelectual.
Ao adotar como ponto de partida uma perspectiva metaterica
sistematista, obriga-se a reconhecer a necessidade de considerar
a influncia de trs tipos de fatores: as caractersticas individuais,
a dimenso posicional e a dimenso contextual. Com base nesta
premissa, analisa fenmenos como a influncia dos esquemas
mentais e das expectativas do professor sobre o estudante, as heursticas e os vieses de julgamento, as profecias autorrealizadoras e
a ameaa dos esteretipos. O captulo finaliza com algumas sugestes prticas e indica novas direes para o estudo e investigao
desse conjunto de fenmenos.
O dcimo captulo d prosseguimento a essas reflexes. Intitulado
Ameaa dos esteretipos no desempenho intelectual de estudantes universitrios cotistas, foi escrito por Joice Ferreira da Silva e Marcos Emanoel
Pereira. O objetivo central da pesquisa relatada nesse captulo foi
avaliar a performance de estudantes cotistas, submetidos a uma
tarefa que visava explicitamente mensurar o desempenho intelectual. A teoria da ameaa dos esteretipos prev um decrscimo de
performance de membros de grupos-alvo de esteretipos negativos,
ao realizarem tarefas relacionadas com este esteretipo.
12 introduo
31/03/2010 15:59:56
A pesquisa, de natureza experimental, apresenta um delineamento

3 x 2, com o primeiro fator referindo-se s condies experimentais
(ameaa dos esteretipos; valorizao de atributos positivos e grupo
controle) e o segundo fator condio de entrada do participante
na universidade (sistema de cotas x sistema tradicional). A principal
hiptese submetida a teste foi a de que, em condio de ameaa,
o desempenho dos cotistas deveria ser significativamente inferior
aos alocados nas outras condies experimentais. O experimento
contou com a participao de 120 estudantes de duas universidades
pblicas do Salvador que adotaram a poltica de cotas para alunos
egressos de escolas pblicas, em sua maioria negros. O instrumento
utilizado consistia de 21 questes envolvendo diversos domnios da
lgica, alm de itens de escalas destinados a avaliar o impacto de
possveis mediadores do desempenho. Os resultados evidenciaram
que os cotistas, submetidos ameaa dos esteretipos, obtiveram
desempenho significativamente inferior aos estudantes alocados
nas demais condies. Na condio de valorizao dos atributos
positivos dos cotistas, no houve diferenas significativas de desempenho entre cotistas e no-cotistas. Quanto aos mediadores, foram
encontrados indcios de que apenas o desengajamento em relao
tarefa e percepo da dificuldade do teste contriburam de forma
significativa para explicar a varincia de desempenho dos participantes. Estes resultados podem ser interpretados como positivos,
pois indicam que, em determinadas condies, os efeitos negativos
da ameaa dos esteretipos podem ser revertidos.
Ao apresentar novas perspectivas sobre variveis que interferem
no desempenho dos estudantes cotistas, este trabalho nos surpreende e nos obriga a rever nosso conceito de avaliao.
Os trs captulos seguintes retomam o tema do desempenho escolar no contexto da educao fundamental. Maria Virgnia Dazzani
e Marcelo Faria escrevem sobre Famlia, escola e desempenho acadmico.
O captulo apresenta um panorama geral sobre os elementos que
concorrem e/ou concorreram para criar as condies do desempenho
acadmico e que, consequentemente, contribuem para a compreenso do fracasso escolar, enfatizando um dos aspectos relacionados
a esse fenmeno, a saber, a relao famlia-escola.
31/03/2010 15:59:56
Abordando conceitos como modelos hierrquicos, eficcia

escolar, equidade educacional e determinantes de desempenho,
Rosana de Freitas Castro escreveu o dcimo segundo captulo deste
livro com o ttulo Fatores associados ao desempenho escolar na 4 srie do
Ensino Fundamental. Neste trabalho a autora apresenta os resultados
de anlises estatsticas efetuadas em dados provenientes da Avaliao
de Desempenho realizada em escolas pblicas da Bahia, pela Secretaria
de Educao do Estado, em novembro de 2004. So considerados
os desempenhos dos alunos da 4 srie do Ensino Fundamental em
provas de Matemtica e Portugus e as informaes coletadas em
questionrios aplicados aos alunos, diretores e professores. Atravs
de modelos de regresso hierrquica, so identificadas variveis que
influenciam o desempenho acadmico dos alunos, assim como o
impacto destas na explicao da variabilidade. Os agrupamentos
de alunos (escolas, municpios) foram considerados como nveis de
uma hierarquia, assumindo-se que cada um dos nveis influencia o
desempenho escolar atravs de caractersticas prprias. Os modelos
estimados indicaram uma clara influncia de fatores concernentes
aos alunos e s suas famlias, tais como a regularidade da trajetria
escolar e o nvel socioeconmico familiar. No que concerne escola,
a composio estudantil e as caractersticas dos diretores e professores tm reflexos na eficcia e na equidade escolar. Dentre outros
achados, verificou-se que um bom clima escolar e professores com
horrio integral na escola contribuem para melhorar os desempenhos e reduzir as desigualdades intraescolares, diminuindo os efeitos
negativos da repetncia e do abandono.
O dcimo terceiro captulo (aqui na verso original em ingls)
foi escrito por Claudia Schuchart e tem o ttulo School effectiveness
in primary schools: The role of school climate and composition characteristics.
A autora considera que muitas pesquisas sobre os efeitos da escolaridade esto focadas na identificao do modo como os estudantes
recebem informao (input-factors), enquanto que muitas vezes os
elementos propriamente associados instituio escolar (school process factors) so ignorados. Este captulo explora a influncia do ambiente escolar sobre atividades de matemtica em situaes onde as
caractersticas das escolas so diferentes e os fatores individuais e os
14 introduo
31/03/2010 15:59:56
inputs permanecem os mesmos. analisado o impacto do ambiente

escolar em relao ao desempenho do estudante. As questes da
pesquisa foram formuladas a partir do estudo Desempenho do ensino
fundamental de 2001 realizado em escolas da zona urbana da Bahia. Os
resultados no provam a hiptese segundo a qual as caractersticas do
ambiente escolar podem ser usadas para identificar a eficcia escolar.
De qualquer modo, ambiente social tem grande influncia sobre as
realizaes escolares e sobre o desempenho dos estudantes. Alm
disso, este captulo mostra que as escolas com uma grande proporo de crianas de classes sociais pobres (underprivileged children) so
desfavorecidas em termos de recursos humanos e materiais.
O ltimo captulo dedica-se a tcnicas economtricas utilizadas
para tratar o vis de seleo (ou endogeneidade) que pode distorcer
eventuais estudos sobre o impacto de variaes de recursos escolares
no desempenho dos estudantes. O nvel de recursos disponveis s
atividades escolares influenciado principalmente: 1) pela maneira
como o oramento do governo distribudo entre as escolas do sistema;
2) pela deciso dos gestores escolares sobre a utilizao dos recursos
que dispem, inclusive no que concerne enturmao e alocao
dos professores; 3) pela deciso dos pais a respeito de onde seus filhos
estudaro. Como a composio das turmas quase nunca aleatria,
turmas menores ou maiores costumam ser resultado da interao
desses processos decisrios e, portanto, estimativas da correlao entre
o tamanho das turmas e o desempenho dos estudantes refletiro apenas essas decises e no uma eventual causalidade entre o nmero
de alunos por turma e o rendimento escolar aferido. Assim, onde
turmas menores fossem compostas majoritariamente por estudantes
com maiores dificuldades de aprendizado (talvez pelo fato de que o
entendimento preponderante tenha sido de dedicar-lhes mais recursos,
numa tentativa de reverter a trajetria anterior), a tendncia que o
tamanho das classes apresente correlao negativa com o rendimento.
Quando turmas menores concentrassem alunos cujo histrico de alta
performance nas avaliaes, a correlao tenderia a ser positiva.
Para evitar essas distores, um tratamento estatstico possvel o
uso de uma varivel instrumental que seja capaz de extrair o efeito do
tamanho das turmas sobre o desempenho sem o vis decorrente das
31/03/2010 15:59:56
escolhas feitas por formuladores de poltica, gestores escolares, pais e

professores. Uma alternativa para isso que a literatura especializada
costuma apontar a observncia do fenmeno imediatamente aps
a introduo de uma nova lei que imponha um limite ao tamanho
das turmas, de forma que estas sejam reduzidas por efeito imediato
da nova regra, e no por decises daqueles envolvidos no cotidiano
escolar. Tomando como ponto de partida um influente artigo que
utiliza uma regulamentao dessa natureza no sistema educacional
israelense (a chamada Maimonides rule, ou Regra de Maimnides), Paulo
A. Meyer M. Nascimento analisa os limites da eficcia desse mtodo
na obteno de um efeito mais prximo do real de um possvel efeito
do tamanho das turmas (usada como proxy para recursos escolares)
e desempenho dos estudantes em avaliaes de larga escala.
**
Este um trajeto sinuoso. Os autores seguiram deliberadamente
caminhos diversos para tratar desse tema desafiador: eles recorrem a
diferentes procedimentos metodolgicos (da reflexo filosfico-epistemolgica, ao estudo de caso e pesquisa emprica) e se remetem
a um conjunto plural de referncias documentais e bibliogrficas
muitas vezes convergindo, outras vezes ampliando a interpretao,
a reflexo, a crtica. Alm de uma fonte (acreditamos valiosa) para
o debate sobre o estado atual das ideias sobre avaliao, este livro
tambm permite uma oportunidade para uma reviso dos principais
conceitos, dados e obras sobre o tema da avaliao.
Um livro coletivo o resultado de um trabalho que envolve o
esforo de diferentes atores, diferentes pontos de vista e, quase
sempre, diversas instituies. Gostaramos de agradecer ao CNPq e
EDUFBA pelo apoio a este projeto. Gostaramos ainda de agradecer ao Prof. Dr. Waldomiro Silva Filho pelo auxlio na fase final do
trabalho de edio do presente livro.
Esperamos, por fim, que cada leitor tambm se torne um parceiro
nesse esforo de compreender a educao e a escola.
Jos Albertino Carvalho Lordlo
16 introduo
31/03/2010 15:59:56
Avaliao de polticas
educacionais:
contexto e conceitos em
busca da avaliao pblica
Lanara Guimares de Souza (UNEB)
introduo
A temtica da avaliao de polticas educacionais est presente nos
grandes debates educacionais, trazendo tona a questo da avaliao enquanto estratgia poltica para fomentar experincias emancipatrias, mediante a participao de diferentes sujeitos sociais.
Na febre avaliatria que marca os anos 90, Vieira (1997) chama a
ateno para alguns discursos participacionistas ingnuos sobre
a novidade ou modernidade da relao entre avaliao e educao
enquanto poltica social.
A questo que se coloca diz respeito existncia (ou no) de um
predominante horizonte tcnico e econmico nas avaliaes de
polticas pblicas de educao em desarticulao com a participao
popular e os valores culturais historicamente e socialmente construdos; o que traduziria a avaliao em mero controle contbil ao
invs da (auto) regulao e controle social.
O que pretendemos aqui questionar a necessidade (ou no) do
carter pblico das avaliaes realizadas sobre polticas educacionais,
diante do aprofundamento da tecnizao dos mecanismos de avaliao em detrimento da participao efetiva e poltica da sociedade
no processo. Neste, observamos que uma predominncia tecnicista
31/03/2010 15:59:56
e despolitizada existe porque as avaliaes de polticas educacionais

no se configuram como espaos pblicos. Isso s acontece quando
os socialmente desiguais se encontram em equivalncia como atores
e sujeitos polticos e, pelo exerccio conjunto e conflituoso do debate,
deliberam sobre temas comuns.
No mbito do grande processo de mudana das relaes entre
o Estado e a sociedade e da reforma da administrao pblica, a
avaliao vem assumindo a condio de instrumento estratgico,
quase sempre fundamentado nos famosos trs Es: eficincia, eficcia e efetividade. Considerando que, para ser completa a avaliao
precisa ser realizada de forma interna e externa, preciso saber se,
o que vale para as instituies governamentais vale tambm para
a sociedade avaliadora.
Nessa perspectiva, o presente captulo tem como objetivo contribuir para os estudos e debates sobre a avaliao das polticas
sociais de educao, luz da construo de um conceito de avaliao
pblica que tenha como categorias de fundamentao a participao
popular e a politizao.
Para tanto, apresentamos, num primeiro momento, uma anlise
do contexto poltico e econmico atual, em que estas polticas se
desenvolvem, discutindo seus principais fatores condicionantes. Em
seguida, apresentamos uma reviso da literatura sobre a avaliao de
polticas, explicitando os conceitos que consideramos fundamentais
para um estudo nessa linha. Finalizamos com um pequeno ensaio
sobre a avaliao pblica, cujos valores de dialogicidade, politizao, participao e cidadania so peas fundamentais nas polticas
educacionais brasileiras.
o contexto econmico e poltico do

brasil e as polticas educacionais
A educao configura-se, na virada do sculo XX e incio do XXI, como
um setor da estrutura social fundamental para promover mudanas
nas formas de pensar a sociedade, o Estado e suas complexas relaes. Na medida em que o mundo do trabalho foi se reestruturando,
18 lanara guimares de souza
31/03/2010 15:59:56
mundialmente, no plano ideolgico, se produziram uma srie de

noes e conceitos, que tentam determinar estas novas relaes e o
papel do Estado em seu interior, como uma espcie de nova lngua
internacional, que se arvora em ser porta-voz do pensamento nico.
Podemos destacar, nesta nova lngua, os termos: globalizao, Estado
mnimo, reengenharia, sociedade do conhecimento, qualidade total,
empregabilidade, dentre outros; que em conjunto configuram a chamada ideologia neoliberal. Nesta, tem-se o entendimento equivocado
de que as polticas sociais so escravizantes e funcionariam como
um elemento de acomodao do indivduo, que perderia a liberdade
e o esprito criativo e empreendedor. (PERRY, 1996)
Nesse contexto, aparece a avaliao das polticas como uma das
estratgias tcnicas de enfrentamento da crise fiscal e do dficit pblico que limitaram o financiamento dos programas sociais. (OLIVEIRA;
HADDAD, 2001) A razo tcnica se transforma na razo universal,
despolitizando as questes que colocam em jogo e exacerbando o
pragmatismo, por meio de uma concepo imediatista dos processos
que atravessam tais polticas. E um conjunto de prticas, por vezes
dissociadas, vai pouco a pouco conformando o novo discurso governamental sustentado no vis meritocrtico que distingue a elite de
sbios e os legitima na processualidade das polticas sociais, reiterando o oligarquismo caracterstico da tradio sociopoltica brasileira.
Os idelogos neoliberais defendem o Estado mnimo, enxuto, com
gastos reduzidos. Os direitos historicamente conquistados, como
sade e educao, passam a ser tratados como mercadorias, que
devem ser adquiridas no mercado, como qualquer outra, e no
devem ter regulao alguma, alm do mercado, que considerado
a matriz de toda a riqueza. A interveno da autoridade pblica nas
relaes econmicas considerada como intruso indevida e cerceadora. A proposta neoliberal para o Estado marcada por uma ideia
reguladora: a da privatizao; baseada na defesa da competncia, na
eficincia da iniciativa privada e na sua superioridade em relao
s aes pblicas, coletivas.
na luta pela no conformao desse pensamento pretensamente
hegemnico que as polticas educacionais vm sendo planejadas,
executadas e avaliadas, nas ltimas dcadas. O ideal democrtico,
avaliao de polticas educacionais: contexto e conceitos em busca da avaliao pblica 19
31/03/2010 15:59:56
pautado no controle social e na autonomia, com responsabilidade

e atuao do Estado em paralelo participao social colegiada,
apresenta-se como alternativa vivel e desejada, principalmente nos
discursos e na literatura sobre polticas educacionais.
A avaliao da educao nacional, ao contrrio do que se percebe primeira vista, no est restrita ao terreno pedaggico. Ela
reflete orientaes polticas dos governos e, muitas vezes, perde
seu carter de diagnstico de situaes a serem aperfeioadas, para
tornar-se instrumento de controle do Estado. Para Afonso (2005),
esse quadro no se restringe ao Brasil, mas a todos os pases capitalistas, perifricos ou centrais, convivendo, hoje, com um misto de
socialismo e neoliberalismo em suas orientaes polticas. D-se a
nfase avaliao dos resultados (e produtos), e, consequentemente,
desvaloriza-se a avaliao dos processos, como o caso dos exames nacionais que reduzem a complexidade do processo educativo
apenas ao que mensurvel. preciso definir se a avaliao ser
instrumento de controle ou de desenvolvimento, de promoo do
ser humano e da escola.
Nos pases capitalistas centrais, ainda segundo Afonso (2005), o
perodo entre os anos 80 e 90 caracterizou-se pela emergncia das
polticas da chamada nova direita. De forma muito distinta de polticas anteriores, tambm de direita, esta nova direita foi marcada
por uma singularidade prpria: uma combinao da defesa da livre
economia, de tradio liberal, com a defesa da autoridade do Estado,
de tradio conservadora. Na base dessa bipolaridade, decises nointervencionistas e descentralizadoras passaram a coexistir com
outras altamente centralizadoras e intervencionistas, revelando a
ambiguidade inerente a essa articulao poltica. Nos pases centrais,
o mercado no ressurgiu como um processo espontneo, completamente fora do mbito do Estado, mas como um sistema promovido
e controlado, em grande parte, pelo prprio Estado.
Essa combinao especfica de regulao do Estado e de elementos de mercado no domnio pblico, que explica os governos da
nova direita, levou a um aumento considervel do controle sobre
as escolas, pela introduo de currculos e exames nacionais, e,
simultaneamente, promoveram a criao de mecanismos como a
31/03/2010 15:59:56
publicao dos resultados escolares, abrindo espao para a realizao

de presses competitivas no sistema educativo.
Nesse sentido, preciso verificar a servio de quem est a avaliao: a servio da regulao, do aumento do controle do estado, do poder coercitivo sobre os professores, sobre a escola, mais fiscalizador.
Ou se um instrumento que permite perceber onde h deficincias
e solues para corrigi-las. Se o objetivo a aprendizagem do aluno,
a melhor modalidade de avaliao a pblica e participativa. Se o
objetivo aumentar o controle do estado sobre o que se faz na escola,
a avaliao externa cumpre-o bem.
a avaliao de polticas educacionais:

conceitos e critrios presentes
na literatura especializada
Dada a reflexo anterior, devem-se ressaltar os limites implcitos no
estudo desse tema, cujo contedo fundamentalmente acadmico para limitar padres valorativos para a avaliao de polticas.
Tomando-se como referncia, porm, as questes e os debates presentes na literatura especializada, possvel construir um quadro de
referncia bsico, a partir do qual seja possvel explicitar algumas
escolhas que orientam a anlise aqui pretendida. Naturalmente,
diante da complexidade e dinmica do fenmeno social, os conceitos aqui apresentados no so estticos e tomados como verdades
absolutas, mas encontram-se datados no tempo.
De acordo com Guba e Lincoln (1989), a histria dos processos de
avaliao comea atrelada exclusivamente na medida das polticas;
passa pelo foco nas formas de atingir os resultados; evoluindo para
um julgamento das intervenes e, finalmente, tendendo a constituir
um processo de negociao entre os atores envolvidos na poltica
a ser avaliada.
Um balano da literatura especializada sobre a avaliao de polticas educacionais, no contexto das reformas anteriormente apresentadas, tem demonstrado que esta marcadamente quantitativa e
limitadora da crtica sobre a realidade e do controle social. Esvaziada
31/03/2010 15:59:56
da poltica, a avaliao tem se fechado na autorreproduo do discurso competente (CHAU, 1982); restrita a execuo de manuais,
esta avaliao no tem se prestado ao conhecimento institucional
crtico e, portanto, a efetiva inovao das prticas.
Por isso, se desdobram em muitas pequenas organizaes que
criam suas prprias planilhas avaliativas sem estabelecer interface
com os marcos tericos e polticos de justia em termos universais
e particulares sociedade brasileira. (CHAU, 1982)
Utilizando-se dos termos mais comuns para definir avaliao,
teramos esta como um processo de anlise e acompanhamento da
implementao de polticas, subsidiando seu planejamento desde
o diagnstico at seus resultados, buscando orientar as tomadas de
decises. Sua funo garantir a regulao constante dos rumos
a seguir em funo dos objetivos e metas traados. (RUA, 2000;
SILVA; MELO, 2000)
bastante comum a ideia de a avaliao vir acompanhada do
termo qualitativa. Quantidade e qualidade so partes integrantes e
indissociveis para se definir critrios de avaliao da qualidade, que
por sua vez se distingue entre formal e poltica. A primeira ligada ao
domnio tecnolgico e a segunda voltada para a cidadania. (DEMO,
1995) A qualidade poltica refere-se aos contedos histricos, inevitavelmente ideolgicos, pautados em valores e compromissos, com
conscincia social crtica, capaz de revelar sujeitos autnomos. Em
outro artigo, Pedro Demo (1988), tendo como referncia o paradigma
da comunicao de Habermas, coloca a discursividade como critrio
essencial da cientificidade, que tem a ver com a avaliao, tanto no
que diz respeito aos procedimentos que fazem parte de sua lgica
intrnseca, quanto no que se refere apreciao da sua qualidade.
Por tudo isso difcil pensar numa avaliao de qualidade sem
participao poltica efetiva. E, sem poltica que oriente projetos e
anseios sociais, a tendncia o conservadorismo e a autorreferncia
na simples camada tcnica; o que mobiliza um tipo de participao
da sociedade que passiva, sem controle social da administrao
pblica. Situaes diferenciadas de participao ativa se do em
conjunturas muito efmeras e, grosso modo, as participaes so
para aceitao e para um venham fazer comigo. Sob esse prisma,
31/03/2010 15:59:56
deslocam-se os conflitos do campo das polticas para o do mtodo

o campo do especialista; no da fala pblica, mas da fala tcnica.
O que dificulta pensar em participao sem a existncia de um
espao pblico aberto s falas plurais e negociao. O tratamento
contextualizado da tcnica, como fenmeno sociohistrico, passa
por compreender a tcnica de avaliao como expresso de uma
totalidade social, de suas possibilidades e limites.
A Constituio Federal no seu artigo 37, quando estabelece a legalidade, impessoalidade, moralidade, publicidade e eficincia como
seus princpios, institui a participao do usurio na administrao
pblica direta e indireta, tornando um direito as reclamaes sobre
a prestao de servios, e o acesso a informaes de atos do governo.
No captulo VII, especfico sobre a administrao pblica, abriu-se
formalmente a participao da sociedade nas polticas sociais e na
avaliao de desempenho.
At mesmo do ponto de vista normativo a avaliao de polticas
deve ser compreendida como uma atividade que afetada por foras
polticas e que tem efeitos polticos, sejam elas pblicas, sociais ou
governamentais.
Em um contexto de redefinio das relaes entre Estado e
sociedade civil, reconhece-se como legtima a existncia de um
espao ocupado por instituies situadas entre o mercado e o Estado, como as ONG, associaes e sindicatos que fazem a mediao
pblica entre coletivos de indivduos organizados e as instituies
do sistema governamental.
Chamo de pblico no exclusivamente o que governamental,
mas especialmente o que congrega interesses coletivos. A esfera
pblica um espao de interlocuo de interesses heterogneos,
que envolve a organizao da sociedade civil e a representao de
interesses coletivos de grupos e classes diversas. So pblicas as
formas de organizao e representao que os grupos sociais encontram para dar unidade s suas propostas polticas, participando do
processo de construo de uma esfera democrtica.
A esfera pblica apontada por Habermas (1984) como ponto
de encontro e local de disputa entre os princpios divergentes de
organizao da sociabilidade e os movimentos sociais, que se cons-
31/03/2010 15:59:57
tituiriam nos atores que reagem a reificao e burocratizao dos

domnios de ao estruturados comunicativamente, e em defesa da
restaurao das formas de solidariedade postas em risco pela racionalizao sistmica. Os movimentos sociais so vistos por Habermas
(1984) como fatores dinmicos na criao e expanso dos espaos
pblicos da sociedade civil.
Compreendemos poltica pblica como um fenmeno social
e histrico que expressa os interesses e necessidades de diversos
sujeitos sociais, atravs do exerccio do poder, e do processo de
tomada de decises baseado nos valores presentes na sociedade. Elas
so estratgias voltadas para desenvolver um determinado modelo
econmico e social em suas diversas reas, cujas caractersticas resultam da correlao de foras dentro da prpria sociedade. As polticas
pblicas compreendem o conjunto das decises e aes relativas
alocao de valores envolvendo estratgias de agregao social. (RUA,
2000) Estas no se confundem com poltica governamental, caracterizada pelo conjunto de programas elaborados no espao restrito
das instituies governamentais, caracterizada pela interpretao
dos gestores pblicos sobre os interesses e necessidades da populao. Polticas governamentais quase nunca surgem das demandas e
presses exercidas pela sociedade, e quase sempre esto associadas
aos interesses de ordem econmica. (PALMEIRA, 1996)
As polticas sociais caracterizam-se como um conjunto de medidas
e programas que priorizam o atendimento s populaes pobres,
com o objetivo de diminuir as desigualdades sociais provocadas
pelo mercado capitalista e sua poltica econmica. Segundo Marita
Palmeira (1996), visam resolver as necessidades vitais enquanto
direitos bsicos de cidadania. Em sua vertente assistencialista, tem
carter mais paliativo do que corretivo.
Nesse sentido, a poltica educacional enquanto vertente da poltica social um direito bsico e vital de qualquer pessoa. Seu conjunto
de planos e programas deve ser capaz de fomentar o saber pensar
como instrumento necessrio participao dos cidados no jogo de
interesses e de poder, presentes nas relaes sociais. Isso possvel
se entendemos que a educao , em linhas gerais, um processo de
re-construo dinmico e contnuo de saberes, experincias, partici-
31/03/2010 15:59:57
pao poltica e valores que se traduzem como um ato de interveno

no mundo. (FREIRE, 1998)
Participao poltica um processo de educao cidad e nesse
sentido que pensamos ser os conflitos e contradies os elementos
que fomentam a participao do cidado no cotidiano. A participao popular nas avaliaes de polticas educacionais implica na
considerao de vrios elementos constituintes do contexto histrico
social, como o carter do pblico, isto , que contenha os interesses de todos; o carter democrtico, como acesso s informaes,
fortalecimento das organizaes de representao popular, insero
nas decises e no poder, respeito ao pluralismo; o carter tico, que
estimula a transparncia na administrao pblica, contemplando
os valores democrticos e assegurando, assim, responsabilidades e
regras para o comprometimento individual e coletivo.
O debate sobre a avaliao da atuao do setor pblico tem se
difundido bastante nos ltimos anos, a partir da crise que atinge
o modelo de polticas redistributivas predominantes, mas tambm
e talvez principalmente por conta da crise de legitimidade, que
confronta os resultados da ao do poder pblico com a propalada
eficincia do setor privado.
Os valores da eficcia e da eficincia, transportados da iniciativa privada para a gesto pblica, esto marcados por esse debate,
cabendo avaliao de polticas um papel bastante crtico, em que
se busca mostrar os limites da ao do poder pblico na proviso
de bem-estar. Por outro lado, nos anos recentes, a emergncia e
crescente legitimidade da ideologia neoliberal recolocam os termos
da questo, questionando a capacidade do Estado como instrumento
eficiente para a alocao de recursos, o que tambm tem influenciado as iniciativas relativas ao campo da avaliao de polticas.
construindo um conceito
de avaliao pblica
Como tudo que humano est mergulhado em valores, e como tudo
que social tem necessariamente um sentido poltico e este o
31/03/2010 15:59:57
caso da educao a avaliao nesta rea do conhecimento deve

ser vista como uma questo pblica, no apenas tcnica. No como
uma operao para equacionar tecnicamente as divergncias, abafar
os conflitos, homogeneizar os interesses, camuflar as desigualdades.
Ao contrrio, a qualidade da avaliao se d pela sua contribuio
ao debate crtico, informando-o e melhorando-o.
A avaliao pblica consiste em atribuir valor s polticas, s
suas consequncias, ao aparato institucional em que as mesmas se
do e aos prprios atos que pretendem modificar o contedo dessas
polticas. (FIGUEIREDO; FIGUEIREDO, 1986)
Assumir plenamente essa premissa implica em desenvolver um
trabalho avaliativo em que no apenas se toma como objeto a capacidade das aes desenvolvidas pelo poder pblico atingirem seus
objetivos, como se coloca em questo os prprios objetivos dessas
aes e os seus mecanismos de implementao. O problema que,
para desenvolver essa avaliao poltica, necessrio estabelecer
critrios de avaliao, baseados em alguma concepo de bem-estar
(em relao aos resultados) e de cidadania (em relao aos processos
de formulao e implementao).
A avaliao pblica pode ser entendida como a [...] anlise e
elucidao do critrio ou de critrios que fundamentam determinada poltica: as razes que a tornam prefervel a qualquer outra.
(FIGUEIREDO; FIGUEIREDO, 1986) Razes importantes para uma
melhor avaliao pblica pressuporiam assim, em algum nvel, o
debate pblico como instncia de construo das normas e valores
aproximados pelos vrios setores sociais atingidos pela poltica.
Deixando de lado, por enquanto, o problema (espinhoso) de estabelecimento de um quadro de valores a ser seguido como critrio
avaliativo, cabe ressaltar que, para que se possa desenvolver uma
avaliao poltica, no sentido acima, preciso, ento, conhecer os
objetivos que essas polticas pretendam atingir.
Verifica-se que um dos problemas recorrentes da avaliao de
polticas, em seu aspecto mais instrumental, refere-se utilizao de
critrios puramente econmicos nas avaliaes de eficincia. Esses
critrios so, em geral, problemticos e polmicos, sendo importante
considerar-se no apenas custos econmicos e administrativos stricto
31/03/2010 15:59:57
sensu, mas tambm custos e benefcios polticos. Distingue-se, nesse

sentido, a eficincia instrumental,
[...] definida pela relao estrita entre custos econmicos e benefcios que so em geral tangveis e divisveis e eficincia poltica
definida pela relao entre os custos sociais e polticos e os benefcios dele decorrentes. (FIGUEIREDO; FIGUEIREDO, 1986)
A introduo da dimenso poltica complexifica a avaliao e

introduz uma subjetividade que pode certamente complementar
a eficincia instrumental.
Alguns entraves na prtica avaliativa tm sido:
a) As aplicaes convencionais dos processos de monitoramento e
avaliao tm se realizado de tal maneira que apenas os avaliadores externos e assumem o aspecto de fiscalizao, auditoria
ou controle, cujos resultados no costumam ser utilizados no
processo decisrio e gerencial;
b) A sensibilidade dos problemas sociais a mltiplas variveis
faz com que a seleo de estratgias para seu enfrentamento
se baseie em hipteses de relaes causais. particularmente
difcil atribuir, atravs da avaliao, as mudanas observadas
a uma interveno especfica operada sobre um problema, at
porque, frequentemente, os efeitos de algumas intervenes
s se evidenciam no longo prazo;
c) A no superao da brecha entre o quantitativo e o qualitativo na definio das metas e objetivos e na prpria avaliao,
no geram complementaridade e sinergia entre eles.
As avaliaes se produzem em determinadas situaes concretas,
pautadas num quadro de valores sociais e ticos que orientam as
nossas escolhas. As definies de avaliao so muitas, mas em quase
todas elas, a atribuio de valor uma caracterstica constante e
por meio dela que os indivduos so reconhecidos como sujeitos
portadores de um papel social.
A avaliao que se limita a medir quantidades e comparar programas no levando em conta sua diversidade, as condies especficas,
31/03/2010 15:59:57
sua histria, seus valores, torna-se parcialmente til para os gestores

responsveis pela execuo de polticas educacionais. Apresenta-se
como tcnica e despolitizada, contudo desempenha um importante
papel poltico de organizador da estrutura social, e de hierarquizador
das relaes, pretensamente neutro e justo.
Quando o foco da avaliao a mensurao dos produtos, outros
so os valores, como a crena numa suposta neutralidade e independncia dos produtos em relao aos processos que os produziram.
H tambm a presuno de que o domnio de alguns saberes especializados possa substituir a complexidade das relaes humanas.
nesse momento que a orientao tecnicista produz despolitizao.
inegvel a necessidade de indicadores, nmeros e parmetros
para a avaliao em sua face classificatria, comparativa e escalonadora. Mas esta apenas uma face da avaliao que independente de
ser ou no a face predominante, responde a algum tipo de interesse,
pautado em determinados valores e construdo politicamente.
Uma avaliao pblica est balizada prioritariamente por orientao tico-poltica; implica uma avaliao que, desconstri, descreve,
reflete, critica e organiza-se para melhorar as polticas, ao mesmo
tempo em que transforma as relaes entre indivduos e grupos.
O avaliador, em seu trabalho de avaliao, termina por avaliar a si
prprio, pois se entende parte da poltica como um todo. A avaliao
pblica deve ser uma construo coletiva de questionamentos,
pr em movimento um conjunto articulado de estudos, reflexes,
vivncias e juzos de valor que tenham alguma fora de transformao qualitativa das polticas e de seu contexto, melhorando seus
processos e relaes sociais.
referncias
AFONSO, Almerindo Janela. Avaliao educacional: regulao e emancipao.
3. ed. So Paulo: Cortez, 2005.
BRASIL. Constituio da Repblica Federativa do Brasil, 1988. Organizao dos
textos, notas remissivas e ndices por Juarez de Oliveira. 4. ed. So Paulo:
Saraiva, 1990.
31/03/2010 15:59:57
CHAU, Marilena. Cultura e democracia: o discurso competente e outras falas.

3. ed. So Paulo: Moderna, 1982.
______. Escritos sobre a universidade. So Paulo: Ed. UNESP, 2001.
DEMO, Pedro. Avaliao qualitativa. So Paulo: Cortez, 1988.
______. Politicidade: razo humana. Campinas, SP: Papirus, 1995.
FIGUEIREDO, Marcus F.; FIGUEIREDO, Angelina. M. B. Avaliao poltica e
avaliao de polticas: um quadro de referncia terica. Cadernos IDESP, So
Paulo, n. 15, p. 107-127, 1986.
FREIRE, Paulo. Pedagogia da autonomia. 8. ed. Rio de Janeiro: Paz e Terra,
1998.
GUBA, Egon. G.; LINCOLN, Yvonna. S. Fourth generation evaluation. Newbury
Park, Calif. : Sage Publications, c1989.
HABERMAS, Jrgen. Delimitao propedutica de um tipo de esfera pblica
burguesa. In:______. Mudana estrutural da esfera pblica: investigaes quanto
a uma categoria da sociedade burguesa. Rio de Janeiro: Tempo Brasileiro,
1984. p. 13-27
OLIVEIRA, Anna C.; HADDAD, Srgio. As organizaes da sociedade civil e
as ONGs de educao. Cadernos de Pesquisa, n.112, p. 61-83, mar. 2001.
OLIVEIRA, Francisco. Neoliberalismo brasileira. In: SADER, Emir; GENTILI,
Pablo (Org.). Ps-neoliberalismo: as polticas sociais e o estado democrtico.
So Paulo: Paz e Terra, 1996.
PALMEIRA, Maria Jos de O. Natureza e contedo das polticas pblicas
na atualidade: notas introdutrias. Revista da FAEEBA: Educao e
Contemporaneidade, Salvador, Ano 5, n. 6, p. 157-170, jul./dez. 1996.
PERRY, Anderson. Balano do neoliberalismo. In: SADER, Emir; GENTILI,
Pablo (Org.). Ps-neoliberalismo: as polticas sociais e o estado democrtico.
So Paulo: Paz e Terra, 1996.
RUA, Maria das Graas. Avaliao de polticas e programas: notas introdutrias.
[S.l.: s.n.], 2000.
SILVA, P.L.B.; MELO, M.A.B. O processo de implementao de polticas
pblicas no Brasil: caractersticas e determinantes da avaliao de
programas e projetos. Caderno NEPP, Universidade Estadual de Campinas, n.
48, p. 1-15, 2000.
VIEIRA, Evaldo A. As polticas sociais e os direitos sociais no Brasil: avanos
e retrocessos. Revista Servio Social e Sociedade, So Paulo: Cortez, n. 53, p. 6773, mar. 1997.
31/03/2010 15:59:57
31/03/2010 15:59:57
A avaliao da educao
superior no Brasil:
desafios e perspectivas
Robinson Moreira Tenrio (ufba)
Maria Antonia Brando de Andrade (ufba, capes, cnpq)
introduo
As transformaes sociais e polticas provocadas pela globalizao
tm exigido das instituies novos modelos de gesto, frente s
tendncias atuais da educao que tm legitimado as polticas neoliberais, no apenas devido abertura econmica, mas sobretudo
com a finalidade de identificar mtodos e programas eficazes para
dar conta dos novos desafios no cenrio mundial, a exemplo dos
critrios que servem de padres de mensurao de desempenho para
as organizaes. Nesse processo, a avaliao tem se aperfeioado ao
longo da histria como um princpio bsico de regulao do Estado
e como ferramenta de gesto da qualidade na sociedade moderna,
seja nos setores pblicos ou privados, contribuindo para a melhoria
dos programas e influenciando as transformaes e definies de
polticas, prticas e decises ao longo da histria.
Historicamente, a expanso da pesquisa social aplicada e a busca
da alocao e melhoria dos servios militares, a preocupao com
os programas de qualificao profissional, planejamento familiar
e desenvolvimento comunitrio, vo ampliar os estudos voltados
para a pesquisa de avaliao, sobretudo na dcada de 1950 e no
incio da dcada de 1960. Como disciplina, a avaliao atinge seu
apogeu no final dos anos 60 e incio dos anos 70, com estgio de
31/03/2010 15:59:57
amadurecimento nos anos 80, quando foram observados os seguintes

passos para tal processo: a) necessidade de especialistas qualificados em avaliao; b) desenvolvimento de um contedo prprio e
exclusivo da avaliao; c) desenvolvimento de cursos formais para
preparar avaliadores; d) oportunidades estveis de fazer carreira;
e) institucionalizao da funo de avaliao; f) procedimentos para
licenciar avaliadores; g) criao de entidades de classe dos avaliadores;
h) critrios para fazer parte das entidades de classe dos avaliadores;
i) influncia de entidades de classe sobre os cursos de preparao
do avaliador; j) definio de padres para a prtica de avaliao.
(worthen; sanders; fitzpatrick, 2004)
No campo educacional, as novas diretrizes do sculo xx e incio
do sculo xxi tm sedimentado um novo perfil de gesto, sobretudo
nas organizaes universitrias, no qual est presente um conjunto
de caractersticas, dentre as quais, a flexibilidade, a agilidade, a
eficincia, a eficcia, a relevncia e a produtividade. A universidade
vista no apenas como um centro de formao de saberes e produo de conhecimento, mas como aquela que atende aos princpios
bsicos da modernidade, seja no que se refere s relaes de trabalho,
ou prestao de servios sociedade.
No mbito da educao superior, a avaliao tem sido estimulada,
atravs de aes diretas dos governos com a criao de agncias
nacionais de avaliao para dar conta da expanso, diversificao
desse nvel de ensino. Por outro lado, tenta dar conta da importao
de culturas gerenciais no setor pblico, e em particular na educao, traduzindo mudanas nos padres culturais e organizacionais,
sendo contatadas ou oferecendo oportunidades de melhorias para
as instituies de ensino, alm de estimular um maior conhecimento institucional e de ser um recurso para a tomada de deciso.
(brennan; shah, 2000)
No Brasil, os novos paradigmas de gesto, impulsionados pela
nova ordem mundial, tm levado, alm do fenmeno da ampliao
massiva de novas instituies superiores privadas, uma nova configurao da estrutura organizacional das instituies de ensino,
seja nos aspectos relacionados organizao administrativa, seja
na adequao dos currculos s necessidades empresariais, mer-
32 robinson moreira tenrio & maria antonia brando de andrade
31/03/2010 15:59:57
cadolgicas e dos interesses governamentais. Esse tem sido um

dos principais condicionantes para que o setor educacional passe
a exigir mecanismos de avaliao institucional e tem proporcionado esforos do governo federal para implementar um Sistema
Nacional de Avaliao.
reforma do estado e seus impactos

na organizao do sistema
educacional brasileiro
O novo desenho da funo do Estado, sobretudo a partir da dcada
de 90, provocou novas estratgias institucionais, levando os pases
de terceiro mundo a adotarem medidas de carter neoliberal, dentre as quais a reduo e o controle dos gastos pblicos, demanda
pela melhor qualidade dos servios pblicos, adoo de modelos de
avaliao de desempenho, novas formas de controle do oramento
pblico e descentralizao administrativa.
Essa nova configurao passa a exigir mecanismos permanentes
de avaliao do uso dos recursos que so liberados para financiamento de polticas pblicas. Observa-se tambm a adoo de mecanismos
paralelos de financiamento, com recursos sendo destinados diretamente s instituies civis ou s representaes das comunidades
locais, com critrios mais abertos e flexveis de financiamento, sem
tanta burocracia do poder estatal.
No caso brasileiro, o novo desenho da funo do Estado, adotado,
sobretudo, no governo de Fernando Henrique Cardoso, vai contribuir para a implementao de um conjunto de reformas polticas
e administrativas. A reforma gerencial proposta por Pereira (1996)
tinha como objetivo estimular a produtividade do setor pblico,
aumentar a eficincia e efetividade, melhorando a performance da
gesto pblica brasileira, assegurando o controle burocrtico do
poder estatal e inspirando-se na administrao privada.
Dentre as recomendaes do novo modelo de administrao pblica gerencial em face do desenvolvimento de polticas educacionais
voltadas para o atendimento da ideologia neoliberal, esto:
a avaliao da educao superior no brasil: desafios e perspectivas 33
31/03/2010 15:59:57
1) Privatizao desse nvel de ensino, sobretudo em pases

como o Brasil, que no conseguiram estabelecer polticas
de expanso de oportunidades educacionais pautadas pela
garantia de acesso e eqidade ao ensino fundamental, bem
como, pela garantia de um padro de qualidade a esse nvel
de ensino; 2) estmulo implementao de novas formas de
regulao e gesto das instituies estatais, que permitem
alteraes e arranjos jurdico-institucionais, visando as novas
formas de recursos junto iniciativa privada sob o argumento de necessria diversificao das fontes de recursos;
3) aplicao de recursos pblicos nas instituies privadas;
4) eliminao de gastos com polticas compensatrias (moradia, alimentao); 5) diversificao do ensino superior por
meio de incremento expanso do nmero de instituies
no universitrias; entre outras. (dourado, 2002, p. 241)
Ainda no contexto das polticas neoliberais, no que se refere

s polticas pblicas, o Estado vai ceder iniciativa os lugares que
ocupava nos setores produtivos e financeiros e nas empresas em
que detinha o controle societrio, assumindo, portanto, funes
mais relativas justia, aos servios de segurana pblica e, secundariamente, mantendo os servios de educao e sade. (andrade,
2002) Nessa perspectiva a educao tida como um conjunto de bens
sociais e coletivos, o qual compete ao Estado prover naturalmente,
assumindo uma postura de neutralidade, capaz de agregar e integrar
valores sociedade. (afonso, 2005)
Ao mesmo tempo em que os Estados Nacionais motivados pelas
transformaes mundiais, desencadeadas por uma srie de fatores,
entre eles a globalizao e as consequentes crises internacionais de
eficincia e desempenhoreestruturam suas aes, gestores pblicos
esto preocupados em buscar informaes para orientar e melhorar
as suas prticas administrativas. Isso tem proporcionado no apenas
tentativas de promover maiores ndices de produtividade no setor
pblico, atravs da flexibilizao administrativa, como tem alanvancado polticas de descentralizao e de autonomizao, o que tem
contribuido para a ascenso do tema da avaliao no setor pblico,
em geral. (verhine, 2000, p. 7)
31/03/2010 15:59:57
O lugar cedido iniciativa privada trouxe uma nova estrutura e

organizao, sobretudo no ensino superior. Um novo cenrio pode
ser observado nas ltimas dcadas, no apenas com o crescimento
de instituies privadas em todo pas1, favorecido por uma maior
flexibilidade da Lei de Diretrizes e Bases da Educao Nacional (ldb)
Lei n 9.394/96, mas tambm com uma nova configurao de ensino,
que passou a constituir os espaos de formao, com vistas a atender
o mundo globalizado e em constante transformao, requerendo,
portanto, a constituio de um perfil eficiente e capaz de dar conta
das demandas do mercado.
A aprovao da nova ldb e do Plano Nacional de Educao (pne)
(Lei n 10.172/2001), portanto, vai apresentar uma estreita relao
com as recomendaes do Banco Mundial, sobretudo em relao s
aes que se configuram em torno da educao superior. Essas aes
abrem possibilidades para uma maior descentralizao e autonomias
s instituies de ensino e reiteram, no caso do ensino universitrio,
o rompimento com o princpio da indissociabilidade entre ensino,
pesquisa e extenso. Valorizando o carter instrumentalista, a nova
lei contribuir para a expanso de instituies que oferecem apenas
o ensino, flexibilizando e reduzindo as exigncias para credenciamento de novas Instituies de Educao Superior (ies), deixando
apenas trs critrios para quem quisesse se tornar universidade: [...]
produo intelectual institucionalizada, um tero do corpo docente,
pelos menos com ttulo de mestre ou doutor e um tero do corpo
docente em regime de tempo integral. (Art. 52)
Por sua vez, o pne (dourado, 2002, p. 243-244), recomendado
pelas disposies transitrias (art 87 da ldb), apresenta os seguintes
indicativos para a educao superior:
1 Segundo dados do
Instituto de Pesquisas
Educacionais Ansio
Teixeira (brasil, 2006),
no final da dcada de 90,
havia 1.391 Instituies
de Ensino Superior no
Brasil, sendo 193 pblicas
(13,2%) e 1.208 privadas
(86,8%). De acordo com
os dados do Censo de
educao superior (inep,
2007), esse nmero passa
a corresponder 2.281
ies, sendo 249 pblicas
(10,92%) e 2.032 privadas
(89,08%). Na anlise por
organizao acadmica,
as Faculdades Isoladas,
Escolas e Institutos
representam o maior
nmero (1648 e 72,25%).
Destaca-se, tambm, o
grande crescimento dos
Centros de Educao
Tecnolgica e Faculdades
de Tecnologia, que de
34, no final da dcada de
90, passa a corresponder
204 unidades de ensino,
com maior concentrao
no setor privado (138
unidades e 67,65%).
[...] diversificao do sistema por meio de polticas de expanso da educao superior, a no-ampliao dos recursos
vinculados ao governo federal para esse nvel de ensino, aferio da qualidade de ensino mediante sistema de avaliao,
ampliao do crdito educativo envolvendo recursos estaduais, nfase no papel da educao distncia.
31/03/2010 15:59:57
O sistema de avaliao, portanto, amplia o controle do Estado e

provoca mudanas na organizao e gesto das instituies de ensino,
estimulando a expanso competitiva no ensino superior, uma vez
que os Decretos n 2.306/97 e n 3.860/2001 (revogado pelo Decreto
n 5.773/2006), flexibilizaram a sua estruturao. Na prtica, isso representa estmulo expanso de matrculas e diversificao institucional,
naturalizam esse campo como servio e, na maioria dos casos, restringem a educao superior funo de ensino, cuja misso institucional
deve se adequar lgica do mercado. (dourado, 2002, p. 247)
Esses fatores favoreceram a expanso do ensino superior privado,
uma vez que tendem a responder mais rapidamente demanda da
qualificao profissional e, por outro lado, contribuir para o acesso
a certos setores do mercado de trabalho, pela facilidade de oferecer
um diploma de nvel superior. Alm disso, exige do Estado uma nova
postura de gesto educacional, subsidiada por um novo sistema de
avaliao, que entrar em cena a partir de 2004, com a instituio
da Lei n 10.861, estabelecendo os critrios para a Avaliao Institucional, com a perspectiva de que esta se torne um instrumento de
gesto e emancipao universitria, envolvendo todos os agentes,
dimenses e instncias das ies do pas.
a trajetria da avaliao da educao

superior no brasil: tendncias,
organizao e avanos
A avaliao tem se constitudo em um elemento central nas polticas
de educao no Brasil. Desde os anos 80, o debate sobre a importncia dessa temtica e dos procedimentos necessrios para a sua
implementao tem sido destaque nos ambientes acadmicos e
organizacionais das universidades. Ao discutir a trajetria da avaliao, portanto, no podemos deixar de considerar a complexidade do
sistema de educao no nvel superior e dos procedimentos formais
e legais que envolvem a avaliao.
No contexto legal e institucional, a avaliao tida como preceito
constitucional na busca pela qualidade da educao. O artigo 206,
31/03/2010 15:59:57
Inciso vii, defende que, dentre os princpios e normas fundamentais

da educao no Brasil, est a garantia de padro de qualidade. Em
seu art. 208, assegura que a educao dever do Estado e em seu
art. 209, que o ensino livre iniciativa privada, desde que atenda
s seguintes condies: a) o cumprimento das normas gerais da
educao nacional; b) a autorizao e avaliao de qualidade pelo poder
pblico, incluindo entre as cinco metas a serem alcanadas, a melhoria
da qualidade do ensino. (brasil, 1988, art. 214, grifo nosso)
A ldb, por sua vez, aponta que a avaliao um um pilar essencial da educao. Para tanto, deve-se buscar implementar processos,
visando melhoria do ensino, com vistas qualidade, sob a responsabildiade da Unio assegurar processo nacional de avaliao
de instituies em todo territrio nacional, com vistas qualidade
(Art. 9, Inciso vi). (andrade, 2009)
A Lei n 10.172, de 9 de janeiro de 2001, que aprovou o pne, em
seu art. 9 tambm estabeleceu que Unio caberia implementar
um Sistema Nacional de Avaliao, o qual deveria definir parmetros
de qualidade para o acompanhamento dos sistemas de ensino, inclusive o privado, alm das metas do prprio pne, estabelecendo-se,
tambm, como um preceito legal para a avaliao.
Ao analisar, portanto, o contexto histrico, no qual se constituiu
a avaliao da educao superior, no podemos deixar de considerar
os diversos sistemas de regulamentao legais e estatais que tm
condicionado os diferentes sistemas, modelos ou formas de avaliao,
com diferentes concepes histricas, filosficas, antropolgicas e
pedaggicas, cuja compreenso exige uma relao com as determinadas conjunturas polticas, sociais e econmicas. (afonso, 2005)
Historicamente, o Brasil viveu vrios momentos que podemos
retomar como marcos referenciais da avaliao da educao superior. At o final da dcada de 50, sua concepo era vista como
fiscalizao e controle. Esse perfil mudou a partir dos anos 60, com
o maior engajamento e participao da comunidade acadmica no
destino da universidade, alavancado pelo movimento pela reforma
universitria, cujo objetivo era estabelecer um compromisso tcnicocientfico com o desenvolvimento da sociedade brasileira, que vai
desencadear a expanso do movimento docente, nos anos 70, pela
31/03/2010 15:59:57
qualidade das atividades acadmicas, no mbito do ensino e da

pesquisa, sobretudo nas universidades pblicas. (marback neto,
2007; polidori, 2004)
O termo avaliao, propriamente dito, surgiu no Brasil em 1983
com o Programa de Avaliao da Reforma Universitria (paru). Este
se constituiu como a primeira pesquisa sobre gesto das universidades brasileiras. Sua ateno se voltava, sobretudo, para a gesto,
produo/disseminao de conhecimentos a partir de dados institucionais, permitindo que a comunidade universitria e os demais
setores sociais expressem suas opinies sobre a universidade. Apesar
de se tratar de uma proposta inovadora, sua durao foi de apenas
trs anos. e no chegou a se estabelecer como um sistema nacional
de avaliao. (marback neto, 2007)
Ainda na dcada de 80, vo surgir novas tentativas de se implementar uma poltica de avaliao no Brasil. Alguns exemplos
podem ser citados como a 54. Reunio Plenria do Conselho de
Reitores das Universidades Brasileiras, em Aracaju (se), que aprovou
um documento para a implantao permanente da avaliao nas
universidades; a criao da Comisso de Avaliao na Universidade
de Braslia, sob a coordenao da Prof. Isaura Belloni; a experincia
da Universidade de So Paulo (usp) e da Universidade da Regio
de Joinville (univille) no desenvolvimento de seus processos de
avaliao. (marback neto, 2007)
No ano de 1985, foi criada no mec a Comisso Nacional de Reformulao da Educao Superior, cujo trabalho resultou na apresentao de um relatrio intitulado Uma nova poltica para a educao
superior brasileira, (brasil, 1985), estimulando a oferta, pelo Conselho
Federal de Educao, de mecanismos de avaliao permanente do
sistema educacional brasileiro, com o apoio de comisses de especialistas externos. Tambm chamava a ateno para a ausncia de
parmetros avaliativos, o que afetava a organizao da educao
superior, a poltica de alocao de recursos que poderiam fortalecer
as melhores intituies do pas.
Fruto desse relatrio, foi constitudo o Grupo Executivo para a
Reforma da Educao Superior (geres), cuja filosofia pautava-se na
regulao e via a avaliao como contraponto autonomia da ies,
31/03/2010 15:59:58
valorizando as dimenses individuais (aluno, cursos, instituies,

etc). Os resultados da avaliao estavam, portanto, baseados no
controle da qualidade para a distribuio de recursos pblicos, que
deveriam ser destinados para centros de excelncia, com padres
internacionais de produo acadmica. Mesmo no conseguindo fazer a reforma universitria, tanto o Relatrio quanto o geres foram
importantes para que a avaliao se tornasse ponto estratgico das
reformas do governo de Fernando Henrique Cardoso, desencadeando,
futuramente, na publicao da Lei n 9.131/95, cabendo ao Estado
Art. 6o [...] formular e avaliar a poltica nacional de educao, zelar pela
qualidade do ensino e velar pelo cumprimento das leis que o regem
(brasil, 1995, grifo nosso), mesmo que as polticas sugeridas no se
estabelecessem dentro dos parmetros desejados pela comunidade
acadmica: uma avaliao que pudesse aspirar aos princpios da democracia, emancipao e fortalecimento da autonomia democrtica
ou, conforme assinalam Dias Sobrinho e Ristoff (2003, p. 27), uma
avaliao institucional como [...] um empreendimento sistemtico
que busca a compreenso global da universidade, pelo reconhecimento e pela integrao de suas diversas dimenses.
Nos anos 90, uma nova experincia de implementao de um
modelo nacional de avaliao da educao superior surge no cenrio
brasileiro. Trata-se do Programa Nacional de Avaliao Institucional
das Universidades Brasileiras (paiub). Criado pelo mec em 1994,
caracteriza-se como uma resposta ao movimento das universidades
brasileiras, com vista a implantar um modelo de avaliao centrado
na graduao. (polidori, 2004)
Elaborado segundo os princpios da globalidade, comparabilidade, respeito identidade institucional, no premiao ou punio,
adeso voluntria, legitimidade e continuidade, buscava, sobretudo,
com a participao de vrios segmentos representativos da educao
superior, a exemplo da Associao Nacional dos Dirigentes das Instituies de Ensino Superior (andifes), oferecer subsdios para um
processo contnuo de aperfeioamento do desempenho acadmico;
uma ferramenta para o planejamento da gesto universitria, alm
da prestao de contas sociedade, garantindo o carter transparente da avaliao.
31/03/2010 15:59:58
Caracteriza-se por possuir dotao financeira prpria, livre

adeso das universidades atravs da concorrncia de projetos e princpios de avaliao coerentes, composio livre e
participativa. Este programa procura considerar os diversos
aspectos indissociveis das mltiplas atividades-fim e das
atividades-meio necessrias sua realizao, isto , cada uma
das dimenses-ensino, produo acadmica, extenso e gesto em suas interaes, interfaces e interdisciplinaridade.
(paiub, 1994 apud lopes, 2002, p. 2)
Por se tratar de uma adeso livre, as universidades brasileiras da

regio Sudeste foram as que mais adotaram o modelo como experincia avaliativa, seguidas do sul, nordeste, centro oeste e norte, respectivamente. (brasil. Ministrio da Educao e do Desporto, 1997)
Com a sua implementao passaram a receber recursos financeiros
para a execuo de seus projetos de avaliao institucional, com metodologias prprias, mas com princpios comuns. Com relao a esse
aspecto, pode-se afirmar que o programa passou a representar para
essas universidades alguma experincia de avaliao institucional,
mesmo que a literatura no fornea elementos consistentes sobre
as prticas avaliativas, tidas como dispersas, incompletas e at
contraditrias, dificultanto as dimenses operacionais da avaliao
institucional. (verhine, 2000, p. 9)
A partir de 1996, ocorrem mudanas no modelo de avaliao da
educao superior no Brasil. Fruto da Lei n 9.131, de 24 de novembro de
1995, sero tomadas uma srie de prerrogativas no mbito do Ministrio da Educao e do Desporto, atendendo s seguintes orientaes:
Art. 3. Com vistas ao dispositivo na letra e do 2 do artigo 9
da Lei n. 4.024, de 1961, com a redao dada pela presente Lei,
o Ministrio da Educao e do Desporto far realizar avaliaes peridicas das instituies e dos cursos de nvel superior,
fazendo uso de procedimentos e critrios abrangentes dos
diversos fatores que determinam a qualidade e a eficincia das
atividades de ensino, pesquisa e extenso. (brasil, 1995)
Como ao imediata para atender as prerrogativas da Lei

n 9.131/95, alguns exemplos podem ser citados: Decreto n 2.096/96
31/03/2010 15:59:58
( instituiu os procedimentos para o processo de avaliao dos cursos e instituies de ensino superior); Portaria n 249/96 (institui a
sistemtica para a realizao do Exame Nacional de Cursos enc).
Nessa nova organizao da avaliao, o paiub passou a responder
de forma individual pela avaliao das universidades brasileiras ,
no se firmando como sistema de avaliao, sendo desativado durante os anos de 1998 e 1999. As universidades tiveram, a partir da,
que desenvolver metodologias prprias de avaliao institucional,
mesmo porque os incentivos financeiros para o desenvolvimento de
tal atividade foram extintos nesse perodo. Alm disso, o Decreto
n 3.860, publicado em 2001, instituiu os procedimentos de avaliao das instituies de ensino superior e de seus cursos atravs da
verificao de uma srie de itens por Comisses de Especialistas,
designados pelo Ministrio da Educao.
Vale destacar que, enquanto no paiub, a avaliao tinha uma
perspectiva de totalidade e de prestao de conta sociedade, o
enc estava centrado nos resultados, produtividade, eficincia, controle e desempenho dos estudantes. Destacam-se algumas crticas
ao modelo
[...] o enc reduz a avaliao das universidades a uma nica
prova geral, produzindo como resultado um retrocesso nas
concepes e formas de ensinar e desenvolver o conhecimento. O exame, ao centrar-se nas diretrizes curriculares comuns,
desconsidera as caractersticas regionais, as condies peculiares de trabalho de cada instituio, a escolha autnoma
e legtima das instituies por determinada abordagem nos
cursos, a misso e os objetivos educacionais priorizados por
cada instituio, dentro do esprito de relativa autonomia
didtico/pedaggica e de pluralidade de concepes. (santos
filho, 1999 apud lopes, 2002, p. 3)
Com relao avaliao dos cursos de graduao, a partir de

1 de outubro de 2001, o Instituto Nacional de Estudos e Pesquisas
(inep) assumiu a coordenao da Avaliao das Condies de Ensino (ace), reestruturando as visitas in loco e ampliando o banco de
avaliadores em todas as reas do conhecimento. No ano de 2002,
publicada a Portaria n 990, de 2 de abril de 2002, [...] estabelecendo
31/03/2010 15:59:58
as diretrizes para a organizao e execuo da avaliao das instituies de educao superior e das condies de ensino dos cursos de
graduao, e orientando que a avaliao in loco, tendo como roteiro
um instrumento especfico para cada curso, deveria ser procedida
considerando os seguintes critrios, presentes no art. 2:
Art. 2. Para proceder avaliao das ies e das condies de
ensino dos cursos de graduao, sero utilizados instrumentos organizados pelo inep que possibilitem avaliar:
I - organizao institucional ou organizao didtico-pedaggica dos cursos;
II - corpo docente, considerando principalmente a titulao,
a experincia profissional, a estrutura da carreira, a jornada
de trabalho e as condies de trabalho;
III - adequao das instalaes fsicas gerais e especficas,
tais como laboratrios e outros ambientes e equipamentos
integrados ao desenvolvimento do curso; e
IV - bibliotecas, com ateno especial para o acervo especializado, inclusive o eletrnico, para as condies de acesso s redes
de comunicao e para os sistemas de informao, regime de
funcionamento e modernizao dos meios de atendimento.
2 Na literatura,
Stakeholder ou, em
portugus, parte
interessada ou
interveniente, refere-se
a todos os envolvidos em
um processo, por exemplo,
clientes, colaboradores,
investidores,
fornecedores,
comunidade etc. O termo
stakeholders foi criado
para designar todas as
pessoas, instituies
ou empresas que, de
alguma maneira, so
influenciadas pelas aes
de uma organizao.
Diante dos fatos, pode-se dizer que at o ano de 2003, a avaliao

da educao superior pblica e privada se compunha do trio ai-aceenc, que da forma como foi orientada acabou trazendo problemas
na sua operacionalizao, sobretudo aos relacionados ao objetivo
de avaliar a qualidade da educao brasileira.
Com referncia Avaliao Institucional (ai), suas atividades
ficaram restritas ao parecer dos especialistas com relao ao (re)
credenciamento das ies, cujo reordenamento deu-se pelo Decreto n 2.026/1996 e, posteriormente, pelo Decreto n 3.860/2001.
A Avaliao das Condies de Ensino (ace), por sua vez, tambm
apresentou problemas de operacionalizao, devido aos procedimentos metodolgicos adotados na identificao dos pontos fracos
e fortes dos cursos de graduao, dos possveis conflitos entre os
stakeholders2, das presses polticas e como os stakeholders interferem
ou colaboram com as atividades da instituio. O enc tambm no
31/03/2010 15:59:58
foi capaz de indicar o valor ou o mrito, ou seja, a qualidade de um

curso de graduao; restringiu-se a avaliar os alunos como se todos
tivessem as mesmas condies, mesmas realidades e mesmos contextos de ensino-aprendizagem. A avaliao empregada, portanto,
na concepo do antigo Provo, que
(i) dava nfase aos resultados, atribuindo mrito individual
s instituies; (ii) provia dados de desempenho predominantemente quantitativos e escalonados, que resultavam
em medida relativa e ranking; (iii) caracterizava-se como
uma avaliao de desempenho externa no devidamente
articulada auto-avaliao das instituies e cursos e aos
demais processos avaliadores integrantes do sistema. (davok,
2007, p. 79-80)
Em sntese, os trs processos vigentes at 2003 dedicavam-se em

descrever e quantificar as variveis, com base no controle e fiscalizao, alm do carter punitivo frente aos conceitos insuficientes,
sobretudo na avaliao dos cursos, que podiam ter seu reconhecimento suspenso quando obtinham resultados insuficientes na
dimenso corpo docente da ace e trs conceitos d ou e consecutivos
no enc. (davok, 2007)
Tentando superar as dificuldades e falhas do sistema de avaliao at ento vigente, ainda no ano de 2003, encaminhado ao
Ministrio da Educao o documento Sistema Nacional de Avaliao da
Educao Superior sinaes: Bases para uma nova proposta de Avaliao da
Educao Superior, que defendia a criao de um sistema que combinasse regulao com um sistema educativo, de responsabilidade do
Estado e das instituies, alm da prestao de contas sociedade.
Essa proposta visava, sobretudo, superao da avaliao centrada,
exclusivamente, na superviso do mec e no se constituindo, dessa
forma, em um sistema de avaliao.
Como resultado dessas discusses, em abril de 2004, instituda
a Lei n 10.861, garantindo a consolidao do Sistema Nacional de
Avaliao da Educao Superior (sinaes), que, atravs da instituio,
seus cursos e do desempenho de seus estudantes, busca assegurar:
31/03/2010 15:59:58
Art. 2 - I - avaliao institucional, interna e externa, contemplando a anlise global e integrada das dimenses, estruturas,
relaes, compromisso social, atividades, finalidades e responsabilidades sociais das instituies de educao superior
e de seus cursos;
II - o carter pblico de todos os procedimentos, dados e
resultados dos processos avaliativos;
III - o respeito identidade e diversidade de instituies e
de cursos;
IV - a participao do corpo discente, docente e tcnicoadministrativo das instituies de educao superior, e da
sociedade civil, por meio de suas representaes.
Dessa forma, o sinaes se apresenta como um sistema integrado,

competindo-lhe a articulao entre os procedimentos avaliativos
constitudos pela Avaliao Institucional (ai), Avaliao dos Cursos
de Graduao (acg) e o Exame Nacional do Desempenho dos Estudantes (enade). Como parte desse processo, em 9 de julho de 2004, o
Ministrio da Educao regulamenta os procedimentos de avaliao
do Sistema Nacional de Avaliao da Educao, atravs da Portaria
n 2.051, expondo, entre outras, as seguintes recomendaes:
Art. 4o. A avaliao de instituies, de cursos e de desempenho de estudantes ser executada conforme diretrizes
estabelecidas pela conaes.
Pargrafo nico. A realizao da avaliao das instituies,
dos cursos e do desempenho dos estudantes ser responsabilidade do inep, o qual instituir Comisso Assessora de
Avaliao Institucional e Comisses Assessoras de reas para
as diferentes reas do conhecimento.
Art. 5o Para as avaliaes externas in loco, sero designadas
pelo inep:
I - Comisses Externas de Avaliao Institucional;
II - Comisses Externas de Avaliao de Cursos.
No mbito da Avaliao das Instituies (ai), a avaliao ser

conduzida com base na identificao do perfil institucional e pautando-se nos princpios do respeito identidade e diversidade
31/03/2010 15:59:58
das instituies, bem como pela realizao de auto-avaliao e de

avaliao externa. (Art. 9).
A autoavaliao constitui uma ferramenta do processo avaliativo, coordenado, internamente por Comisso Prpria de Avaliao
(cpa). (Art.10). O sinaes considera que a autoavaliao conduzida
pela cpa um importante mecanismo de autorregulao, onde as
Instituies conhecem a sua prpria realidade e podero utilizar
mecanismos de controle interno, visando qualidade e pertinncia
dos objetivos e metas institucionais. Para isso, a cpa deve assegurar
a participao de todos os segmentos da ies, bem como prestar
todas as informaes solicitadas pelo inep, alm de servir como
instrumento de gesto universitria.
A avaliao dos cursos de graduao ser realizada por Comisses
Externas de Avaliao de Cursos, designadas pelo inep, entre os especialistas das mais diferentes reas do conhecimento (Art. 18), devendo considerar por ocasio do ato avaliativo, dentre outros aspectos (Art.20):
I - o perfil do corpo docente;
II - as condies das instalaes fsicas;
III - a organizao didtico-pedaggica;
IV - o desempenho dos estudantes da ies no enade;
V - os dados do questionrio socioeconmico preenchido pelos
estudantes, disponveis no momento da avaliao;
VI - os dados atualizados do Censo da Educao Superior e do
Cadastro Geral das Instituies e Cursos; e
VII - outros considerados pertinentes pela conaes.
A avaliao do desempenho dos estudantes, realizada pelo inep

sob a orientao da conaes, mediante aplicao do enade, de forma
peridica e com utilizao de procedimentos amostrais entre os alunos
iniciantes e do ltimo ano dos cursos de graduao, tem por objetivo:
[...] acompanhar o processo de aprendizagem e o desempenho dos estudantes em relao aos contedos programticos
previstos nas diretrizes curriculares do respectivo curso de
graduao, suas habilidades para ajustamento s exigncias
decorrentes da evoluo do conhecimento e suas competn-
31/03/2010 15:59:58
cias para compreender temas ligados realidade brasileira e

mundial e a outras reas do conhecimento. (Art. 23)
Avaliando apenas uma amostragem dentre todos os alunos iniciantes e concluintes, inscritos pela instituio e escolhidos por sorteio
pelo prprio Ministrio da Educao, o enade busca superar a concepo conteudista da avaliao do antigo provo, ou seja, restritiva
aos conhecimentos adquiridos ao longo do curso, buscando, tambm,
valorizar um conjunto de habilidades e competncias adquiridas ao
longo do processo de formao dos cursos de graduao, questes
baseadas em problemas, alm da avaliao dos conhecimentos gerais,
sobretudo acerca da realidade brasileira e mundial.
Ainda como procedimento do sinaes, no mbito da Avaliao
Institucional para recredenciamento das ies em todo pas, regidas
pelo sistema federal de ensino, em 30 de janeiro de 2006 aprovado,
atravs da Portaria n 300, o Instrumento de Avaliao Externa, visando
subsidiar o trabalho das Comisses de Avaliao designadas pelo inep,
sob a orientao a conaes. Essa Portaria revogada em 17 de outubro
de 2008 pela Portaria n 1.264, que aprova um novo instrumento, que
passar a orientar a avaliao das Instituies de Ensino Superior,
pautando-se em dez dimenses e seus respectivos pesos (Quadro 1):
dimenso
peso
Dimenso 1: Misso e Plano de Desenvolvimento Institucional
05
Dimenso 2: Perspectiva cientfica e pedaggica formadora: polticas, normas e estmulos para

o ensino, a pesquisa e a extenso
35
Dimenso 3: Responsabilidade social da ies
05
Dimenso 4: Comunicao com a sociedade
05
Dimenso 5: Polticas de pessoal, de carreira, de aperfeioamento, de condies de trabalho.
20
Dimenso 6: Organizao e Gesto da Instituio
05
Dimenso 7: Infraestrutura fsica e recursos de apoio
10
Dimenso 8: Planejamento e avaliao
05
Dimenso 9: Polticas de atendimento aos estudantes
05
Dimenso 10: Sustentabilidade financeira
05
total
100
Quadro 1: Atribuio de Pesos s Dimenses do sinaes

Fonte: inep (2006)
31/03/2010 15:59:58
Essa Portaria introduz uma orientao especfica para a avaliao

das universidades, devendo prever no Intrumento:
Art. 2 [...] pontuao especfica pela existncia de programas
de ps-graduao stricto sensu, considerando satisfatrio o
funcionamento de pelo menos um programa de doutorado
e trs programas de mestrado, todos reconhecidos e com
avaliao positiva pelas instncias competentes.
Ainda como parte das aes do sinaes, a Portaria n 563, de 21 de

fevereiro de 2006, aprova o instrumento para a avaliao de todos
os cursos de graduao, compreendendo os cursos de bacharelado, a
licenciatura e os cursos superiores de tecnologia, na modalidade presencial ou a distncia. Composto por categorias, indicadores e grupo
de indicadores, o instrumento subsidiou o trabalho das comisses de
avaliao designados pelo inep, durante dois anos, sendo substitudo
por uma nova verso, publicada atravs da Portaria n 1.081, de 29
de agosto de 2008, contemplando as seguintes dimenses:
dimenso
1 - Organizao didtico-pedaggica
2 - Corpo Docente, Discente e Tcnico-administrativo
3 Instalaes fsicas
total
peso
40
35
25
100
Quadro 2: Atribuio de Pesos s Dimenses do sinaes

Fonte: inep (2008)
Esses elementos passaram a contituir a avaliao da educao superior no Brasil e, apresentam uma variedade de instrumentos, com
diferentes concepes e objetivos que tm constitudo a trajetria
histrica da avaliao nesse nvel de ensino. Ao analisar a estrutura
formal do to esperado Sistema Nacional de Avaliao, buscamos
avaliar o verdadeiro sentido de sua contituio: se por um lado a avaliao tem sido substanciada pelo carter formativo, comprometida
com a transformao acadmica e emancipatria e, se por outro, a
avaliao est sendo mais vinculada ao controle e regulao, mais
centrada na poltica de resultados e do valor de mercado.
31/03/2010 15:59:58
As duas concepes parecem dar conta dos aspectos estruturantes,

seja em relao prpria expectativa do Estado, na necessidade de
se estabelecer polticas de regulao e controle, seja em relao
perspectiva de fortalecimento da dimenso filosfica enquanto possibilidade de [...] conhecimento, interpretao, atribuio de juzos
de valor, organizao e instauraes de aes e metas para melhorar
o cumprimento das finalidades pblicas e sociais das instituies.
(dias sobrinho; ristoff, 2003, p. 43) Enquanto controle e regulao, ela se restringe exclusivamente fiscalizao do cumprimento
ou no das normas legais e ao ajuste das demandas do mercado para
melhoria da produtividade. A avaliao, nesse sentido, estaria mais
preocupada com os rankings das instituies, como resposta sociedade naquilo que se entende como poltica de resultados. Em relao
sua dimenso formativa, assume sua responsabilidade educativa,
na compreenso das dimenses essenciais para se buscar cumprir os
critrios de uma prtica democrtica e participativa para a melhoria
dos processos, seja em relao aos aspectos pedaggicos, curriculares, seja em relao aos aspecots administrativos ou a qualificao
e envolvimento dos seus recursos humanos. Nessa perspectiva, os
elementos que compem o sinaes carecem de anlise e reflexo,
seja em relao a sua concepo, seja em relao a sua estrutura e
organizao dos instrumentos de avaliao.
concluso
As transformaes sociais e polticas provocadas pela globalizao
tm redimensionado o papel da educao e as novas formas de gesto
e organizao do sistemas educativos, frente s polticas neoliberais
e o fim das fronteiras econmicas. Dentre os aspectos necessrios
para responder a essas mudanas, est a avaliao.
Como sistema, a avaliao tem se aperfeioado ao longo da histria
como um princpio bsico de regulao do Estado e como ferramenta
de gesto da qualidade na sociedade moderna, seja nos setores pblicos ou privados. A forma como est sendo contituda, bem como
os aspectos formais e operacionais, garantem o seu compromisso
31/03/2010 15:59:59
pblico e poltico, alm da credibilidade dos autores envolvidos

no processo avaliativo, tanto no mbito interno quanto no mbito
externo das organizaes. Quando bem planejada, a avaliao tem
contribudo para a melhoria dos programas, influenciando nas transformaes e definies de polticas, alm de servir como instrumento
de tomada de deciso de polticas pblicas e sociais.
No caso brasileiro, as reformas polticas, econmicas e sociais,
impulsionadas pelo modelo neoliberal de gesto, sobretudo nos
anos 90, fortaleceram o Estado regulador, com vista a garantir no
apenas nveis de eficincia e produtividade dos servios pblicos,
mas uma nova estrutura de organizao e gesto, flexibilizando e
repassando para a iniciativa privada funes que seriam exclusivas
do poder estatal.
No campo educacional, o lugar cedido iniciativa privada trouxe
uma nova estrutura e organizao, sobretudo no ensino superior. Um
novo cenrio pode ser observado nas ltimas dcadas, no apenas
com o crescimento de instituies privadas em todo pas, favorecido
por uma maior flexibilidade da ldb, mas tambm com uma nova
configurao de ensino, que passou a constituir os espaos de formao, tendo em mira atender o mundo globalizado e em constante
transformao, requerendo, portanto, a constituio de um perfil
eficiente e capaz de dar conta das demandas do mercado.
Dentre as demandas de mercado, est a nova configurao da
universidade que passa constituir espaos de produtividade, mantendo caractersticas como eficincia e eficcia, atingindo patamares
de competitividade atravs de padres de mensurao de resultados, com vista qualidade. Neste campo que caracteriza a prpria
modernizao universitria, est a preocupao com a produo
de conhecimento voltada para a formao do capital humano para
atender o fenmeno da globalizao e responder aos prprios anseios da sociedade, que veem na educao a condio essencial para
o ingresso no mercado de trabalho.
Neste cenrio de mudanas, a avaliao vai se constituir no elemento formal de regulao estatal, ao mesmo tempo que passa a garantir as finalidades expostas na concepo utilitarista de educao,
na qual a universidade vista como uma prestadora de servios
31/03/2010 15:59:59
sociedade e no apenas como um espao de disseminao de conhecimento e pesquisa. Essa lgica, que atende aos objetivos da sociedade
capitalista, prope o carter mercadolgico da educao, voltada
para a construo do cidado produtivo, para o atendimento das
demandas do mercado, requerendo, portanto, o incremento de nova
base curricular e novas posturas metodolgicas, alm de uma nova
estrutura de organizao e gesto institucional.
Dar conta dessa nova configurao de ensino e do universo de
transformaes provocadas pela globalizao requer no apenas o
desenvolvimento de um conjunto de estratgias para a regulao e
controle das instituies educacionais, no que tange diversificao,
expanso e oferta, mas, sobretudo, melhorar os mecanismos de
avaliao que tm sido implementados pelo Estado, com o intuito
de aperfeioar a qualidade da educao superior. Alguns exemplos
podem ser destacados: Exame Nacional de Cursos (Provo), Avaliao
das Condies de Ensino (ace), e mais recentemente, o Sistema
Nacional de Avaliao da Educao Superior (sinaes), contemplando
a Avaliao Institucional, Avaliao dos Cursos de Graduao (acg)
e o Exame Nacional do Desempenho dos Estudantes (enade).
Entender e mergulhar nessa diversidade, no apenas significa
encontrar mecanismos de operacionalizao, mas, sobretudo, promover avaliaes sistemticas relacionadas ao processo avaliativo,
visando ao aperfeioamento da gesto das polticas educativas e
garantindo a credibilidade no sistema avaliativo, que tem se constitudo ao longo da histria da educao superior brasileira. Isso requer
a adoo de estratgias institucionais que favoream a concepo
de uma avaliao sistemtica, com caractersticas que valorizem a
participao, o envolvimento pblico e social, para que seja capaz
de atender no apenas o aspecto formal da regulao, mas a possibilidade de um autoconhecimento, emancipao e fortalecimento
da autonomia das instituies universitrias.
31/03/2010 15:59:59
referncias
afonso, Almerindo Janela. Avaliao educacional: regulao e emancipao.
So Paulo: Cortez, 2005.
andrade, Maria Antonia Brando de. A avaliao como instrumento de gesto
da qualidade da educao superior. [S.l.: s.n], 2009. Trabalho apresentado no
19. epenn, Joo Pessoa, 05 a 08 de julho de 2009.
______. A insero dos cientistas sociais no mercado de trabalho. 2002. Dissertao
(Mestrado em Cincias Sociais) Programa de Ps-graduao em Cincias
Sociais, Universidade Federal da Bahia, Salvador.
______. Qualificao e competncia profissional: impactos sobre a educao no
Sculo xxi. Salvador: ufba, 2008. Trabalho apresentado na Conferncia
Internacional Educao, Globalizao e Cidadania: novas perspectivas da
Sociologia da Educao, em Joo Pessoa.
belloni, Isaura. A educao superior na nova ldb: breve anlise
comparativa da nova lei com a legislao anterior e o projeto de lei da
Cmara. In: brzezinski, Iria (Org.). ldb interpretada: diversos olhares se
entrecruzam. So Paulo: Cortez, 2003. p. 129-143.
______; magalhes, Heitor de; sousa, Luisa Costa de. Metodologia da
avaliao em polticas pblicas. 4. ed. So Paulo: Cortez, 2007.
brasil (1988). Constituio de 1988. Braslia, df:[s.n., 1988].
brasil. Decreto n 563, de 21 de fevereiro de 2006. Aprova em extrato, o
instrumento de Avaliao dos Cursos de Graduao do Sistema Nacional de
Avaliao da Educao Superior - sinaes. Disponvel em: <http: www.mec.
gov.br>. Acesso em: 02 abr. 2008.
brasil. Decreto n 2.096, de 17 de dezembro de 1996. Institui os
procedimentos para os processos de avaliao dos cursos e instituies do
ensino superior. Disponvel em: <http.www.mec.gov.br>. Acesso em: 01
jul.2009.
brasil. Decreto n 3.860, de 9 de julho de 2001. Dispe sobre a organizao
do ensino superior, a avaliaes de curso e instituies e d outras
providncias. Disponvel em: <http: www.mec.gov.br>.
Acesso em: 5 maio 2009.
brasil. Lei n 9.131, de 24 de novembro de 1995. Altera dispositivos da Lei
n. 4.024, de 20 de dezembro de 1961, e d outras providncias. Disponvel
em: <http: www.mec.gov.br>. Acesso em: 20 jul. 2009.
brasil. Lei n 9.394, de 20 de dezembro de 1996. Estabelece as Diretrizes
e Bases da Educao Nacional. Secretaria da Educao do Estado da Bahia.
Disponvel em: <http: www.mec.gov.br>. Acesso em: 20 jul. 2009.
brasil. Lei n 10.172, de 9 de janeiro de 2001. Aprova o Plano Nacional de
Educao. pne. Disponvel em: <http: www.mec.gov.br>. Acesso em: 27
dez. 2008.
31/03/2010 15:59:59
brasil. Lei n 10.861, de 14 de abril de 2004. Institui o Sistema Nacional

de Educao Superior sinaes e dispe sobre a avaliao da Educao
Superior sinaes. Disponvel em: <http: www.mec.gov.br>. Acesso em: 24
out. 2004.
brasil. Ministrio da Educao. Comisso Nacional de Reformualao
da Educao Superior. Uma nova poltica para a educao superior brasileira.
Braslia, df, 1985.
brasil.Ministrio da Educao e do Desporto. Secretaria da Educao
Superior. Programa de Avaliao Institucional das Universidades Brasileiras paiub.
Braslia, df, 1994.
______. Programa de avaliao institucional das universidades brasileiras paiub:
Relatrio depes/Sesu de adeso. Braslia, df, 1997.
______. Uma nova poltica para o ensino superior brasileiro: subsdios para
discusso. Braslia, df., 1996.
brasil. Portaria n 249, de 18 maro de 1996. Dispe sobre a instituio
de sistemtica para a realizao anual do Exame final de cursos, como um
dos elementos necessrios para a avaliao peridica das instituies e dos
cursos de nvel superior de graduao. Disponvel em: <htpp.www.mec.gov.
br>. Acesso em: 01 jul. 2009.
brasil. Portaria n 300, de 30 de janeiro de 2006. Aprova, em extrato, o
Instrumento de Avaliao Externa de Instituies de Educao Superior do
Sistema Nacional de Avaliao da Educao Superior sinaes. Disponvel
em: <http: www.mec.gov.br>. Acesso em: 20 nov. 2006.
brasil. Portaria n 990, de 2 de abril de 2002. Estabelece as diretrizes para
a organizao e execuo da avaliao das instituies de educao superior
e das condies de ensino dos cursos de graduao Disponvel em: <http:
www.mec.gov.br>. Acesso em: 02 abr. 2008.
brasil. Portaria n 1.081, de 29 de agosto de 2008. Aprova, em extrato, o
Instrumento de Avaliao dos Cursos de Graduao. Disponvel em: <http:
www.mec.gov.br>. Acesso em: 20 jul. 2009.
brasil. Portaria n 1.264, de 17 de outubro de 2008. Aprova, em extrato, o
Instrumento de Avaliao Externa de Instituies de Educao Superior do
Sistema Nacional de Avaliao da Educao Superior sinaes. Disponvel
em: <http: www.mec.gov.br>. Acesso em: 20 jul. 2009.
brasil. Portaria n 2.051, de 9 de julho de 2004. Regulamenta os
procedimentos de avaliao do Sistema Nacional de Educao Superior
sinaes, institudo pela Lei 10.861, de 14 de abril de 2004. Disponvel em:
<http: www.mec.gov.br>. Acesso em: 02 abr. 2008.
brasil. Portaria n 5.773, de 9 de maio de 2006. Dispe sobre a organizao
do ensino superior, a avaliaes de curso e instituies e d outras
providncias. Disponvel em: <http: www.mec.gov.br>. Acesso em: 10 maio
2006.
31/03/2010 15:59:59
brennan, John L.; shah, Tarla. Manging quality in higher education: an

internacional perspective on institutional assessment and change.
Buckingham, uk: Open University Press, 2000.
cabral neto, Antonio; castro, Alda Maria Duarte Arajo. Gesto
educacional na Amrica Latina: delineamento e desafios para os sistemas
de ensino. In: eyng, Ana Maria; gisi, Maria Lourdes (Org.). Polticas e gesto
da educao superior: desafios e perspectivas. Iju, rs: Editora Uniju, 2007.
castro, Maria Helena de Magalhes. Estado e mercado na regulao da
educao superior. In: brock, Colin; schwartzman, Simon (Org.). Os
desafios da educao no Brasil. Rio de Janeiro: Nova Fronteira, 2005. p. 241-274.
______; tiezzie, Srgio. Reforma do ensino mdio e a implantao do Enem
no Brasil. In: brock, Colin; schwartzman, Simon (Org.). Os desafios da
educao no Brasil. Rio de Janeiro: Nova Fronteira, 2005. p. 119-141
davok, Delsi Fries. Avaliao em educao. Avaliao: Revista da Rede de
Avaliao da Educao Superior, Campinas, sp, v. 12, n. 3, p. 505-513, 2007.
______. Modelo de meta-avaliao de processos de avaliao da qualidade de cursos
de graduao. 2006. Tese (Doutorado em Engenharia da Produo), Programa
de Ps-graduao em Engenharia da Produo, Universidade Federal de
Santa Catarina, Florianpolis.
demo, Pedro. Educao e qualidade. 10. ed. Campinas, sp: Papirus, 2006.
dias sobrinho, Jos. Avaliao da educao superior. Petrpolis, rj: Vozes,
2000.
_____. Dilemas da educao superior no mundo globalizado: sociedade do
conhecimento ou economia do conhecimento? So Paulo: Casa do
Psiclogo, 2005.
______; ristoff, Dilvo I. (Org.). Avaliao e compromisso pblico: a educao
superior em debate. Florianpolis: Insular, 2003.
dourado, Luiz Fernandes. Reforma do estado e as polticas para a
educao superior nos anos 90. Educao e Sociedade, Campinas, sp, v. 23, n.
80, p. 235-253, set. 2002.
durham, Eunice R. Educao superior pblica e privada. (1808-2000). In:
brock, Colin; schwartzman, Simon (Org.). Os desafios da educao no
Brasil. Rio de Janeiro: Nova Fronteira, 2005. p. 198-239.
ferreira, Muniz G. Recordao de um futuro possvel: neoliberalismo,
reforma do Estado e democracia na Amrica Latina. Revista de Cincias Sociais,
Rio de Janeiro, v. 3, n. 2, p.152-174, dez. 1997.
fonseca, Marlia. O Banco Mundial e a educao: reflexes sobre o
caso brasileiro. In: gentilli, Pablo. Pedagogia da excluso: crtica ao
neoliberalismo em educao. 10. ed. Petrpolis, rj: Vozes, 2005. p.169-194.
gentilli, Pablo. Pedagogia da excluso: crtica ao neoliberalismo em
educao. 10. ed. Petrpolis, RJ: Vozes, 2005. p. 228-250.
31/03/2010 15:59:59
IBGE. Dados populacionais 2002. Disponvel em: www.ibge.gov.br. Acesso em:

24 out. 2005.
INEP. Censo da educao superior, 2006. Braslia, DF, 2006a. Disponvel em:
www.inep.gov.br. Acesso em: 02 mar. 2008.
______. Censo da educao superior, 2007. Braslia, DF, 2007. Disponvel em:
www.inep.gov.br. Acesso em: 02 jul 2009.
______. Instrumento de avaliao externa de instituies de educao superior.
Braslia, DF, 2006b.
______. ______. Braslia, DF, 2008.
LEITE, Denise. Avaliao institucional, reformas e redesenho capitalista
das universidades. In: DIAS SOBRINHO, Jos; RISTOFF, Dilvo I. Avaliao e
compromisso pblico. Florianpolis: Insular, 2003. p. 53-73
______. Reformas universitrias: avaliao institucional participativa.
Petrpolis, RJ: Vozes, 2005.
LOPES, Maria Fernanda Arraes. Objetivos e perspectivas do Programa de
Avaliao Institucional das Universidades Brasileiras (PAIUB) e do Exame Nacional de
Cursos (ENC). [S.l.: s.n., 2002]
MARBACK NETO, Guilherme. Avaliao: instrumento de gesto universitria.
Vila Velha, ES: Hoper, 2007.
MENEGHEL, Stela M.; BERTOLIN, Jlio C.G. Avaliao das condies de
ensino/ACE do INEP: reflexes sobre procedimentos e contribuies
das Comisses. Avaliao: Revista da Rede de Avaliao da Educao Superior,
Campinas, SP, v. 9, n. 1, p. 151-171, mar. 2004.
PALADINI, Edson Pacheco. Gesto da qualidade: teoria e prtica. 2. ed. So
Paulo: Atlas, 2004.
PEREIRA, Luiz Carlos Bresser. Crise econmica e reforma do Estado no Brasil:
para uma nova interpretao da Amrica Latina. So Paulo: Ed. 34, 1996.
PIMENTA, Carlos Csar. A reforma gerencial do estado brasileiro no
contexto das grandes tendncias mundiais. Revista de Administrao Pblica,
Rio de Janeiro, v. 32, n. 5, p. 173-199, set./out. 1998.
POLIDORI, Marlis Morosini. Construindo polticas educativas com o suporte
da avaliao da educao superior. Trabalho apresentado no VIII Congresso
Latino Afro-Brasileiro de Cincias Sociais. A Questo Social do Novo Milnio,
Coimbra, 16 a 18 de setembro de 2004.
PREEDY, Margareth; GLATTER, Ron; LEVACIC, Rosalind. Gesto em educao:
estratgia, qualidade e recursos. Traduo de Gisele Klein. Porto Alegre:
ArtMed, 2006.
RISTOFF, Dilvo I. Algumas definies em avaliao. In: DIAS SOBRINHO,
Jos; RISTOFF, Dilvo I. (Org.). Avaliao e compromisso pblico: a educao
superior em debate. Florianpolis: Insular, 2003. p. 21-34.
31/03/2010 15:59:59
SANDER, Benno. Administrao e educao no Brasil: hora da relevncia.

Educao Brasileira, Braslia, DF., v. 4, n. 9, 2 sem., p. 8-27, 1982.
______. Gesto da educao na Amrica Latina: construo e reconstruo do
conhecimento. Campinas, SP: Autores Associados, 1995.
SANTOS, Reginaldo Souza; RIBEIRO, Elizabeth Matos. A administrao
poltica brasileira. Revista de Administrao Pblica, Rio de Janeiro, v. 27, n. 4,
p. 102-135, out./dez. 1993.
SCRIVEN, M. Evaluation thesaurus. 4. ed. Newbury Park, CA: Sage, 2001.
SOARES, Francisco Jos. Qualidade e equidade na educao bsica
brasileira: fatos e possibilidades. In: BROCK, Colin; SCHWARTZMAN, Simon
(Org.). Os desafios da educao no Brasil. Rio de Janeiro: Nova Fronteira, 2005.
p. 91-111.
STAKEHOLDER. In: WIKIPDIA enciclopdia livre, 2007. Disponvel em:
<www.wikipedia.org>. Acesso em: 24 mar. 2008.
SUREZ, Daniel. O princpio educativo da nova direita neoliberalismo,
tica e escola pblica. In: GENTILLI, Pablo. Pedagogia da excluso: crtica ao
neoliberalismo em educao. 10. ed. Petrpolis, RJ: Vozes, 2005. p. 253-259.
TORRES, Carlos Alberto. Estado, privatizao e poltica educacional
elementos para uma crtica do neoliberalismo. In: GENTILLI, Pablo.
Pedagogia da excluso: crtica ao neoliberalismo em educao. 10. ed.
Petrpolis, RJ: Vozes, 2005. p. 109-134.
VERHINE, Robert E. Introduo. In: ______ (Org.). Experincias de avaliao
institucional em universidades brasileiras. Salvador: UFBA/FACED/ Programa de
Ps-graduao em Educao, 2000. p. 7-12.
VIANA, Ndia Valverde. A trajetria da avaliao dos cursos de graduao no
Brasil. Entrevista concedida a Maria Antonia Brando de Andrade em 02
janeiro 2008.
WORTHEN, Baine R.; SANDERS, James R.; FITZPATRICK, Jody L. Avaliao de
programas: concepes e prticas. So Paulo: Gente, EDUSP, 2004.
ZAINKO, Maria Amlia Sabbag; COELHO, Rbia Helena Naspolini. Avaliao
e reformas da educao superior. In: EYNG, Ana Maria; GISI, Maria Lourdes.
Polticas e gesto da educao superior: desafios e perspectivas. Iju, RS: Editora
Uniju, 2007. p. 89-127.
31/03/2010 15:59:59
31/03/2010 15:59:59
A avaliao como
uma poltica pblica: aspectos
da implementao do SINAES
Jorge Luiz Lordlo de Sales Ribeiro (UFBA)
introduo
Avaliar significa determinar o valor de algo. Outros significados
podem ainda ser acrescentados ao termo, tais como: o preo, a utilizao, a serventia, a eficcia, a validade que se estabelece de algo
ou de alguma coisa. (HOUAISS, 2001) As palavras aferir, examinar,
verificar, eficincia, eficcia so comuns quando nos referimos
avaliao e mostram o quanto o termo, ainda fiel sua origem
etimolgica, est ligado ideia de mensurao e medida, o que
transforma a avaliao numa poderosa ferramenta de controle, de
fiscalizao e de excluso. Certamente este um dos motivos pelo
qual a maioria das pessoas v a avaliao como uma prtica negativa,
que expe e causa mais danos que benefcios ao avaliado. Embora,
nos textos e nos discursos, os benefcios da avaliao sejam sempre
destacados, na prtica, poucos so os que se submetem avaliao
compreendendo-a como um processo de crescimento e desenvolvimento pessoal ou institucional.
Perrenoud (1999) entende a avaliao como um processo que
precede a ao. Para ele, avalia-se sempre com o propsito de agir,
de tomar decises. Mesmo nas situaes em que esta relao no
est claramente estabelecida, a avaliao orienta uma inovao,
fundamenta a favor ou contra uma reforma, estabelece ndices de
eficcia do ensino, indica o impacto de uma medida adotada, da a
referncia to constante com a medida.
31/03/2010 15:59:59
Hadji (2001), apoiado nas posies de Guilford e Boniol, define

medida como a atribuio de um valor numrico a um acontecimento, baseado em critrios sistematicamente adotados e aceitveis,
chamando a ateno para o fato dessa operao, a de medir, ser
caracterizada pela descrio quantitativa da realidade num determinado ponto de vista, ou seja, numa nica dimenso. Assim entendida,
a medida um elemento da avaliao, sem dvida um elemento
importante, mas insuficiente para traduzir todas as dimenses envolvidas num processo de avaliao.
Apesar da importncia e da intensa aplicao em todos os campos
e atividades humanas, foi no campo da educao que a avaliao se
popularizou e assumiu um destacado papel nos processos de ensinoaprendizagem, de tal modo que, ao falar de avaliao, as pessoas a
associam quase automaticamente escola, ao ensino, de qualquer
nvel, de qualquer rea. Considerado um precursor da avaliao
educacional, Tyler (1976) mostra a utilidade da avaliao no campo
educacional, pela necessidade de se verificar se os resultados das
atividades escolares foram alcanados de acordo com o planejado
e, alm disso, pela necessidade de analisar as consequncias dos
planos de ensino e dos currculos institudos na escola. A avaliao,
portanto, seria um instrumento de diagnstico que torna possvel,
aos profissionais da educao, fazer correes em seus programas
e aprimorar o seu trabalho.
a avaliao institucional
A avaliao aplicada ao campo da educao, como foi visto, utilizada comumente para aferir o nvel de rendimento escolar dos alunos
e o desempenho do professor. Entretanto, a avaliao tambm
utilizada para julgar o trabalho das instituies de ensino e dos sistemas educacionais, seja para verificar a sua eficcia e eficincia, seja
para identificar os efeitos produzidos por uma ao ou uma poltica
aplicada ao sistema educacional ou a uma instituio em particular,
seja ainda para identificar a consecuo de objetivos previamente
propostos. Belloni (1998) estabelece a diferena entre a avaliao
da aprendizagem, que trata do rendimento escolar, da apreciao
58 jorge luiz lordlo de sales ribeiro
31/03/2010 15:59:59
do processo de ensino e aprendizagem e do currculo, e a avaliao

institucional, que trata do desempenho da instituio, das polticas
pblicas e da boa realizao de um projeto. A expresso avaliao
institucional utilizada ainda para avaliao da implementao de
planos ou projetos, dos resultados obtidos ou do impacto causado.
Assim, a avaliao extrapolou os limites das relaes de ensino na
sala de aula e passou a mensurar a prpria escola, o sistema educacional e as polticas que regulam o setor.
Como processo, a avaliao institucional constitui um servio
prestado sociedade medida que os participantes da instituio possam repensar seus compromissos e metas, modos
de atuao e finalidades de suas prticas e de sua misso.
(LEITE; TUTIKIAN; HOLZ, 2000, p. 33)
Dias Sobrinho (1996) afirma que um processo de avaliao no

se restringe apenas a aspectos organizacionais e gerenciais de uma
instituio, mas ultrapassa seus limites, atinge contextos cada vez
mais amplos, reflete a ideologia e os valores orientadores da sociedade. Exatamente por isso, a avaliao institucional, sendo um
processo destinado a analisar o desempenho global das instituies,
seus processos de funcionamento e os resultados alcanados, identificando os seus pontos fortes e fracos e, principalmente, verificando
as dificuldades enfrentadas, com vistas sua superao, deve levar
em considerao a natureza da instituio, o contexto em que est
inserida, a sua misso, o tipo de produto produzido, etc. Cada um
destes aspectos deve ser objeto de anlise, e a metodologia aplicada
deve contemplar todos eles. Tais princpios e procedimentos so a
base para a avaliao de qualquer organizao ou instituio.
O desenvolvimento da avaliao, acompanhando o aumento gradual da complexidade das situaes e das demandas, no se limita
ao aperfeioamento das tcnicas e dos mtodos, mas, sobretudo,
mudana da concepo acerca do processo, da sua importncia,
dos seus objetivos e finalidades. A avaliao, como foi mencionado
anteriormente, deixa de ser uma atividade meramente tcnica e
incorpora duas outras importantes dimenses: a dimenso poltica
e a dimenso tica. Esta viso ampliada da avaliao a transforma,
a avaliao como uma poltica pblica: aspectos da implementao do sinaes 59
31/03/2010 15:59:59
sobretudo, numa atividade de negociao entre avaliador e avaliado,

exigindo, assim, no s o aperfeioamento constante dos instrumentos e mtodos de avaliao, como tambm uma postura mais democrtica e participativa tanto na elaborao, quanto na execuo da
avaliao. Em decorrncia disso, como observa Dias Sobrinho (2003),
surge um conflito entre epistemologias positivistas e naturalistas, o
que resulta, de um lado, numa compreenso da avaliao como um
processo voltado para o crescimento e aperfeioamento e, de outro,
a avaliao como um processo de aferio voltado para o controle.
modelos de avaliao institucional

Esses dois pontos de vistas divergentes sobre a conduo do processo
vo se constituir em dois diferentes modos de fazer avaliao, em
torno dos quais se construiro paradigmas, enfoques e modelos de
trabalho, amplamente discutidos na literatura. Estes termos, utilizados muitas vezes como sinnimos, sem maiores preocupaes em
se estabelecer distines conceituais, produzem uma multiplicidade
de formas de classificao dos tipos de avaliao.
So muitas as classificaes do tipo ou formato de avaliao
institucional encontradas na literatura. Algumas delas baseadas na
finalidade do processo, outras nos objetivos, outras, ainda, no nvel
de participao dos usurios, assim como na concepo filosfica
e/ou poltica que norteiam o processo de avaliao, tais como entendem Cousins e Earl (1995), House (2000), Saul (2001), e House e
Howe (2001) e Leite (2005).
Um modo comumente empregado para classificar os tipos de
avaliao, talvez um modo mais simples, agrup-los segundo a finalidade. Deste ponto de vista, em linhas gerais, podem-se agrupar os
diversos tipos de avaliao institucional em dois grandes grupos:
a) os modelos educativos, ou formativos, cuja principal finalidade desenvolver e aprimorar a qualidade do trabalho produzido pela instituio avaliada. Este modelo caracterizado pela
nfase na anlise qualitativa e incentiva o envolvimento de
todos os segmentos da instituio na construo e execuo
do processo, portanto participativo e mais democrtico;
31/03/2010 16:00:00
b) os modelos regulatrios, cuja principal finalidade garantir o

cumprimento das regras de funcionamento preestabelecidas
para o sistema, garantindo, consequentemente, o nvel de
qualidade do trabalho das instituies avaliadas. O modelo
tem, como principal caracterstica, a nfase na anlise quantitativa, sendo tecnocrtico e centralizador.
Um aspecto importante da discusso sobre os dois modelos de
avaliao apresentados a relao com a qualidade. As avaliaes regulatrias, como as avaliaes de curso de graduao concebidas pelo
MEC, e baseadas num padro de qualidade, por exemplo, no pretendem aumentar a qualidade do sistema e sim manter a qualidade,
assegurando o nvel mnimo que as Instituies de Ensino Superior
(IES) devem demonstrar s autoridades educacionais. Porm, ao se fazer a avaliao das instituies de ensino e se exigir que elas atendam
aos critrios adotados, consegue-se que elas fiquem mais parecidas
umas com as outras. Dessa forma, a avaliao termina padronizando
as instituies, independentemente das suas caractersticas, e isto
no implica necessariamente maior ou menor qualidade.
Ainda em relao a esses dois pontos de vistas acerca dos modelos de avaliao, Afonso (2000), ao discutir a avaliao no contexto
das mudanas sociopolticas contemporneas, situa muito bem a
avaliao, conforme a representao na figura a seguir:
Teoria do Estado
Crise do
Estado-providncia
Estado - providncia
Resistncia do
Estado-providncia
Avaliao formativa
Novas formas de avaliao
Nova direita
Neoliberalismo
Neoconservadorismo
- Estado
+ Mercado
+ Estado
Mercado
Mercado-avaliador
Estado-avaliador
Avaliao
Estandartizada
Normativa
Avaliao
Estandartizada
Criterial
Quase-mercado
Avaliao Estandartizada criterial com

publicizao dos resultados
Teorias da avaliao
Figura 1 Mudanas sociopolticas contemporneas.

Fonte: Afonso (2000, p. 121)
31/03/2010 16:00:00
O esquema proposto por Afonso (2000) estabelece duas linhas

de contradies, a primeira sendo decorrente da crise do Estadoprovidncia. Uma nova ordem surge em seu lugar, e o Estado passa a ser regulador de servios em lugar de provedor. Da, pode-se
identificar, no campo da avaliao, um movimento de resistncia a
esta situao, que defende a avaliao formativa, ou educativa, em
contraposio avaliao regulatria. A segunda linha de contradio decorre das diferenas entre as posies neoliberais e neoconservadoras. No campo da avaliao, estas duas tendncias polticas se
expressam nos modelos avaliativos que possibilitam maior controle
e regulao por parte do Estado, em contradio com os modelos
avaliativos que possibilitam maior controle e regulao pelo mercado. A esta segunda contradio, o autor chama de paradoxo do
Estado neoliberal.
Se a segunda contradio pode ser resolvida, ou pelo menos,
minimizada por um dispositivo em que o Estado divide com o mercado a funo de controle e fiscalizao da regulao, a primeira
contradio persiste e parece ser inconcilivel: o modelo regulatrio
e o modelo educativo.
Nos modelos educativos, ou formativos, h o compromisso com
o desenvolvimento da prpria instituio avaliada, a partir da utilizao dos resultados obtidos na avaliao. Todo o procedimento da
avaliao organizado em funo das caractersticas da instituio
e da sua capacidade de aproveitamento dos resultados produzidos.
Neste caso, muito desejvel o envolvimento de todo o corpo social,
de todos os segmentos da instituio, tanto nas etapas de preparao
como nas etapas de execuo e anlise. Este modelo utilizado
principalmente nos processos de autoavaliao, ou processos em
que esta tomada como eixo, como atividade central da avaliao.
Os avaliadores devem estar bem treinados e convictos de que o seu
papel ser sempre de contribuir para que a instituio supere as suas
dificuldades, aumentando gradativamente o nvel de qualidade do
trabalho que realiza. Esta compreenso do papel do avaliador deve
estar clara tambm para os avaliados, para que se possa superar o
temor e a desconfiana que naturalmente se instala entre as partes
envolvidas num processo de avaliao.
31/03/2010 16:00:00
Nos modelos regulatrios, ao contrrio, no h um compromisso

direto com o desenvolvimento da instituio e sim com a manuteno da qualidade do sistema como um todo, mesmo sabendo que a
manuteno da qualidade do sistema pode implicar no aumento da
qualidade das instituies que compem o sistema. O efeito, portanto,
indireto. A forma de conduzir o processo tambm radicalmente
diferente, pois os avaliadores partem de critrios preestabelecidos,
que indicam como as instituies devem funcionar para garantir o
nvel de qualidade mnima aceitvel. A avaliao, neste caso, procura
identificar se a instituio atende ou no aos critrios determinados,
se os objetivos previamente demarcados foram ou no cumpridos.
Por esta lgica, quando uma instituio atende aos critrios, significa
que a qualidade do seu trabalho est assegurada. O papel do avaliador sempre de identificao, verificao dos indicadores e ele
deve estar muito bem treinado para fazer o seu trabalho de forma
objetiva, com o mximo de imparcialidade e iseno.
o sistema nacional de avaliao

da educao superior (sinaes)
Em abril de 2003, atravs das Portarias MEC/SESu n 11, de 28 de abril
de 2003, e n 19, de 27 de maio de 2003, o ento Ministro da Educao
Cristovam Buarque constituiu a Comisso Especial de Avaliao da
Educao Superior (CEA),
[...] com a finalidade de analisar, oferecer subsdios, fazer
recomendaes, propor critrios e estratgias para reformulao dos processos e polticas de avaliao da Educao
Superior e elaborar a reviso crtica dos seus instrumentos,
metodologias e critrios utilizados [...]. (INEP, 2004b, p. 9)
Um ano depois, o Sistema Nacional de Avaliao da Educao

Superior (SINAES) foi institudo atravs da Lei n 10.861, de 14 de
abril de 2004 e regulamentado pela Portaria n 2.051, de 9 de julho
31/03/2010 16:00:00
1 Estima-se que
o mercado privado
educacional brasileiro
movimenta quantias
da ordem de 10 bilhes
de reais por ano. Uma
parcela significativa
deste montante
investida em publicidade.
(SCHWARTZMAN;
SCHWARTZMAN,
2002, p. 1)
2 Cerca de 70% do
Sistema Federal de Ensino
Superior composto por
IES privadas, de pequeno
porte, com at 600 alunos.
de 2004. O SINAES conjuga os dois modelos de avaliao: a avaliao

de carter educativo, com o intuito de radiografar o funcionamento
da IES, apontando os seus pontos fortes e fracos, permitindo, assim,
o aprimoramento contnuo do seu trabalho; e a avaliao regulatria,
ou somativa, com o intuito de verificar as condies de funcionamento da IES, exigindo um padro mnimo de qualidade para a
sua permanncia no Sistema. A coexistncia destas duas funes
parece indicar uma tentativa de solucionar problemas observados
nos processos de avaliao anteriores ao SINAES, quando a nfase
num modelo ou no outro produziu ganhos, porm trouxe tambm
grandes dificuldades. Contudo, a juno destas duas funes, que no
so excludentes entre si, parece no ser fcil. Primeiro por conta da
dificuldade de treinamento dos avaliadores, conforme foi apontado
anteriormente. Segundo, por causa das caractersticas do nosso
Sistema Federal de Ensino Superior: composto por IES de grande
porte, quase todas pblicas, cujo mantenedor o governo federal;
um pequeno percentual representa as instituies confessionais
e comunitrias, sem fins lucrativos; e uma grande quantidade de
IES de pequeno e mdio portes, normalmente faculdades privadas,
com fins lucrativos. Neste caso, como a regulao exercida pelo
prprio Estado, que tambm o mantenedor das grandes instituies
educacionais, as consequncias de uma eventual avaliao negativa
no produziro efeitos sobre o funcionamento destas IES. E mesmo
que os efeitos da avaliao afetem a sua reputao, no colocaro em
risco a continuidade do seu funcionamento. Do mesmo modo, as IES
de grande porte privadas, cujos mantenedores so grandes grupos
econmicos, mesmo com a imagem abalada por uma eventual avaliao negativa, tero fluxo de caixa suficiente para reverter a sua
imagem atravs da publicidade1. Os efeitos de uma avaliao negativa
sobre as IES de mdio e pequeno portes, privadas, mantidas por
famlias ou pequenos grupos empresariais, podem ser devastadores
e colocar em risco a prpria sobrevivncia institucional. Portanto, os
efeitos regulatrios so muito mais intensos para as IES privadas de
pequeno porte. Como estas IES constituem a maior parte do Sistema
Federal de Ensino Superior2, a funo regulatria da avaliao termina sobressaindo-se, em detrimento da funo educativa.
31/03/2010 16:00:00
O Sistema Nacional de Avaliao da Educao Superior, portanto,

se constituiu como uma poltica pblica direcionada para as IES de
pequeno porte espalhadas por todas as regies do Brasil. Na medida
em que o efeito da avaliao se produz mais intensamente sobre estas
IES, como foi mencionado, a simples implementao do SINAES nestas
instituies, seguindo as orientaes e as diretrizes estabelecidas pelo
poder pblico, seria capaz, por si s, de promover um modelo de
gesto compatvel com as suas dimenses e as suas possibilidades.
o conceito de poltica e a teoria poltica

O termo poltica tem sido utilizado de diversas maneiras e com
diferentes significados ao longo do tempo. Porm, o termo empregado mais frequentemente para designar o debate ou o confronto
entre dois ou mais grupos em torno de uma ideia. Duverger (1962)
observa que o significado do termo oscila entre duas grandes interpretaes: a primeira dessas interpretaes entende a poltica como
uma luta entre grupos ou entre indivduos. Neste caso, a vitria
de uma das partes lhe confere o poder, permite a sua dominao
sobre a sociedade e lhe possibilita tirar proveito desta situao. Os
demais indivduos da sociedade fazem oposio a esta dominao,
empreendendo esforos para det-la ou at mesmo destituir o grupo
dominante desta posio. A segunda dessas interpretaes entende
a poltica como uma negociao, com vistas a manter a ordem e a
justia numa sociedade. Neste caso, a poltica possibilita harmonizar
posies antagnicas, permitindo, assim, a participao dos indivduos, integrando-os em torno de ideais de justia e equilbrio.
Parsons (1970) traduz esse conceito de modo mais geral, definindo
poltica como a ao que move os indivduos na busca coletiva de
fins coletivos. Robert Dahl (1970), por sua vez, apoiado nas posies
de Lasswell e Weber, bem como nas ideias de Aristteles, define
poltica de forma mais ampla, como um padro de relaes humanas, baseadas em poder, governo e autoridade. Dagnino (2002), ao
discutir as definies de Easton (1953), Heclo (1972), Jenkins (1978),
Wildavsky (1979) e Ham e Hill (1993), destaca que as caractersticas
31/03/2010 16:00:00
do conceito de poltica podem ser resumidas por trs elementos:

decises e aes que transformam ou agregam valores a algo, uma
instncia em que as ideias so articuladas e confrontadas com o contexto e os mecanismos que sustentam o curso do desenvolvimento
das decises e aes no tempo.
fcil observar que as definies de poltica envolvem sempre a
discusso ou negociao em torno de um curso de aes, antecedidas
por um conjunto de decises, direcionadas a metas preestabelecidas.
Bobbio, Matteucci e Pasquino (2002), perseguindo a etimologia do
termo, mostra que a palavra poltica foi originada do adjetivo polis,
que significa tudo o que se refere cidade, portanto, ao que urbano,
civil e pblico. Ainda segundo Bobbio, Matteucci e Pasquino o termo
durante muito tempo foi utilizado para obras dedicadas ao estudo
das coisas relacionadas ao Estado:
Na poca moderna o termo perdeu o seu significado original, substitudo, pouco a pouco, por outras expresses como
Cincia do Estado, Doutrina do Estado, Cincia Poltica,
passando a ser comumente usado para indicar a atividade ou
conjunto de atividades que, de alguma maneira, tem como
referncia a polis, ou seja, o Estado. (BOBBIO, 2002, p. 954)
As definies de Cincia Poltica vo oscilar entre dois pontos de

vistas: aqueles que a definem como a Cincia do Estado e aqueles
que a definem como a Cincia do Poder. Na prtica, isto significa preocupar-se com as questes do funcionamento do Estado, na
primeira acepo, e preocupar-se com as funes de governo, na
segunda acepo.
Uma teoria poltica, como define Easton (1970), um conjunto de
ideias sistematizadas, que formam um sistema simblico que, por sua
vez, permite a compreenso das estruturas polticas e a explicao
dos fenmenos neste campo. A complexidade dos fatos em poltica,
ou do que se poderia chamar de fenmenos polticos, muito grande,
o que normalmente exige vrias formas de leitura, vrios pontos de
vistas ou enfoques, que se traduzem nas teorias. As teorias, portanto,
permitem a anlise do objeto por diferentes ngulos.
31/03/2010 16:00:00
a anlise de polticas pblicas

Os termos Policy, politics e polity, normalmente apresentados em ingls
pela dificuldade de correspondncia exata dos seus significados em
portugus, definem trs importantes conceitos para anlise de polticas, cada um deles enfatizando um aspecto ou dimenso da poltica.
O termo policy est relacionado aos contedos da poltica; o termo politics, aos processos polticos e o termo polity, s instituies polticas.
Dagnino (2002), articulando as ideias de Lasswell (1951), Dye (1976),
Wildavsky (1979), Ham e Hill (1993) e Bardach (1998), define a anlise
de polticas pblicas como um conjunto de atividades relacionadas
s aes governamentais. Do mesmo modo, Young (1970) assinala
que, embora a anlise de polticas seja tradicionalmente relacionada
s estruturas polticas que determinam o modo de organizao e
funcionamento das instituies, a nfase maior neste campo recai
sobre o Estado, especialmente nas estruturas do governo.
As polticas variam segundo as suas finalidades e objetivos.
Embora Coimbra (1989) proponha uma classificao baseada em
perspectivas tericas, tais como a teoria da cidadania, o marxismo,
o funcionalismo, a teoria da convergncia, o pluralismo e as teorias
econmicas, mais comum encontrar-se na literatura, classificaes
baseadas na finalidade ou objetivo e, por consequncia, nos resultados produzidos pela poltica. Consoante com esta perspectiva,
Santos (1989) classifica as polticas em preventivas, compensatrias
e redistributivas, que podem ser entendidas como uma variao da
classificao de Lowi (apud SOUZA, 2006), que prope quatro tipos
de polticas:
a) as polticas distributivas so iniciativas do governo, cujos
resultados geram maior impacto sobre indivduos ou determinados grupos sociais, em prejuzo da sociedade como um todo.
Na maioria das vezes, beneficiam uma parcela significativa da
populao e, por isso, os ganhos tornam-se mais perceptveis
do que as perdas. Este tipo de poltica gera pouco conflito;
b) as polticas regulatrias so aquelas que normatizam as
atividades ou aes de determinados grupos ou indivduos
na sociedade. Estabelecem limites, impem condies para o
31/03/2010 16:00:00
funcionamento, de modo que so as polticas mais facilmente

percebidas pela populao. O grau de conflitos depende da
relao estabelecida entre os custos e os benefcios gerados
pela poltica;
c) as polticas redistributivas so polticas que impem, no
curto prazo, perdas e sacrifcios de certos grupos sociais, e
apontam ganhos futuros, embora incertos, para outros grupos.
Implica num deslocamento de recursos ou vantagens entre
grupos sociais, por isso o nvel de conflito alto;
d) as polticas constitutivas tambm chamadas de polticas
estruturadoras, so aquelas que organizam os procedimentos,
que determinam as regras e condies gerais de funcionamento do processo poltico.
Cada um desses tipos de polticas vai requerer dos seus administradores, ou fazedores de polticas, modos especficos de conduo
para obterem os resultados planejados. Portanto, a principal funo
dos modelos de anlise poltica proporcionar os conhecimentos
necessrios para permitir a escolha das estratgias corretas para a
aplicao bem-sucedida de uma poltica pblica.
os modelos de analise de polticas pblicas

Alguns modelos foram propostos para a compreenso das polticas
pblicas e possibilitar a sua anlise. As classificaes so teis, pois
agrupam esses modelos em funo de alguma caracterstica ou elemento da poltica que destacado. A compreenso desses modelos
se faz necessria, na medida em que permite compreender como
essas caractersticas ou elementos destacados so relacionados para
explicar um fenmeno poltico.
Nesse sentido, importante identificar um modelo de anlise
poltica que permita estudar o SINAES, levando em considerao as
suas caractersticas e as estratgias utilizadas para a sua implementao. A avaliao da educao superior brasileira foi concebida como
um sistema o SINAES e implementada por partes. Primeiro, a
31/03/2010 16:00:00
elaborao do projeto pelas IES, depois as recomendaes para a elaborao do PDI e PPI, a autoavaliao pelas IES, seguida pela avaliao externa pelo Inep, a integrao dos dados do Cadastro Nacional
de Docentes, do Censo e do Exame Nacional de Desempenho do
Estudante (ENADE). Cada uma dessas etapas tem orientaes, diretrizes e prazos estabelecidos. Concomitantemente, outras aes
foram necessrias para colocar o SINAES em pleno funcionamento:
constituio das comisses (Conaes, CTAA, CPA, Comisses Externas
de Avaliao), constituio do banco de avaliadores (BASis). Para que
o sistema funcione, necessrio que cada uma das etapas e aes
componentes acontea conforme foi planejada, de modo que os
resultados parciais obtidos em cada uma delas possam ser integrados
e traduzidos, constituindo uma viso ampla e sistmica do conjunto
de IES avaliadas.
O acompanhamento das etapas e aes componentes do SINAES
ser fundamental para que se possa verificar o nvel de desempenho
de cada uma delas, permitindo, assim, os ajustes e correes, quando
necessrias.
Souza (2006) faz um esforo para reunir, numa apresentao
sucinta, os modelos que considera mais importantes de anlise
poltica. A autora comenta as principais caractersticas do incrementalismo, do ciclo de poltica pblica, do modelo garbage can,
da coalizo de defesa, do modelo de arenas sociais, do equilbrio
interrompido e os modelos influenciados pelo novo gerenciamento
pblico, buscando identificar os seus principais pontos de convergncia e divergncia.
O modelo de anlise Ciclo de Polticas Pblicas ou Policy Cycle,
como tambm referido na literatura, bem adequado para estudar
o processo de avaliao institucional/SINAES, pois permite estudar
detalhadamente as diversas fases envolvidas num processo poltico,
e compreender como, em cada uma dessas fases, as relaes de poder,
os processos decisrios e as relaes entre os atores determinam as
prticas poltico-adiministrativas.
O modelo de anlise proposto por Kingdon (1995 apud CARDOSO,
2004), chamado de ciclo da poltica pblica, ou Policy Cycle, considera
o processo poltico como algo dinmico, organizado no tempo e
31/03/2010 16:00:00
composto por etapas bem demarcadas e que permite, inclusive, possibilidades de aprendizagem com o prprio dinamismo do processo.
Embora existam vrias propostas de diviso do ciclo poltico, de um
modo geral, so identificadas como a primeira etapa, a definio da
agenda, ou seja, quando um problema identificado e tomado como
objetivo para busca de solues; a segunda etapa a identificao
das alternativas possveis para a soluo do problema; a etapa seguinte a avaliao das opes disponveis; depois, a implementao
constitui-se na etapa seguinte, concluindo com a avaliao, que
a ltima etapa.
A nfase no ponto de partida do ciclo destacada por Kingdon
(1995 apud CARDOSO, 2004), que considera importantes as nuances
que envolvem os estgios de pr-deciso. De fato, a preocupao
com as fases iniciais do SINAES pode ser identificada nos primeiros
pronunciamentos do governo federal acerca da necessidade da criao de uma poltica de avaliao para a educao superior,
Tratava-se, pois, urgente a criao de um Sistema Nacional
de Avaliao da Educao Superior (SINAES) a fim de suprir
esta lacuna das polticas educacionais diagnosticada desde
o primeiro Programa de Governo do Presidente Luiz Incio
Lula da Silva, cuja orientao era clara: Uma poltica de ensino superior precisa apoiar-se em pressupostos acadmicos e
polticos que indiquem claramente sua fundamentao doutrinria. [...] O enfoque adotado conduz problemtica das
complexas relaes entre saber e poder, propondo uma nova
poltica capaz de refundar a misso pblica do sistema universitrio brasileiro, respeitando sua diversidade, mas tornando-o
compatvel com as exigncias de qualidade, relevncia social
e autonomia universitria. (TRINDADE, 2007, p. 12)
Feita essa constatao, o passo seguinte foi a criao de uma

comisso capaz de elaborar uma proposta para a criao de um
sistema nacional de avaliao. A proposta original foi apresentada ao
Ministro da Educao em 2003 e o percurso dessa proposta, at a sua
aprovao (Lei n 10.861), est descrita no livro: SINAES: da concepo
regulao, publicado pelo INEP em 2004. Muitos estudos foram rea-
31/03/2010 16:00:00
lizados sobre o SINAES, sobretudo estudos comparativos, buscando

estabelecer semelhanas e diferenas com processos avaliativos
anteriores. (BERTOLINI, 2004; BARREYRO; ROTHEN, 2006) Outros
estudos procuram, ainda, analisar a implantao do SINAES do ponto
de vista sistmico e do ponto de vista da CPA (ALMEIDA JNIOR,
2005b; ANDRIOLA, 2005; AUGUSTO; BALZAN, 2007), identificando
os entraves e as dificuldades enfrentadas nos momentos iniciais da
execuo da avaliao institucional. Entretanto, pouca ateno foi
dispensada implementao do SINAES no mbito das IES.
A desateno com a etapa de implementao do ciclo de polticas
pblicas destacada na literatura. Segundo Faria (2003), de todas as
fases do ciclo de polticas, a implementao a fase menos estudada.
muito alta a complexidade do processo de implementao de uma
poltica do porte do SINAES, com a sua abrangncia e, sobretudo,
com a sua capacidade de gerar consequncias sobre o funcionamento
das IES, especialmente as de pequeno porte. A forma como a poltica,
que tem efeito regulatrio, absorvida pela IES e o modo como as
diretrizes e orientaes so postas em prtica, determinam o nvel
de qualidade dos resultados e mesmo a eficcia dos efeitos planejados. Da a importncia de acompanhamento minucioso desta etapa,
visando superar as barreiras e resistncias que operam naturalmente,
em tais situaes, bem como identificando aspectos e situaes que
eventualmente necessitem de ajustes e correes por parte dos
formuladores da poltica.
Silva e Melo (2000) acreditam que as dificuldades enfrentadas
durante a implementao das polticas pblicas so as principais
responsveis pelos fracassos de programas governamentais. Por
isso, defendem o ponto de visita de que os processos de avaliao de
polticas pblicas devem atentar, especialmente, para os processos
de implementao.
Na viso clssica, a implementao uma fase do ciclo de polticas
pblicas, posterior fase de formulao, em que se executa o que foi
formulado e planejado, desconsiderando os efeitos retroalimentadores que a implementao produz sobre a formulao. Neste caso, a
implementao entendida, fundamentalmente, como um jogo de
uma s rodada onde a ao governamental, expressa em programas
31/03/2010 16:00:00
ou projetos de interveno, implementada de cima para baixo (top

down). (SILVA; MELO, 2000, p. 5)
O enfoque top down entende a implementao como um processo
preestabelecido, com regras e procedimentos bem definidos, em
que os formuladores tm total controle do processo. Neste caso, o
insucesso na implementao significa que, em algum ponto do processo, os procedimentos foram mal executados ou mal-entendidos.
Esta viso simples, porque reflete no plano ideal como a implementao deveria ocorrer, criticada exatamente porque coloca
margem do processo toda a dinmica que se estabelece na relao
entre os indivduos e entre os grupos, a sutileza dos conflitos de
interesses e a capacidade de influncia que cada ator ou grupo exerce
sobre o processo de implementao.
O clssico trabalho de Pressman e Wildavsky (1984) alerta para os
contratempos experimentados durante a fase de implementao e,
sobretudo, chama a ateno para a necessidade de estudos especficos sobre esta fase. Se a implementao de uma poltica depende das
aes de muitos atores, em muitas instncias, o nvel de aceitao e
colaborao de cada um deles deve ser total, para que a implementao ocorra conforme foi planejada. Caso haja, em qualquer das
instncias, uma colaborao menor do que a necessria haver o
que Wildavsky chama de dficit de implementao. A cumulao de
dficits de implementao colocar os objetivos da poltica em risco,
ou, na melhor das hipteses, diminuir os efeitos dos resultados
previstos quando da formulao da poltica. A implementao, neste
caso, a fase marcada pela imprevisibilidade e, portanto, pela perda
de controle por parte do formulador da poltica, pois no possvel
prever todas as situaes envolvidas no processo de implementao
de uma poltica, conforme Cunha (2001).
O enfoque bottom up, ao contrrio do top down, entende a implementao como um processo caracterizado por um estado de tenso
entre aqueles interessados em colocar a poltica em ao e aqueles
que sero afetados por ela. A implementao, do mesmo modo que
a formulao, um processo caracterizado por intensa negociao
entre as partes interessadas e, por isso mesmo, o controle no est
totalmente nas mos do formulador, nem totalmente nas mos do
31/03/2010 16:00:00
implementador. Neste caso, o insucesso na implementao da poltica

significa incapacidade de negociao durante o processo. grande o
nmero de variveis que influenciam no processo de elaborao das
polticas pblicas. Uma boa parte dessas variveis ocorre, exatamente,
no momento em que elas so postas em prtica, ou seja, durante a
sua implementao, pois o momento, como j foi demonstrado,
em que os formuladores perdem o controle do processo.
Silva e Melo (2000) identificam trs dimenses que devem ser
observadas nos estudos de implementao de polticas: a primeira
dimenso diz respeito discrepncia entre o que foi planejado, ou
seja, a formulao da poltica, e o formato final adquirido pela poltica aps o processo de implementao; a segunda corresponde s
alteraes institucionais decorrentes do processo de implementao,
ao longo do tempo. E a terceira dimenso enfatiza as condies que
possibilitam ou dificultam o processo de implementao.
A vantagem de se tomar a implementao como uma forma de
redefinir os rumos da poltica, corrigindo problemas e distores,
bvia, tanto pela economia na reduo de custos como pela reduo
do tempo. Todavia, a anlise da etapa de implementao no tarefa
fcil, seja por conta do nmero de atores envolvidos; seja pela quantidade de tarefas a serem executadas, num curto espao de tempo.
Teoricamente, no que diz respeito educao superior, as vantagens de corrigir os rumos das polticas de avaliao e negociar
a sua redefinio durante o processo de implementao seriam
enormes, no s pelo nmero de instncias envolvidas, como,
e at mesmo, pelas caractersticas deste tipo de atividade, em que
a ampla participao dos envolvidos sempre desejvel. Na prtica,
porm, esta convico enfraquecida diante dos enormes desafios
de avaliar um sistema de educao superior com as caractersticas
do brasileiro, contemplar as especificidades das diferentes IES e as
especificidades das regies onde esto inseridas. Ademais, avaliar
no uma tarefa fcil, envolve dimenses tcnica, tica e poltica,
e exige habilidades e competncias, tanto do avaliador quanto do
avaliado, difceis de serem treinadas. Alm disso, necessrio definir
com clareza o modelo de avaliao a ser adotado, examinar as dificuldades que tal modelo apresentar, tanto para o avaliador como
31/03/2010 16:00:00
para o avaliado, e o tipo de resultado que poder ser produzido a

partir da sua aplicao.
o processo de implementao do sinaes
3 A Conaes, o Inep
e o MEC promoveram
vrios eventos: Oficinas
Regionais de Apoio
Auto-avaliao (por
regies geogrficas);
Workshop Regional sobre
Avaliao da Educao
Superior a avaliao
interna; Capacitao de
Coordenadores das CPAs
(por regies geogrficas).
Os eventos reuniam
coordenadores de CPA,
em funo do tamanho
das IES (IES com at 500
alunos, IES com at 2.500
alunos e IES com mais de
2.500 alunos).
Pode-se pensar a implementao do SINAES considerando dois pontos

de vista: primeiro, no mbito do sistema de ensino superior; segundo,
no mbito das instituies de ensino superior. Estes dois pontos de
vista se constituem em duas etapas de implementao, que acontecem em dois momentos consecutivos, sob a responsabilidade de
diferentes agentes, que utilizam estratgias e meios especficos para
consecuo dos seus objetivos, e, consequentemente, no oferecem
as mesmas possibilidades de acompanhamento e controle do processo de implementao, por parte dos formuladores do SINAES.
A implementao do SINAES no mbito do sistema de ensino
superior brasileiro foi bem-sucedida em alguns aspectos: a proposta apresentada pela Comisso Especial de Avaliao da Educao
Superior (CEA) foi aprovada em todas as instncias governamentais, com algumas alteraes e ajustes; apesar das alteraes,
os princpios e os fundamentos da concepo de avaliao defendida
pela CEA foram preservados; por fim, os processos de avaliao,
componentes do SINAES (Enade, ACG e Avalies), foram regulamentados separadamente e colocados em funcionamento gradualmente.
Apesar da insegurana que esta estratgia produz, porque em determinado momento os procedimentos novos e os procedimentos
antigos coexistem numa fase de transio e a postura dos rgos
governamentais parece dbia, a possibilidade de rejeio aos novos
procedimentos atenuada. Antes de cada componente do SINAES
entrar em operao, os rgos governamentais, responsveis pela
sua implementao, publicaram documentos para orientao e
promoveram oficinas3 para a capacitao dos pesquisadores institucionais, avaliadores e coordenadores de comisses de avaliao. No
obstante este esforo, dois aspectos em particular ficaram obscuros:
como acontece a articulao entre os processos de avaliao componentes do SINAES; e como as funes formativas e regulatrias
se estabelecem concomitantemente.
31/03/2010 16:00:01
A implementao do SINAES no mbito das IES, por outro lado,

tambm foi objeto de preocupao da Comisso Nacional de Avaliao
da Educao Superior (Conaes), do Instituto Nacional de Estudos e
Pesquisas Educacionais Ansio Teixeira (INEP) e do Ministrio da
Educao. O documento Diretrizes para a avaliao das instituies de
educao superior (INEP, 2004b), elaborado pela Conaes para subsidiar
o trabalho das Comisses Prprias de Avaliao e os demais atores
da comunidade acadmica envolvidos com a avaliao institucional,
apresentou, como um dos seus principais objetivos, estabelecer as
diretrizes para implementao da avaliao institucional. H uma
preocupao, expressa no documento, com a organizao do processo de avaliao, a ser empreendido pelas Comisses Prprias de
Avaliao (a autoavaliao), de modo a permitir a comparao dos
resultados entre as instituies componentes do Sistema Federal de
Ensino Superior. Outra preocupao expressa no documento com a
preparao da avaliao externa a ser empreendida pelas Comisses
Externas de Avaliao, definidas pelo Inep. A implementao da autoavaliao nas IES deve observar alguns aspectos, muito assinalados
nos textos sobre o SINAES. Um desses aspectos a necessidade de
envolver toda a comunidade acadmica, de modo a garantir ampla
participao. Alm disso, a CPA deve ter sempre como princpio
orientador do seu trabalho, a ideia de qualidade acadmica, definida
no documento da Conaes (INEP, 2004b) como a maior proximidade
possvel entre o que est posto no projeto da IES e a realidade do
cotidiano institucional. Ou seja, aproximar o mximo possvel o
que est dito nos documentos institucionais acerca do trabalho da
IES e aquilo que realmente acontece cotidianamente, quando a IES
est em funcionamento. A CPA dever construir uma proposta de
avaliao, capaz de produzir um olhar o mais abrangente possvel
sobre a instituio, de modo a permitir um planejamento institucional, com aes voltadas para a melhoria contnua da sua qualidade
acadmica. Para cumprir este objetivo, o documento sugere que o
processo avaliativo seja capaz de analisar os diferentes nveis da
instituio, quais sejam:
a) nvel declaratrio: analisa os textos que fundamentam o
31/03/2010 16:00:01
projeto institucional que, em geral, est enunciado sob a forma de princpios coerentes, embora possa haver contradies
entre os objetivos e o projeto;
b) nvel formativo: avalia a coerncia entre as normas institucionais e a gesto prtica das IES;
c) nvel da organizao: avalia se a instituio conta com
instncias que promovam a qualidade compatvel com as
modalidades de ensino, pesquisa e extenso e sua efetividade
acadmica e social;
d) nvel dos resultados: avalia a eficcia e efetividade acadmica e social dos processos desenvolvidos: formao de
profissionais, produo acadmica, artstica e cultural disseminada no mbito tcnico-cientfico e social, entre outros.
(INEP, 2004b, p. 17)
Uma vez observados esses aspectos, espera-se que a proposta de

avaliao elaborada esteja ajustada s especificidades da instituio,
garantindo assim, a avaliao do funcionamento real da instituio e
evitando a avaliao baseada em padres de qualidade e referenciais
externos, aplicados indistintamente a qualquer tipo de instituio.
A CPA considerada o elo de ligao entre a IES e o Poder Pblico,
e a sua proposta de autoavaliao estabelecer um nexo entra a IES e
o conjunto delas, o Sistema Federal de Ensino Superior. Exatamente
por isso, a implementao do SINAES no mbito das IES torna-se de
fundamental importncia, pois a forma como cada IES vai-se organizar para cumprir as diretrizes estabelecidas pela Conaes produzir
resultados muito diferentes, do ponto de vista dos objetivos e finalidades da avaliao da educao superior, conforme est posto na Lei
n 10.861. Ademais, a implementao no mbito das IES no permite
o acompanhamento e a superviso do processo. Os procedimentos
que ocorrem, entre o momento em que a IES inicia o processo de
implementao do SINAES na IES at o momento em que a IES apresenta o seu Projeto de avaliao ao Inep, ficam invisveis. Do mesmo
31/03/2010 16:00:01
modo, os procedimentos que ocorrem na IES durante o processo de

autoavaliao (avaliao interna), ficam tambm invisveis.
concluso
Vrios so os fatores que podem interferir no processo de implementao e produzir efeitos indesejveis, tais como: a desconfiana em
relao avaliao, adoo de objetivos estritamente relacionados
ao cumprimento das exigncias dos rgos governamentais, entendimento da avaliao como uma tarefa a ser executada com a simples
finalidade de apresentar os pontos fortes da IES. O processo de implementao do SINAES no mbito das IES, portanto, um dos pontos
crticos do Sistema Nacional de Avaliao da Educao Superior.
A implementao da avaliao no mbito das IES passaria por
trs etapas:
a) a etapa da preparao da avaliao (constituio da CPA, sensibilizao, elaborao do projeto de avaliao);
b) a etapa de desenvolvimento da avaliao (aes desenvolvidas
pela IES, levantamento de dados, anlise dos dados);
c) a etapa da consolidao da avaliao (relatrio, divulgao e
balano crtico meta-avaliao).
Considerando essas etapas, o ponto de partida da implementao
do SINAES no mbito das IES foi a criao da Comisso Prpria de
Avaliao. As CPA teriam que ser cadastradas no Inep at 60 dias aps
a publicao da Lei n 10.861, ou seja, 14 de julho de 2004. Almeida
Jnior (2005b) examinou os dados do cadastro das CPA junto ao
INEP, identificando 1.831 Comisses Prprias de Avaliao cadastradas at o fim de dezembro de 2004. Este nmero corresponde
a 84% das Instituies componentes do sistema de ensino superior
brasileiro. Das instituies que no haviam cadastrado a sua CPA
at aquele momento, 16% do total, algumas delas eram instituies
novas (recm-credenciadas), que no tinham como atender a este
requisito, bem como as IES pertencentes ao Sistema Estadual, que
no participavam do SINAES4. Como o nmero de IES vinculadas
4 A Lei n 10.861, de
14 de abril de 2004, e
a Portaria n 2.051, de
9 de julho de 2004,
institui e regulamenta,
respectivamente, o
SINAES nas IES
integrantes do Sistema
Federal de Ensino
Superior. Todavia, houve
empenho dos rgos da
Administrao Federal em
estender a ao do SINAES
para as IES vinculadas ao
sistema estadual, atravs
de acordo de cooperao.
31/03/2010 16:00:01
5 Dados de acordo com

o Censo da educao
superior 2003 e 2004.
(INEP, 2003, 2004)
6 Denominao
vigente poca. Hoje a
denominao Faculdades
inclui as Faculdades
Isoladas, as Faculdades
Integradas e os Institutos
de Educao Superior.
ao Sistema Estadual de Educao corresponde a 6,8% do total de IES

brasileiras, e o crescimento do nmero total de IES entre os anos de
2003 e 2004 foi da ordem de 18% (1.856 para 2.013 instituies5), podese concluir que, praticamente, todas as IES criaram e cadastraram
suas Comisses Prprias de Avaliao. Este dado confirmado por
Trindade (2007), que anuncia um ndice de adeso [...] superior a
90% entre as instituies pblicas e privadas vinculadas ao MEC e
de 6% entre as estaduais dependentes do CEE, que se cadastraram
voluntariamente [...]. (TRINDADE, 2007, p. 38)
Almeida Jnior (2005b) traa ainda um perfil dos coordenadores
de CPA e destaca algumas caractersticas importantes acerca da constituio dessas comisses: 90% dos coordenadores cadastrados so
de IES particulares e apenas 10% de IES pblicas; 82% pertencem a
Faculdades e Institutos de Educao Superior6 e apenas 7% corresponde
a universidades; dos 1.832 coordenadores de CPA, 62,3% so docentes,
porm existem coordenadores tcnico-administrativos, discentes e at
membros da sociedade civil; e 69% das CPA foram institudas atravs
de portaria expedidas pelo dirigente mximo da IES.
Outros dados importantes acerca do processo de implementao do SINAES nas IES podem ser verificados atravs dos eventos
realizados pelo MEC, Inep e Conaes, com o objetivo de orientar e
apoiar o trabalho dos coordenadores de CPA. Os primeiros eventos
Seminrios de Capacitao de Coordenadores das Comisses Prprias
de Avaliao, foram realizados em 2004 e reuniram coordenadores
de CPA em funo da regio geogrfica onde suas respectivas IES
estavam sediadas: Regies Norte, Nordeste e Centro-Oeste, realizado
na cidade de Braslia; Regio Sudeste (exceto o Estado de So Paulo),
realizado na Cidade de Belo Horizonte; Regio Sudeste (somente
Estado de So Paulo), realizado na Cidade de So Paulo e o ltimo,
para a Regio Sul, realizado na Cidade de Florianpolis. Participaram
desses seminrios cerca de 1.600 coordenadores de CPA. (TRINDADE,
2007) Os coordenadores participantes dos seminrios levantaram
uma srie de dvidas, dificuldades, e manifestaram receios sobre
alguns aspectos da avaliao. (ALMEIDA JNIOR, 2005b)
Exatamente por conta da insegurana dos coordenadores de CPA,
vrios eventos foram promovidos neste perodo por empresas de
31/03/2010 16:00:01
consultoria educacional, visando subsidiar o trabalho dessas comisses. No entanto, a partir de 2006, principalmente aps a divulgao
do instrumento que seria usado para a avaliao externa, o nmero
de eventos promovidos pelas empresas de consultoria educacional
praticamente chegou a zero. Havia uma clara percepo de que os
documentos e a prpria legislao eram suficientes para garantir
a fase inicial de implementao do SINAES no mbito das IES. Por
outro lado, havia a descrena sobre a capacidade de utilizao dos
resultados da avaliao, para que eles produzissem os efeitos esperados de elevao da qualidade das IES, e, em consequncia, do sistema
de ensino superior como um todo. Ou seja, a descrena de que o
processo de autoavaliao institucional pudesse ser institucionalizado, e pudesse ser mais do que o cumprimento de uma exigncia
dos rgos reguladores. Este ponto de vista manifestado por uma
grande parte dos coordenadores de CPA. De fato, este aspecto, apesar
de muito importante para o pleno funcionamento da poltica de
avaliao, no foi devidamente observado, embora seja uma das
etapas do processo de implementao, descrita nas Diretrizes para
avaliao das instituies de educao superior. (INEP, 2004b, p. 23)
A organizao do processo de auto-avaliao prev a ocorrncia de trs diferentes etapas: preparao, desenvolvimento e
consolidao da avaliao. Ao longo deste processo, que tem
ritmos institucionais distintos, a Conaes e o Inep tambm
promovero uma interao peridica com as instituies
que, alm de possibilitar comunicao e dilogo, permitam
eventuais correes de rumos.
O reconhecimento da importncia da institucionalizao, ou

consolidao da avaliao, e a inteno de supervision-la foram
anunciados. Todavia, no foi previsto nenhum dispositivo de acompanhamento da institucionalizao da avaliao institucional nas
IES. O nico elemento que talvez pudesse lanar alguma luz sobre
este aspecto seria o balano crtico da avaliao (meta-avaliao),
fase prevista na ltima das trs etapas da autoavaliao mencionadas
anteriormente, e assim descrita no mesmo documento:
31/03/2010 16:00:01
O processo de auto-avaliao proporciona o autoconhecimento,

que em si j representa grande valor para a IES e se caracteriza
como um balizador da avaliao externa, prevista no SINAES.
Como finalizao de cada fase da avaliao, a reflexo sobre
processo necessria, visando a sua continuidade. Assim,
uma anlise das estratgias utilizadas, das dificuldades e dos
avanos que se apresentaram durante o processo, permitir
planejar aes futuras. (INEP, 2004b, p. 27)
Contudo, os rgos governamentais mostraram-se incapazes de

acompanhar o processo de implementao da avaliao nas IES.
O tamanho e a complexidade do sistema de educao superior brasileiro parece ter sido mal dimensionado na proposta original, bem
como na legislao que regulamentou o SINAES. As IES enviaram
os seus projetos de avaliao institucional ao INEP, que os avaliou
e devolveu s instituies um parecer conclusivo sobre o projeto
e indicando eventuais correes a serem feitas. Posteriormente, as
IES enviaram os relatrios da primeira avaliao interna realizada.
A partir da, as avaliaes internas subsequentes at o fechamento do
ciclo avaliativo, os prazos e orientaes dos rgos governamentais
ficaram confusos. A definio do ciclo avaliativo, os prazos para requerimento da avaliao externa, prorrogao destes prazos, foram
tratados por vrias Portarias do MEC e do INEP. Entre 2006 e 2008,
o MEC implantou um novo sistema eletrnico de gerenciamento de
processos E-mec, e instituiu o ndice Geral de Cursos (IGC), que consolida as informaes sobre os cursos superiores obtidas atravs dos
cadastros, censos e avaliaes realizadas pelo INEP e Capes. possvel
que a introduo destas novas ferramentas e procedimentos (o IGC,
o sistema E-mec, o conceito preliminar, etc), que alteraram os procedimentos relativos avaliao e superviso da educao superior,
facilitem em muito a tarefa de acompanhamento e superviso por
parte dos rgos governamentais. Alm disso, a dispensa da avaliao
in loco, nos casos em que os cursos avaliados obtiverem conceitos
satisfatrios, racionaliza o processo de superviso e minimiza as
dificuldades inerentes ao tamanho do sistema federal de educao
superior, por causa da reduo do nmero de visitas in loco.
31/03/2010 16:00:01
Ser necessrio um tempo para avaliar o efeito desta nova sistemtica sobre o comportamento das IES. Atualmente, at onde
foi possvel observar, a implementao da avaliao no mbito das
IES obedea lgica da prudncia, fazendo com que as IES adotem
uma postura defensiva, ritualizando a avaliao e tentando garantir uma avaliao positiva do seu trabalho, por parte dos rgos
reguladores. Todavia, mesmo ritualizando o processo de avaliao,
as orientaes, diretrizes e a prpria legislao obrigaram as IES
(especialmente aquelas de pequeno porte), a refletirem sobre os
trabalhos que realizam, a valorizarem o planejamento e incentivaram as IES a adotarem um modelo de gesto fundamentado nos
resultados. Neste caso, a avaliao institucional vale mais pelo efeito
que causa nas IES e menos pelos resultados que produz, exatamente
como fazem as polticas.
referncias
AFONSO, A. J. Avaliao educacional: regulao e emancipao: para uma
sociologia das polticas avaliativas contemporneas. So Paulo: Cortez, 2000.
ALMEIDA JNIOR, V.P. Consideraes sobre a implementao da poltica de
avaliao da Educao Superior no Brasil (1995-1996). Avaliao: Revista da
Rede de Avaliao da Educao Superior, Campinas, SP, v. 2, n. 10, p. 33-46, jun.
2005a.
______. O processo de implementao das Comisses Prprias de Avaliao
(CPA): aes desenvolvidas e perfil dos coordenadores. In: RISTOFF, D.I.;
ALMEIDA JNIOR, V.P. (Org.). Avaliao participativa: perspectivas e desafios.
Braslia, DF: INEP, 2005b. p. 39-56.
ANDRIOLA, W. B. Desafios e necessidades que se apresentam s Comisses
Prprias de Avaliao (CPAs) das instituies de educao superior (IES),
visando implementao do Sistema Nacional de Avaliao da Educao
Superior (SINAES). In: RISTOFF, D.I.; ALMEIDA JNIOR, V. (Org.). Avaliao
participativa: perspectives e debates. Braslia, DF: INEP, 2005. p. 57-70.
AUGUSTO, R.; BALZAN, N.C. A vez e a voz dos coordenadores das CPAs
das IES de Campinas que integram o SINAES. Avaliao: Revista da Rede de
Avaliao da Educao Superior, Campinas, SP, v. 4, n. 12, p. 597-622, dez. 2007.
BARREYRO, G.B.; ROTHEN, J.C. SINAES contraditrios: consideraes sobre
a elaborao e implantao do Sistema Nacional de Avaliao da Educao
Superior. Educao & Sociedade, Campinas, SP, v. 27, n. 96, p. 955-977, 2006.
Disponvel em: <http://www.scielo.br>. Acesso em: 26 dez. 2007.
31/03/2010 16:00:01
BELLONI, I. A funo social da avaliao institucional. Avaliao: Revista da

Rede de Avaliao Institucional da Educao Superior, Campinas, SP, v. 4, n. 3, p.
37-50, 1998.
BERTOLINI, J.C.G. A transformao do SINAES: da proposta emancipatria
lei hbrida. Avaliao: Revista da Rede de Avaliao Institucional da Educao
Superior, Campinas, SP, v. 4, n. 9, p. 67-76, set. 2004.
BOBBIO, N. Dicionrio de poltica. Braslia, DF: Editora Universidade de
Braslia; So Paulo: Imprensa Oficial do Estado, 2002.
BONNIOL, J.J.; VIAL. M. Modelos de avaliao. Porto Alegre: ArtMed, 2001.
BRASIL. Lei n 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de
Avaliao da Educao Superior SINAES. Braslia, DF, 2004.
CARDOSO, I. de M. P. Ascenso e queda de uma questo na agenda governamental:
o caso das organizaes sociais da sade na Bahia. 2004. Tese (Doutorado
em Administrao) Escola de Administrao, Universidade Federal da
Bahia.
COIMBRA, M.A. Abordagens tericas as estudo das polticas pblicas. In:
ABRANCHES, S. (Org.). Poltica social e combate pobreza. Rio de Janeiro: Jorge
Zahar, 1989.
COUSINS, J.B.; EARL, L. Participatory evaluation in education. London;
Washington, D.C. : Falmer Press, c1995.
CUNHA, E. M. da. Regra e realidade na constituio do SUS municipal:
implementao da NOB 96 em Duque de Caxias. So Paulo: Escola Nacional
de Sade Pblica/Fundao Oswaldo Cruz, 2001.
DAGNINO, R. Gesto estratgica da inovao: metodologias para anlise e
interpretao. Taubat, SP: Cabral Universitria, 2002.
DAHL, R. A. A moderna anlise poltica. Rio de Janeiro: Lidador, 1970.
DIAS SOBRINHO, J. Avaliao: polticas educacionais e reformas da educao
superior. So Paulo: Cortez, 2003.
______. Avaliao institucional: marcos tericos e polticos. Avaliao: Revista
da Rede de Avaliao da Educao Superior, Campinas, SP, v. 1, n. 1, p. 15-24, jul.
1996.
DUVERGER, M. Cincia poltica: teoria e mtodo. Rio de Janeiro: Zahar, 1962.
DYE, T. R. Understanding public policy. New Jersey: Prentice Hall, 1995.
EASTON, D. (Org.) Modalidades de anlise poltica. Rio de Janeiro: Zahar, 1970.
______. The political system. New York: Alfred A. Knopf, 1994.
FARIA, C.A.P. Idias, conhecimento e polticas pblicas: um inventrio
sucinto das principais vertentes analticas recentes. Revista Brasileira de
Cincias Sociais, So Paulo, v. 18, n. 51, p. 21-30, fev. 2003.
31/03/2010 16:00:01
HADJI, C. Avaliao desmistificada. Porto Alegre: ArtMed, 2001.

HAM, C.; HILL, M. O processo de elaborao de polticas no Estado capitalista
moderno. Campinas, SP: UNICAMP/DPCT, 1996.
HOUAISS, A. Dicionrio eletrnico Houaiss da lngua portuguesa. So Paulo:
Objetiva, 2001.
HOUSE, E. R. Evaluacin, tica y poder. Madrid: Morata, 2000.
______; HOWE, K. R. Valores en evaluacin e investigacin social. Madrid: Morata,
2001.
INEP. Censo de educao superior. Braslia, DF, 2003.
______. ______. Braslia, DF, 2004.
INEP. Comisso Nacional de Avaliao da Educao Superior (CONAES).
Diretrizes para a avaliao das instituies de educao superior. Braslia, DF, 2004b.
INEP. Sistema Nacional de Avaliao da Educao Superior (SINAES).
Avaliao externa das instituies de educao superior: diretrizes e instrumentos.
Braslia, DF, 2005.
______. Bases para uma nova proposta de avaliao da educao superior. Braslia,
DF, 2004c.
______. Instrumento de avaliao de cursos de graduao. Braslia, DF, 2006.
______. Manual do Exame Nacional de Desempenho dos Estudantes Enade 2004.
Braslia, DF, 2004d.
LASSWELL, H. A linguagem da poltica. Braslia, DF: Editora da Universidade
de Braslia, 1982.
______. Poltica: quem ganha o que, quando, como. Braslia, DF: Editora da
Universidade de Braslia, 1984.
LEITE, D. Reforma universitrio: avaliao institucional e participativa.
______; TUTIKIAN, J.; HOLZ, N. (Org.). Avaliao & compromisso: construo
e prtica da avaliao institucional em uma universidade pblica. Porto
Alegre: Ed. da Universidade, 2000.
PARSONS, T. Aspecto poltico da estrutura e do processo social. In: EASTON,
D. Modalidades de anlise poltica. Rio de Janeiro: Zahar, 1970.
PERRENOUD, P. Avaliao: da excelncia regulao das aprendizagens: entre
duas lgicas. Porto Alegre: Artes Mdicas, 1999.
PRESSMAN, J.L.; WILDAVSKY, A. Implementation: how great expectations
in Washington are dashed in Oakland: or, why its amazing that federal
programs work at all, this being a saga of the Economic Development
Administration as told by two sympathetic observers who seek to build
morals on a foundation of ruined hopes. 3rd ed. Berkeley : University of
California Press, c1984.
31/03/2010 16:00:01
SANTOS, W.G. A trgica condio da poltica social. In: ABRANCHES, S. et al.

(Org). Poltica social e combate pobreza. Rio de Janeiro: J. Zahar, 1989.
SAUL, A. M. Avaliao emancipatria: desafios teoria e prtica de avaliao
e reformulao do currculo. So Paulo: Cortez, 2001.
SCHWARTZMAN, J.; SCHWARTZMAN, S. O ensino superior privado como setor
econmico. [S.l.:s.n.], 2002. Trabalho realizado por solicitao do Banco
Nacional de Desenvolvimento Econmico e Social (BNDES). Disponvel em:
<http://www.schwartzman.org.br/simon/pdf/suppriv.pdf.> Acesso em: 29
ago. 2002.
SILVA, P.L.B.; MELO, M.A.B. O processo de implementao de polticas
pblicas no Brasil: caractersticas e determinantes da avaliao de
programas e projetos. Caderno n. 48, Campinas, SP, UNICAMP/NEEP, p. 2-16,
2000.
SOUZA, C. Polticas pblicas: uma reviso da literatura. Sociologias, Porto
Alegre, ano 8, n. 16, p. 20-45, jul./dez. 2006. Disponvel em: <www.scielo.br/
scielo>. Acesso em: 2 jan. 2008.
TRINDADE, H. Desafios, institucionalizao e imagem pblica da CONAES. Braslia,
DF: UNESCO/MEC, 2007.
TYLER, R. Princpios bsicos de currculo e ensino. Porto Alegre: Globo, 1976.
VERHINE, R. (Org.). Experincias de avaliao institucional em universidades
brasileiras. Salvador: UFBA/FACED/Programa de Ps-graduao em Educao,
2000.
YOUNG, O. R. Introduo anlise de sistemas polticos. Rio de Janeiro: Zahar,
1970.
31/03/2010 16:00:01
Poder, representao,
participao, conhecimento
e deciso: a CPA da UFBA
Jos Albertino Carvalho Lordlo (UFBA)
Mrcia Pontes (UFBA)
introduo
O ttulo deste captulo contm propositadamente cinco conceitos que
esto sempre presentes e entrelaados nas reflexes e na experincia
concreta de todos os envolvidos com a tomada de decises que implicam em consequncias para a vida dos indivduos e das instituies.
Ao longo do texto ser feita uma tentativa de anlise desses elementos e da conexo dos mesmos com o desenvolvimento das aes de
avaliao da Comisso Prpria de Avaliao (CPA) da UFBA.
O poder e a sua distribuio entre os indivduos ou entre os diversos segmentos das sociedades organizadas sempre se constituram
questes cruciais para a humanidade, e esto na origem dos grandes
conflitos e transformaes ao longo da histria.
Partindo-se do conceito de poder como a possibilidade de tomar
decises e fazer com que essas decises sejam implementadas, o Estado a sua
instncia mais representativa na medida em que se sobrepe a todas
as demais manifestaes de poder disseminadas na sociedade, sejam
elas coletivas ou individuais, estando historicamente associado ao
uso da fora e a impossibilidade de se evitar a sua ao coercitiva.
Nas sociedades antigas e do ocidente medieval as religies contriburam fortemente para conferir legitimidade ao exerccio do poder
poltico, associando divindades a governantes, obtendo assim uma
31/03/2010 16:00:01
obedincia consentida por parte dos que so submetidos ao Estado

e reduzindo, desse modo, a necessidade do uso da fora.
na Grcia Antiga, no sculo V a.C., que surge a ideia de democracia, ou seja, de uma forma de governo que representaria a
vontade geral dos cidados, transformando-se numa prtica poltica
inovadora e identificada com os ideais gregos de justia e virtude.
Em funo da dimenso da populao e da natureza altamente restritiva dos cidados com direito participao nas decises da plis,
foi possvel, nessa poca, a prtica da democracia direta.
Na Grcia surgem tambm as primeiras reflexes sobre a organizao do poder poltico e o questionamento de critrios de
escolha de quem poder exerc-lo. Plato (2007) em A repblica preconiza uma sociedade ideal governada por filsofos, ou seja, pelos
detentores do maior saber, subvertendo os critrios e mecanismos
tradicionais de ascenso ao poder, como a linhagem de sangue e
as conquistas militares.
[...] donde fui forado a dizer que a raa humana no ver
melhores dias at o dia em que aqueles que seguem honesta
e sinceramente a filosofia adquiram autoridade poltica ou
que aqueles que detm o mando poltico sejam levados, por
obra e graa da Providncia, a se tornar verdadeiros filsofos.
(PLATO, 2007, p. 170)
Com o advento das ideias liberais na Europa, a partir do sculo

XVII, a democracia representativa passa a ser defendida como a nica
modalidade de governo compatvel com o iderio poltico iluminista.
Pensadores como Locke, Rousseau, Voltaire, Montesquieu, Tocqueville, John Stuart Mill, Thoreau, Paine, e muitos outros, produziram
uma extensa literatura sobre o tema, que parece inesgotvel, pois
tem tido continuidade at os dias atuais. O filsofo e cientista poltico
Norberto Bobbio, no seu Dicionrio de poltica menciona dois aspectos
definidores da democracia representativa:
[...] o significado deste fenmeno se manifesta melhor se
observarmos como o regime poltico representativo se coloca
86 jos albertino carvalho lordlo & mrcia pontes
31/03/2010 16:00:02
em oposio, por um lado, com os regimes absolutistas e

autocrticos, desvinculados do controle poltico dos sditos
e, por outro, com a democracia direta, ou seja, com o regime
no qual, em teoria, deveria desaparecer a distino entre governantes e governados. O sentido da representao poltica
est, portanto, na possibilidade de controlar o poder poltico,
atribuda a quem no pode exercer pessoalmente o poder.
(BOBBIO, et. al., 1995, p. 345)
Antes mesmo que as democracias representativas se consolidassem

na Europa como forma de governo, pensadores socialistas e anarquistas do sculo XIX denunciavam a inviabilidade de uma organizao
poltica e social democrtica e igualitria num contexto econmico
capitalista, baseado na propriedade privada e na explorao dos
trabalhadores pelas classes detentoras dos meios de produo.
A trajetria da democracia, ao longo do sculo XX, seja no discurso poltico, seja nas vicissitudes da sua prtica, no tem sido nada linear. As experincias polticas do sculo passado, de implantao do
socialismo em diversas naes (as democracias populares) tambm
adotaram modelos representativos de governo. O mundo chegou
ao sculo XXI praticando de forma generalizada o modelo formal
de democracia representativa (parlamento, eleies, independncia
entre os poderes) embora nem sempre isso signifique a adoo
da democracia como um ideal poltico de garantias de liberdade,
respeito dos direitos individuais ou, sobretudo, participao efetiva
na riqueza socialmente produzida, no acesso educao, cultura
e s benesses da cincia e da tecnologia, sendo consensual a existncia de uma profunda crise dessa forma de organizao poltica
no mundo contemporneo.
Embora a ideia de representao tenha se disseminado em todos
os nveis decisrios das sociedades organizadas, os representantes
j no conseguem mais identificar e atender todas as demandas da
sociedade, primeiro porque a globalizao e a economia mundial
enfraqueceram o poder dos Estados, segundo porque a sociedade
tem cada vez mais se organizado em torno de infinitas questes, e
essas organizaes tm cobrado de maneira mais efetiva dos gover-
poder, representao, participao, conhecimento e deciso: a cpa da ufba 87
31/03/2010 16:00:02
nos e seus representantes. As exigncias vm se tornando cada vez

mais complexas, e parece clara a necessidade de garantir a uma
maior interatividade entre o governo e a sociedade, ou seja, entre
representantes e representados.
O conceito de democracia sofre hoje uma nova guinada em sua
dinmica trajetria. A democracia direta permanece invivel mas o
sistema representativo j no responde aos anseios da sociedade, e,
como resultado, comeou a se fortalecer nos ltimos anos o conceito
de democracia participativa que, sem desconsiderar os representantes,
busca uma maior aproximao da sociedade com a arena decisria.
De acordo com alguns tericos, a democracia participativa passa a
configurar-se como um continuum entre a forma direta e a representativa. O objetivo fazer com que, juntos, os cidados reivindiquem
espao e avancem em suas conquistas, cabendo ao Estado oferecer
ferramentas que catalizem essas demandas, afastando-se da clssica
relao vertical de poder.
Embora a construo da Unio Europeia seja qualificada por alguns crticos como uma empreitada tecnocrtica, desde os primeiros
movimentos no sentido da sua criao, os seus fundadores imprimiram um carter essencialmente democrtico sua concepo e
implementao.
O Tratado de Lisboa, que substituiu a Constituio Europeia a partir
de 2008, e foi assinado por 27 Estados-Membros, buscou prover a
Unio Europeia de instituies modernas e a otimizao de mtodos
de trabalho de modo a enfrentar os desafios do mundo atual com
eficincia e efetividade. Esse Tratado refora a ideia de democracia
participativa em defesa dos interesses dos seus cidados com base
nas aes do cotidiano. No seu texto foram introduzidos dispositivos
para garantir o exerccio da democracia participativa. Dentre eles:
a) Baseado no princpio da igualdade democrtica, todos os cidados devem receber igual ateno das instituies da Unio
Europeia.
b) Cidados e associaes representativas devem ter a oportunidade de divulgar e discutir publicamente os seus pontos
de vista.
c) O Estado manter dilogo aberto, transparente e regular com
a sociedade civil e associaes representativas.
31/03/2010 16:00:02
d) Sero feitas amplas consultas populao pelos partidos

polticos.
e) Propostas oriundas de iniciativas populares, com o mnimo
de um milho de assinaturas, sero submetidas apreciao
do legislativo.
Um dos aspectos mais polmicos dessa expectativa contempornea de uma maior participao dos cidados nas decises de interesse
coletivo, a dicotomia entre o crescente conhecimento produzido
pela cincia e tecnologia e o poder poltico de deciso conferido
aos representantes dos segmentos sociais interessados que, com
frequncia, seguem direes divergentes. A taxa bsica de juros
definida, a cada ms, pelo Comit de Poltica Econmica do Banco
Central do Brasil, o consumo de alimentos transgnicos, a utilizao de clulas embrionrias em pesquisa mdica, so exemplos,
dentre muitos outros, bastante atuais de decises que ultrapassam
o conhecimento tcnico-cientfico, envolvendo dimenses ticas,
polticas e pragmticas.
Quatro sculos depois do seu surgimento, a cincia moderna
tornou-se avassaladora em todas as dimenses da vida pblica ou
privada, individual ou coletiva. Vivemos cercados de mquinas, dispositivos, objetos, ferramentas, substncias, materiais, procedimentos, formas de organizao, enfim de inmeras coisas resultantes do
avano do conhecimento cientfico que contribuem para aumentar
a produtividade do trabalho, acumular riquezas, curar doenas,
prolongar a vida e a juventude, encurtar as distncias, facilitar e intensificar a comunicao, diversificar o lazer, proporcionar conforto
fsico e psquico, embelezar os corpos, realizar tarefas penosas ou
repetitivas, realizar processos de memria e raciocnio, potencializar
a percepo sensorial, criar realidades virtuais, degradar a natureza,
reduzir a privacidade, eliminar postos de trabalho, exterminar vidas
em massa, enfim, para o bem ou para o mal, no se pode escapar
da tecnocincia.
Qualquer tentativa de privilegiar uma dessas abordagens em detrimento da outra resultaria em impasse. A defesa do primado do poltico sobre o tcnico-cientfico implicaria em retrocesso, em opo pelo
31/03/2010 16:00:02
obscurantismo, enquanto o seu oposto nos remeteria hegemonia

do que os filsofos frankfurtianos denominaram razo instrumental
na sua fundamentada crtica sociedade contempornea.
Embora a expresso razo instrumental tenha sido cunhada
por Horkheimer e Adorno (1985) na Dialtica do esclarecimento, Jurgen
Habermas desenvolveu, posteriormente, uma anlise acurada das
relaes entre sociedade, cultura, cincia, tecnologia, tica e poltica
no contexto do capitalismo do sculo XX. Habermas explica a gnese
da sociedade moderna em termos de categorias bsicas derivadas de
estudos filosficos sobre a linguagem e a racionalidade. Essa anlise
revela que os processos de racionalizao, caractersticos da modernidade, tm privilegiado a racionalidade instrumental, ao selecionar os
meios mais eficazes para alcanar os fins, s expensas da racionalidade
comunicativa que levaria a uma compreenso compartilhada dos fins,
com base em razes que poderiam ser aceitas numa discusso livre.
O ponto central do discurso de Habermas sobre a modernidade
a introduo de imperativos cientficos e tecnolgicos no domnio
da poltica, fato que suscita questes tericas e prticas acerca das
relaes apropriadas entre cincia e poltica. No modelo decisionista
weberiano, h uma separao estrita ente o poltico e o especialista: o primeiro toma decises (irracionais) com base em valores,
enquanto o ltimo decide com base no conhecimento cientfico.
Os tecnocratas, por outro lado, percebem o campo poltico limitado
por exigncias de preservao da estabilidade do sistema, enquanto
os especialistas apresentariam alternativas de polticas necessrias
para implementao de objetivos, como o crescimento econmico,
que teriam origem em necessidades objetivas.
Para Habermas, necessidades devem ser interpretadas luz de
valores e significados culturais antes que possam guiar as aes, da
ele preferir o modelo pragmatista de Dewey, no qual meios e fins
so interdependentes. Por um lado, o horizonte de valores numa
sociedade deve guiar a pesquisa cientfica, e por outro lado, valores
s persistem na medida em que esto conectados a uma satisfao
potencial, atravs da ao instrumental.
Por consequncia, a tecnologia no pode ser axiologicamente
neutra. Realizaes cientficas relevantes na prtica devem ser sub-
31/03/2010 16:00:02
metidas a discusses pblicas de modo a tornar possvel uma dialtica da vontade iluminada e da autoconscincia potencial, ambas
permitindo modificar o autoentendimento por parte do pblico e
que esse autoentendimento determine a direo das futuras pesquisas. Essa fora no coercitiva do melhor argumento produzir
decises polticas racionais.
Segundo Habermas, essa domesticao do desenvolvimento tecnolgico ser impossvel se a tecnologia implicar em ideologia no
sentido marxista do conceito, ou seja, de falsa conscincia a servio da
dominao de classe. O progresso da cincia no capitalismo substituiu
a legitimao ideolgica antes promovida pela religio e pela tradio.
Onde, ento, buscar a normatizao que ir se contrapor s formas
de dominao social que legitimam as desigualdades com um apelo
s demandas cientficas e econmicas e manipulam o pblico atravs
dos meios de comunicao e de um lento, mas estvel, aumento do
conforto material viabilizado pelo desenvolvimento tecnolgico?
A concepo de Habermas de razo comunicativa fundamenta-se
em dois interesses cognitivos, mais pertinentes esfera da interao do que do trabalho. Como seres sociais, cujas identidades
dependem de reconhecimento mtuo na interao lingustica, as
pessoas tm um interesse prtico em resolver problemas de comunicao e compreenso no mbito das tradies culturais. O interesse
emancipatrio consistiria em se contrapor aos efeitos da comunicao sistematicamente distorcida, atravs da psicanlise no nvel
individual, e no nvel social, pela crtica da ideologia que revela os
interesses econmicos, sociais e polticos em que esto imersas as
tradies humanas.
O aspecto ideolgico da viso positivista de cincia e tecnologia
consiste em estabelecer um conflito entre o prtico e o tcnico
obscurecendo, assim, a possibilidade de racionalizao entre essas
duas dimenses. O problema no est no pensamento instrumental,
mas na sua universalizao.
Em suma, a contribuio fundamental de Habermas a uma tica
da cincia e da tecnologia a sua teoria da racionalidade intersubjetiva. Essa racionalidade no reduz a eficincia instrumental
e permite ser utilizada no estabelecimento de objetivos e limites
31/03/2010 16:00:02
no arbitrrios ao desenvolvimento tcnico, se implementada em

instituies verdadeiramente democrticas.
dois estudos empricos
Deciso /
Tipo de Contedo
Bozeman e Pandey (2003) realizaram um estudo emprico sobre os

contedos poltico e tcnico de decises em organizaes pblicas
norte-americanas e suas implicaes de ordem prtico-operacional,
buscando estabelecer correlaes entre o contedo da deciso (poltico ou tcnico) e 14 variveis agrupadas por natureza, tais como, critrio, tempo, participantes e qualidade de informao/burocracia.
Poltico
Tcnico
Qualidade de
Informao e
Burocracia
Critrio de Deciso
Tempo de Deciso
Participantes da Deciso
Custo-benefcio +
Viabilidade tcnica Equidade +
Utilidade -
1. Tempo necessrio
deciso 2. Permanncia 3. Estabilidade 4. Interrupes -
1. Total de participantes +
2. Participantes internos +
3. Participantes externos +
4. Participantes externos
como % do total de
empregados +
1. Qualidade de
informao 2. Burocracia -
1. Custo-benefcio +
2. Viabilidade
tcnica +
3. Equidade n/s
4. Utilidade +
1. Tempo necessrio
deciso +
2. Permanncia n/s
3. Estabilidade +
4. Interrupes +
1. Total de participantes 2. Participantes internos 3. Participantes

externos n/s
4. Participantes externos
como % do total de
empregados -
1. Qualidade de
informao +
2. Burocracia +
Quadro 1 - Correlaes encontradas

Legenda: (+) positivamente relacionada com o contedo da deciso
(-) negativamente relacionada com o contedo da deciso
(n/s) relao no-significante
Uma das mais importantes concluses do estudo que o contedo poltico ou tcnico faz efetivamente diferena, exceto no que
concerne s variveis de participao. As variveis mais afetadas
pelo tipo de contedo so as relativas ao tempo.
31/03/2010 16:00:02
Dorothy Nelkin (1975), cientista social norte-americana, que

coordenou um importante estudo intitulado O impacto poltico do
conhecimento tcnico, lista seis proposies relacionadas com essa
clssica e conflituosa relao entre a dimenso poltica e tcnica,
que merecem ser transcritas pela sua atualidade.
1. Os responsveis pelas polticas pblicas sempre buscam legitimar sua autonomia invocando o conhecimento tcnicocientfico.
2. O conhecimento tcnico-cientfico tanto pode ser um fator
de clarificar as questes relativas tomada de deciso, como
tambm podem contribuir para aumentar os conflitos.
3. O grau de aceitao do conhecimento especializado depende
menos da sua validade e da competncia pessoal dos envolvidos do que da possibilidade que ela tem de reforar posies
previamente defendidas.
4. Os opositores de uma deciso de base tcnico-cientfica no
precisam demonstrar essa discordncia utilizando o mesmo
grau de competncia sobre o assunto.
5. Conflitos entre especialistas reduzem o seu impacto poltico.
6. O peso do conhecimento especializado independe de se
tratar de uma rea cientfica dura ou humana e social do
conhecimento.
a avaliao na educao superior no brasil

O Programa de Avaliao Institucional das Universidades Brasileiras
(PAIUB) foi a primeira iniciativa oficial e sistematizada de avaliao da
educao superior no Pas. Surgiu da proposio de um grupo de pesquisadores (grande parte deles com reconhecida experincia de gesto
universitria) ao MEC, que o institucionalizou em 1993. A proposta
do PAIUB sustentava-se em alguns princpios fundamentais entre os
quais, o da adeso voluntria das universidades, e previa a autoavaliao como etapa inicial do processo, que em seguida se estenderia
a todas as dimenses da instituio, completando-se com a avaliao
31/03/2010 16:00:02
1 A entrevistada comps
a Comisso de elaborao
da proposta do SINAES.
externa. importante destacar a grande contribuio do PAIUB na

consolidao de uma cultura institucional de avaliao, pois mesmo
tendo vida curta promoveu mudanas institucionais, recebeu a adeso
das instituies de ensino superior, transformando-se em modelo de
avaliao institucional (interno s mesmas) at hoje adotado seus
princpios bsicos em muitas delas. O seu carter de adeso voluntria,
bem menos que a sua concepo tcnica ou poltica, podem explicar
a implementao limitada e o insucesso dessa iniciativa.
O Exame Nacional de Cursos (ENC), institudo em 1996, com
carter obrigatrio, representou uma concepo bastante diferenciada de avaliao, em relao ao PAIUB. A nfase do ENC recaa
sobre os resultados e no sobre o processo e reflete um contexto
poltico (governo FHC) fortemente marcado pela concepo poltica neoliberal cujo foco a busca da eficincia e da eficcia dos
resultados, estabelecendo um ranqueamento das IES. Esse modelo
de avaliao sofreu duras crticas de natureza poltica, nos meios
acadmicos e boicotes generalizados de estudantes nas instituies
pblicas, at ser substitudo, em 2004, pelo atual Sistema de Avaliao da Educao Superior (SINAES), que uma nova concepo de
avaliao da educao superior calcada em outra lgica, integrante
de um conjunto de polticas pblicas, voltadas para a expanso do
sistema, pela democratizao do acesso, de forma que a qualificao
do mesmo se integre a um processo mais amplo de revalorizao
da educao superior.
Segundo Maria Jos Jackson1 (2004),
[...] o SINAES contextualiza a educao superior ao mundo
atual em que entre as finalidades da construo do saber se
insere a interveno social no sentido de reduzir as assimetrias sociais, propiciando condies para a construo de
novas pontes de incluso social. Portanto, o SINAES amplia
suas dimenses, objetos, procedimentos, integrando os vrios
instrumentos de avaliao. Como tal, incorpora aos processos
avaliativos todos os atores sociais, as dimenses sociais e
todas as instncias da educao superior. Busca assegurar, as
dimenses externas e internas, particular e global, somativo
31/03/2010 16:00:02
e formativo e os diversos objetos e objetivos da avaliao,

constituindo-se num Sistema e no mais de procedimentos
isolados de avaliao.
a composio da comisso prpria de

avaliao (cpa), segundo o sinaes
A Lei n 10.861, de 14 de abril de 2004, que SINAES, estabelece, em
seu Artigo 11, que cada instituio de ensino superior, pblica ou
privada, deve constituir sua Comisso Prpria de Avaliao (CPA),
com as atribuies de conduo dos processos de avaliao internos
da instituio, de sistematizao e de prestao das informaes
solicitadas pelo INEP. Segundo a lei, a CPA deve ser constituda [...]
por ato do dirigente mximo da IES ou por previso de seu prprio
estatuto ou regimento, assegurada a participao de todos os segmentos da comunidade universitria e da sociedade civil organizada,
e vedada a composio que privilegie a maioria absoluta de um dos
segmentos da comisso.
A lei no exige especificamente que a comisso seja constituda
por representantes eleitos pelos segmentos da comunidade universitria, mas por ato de sua autoridade mxima, de modo a ter assegurada a participao de todos os segmentos, o que pode ser alcanado
pela nomeao ou indicao de um membro de cada segmento. No
caso das instituies universitrias, docentes, servidores tcnicoadministrativos e discentes possuem entidades representativas, com
direes democraticamente eleitas e, portanto, com legitimidade
para indicar seus representantes nas comisses. Teoricamente, as
entidades podem realizar consultas ou eleio de seus representantes para indic-los ao dirigente mximo. No caso do representante
da sociedade civil, a indicao torna-se mais polmica. Quem tem
delegao para represent-la?
A legitimidade poltica no confere competncia tcnica para o
exerccio da avaliao; tampouco, a legitimidade tcnica, conferida
por alto grau de especializao, produo acadmica e reconheci-
31/03/2010 16:00:02
mento tcnico, no conferem legitimidade poltica. Qual seria o

perfil mais adequado para uma CPA?
A conduo do processo de autoavaliao de uma instituio de
ensino superior e, particularmente, das universidades, uma tarefa
das mais complexas. Por um lado, o avaliador que compe uma
Comisso de Autoavaliao universitria precisa dialogar com segmentos da comunidade acadmica para sensibiliz-la e estimular a
participao democrtica, conferindo maior legitimidade s decises
e aos processos de mudana, indicados nos relatrios. Neste sentido,
a escolha de lideranas polticas e sindicais pelo dirigente mximo
da instituio superior, ou a indicao pelas entidades representativas dos segmentos, de membros para compor a comisso torna-se
um requisito importante para a legitimao do processo avaliativo.
Por outro lado, a avaliao educacional se constitui num campo de
conhecimento particular, com seu referencial terico, perspectivas
metodolgicas diversas e de um aparato instrumental, que requer competncia para sua concepo, construo, validao, aplicao, anlise e
interpretao. Isso exige dos avaliadores uma formao especfica, alm
de dedicao e meios para o desenvolvimento do processo avaliativo.
legitimidade poltica e
legitimidade tcnica
A preocupao com a autonomia frente aos conselhos superiores e
demais rgos universitrios assim como o equilbrio da composio
entre os segmentos revelam um vis poltico. Contudo, os desafios
que uma comisso de avaliao institucional, particularmente, de
uma universidade tero pela frente, no sero superados apenas
com requisitos polticos.
A no exigncia da lei e de seus formuladores de um perfil acadmico especializado, de uma formao acadmica trilhada no campo
da avaliao educacional para os membros da comisso, revela uma
percepo de irrelevncia da legitimidade tcnica. como se as
competncias para o exerccio terico, metodolgico e prtico da
avaliao institucional fossem automaticamente adquiridas como
31/03/2010 16:00:02
consequncia ou benefcios de uma formao ou militncia polticas. Como garantir uma escolha adequada de representantes para
um estudo que reflita verdadeiramente a imagem institucional e
a responsabilidade social da universidade, sem que esses possuam
uma formao especializada? Como assegurar a qualidade e a validade dos instrumentos de medida adotados sem o domnio destas
competncias, seja no plano terico ou metodolgico?
Almeida Junior (2005) traou um perfil das comisses prprias
de avaliao e suas preocupaes centrais, a partir do cadastro do
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP), de documentos impressos, observaes e questionrios
aplicados em seminrios regionais promovidos pelo Instituto. Entre
as principais preocupaes das IES pblicas est a falta de recursos
financeiros para viabilizar a avaliao institucional.
J Andriola (2005) coloca como grandes desafios dos autoavaliadores a sensibilizao da comunidade interna e o incentivo ao
engajamento democrtico dos atores institucionais. Para ele, os
atores devem ser consultados sobre a escolha dos membros para
que estes tenham a legitimidade necessria, sem a qual a avaliao
deixar de caracterizar-se como atividade democrtica e participativa. Mas o autor percebe que, alm da legitimidade poltica, os
autoavaliadores precisam de uma slida formao humanstica e
tcnica em avaliao educacional.
Encontrar docentes, funcionrios e estudantes reunindo tantas e
diversas qualidades como legitimidade poltica, habilidades sociais
e competncia tcnica talvez no seja uma operao bem-sucedida
e a instituio tenha que fazer escolhas entre um ou outro atributo.
Entre o segmento estudantil, o ensino de ps-graduao em educao, psicologia e administrao poderiam ser campos com maiores
possibilidades de sucesso.
Se a legitimidade poltica importante, tambm o a legitimidade
tcnica. Sem o reconhecimento das competncias tcnicas no avaliador, sobretudo em comunidades cientficas, o produto da avaliao
ser pouco confivel e socialmente incuo. Segmentos importantes
e formadores de opinio da comunidade se mantero indiferentes ou
reagiro autoavaliao, porque percebero facilmente limitaes
31/03/2010 16:00:02
decorrentes da falta de rigor cientfico, da impreciso conceitual,

do questionamento da validade dos processos qualitativos de coleta,
anlise e interpretao de informaes, de problemas de falta de
representatividade, de enviesamentos amostrais, etc. Supor que basta
a algum possuir a capacidade de dialogar ou a disposio para uma
escuta sensvel para a realizao de um processo investigativo to
complexo tcnica e politicamente uma posio to equivocada
quanto aquela que defende como critrio preponderante para o
avaliador, uma slida formao tecnicista ou quantitativista.
A ideia de que as formas, as posturas e os sentidos da participao
variam de acordo com o paradigma de avaliao adotado, sugere
algum grau de maniquesmo, porque parte de uma premissa questionvel, qual seja, a de que s processos conduzidos heurstica e
qualitativamente podem ser construes coletivas, que nas abordagens quantitativistas s cabem a burocracia governamental e especialistas especialmente contratados. Esse menosprezo pela tcnica
tem custado caro em outros campos. Muitas lideranas sindicais
de trabalhadores rurais foram promovidas a gestores de projetos
microeconmicos, dadas as suas habilidades sociais e competncias
para ler e interpretar o mundo, analisar a conjuntura, mobilizar e
liderar a luta para conquistar a terra. Ao transpor valores, atitudes
e prticas da luta poltica para a gesto dos negcios, os empreendimentos fracassam, ao tempo que o movimento social perde flego
e desgasta a imagem de uma liderana competente que precisa
reconstruir sua imagem.
Do mesmo modo que ningum se torna um bom gestor por ser
honesto ou por sonhar e lutar por ideais de justia e de liberdade,
ningum se torna um bom avaliador somente porque conhece as
implicaes ticas e polticas do processo avaliativo.
cpa deliberativa ou executiva?

A lei que institui o SINAES no determina a sua natureza deliberativa
ou executiva. No caso especfico da Universidade Federal da Bahia,
a comisso assumiu as duas funes. A CPA/UFBA no contou com
31/03/2010 16:00:02
representante estudantil nem da associao docente; os estudantes

por terem uma posio de repdio s polticas de avaliao institucional e os professores por falta de interesse. A associao dos
servidores indicou um representante com participao ativa nas
reunies embora de natureza essencialmente poltica. O trabalho
tcnico, a construo do projeto de autoavaliao, os termos de
referncia para as autoavaliaes setoriais, a realizao de estudos
especficos e especializados, incluindo a elaborao e execuo dos
projetos, a consolidao das informaes e a elaborao do relatrio
final, dependiam exclusivamente de trs docentes indicados pela
Reitoria, e que tinham experincia e/ou especializao na rea de
avaliao institucional. Apesar de todos os esforos para sensibilizao e mobilizao de colegas que poderiam contribuir em vrios
campos da autoavaliao da universidade, a comisso no conseguiu
uma nica colaborao para a produo ou reflexo de alguma
temtica de interesse do projeto. As justificativas dos professores
eram de impossibilidade de encontrar tempo em suas agendas sobrecarregadas de aulas, orientaes de estudantes, apreciao de
processos, participao em bancas, pareceres em artigos, reunies
de departamento, colegiados e congregao, produo de comunicaes cientficas, todas estas atividades rotineiras e consideradas
mais relevantes do que o trabalho voluntrio em uma CPA.
Estas atividades dos docentes da universidade impedem tambm que os membros da comisso de autoavaliao disponham de
tempo para as atividades tcnicas. At mesmo encontrar um dia e
horrio comum disponvel para as reunies dos membros torna-se
um exerccio demorado e difcil, o que impede regularidade dos
encontros e acaba por afetar o cronograma das atividades. Faltam
uma estrutura tcnica de carter mais executivo e recursos alocados
especificamente para o financiamento das atividades de pesquisa e
de apoio administrativo.
Um aspecto que no pode deixar de ser ressaltado ao se abordar
o presente tema que avaliaes, por sua prpria natureza, so atos
polticos. A tomada de posio em relao qualidade de programas,
projetos ou instituies, em relao ao que funciona bem ou mal,
inevitavelmente um ato poltico. Publicizar as informaes sobre o
31/03/2010 16:00:02
que avaliado pode alterar alocao de recursos, arranjos institucionais e afetar a percepo pblica em relao a seus dirigentes. Para
lidar com polticas de avaliao essencial a compreenso da dinmica dos processos polticos e consider-los na avaliao. Essa percepo
pode, inclusive, colaborar na antecipao por parte dos avaliadores
de resistncias que podem ser oferecidas por dirigentes.
Carol Weiss (1998), autora norte-americana de numerosos estudos
sobre avaliao, aponta trs situaes recorrentes em que o fator
poltico interfere na conduo dos processos institucionais de avaliao e que no podem ser ignorados pelos avaliadores:
1. As polticas e programas avaliados so invariavelmente resultantes de decises polticas. Eles so propostos, definidos,
debatidos, viabilizados atravs de processos polticos, e ao
serem implementados permanecem submetidos a presses
polticas, sejam elas hostis ou de apoio.
2. As avaliaes so empreendidas de modo a alimentar a tomada de decises, que situam-se sempre na arena poltica. Os
resultados dos processos avaliativos concorrem com outros
fatores que tm peso no processo poltico.
3. A avaliao , em si, uma instncia poltica e por sua natureza
implica em constataes sobre questes controversas sobre
a legitimidade e utilidade de objetivos e estratgias, e at
mesmo sobre o papel dos especialistas nesses programas.
Concluindo, vale ressaltar que somente quando o avaliador tem a
percepo dos interesses e motivaes dos outros atores do sistema,
do papel que ele prprio desempenha, dos obstculos e oportunidades implcitos no esforo de avaliar, das possibilidades e limites dos
efeitos da avaliao, ou seja, somente mobilizando a sua sensibilidade poltica, ele pode conduzir eficientemente a sua tarefa.
referncias
ALMEIDA JNIOR, V. de P. O processo de implementao das comisses
prprias de avaliao (CPAs): aes desenvolvidas e perfil dos
31/03/2010 16:00:03
coordenadores. In: RISTOFF, D. I.; ALMEIDA JNIOR, V. de P. (Org.). Avaliao

participativa: perspectivas e debates. Braslia, DF: INEP, 2005. p. 39-54.
ANDRIOLA, W. B. Desafios e necessidades que se apresentam s comisses
prprias de avaliao (CPAs) das IES visando a implementao do sistema
Nacional de Avaliao da Educao Superior (Sinaes). In: RISTOFF, D. I.;
ALMEIDA JNIOR, V. de P. (Org.). Avaliao participativa: perspectivas e
debates. Braslia, DF: INEP, 2005. p. 57-72.
BOBBIO, N. et al. Dicionrio de poltica. Braslia, DF: Editora da Universidade
de Braslia, 1995. 2 v.
BOZEMAN, B.; PANDEY, S. K. Public management decision-making: technical
vs. political decisions. Washington, D.C.,: [s.n.], 2003. Paper prepared for the
National Public Management Research Conference, Georgetown University,
Washington, D.C., October 9-11, 2003. Disponvel em: <http://www.pmranet.
org/conferences/georgetownpapers/Bozeman.pdf>. Acesso em: 18 out. 2006.
GORJO-HENRIQUES, Miguel (Org.). Tratado de Lisboa. Lisboa: Almedina,
2008.
HABERMAS, Jrgen. Conscincia moral e agir comunicativo. Rio de Janeiro:
Tempo Brasileiro, 1989.
______. O discurso filosfico da modernidade. Lisboa: D. Quixote, 1990.
______. Tcnica e cincia como ideologia. Lisboa: Edies 70, 1987.
HOKHEIMER, Max; ADORNO, Theodor. A dialtica do esclarecimento. Rio de
Janeiro: Jorge Zahar, 1985.
JACKSON, Maria Jos. Sinaes: a proposta de avaliao da educao superior.
Belm: Universidade Federal do Par, 2004. Entrevista concedida ao Jornal
Beira do Rio. Disponvel em:<http://www.ufpa.br/beiradorio/arquivo/
beira14/entrevista.htm>. Acesso em: 15 set. 2007.
NELKIN, Dorothy. The political impact of technical expertise. Social Studies of
Science. v. 5, n. 1, feb. 1975.
PLATO. A repblica. So Paulo: Martin Claret, 2007.
WEISS, Carol. Evaluation: methods for studying programs and policies. 2nd.
ed. Upper Saddle River, N.J.: Prentice Hall, 1998
31/03/2010 16:00:03
31/03/2010 16:00:03
SINAES na perspectiva de
membros da CPA: implantao,
conduo e avaliao
Rivailda Silveira Nunes de Argollo (IFBA)
introduo
A avaliao institucional apresenta-se como um campo de saberes
novos e prticas recentes que tm relevncia na expanso da oferta
de ensino e das Instituies de Educao Superior (IES). Com a edio
da Lei de Diretrizes e Bases da Educao Nacional (LDB) n. 9.394/1996,
fica assegurado um processo nacional de avaliao das IES e a Unio
tem a incumbncia de autorizar, reconhecer, credenciar, supervisionar e avaliar, respectivamente, os cursos das instituies de educao
superior e os estabelecimentos do seu sistema de ensino.
Nessa perspectiva, a avaliao das instituies e de cursos deveria
ser uma prtica processual e renovada, devendo o Poder Pblico
assegurar a qualidade acadmica das instituies e a consolidao de
um sistema de educao superior com alto valor cientfico e social,
bem como a distribuio e o uso adequado dos recursos pblicos.
Segundo Dias Sobrinho (2001, p. 16), a avaliao do ponto de vista
tico deveria atender ao interesse pblico, conforme as regras da
vida social; tal condio pode ser assegurada pelos seus propsitos
proativos, natureza participativa, envolvendo a comunidade acadmica, o setor governamental e a sociedade.
31/03/2010 16:00:03
Os sistemas nacionais de avaliao tm potencial para esclarecer as tendncias da educao aos diversos segmentos da sociedade, preservando fatores influentes na avaliao: a autonomia das
instituies e responsabilidade do Estado. Na esfera pblica, tais
informaes subsidiam os elaboradores das polticas pblicas em
educao e a sociedade, enquanto que na esfera privada, tornar
pblica as informaes demonstra a responsabilidade de cada instituio; ao final, permite avaliar o sistema educacional como um
todo. (DEPRESBITERIS, 2001)
A despeito de ser fcil a argumentao sobre a utilidade em
se realizar uma avaliao institucional, tanto no nvel governamental como institucional, as instituies so complexas e tm
interessados, decisores e apoiadores externos e internos, cujos
interesses divergem nos propsitos, resultados ou uso potencial
dos relatrios oriundos do processo avaliativo. Embora o consenso
seja difcil de ser obtido e as avaliaes possam ser usadas para
diferentes finalidades, busca-se interligar os propsitos especficos
dos vrios grupos interessados governos, dirigentes e comunidade acadmica, pais e alunos. De modo geral, a expectativa a
de promover as mudanas necessrias e o aperfeioamento das
aes, com vistas garantia de qualidade da educao, aliada ao
uso eficiente e eficaz dos recursos.
No cenrio nacional, a avaliao institucional ganha destaque,
sobretudo com a implantao do Sistema Nacional de Avaliao da
Educao Superior (SINAES), o que coloca a temtica na agenda do
Estado, das IES e dos pesquisadores. Objetivando contribuir nessa
discusso, o presente trabalho pretende aproximar a teoria, aqui
referenciada no arcabouo legal que institui o SINAES, da prtica
em uma IES o Instituto Federal de Educao, Cincia e Tecnologia
da Bahia (IFBA), antigo Centro Federal de Educao Tecnolgica da
Bahia (CEFET-BA), a partir do relato de membros da Comisso Prpria
de Avaliao (CPA) quanto implantao e conduo do processo
da avaliao institucional.
A anlise terica foi realizada por meio de pesquisa documental
e bibliogrfica: legislao e orientaes pertinentes ao SINAES;
104 robinson moreira tenorio & rivailda silveira nunes de argollo
31/03/2010 16:00:03
documentos institucionais disponibilizados no site da IES (projetos, estatuto, instrumentos de avaliao, relatrios); produes
cientficas sobre a temtica. Para a elaborao da anlise prtica
do sistema, foram consideradas as respostas pesquisa por meio
de questionrio, observaes assistemticas, experincias e reflexes de membros da CPA do IFBA que atuam/atuaram como
representantes dos segmentos dos alunos, dos docentes e dos
tcnico-administrativos.
Ao destacar o relato de experincia dos membros da CPA frente
da conduo do processo de implantao da autoavaliao institucional nos moldes do SINAES, pretende-se abordar aspectos prprios
da proposta, apontando potencialidades e fragilidades inerentes ao
Sistema (anlise macro), mas principalmente aquelas concernentes
IES e seus atores (anlise micro). Em sntese, fazer uma metaavaliao com vistas a contribuir para a melhoria do processo. Assim,
pretende-se responder:
a) Como aconteceu a implementao do SINAES na IES e quais
as dificuldades enfrentadas?
b) Qual a repercusso da avaliao institucional no mbito da
IES?
c) Decorridos quatro anos da implantao do SINAES, na viso
dos membros da CPA, foram atendidas as finalidades prescritas na legislao?
Na forma como se organiza o texto, apresenta inicialmente a
importncia e as finalidades da avaliao no contexto educacional,
delineando um breve histrico das experincias com avaliao no
Brasil; em seguida, descreve em linhas gerais o SINAES, segundo o
arcabouo legal e documentos pertinentes; posteriormente, discorre
sobre a implantao do SINAES no CEFET-BA, pretendendo aproximar o construto terico do SINAES da prtica institucional revelada
por membros da CPA e responder s questes citadas nesta seo. Por
fim, tece algumas consideraes, trazendo novos questionamentos
para fomentar o debate, na perspectiva da continuidade e do aprimoramento do processo de avaliao institucional.
sinaes na perspectiva de membros da cpa: implantao, conduo e avaliao 105
31/03/2010 16:00:03
avaliao: algumas finalidades e

caminhos percorridos no brasil
A avaliao possui um importante papel nas polticas pblicas do ensino,
marcadamente da educao superior. Visto como o nvel de ensino
considerado de custos mais elevados, apresenta-se como importante
foco de anlise pelo Estado, que, ao tempo em que controla a oferta,
gerencia informaes sobre as condies de ensino e gastos pblicos.
O Estado no pode deixar de ser integrado como um elemento chave
na anlise das polticas educacionais, visto que as crises sociais e educacionais mantm uma estreita ligao com as condies e consequncias
do funcionamento do sistema econmico e suas implicaes em termos
de reformulao das polticas educativas e avaliativas. (AFONSO, 2000)
A avaliao tem provido o Estado no controle regulatrio nas aes
de autorizao, credenciamento, acesso e da qualidade dos servios
ofertados, bem como na distribuio e uso adequado dos recursos
pblicos. No papel de gestor desse bem pblico, o uso da avaliao se
apresenta para orientar a expanso, segundo critrios das polticas
educacionais, o mercado consumidor dos servios educacionais pais
e alunos e para produzir informaes teis tomada de deciso.
A avaliao tem sido usada como uma atividade predominantemente tcnica, vinculada s questes operacionais, mensurao
dos resultados. Valorizam-se aspectos quantitativos, em detrimento
das suas reais possibilidades de pesquisa, cujo vis principal gerar
informaes pertinentes da realidade, com vistas melhoria dos
processos e planos institucionais, da gesto e da prestao de contas
sociedade. Nesse sentido, Dias Sobrinho (1996, p. 7) destaca que
[...] indicadores quantitativos promovem um balano das
dimenses mais visveis e facilmente descritveis, a respeito
de medidas fsicas, como rea construda, titulao de professores, descrio do corpo docente, discente e servidores,
relao dos servidores, dos produtos, das formaturas, volume de insumos, expresses numricas supostamente representando qualidades, como no caso de nmero de citaes,
muitas vezes permitindo o estabelecimento de ranking de
31/03/2010 16:00:03
instituies, com srios efeitos nas polticas de alocao (ou

desalocao?) de financiamento e como organizador social
de estudantes e profissionais.
Nesse aspecto, Depresbteris (2001) prope que a avaliao da

qualidade da educao ocorra concomitante com uma anlise do contexto em que o processo educacional se desenvolve, contemplando
as duas dimenses: a quantitativa e a qualitativa. Paralelamente
necessidade de se conhecer as especificidades dos estabelecimentos,
o que caracteriza uma avaliao em nvel micro, preciso avaliar
em nvel macro, isto , realizar avaliao do sistema.
A avaliao das IES, na forma como se delineia nas propostas
de avaliao, tem carter formativo, visando o aperfeioamento da
comunidade acadmica e da instituio como um todo. O alcance
de elevados patamares de qualidade institucional e educacional
advm da necessria mudana e inovao nas IES, cuja premncia
recai no exerccio da avaliao institucional como forma de elaborar um diagnstico que retrate as potencialidades e fragilidades
de cada curso, departamento, unidade no nvel micro e macro
institucional. (LEITE, 2005)
Se comparado com a experincia de outros pases, o Brasil demonstra que apesar da avaliao ser estudada, desde os anos 70,
passou por longos perodos de estagnao ou de aes isoladas que
no contriburam para a consolidao de um sistema nacional de
avaliao educacional. Nessa trajetria, a mais antiga e duradoura experincia brasileira refere-se avaliao de cursos e programas da ps-graduao, desenvolvida desde 1976 pela Comisso do
Aperfeioamento de Pessoal de Nvel Superior (CAPES).
Na dcada de 80, as primeiras iniciativas de fomento encontram
sistematizao no Programa de Avaliao da Reforma Universitria
(PARU) e nos estudos do Grupo Executivo para a Reformulao
da Educao Superior (GERES). No incio da dcada de 90, surge o
Programa de Avaliao Institucional das Universidades Brasileiras
(PAIUB). Em meados da dcada de 90, O MEC, respaldado na Lei
n9.131/1995 e na LDB, Lei n. 9.394/1996, cria novos mecanismos de
avaliao: o Exame Nacional de Cursos (ENC); a Anlise das Condies
31/03/2010 16:00:03
de Ensino (ACE) e Avaliao das Condies de Oferta (ACO). (GOUVEIA

et. al., 2005; RISTOFF; GIOLO, 2006) A constatao na poltica educacional no Brasil que a prtica da avaliao tem sido incipiente, ainda
que as experincias anteriores tenham colaborado para enriquecer o
debate e aperfeioar a ideia de uma avaliao global e integrada.
De todo modo, qualquer avaliao mostra-se como uma atividade
essencial, visto que vislumbra a melhoria do processo acadmico,
o aperfeioamento da gesto e prestao de contas sociedade. Na
perspectiva de aliar concepo regulatria uma viso abrangente dos processos avaliativos, a Comisso Especial da Avaliao da
Educao Superior (CEA), designada pela Portarias MEC/SESu n 11
e 19/2003, foi instalada com a finalidade de
[...] analisar, oferecer subsdios, fazer recomendaes, propor critrios e estratgias para a formulao dos processos
e polticas de avaliao da educao superior e elaborar a
reviso crtica dos seus instrumentos, metodologias e critrios
utilizados. (BRASIL, 2003, p. 7)
A concepo de avaliao adotada pela CEA, cujos estudos resultam no SINAES, tem como ideias centrais a integrao e participao, por entender a avaliao como um processo que se vincula
dimenso formativa, correspondendo a um projeto de sociedade
comprometido com a igualdade e a justia social. Nessa perspectiva,
a comisso vislumbrou um sistema de avaliao articulado com as
funes de regulao inerentes esfera estatal e com as funes
educativas e emancipatria inerentes s instituies (INEP, 2007),
o qual ser descrito e analisado na seo que se segue.
sinaes: descrio e anlise

Com o advento da Lei n 10.861/2004, foi institudo o SINAES com
o objetivo de assegurar processo nacional de avaliao das IES, dos
cursos de graduao e do desempenho acadmico de seus estudantes,
em consonncia com o estabelecido na Lei de Diretrizes e Bases da
31/03/2010 16:00:03
Educao Nacional. O sistema tem por finalidade a melhoria da

qualidade da educao superior, a orientao da expanso da sua
oferta, o aumento permanente da sua eficcia institucional e efetividade acadmica e social. No artigo 3. da referida Lei so descritas
as dimenses1 de avaliao propostas pelo SINAES, que devem ser o
foco da avaliao institucional e que garantem, simultaneamente, a
unidade do processo avaliativo em mbito nacional e a especificidade
de cada instituio. O sistema articula, coerentemente, concepes,
objetivos, metodologias, agentes da comunidade acadmica, da
sociedade e de instncias do governo. (INEP, 2007)
Apresenta como princpios norteadores: a responsabilidade social
da educao superior; o reconhecimento da diversidade do sistema;
o respeito identidade institucional; a globalidade da instituio
e uso articulado de um conjunto de indicadores; a legitimidade
tcnica, tica e poltica; a continuidade do processo avaliativo como
instrumento de poltica educacional para cada instituio e o sistema de educao superior em seu conjunto; o compromisso com
a finalidade construtiva e formativa da avaliao; a publicidade de
todos os procedimentos, dados e resultados. (BRASIL, 2004)
O SINAES almeja, como um processo permanente, identificar
o perfil institucional e o significado da atuao de todas as IES do
Sistema Federal de Educao, por meio de uma proposta de avaliao
formativa, regulatria e emancipatria. A proposta que a avaliao
no tenha um fim em si mesma, mas que seja parte de um conjunto
de polticas pblicas, sem ser focada apenas nos resultados. Assim, o
SINAES busca garantir a integrao das dimenses interna e externa,
somativa e formativa, qualitativa e quantitativa.
Numa proposta de avaliao global e integrada das dimenses,
atividades e responsabilidades das IES e de seus cursos, articula os resultados dos processos avaliativos que o compem: da Avaliao dos
Cursos de Graduao (ACG), da Avaliao das Instituies de Ensino
Superior (AVALIES) e da Avaliao do Desempenho dos Estudantes
(ENADE), conforme Figura 1.
1 Para operacionalizao
da avaliao dessas
dimenses, a CONAES
elaborou o documento
Orientaes gerais para
avaliao institucional
organizados em trs
ncleos: o ncleo bsico e
comum contempla tpicos
que devem integrar os
processos de avaliao
interna de todas as IES; o
ncleo de temas optativos
contm tpicos a serem
escolhidos pelas IES para
avaliao, segundo a
pertinncia e realidade
institucional; e o ncleo
de documentao,
dados e indicadores
que podem contribuir
para fundamentar e
justificar as anlises e
interpretaes.
31/03/2010 16:00:03
perfil institucional
acg
avalies
Auto Avaliao
enade
Avaliao
Externa
Figura 1 Componente da avaliao do SINAES

Fonte: Elaborado pelos autores
A modalidade ACG fornece informaes sobre as condies de

ensino, o perfil do corpo docente, a organizao didtico-pedaggica
e a infraestrutura. Trata-se de uma avaliao peridica subsidiada
por meio de procedimentos especficos, com destaque para a visita
in loco de comisses externas.
A modalidade AVALIES busca fornecer uma viso global, a partir de dois olhares: avaliao externa, realizada por especialistas
externos; autoavaliao, conduzida pela CPA. A avaliao interna
ou autoavaliao tem como principais objetivos, dentre outros:
produzir conhecimentos sobre a instituio; questionar os sentidos
e o cumprimento das suas atividades e finalidades acerca da relevncia cientfica e social de suas atividades e produtos; identificar
fragilidades e as potencialidades nas dez dimenses previstas em
lei; tornar mais efetiva a vinculao da instituio comunidade;
prestar contas sociedade.
Por sua vez, a avaliao externa a outra dimenso essencial da
avaliao institucional, j que contribui para o autoconhecimento
e aperfeioamento das atividades desenvolvidas pela IES. A autoavaliao fundamentar a avaliao externa.
A anlise documental subsidia a Avalies, marcadamente a avaliao externa, que utiliza os dados para elaborar o relatrio, com vistas
a subsidiar a regulao e a formulao de polticas educacionais. No
31/03/2010 16:00:03
rol de documentos, destacam-se: o Relatrio de Auto-avaliao, Censo

e Cadastro da Educao Superior, Plano de Desenvolvimento Institucional
(PDI), Projeto Pedaggico Institucional (PPI) e de Cursos.
O ENADE2 permite avaliar todos os cursos durante um trinio,
configurando-se como componente curricular obrigatrio, com aplicao peridica, para uma amostra de alunos ao final do primeiro e
do ltimo ano de curso, com a finalidade de informar sobre o nvel
de conhecimento alcanado pelos alunos no Ensino Superior. Seus
resultados podero produzir dados por IES, constituindo referenciais
que permitam a definio de aes voltadas para a melhoria da qualidade dos cursos de graduao, por parte de professores, tcnicos,
dirigentes e autoridades educacionais.
Preconiza a referida Lei, no seu artigo 6, que a coordenao e superviso do Sistema sero atribuies do rgo colegiado, denominado Comisso Nacional de Avaliao da Educao Superior (CONAES),
enquanto que o INEP responde pelo apoio tcnico Comisso e pela
operacionalizao da avaliao no mbito do SINAES. No mbito das
IES, sero constitudas as CPA, com as atribuies de conduo dos
processos de avaliao internos da instituio, de sistematizao e
de prestao de informaes solicitadas pelo INEP.
Na sua composio, a CONAES garante as seguintes representatividades: MEC, INEP, CAPES, rgo de regulao e superviso da
educao superior, IES com as representaes do corpo docente,
discente e dos tcnico-administrativos. So indicados cinco cidados
com notrio saber cientfico, filosfico e artstico e reconhecida
competncia em avaliao ou gesto da educao superior. (BRASIL,
2004a) Destes, so membros natos: dirigentes das instncias institucionais de superviso e avaliao da Educao Superior, do INEP,
da CAPES, da Secretaria de Educao Superior (SESu); da Secretaria
de Educao Profissional e Tecnolgica (SETEC) e da Secretaria de
Educao a Distncia (SEED). (BRASIL, 2003) Cabe ainda citar a criao da Comisso Tcnica de Acompanhamento da Avaliao (CTAA),
instituda pela Portaria Ministerial n. 1.027/ 2006, com a funo de
assessorar o INEP no zelo pelo cumprimento das diretrizes do SINAES,
podendo julgar os relatrios das comisses, em caso de recurso, e
selecionar e excluir avaliadores do banco. (RISTOFF; GIOLO, 2006)
2 A Avaliao de
Desempenho dos
Estudantes (ENADE)
apresenta similaridades,
diferenas e avanos em
relao ao instrumento
institudo anteriormente
ENC/provo. Para maior
conhecimento sobre
essa anlise comparativa,
consultar Verhine, Dantas
e Soares (2006).
31/03/2010 16:00:03
A constituio da CPA de responsabilidade de cada IES, por

ato do seu dirigente mximo ou segundo estatuto ou regimento
prprio, e tem assegurada a participao de todos os segmentos da
comunidade institucional e da sociedade civil organizada, sendo
proibida a representao majoritria de qualquer um dos segmentos.
A referida comisso tem atuao autnoma em relao a conselhos
e demais rgos colegiados existentes na IES.
Inicialmente, pode-se afirmar que a proposta do SINAES, na
forma como se dispe no arcabouo legal e documental, aponta-a
como parte de uma poltica de avaliao que apresenta princpios
da legitimidade, autonomia, integrao e transparncia no que se
refere compreenso por parte do Estado (nvel macro) e das IES
(nvel micro), haja vista os seus princpios norteadores. Atende as
demandas de regulao e superviso, ao tempo em que se configura
como um processo educativo, fornecendo informaes relevantes
aos decisores externos e internos, comunidade acadmica, como
de toda sorte, prpria sociedade. De modo participativo, o processo, desde a concepo, coordenao e acompanhamento tem
sido compartilhado pelas representaes do Estado, das IES e da
sociedade civil organizada.
Como maior potencialidade, o SINAES apresenta a possibilidade
de autoconhecimento da/pela prpria instituio, representado pela
Avalies. A autonomia auferida a cada Instituio na elaborao e
conduo do seu projeto de avaliao, bem como na composio e
regulamentao prpria das respectivas comisses podem colaborar
na institucionalizao da avaliao. A perspectiva de participao de
diferentes atores, de diferentes mbitos nas comisses possibilitar
uma viso ampliada e diversificada, aumentando a probabilidade
dos sistemas, tanto poltico quanto educacional, perceberem as
limitaes ou mudanas externas, bem como as potencialidade/
fragilidades internas.
Por outro lado, algumas lacunas podem ser apontadas no que foi
descrito para o funcionamento do SINAES. Destacamos o fato de: no
estabelecer uma fonte de financiamento para sua implementao,
o que poder dificultar a ao autnoma das comisses em relao
ao poder decisrio dos gestores; no propor um rgo na estrutura
31/03/2010 16:00:03
organizacional, tanto no mbito do MEC como das IES, necessrio

para dar suporte e garantir a continuidade das aes tcnicas e executivas, tendo em vista o mandato temporrio e a rotatividade dos
representantes nesses rgos colegiados; no explicitar as formas de
interseco para integrar os resultados da autoavaliao e avaliao
externa com os do ENADE e da ACG.
Como afirma Verhine, melhor uma tentativa do que a inrcia,
sabedor que as avaliaes de desempenho de estudantes, embora
apresentem limitaes, possibilitam alguma anlise.
Embora imperfeitos na apreenso de resultados, so, certamente, melhores do que nada. melhor ter alguns resultados
do que nenhum deles. Mas as limitaes de tais resultados
tm que ser conhecidas e, ademais, eles nunca deveriam
ser tomados como a nica medida de qualidade. somente
combinando-os com outros indicadores, inclusive os que
tratam de insumos, freqentemente melhor mensurveis
atravs de visitas in loco, que podemos avaliar a qualidade de cursos de graduao e, por extenso, das instituies
brasileiras de educao superior. (VERHINE, 2008)
Na sua concepo terica, o processo avaliativo proposto pelo

SINAES prope ultrapassar a mera preocupao com o desempenho dos estudantes, buscando significados mais amplos da formao. Pretende superar simples verificaes para estabelecimento
de ranking, ao tempo em que destaca os significados das atividades institucionais, tanto do ponto de vista acadmico quanto dos
impactos sociais, econmicos, culturais e polticos, valorizando a
solidariedade e a cooperao e no a competitividade e o sucesso
individual. (TRINDADE, 2007)
Para Ristoff e Giolo (2006, p. 203), o SINAES configura-se num
sistema nacional como apregoa a legislao, abarcando todas as
IES, cursos e seus estudantes do Pas e no apenas os pertencentes
ao sistema federal. O grande desafio fazer acontecer a avaliao
institucional num sistema de ensino to complexo e diversificado
como se apresenta o sistema da educao superior. A implementao
31/03/2010 16:00:03
fruto da participao efetiva de todos os envolvidos no processo, o

que no caso das IES tem destaque com a realizao da autoavaliao
institucional, cujos aspectos sero apresentados a seguir.
sinaes: a prtica segundo membros da cpa

A prtica que se toma como referncia ocorre no Centro Federal
de Educao Tecnolgica (CEFET-BA), atual Instituto Federal de
Educao, Cincia e Tecnologia da Bahia (IFBA) com a edio da Lei n
11.892/2008. Cabe ressaltar que a anlise retroage s aes e atividades inerentes autoavaliao do CEFET-BA. Doravante, adotaremos
esta nomenclatura para resguardar a coerncia com os documentos
pesquisados, o perodo e o objeto da pesquisa.
Os CEFET, conforme estabelece o Decreto n 5.224/2004 e o
Decreto n 5.773/2006
[...] so instituies de ensino superior pluricurriculares, especializadas na oferta de educao tecnolgica nos diferentes
nveis e modalidades de ensino, caracterizando-se pela atuao prioritria na rea tecnolgica.
De modo anlogo, os Institutos Federais

[...] so instituies de educao superior, bsica e profissional,
pluricurriculares e multicampi, especializados na oferta de educao profissional e tecnolgica nas diferentes modalidades
de ensino. (BRASIL, 2008)
A instituio apresenta estrutura multicampi com Unidades de

Ensino em: Salvador, Simes Filho, Barreiras, Eunpolis, Valena e
Vitria da Conquista, poca da implantao do SINAES. Atualmente,
tambm integram a IES as Unidades de Ensino localizadas em
Camaari, Porto Seguro e Santo Amaro.
Para implantar o processo de Avaliao Institucional no CEFET-BA,
a primeira ao dessa Instituio foi instituir a Comisso Prpria
de Avaliao, por ato do Diretor Geral, conforme Portaria n 319 de
31/03/2010 16:00:03
23/07/2004 e suas alteraes, indicando trs representantes de cada

segmento da comunidade interna docente, discente e tcnicoadministrativo e da sociedade civil.
Adotou-se como critrio para integrar a Comisso servidores que
tivessem experincia no PAIUB3 e/ou formao na rea de avaliao,
atuao em coordenao de cursos e, principalmente, interesse e
disponibilidade para contribuir. A CPA contou com um Grupo de
Trabalho (GT) institudo pela Portaria n 563, de 23/11/2004, formado
por Gestores da rea Acadmica, que juntamente com o Coordenador
da Comisso participaram de Seminrios promovidos pelo INEP/
CONAES. Fez-se mister o estudo e a anlise documental de toda a
regulamentao proposta no SINAES4, a fim de propor as aes e o
elenco de atividades necessrias ao caminhar da Instituio rumo
sua Avaliao. Uma das primeiras aes da CPA foi a elaborao do seu
Regulamento. Nele destaca-se a instalao das Comisses Setoriais de
Avaliao (CSA), que coordenam o processo de autoavaliao nas suas
respectivas Unidades e a eleio dos representantes dos segmentos.
Elaborados os primeiros Relatrios em 2007, houve renovao
da Comisso, dessa vez por eleio. A decepo foi que o nmero
de candidatos por segmento, exceto para os discentes, foi inferior
representatividade prevista, levando-nos a inferir que os docentes e
tcnicos no demonstraram interesse na conduo do processo ou
na temtica. Este fato levou a Direo a preencher as vagas atravs
da indicao de membros da comisso anterior.
Em consonncia com o SINAES e projeto de avaliao da IES, a
CPA decidiu realizar a Autoavaliao, envolvendo todos os nveis e
modalidades de ensino e no somente a Educao Superior. Dessa
forma, criou o desafio de coordenar o processo, abarcando todas as
Unidades de Ensino da Instituio, contemplando alm dos discentes e docentes dos cursos Superiores, tambm aqueles dos Ensinos
Tcnico, Profissionalizante e Mdio. Ao mesmo tempo em que esta
deciso reflete a autonomia da CPA para conduzir a avaliao interna, no encontra respaldo em relao aos demais componentes do
SINAES, visto que as avaliaes de desempenho de estudantes e de
cursos tm como foco principal os cursos superiores. Ademais, as
orientaes, prazos, recursos, enfim, a normatizao no corresponde s necessidades previstas.
3 O CEFET-BA aderiu
ao PAIUB, mas teve uma
participao tmida, com
aes de sensibilizao
da comunidade. Apesar
de no lograr xito foi um
passo importante para
dar partida implantao
do SINAES, porque gerou
um conhecimento tcnico
sobre a autoavaliao
e interesse de alguns
envolvidos no processo.
4 Legislao (Lei n
10.861/2004, Portaria
n 2.051/2004) e os
documentos Diretrizes
para auto-avaliao
das instituies, roteiro
de auto-avaliao
institucional 2004,
Avaliao de cursos de
graduao, avaliao
externa de IES: diretrizes
e instrumentos e
orientaes gerais
para o roteiro de autoavaliao das instituies.
Disponveis em www.mec.
gov.br.
31/03/2010 16:00:04
5 Foram elaborados sete

instrumentos de pesquisa,
referentes aos segmentos
e s dimenses avaliadas:
A1 alunos avaliam
aspectos do curso, gesto,
infraestrutura, setores de
apoio e a sua participao
na vida acadmica/
institucional; A2 alunos
avaliam curso, disciplina/
competncia, professor e
faz uma autoavaliao; B
tcnico-administrativos
avaliam setor, gesto,
infraestrutura, setores de
apoio e sua participao
na vida acadmica/
institucional; C
destinado comunidade
externa empresas
que avaliam a imagem
institucional e aspectos
relativos formao e
servios prestados pelo
CEFET-BA; D1 docentes
avaliam departamento,
gesto, infraestrutura,
setores de apoio e sua
participao na vida
acadmica/institucional;
D2 docentes avaliam
curso, disciplina/
competncia, alunos
e se autoavaliam; E
destinado aos egressos
para avaliar a formao
e aspectos da avaliao
global da instituio.
A CPA e o GT dedicaram especial ateno etapa da sensibilizao,

prevista em todo o processo. A sensibilizao inicial da comunidade
interna procurou: disseminar a proposta SINAES; elaborar a proposta de Autoavaliao Institucional do CEFET-BA; estabelecer os
indicadores das dimenses que correspondiam realidade institucional; construir os instrumentos. Nesse intuito, realizaram reunies,
palestras, encontros e oficinas em todas as Unidades. Destaca-se a
realizao, em dezembro de 2004, do Seminrio sobre Avaliao
Institucional e Plano de Desenvolvimento Institucional do CEFET-BA,
que contou com a participao de representantes e consultores do
INEP. O Seminrio teve como objetivos apresentar o SINAES, bem
como sensibilizar a comunidade do CEFET-BA para a construo do
Projeto de Avaliao Institucional e consolidao da proposta do
Plano de Desenvolvimento Institucional (PDI), com vistas a contar
com uma contribuio mais efetiva de todos os segmentos.
As estratgias de sensibilizao possibilitaram a divulgao e
participao da comunidade interna. Para tanto, a CPA criou um link
na pgina institucional para colaboraes, crticas e sugestes, bem
como para divulgar amplamente Legislao, Regulamento, Projeto
de Autoavaliao e Boletins Informativos das aes da Comisso.
Foram realizadas outras atividades de sensibilizao, a exemplo
da realizao de concurso dirigido aos discentes para escolha do
mascote e de campanha de divulgao atravs de cartazes.
Considerando a estrutura multicampi da Instituio, representantes da CPA e do Grupo de Trabalho estiverem em todos os Campi
para apresentar o SINAES e a proposta em construo do Projeto de
Autoavaliao Institucional. Nessas visitas foram realizadas palestras
e oficinas para operacionalizar a escolha dos indicadores de cada
dimenso, que atendiam a realidade institucional. Esta etapa do
processo registrou a participao de 655 discentes, 119 docentes e
87 tcnico-administrativos.
Para a construo dos instrumentos de avaliao tomou-se como
base os indicadores propostos pela comunidade interna, as dimenses do SINAES e o roteiro de autoavaliao da CONAES. A CPA validou e consolidou a verso final dos instrumentos5 a serem aplicados
aos diversos segmentos, contemplando questes fechadas e espao
para crticas e sugestes.
31/03/2010 16:00:04
Com a consolidao do Projeto de Autoavaliao, aprovao do

Regulamento pelo Conselho Diretor, construo dos indicadores e
dos instrumentos de coleta, aliadas instalao das CSA, realizouse a etapa de coleta de dados, conforme cronograma do projeto.
Considerando os princpios estabelecidos no projeto e objetivando
garantir o envolvimento da comunidade, a pesquisa abrangeu todos
os segmentos, sem inteno de definir uma amostra, permitindo a
participao de todos os sujeitos interessados em colaborar.
No ano de 2005, participaram da pesquisa 44% dos alunos matriculados no ano de 2005 em todos os cursos ofertados, sendo 65% do
Ensino Superior, 32% do Ensino Profissionalizante de Nvel Tcnico e
51% do Ensino Mdio; 35,2% docentes; 33,1% tcnico-administrativos;
127 egressos concluintes entre os anos de 2002 e 2005 e 80 instituies/
empresas da comunidade externa com atividades correlatas s reas de
atuao dos cursos ministrados pelo CEFET-BA. Enquanto os docentes
e tcnicos demonstram menor envolvimento e falta de interesse ao
responder a pesquisa, h maior receptividade por parte dos discentes.
A maior dificuldade, nesta etapa, residiu na aplicao dos instrumentos
comunidade externa e aos egressos. (MODESTO; ARGOLLO, 2007) A
pesquisa da avaliao interna 2008, em fase de finalizao do tratamento de dados, registra a ampliao da participao e do conhecimento
sobre Avaliao Institucional em todos os segmentos internos.
Decorridos quatro anos da implantao muitos so os que no se
envolvem no processo, contudo algumas aes tm sido importantes
para ampliar o conhecimento e a participao, contribuindo para
o autoconhecimento da IES, a saber: realizao da pesquisa em
diversos momentos, aplicao dos instrumentos junto aos discentes
no perodo da matrcula, uso da avaliao de docentes pelos alunos
para fins de progresso, divulgao e uso dos resultados. Neste caso,
conforme foi registrado no PPI [...] a partir da anlise dos resultados obtidos, a CPA fez algumas recomendaes, por segmento
pesquisado, aos dirigentes do CEFET-BA, aos setores estratgicos e
s coordenaes de cursos. Apresentaremos, a seguir, alguns dados
que consideramos essenciais para o dilogo de formulao do PPI.
(CENTRO FEDERAL DE EDUCAO TECNOLOGICA DA BAHIA, 200-)
No documento foram elencados vrios aspectos da avaliao, colaborando para apropriao dos resultados da avaliao.
31/03/2010 16:00:04
Os membros da comisso so unnimes em reconhecer a etapa de

tratamento e consolidao de dados como a de maior dificuldade de
operacionalizao, por exigir um esforo rduo dos participantes, em
decorrncia do incipiente apoio tecnolgico na coleta e tratamento
dos dados. Ainda que a gesto, com recursos prprios, tenha adquirido um sistema para a digitao de todos os dados coletados na forma
impressa, este se restringiu a organizar os dados quantitativos por
Unidades de Ensino, cursos e segmentos pesquisados. Esta constatao impe o predomnio de dados quantitativos na pesquisa.
Anlises estatsticas, categorizaes e elaborao de grficos foram
elaboradas manualmente, com o uso do Excel. Ainda hoje, a coleta
on line s disponibilizada para os alunos dos cursos superiores da
Unidade Salvador. Esforos tm sido envidados para a elaborao de
um sistema mais completo, no entanto a insuficincia de recursos
humanos e financeiros torna o processo muito demorado. Quanto ao
aporte de recursos financeiros, a Instituio tem arcado com todos
os custos operacionais do processo, visto que recebeu uma nica
vez recursos do INEP para fins de aquisio de passagens, dirias e
material de consumo.
Outras questes levantadas pelos membros merecem citao:
ausncia de um plano de capacitao dos membros e gestores pela
CONAES/INEP; maior integrao do pesquisador institucional com
a CPA, a fim de melhor disponibilizar as informaes coletadas
pelo INEP; fragilidades na estratgia de comisses de trabalho, com
acmulo de atividades no remuneradas e muitas vezes no reconhecidas, gerando descomprometimento; ausncia de setor especfico
na estrutura organizacional, a fim de garantir um continuum da
avaliao institucional com vistas a uma cultura de avaliao; maior
feedback por parte das CONAES/CTAA/INEP para possveis correes
do processo e divulgao dos resultados e encaminhamentos. Na
prtica, a realizao da avaliao externa para todas as instituies
e cursos mostrou-se inexequvel.
De modo geral apontada como potencialidades do SINAES a proposta de uma avaliao com o objetivo de melhoria da qualidade do
ensino; em contraponto, os membros expem como fragilidades ou
limitaes a real utilizao dos resultados para a tomada de deciso,
31/03/2010 16:00:04
o uso da avaliao como forma de classificar as instituies; o elevado nmero de indicadores que torna a avaliao ao mesmo tempo
abrangente, muito extensa e, por vezes, impossvel de ser avaliada por
todos os segmentos da comunidade acadmica. O alcance das aes
da autoavaliao institucional ainda restrito a poucos interessados,
alm da Comisso que a conduz, o que leva inferncia e constatao, por parte dos membros pesquisados, de que a prtica tem
servido meramente como documentos comprobatrios da realizao
de uma avaliao institucional, visto que os dados da avaliao no
foram devidamente utilizados pelos setores para correo ou tomada
de decises [...] principalmente no plano acadmico.
consideraes provisrias finais

A aproximao realizada corrobora com a anlise de que mais
fcil aprovar leis do que p-las em prtica, tal qual a inteno dos
legisladores. Isto indica que a avaliao da educao, tal qual o amplo
processo de avaliao institucional das IES, no acontece apenas
mediante a promulgao de leis ou normas. O modelo SINAES, como
ora se apresenta no caso terico e emprico, supre a carncia de
avaliao como um sistema nacional integrado, que responde s
funes de regulao e se constitui num repensar os rumos das IES
em busca da qualidade, num processo educativo e de construo
de uma cultura de avaliao nas instituies, tanto nas dimenses
internas quanto externas.
Por outro lado, a amplitude e complexidade do sistema federal,
das IES e das dimenses avaliadas evidenciam um longo caminho
para o necessrio aperfeioamento. As modalidades que compem
o SINAES assinalam como foco a avaliao do ensino, parecendo
dissoci-lo da pesquisa e extenso. De outro modo, carece melhor
responder s demandas da sociedade no que concerne melhoria
da qualidade da educao e responsabilidade social das IES.
O delineamento do processo de autoavaliao buscou ocorrer de
forma integrada, participativa e voluntria, segundo os princpios
da globalidade, continuidade, legitimidade, respeito identidade
31/03/2010 16:00:04
institucional e enfatizando a avaliao como oportunidade de desenvolvimento institucional. Com este propsito, os procedimentos e
instrumentos de pesquisa para autoavaliao foram disponibilizados
e construdos de forma coletiva e participativa, atendendo aos prazos
e respeitando o interesse dos envolvidos. Apesar dos esforos para
sensibilizao, a implantao de qualquer sistema de avaliao vai
registrar fragilidades decorrentes da inexistncia de uma prtica
avaliativa na IES, mas principalmente pela falta de conhecimento
e/ou desinteresse dos envolvidos.
Pode-se afirmar que a comisso contou com independncia e
autonomia relativas, j que atendeu aspectos obrigatrios, orientaes e recomendaes do SINAES, alm das limitaes pertinentes
a uma organizao pblica. De outro modo, no houve restries
de aes, nem interferncia nos trabalhos, censura ou maquiagem
nos relatrios por parte dos Gestores. Pelo contrrio, mostram-se
abertos ao processo e dispostos a contribuir, destinando recursos e
infraestrutura necessrios implantao, disseminao e continuidade do processo.
Por outro lado, a lentido para realizar as aes de recomendaes ou melhoria nos (re)conhecidos pontos fracos, apontados na
avaliao, desestimulam uma nova etapa de pesquisa, e at mesmo
esvazia o processo de discusso de resultados, porquanto, algumas
vezes, o resultado corrobora o que j se achava numa avaliao
informal, todavia no se concretiza a mudana almejada.
Para finalizar, indaga-se: Como integrar todos os dados pesquisados, modalidades e dimenses, de modo que seja inteligvel
comunidade interna e sociedade? Como realizar, no CEFET-BA/IFBA,
uma avaliao institucional sem oportunizar a fala e os componentes
da avaliao a todos os envolvidos no processo? A integrao da modalidade Avalies, da avaliao de cursos e de desempenho de alunos,
incluindo aspectos e envolvidos apenas dos cursos superiores so
bastantes para traar esse perfil institucional? Estas so questes
difceis de responder, mas que nos fazem refletir sobre a diversidade do sistema de educao e, qui, buscar o aperfeioamento do
processo avaliativo.
31/03/2010 16:00:04
referncias
AFONSO, Almerindo Janela. Avaliao educacional: regulao e emancipao.
2. ed. So Paulo: Cortez, 2000.
BRASIL. Lei n 9.394, de 20 de dezembro de 1996. Estabelece as Diretrizes
e Bases da Educao Nacional. Secretaria da Educao do Estado da Bahia.
Disponvel em: <http: www.mec.gov.br>. Acesso em: 20 jul. 2009.
BRASIL. Lei n 10.861, de 14 de abril de 2004. Institui o Sistema Nacional
de Educao Superior SINAES e dispe sobre a avaliao da Educao
Superior- SINAES. Disponvel em: <http:// www.mec.gov.br>. Acesso em: 24
out. 2004.
BRASIL. Ministrio da Educao. SINAES: Sistema Nacional de Avaliao da
Educao Superior: bases para uma nova proposta de avaliao da educao
superior brasileira. Braslia, DF, 2003.
______. Comisso Nacional de Avaliao da Educao Superior. Diretrizes para
a avaliao das instituies de educao superior. Braslia, DF, 2004.
______. Secretaria de Educao Profissional e Tecnolgica. Educao
profissional e tecnolgica: legislao bsica: rede federal. 7. ed. Braslia, DF,
2008.
CENTRO FEDERAL DE EDUCAO TECNOLGICA DA BAHIA. Comisso
Prpria de Avaliao. Projeto de auto-avaliao do CEFET-BA 2004-2006.
[Salvador], 2005. Disponvel em <http://www.cefetba.br/cpa/cpa.html>.
Acesso em: 03 jan. 2007.
______. Projeto poltico-pedaggico institucional. [Salvador, 200-] Disponvel em:
<http://www.cefetba.br/cpa/cpa.html>. Acesso em: 03 jan. 2007.
______. Relatrio de auto-avaliao do CEFET-BA 2005. [Salvador], 2006.
Disponvel em: <http://www.cefetba.br/cpa/cpa.html>. Acesso em: 03 jan.
2007.
DEPRESBTERIS, Lea. A avaliao na educao bsica: ampliando a
discusso. Estudos em Avaliao Educacional, So Paulo, n. 24, p. 137-146, jul./
dez.2001.
DIAS SOBRINHO, Jos. Avaliao: polticas educacionais e reformas da
educao superior. So Paulo: Cortez, 2003.
______. Avaliao: tcnica e tica. Avaliao: Campinas, SP, v. 8, n. 2, p. 7-19,
set. 2001.
______; BALZAN, N. C. (Org.). Avaliao institucional: teoria e experincia. So
Paulo: Cortez, 1996.
GOUVEIA, Andra Barbosa et. al. Trajetria da avaliao da educao
superior no Brasil: singularidades e contradio (1983-2004). Estudos em
Avaliao Educacional, So Paulo, v. 16, n. 31, p. 101-131, jan./jun. 2005.
31/03/2010 16:00:04
INEP. SINAES: Sistema Nacional de Avaliao da Educao Superior: da concepo

regulamentao. 4. ed. ampl. Braslia, DF, 2007.
LEITE, Denise. Reformas universitrias: avaliao institucional participativa.
MODESTO, Maria A. S.; ARGOLLO, Rivailda S. N. Avaliao institucional
do CEFET-BA: diversidade institucional num sistema diversificado. In:
SIMPSIO BRASILEIRO, 23; CONGRESSO LUSO-BRASILEIRO, 5; COLQUIO
IBERO-AMERICANO DE POLTICA E ADMINISTRAO DA EDUCAO, 1,
2007, Porto Alegre. Anais... Porto Alegre: [s.n.], 2007.
RISTOFF, Dilvo; GIOLO, Jaime. O SINAES como sistema. R B P G., Braslia, DF,
v. 3, n. 6, p. 193-213, dez. 2006. Disponvel em: < http://www2.capes.gov.br/
rbpg/portal/conteudo/Est_Artigo2_n6.pdf>. Acesso em: 12 dez.2008
TRINDADE, Hlgio. Desafios, institucionalizao e imagem pblica da CONAES.
Braslia, DF: UNESCO, MEC, 2007.
VERHINE, Robert E. Os limites do Enade. [2008]. Disponvel em: <http://www.
schwartzman.org.br/sitesimon/?p=836&lang=pt-br>. Acesso em: 12 dez.08
______ (Org.). Experincias de avaliao institucional em universidades brasileiras.
Salvador: UFBA/FACED/PPGE, 2000.
______; DANTAS, L. V.; SOARES, J.F. Do provo ao ENADE: uma anlise
comparativa dos exames nacionais utilizados no ensino superior. Ensaio,
v. 14, n. 52, p. 291-309, 2006.
31/03/2010 16:00:04
A avaliao como instrumento

de aperfeioamento do
ensino em odontologia
Maringela Silva Matos (UFBA)
introduo
Diferentes autores tm dado diferentes respostas ao que avaliao.
Apresentaremos, de forma sinttica, uma compreenso desse conceito. A avaliao de um processo uma atividade que consiste no
levantamento de informaes fidedignas e precisas sobre o processo,
para subsidiar uma tomada de deciso com vistas sua melhoria.
Em outras palavras, a avaliao comporta trs grandes momentos:
um primeiro momento do diagnstico, de busca de informaes
de qualidade, ou seja, fidedignas e precisas; um segundo momento
de julgamento, de tomada de deciso, em que as informaes previamente levantadas, organizadas e analisadas serviro de subsdio
para uma tomada de deciso com relao ao processo em avaliao;
e, finalmente, faz parte ainda da avaliao, um terceiro momento
que o uso dessa deciso no sentido de melhoria do processo. Ento,
se incorpora no conceito de avaliao, a finalidade da avaliao. Ao
longo da histria, diferentes concepes de avaliao privilegiaram
apenas uma parte desse processo. Inicialmente, a primeira gerao
de avaliadores no incio do sculo XX, primeiro momento de reflexo sistemtica sobre avaliao, considerou que avaliar era medir;
o papel doavaliador era o de quantificar, estabelecer medida, de
aplicar testes, e, portanto, nessa primeira concepo de avaliao
31/03/2010 16:00:04
praticamente a avaliao se identificava como um diagnstico, como

um processo de medida da realidade. Isso claramente insuficiente, porque a avaliao deve considerar os objetivos do processo e
verificar se aqueles objetivos esto sendo atingidos e esta foi a
reflexo elaborada pela segunda gerao de avaliadores, j na dcada de 50, que avanou na compreenso da avaliao entendendo-a
como sendo uma verificao da adequao ou no dos objetivos
previamente estabelecidos no processo. Desta forma, a avaliao
deixava de ser simplesmente um diagnstico, uma medida, para ser
tambm uma verificao do atendimento dos objetivos do processo
avaliado. Isto ainda se revelou insuficiente e, j nos anos 70, a ideia
de que era preciso tomar uma deciso com relao ao diagnstico
feito e adequao dos objetivos, tomou conta da nova gerao de
avaliadores e passou-se a ter uma ideia de avaliao mais rica, em
que a tomada de deciso e o julgamento passaram a ser essenciais.
Mais recentemente, nos anos 90, a ideia de que essa tripla concepo
de diagnosticar, verificar objetivos e julgar era inadequada, trouxe
tambm em considerao a ideia de negociao, a ideia de que os
envolvidos no processo devem participar tanto da definio da prpria avaliao como do uso dos seus resultados. Avanando na concepo do tema, tem sido proposto, a partir das prprias demandas
da sociedade contempornea, dar um passo a mais e fazer com que
os responsveis pela avaliao participem, tambm, da proposta de
melhoria do processo. Isso j seria uma quinta dimenso de avaliao,
que conforma a ideia da avaliao como envolvimento.
O Brasil revela uma ausncia de tradio em avaliar o seu sistema
educacional. Apenas em meados das dcadas de 80 e 90, comeou a se
delinear a tentativa de se criar uma cultura da avaliao no pas. Ela
tem incio com o ensino mdio por meio do Sistema de Avaliao da
Educao Bsica (SAEB), tendo em vista o monitoramento das polticas de educao conduzidas no pas. Tal proposta foi, posteriormente,
substituda pelo Exame Nacional do Ensino Mdio (ENEM).
Aps a regulamentao da nova Lei de Diretrizes e Bases da Educao Nacional (LDB n 9394 de dezembro de 1996), a avaliao educacional passa a ganhar um maior destaque, de modo que, durante
a dcada de 1990, foram desenvolvidas no pas algumas propostas de
124 maringela silva matos & robinson tenrio
31/03/2010 16:00:04
avaliao do ensino superior: em 1993 surgiu o Programa de Avaliao

Institucional das Universidades Brasileiras (PAIUB) com uma proposta
de adeso voluntria das universidades e concebendo a autoavaliao
como etapa inicial de um processo que se completaria com a avaliao externa. (INEP, 2003) Em outubro de 1996, o Decreto no 2.026
estabeleceu o processo de avaliao dos cursos e instituies atravs
do Exame Nacional de Curso (Provo) e da Anlise das Condies de
Oferta dos Cursos. (BRASIL, 1996) A primeira Avaliao das Condies
de Oferta dos Cursos ocorreu no perodo de novembro de 1997 a
outubro de 1998, para todos os cursos que participaram do Provo
em 1996 e 1997, dentre eles, os Cursos de Odontologia.
Em 2003, o Ministrio da Educao (MEC) props a criao o
Sistema Nacional de Avaliao da Educao Superior (SINAES), sendo
este regulamentado pela Lei no 10861 de 14/04/04. Para Barreyro e
Rothen (2006), o SINAES o resultado da cumulao e da metamorfose das experincias de avaliao anteriores (PAIUB, Avaliao
dos Cursos de Graduao, Avaliao das Condies de Ensino e o
Provo). A cumulao dos mecanismos de avaliao foi realizada sem
considerar que cada um deles produto de valores e paradigmas
divergentes: a viso formativa/emancipatria do PAIUB, fundamentada na participao e na autonomia institucional, a viso somativa
da Avaliao das Condies de Ensino e o mecanismo de ranking
do Provo. Ainda assim, o SINAES tem o mrito de sinalizar uma
mudana na concepo da avaliao com foco no mercado para a
nfase na melhoria da qualidade.
Conforme o documento base para a proposta do SINAES, editado
pelo MEC (INEP, 2003), o conceito de avaliao tem como referncias
centrais a autonomia, a integrao e a participao, apontando para
um formato de avaliao a ser realizada em funo dos objetivos estabelecidos pela prpria instituio (autoavaliao), complementada
por avaliaes externas. Pressupe, dessa forma, que as instituies
fortaleam os seus projetos pedaggicos e reformulem, quando
necessrio, as suas metas. Segundo esse documento, o SINAES deve
articular duas dimenses: (1) a avaliao educativa, de natureza
formativa, mais voltada para juzos de valor e mrito com o objetivo
de aumentar a qualidade e as capacidades de emancipao e (2) a
a avaliao como instrumento de aperfeioamento do ensino em odontologia 125
31/03/2010 16:00:04
regulao do Estado, em suas funes de superviso, fiscalizao,

decises concretas de autorizao, credenciamento, recrendenciamento, descredenciamento, transformao institucional, etc.
Embora a cultura da avaliao esteja progressivamente sendo
incorporada s instncias de gesto acadmica das instituies de
ensino superior, as propostas de avaliao ainda carecem de maior
compreenso e da criao de instrumentos adequados s suas finalidades. O que assistimos em alguns cursos de Odontologia a
aplicao de instrumentos de avaliao interna superficiais, criados
apenas com a inteno de cumprir as exigncias do MEC em sua
funo reguladora. Destacamos desse modo, a necessidade de se criar
e conduzir propostas de avaliao interna, balizadas por interesses
menos poltico-econmicos e mais pedaggicos, humanos e sociais.
Nesse sentido, proceder a avaliaes de forma sistemtica, ntegra
e eticamente conduzidas da dinmica do contexto institucional
pode contribuir para formar uma cultura de avaliao com vistas
ao aperfeioamento da qualidade do ensino.
a avaliao como possibilidade de

aperfeioamento dos cursos de odontologia
Com base em uma reflexo crtica acerca da inadequao do perfil do
egresso dos cursos de Odontologia tendo em vista as necessidades sociais do pas, o artigo 13 das Diretrizes Curriculares Nacionais (DCN)
(CONSELHO NACIONAL DE EDUCAO, 2002) institui que os cursos
devem estabelecer com clareza aquilo que se deseja obter como um
perfil do profissional integral, envolvendo dimenses cognitivas,
afetivas e psicomotoras nas seguintes reas: formao geral (conhecimentos e atitudes relevantes para a formao cientfico-cultural
do aluno), formao profissional (capacidades relativas s ocupaes
correspondentes) e cidadania (atitudes e valores correspondentes
tica profissional e ao compromisso com a sociedade).
No artigo 6o, so definidos os contedos essenciais para o curso
de Odontologia, passando a ganhar destaque os das cincias huma-
31/03/2010 16:00:05
nas e sociais, onde se incluem os contedos referentes s diversas

dimenses da relao indivduo/sociedade, contribuindo para a compreenso dos determinantes sociais, culturais, comportamentais,
psicolgicos, ecolgicos, ticos e legais, no nvel individual e coletivo
do processo sade-doena.
Os resultados da primeira avaliao institucional dos cursos de
Odontologia no Brasil mostraram que a maioria dos cursos no
possua um projeto pedaggico ou o apresentaram de forma incompleta e que, ao longo dos ltimos anos, os cursos no foram muito
alterados, embora algumas faculdades tenham elaborado currculos
diferenciados. Os cursos de Odontologia no Brasil ainda priorizam a
formao tcnico-cientfica; enfatiza os aspectos cognitivos; valoriza
a memorizao de contedos, centrado na figura do professor;
privilegia a especializao e a tecnologia de ponta; e o corpo docente no prioriza os aspectos sociais, humansticos, culturais e de
cidadania. (CARVALHO, 2001, p. 51-52)
Alterar esse modelo requer um trabalho rduo que envolve no
apenas a instituio de reformas educacionais e/ou prescries de
regras e normas produzidas no seio das organizaes escolares, mas
antes de tudo a reflexo radical das mudanas desejadas envolvendo
os sujeitos que vivem a cotidianidade da escola.
Evidencia-se, deste modo, a necessidade de, segundo Silva Jnior
e Ferretti (2004), compreendermos as reformas educacionais na sua
concretizao, uma vez que elas no se esgotam em suas proposies. Elas so histricas, no constituem um todo hegemnico e
expressam interesses diferentes em todas as instncias. Para esses
autores, na escola que se condensa a materialidade do processo
educativo e apesar desta constituir-se com base em um ordenamento
jurdico, constitui-se principalmente pelos sujeitos que nela atuam.
Assim, apesar da pretenso do Estado de interferir, por meio das
reformas, na organizao escolar ele se esbarra em diferentes formas
de resistncias, conscientes ou no.
Mesmo compreendendo esses limites das reformas educacionais
e as contradies inerentes s propostas do MEC, agrada-nos a tentativa insistente dos documentos oficiais em dar nfase dimenso
31/03/2010 16:00:05
tico-humanista na formao do dentista. Ainda que esse salto qualitativo seja um processo a ser construdo (ou em construo?) e as
resistncias mudana sejam claras, preciso viver essa utopia e
lutarmos por ela! no sentido de formar profissionais que assumam,
nesse processo, a conscincia de si e das relaes humanas e sociais
das quais so sujeitos.
Essa reflexo nos convida a levantar algumas questes: o que
temos conseguido evoluir, no mbito da formao em Odontologia,
no sentido de contribuir com os processos formativos dos alunos
em sua dimenso tico-humanstica, hoje to valorizada nas polticas pblicas de Educao e Sade e no mercado de trabalho? Que
papel as avaliaes externas e internas desempenham no sentido
de aperfeioar essa dimenso da formao?
De acordo com Saul (1994), a nfase maior da avaliao tem sido
centrada nos produtos ou resultados, de modo que esse modelo
tecnolgico conduz facilmente a uma atividade avaliativa de carter
burocrtico. Quando o objetivo da avaliao compreender uma
situao onde interagem seres humanos com intencionalidades
e significados subjetivos necessrio considerar-se as diferentes
posies, opinies e ideologias mediante as quais os indivduos
interpretam os fatos e os objetivos e reagem nas diferentes situaes. Nesse sentido, a autora defende (SAUL, 1994, p. 61) a avaliao
emancipatria, caracterizando-a como um processo de descrio,
analise e crtica de uma dada realidade, visando transform-la. Ela
est situada em uma vertente poltico-pedaggica cujo interesse
primordial emancipador, visando promover a crtica, de modo a
libertar o sujeito de condicionamentos deterministas. Esse modelo
de avaliao est comprometido com o futuro, com o que se pretende
transformar, a partir do autoconhecimento crtico do concreto e
do real. Pode permitir que o homem, atravs da conscincia crtica,
imprima uma direo as suas aes nos contextos em que se situa.
nessa perspectiva que o presente trabalho se inscreve. Ao ter
clareza sobre os desvios da formao profissional em odontologia
na sua dimenso tico-humanstica, buscar a avaliao como um
instrumento indispensvel para a reorientao dos desvios ocorridos
31/03/2010 16:00:05
no processo de formao. Apenas a partir do conhecimento e de uma

reflexo crtica de tais desvios possvel aperfeioar o seu foco de
atuao, o aluno em formao, e, deste modo, fortalecer o sistema
de sade na qual ele atua, beneficiando a sociedade.
Para enfrentar as inmeras mudanas conjunturais do pas e
aquelas relacionadas ao campo de trabalho odontolgico e aos avanos cientficos da profisso, as instituies formadoras de recursos
humanos em Odontologia se defrontam, atualmente, com o grande
desafio de repensar o modelo hegemnico de formar dentistas.
Abarcar as dimenses tica, humana, social, epidemiolgica,
poltica, econmica e cultural, tradicionalmente excludas ou minimamente mobilizadas, requer um processo de discusso amplo e
radical dos atores que vivenciam a formao profissional, de modo
que, uma vez ocorrendo a apropriao dos conhecimentos que apontam para a necessidade de mudanas, estes possam empreender os
esforos para se vencer as barreiras historicamente e culturalmente
construdas sobre o papel social da profisso.
a partir da funo social e em razo dela que montada toda a
estrutura organizacional da escola. Essa estrutura vem sendo cada
vez mais posta em tenso pelas mudanas nos contextos sociais e
de produo do conhecimento, bem como pelas alteraes que so
solicitadas instituio escolar em vista de tais mudanas. (SILVA
JNIOR; FERRETTI, 2004, p. 64)
Zanetti (2004) sugere que a Odontologia est vivendo uma conjuntura que rene desafios de vrias ordens. Legados de um passado
artesanal, liberal, homogeneizante e unidimensionalizante que se
defrontam com uma perspectiva de futuro complexa, heterognea,
multicntrica e indeterminada. Os desafios, como Zanetti (2004)
afirma, so de diversas ordens e estes, em diferentes nveis, pressionam as instituies formadoras por mudanas que deem conta
de acompanhar a complexidade da conjuntura atual. No tendo
a inteno de abarc-los como um todo, apontamos na Figura 1
quatro dimenses percebidas como eixos norteadores para uma (re)
significao da formao do dentista contemporneo.
31/03/2010 16:00:05
O mercado de trabalho
odontolgico
As polticas pblicas de sade

bucal (DPNSB/SUS)
Formao
Profissional
As polticas pblicas de educao

(LDB/DCN)
Os conhecimentos cientficos acerca

do processo sade-doena bucal
Figura 1 - Eixos norteadores para a (re)significao da formao do cirurgio-dentista

contemporneo.
Fonte: Elaborado pelos autores
1. O mercado de trabalho odontolgico: O aumento da competitividade na esfera privada tem conduzido busca de
mecanismos concorrenciais, sendo o estabelecimento de
uma relao paciente-profissional pautada na tica, na comunicao e nos referenciais cientficos, afetivos, psicolgicos
e pedaggicos um dos principais mecanismos apontados.
(ZANETTI, 2004)
2. As polticas pblicas de sade: O Ministrio da Sade prope
como princpios norteadores da ateno a tica, o acolhimento e o vnculo, considerando o usurio em sua integralidade
biopsicossocial. Elas tm cobrado das instituies formadoras
um perfil profissional pautado em referenciais tico-humansticos, com habilidade comunicativa e responsabilidade
social, tendo como referncia o cuidado com os indivduos
e no a mera assistncia aos doentes. (BRASIL. Ministrio da
Sade, 2004)
3. As polticas pblicas de educao: As DCN, conforme j
explicitado, apontam que os Cursos de Graduao em Odontologia devem ter um perfil de egresso, pautado em princpios
ticos, legais e na compreenso da realidade social, cultural
e econmica do seu meio. (CONSELHO NACIONAL DE EDUCAO, 2002)
4. O conhecimento cientfico acerca do processo sade/doena bucal: Finalmente, o instrumental cientfico-tecnolgico,
por si s, no tem sido suficiente para responder a alta com-
31/03/2010 16:00:05
plexidade que envolve o processo sade-doena (BRASIL.

Ministrio da Sade, 2004), uma vez que o homem tem um
corpo que sofre reagindo fisiologicamente a toda uma
gama de influncias concretas do tipo emocional, cultural e
moral. (PESSOTTI, 1996, p. 443)
Com base nessas reflexes, surgiram algumas perguntas que
balizaram a organizao deste captulo: o documento que descreve
o projeto pedaggico dos cursos avaliados contempla essa dimenso
da formao? Como os alunos e os professores avaliam o estmulo ao
desenvolvimento da dimenso tico-humanstica em seu processo de
formao? Os discursos registrados no projeto pedaggico e evidenciados nas mensagens dos alunos e professores, de fato, emergem no
cotidiano das clnicas de ensino? Ao responder estas questes, este
trabalho prope-se a servir de subsdio para a reflexo da formao
profissional nos cursos avaliados.
percurso metodolgico
O presente captulo parte de um estudo de caso mltiplo de abordagem quantitativa e qualitativa, para o qual elegemos como campo
de pesquisa dois cursos de Odontologia da Bahia
Os cursos foram selecionados dentre os seis existentes no Estado da Bahia, com a inteno de garantir uma representao de
cada instncia administrativa, uma pblica e uma privada. A razo
principal para a seleo dos cursos foi o fato de que trs deles eram
novos, de maneira que a primeira turma ainda no se encontrava
na fase de finalizao do curso.
Para a coleta dos dados, optamos pela triangulao, um processo de comparar e contrastar informaes provenientes de fontes
diversas por diferentes mtodos e de mltiplos observadores.
Assim, os resultados referentes avaliao da dimenso ticohumanstica sero apresentados, tendo como base: (1) a anlise
do Projeto Pedaggico; (2) a percepo dos alunos e professores
acerca de como se d essa formao nos seus respectivos cursos;
e (3) a observao participante.
31/03/2010 16:00:05
anlise do projeto pedaggico

Para avaliar se os cursos tm uma proposta de organizao curricular
que valorize a dimenso tico-humanista na formao dos alunos foi
feita uma anlise dos seus projetos pedaggicos, buscando identificar se essa dimenso contemplada e de que maneira se evidencia.
Nesse sentido, a anlise foi focada nos componentes descritos no
corpo do projeto e nos planos das disciplinas anexados a este.
Percepo dos alunos

A populao de referncia que respondeu ao questionrio foi representada por todos os alunos (matriculados no semestre de coleta
dos dados), que estavam cursando a primeira disciplina com prtica clnico-ambulatorial (Grupo 1 4o ou 5o semestre); aqueles que
estavam cursando, aproximadamente, a metade dessas disciplinas
e aquelas com prticas coletivas (Grupo 2 7o e/ou 8o semestres); e
os que estavam cursando a ltima disciplina ambulatorial do curso
(Grupo 3 9o ou 10o semestre).
A anlise quantitativa das respostas dos alunos foi feita no programa estatstico Epi Info, verso 6.0, buscando estabelecer uma
estatstica descritiva (frequncia, porcentagem). Procedemos, tambm, a uma anlise qualitativa das questes abertas.
Percepo dos professores

Foram selecionadas 21 disciplinas do curso pblico e 26 do curso
privado, sendo excludas as disciplinas cujos professores no estavam
diretamente envolvidos em atividades prticas que incluam pacientes. Cada professor lotado nessas disciplinas recebeu uma numerao.
Procedido ao sorteio, a amostra foi composta por 17 professores
do curso pblico e 17 do curso privado, os quais participaram de
entrevistas no diretivas, sendo estas gravadas e transcritas.
A anlise dos dados obtidos nas trs tcnicas acima foi procedida
por meio da anlise de contedo temtica. (BARDIN, 1970)
Observao Participante
Para avaliar como se caracterizam, no cotidiano dos ambulatrios,
31/03/2010 16:00:05
as relaes sociais no que se refere dimenso tico-humanista,

elegemos a tcnica de observao participante em uma disciplina
de cada curso, sendo selecionada aquela que representava a ltima
disciplina com prticas ambulatoriais.
Os registros das observaes foram feitos em forma de notas
de campo em folhas numeradas, datadas e identificadas. Nestas,
eram anotados ocorrncias factuais, comportamentos emergentes, sentimentos, impresses, angstias e reflexes que emergiam
nessa interao.
Para a anlise dos dados, foi feita uma leitura das notas de campo,
procedendo a uma limpeza das observaes registradas, buscando-se
apresentar e discutir as situaes de acordo com os elementos de
anlise observados.
resultados e discusso
Apresentaremos aqui a mesma ordem descrita na metodologia.
anlise dos projetos pedaggicos

A seleo do Projeto Pedaggico como documento de anlise foi feita,
por entendermos que este o documento que mais reflete a intencionalidade do fazer educativo dos sujeitos de uma instituio de
ensino. Nesse sentido, pertinente reconhec-lo conceitualmente:
O Projeto Poltico Pedaggico um plano global da instituio.
Pode ser entendido como a sistematizao, nunca definitiva,
de um processo de planejamento participativo, que se aperfeioa e se objetiva na caminhada, que define claramente o
tipo de ao educativa que se quer realizar, a partir de um
posicionamento quanto sua intencionalidade e de uma
leitura da realidade. Trata-se de um importante caminho para
a construo da identidade da instituio como fruto de uma
dada concepo de mundo, de epistemologia, de educao.
(VASCONCELLOS, 2002, p. 17)
31/03/2010 16:00:05
O projeto pedaggico do curso pblico foi reelaborado com a

participao de representantes docentes e discentes na 1a Oficina
do Projeto Pedaggico do curso, realizada no dia 01/10/2002. O documento estruturado em quatro captulos: (I) caracterizao da
instituio e atividades desenvolvidas no curso; (II) caracterizao
do curso, perfil esperado do egresso e as competncias, habilidades
e vivncias trabalhadas no curso para compor esse perfil; (III) organizao da estrutura curricular em seus aspectos gerais, integralizao
curricular, atividades complementares e; (IV) Avaliao institucional
docente e discente.
O captulo II faz referncia a uma formao que evidencia os valores ticos, reafirmando a inteno de buscar estimular nos alunos
o desenvolvimento de um comportamento que esteja em sintonia
com esses valores.
Prope ainda uma valorizao da dimenso humana, na medida
em que sugere como competncias a serem adquiridas pelos alunos
situarem-se como sujeitos de sua aprendizagem, compreendendose como um ser social, ativo e historicamente situado e que, alm
disso, reconhea a pessoa em cuidado como um ser biopsicossocial.
Na proposta de avaliao, sugere que o aluno deve ser analisado
de forma integral, em sua relao com o grupo, com os pacientes
e com as disciplinas.
Em relao ao perfil de profissional a ser formado no curso, a
proposta foi construda de acordo com as DCN:
Formar um Cirurgio-Dentista generalista, com valores ticos, sensibilidade social, capaz de atender s necessidades
mais prevalentes da populao. Cientificamente preparado
para realizar o diagnstico, o planejamento e a execuo de
procedimentos preventivos e curativos, capacitado a utilizar
tecnologias e a trabalhar em equipe.
Essa dimenso tambm contemplada quando o documento

prope a aquisio, por parte dos alunos, das seguintes habilidades:
comunicao e interao com o paciente, trabalhadores da rea de
sade, grupos de indivduos e organizaes; e aquisio de conheci-
31/03/2010 16:00:05
mentos para solucionar problemas clnicos que sejam do interesse

do indivduo e da comunidade.
Nessa ltima proposio os indivduos e/ou comunidade devem
conhecer tais problemas, desejar resolv-los e consentir com as
solues propostas. Isso implica que os conhecimentos mobilizados
no devam ser apenas tcnicos, mas tambm aqueles que envolvam
a comunicao e os princpios da Biotica, nesse caso, o princpio
da autonomia.
No captulo III quando so apresentados os trs tipos de contedos
essenciais para a formao do perfil desejado, o documento se refere
a [...] contedos complementares voltados para ampliar o leque de
conhecimentos correlatos e permitir uma melhor formao tica,
humanstica e intelectual.
Ao referir-se abrangncia dos trs eixos tericos e/ou prticos
das diversas reas, evidenciado que nas matrias de Cincias Sociais
e Odontologia em Sade Coletiva so trabalhados contedos que
visam compreender os determinantes sociais, culturais, comportamentais, psicolgicos, antropolgicos, ecolgicos, ticos e legais,
nos nveis individual e coletivo do processo sade-doena.
A Central de Atendimento ao Paciente, elemento chave na organizao de um atendimento humanizado com base no acolhimento,
informao, triagem, agendamento e acompanhamento dos usurios,
a despeito de ter sido criado em 1996, reconhecida no prprio documento como um servio que enfrenta dificuldades. Entretanto, ao
reconhecer essa fragilidade, os participantes da 1a Oficina do Projeto
Pedaggico do curso compuseram uma comisso para realizar um
diagnstico da situao e encaminhar propostas no sentido de sua
reestruturao.
O documento se refere criao de uma Comisso de tica em
Pesquisa do prprio curso que se encontra em processo de credenciamento. Esta uma iniciativa importante para a formao ticohumanstica dos alunos, visto que, ao submeter os seus projetos de
pesquisa anlise dessa comisso, eles devem sempre estar atentos
para a dimenso do cuidado com os sujeitos participantes.
Estruturalmente, o projeto pedaggico do curso privado tem
uma apresentao inicial onde traz uma perspectiva mais ampla
31/03/2010 16:00:05
da instituio na qual o curso de Odontologia est inserido. Esta

seguida de uma apresentao especfica do curso que contempla; (1)
a introduo na qual descreve um histrico da profisso; (2) a justificativa da necessidade social de implantao do curso na Bahia a qual
se remete a um extenso marco terico; (3) a proposio de trabalhar
com ensino (graduao e ps-graduao), pesquisa e extenso; (4) os
objetivos do curso, tendo como base as DCN; (5) os aspectos gerais
de organizao do curso; e (6) o sistema de avaliao (institucional,
docente e discente). Os programas das disciplinas disponibilizados
para anlise foram atualizados no segundo semestre de 2004.
Ao referenciar a viso que a instituio tem de educao e a sua
misso dentro de um contexto social, o projeto pedaggico do curso
se apoia, dentre outros conceitos, na ideia de educao voltada
para o desenvolvimento do ser humano. Confirma essa tendncia
quando, na fundamentao terica, toma como referncia a perspectiva humanista, destacando uma preocupao com o homem
individual e coletivo.
Assim, ao descrever a estrutura curricular, o documento evidencia
que os aspectos relativos promoo de sade e formao humanstica
sero estruturados nas diversas disciplinas e constituir-se-o no
referencial filosfico de ensino-aprendizagem do curso (grifos do
documento).
O perfil de profissional a ser formado pelo curso aparece diludo
em vrios tpicos (proposio, objetivos gerais e objetivos especficos) do projeto pedaggico. Dada a grande extenso dos enunciados,
selecionamos o texto abaixo que explicita bem esse perfil:
[...] formar profissionais Cirurgies-Dentistas com slidos
conhecimentos tcnico-cientficos e da realidade objetiva
e concreta do meio social, econmico e cultural onde iro
exercer a sua profisso, plenamente conscientizados das suas
responsabilidades e do seu papel como agentes de sade, onde
as reflexes ticas devero ser as determinantes dos seus
comportamentos e das suas decises; alm da viso social,
cientfica e tcnica da profisso, o Curso dever estimular a
formao humanista do aluno para melhor complementar o
seu relacionamento com o paciente e a sociedade.
31/03/2010 16:00:05
O documento evidencia que o curso dispe de um apoio pedaggico que prope um acompanhamento discente constitudo por
professores orientadores que, atravs de um trabalho tutorial, faro
o papel de elementos facilitadores da atividade acadmica. Essa atividade conta com a assessoria de professores de pedagogia e psicologia.
Esta uma iniciativa que valoriza a dimenso tico-humanstica da
formao por viabilizar um acompanhamento mais individualizado
do aluno, possibilitando a emergncia dos determinantes pessoais
que interferem na sua formao.
A proposta de avaliao da aprendizagem referencia que esta deve
se apoiar em uma postura humanista, tomando a avaliao como
um instrumento de crescimento e aperfeioamento do ato educativo,
deixando de ter um carter punitivo e discriminatrio.
Em relao ao corpo docente, o documento prope que este deve
considerar o aluno como sujeito, com individualidade e senso crtico,
ajudando-o a superar eventuais dificuldades e preocupando-se com
a formao geral e humanstica dos alunos, dando nfase ao bemestar das pessoas.
Na anlise dos programas das disciplinas buscamos verificar em
todos os itens da sua estruturao (ementa, objetivos, contedos e
avaliao), se existiam unidades de registros (palavras, frases) que
explicitassem a inteno dos professores de trabalharem a dimenso
tico-humanstica. Desse modo, o Quadro 1 sintetiza os resultados
encontrados para ambos os cursos, explicitando que, dos 113 programas analisados, 38,1% contemplam essa dimenso, sendo que
esta proporo menor para o curso pblico (32,1%) quando este
comparado ao curso privado (43,3%).
Disciplinas por curso
Curso Pblico
Curso Privado
Total
Freq.
(%)
Freq.
(%)
Freq.
Explicitam
17
32,1
26
43,3
43
(38,1)
No explicitam
36
67,9
34
56,7
70
(61,9)
Total
53
100.0
60
100.0
113
(100.0)
Dim. tico-hum.
(%)
Quadro 1 Frequncia e porcentagem de disciplinas dos cursos pblico e privado

que explicitam ou no a inteno de trabalhar a dimenso tico-humanstica.
31/03/2010 16:00:05
As disciplinas bsicas (biolgicas) e pr-clnicas foram as que

menos registraram essa inteno, sendo essa mais explicitada pelas disciplinas das reas de Cincias Humanas e Sade Coletiva e
algumas disciplinas clnicas, com destaque para a Odontopediatria
e para a Dentstica.
Com base nesses registros, consideramos que os projetos pedaggicos de ambos os cursos tm uma intencionalidade de contemplar a
dimenso tico-humanista da formao, sendo que o curso privado
a explicita mais frequentemente, tanto na estruturao do projeto
como nos programas das disciplinas.
No projeto pedaggico do curso pblico, essa menor evidncia
pode ser explicada por duas razes: primeiro, porque um documento mais sucinto (objetivo), segundo, pelo fato de que muitos dos
programas das disciplinas encontram-se desatualizados, podendo
no estar reproduzindo o que, de fato, vem sendo trabalhado, uma
vez que nos discursos dos sujeitos envolvidos no estudo fica bem
evidente que essa dimenso est sendo valorizada.
Ao discutir a humanizao da educao em Odontologia, Moyss
(2003, p. 93) acena que:
[...] embora alguns projetos pedaggicos, recentemente,
incorporem essa dimenso legal, poltica e social, isso no
corresponde automaticamente prxis das instituies, no
que se refere, tanto sua programao curricular, quanto
sua reproduo ideolgica subjacente, que continua privilegiando a formao de um profissional para a prtica liberal
tradicional e para o atendimento de elites econmicas.
Desse modo, h uma distncia entre o que est escrito nas diretrizes e nos projetos pedaggicos dos cursos e a formao prtica
do profissional, especialmente da sade, em que os saberes tcnicos
acabam sobrepujando os saberes ticos e humanos. (COSTA, 2007)
Essa valorizao da dimenso tico-humanista, ainda que possa
parecer uma novidade proclamada pelas DCN e recentemente pelos
projetos pedaggicos dos cursos, de fato, no o , uma vez que essas
inovaes j vm sendo propostas h dcadas. Paixo (1979, p. 5),
31/03/2010 16:00:05
ao descrever os objetivos da FOUFMG, formulados em 1968, cita que

uma das caractersticas do cirurgio-dentista que o curso pretendia
formar era que este tivesse o paciente como uma unidade biopsicossocial, de modo a praticar uma odontologia humanstica.
O que se observa, entretanto, que essas propostas tm sido mais
discutidas e capilarizadas no mbito dos cursos de Odontologia, seja
por meio de oficinas que foram sendo realizadas em vrios cursos
pblicos e privados do pas, em uma parceria da ABENO com o MEC,
ou mediante iniciativas das prprias instituies que tm buscado
atualizar-se em ateno s DCN para se organizarem com vistas s
avaliaes institucionais.
pertinente reforar os limites do institudo porque, segundo Vasconcellos (2002, p. 16), entre o sistema educacional normalmente
propulsor de reformas e a prtica das escolas nas quais se esperam
que as reformas aconteam, existe sempre a dimenso intermediria
(meso) da escola. Ainda assim, essa capilarizao positiva porque,
nesses processos de reflexo, alguns sujeitos podem ser sensibilizados a promover mudanas em direo a uma formao que equilibre
as dimenses tcnica e tico-humanstica. a possibilidade de que
pequenas brechas possam ir se abrindo, mudando, paulatinamente,
o discurso e (re)significando as prticas, dentro das possibilidades
de cada contexto histrico, institucional e pessoal dos sujeitos que
fazem o cotidiano dos cursos.
percepo dos alunos acerca do estmulo

dimenso tico-humanstica
Dos 337 alunos que receberam o questionrio, 283 (84,0%) fizeram a
devoluo, sendo que o curso pblico apresentou maior proporo
de recusa (22,7%) quando comparado ao curso privado (9,1%).
Quando solicitados a avaliarem se o curso estimula a dimenso
tica, quase 100% dos alunos respondem que sim e mais da metade
deles (52,7%) identificam esse estmulo na maioria das disciplinas.
No curso pblico, uma maior proporo de alunos (66,1%) percebem
este estmulo na maioria das disciplinas quando comparados aos do
curso privado (49,7%).
31/03/2010 16:00:05
Na anlise por subgrupos, quando os alunos do curso privado

esto em estgios mais avanados da formao eles tendem a perceber mais essa dimenso sendo trabalhada em todas as disciplinas
(PvG1 36,8%; PvG2 48,2%; PvG3 50%). J no curso pblico, curiosamente, uma proporo maior de alunos (40%) do G1 percebe esse
estmulo em todas as disciplinas quando comparados ao G2 (31%) e
G3 (32,1%). A curiosidade est no fato de que, at essa fase do curso
(4o/5o semestres), a maioria das disciplinas cursadas foi da rea Bsica,
a qual, tradicionalmente, aborda pouco essa questo. Uma possvel
explicao a emergncia da tica na pesquisa envolvendo seres
vivos, fazendo com que os alunos, de fato, possam estar entrando
em contato com questes ticas desde o incio do curso.
No estudo de Amorim (2002) realizado na FOUFRN, a autora registrou que falta ao ensino da tica o carter de transversalidade,
uma vez que essa temtica trabalhada em uma disciplina do 8
semestre. Esta, por sua vez, assume uma abordagem apenas de
carter deontolgico, determinando uma concepo normativa da
tica presente na formao do odontlogo.
Os resultados do presente trabalho j revelam mudanas importantes nos cursos analisados, uma vez que a proposta do MEC considerar a tica como um tema transversal nos projetos pedaggicos.
Ao justificar as respostas referentes ao estmulo da dimenso tica,
os alunos registram essa transversalidade, entretanto mencionam
uma lacuna entre a teoria e a prtica:
O enfoque dado beneficncia e no maleficncia, tica e
ao bem estar est consolidado, pois desde o incio do curso
o assunto vem sendo abordado (aluna do curso privado, no
171, 21 anos, 7o semestre).
Em quase todas as disciplinas os professores passam essas caractersticas, mas o que ocorre muitas vezes que na prtica
alguns professores agiam diferente do que era dito na teoria
(aluna do curso pblico, no 124, 23 anos, 9o semestre).
A partir da maioria dos depoimentos foi possvel reconhecer

quatro abordagens feitas pelo grupo: (1) eles percebem a importncia
dessa dimenso na formao acadmica e reconhecem que o curso
31/03/2010 16:00:05
a valoriza; (2) eles evidenciam em suas falas conhecimentos acerca

dos princpios da Biotica; (3) eles reconhecem que a maioria das
disciplinas e dos professores se preocupa com essa dimenso da
formao e aborda temas relativos tica, tanto na teoria como
na prtica. Entretanto, muitos alunos destacam que determinadas
disciplinas e professores tm um compromisso maior com esses
temas; (4) ainda que a maioria dos alunos reconhea que estes so
temas evidenciados pelos professores, muitos deles denunciam a
falta de tica por parte de alguns.
Quando se trata da percepo sobre o estmulo dimenso humana no curso, a quase totalidade dos alunos (99,6%) acredita que
so estimulados a desenvolverem essa dimenso e uma elevada
proporo de alunos (77,9%) acredita que esse estmulo acontece ou
em todas as disciplinas (23,1%), ou na maioria delas (54,8%).
Ao justificar essa resposta, os alunos trazem depoimentos que sugerem que os cursos tm estimulado a dimenso humana da formao:
Os professores nos orientam de maneira clara, desde o incio
do curso, que devemos, antes de executar um procedimento,
agir de acordo com os princpios ticos que regem a profisso,
alm de propiciar um atendimento humanizado (aluno do
curso pblico, no 125, 25 anos, 10o semestre).
Apesar de alguns professores ainda no terem demonstrado
trabalhar dando importncia ao paciente, a maioria no age
dessa forma, o respeito ao paciente como ser humano, ainda
mais valorizado (aluna do curso privado, no 240, 27 anos,
10o semestre).
A despeito disso, as falas tambm evidenciam que, alm do discurso tico-humanstico no estar consolidado nos cursos de uma forma
transversal, muitas vezes a prtica no corresponde ao discurso.
percepo dos professores acerca do

estmulo dimenso tico-humanstica
Quando foi perguntado aos professores se eles se percebiam estimulando a dimenso tica e humana na formao dos alunos, a grande
31/03/2010 16:00:06
maioria deles acredita que est exercendo esse papel. Essa autopercepo dos professores coincide com as respostas dos alunos quando
quase 100% destes percebem esse estmulo em sua formao.
No estmulo dimenso humanista aparece, com frequncia,
nos depoimentos uma compreenso dessa dimenso que remete
ao cuidado, ao acolhimento e ao vnculo, sendo que, segundo eles,
algumas habilidades so requeridas dos profissionais para uma atuao dentro desses princpios, tais como: saber escutar; saber lidar
com sentimentos (habilidade emocional); compreender as limitaes
socioeconmicas dos pacientes; estar atento e respeitar a dor do
paciente, seja ela fsica ou emocional; e ter pacincia, cordialidade,
tolerncia, carinho, afeto e respeito pelo paciente. Essa perspectiva de humanizao que os professores trazem apresentada por
Sgreccia (2002, p. 111):
Fala-se hoje de humanizao da medicina, mas sob este
termo se escondem conceitos diversos [...] h quem entenda
essa expresso como a importncia da relao intersubjetiva
entre o paciente e o pessoal da sade diante da invaso da
tecnologia ou da massificao dos hospitais; h quem a entenda como a introduo dos estudos humansticos, especialmente da psicologia, nos planos de estudo das Faculdades de
medicina; mas, o significado mais profundo dessa tendncia
[...] consiste no reconhecimento da dignidade de pessoa em
todo ser humano.
No estmulo dimenso tica, a compreenso para a maioria dos

professores quase que exclusivamente centrada na tica principialista. Eles citam os princpios da biotica, enriquecidos de exemplos
que enfatizam as formas pelas quais eles buscam concretizar na
prtica esses princpios, ainda que este no seja um contedo formal
das suas disciplinas. A despeito das manifestaes de cumprimento
desses princpios, as dificuldades diante dos dilemas ticos e os
equvocos cometidos so evidenciados:
[...] no ambulatrio uma atuao onde existe uma imposio deles, n, dos alunos, onde a autonomia do paciente t
31/03/2010 16:00:06
comprometida, onde a beneficncia, de uma forma geral,

comprometida porque o beneficio ao paciente s vezes no
pra o paciente, para o aprendizado do aluno. (Professor do
curso privado, mestre em Deontologia e Odontologia Legal)
Os referenciais que os professores usam para estimular os alunos

em relao ao desenvolvimento da dimenso tico-humanstica da
formao so aqueles, tambm, relatados no discurso dos alunos,
ou seja, fidelizao da clientela, se proteger de problemas jurdicos,
valorizao do ser humano e conseguir alcanar a confiana do
paciente e a sua adeso ao tratamento.
Ao se referir s suas tentativas de trabalhar essas dimenses, muitos professores revelam o quanto complexo educar o aluno nesse
sentido. Segundo eles, preciso uma vigilncia constante nas atividades clnicas para conseguir um certo controle dos deslizes e infraes cometidos, do desejo excessivo de executar procedimentos que
desejam aprender, muitas vezes, ferindo os princpios bioticos.
A gente procura sempre referenciar isso [...] criticar , n, algumas
posturas, a gente sempre t vigiando o que t acontecendo,
infelizmente, isso notrio, a gente no consegue ter vigilncia
100% nos alunos porque so 60 pessoas, 60 alunos dentro de
um ambulatrio, no h professores suficientes pra ter uma
vigilncia constante, n, a gente vai passando, olhando, mas,
infelizmente, acontecem colocaes erradas de vocabulrios, n,
palavras mal colocadas e at procedimentos no to ticos, no
to indicados. (Professor do curso privado, mestre em Prtese)
Esse depoimento traz uma reclamao frequente dos professores,

no que se refere dificuldade de acompanhar todos os alunos nos
atendimentos, pela prpria dinmica dos ambulatrios: demandas
tcnicas, problemas de instalaes e de recursos materiais, nmero
de alunos, entre outros. Para muitos deles, sobretudo os do curso
privado, uma das maiores dificuldades enfrentadas nesse sentido,
a proporo desfavorvel na relao professor/aluno nos mdulos
de prticas.
31/03/2010 16:00:06
Na manifestao que se segue emerge o problema contemporneo

da sociedade, no que se refere s perdas de valores ticos e humanos.
Ao refletir sobre essa questo, a professora de Sade Coletiva chama
a ateno para a dificuldade que os professores dessa rea tm de
fazer valer o seu discurso com base nesses valores:
[...] A gente capaz de formar esse profissional cuidador, se ele
capaz de no ver apenas restaurao e curativos e sim o outro que vai receber um cuidado que merece esse cuidado geral
[...] Esse discurso nosso, muitas vezes, se perde na dimenso
tcnica que ele no d muita ateno nesse momento ainda,
a essa dimenso humana, sabe, essa dimenso to profunda
que [...]. Mas assim... como t uma transformao ainda em
curso, ele no se d conta da riqueza desses comentrios. A
gente tem a dificuldade de usar esse discurso a do ticohumanista, isso perdeu o valor, no mais valor social ser
humano ou ser tico e a voc vai por outros caminhos pra
chegar nisso, voc vai pela ateno, voc vai por tecnologias
preventivas, voc vai pelo controle social, pela democracia,
voc no vai pelo aspecto que o central. (Professora do curso
pblico, doutora em Sade Pblica)
Ao se dar conta da dificuldade de mobilizar os alunos usando

como referncia os valores ticos e humanos, por si s o que talvez
possa trazer embutida a ideia de um discurso piegas a professora
sugere o uso de um discurso cientfico que possibilite a emergncia
dessas dimenses, de modo que essas possam ser trabalhadas nas
entrelinhas do processo educativo.
Essa uma alternativa, entretanto, necessrio vencer o preconceito de que nas universidades s se deva discutir tecnocincia,
at porque a prpria cincia na rea de sade tem exigido, cada vez
mais, o aprendizado sobre os sentimentos e emoes dos pacientes
e dos prprios profissionais.
Ao analisar a voz dos professores, fica claro que existe uma valorizao relativa s questes ticas e humanas na formao profissional,
entretanto, emergem em seus discursos inmeras dificuldades pessoais e organizacionais de lidar com essas questes. Em vista disso,
31/03/2010 16:00:06
parece necessria a promoo de debates nessa rea, no sentido

de produzir reflexes que ajudem os professores a conduzir essa
dimenso da formao dos alunos com bases mais slidas do que
apenas o desejo e a intuio.
observao participante
na prtica clnica que o futuro profissional aprende, exerce aes,
assimila condutas e adquire hbitos. Dessa maneira, os ambulatrios se tornam espaos privilegiados, no s para o aprendizado
tcnico, mas tambm para o exerccio da reflexo tica dos futuros
profissionais. (GONALVES; VERDI, 2007, p. 756)
Lamentavelmente, o ambulatrio do curso pblico, no qual a
observao foi conduzida apresentava condies precrias de instalaes e equipamentos. Diante dessas dificuldades, ficava evidenciado
o quanto tais condies comprometiam o aprendizado dos alunos
e o atendimento cuidadoso aos pacientes.
Referente s instalaes e organizao da demanda, o curso
privado oferecia condies mais favorveis, tanto para o aprendizado
dos alunos como para uma ateno ao usurio mais resolutiva e mais
humanizada, principalmente no que diz respeito ao acolhimento e
s condies de biossegurana.
A ambiguidade que envolve esses registros que, se por um lado,
os alunos do curso pblico enfrentam muitas deficincias que comprometem em alguns sentidos a sua formao e a ateno aos usurios, por outro, algumas dessas deficincias abrem espaos de dilogo
entre os alunos e os usurios. Essa comunicao maior tambm
estimulada pelo fato de eles atenderem sozinhos e no em dupla.
J no curso privado, a despeito dos alunos terem mais condies
de executarem os procedimentos tcnicos eles se mantm mais envolvidos com isso e desenvolvem menos a habilidade comunicativa
com os pacientes. Isso agravado pelo fato dos alunos trabalharem
em dupla, uma vez que eles conversam muito entre si, excluindo
o paciente do contexto comunicativo. Isso no quer dizer que no
curso pblico no ocorra esse tipo de transgresso, mas ela ocorre
com menor frequncia.
31/03/2010 16:00:06
Em ambos os cursos, a ateno com a biossegurana varia de

aluno para aluno, alguns so aparentemente bem cuidadosos, outros
negligenciam esses cuidados. Esse comportamento perpassa pelo
desenvolvimento da dimenso tico-humanstica do aluno, uma vez
que ambos os cursos trabalham os contedos tericos acerca dessa
temtica. O aluno que burla a biossegurana, expondo os usurios a
riscos de contaminao, o faz no por desconhecimento das tcnicas
e dos riscos, mas pela falta de valor atribudo ao cuidado com o
ser humano e com a tica profissional.
No que se refere observao de situaes que evidenciam prejuzos ao paciente ou o no cumprimento do princpio biotico da
no-maleficncia (erros profissionais), salvo aqueles referentes
biossegurana, foram poucas as observaes feitas no ambulatrio e,
curiosamente, em nenhuma delas houve uma tentativa de aproveitar
as situaes para refletir com o aluno o problema e a sua soluo do
ponto de vista tico. Isso evidencia o que, segundo Correa (1997, p.2),
uma preocupao filosfica antiga, ou seja, de que nem sempre
existe uma harmonia entre a tica ensinante (ethica docem) e a tica
praticada (ethica utens).
Muitos professores, ao orientar os alunos, sequer se dirigem
ao paciente para cumpriment-lo, do as explicaes pertinentes
ao procedimento tcnico ou fazem intervenes diretamente na
boca dos pacientes, referindo-se a estes, quase sempre, na terceira
pessoa como se eles estivessem ausentes do contexto. Essa conduta
evidencia a objetualizao do paciente, caracterizando-o como
mais um instrumento de ensino, um exemplo captado para a vida
profissional, conforme registrado por Unfer (2000, p. 107). A autora
revela que um dos aspectos que mais chamou a sua ateno na fala
dos dentistas entrevistados em seu trabalho foi a maneira como
eles se referem aos usurios dos servios pblicos, ou seja, como
fichas de atendimento, denotando um sentido material totalmente
desvinculado do ser humano que busca o atendimento.
Muitos dos alunos no sabem aproveitar a anamnese para conhecer os pacientes, esse momento acaba sendo rotinizado, muitas
vezes desprezando-se registros importantes que os pacientes deixam
escapar em suas tentativas de deixar-se conhecer. Para Souza (2004,
31/03/2010 16:00:06
p. 210), o problema reside no fato de que para os mdicos importante apenas ouvir aquilo sobre o qual eles podem intervir atravs
do conhecimento mdico, no sendo casual, portanto, que uma das
mais corriqueiras lies dadas no ambulatrio mostrar indiferena
para com os problemas pessoais dos pacientes.
As informaes subjetivas, as pistas dadas por eles sobre o seu
estado emocional, problemas sociais ou problemas de sade que,
mesmo no tendo relao direta com a sade bucal, os desestruturam emocionalmente so deletadas por muitos alunos. Alguns deles,
inclusive, no sabiam sequer o nome do paciente que iria atender
ou estavam atendendo.
Alguns episdios registrados nos ambulatrios evidenciam a falta
de sensibilidade de alguns professores e alunos de compreenderem
a dimenso emocional dos pacientes, de modo que eles mascaram
essa incompreenso por meio de brincadeiras. Ao observar situaes de atendimento mdico em um ambulatrio de cardiologia,
Souza (2004, p. 210-213) revela que foram inmeras as lies de
indiferena e insensibilidade que assistiu e que muitos mdicos,
ignorando as aflies dos pacientes, contavam as suas histrias em
tom de zombaria.
Ao analisar a percepo de dentistas do sexo feminino do Servio
Pblico Odontolgico da Sucia acerca do trabalho em sade, Hjalmers, Sderfeldt e Axtelius (2006) registraram que os profissionais
comprometidos com questes morais percebem uma grande diferena entre o ideal e o real, no que se refere aos valores morais que
norteiam os processos de trabalho em sade.
No presente estudo, a prtica avaliada nos ambulatrios sofre
diversas influncias para emergir, muitas vezes, diferente da imagem
idealizada pelos sujeitos envolvidos na pesquisa. Dentre essas influncias, destacam-se: as limitaes pessoais de alunos, professores
e usurios e as dificuldades materiais (principalmente no curso
pblico), institucionais (nmero de professores, organizao da
unidade de triagem, limites na organizao das disciplinas) e sociais
(dificuldade de acesso pela demanda reprimida). O desafio, ento,
compreender essas limitaes e fazer um exerccio dirio de aproximao entre a teoria e a prtica.
31/03/2010 16:00:06
Nesse sentido, Vasconcellos (2002) explicita que mudar a prtica

educativa implica alterar concepes enraizadas e, sobretudo, enfrentar a roda viva j existente. Segundo o autor, exatamente no
momento dessa tentativa de mudana que se evidencia a fragilidade
das nossas teorias e da nossa organizao. Isso quer dizer que existem
outros condicionantes que no apenas o terico para a emergncia
das nossas prticas. Nesse caso, o papel da teoria deve ser apontado
como um meio de captar os determinantes e o movimento do real,
para nele intervir.
Ainda que tenha sido observado nos comportamentos de muitos
alunos e professores uma predisposio para lidar com os pacientes
de uma forma cuidadosa, as observaes do cotidiano das clnicas
revelam, em muitos momentos, que os valores ticos e humanos, to
evidenciados nos discursos desses sujeitos, parecem ainda apresentar
algumas brechas que precisam ser apontadas, refletidas e (re)significadas para que a dimenso tico-humanista da formao, aos poucos,
possa se deslocar da inteno ao gesto. Nesse sentido, avaliaes
internas de contexto tornam-se instrumentos fundamentais para a
reflexo crtica da prtica e para a busca do seu aperfeioamento.
consideraes finais
preciso avaliar a que distncia a escola se encontra do horizonte
almejado, ou seja, fazer um diagnstico da realidade para definir,
por meio da programao, os passos a serem dados no sentido de
diminuir essa distncia. (VASCONCELLOS, 2002, p. 27)
Na anlise dos projetos pedaggicos dos cursos, est claro que
estes explicitam o desejo de formar profissionais com referenciais
tico-humansticos consistentes. Do mesmo modo, alunos e professores tm a percepo de que essa dimenso vem sendo trabalhada
nos cursos. Entretanto, o confronto com a realidade dos ambulatrios acena para uma prtica carente de reflexes e mudanas, tanto
das condies de trabalho (sobretudo no curso pblico) como de
posturas relacionais mais qualificadas, num esforo de diminuir
a distncia entre o institudo e o instituinte. Nesse sentido, este
31/03/2010 16:00:06
trabalho pode ser um instrumento de reflexo til para ambos os

cursos analisados.
Ainda que os professores relatem estar trabalhando a dimenso
tica no cotidiano dos ambulatrios, muitos revelam as dificuldades
e tentativas frustrantes para concretizar a inteno de formar profissionais com valores ticos. Para eles, muitos alunos so refratrios
a essas mensagens, de modo que, os valores construdos ao longo
de suas vidas, destacadamente, no mbito familiar, so importantes
determinantes nas atitudes assumidas. Assim, eles revelam as suas
limitaes em contribuir com a formao de alguns alunos em sua
dimenso tico-humanstica.
A despeito disso, fundamental a implementao de projetos
que criem um clima favorvel ao desenvolvimento de valores e
compromissos desejados na formao profissional (LUCAS, 1995),
necessrio transformar e implantar novos currculos, incluir de
forma transversal, temas ligados tica, ao acolhimento e humanizao, que despertem a sensibilidade social no aluno. preciso
investir na formao de professores, os maiores responsveis pelas
transformaes almejadas e sem os quais nenhuma mudana ocorrer, ainda que se elaborem mil novas diretrizes e mil novos projetos
pedaggicos. (COSTA, 2007)
Ainda que tenha sido evidenciada uma lacuna entre o ideal desse
novo discurso e o real do cotidiano dos ambulatrios, o estudo
revela que a formao profissional vive uma fase de transio entre
a histrica hegemonia da tecnocincia e a busca do equilbrio entre
as duas dimenses, a tcnica e a tico-humanstica, compreendendo
ambas como imprescindveis para a caracterizao de um perfil
profissional competente.
pistas para balizar as atitudes de

professores e alunos numa perspectiva
de formao tico-humanstica...
Respeitar, compreender e dar continncia aos medos, anseios,
angstias e desejos dos pacientes.
Evitar brincadeiras perversas, com os pacientes com suas
31/03/2010 16:00:06
histrias de vida e contextos de atendimento.

Dirigir-se, antes, pessoa do paciente e no sua boca
cumprimentar, chamar pelo nome, dialogar, olhar no olho,
tocar com delicadeza.
Valorizar a histria de vida e as informaes registradas nos
pronturios, remetendo-se a elas para compreender melhor
as atitudes dos pacientes.
Agir de modo que o seu aprendizado tcnico, jamais, se sobreponha s necessidades do paciente.
Dialogar com os pacientes, estabelecer uma verdadeira comunicao com eles, transformar a anamnese em uma prosa que promova vnculos e no em registros impessoais e
infrteis.
Sensibilizar-se em relao s dificuldades financeiras, de
deslocamento e de negociaes no trabalho enfrentadas
pelos pacientes. Nesse sentido, a despeito da dinmica dos
ambulatrios, buscar atender os pacientes dentro do horrio programado ou dar uma satisfao em casos de atraso
ou, ainda, se comunicar com os pacientes em casos de no
comparecimento.
Diante de situaes de erros (maleficncia), jamais perder a
oportunidade de refleti-los em sua dimenso tico-humanstica, j que, habitualmente, a maior preocupao com a
dimenso tcnica.
Fazer um esforo dirio de no objetualizar os pacientes.
Evitar conversas paralelas. O paciente, durante o atendimento,
deve ser o centro da ateno do aluno.
para finalizar...
No existe nada de extraordinrio em trabalhar a nossa dimenso
tico-humanstica. Esse estmulo deve ser um exerccio dirio... No
so apenas palavras, so aes...
Basta apenas ser cuidador...
31/03/2010 16:00:06
Basta apenas transformar os atendimentos em encontros humanos,

onde o homem-dentista cuida do homem-paciente...
Basta apenas dar resolutividade s necessidades dos pacientes, acolher os seus desejos, sem negar a realidade...
Basta apenas estimul-los a pensar que o acesso ao atendimento
pblico no um privilgio, mas um direito constitucional de cada
cidado brasileiro...
Basta apenas tratar pelo nome, olhar nos olhos, tocar com carinho
e respeito, fazer uma escuta sensvel do mundo da vida que os
pacientes trazem para o atendimento...
Basta apenas no separar os pacientes por classes sociais e econmicas os que ns atendemos aqui e os que vamos atender em
nossos consultrios porque, indistintamente, todos so cidados,
merecedores e dignos da nossa ateno e cuidado.
referncias
AMORIM, C.P.C. Nos labirintos da vida: a(bio)tica na formao de odontlogos
(a viso de docentes). 2002. Dissertao (Mestrado) Centro de Cincias
Sociais da Sade, Universidade Federal do Rio Grande do Norte, Natal.
BARDIN, Laurence. Anlise de contedo. Lisboa: Edies 70, 1970.
BARREYRO, Gladys Beatriz; ROTHEN, Jos Carlos. SINAES contraditrios:
consideraes sobre a elaborao e implantao do Sistema Nacional de
Avaliao da Educao Superior. Educao & Sociedade, v. 27, n. 96, p. 955-977,
out. 2006. Disponvel em: <www.scielo.br>. Acesso em: 04 jul. 2009.
BRASIL. Decreto no 2.026, de 10 de outubro de 1996. Estabelece
procedimentos para o processo de avaliao dos cursos e instituies
de ensino superior. Dirio Oficial da Unio, 11 de outubro de 1996 Seo
1- p. 27839. Disponvel em: <http://www.planalto.gov.br/ccivil_03/decreto/
Antigos/D2026.htm>. Acesso em: 19 nov. 2002.
BRASIL. Lei n 10.861 de 14 de abril de 2004. Institui o Sistema Nacional de
Avaliao do Ensino Superior e d outras providncias. 2004. Disponvel
em: <http://www.andes.org.br/imprensa/Uploads/LEI10861.pdf>. Acesso em:
19 nov. 2006
31/03/2010 16:00:06
BRASIL. Ministrio da Sade. Secretaria de Ateno Sade. Diretrizes da

poltica nacional de sade bucal. Braslia, DF, 2004. Disponvel em: < http://
bvsms.saude.gov.br/bvs/publicacoes/politica_nacional_brasil_sorridente.
pdf>. Acesso em: 7 ago. 2004.
CARVALHO, Antonio Csar Perri de. Ensino de odontologia em tempos de LDB.
Canoas: ULBRA, 2001.
CONSELHO NACIONAL DE EDUCAO. Cmara de Educao Superior.
Resoluo CNE/CES 3, de 19 de fevereiro de 2002. Institui Diretrizes Curriculares
Nacionais do Curso de Graduao de Odontologia. Disponvel em: <http://
portal.mec.gov.br/cne/arquivos/pdf/CES032002.pdf>. Acesso em: 19 nov.
2002.
CORREA, Osvaldo Manoel. Qualidade na assistncia ao paciente. Belo Horizonte:
[s.n.], 1997. p. 1-17. Trabalho apresentado no VII Simpsio de Enfermagem
do Hospital Mater Dei.
COSTA, ris do Cu Clara. Os sete saberes necessrios educao do futuro
e o planejamento das aes de sade: algumas reflexes e confluncias.
Revista da ABENO, v. 7, n. 2, p. 122-129, maio/ago. 2007.
GONALVES, Evelise Ribeiro; VERDI, Marta Inez Machado. Os problemas
ticos no atendimento a pacientes na clnica odontolgica de ensino.
Cncia Sade Coletiva, v. 12, n. 3, p. 755-764, 2007.
HJALMERS, K; SDERFELDT, B.; AXTELIUS, B. Moral values and coreer:
factors shaping the image of healthy work for female dentists. Acta Odontol.
Scand. v. 64, n. 5, p. 255-261, 2006.
INEP. Bases para uma nova proposta de avaliao da educao superior. Braslia,
DF, 2003.
LUCAS, Simone Dutra. Formao profissional de cirurgies-dentistas egressos de
dois cursos superiores com orientaes distintas. 1995. Dissertao (Mestrado)
- Faculdade de Educao, Universidade Federal de Minas Gerais, Belo
Horizonte.
MOYSS, Samuel Jorge. A humanizao da educao em Odontologia. ProPosies, v. 14, n. 1, p. 87-106, jan./abr. 2003.
PAIXO, Helena Helosa. A odontologia sob o capital: o mercado de trabalho
e a formao universitrio-profissional do cirurgio-dentista. 1979.
Dissertao (Mestrado) Faculdade de Educao, Universidade Federal de
Minas Gerais, Belo Horizonte.
PESSOTTI, Isaias. A formao humanista do mdico. Medicina, Ribeiro
Preto, n. 29, p. 440-448, out./dez. 1996.
SAUL, Ana Maria. Avaliao emancipatria: desafio teoria e prtica de
avaliao e reformulao de currculo. 2. ed. So Paulo: Cortez, 1994.
SGRECCIA, Elio. Manual de biotica: I - fundamentos e tica biomdica. 2. ed.
So Paulo: Loyola, 2002.
31/03/2010 16:00:06
SILVA JNIOR, Joo dos Reis; FERRETTI, Celso Joo. O institucional, a

organizao e a cultura da escola. So Paulo: Xam, 2004.
SOUZA, Iara. Relao mdico-paciente na clnica em cardiologia: entrelaamento
entre cincia, tcnica e prtica em um contexto de formao mdica. 2004.
Tese (Doutorado em Cincias Sociais) Faculdade de Filosofia e Cincias
Humanas, Universidade Federal da Bahia, Salvador.
UNFER, Beatriz. O cirurgio-dentista do servio pblico: formao, pensamento
e ao. 2000. Tese (Doutorado em Odontologia) Universidade Estadual
Paulista, Araatuba, SP.
VASCONCELLOS, Celso dos Santos. Projeto poltico-pedaggico:
consideraes sobre sua elaborao e concretizao. In: ______. Coordenao
do trabalho pedaggico: do projeto poltico-pedaggico ao cotidiano da sala de
aula. 3. ed. So Paulo: Libertad, 2002. p. 14-46.
ZANETTI, Carlos Henrique Goretti. Odontologia: habilidades e escolhas. 2004.
Disponvel em: <htlp://www.saudebucalcoletiva.unb.br>. Acesso em: 13
ago.2004.
31/03/2010 16:00:06
31/03/2010 16:00:06
Resultados preliminares do
GERES 2005 para equidade nos
sistemas de ensino de cinco
centros urbanos brasileiros*
introduo
Educao universalmente vista como o principal determinante da
formao de capital humano (WOESSMANN, 2003) e, por conseguinte,
um investimento-chave para a promoo de bem-estar a indivduos e
naes. (HANUSHEK; WOESSMANN, 2007) Educao tambm vista
como um direito humano bsico ao qual todo cidado deveria ter
acesso (THOMAS; WANG; FAN, 2000), bem como um meio atravs do
qual seja possvel alcanar condies de vida tidas como melhores
(NERI, 2007), e outras liberdades e realizaes a que toda pessoa
tem o direito e as razes de aspirar. (SEN, 2000) Assim, educao
valorizada tanto como um investimento tanto quanto um direito.
Em ambos os aspectos, a forma como a educao distribuda
dentro de uma sociedade desempenha papel fundamental. Como um
investimento, tratada como uma commodity capaz de impulsionar os
padres econmicos de naes e indivduos. Sem embargo, tal papel
limitado quando h desigualdades de acesso. Uma vez que educao
no um bem perfeitamente comercivel, sua funo de produo
agregada dependeria no apenas do seu nvel mdio de consumo,
mas tambm de como esse consumo distribudo entre a populao
As ideias, argumentos
e eventuais opinies
expostas neste trabalho
no representam
pontos de vista das
instituies nas quais
trabalham os autores,
responsveis nicos
pelo contedo deste
artigo. Agradecimentos
so devidos ao Conselho
Britnico e Fundao
de Amparo Pesquisa
do Estado da Bahia
(FAPESB), instituies que
financiaram os estudos
que geraram a primeira
verso do presente
trabalho. Os autores
agradecem tambm
ao Dr. Rosalind Levacic,
pelos comentrios
feitos verso inicial,
coordenao do Projeto
GERES 2005, pela
cesso dos dados, e
aos participantes de
seminrio realizado em
Belo Horizonte em 17 de
abril de 2008, quando
foram discutidos os
primeiros trabalhos
elaborados com dados do
Projeto GERES 2005.
31/03/2010 16:00:06
tendo em vista que, considerando as habilidades humanas como

normalmente distribudas em uma dada populao, uma distribuio
enviesada das oportunidades educativas representa uma grande perda
de bem-estar para aquela sociedade. (THOMAS; WANG; FAN, 2000)
Consequentemente, quando parmetros de equidade so negligenciados em polticas educacionais, os estoques de capital humano tendem
a ser deficientes, comprometendo o bem-estar econmico.
Como um direito, educao deveria ser igualmente acessvel
a todos. Entretanto, a escassez de recursos impe escolhas tanto
a indivduos quanto a formuladores de polticas pblicas. Assim
sendo, tende-se a estabelecer padres mnimos de educao a que
todo cidado deveria ter irrestrito acesso. Tais padres, contudo,
esto situados em contextos histricos, sociolgicos, culturais e econmicos que tendem a mudar medida que as sociedades evoluem.
Por exemplo, os Objetivos de Desenvolvimento do Milnio focam
na universalizao da educao primria como um padro mnimo
a ser alcanado por todos os pases nos primeiros 15 anos do sculo
21. Quando esse padro for alcanado, provvel que desigualdades
educacionais observadas em outros nveis ou aspectos sejam ento
percebidas como objeto de necessria interveno de polticas pblicas para garantir a educao como direito.
Em verdade, do ponto de vista do bem-estar econmico, em um
nmero cada vez maior de pases investimentos em educao primria j apresentam baixo retorno, tanto privado quanto social,
transferindo o foco das polticas pblicas para a expanso dos nveis
mdio (cujos retornos tambm j se mostram reduzidos nos pases
da Organizao para Cooperao e Desenvolvimento Econmico
(OCDE) e em muitos pases em desenvolvimento) e superior. (IOSCHPE, 2004) O fato que, medida que o acesso a um nvel de ensino
se expande, seu retorno econmico tende a diminuir at tornar-se
insignificante, o que no invalida a necessidade de investimento
pblico para garantir que todos tenham acesso a ele, mesmo porque
sem isso a prpria expanso dos nveis mais elevados de educao
fica comprometida e, junto com ela, tanto o crescimento econmico
do pas principal resultado que se deve buscar com investimentos
educacionais na viso de autores como Ioschpe (2004), Neri (2007),
156 paulo a. meyer m. nascimento & robert e. verhine
31/03/2010 16:00:06
Hanushek e Woessmann (2007) quanto o empoderamento dos indivduos para que possam desenvolver e obter o que de fato valorizam
finalidade maior da educao na concepo de autores como Sen
(2000) e Unterhalter e Brighouse (2003). Ademais, quanto maiores
forem as barreiras ao acesso a nveis mais avanados da educao,
mais o sistema educacional estar, em realidade, perpetuando ou
mesmo intensificando desigualdades. (TODARO, 2000)
A ideia principal por trs desses argumentos que, independentemente do padro mnimo de educao a ser alcanado, e da
concepo de educao adotada, desigualdades sempre ocorrero
enquanto oportunidades educativas forem distribudas de maneira
enviesada. Um objetivo de equidade educacional que privilegia a
distribuio de oportunidades de resultados alcanado quando
alternativas de escolha equivalentes esto disponveis para todo
indivduo, a despeito do gnero, das condies ou das preferncias
de cada um. (LE GRAND, 1991)
No obstante, convm notar que igualdade de oportunidades no
garante equidade no desempenho educacional devido a diferenas
em habilidades e nas escolhas efetivamente feitas. Essas diferenas,
que costumam gerar desigualdades no desempenho acadmico das
pessoas, advm especialmente de um fator comum: as condies
socioeconmicas dos e das estudantes. A importncia das caractersticas
socioeconmicas na determinao do desempenho escolar um raro
ponto de concordncia nas pesquisas educacionais e econmicas e
tem sido confirmada por evidncia internacional j desde a dcada
de 1960. (NASCIMENTO, 2007)
Ainda assim, investigaes sobre sistemas educacionais frequentemente negligenciam essa evidncia global, concentrando-se, em
regra, apenas em medidas de desempenho auferidas em um nico
momento temporal, como se indivduos ou sistemas iguais estivessem sendo comparados. (ROSS; ZUZE, 2004)
O presente artigo discute a performance de cinco sistemas educacionais urbanos do Brasil no ano de 2005, levando em considerao
as diferenas entre escolas e estudantes. Trata-se, portanto, de uma
avaliao de desempenho de sistemas educacionais a partir do grau
de equidade distributiva neles verificado.
resultados preliminares do geres 2005 para equidade nos sistemas de ensino... 157
31/03/2010 16:00:07
A prxima seo aborda os critrios mais utilizados em educao

para avaliar equidade. A seo em seguida apresenta os mtodos
usados para mensurar equidade nos sistemas educacionais de cinco
grandes centros urbanos brasileiros, a partir dos dados obtidos pelo
Projeto GERES 2005, para desempenho em Leitura de estudantes
do ensino fundamental. Os resultados da anlise so, ento, apresentados na seo posterior, culminando em uma seo final que
conclui o artigo.
critrios para mensurar equidade na

distribuio de desempenho acadmico
Existe um grande nmero de medidas de equidade educacional
disponvel na literatura econmica e estatstica. Elas diferem
significativamente uma da outra, pois cada uma dessas medidas
aborda um ou no mximo alguns dos aspectos da desigualdade
que podem ser observadas em uma distribuio. (MONK, 1990)
A escolha acerca da medida a ser usada depender de quais aspectos
pretende-se analisar.
Monk (1990) enumera as medidas de desigualdade em duas categorias: as de Tipo I e as de Tipo II. As medidas do Tipo I so utilizadas
para a anlise de distribuies envolvendo uma nica varivel, como,
por exemplo, desempenho em testes padronizados. J as medidas
do Tipo II so mais apropriadas para anlises que contemplem a
distribuio de duas variveis, investigando o comportamento da
distribuio de uma delas (em regra expressando um resultado, como
a nota obtida em testes padronizados) em relao ao comportamento
da distribuio da outra varivel (em geral uma medida das caractersticas das unidades sob anlise, a exemplo da renda familiar, da
classe social ou do desempenho prvio dos e das estudantes a quem
os testes padronizados tenham sido aplicados).
Algumas das mais comuns medidas de desigualdade do Tipo I so:
a) Varincia: indica em que medida esto afastados da mdia
os valores individuais de uma varivel. Tomando notas em
testes padronizados como exemplo, a varincia indica a va-
31/03/2010 16:00:07
riabilidade dos resultados obtidos pelos e pelas estudantes

avaliados (as).
b) Desvio-padro: mede o grau de disperso dos valores de uma
varivel (por exemplo, desempenho escolar). Enquanto a
varincia a mdia do quadrado das diferenas entre as observaes e a mdia, o desvio padro, sendo extrado de uma
raiz quadrada, mede a disperso das observaes ao redor
da mdia.
c) Comparaes de percentis: um percentil o valor de uma varivel
abaixo do qual uma determinada percentagem de observaes
encontra-se. O p-simo percentil tem no mnimo p% dos valores abaixo daquele ponto e no mnimo (100 - p)% dos valores
acima. Comparaes de percentis envolvem comparaes dos
valores mximo e mnimo (amplitude). Assim, comparaes
de decis referem-se a agrupamentos de cada 10% das observaes, enquanto quartis so agrupamentos de cada 25% das
observaes.
d) ndice de McLoone: a soma dos valores de todas as observaes
concentradas abaixo da mediana multiplicada pela prpria
mediana.
As medidas descritas acima so fceis de computar, mas apresentam algumas desvantagens significativas: anlises baseadas na
varincia e na amplitude costumam ser sensitivas eventual presena de outliers (observaes numericamente distantes do resto dos
dados) e, quando no o so, ignoram os demais valores afora aqueles
analisados (limitao tambm aplicvel ao ndice de McLoone, o
qual, ademais, dependente do valor da mediana).
Medidas do Tipo I so absolutas, uma vez que se referem a uma
nica varivel. J as medidas do Tipo II permitem anlises relativas
da equidade em um sistema, tendo em vista
que relacionam a distribuio da varivel de maior interesse a
outra que expressa caractersticas das unidades de anlise.
Medidas do Tipo II incluem:
a) Coeficiente de inclinao: mede a mudana em uma caracterstica
associada mudana em outra caracterstica. No fornece in-
31/03/2010 16:00:07
formao direta acerca do tamanho da desigualdade observada

e ainda dependente da unidade de medida.
b) Coeficiente de elasticidade: independe da unidade de medida
para aferir a mudana em um atributo associada mudana
em outro a relao expressa em percentagem.
c) Coeficiente de correlao: pode assumir valores entre -1 e +1 e
indica a fora e a direo de uma relao linear entre duas
variveis aleatrias. Assim sendo, fornece maiores informaes do que os coeficientes anteriores, os quais indicam no
mximo a fora da relao, jamais a direo.
Com exceo dessas medidas de desigualdade, estatsticas como
o Coeficiente de Gini e a Estatstica de Theil so tambm usados para
mensurar desigualdade na educao.
mtodos adotados
os sistemas educacionais em anlise
O presente artigo usa dados coletados pelo Projeto GERES 2005, estudo longitudinal dos anos iniciais de educao em cinco diferentes
cidades brasileiras para maiores detalhes do Projeto, ver Franco,
Brooke e Alves (2008) e Brooke (2005).
A amostra envolve estudantes tanto de escolas pblicas (municipais, estaduais e algumas federais) quanto de escolas privadas das
reas urbanas dos seguintes municpios: Rio de Janeiro, Salvador, Belo
Horizonte, Campinas e Campo Grande. Todas essas cidades so relevantes para as regies onde esto situadas, em termos de populao,
economia e peso poltico. A amostra de escolas representativa
dos sistemas educacionais urbanos desses municpios. (ANDRADE;
MIRANDA, 2004)
Os dados consistem em duas ondas de mensurao do desempenho em Leitura de estudantes matriculados no primeiro ano
do ensino fundamental (com exceo de Salvador, que j iniciou a
aplicao das avaliaes no segundo ano do ensino fundamental).
A primeira onda foi administrada em maro de 2005 (incio do ano
31/03/2010 16:00:07
letivo), enquanto a segunda ocorreu no ms de novembro do mesmo ano (final do ano letivo). Por conseguinte, a anlise conduzida
adiante fortalecida por uma substancial vantagem: a existncia
de uma medida inicial de conhecimento.
a importncia da medida inicial de conhecimento

A existncia de uma medida de desempenho prvio reduz a dependncia a medidas das condies socioeconmicas dos e das estudantes. Com a aplicao do teste no incio do ano letivo, possvel
obter, aps a aplicao da segunda onda, tendncias sobre o progresso do aprendizado estudantil no ano de 2005. Isto no dispensa
totalmente a necessidade de mensurar tanto o resultado acadmico
quanto seus determinantes (BAKER, 2000), mas contar tambm
com o teste inicial limita os efeitos do contexto socioeconmico do
alunado sobre o seu aprendizado naquele ano letivo s condies
que eventualmente possam ter se alterado entre a administrao
do primeiro e do segundo testes.
medidas de equidade adotadas

Inicialmente seguindo a estratgia definida em OECD (2005) para
medir equidade no desempenho dos diversos pases na prova de
Leitura do PISA 2000, a varincia total e a varincia entre-escolas,
bem como a proporo desta ltima em relao primeira, foram
calculadas para cada sistema. Ao ser feito isto, busca-se aferir a equidade distributiva dos respectivos sistemas tanto no nvel do aluno
quanto no nvel da escola. O impacto da composio do alunado
da escola na performance estudantil, tambm examinada em OECD
(2005) para os resultados do PISA 2000 e elemento-chave na anlise
realizada para os resultados do SACMEQ (ROSS; ZUZE, 2004), indiretamente capturado na presente anlise por intermdio da varincia
do aprendizado entre o incio e o final do ano letivo em questo.
A varincia entre-escolas um componente da varincia total, e
refere-se ao quanto a mdia de uma determinada escola afasta-se
da mdia de todas as escolas em conjunto.
31/03/2010 16:00:07
A varincia total e a varincia entre-escolas dada por:

a) Varincia total dos resultados obtidos pela amostra de estudantes:
j =m i =n
Var ( x) = (xij x )
j =1 i =1
b) Varincia entre-escolas:
j =m
m ( x j x ) 2
j =1
Onde:
xij = nota obtida pelo ou pela estudante i na escola j ;
Existem n estudantes em cada escola, em um universo de m
escolas;
x = mdia verificada para todo o conjunto de estudantes;
xj = mdia observada para a escola j.
Quanto maior a varincia total, mais desigual o sistema. No nvel da escola, quanto maior for a proporo da varincia entre-escolas
em relao varincia total, mais as escolas parecem predispostas a
selecionar seu corpo discente de acordo com habilidades percebidas
no momento de entrada na escola. Isto poderia indicar que para algumas crianas acabem sobrando apenas escolas pouco satisfatrias,
comprometendo desde cedo seus processos de aprendizagem.
Ao decompor a varincia total, uma terceira estatstica pode ser
utilizada: a varincia dentro das escolas. Ela mostra a disperso das
notas dentro de uma mesma escola:
j =m i =n
( x
j =1 i =1
ij
x j )2
Quando uma nica medida de desempenho considerada e nenhum controle estatstico feito para as condies socioeconmicas,
uma alta varincia dentro das escolas poder sinalizar heterogeneidade na composio dos seus alunados. Se esta hiptese se confirma
aps controlar para caractersticas socioeconmicas e desempenho
prvio, este seria um aspecto at positivo quando equidade e coeso
31/03/2010 16:00:07
social so buscadas. Entretanto, se esta estatstica prosseguir elevada

mesmo aps a introduo de tais controles, possivelmente as escolas
daquele sistema tendem a segregar seus alunos e suas alunas, alocando cada qual a diferentes classes de acordo com o desempenho
escolar esperado. Mais uma vez, evidenciam-se as vantagens de dispor de uma medida inicial de desempenho: ao se comparar os escores
obtidos pelas mesmas crianas em diferentes momentos, clareiam-se
tendncias e evitam-se concluses apressadas e equivocadas.
resultados
resultados usando uma nica medida de desempenho
A segunda onda (aplicada no final do ano letivo de 2005) mostrou 46,8%
da varincia total na prova de Leitura correspondendo varincia
entre-escolas. Tal proporo equivalente quela apresentada em
OECD (2005) para o Brasil no teste de Leitura do PISA 2000 (47%), a qual
situava o Brasil bem atrs do pas com maior varincia entre-escolas
(Alemanha, 60%), porm bem acima de outros pases, tais como Coreia
do Sul (38%), Reino Unido (29%) e Finlndia (8%). Uma interpretao
conjunta desses resultados sugere que desigualdades entre escolas so
significativas no Brasil e em alguns de seus maiores centros urbanos.
Ao analisar os nmeros desagregados por cidade, possvel situar
cada uma delas em relao s demais. As varincias de cada sistema
esto mostradas na Tabela 1 e ilustradas no Grfico 1.
Tabela 1: Amostra e varincia das notas para a segunda onda, por sistema
VARINCIA
SISTEMA EDUCACIONAL
URBANO
(1)
N DE
ALUN@S
(2)
N DE ESCOLAS
(3)
B. HORIZONTE
4163
60
501,965
233,356
268,609
46,5
CAMPINAS
4534
61
529,102
269,216
259,886
50,9
CAMPO GRANDE
3378
59
438,47
189,106
249,364
43,1
RIO DE JANEIRO
3864
68
476,04
205,394
270,646
43,1
SALVADOR
3335
54
397,749
182,535
215,214
45,9
TODOS OS 5
19274
302
494,693
231,589
263,104
46,8
TOTAL
(4)
ENTRE
INTRAESCOLAS (5) ESCOLA (6)
(5) COMO
% DE (4)
(7)
Clculos do autor usando dados da Onda 2 (Leitura) do Projeto GERES 2005
31/03/2010 16:00:08
46,8%
Sistema educacional
TODOS OS 5
45,9%
SALVADOR
RIO DE JANEIRO
43,1%
43,1%
CAMPO GRANDE
CAMPINAS
50,9%
B. HORIZONTE
46,5%
0
100
200
300
400
500
600
Varincia
Varincia entre-escolas
Varincia intra-escola
Grfico 1: Varincia das notas em Leitura para a segunda onda, por sistema
Belo Horizonte aparece como o sistema mais prximo da mdia

dos cinco, e Rio de Janeiro e Campo Grande parecem, primeira vista,
os sistemas menos desiguais entre escolas. O sistema que mais se
diferencia dos demais o de Campinas, no qual a varincia entreescolas como proporo da varincia total excedeu a mdia em 4,1%.
Trata-se tambm do sistema com maior varincia total.
Como foi destacado anteriormente, com apenas uma medida de
desempenho o componente intraescolar da varincia pode sugerir
maior heterogeneidade de status socioeconmico entre estudantes
da mesma escola, dado que a variabilidade de desempenho de estudantes costuma estar fortemente associada aos nveis de bem-estar
econmico e social das suas famlias. Se este houver sido realmente
o caso, Rio de Janeiro seria a cidade mais equnime do ponto de vista
de oportunidades educativas. Contudo, tal concluso seria precipitada, sem antes examinar a fotografia que se obtm ao incluir o
desempenho prvio na anlise.
resultados usando o progresso acadmico

em relao ao desempenho prvio
De fato, a situao se altera bastante quando o desempenho prvio
incorporado anlise. Os novos resultados so apresentados na
Tabela 2 e plotados no Grfico 2.
31/03/2010 16:00:08
Tabela 2: Amostra e varincia das notas em Leitura aps controlar

para desempenho prvio, por sistema
SISTEMA EDUCACIONAL
URBANO
(1)
N DE
ALUN@S
(2)
N DE ESCOLAS
(3)
B. HORIZONTE
3677
CAMPINAS
3898
CAMPO GRANDE
RIO DE JANEIRO
VARINCIA
(5)
COMO %
DE (4)
(7)
TOTAL
(4)
ENTRE
ESCOLAS (5)
INTRAESCOLA (6)
60
229,205
18,343
210,862
8,0
61
302,31
33,386
268,925
11,0
2724
59
343,66
47,23
296,43
13,7
3454
68
259,659
25,086
234,573
9,7
SALVADOR
2669
54
259,345
30,985
228,36
11,9
TODOS OS 5
16422
302
290,436
43,39
247,046
14,9
Clculos do autor usando dados da Onda 2 (Leitura) do Projeto GERES 2005
Sistema educacional
TODOS OS 5
14,9%
SALVADOR
RIO DE JANEIRO
11,9%
9,7%
CAMPO GRANDE
13,7%
CAMPINAS
11%
B. HORIZONTE
8%
50
100
150
200
250
300
350
400
Varincia
Varincia entre-escolas
Varincia intra-escola
Grfico 2: Varincia da diferena das notas em Leitura entre a primeira e a segunda ondas, por sistema
Quando escores observados na segunda onda so confrontados

com aqueles obtidos na primeira, tanto a varincia total quanto a
varincia entre-escolas so consideravelmente reduzidas indicando
que, ao menos nos anos inicias de estudo, a velocidade de aprendizagem das crianas muito prxima, confirmando que discrepncias
em seus desempenhos esto muito mais relacionadas ao contexto
familiar e social em que vivem do que escola onde estudam.
Alm disso, o novo quadro atesta que, nessa fase, variaes no
progresso escolar esto mais associadas sua variabilidade dentro da
prpria escola do que entre diferentes escolas realando, uma vez
31/03/2010 16:00:08
mais, a influncia, sobre seu desempenho, do aprendizado trazido

pela criana de fora do contexto escolar e decerto relacionado s suas
j relevantes experincias e histria de vida. Por outro lado, conforme foi discutido anteriormente, este fato pode tambm sinalizar ou
heterogeneidade do corpo discente das escolas ou, a despeito ou ao
invs disto, uma tendncia das escolas de segregar seus alunos e suas
alunas de acordo com os nveis esperados de desempenho de cada
qual, formando classes homogneas de estudantes mais difceis e de
estudantes mais fceis de educar. Entretanto, a ausncia na presente
anlise de dados a respeito das caractersticas socioeconmicas das
crianas da amostra impede uma concluso firme quanto a qual seja
o caso para essas cinco cidades.
Voltando s diferenas em performance entre estudantes e escolas,
a Tabela 3 abaixo apresenta rankings de desigualdade educacional
para os cinco sistemas avaliados. As colunas 2 e 3 relatam a posio
nesse ranking a partir da anlise unicamente da segunda onda, enquanto as colunas 4 e 5 refazem as posies quando o progresso acadmico
verificado entre as duas ondas passa a ser o indicador considerado.
Tabela 3: Rankings da desigualdade antes e depois de controlar para o desempenho prvio
Sistema educacional
Posio no ranking baseado apenas na

onda 2
Entre-escolas
Entre-escolas
como % da Total
Posio no ranking para o progresso

acadmico entre as ondas 1 e 2
Entre-escolas
Entre-escolas
como % da Total
B. HORIZONTE
CAMPINAS
CAMPO GRANDE
RIO DE JANEIRO
SALVADOR
Elaborada pelo autor a partir dos nmeros mostrados nas Tabelas 1 e 2. Notar que, para cada critrio, a 1
posio refere-se ao sistema mais desigual, e a 5, ao mais equnime.
Campinas, o mais desigual dos sistemas quando apenas os resultados da segunda onda so observados, agora passa a ser o segundo
em termos de varincia total e situa-se no terceiro lugar em desigualdade entre escolas. Belo Horizonte, que antes era a cidade que
31/03/2010 16:00:08
mais se assemelhava a Campinas, desta vez apresenta-se como o mais

equnime dos cinco sistemas nos dois critrios. Rio no alterou sua
posio entre intermediria e mais prximo do topo desse ranking.
Salvador um dos mais equitativos sistemas em termos de varincia
total nas duas medidas, mas seu desempenho cai consideravelmente
entre a anlise apenas da segunda onda e a anlise do progresso
escolar quando o critrio de anlise a varincia entre-escolas como
proporo da varincia total. Este resultado parece sugerir que o
progresso acadmico das crianas de Salvador mais equnime ao
longo da amostra de estudantes, embora algumas escolas apresentem desempenho mdio superior a das outras no se sabe se por
serem escolas melhores ou por atrarem estudantes em condies
de aprender contedos escolares mais rapidamente.
No obstante essa particularidade de Salvador, a maior mudana nos rankings foi a posio relativa de Campo Grande. Quando o
progresso acadmico passou a ser o foco da anlise, esse sistema
educacional deixou o status de equitativo, que obtinha quando
apenas o desempenho verificado na segunda onda era avaliado, para
passar a ser o mais desigual dos cinco sistemas, tanto em termos de
varincia total, quanto em termos de varincia entre-escolas.
Infelizmente, dados relativos a caractersticas socioeconmicas
e demogrficas das cinco cidades no puderam ser incorporados
anlise (estavam disponveis, mas no foram levantados e utilizados
em razo do limite de pginas deste trabalho). Dessa forma, no
possvel construir hipteses mais concretas acerca do porqu das
mudanas de posio nos rankings sugeridos.
outliers: so eles um problema

na amostra pesquisada?
Outliers so valores extremos que podem conduzir a interpretaes
errneas das estatsticas calculadas a partir de bases de dados nas
quais tais valores esto presentes. A presena de outliers pode ser
detectada a partir do clculo dos z-scores da varivel de interesse.
Z-scores abaixo de -3 ou acima de +3 podem ser outliers, ainda que
para bases de dados muito grandes (usualmente assim consideradas
31/03/2010 16:00:08
aquelas com mais de 1.000 observaes) seus impactos tendam a ser

irrelevantes. (HAWKINS, 1980)
Z-scores foram calculados, mas a excluso de 218 estudantes da
anlise com dados unicamente da segunda onda, e de 51 estudantes
e uma escola da anlise que utilizara o progresso acadmico entre
as duas ondas como critrio de anlise no modificaram em nada a
interpretao dos resultados (APNDICE A).
consideraes finais
Dados analisados no presente artigo sugerem uma desigualdade
considervel entre escolas quando uma nica medida de desempenho considerada para estudantes de sries iniciais. Porm, aps
incorporao de uma medida prvia de desempenho, aferida no
incio do mesmo ano letivo, a varincia intraescolas passa a ser responsvel por 86% a 92% da variao de escores. Isto pode significar
heterogeneidade socioeconmica na composio do alunado das
escolas da amostra, ou um indcio de que estas enturmariam estudantes de acordo com a distribuio de fatores no-mensurados (e.g.,
expectativa das escolas e dos pais quanto ao desempenho escolar
das crianas ao longo do ano). possvel at que os resultados apresentados estejam sinalizando ambas as hipteses. A administrao
de um teste de conhecimento prvio foi um elemento-chave para
levantar essas duas hipteses, mas no fornece todas as respostas.
A no-utilizao de dados relativos s condies socioeconmicas das
crianas da amostra limita qualquer concluso a respeito do que os altos
nveis observados de varincia intraescolar do progresso acadmico
possam de fato indicar. O uso de informaes de cunho socioeconmico
e demogrfico referentes s cinco cidades analisadas tambm enriqueceriam bastante o estudo, pois um nmero maior de comparaes teis
poderia ser feita entre os sistemas educacionais avaliados.
Ainda que o presente trabalho lance luz discusso sobre equidade dentro do Projeto GERES 2005 e esteja, inclusive, passvel
de aprimoramentos que possibilitem uma investigao mais aprofundada, desenhos de pesquisa como o aqui utilizado no permi-
31/03/2010 16:00:08
tem concluses das razes pelas quais ocorrem os fenmenos em

hiptese (por exemplo, escolas agrupando estudantes por nveis
de habilidade), nem tampouco se o comportamento que os gera
justificvel ou no. Para tanto, seria recomendvel aprofundar
a investigao quantitativa com pesquisas qualitativas (estudos de
caso, etnogrficos, etc.).
referncias
ANDRADE, D. F.; MIRANDA, E. C. M. GERES: relatrio tcnico do plano
amostral. Belo Horizonte: [s.n.], 2004.
BAKER, J. Evaluating the impact of development projects on poverty: a handbook
for practitioners. Washington, D. C.: the World Bank, 2000.
BROOKE, N. The GERES Project: a longitudinal study of the 2005 school
generation in Brazil. Revista Eletrnica Ibero-americana Sobre Qualidade, Eficcia
e Mudana em Educao, v. 3, n. 1, p. 194-199, 2005.
FRANCO, C.; BROOKE, N.; ALVES, F.. Estudo longitudinal sobre qualidade
e equidade no ensino fundamental: GERES 2005. Ensaio: Avaliao e Polticas
Pblicas em Educao, v.16, n. 61, p. 625-638, 2008.
HANUSHEK, E. A.; WOESSMANN, L. The Role of education quality in economic
growth. Washington, D. C.: The World Bank, 2007. (World Bank Policy
Research Working Paper, 4122)
HAWKINS, D. M. Identification of outliers. London: Chapman & Hall, 1980.
IOSCHPE, G. A ignorncia custa um mundo: o valor da educao no
desenvolvimento do Brasil. So Paulo: Francis, 2004.
LE GRAND, J. Equity and choice: an essay in economics and applied
philosophy. New York, NY, USA: HarperCollins Academic, c1991.
MONK, D. H. Educational finance: an economic approach. London: McGrawHill, 1990.
NASCIMENTO, P. A. M. M. Recursos destinados a educao e desempenho
escolar: uma reviso na literatura econmica internacional. Estudos em
Avaliao Educacional, v. 18, n. 36, p. 115-137, jan./abr. 2007.
NERI, M. E. A. Equality and efficiency in education: motivations and targets. Rio
de Janeiro: FGV/CPS, 2007.
OECD. School factors related to quality and equity: results from PISA 2000. Paris,
2005.
31/03/2010 16:00:08
ROSS, K. N.; ZUZE, L. Traditional and alternative views of school system

performance. IIEP Newsletter, v. 22, n. 4, p. 8-9, Oct./Dec. 2004.
SEN, A. Development as freedom. New York: Anchor, 2000.
THOMAS, V.; WANG, Y.; FAN, X. Measuring education inequality: Gini
coefficients of education. Washington, D. C.: The World Bank, 2000. (World
Bank Working Paper, 2525).
TODARO, M. Economic development. Harlow, England: Addison-Wesley, 2000.
UNTERHALTER , E.; BRIGHOUSE, H. Distribution of what? How will we know if
we have achieved education for all by 2015? Presented at the 3rd Conference on
the Capability Approach: From Sustainable Development to Sustainable
Freedom. University of Pavia, Italy. 7-9 September 2003. Disponvel em:
<http://www.unipv.it/deontica/sen/program.htm>. Acesso em: 29 jun. 2007.
WOESSMANN, L. Specifying human capital. Journal of Economic Surveys, v. 17,
n. 3, p. 239-270, 2003.
31/03/2010 16:00:08
APNDICE A
estatsticas descritivas para o desempenho em leitura
dos estudantes obtidos na onda 2 do geres 2005
Tabela 4: Estatsticas descritivas no nvel do estudante para as notas obtidas em Leitura
na onda 2 do GERES 2005
Sistema
educacional
B. Horizonte
N observaes Valor mnimo
Valor mximo
Mdia
Desvio-padro
Varincia
4.163
63,37
184,11
126,5156
22,40457
501,965
Campinas
4.534
63,37
184,11
121,4640
23,00221
529,102
Campo Grande
3.378
63,37
184,11
120,0545
20,93968
438,470
Rio de Janeiro
3.864
63,37
184,11
132,1966
21,81835
476,040
Salvador
3.335
63,37
184,11
120,7444
19,94365
397,749
Tabela 5: Estatsticas descritivas no nvel do estudante para as notas obtidas em Leitura

na onda 2 do GERES 2005 SEM OS OUTLIERS
Sistema
educacional
B. Horizonte
N observaes Valor mnimo
Valor mximo
Mdia
Desvio-padro
Varincia
4.128
69,49
175,25
126,8933
21,78267
747,485
Campinas
4.456
68,79
175,25
122,1036
21,91110
480,096
Campo Grande
3.341
68,97
173,35
120,6262
20,23206
409,336
Rio de Janeiro
3.823
68,82
175,25
132,5421
20,93921
438,451
Salvador
3.308
69,05
175,25
121,0531
19,35610
374,659
Tabela 6: Estatsticas descritivas no nvel da escola para as notas obtidas em Leitura na

onda 2 do GERES 2005
Sistema
educacional
B. Horizonte
N
observaes
60
Valor mnimo
Valor mximo
Mdia
Desvio-padro
Varincia
100,74
157,54
130,8475
15,27600
233,356
Campinas
61
95,35
156,81
126,2185
16,40780
269,216
Campo Grande
59
102,32
150,66
124,9924
13,75156
189,106
Rio de Janeiro
68
110,59
156,70
135,2024
14,33158
205,394
Salvador
54
95,19
154,35
124,2914
13,51056
182,535
Tabela 7: Estatsticas descritivas no nvel da escola para as notas obtidas em Leitura na

onda 2 do GERES 2005 SEM OS OUTLIERS
Sistema
educacional
B. Horizonte
N
observaes
60
Valor mnimo
Valor mximo
Mdia
Desvio-padro
Varincia
100,74
157,54
130,8475
15,27600
233,356
Campinas
61
95,35
156,81
126,2185
16,40780
269,216
Campo Grande
59
102,32
150,66
124,9924
13,75156
189,106
Rio de Janeiro
68
110,59
156,70
135,2024
14,33158
205,394
Salvador
54
95,19
154,35
124,2914
13,51056
182,535
31/03/2010 16:00:09
estatsticas descritivas para a variao no

desempenho observadas entre as ondas 1 e 2
Tabela 8: Estatsticas descritivas no nvel do estudante para a diferena observada entre
as ondas 1 e 2 do GERES 2005
Sistema
educacional
B. Horizonte
N
observaes
3.677
Valor mnimo
Valor mximo
-45,69
76,44
Campinas
3.898
-52,55
78,62
Campo Grande
2.724
-49,93
86,36
17,9312
Rio de Janeiro
3.454
-51,45
99,76
Salvador
2.669
-45,72
81,18
Mdia
Desvio-padro
Varincia
17,7811
15,13953
229,205
22,1748
17,38709
302,311
18,53806
343,660
13,4590
16,11394
259,659
11,8066
16,10420
259,345
Tabela 9: Estatsticas descritivas no nvel do estudante para a diferena observada entre

as ondas 1 e 2 do GERES 2005 SEM OS OUTLIERS
Sistema
educacional
B. Horizonte
N
observaes
3.650
Valor mnimo
Valor mximo
Mdia
Desvio-padro
Varincia
-45,69
76,44
17,9160
14,98960
224,688
Campinas
3.841
-52,55
78,62
22,4262
17,17127
294,853
Campo Grande
2.698
-49,93
86,36
18,1238
18,41654
339,169
Rio de Janeiro
3.420
-45,45
99,76
13,5687
15,96385
254,845
Salvador
2.649
-43,53
81,18
11,9563
15,86285
251,630
Tabela 10: Estatsticas descritivas no nvel da escola para a diferena observada entre as
ondas 1 e 2 do GERES 2005
Sistema
educacional
B. Horizonte
N
observaes
60
Valor mnimo
Valor mximo
Mdia
Desvio-padro
Varincia
7,04
29,21
17,2735
4,28291
18,343
Campinas
61
10,34
32,82
22,1477
5,77807
33,386
Campo Grande
59
3,00
34,41
18,4114
6,87239
47,230
Rio de Janeiro
68
0,75
30,60
13,3755
5,00855
25,086
Salvador
54
-3,31
23,22
12,0682
5,56643
30,985
Tabela 11: Estatsticas descritivas no nvel da escola para a diferena observada entre as
ondas 1 e 2 do GERES 2005 SEM OS OUTLIERS
N observaes
302
Valor mnimo
Valor mximo
Mdia
Desvio-padro
Varincia
-3,31
34,41
16,6719
6,58710
43,390
31/03/2010 16:00:09
A avaliao do desempenho
de alunos de educao
superior: uma anlise a partir
da experincia do ENADE
Lys M. V. Dantas (FAPESB)
introduo
Polticas de avaliao da educao superior passaram a ser discutidas no Brasil a partir da dcada de 80, atravs de iniciativas como
o Programa de Avaliao da Reforma Universitria e o Programa de
Avaliao Institucional das Universidades Brasileiras (PAIUB), desenvolvidas entre os anos de 1983 e 19951. O processo de implementao
dessas polticas se concretizou em 1995 com a Lei n 9.131/95, que
estabeleceu o Exame Nacional de Cursos (ENC, popularmente conhecido como Provo), detalhado por meio do Decreto n 2.026/96.
poca, foram lanados tambm a Avaliao das Condies de Ensino
e o Censo de Educao Superior, mas o Provo recebeu uma ateno
maior por parte da mdia e das instituies. Entretanto, apesar do
crescimento do Provo (de trs reas de conhecimento testadas em
1995 para 26 em 2003), de seu papel central e da sua larga aceitao,
ele foi veementemente criticado por muitos, incluindo os membros
da comunidade acadmica e especialistas em avaliao. Dentre as
crticas ao Exame estavam: ser referenciado norma, ser obrigatrio,
ter um vis conteudista, apenas avaliar os alunos concluintes (no
captando, portanto, a contribuio do curso na sua formao), e
1 Para leitura do
panorama sobre a
avaliao no Ensino
Superior no Brasil,
consultar INEP (2003),
Barreyro e Rothen (2008),
Dias Sobrinho (2003),
Gomes (2003); Gouveia et
al. (2005) e Schwartzman
(1992).
31/03/2010 16:00:09
2 Segundo informaes
fornecidas por Jamil Salmi,
especialista em Educao
Superior do Banco
Mundial, em abril de 2009,
existem trs pases que
tm uma experincia
prxima quela adotada
pelo governo brasileiro
com o Provo/ENADE. So
eles: Colmbia, Jordnia
e Mxico. Na Colmbia, a
avaliao chegou a ser
implementada, mas foi
imediatamente suspensa
por mecanismos judiciais.
A Jordnia apenas
apresentou um proposta,
ainda no implementada.
Finalmente, no Mxico, o
CENEVALE funciona, mas
as instituies optam por
participar ou no.
3 Os autores agradecem
as discusses sobre o
tema que tiveram com
Jos Francisco Soares,
Rubens Klein, Cludio
de Moura Castro, Simon
Schwartzman e Jos
Dias Sobrinho. Esses
momentos contriburam
para as reflexes que so
aqui apresentadas.
promover (o risco de) uma unificao de currculo (vez que o Exame

era aplicado a partir de uma nica base para todo o pas), dentre
muitas outras.
Em 2003, com a mudana de governo, o Ministrio de Educao
designou uma comisso (Comisso Especial de Avaliao (CEA), presidida por Jos Dias Sobrinho) para estudar o tema da avaliao do
ensino superior e propor alternativas ao modelo existente. Em 27
de agosto de 2003, a Comisso divulgou uma proposta preliminar
para uma nova rede de avaliao, com componentes articulados e
integrados, chamada Sistema Nacional de Avaliao da Educao
Superior, ou mais sucintamente, SINAES. Aps um perodo de discusses em nvel nacional que resultaram em vrias alteraes
proposta, o SINAES foi institudo pela Lei n 10.861/04, de 14 de abril,
2004, aprovada por grande maioria na cmara federal e no senado.
O Exame Nacional de Avaliao e Desenvolvimento dos Estudantes
(ENADE), a avaliao de curso e a avaliao institucional passaram
a ser os elementos desse sistema nacional.
O modelo do ENADE (e do Provo) no existe em nenhum outro
pas no mundo2. So, portanto, de grande valia anlises e estudos
que se faam dessa experincia. O presente captulo apresenta uma
reflexo sobre o ENADE, a partir da anlise de implementao do seu
primeiro ciclo (2004 2006)3 e visa contribuir para a aprendizagem no
campo da avaliao, por um lado, e para o aprimoramento do SINAES,
por outro. Para tanto, est estruturado em mais quatro sees, alm
da presente Introduo: O ENADE sua implementao no perodo
2004 a 2006, no qual os autores apresentam sua concepo e operacionalizao de maneira mais detalhada; Tendncias observadas a
partir do ENADE ciclo 2004 a 2006, na qual os autores identificam os
principais resultados oriundos das provas a tambm do questionrio
socioeconmico preenchido por cada participante; Eixos de reflexo,
quando so discutidos cinco pontos crticos relacionados ao Exame, e,
finalmente, as Consideraes Finais, na qual so sintetizadas algumas
sugestes para o refinamento do ENADE e a consolidao do Sistema
Nacional de Avaliao de Educao Superior.
174 robert e. verhine & lys m. v. dantas
31/03/2010 16:00:09
o enade: sua implementao

no perodo 2004 a 2006
4 Para a comparao
Provo x ENADE, consultar
Verhine, Dantas e Soares
(2006).
O ENADE no fez parte da proposta original do SINAES, divulgada

em agosto de 2003. O grupo responsvel pela proposta (a CEA) reagia
firmemente ideia de um exame nacional padronizado, focado em
contedo, com escala referenciada norma, sem elementos que
permitissem comparabilidade ao longo do tempo, e muito caro,
como considerava o Provo. Havia uma percepo (correta) de que,
com o crescimento acelerado da Educao Superior no Brasil, em
breve um exame nacional, censitrio, obrigatrio e com frequncia
anual, seria economicamente invivel.
A proposta da CEA de abordagem ao aluno tinha um formato
mais restrito, chamado Paideia (Processo de Avaliao Integrada do
Desenvolvimento Educacional e da Inovao da rea), e consistia em
um programa de testagem para uma amostra de cursos que pudesse
representar as tendncias de desempenho por rea de conhecimento.
O instrumento do Paideia seria aplicado, a uma ou mais reas por
ano, a estudantes em meio e fim de curso de todas as instituies que
oferecessem cursos de graduao na rea avaliada. Nessa aplicao
buscar-se-ia captar [...] as evolues, tendncias e inovaes da
rea e cada IES poderia adapt-lo de acordo com o formato da sua
organizao acadmica. (INEP, 2004, p. 115)
Muitos dos envolvidos na conceituao do Paideia foram surpreendidos pelo forte apoio de vrios membros do Congresso ao
Provo. Negociaes foram conduzidas e resultaram no ENADE, no
qual a avaliao de cursos seria feita individualmente (em lugar de
reas, como no Paideia), por meio de testes aplicados a uma amostra
representativa de alunos ingressantes e concluintes, alm de focalizar no s os contedos especficos, mas tambm a formao geral.
Dessa maneira, pretendeu-se conservar os avanos do Provo, por
um lado, e enderear suas limitaes, por outro4.
Com a Lei n 10.861/04, o ENADE tornou-se um componente curricular obrigatrio, com participao registrada no histrico escolar
de cada estudante. O Exame avalia os alunos com relao aos conte-
a avaliao do desempenho de alunos de educao superior: uma anlise a partir da experincia do enade 175
31/03/2010 16:00:09
5 Para o ENADE, um
ingressante um aluno
que tem concludo entre
7 e 22% dos crditos do
curso, e um concluinte
aquele que j completou
80% ou mais dos crditos.
dos fornecidos pelas orientaes curriculares dos seus respectivos

cursos de graduao. Avalia tambm a adequao, o conhecimento
do aluno e suas competncias para compreender tpicos relativos
a questes brasileiras e internacionais. O Exame nacional deve ser
aplicado em todos os cursos profissionais, pelo menos uma vez a
cada trs anos, para alunos ingressantes e concluintes, permitindo,
dessa forma, medir a trajetria de aprendizagem do alunado. Essa
inteno de medir o valor agregado desempenha um papel central no
delineamento dos testes e na possibilidade de melhorar a qualidade
de informao fornecida por um exame dessa natureza.
Outras caractersticas que ajudam a entender o ENADE esto
relacionadas a seguir. Os resultados individuais dos estudantes so
disponveis apenas para eles prprios e h pouco alarde na divulgao geral dos resultados, visto que esse Exame deve ser percebido
como componente de um sistema maior de avaliao e que, portanto,
seus resultados precisam ser considerados em articulao com os
demais. So coletados, em paralelo aos testes, dados de perfil do
alunado, do curso e da instituio, alm de percepo sobre a prova,
fornecidos pelos estudantes e pelo coordenador do curso avaliado;
e prevista uma expanso gradual do sistema.
As reas do conhecimento registradas no INEP foram divididas
em trs grupos e, anualmente, os estudantes concluintes e ingressantes5 de cada grupo de reas so submetidos ao ENADE. (INEP,
2007) Em 2004, o Exame foi aplicado ao grupo de cursos da Sade e
das Cincias Agrrias; em 2005, ao grupo das Engenharias (dividido
em oito reas, contemplando 46 Engenharias) e das licenciaturas;
e, em 2006, ao grupo de Cincias Sociais aplicadas e aos demais
cursos. Nesse delineamento, at novembro de 2006, todas as reas
da graduao haviam sido submetidas primeira edio do Exame
(exceto os cursos superiores de tecnologia e algumas reas com
nmero muito pequeno de estudantes e de cursos). Completo o
ciclo, em 2007 o ENADE foi novamente aplicado ao grupo de Sade
e Cincias Agrrias, mas, dessa vez, foram contempladas trs reas
a mais, refletindo assim a crescente diversificao da Educao
Superior no Brasil.
As diretrizes da prova de cada uma das reas foram elaboradas
por comisses assessoras, compostas por doutores ou pessoas de
31/03/2010 16:00:09
notrio saber indicadas por entidades acadmicas representativas.

Para elaborao das diretrizes, as comisses se basearam nas Diretrizes Curriculares Nacionais dos Cursos, aprovadas e institudas
pelo Conselho Nacional de Educao (CNE). A elaborao e aplicao
das provas ficaram sob a responsabilidade de trs instituies especializadas. As provas aplicadas no perodo foram compostas de 40
questes, 30 das quais de contedos especficos e dez de formao
geral (com uma pequena variao no padro em 2004, ajustada
nos anos seguintes). As questes de formao geral foram comuns
a todos os alunos de todas as reas do conhecimento. As questes
de formao especfica, por sua vez, levaram em considerao os
contedos do curso como um todo e no apenas os do ltimo ano, de
modo a focalizar a trajetria dos estudantes e no apenas o ponto de
chegada. Dessa forma, a prova para os ingressantes e concluintes foi
a mesma. Pressupe-se que, articulados aos demais dados do SINAES,
os resultados do ENADE sejam utilizados para a melhoria do curso
e da instituio, em um processo formativo, visto que o Exame se
diz capaz de identificar as competncias no desenvolvidas pelos
alunos ao longo de trs anos de escolarizao superior.6
Conforme foi mostrado na Tabela 1, no perodo 2004 a 2006 foram
avaliados 13.396 cursos em 48 diferentes reas, atravs da aplicao de provas a 807.170 alunos, dos quais aproximadamente 60%
foram ingressantes e 40% concluintes7. Com a adoo de processos
de amostragem, cerca de 50% dos alunos-alvo participaram a cada
ano. No caso de cursos pequenos, com menos do que 20 candidatos
potenciais, a participao dos alunos foi censitria. Assim, para um
nmero pequeno de reas, compostas apenas de cursos pequenos,
o sistema amostral no foi aplicado8.
Tabela 1: Dados-sntese sobre a aplicao do ENADE quanto s reas,
cursos e nmero de estudantes respondentes, no perodo
de 2004-2006
Ano
reas
N de cursos
N de estudantes
2004
13
2.184
143.170
2005
20
5.511
277.476
2006
15
5.701
386.524
Total no Ciclo
48
13.396
807.170
6 Para um
aprofundamento sobre o
aspecto diagnstico do
ENADE, consultar Limana
e Brito (2006).
7 Para o segundo ciclo
do ENADE, referente ao
perodo 2007-2009, est
prevista a participao de
21.758 cursos distribudos
em 61 reas, perfazendo
1.575.274 estudantes.
8 No perodo 2004 a
2006, as reas em que a
aplicao foi censitria
foram: Arquivologia,
Teatro, Terapia
Ocupacional e Zootecnia.
Fonte: INEP (2007).
31/03/2010 16:00:09
A nota final de um determinado curso foi a mdia ponderada

da nota padronizada dos concluintes no componente especfico,
da nota padronizada dos ingressantes no componente especfico e da nota padronizada em formao geral de todos os alunos
(concluintes e ingressantes), considerando-se, respectivamente, os
pesos 60%, 15% e 25%.
A subseo a seguir apresenta sucintamente as principais tendncias observadas no primeiro trinio de implementao do ENADE,
consideradas as aplicaes de 2004, 2005 e 2006, abrangendo assim
o primeiro ciclo do Exame.
tendncias observadas a partir

do enade ciclo 2004-2006
Os dados apresentados na tabela abaixo indicam a distribuio dos
conceitos do ENADE (variando de 1 a 5), atribudos em cada um dos
trs anos sob anlise. A distribuio para os anos 2005 e 2006 est claramente de acordo com a curva normal, com um percentual pequeno
de conceitos de nvel 1 e 5 e com uma concentrao de conceitos de
nvel 3. Em 2004, no entanto, a situao foi diferente, pois o percentual de conceitos altos (conceitos 4+5 = 51,0%) foi bem maior do que
o percentual de conceitos baixos (conceitos 1 +2 = 10,6%).
Tabela 2: Dados-sntese sobre a distribuio percentual dos cursos nos cinco conceitos da
escala ENADE, no perodo 2004-2006
Ano
Conceito 1
Conceito 2
Conceito 3
Conceito 4
Conceito 5
2004
2,6%
8,0%
39,5%
39,5%
10,5%
2005
3,0%
17,1%
52,9%
22,2%
4,7%
2006
2,4%
25,5%
49,2%
17,9%
5,1%
Fonte: INEP (2005, 2006, 2007).
Segundo anlises reportadas por Verhine, Dantas e Soares (2006),

no caso do ENADE 2004, a nota do curso dependeu dos melhores
e piores escores dos cursos em um dado campo de conhecimento.
Este procedimento criou distores e instabilidades, conforme foi
observado em Medicina, rea em que o mais baixo escore de curso foi
31/03/2010 16:00:09
substancialmente inferior aos outros. Como consequncia, as notas

da rea ficaram artificialmente altas. O percentual dos cursos de
Medicina classificados nas duas faixas mais altas da escala subiu de
29% (24 cursos) no Provo 20039 para 87% (73 cursos) no ENADE 2004.
O percentual de cursos nas duas categorias mais inferiores na escala
caiu de 21% (18 cursos) em 2003 para zero, em 2004. O problema
destacado foi corrigido pelo INEP logo em seguida, resultando nas
distribuies normais observadas para os anos de 2005 e 2006.
Uma anlise mais cuidadosa da distribuio dos conceitos no
perodo 2004 2006 revela as seguintes tendncias10:
a) A regio Nordeste, surpreendentemente, concentrou o mais
alto percentual de conceitos 5 e 4 (44,0%), seguido pela regio
Sul (39,6%). A regio Sudeste tem o maior nmero de conceitos
4 e 5 em termos absolutos, mas seu percentual de conceitos
altos mais baixo ao considerar o nmero total de cursos
envolvidos.
b) O percentual de conceitos 4 e 5 foi mais alto para instituies
pblicas (55,9%) em relao s privadas e para universidades
(50,8%) quando comparadas com centros universitrios e faculdades. Entre as universidades, as federais se sobressaram, com
76,5% dos seus cursos recebendo conceitos dos dois nveis mais
altos. Os centros tecnolgicos tambm se destacaram (tendo
57,1% de seus cursos com conceitos 4 ou 5), mas foi pequeno
o nmero de cursos desse tipo de instituio avaliados pelo
ENADE no perodo (apenas 21).
9 Para uma leitura sobre

o Provo 2003 (resultados
e crticas ao Exame), ver
INEP (2003).
10 Os percentuais
relatados foram
calculados pelos autores,
baseados no total de
conceitos vlidos.
Alm dos conceitos do ENADE, foram divulgados anualmente, a

partir de 2005, os resultados referentes ao Indicador de Diferena
entre os Desempenhos Observado e Esperado (IDD). Este Indicador
foi desenvolvido para captar o valor agregado do curso e representa a diferena entre o desempenho mdio dos concluintes de um
curso e o desempenho mdio estimado para os concluintes desse
mesmo curso. Para calcular o desempenho estimado, so considerados o desempenho dos ingressantes, o nvel de instruo de seus
pais e o grau de seletividade do curso (medido atravs da relao
ingressantes/concluintes). Em 2005, o IDD foi divulgado em forma
31/03/2010 16:00:09
do seu escore, que varia de +3 e -3. Um escore positivo significa que

o desempenho mdio dos concluintes do curso est acima do valor
mdio estimado (calculado a partir de dados de ingressantes com
perfil de desempenho similar). Valores negativos indicam o oposto:
o desempenho mdio dos concluintes est abaixo do que seria esperado. Nesse clculo, portanto, os valores negativos no significam
que o desempenho mdio dos concluintes menor do que o dos
ingressantes, mas que menor que o desempenho mdio esperado,
tomando-se como base o perfil dos ingressantes. Diante da confuso
criada pelo significado dos escores (especialmente os negativos), em
2006 os resultados foram divulgados em forma de conceito (de 1 a
5), utilizando a norma como referncia. Essa deciso aproximou a
distribuio de conceitos IDD daquela dos conceitos ENADE, com
um percentual pequeno de cursos recebendo os conceitos 1 e 5 e
uma concentrao de conceitos em torno do nvel 3 (40,4% do total).
importante enfatizar, no entanto, que embora as duas distribuies
(dos conceitos ENADE e conceitos IDD) aparecessem praticamente
idnticas, a correlao entre elas no foi perfeita (r = 0,65), pois nem
sempre um curso com bom resultado entre os concluintes alcanou
o desempenho estatisticamente esperado. (FERNANDES, et al., 2009)
Em relao s tendncias associadas com o IDD, pode-se concluir
que seus resultados, tanto em 2005 quanto em 2006, foram mais
positivos para os cursos na regio Sul, seguidos por os da regio Sudeste, e para as instituies pblicas, especialmente as universidades
federais. Dessa forma, o argumento feito por Fernandes (2009, p. 7)
e outros pesquisadores de que [...] o IDD , provavelmente, uma
medida enviesada contra os cursos que, por sua qualidade, atraem
bons alunos no foi sustentado pelos dados disponveis.
Quanto ao comportamento dos alunos se considerado o desempenho nas provas de formao geral, conforme j explicitado, o mesmo
foi levantado a partir de dez perguntas iguais para todas as reas.
Surpreende o fato de que, nos trs anos do ciclo, para todas as reas,
a diferena observada entre o desempenho mdio de ingressantes
e concluintes foi muito pequena e, em alguns casos, em direo
contrria esperada. Em 2004, por exemplo, em 17,2% dos cursos,
os ingressantes fizeram melhor do que concluintes e, no caso da
31/03/2010 16:00:10
rea de Medicina, o percentual correspondente foi de 44,9%. Simon

Schwartzman (2005) chamou esse fenmeno de O enigma do ENADE.
Uma das razes para as pequenas diferenas pode estar no fato de
que o nmero de itens usado para medir um amplo espectro de
conhecimento e competncias foi demasiadamente pequeno. Uma
outra considerao que os itens do componente de formao geral
podiam ter sido melhor respondidos pelos alunos ingressantes por
que tenderam similaridade com as questes comuns aos vestibulares recentemente prestados, dessa maneira favorecendo-os. Vale
acrescentar que, conforme lembra Verhine, Dantas e Soares (2006),
as provas do ENADE no so pr-testadas e, como consequncia,
no foi possvel que os desenvolvedores de teste predissessem o
comportamento dos itens, fazendo adequaes que se mostrassem
necessrias de forma a evitar tal tipo de problema.
Para a formao especfica, medida por meio de 30 perguntas
diferenciadas por rea, as diferenas entre os ingressantes e concluintes foram bem mais evidentes do que foi o caso com a formao
geral. Em relao s tendncias por regio e por tipo e natureza
da instituio, as duas modalidades de formao comportaram-se
de forma bastante similar. Os cursos da regio Sul evidenciaram o
melhor desempenho, ficando em primeiro lugar em 19 das 48 reas
avaliadas, tanto na formao geral quanto na especfica. Tambm
para as duas modalidades o desempenho foi maior nas instituies
pblicas (quando comparado s instituies privadas) e nas universidades (quando comparadas aos centros universitrios e faculdades).
Ao confrontar as duas modalidades, observa-se que as instituies
pblicas, as universidades e, em especial, as universidades federais
destacaram-se mais na formao especfica do que na formao geral.
As universidades federais, por exemplo, lideraram os outros tipos
de IES em 35 reas (das 48) no caso de formao especfica, mas em
apenas 25 (das 48) reas em relao formao geral.
Apresentadas as principais tendncias quanto aos conceitos dos
cursos e o desempenho discente nas provas de formao geral e
especfica, interessante observar tambm o perfil desses alunos,
levantado por meio de questionrio socioeconmico. Em avaliaes
de aplicao em larga escala, como o ENADE, dados socioeconmicos
31/03/2010 16:00:10
so uma grande riqueza em termos de base de dados para estudos

sobre a Educao Superior no Brasil. Os questionrios tm mais
de 100 questes e so trazidos j respondidos para entrega no dia
da prova. Da mesma maneira, so extremamente importantes as
perguntas feitas aos alunos sobre sua percepo da prova, especialmente para as instituies responsveis por sua elaborao (e futuro
refinamento). No entanto, buscar tendncias socioeconmicas e de
percepo no perodo 2004 2006 bastante mais complicado que no
caso da formao geral e especfica por vrios fatores. Os resultados
diferem de ano para ano visto que, em cada ano, abordado um
grupo de cursos diferente dos demais. Para um determinado ano, h
diferenas entre os cursos sob considerao e, para cada curso, entre
os ingressantes e os concluintes. H diferenas tambm entre os que
estudam em instituies pblicas em relao aos que so matriculados em instituies privadas. Alm disso, os relatrios referentes a
cada um dos trs anos diferem entre si quanto ao contedo abordado,
forma de abordagem e densidade da anlise realizada. Os autores
buscaram, diante desse panorama, focalizar as tendncias gerais
mais evidentes em relao ao perfil dos estudantes e em relao
opinio sobre os cursos, que marcam o perodo como um todo.
Na sua maioria, os alunos participantes (tanto ingressantes quanto concluintes) so solteiros, de cor branca, moram com seus pais e/
ou parentes, esto inseridos em famlia que ganha at dez salrios
mnimos e tm pais que completaram, no mnimo, o ensino mdio.
Alm disso, tm computador em casa e acessam a internet, afirmam
ter bom conhecimento de informtica, tm conhecimento de ingls
(que dominam mais do que o espanhol), utilizam a biblioteca da
instituio com razovel frequncia e consideram a aquisio de
formao profissional a principal contribuio do curso. Do lado
mais negativo, o aluno tpico estuda pouco (alm das aulas, estuda
no mnimo uma e no mximo cinco horas por semana), consulta
jornais apenas ocasionalmente e l no mximo dois livros por ano
(excetuando-se os livros escolares).
O percentual de alunos brancos e o percentual de alunos ricos
(que vm de famlias que ganham mais de 20 salrios mnimos/ms)
tendem a ser maiores para os concluintes do que para os ingressantes.
31/03/2010 16:00:10
Como de se esperar, estas diferenas entre ingressantes e concluintes so, de modo geral, mais marcantes para contextos (instituies
privadas e cursos de menor prestgio) em que a seleo inicial
menos rigorosa. Por outro lado, apenas considerando os concluintes,
percebe-se um gradual aumento no decorrer do tempo do percentual
de estudantes no brancos, de alunos originrios de ensino mdio
em escola pblica, de estudantes com pais com nenhuma ou pouca
escolarizao e de alunos que vm de famlias com renda que se
situa nas faixas inferiores. Assim, embora permaneam traos de
elitizao, h indcios de que o ensino superior no Brasil est se
tornando menos exclusivo do que no passado.
Quando observada a percepo do alunado sobre seus cursos,
percebe-se uma tendncia a uma opinio positiva, com os ingressantes e os alunos de instituies privadas sendo mais generosos
em suas avaliaes do que os concluintes e os alunos de instituies pblicas. Nos trs anos sob estudo, para alunos de instituies
pblicas e privadas, seus professores dominam o contedo que
ministram, discutem o plano de ensino com eles no incio do perodo
letivo e apresentam orientaes relevantes para o processo ensinoaprendizagem. Por outro lado, a opinio do aluno a respeito de seu
professor tende a ser mais negativa (especialmente entre concluintes
de instituies pblicas) em relao ao desenvolvimento de atividades de pesquisa como estratgia de aprendizagem e utilizao
adequada de recursos audiovisuais e de tecnologia educacional com
base na informtica. A percepo sobre os professores sofrvel no
tocante orientao extraclasse e adequao de procedimentos
aos objetivos do curso.
Das 20 aes de natureza didtico-pedaggica apontadas no questionrio, quase a totalidade foi avaliada positivamente, com a grande
maioria dos itens recebendo mais de 60% de aprovao, em cada um
dos trs anos sob considerao. As aes do curso mais bem avaliadas
pelos estudantes dizem respeito contribuio das disciplinas para
o desenvolvimento de competncia de organizao e expresso de
pensamento, para a compreenso de processos, tomada de deciso e
soluo de problemas e para a observao, interpretao e anlise de
dados e informaes. Em todos os trs anos, no entanto, uma minoria
31/03/2010 16:00:10
dentre os concluintes indicou que o currculo de seu curso foi bem

integrado, havendo clara vinculao entre as disciplinas. Os alunos
tambm tenderam a apontar problemas quanto contribuio do
curso para a compreenso/reflexo sobre problemas sociais. Em 2005,
por exemplo, apenas 28,6% dos concluintes acharam que seu curso
ofereceu oportunidade para vivenciar aspectos relacionados a aes
comunitrias. Assim, os resultados sugerem que os alunos, em geral,
estavam satisfeitos com as competncias transmitidas, mas que foram
mais crticos quanto estrutura interna do currculo e abordagem
empregada pelo curso para questes relacionadas cidadania.
Em relao s instalaes fsicas e s condies de funcionamento
do curso, os resultados para os 13 itens avaliados variaram muito,
mas, como nos aspectos j discutidos, os concluintes foram geralmente mais negativos do que os ingressantes e os alunos de instituies pblicas tenderam a ser mais crticos do que os de instituies
privadas. Elementos consistentemente bem avaliados incluram o
horrio de funcionamento da biblioteca e o espao disponvel para
atividades pedaggicas. Por outro lado, a atualizao e o tamanho
do acervo da biblioteca e a existncia de um servio informatizado
de pesquisa bibliogrfica, bem como o acesso dos estudantes a computadores, foram considerados inadequados por muitos.
Fica claro, a partir dos dados apresentados, que anlises bem
mais aprofundadas so necessrias. No se sabe, por exemplo, se
as opinies dos estudantes refletem as verdadeiras caractersticas e
condies dos cursos e seus professores, ou se so apenas impresses subjetivas pouco conectadas a uma realidade concreta. Ser
que as avaliaes mais positivas de alunos de instituies privadas,
quando comparadas com as de alunos de instituies pblicas, significam que as privadas oferecem condies relativamente melhores?
At que ponto as opinies registradas so influenciadas pelo perfil
socioeconmico e psicolgico do aluno? As diferenas observadas
entre os trs anos sob anlise quanto aos perfis e s opinies dos
alunos so decorrentes de diferenas entre os conjuntos de cursos
avaliados ou refletem mudanas longitudinais a respeito do corpo
discente das IES no pas? Espera-se que essas e outras perguntas de
natureza similar se tornem alvos de estudo por parte de membros da
31/03/2010 16:00:10
comunidade acadmico-cientfica brasileira. Ao realizar tais estudos,

outras fontes, tais como o Censo da educao superior e as pesquisas
desenvolvidas pelo IBGE, devem ser consultados.
Em que pese a riqueza de dados levantados pelas aplicaes do
ENADE, o Exame continua a sofrer pesadas crticas e se mantm
cercado por pontos polmicos. Enderear essas questes um caminho para contribuir para o refinamento do Sistema e, ao faz-lo,
favorecer a aprendizagem sobre elementos da avaliao. As questes
polmicas serviram como eixos de reflexo, tratados a seguir.
eixos de reflexo sobre o enade

Essa subseo aborda cinco eixos de reflexo referentes concepo e ao atual funcionamento do ENADE. Cada eixo trata de um
aspecto do ENADE que tem sido um ponto de controvrsia, desde a
criao do referido exame em 2004. Os eixos aqui focalizados so:
pertinncia do ENADE; sua finalidade; seu carter obrigatrio e a
falta de equidade; a qualidade das provas; e o clculo do conceito
ENADE e do IDD.
a pertinncia do enade
Conforme foi discutido anteriormente, um modelo de teste obrigatrio aplicado a alunos, como o ENADE, utilizado atualmente
apenas no Brasil. Uma hiptese para a no utilizao por outros
pases que amplamente acreditado que testes, a exemplo dos
utilizados no modelo brasileiro, so limitados e capturam, no melhor
dos casos, apenas uma poro daquilo que deve ser aprendido ou
conhecido ao final de um curso de graduao. Neste sentido, existem dois argumentos comumente apresentados por especialistas
no assunto. Primeiro, tais especialistas afirmam que a maioria das
profisses relacionadas educao superior no requer a acumulao e memorizao de conhecimento testvel. Pelo contrrio, tais
profisses exigem, principalmente, habilidades e competncias
que abrangem, entre outras coisas, localizar conhecimento quando
31/03/2010 16:00:10
necessrio e, mais importante ainda, a capacidade para adquirir

novo conhecimento, atravs de processos de aprendizagem contnua.
Tais habilidades e competncias so dificilmente captadas atravs
de exames padronizados, escritos (embora o ENEM represente um
avano nesse sentido). Assim, os especialistas indicam que o uso
de testes faz, talvez, algum sentido em reas em que a aquisio
de contedos especficos e/ou tericos intensiva (como direito e
contabilidade, por exemplo), mas, para a vasta maioria das profisses,
testes simplesmente no apreendem a essncia da formao que um
curso de graduao procura desenvolver.
O segundo argumento usado pelos especialistas que, mesmo em
reas em que testar torna-se justificvel, impossvel desenvolver
um teste suficientemente detalhado que possa ser aplicado de forma
padronizada em uma amostra (ou populao) nacional ampla. Quarenta questes (dez para formao geral e 30 referentes formao
especfica) simplesmente no so suficientes. Para fazer justia a uma
rea de formao, o teste teria que ser bem mais extenso. O exame
da OAB, por exemplo, realizado em etapas, envolvendo, pelo menos, dois momentos diferentes de aplicao das provas. Nos Estados
Unidos, o USMLE (Medicina), o MBE (Direito) e o CPAE (Contabilidade)
so provas realizadas em mltiplas etapas, envolvendo mais do que
um dia. Assim, para assegurar a validade dos resultados do ENADE,
seria necessrio aumentar significativamente o nmero de itens e
consequentemente o tempo do teste (que atualmente de quatro
horas), o que poderia introduzir um fator negativo que o cansao
de quem est a ele se submetendo e, ainda, acrescentar em muito
o custo global do processo de implementao.
Apesar das limitaes inerentes ao ENADE, o modelo defensvel
por trs razes. Em primeiro lugar, considerando que a utilizao
de testes representa algo concreto e operacional, sua utilizao tem
ajudado a criar um clima favorvel avaliao da educao superior.
Antes do Provo e do ENADE, embora a necessidade da avaliao
da educao superior fosse amplamente reconhecida, tinha sua
implementao impedida por formuladores em busca do modelo
perfeito. Atualmente, a avaliao da educao superior faz parte
permanente do cenrio nacional. Em segundo lugar, o questionrio
31/03/2010 16:00:10
socioeconmico que acompanha o exame tem gerado, como foi

visto anteriormente, uma gama de dados de grande valor, vez que
resultam em importantes informaes sobre as caractersticas e opinies dos estudantes da educao superior no Brasil. Sem os testes,
tais questionrios poderiam nunca ser preenchidos em uma escala
ampla e, como consequncia, o conhecimento sobre e nossa compreenso a respeito do corpo discente nacional seriam muito mais
restritos do que a situao atual. Finalmente, pode-se argumentar
que os testes, embora imperfeitos na apreenso de resultados, so,
certamente, melhores do que nada. melhor ter alguns resultados
do que nenhum deles. Mas importante ressaltar que as limitaes
de tais resultados tm que ser conhecidas e, ademais, eles nunca
deveriam ser tomados como a nica medida de qualidade. somente
combinando-os com outros indicadores, inclusive os que tratam de
insumos, frequentemente mais bem mensurveis atravs de visitas
in loco, que se pode avaliar a qualidade de cursos de graduao e, por
extenso, das instituies brasileiras de educao superior.
a finalidade do enade
Na poca do Provo existia uma ampla compreenso de que o exame
era uma forma de avaliar cursos e no os alunos em si. No caso do
ENADE, tal compreenso, embora ainda vlida, tem sido prejudicada
pela forma com que o SINAES foi estruturado pela Lei n 10.861/04.
A referida lei determina que o SINAES seja composto por trs dimenses, abrangendo a avaliao de instituies, a avaliao de cursos
e a avaliao do desempenho dos estudantes. Assim, a impresso
que se tem que os alunos so alvo de avaliao. Mas este no
o caso; o resultado de cada aluno sigiloso, comunicado para ele
apenas, e, consequentemente, seu desempenho no tem nenhuma
consequncia ou impacto individual. importante ressaltar que
o desempenho dos alunos que est sob considerao, e este desempenho, calculado em termos da mdia do conjunto de alunos,
uma forma de avaliar a qualidade de cada curso. O SINAES, em vez
de composto de trs componentes independentes, de igual peso,
melhor entendido como um funil, em que os resultados da avaliao
31/03/2010 16:00:10
11 A partir da introduo
do Conceito Preliminar
de Cursos (CPC), nem
todos os cursos recebem
visita ver Fernandes
e outros pesquisadores
(2009). Vale ressaltar
tambm que as comisses
que avaliam cursos e as
comisses que avaliam
instituies so distintas,
cada uma com uma
capacitao especfica e
utilizando instrumentos
e procedimentos
diferenciados.
do desempenho do aluno (no seu conjunto) alimentam a avaliao

do curso e os resultados da avaliao do curso (no seu conjunto) alimentam a avaliao institucional, sendo esta ltima (o topo do funil)
o foco principal do SINAES. Fala-se em funil porque, indo do mais
especfico (ENADE) para o mais abrangente (Avaliao Institucional),
novos elementos de avaliao vo sendo acrescentados. A avaliao
dos cursos incorpora tambm os resultados da visita realizada por
uma comisso de especialistas. Na avaliao institucional, alm da
avaliao dos cursos (feita pelo ENADE e pelas visitas), adicionam-se
os resultados da autoavaliao institucional e de uma visita instituio, tambm realizada por uma comisso de especialistas11..
A confuso gerada pela Lei n 10.861/04 referente finalidade
do ENADE tem provocado resistncias. Os alunos (e sua representao nacional) sentem-se prejudicados, forados a se submeter a
uma avaliao, na viso de muitos deles, desagradvel, injusta e
desnecessria. Se fosse compreendido que a participao do aluno
representa uma contribuio para o asseguramento da qualidade
do seu curso, da sua instituio e do sistema nacional de educao
superior, a resistncia que persiste poderia ser reduzida. Em vez de
encarar o exame como uma punio (individual e coletiva), o aluno
deveria entender sua participao como uma contribuio social,
como uma das responsabilidades que compem a cidadania.
Alm dos alunos, muitos representantes institucionais, especialmente os associados a entidades privadas, tm aproveitado a nebulosidade da lei para insistir na divulgao pblica dos resultados
individuais do aluno. arguido que tais resultados seriam teis para
identificar os alunos com problemas de aprendizagem e valorizar os
que demonstram desempenho positivo. Seriam tambm valiosos no
mercado de trabalho, servindo como um sinal para o empregador
ao selecionar entre candidatos que buscam contratao. Alm disso,
segundo a mesma linha de raciocnio, a divulgao pblica faria
com que os que fizessem o exame tentassem fazer o melhor possvel,
gerando, assim, avaliaes mais confiveis. Mas, se adotada, esta posio teria severas consequncias para o futuro do SINAES, mudando
drasticamente seu foco, que agora est no curso e, especialmente,
na instituio e provocando resistncias por parte dos estudantes
31/03/2010 16:00:10
muito mais fortes do que as at agora manifestas. Tal mudana criaria

possibilidade para o abuso e mal uso de informaes, pois os resultados poderiam ser usados, dentro da instituio, para gerar punies
(tanto concretas como simblicas) indesejveis. bom lembrar que
o ENADE, do modo com que delineado hoje, no se presta a exame
de ordem ou a certificao profissional, no sendo nem remotamente
adequado para utilizao direta pelo mercado de trabalho.
Ante as consideraes acima, deve-se registrar que a prtica de
premiao empregada pelo ENADE (e anteriormente pelo Provo)
inconsistente com a concepo do SINAES, pois identifica e premia
o aluno individualmente. Embora a premiao seja vista por muitos
(incluindo os alunos-ganhadores) como algo benfico, sua utilizao contrria aos princpios que norteiam o SINAES e alimenta a
confuso e a polmica acima apontada12.
a obrigatoriedade e a (falta de) equidade do enade

Relacionadas confuso sobre a finalidade do ENADE esto algumas
questes em torno de sua obrigatoriedade e equidade. Conforme foi
mostrado por Paiva (2008), essas duas qualidades foram implementadas de forma consistente e complementar na poca do Provo, pois
todos os concluintes, em determinadas reas13, foram obrigados a
prestar o exame. No caso do ENADE, a aplicao por rea trienal
e a seleo de alunos participantes tem sido amostral, com os no
selecionados sendo oficialmente dispensados. Dessa maneira, embora o ENADE seja um componente obrigatrio do currculo, o aluno
participa ou no dependendo de seu ano de concluso e sua sorte
na seleo amostral. Isto contribui para o sentimento de injustia
que muitos estudantes demonstram em relao ao ENADE e tambm
gera a impresso, por parte do pblico em geral, que existem brechas
para manipulaes amostrais. Como consequncia, a credibilidade
do sistema nacional de avaliao fica prejudicada. Pergunta-se, assim,
porque a obrigatoriedade e, sendo obrigatrio, porque o ENADE,
diferentemente do Provo, no pratica a equidade?
A obrigatoriedade do ENADE condio necessria para atender
seu objetivo de avaliar cursos. Se o ENADE fosse voluntrio (como
12 Nos anos 2004 a

2006, o INEP ofereceu
bolsas CAPES para psgraduao ao estudante
com o escore mais
alto em cada uma das
reas avaliadas. Essa
premiao suscita
um questionamento
bsico: como o INEP lida
com empates entre os
estudantes? Quanto a
isto, vale registrar que
nenhuma informao
sobre os procedimentos
de desempate tem
sido divulgada, antes
ou mesmo depois da
aplicao das provas.
13 A cada ano,
novas reas foram
acrescentadas, chegando,
no seu ltimo ano (2003),
a um total de 26, ou seja,
um nmero bem menor
do que o nmero de reas
que so reconhecidas pelo
INEP. Por essa razo, a
meno a determinadas
reas.
31/03/2010 16:00:10
14 Na sua forma
atual, o ENADE custa
aproximadamente
R$ 20 milhes/ano e
requer uma quantidade
grande de salas de
aula (mais de 18 mil,
segundo dados do INEP
em 2008) e aplicadores.
Comparando-o ao Provo,
deve ser lembrado
que este ltimo nunca
abrangeu todas as reas
(s 26 de 48 em 2003)
e no contemplou os
ingressantes.
a UNE e outras organizaes estudantis advogam), os alunos participantes no seriam necessariamente representativos do conjunto de
discentes no curso e, assim, seus resultados no seriam confiveis.
O ENADE deixaria de ser uma forma de avaliar cursos, tendo como
sua nica finalidade a avaliao do aluno como indivduo, algo que,
como vimos na subseo anterior, no seria recomendvel.
A falta de equidade, por outro lado, justificada no por uma
razo terico/conceitual, mas de ordem prtica. Se fossem avaliadas
todas as reas e todos os ingressantes e concluintes em todos os anos,
seria necessrio testar anualmente aproximadamente 1 milho de
alunos, representando mais de 20 mil cursos, sendo esses nmeros
crescentes no decorrer do tempo. Uma aplicao de tal magnitude seria extremamente cara e muito complicada logisticamente14.
Assim, a ausncia de eqidade deve ser entendida como sendo um
dos preos pagos para a viabilizao do ENADE diante de um sistema
de ensino enorme e ainda em crescimento. Espera-se que a polmica
em torno da questo seja diluda na medida em que a participao
estudantil esteja compreendida como uma contribuio social.
Apesar da questo de viabilizao prtica, no entanto, o INEP
decidiu, no final de 2008, que, a partir de 2009, as aplicaes do
ENADE sero censitrias e no mais amostrais. Esta determinao
serve para atenuar, mas no eliminar, o problema da equidade, pois
a participao trienal de cada rea ser mantida. A deciso do INEP
tem mritos e demritos, pois, por um lado, elimina uma importante
fonte de resistncia e desconfiana, mas, por outro, aumenta o custo
do ENADE (em aproximadamente 40%), aumenta as dificuldades
logsticas, e, por envolver todos os alunos da populao-alvo, potencialmente agrava a tendncia (equivocada) de ver o ENADE como
uma avaliao do aluno em vez de uma avaliao do seu curso. Vale
registrar que, embora o enfoque amostral tenha sido descartado por
agora, bem provvel que tenha de ser re-introduzido no futuro, pois
o sistema (e, assim, o custo) deve continuar a crescer. Ao expressar
tais reservas, sabe-se que a introduo da abordagem censitria tem
sido aplaudida no apenas pelo pblico em geral, mas tambm por
um bom nmero de especialistas no assunto. Argumenta-se que
o processo da escolha da amostra mais custoso do que normal-
31/03/2010 16:00:10
mente reconhecido e que as bases tcnicas do processo amostral

so suspeitas devido falta de informao prvia sobre o perfil
da populao-alvo. A amostra tambm tem sido criticada por no
considerar, separadamente, os alunos de turno diurno daqueles do
noturno. Alega-se, nesse sentido, que, se os dois grupos recebessem
um tratamento amostral diferenciado, a porcentagem da amostra
global seria muito mais alta, o que reduziria a vantagem econmica
do enfoque amostral em relao abordagem censitria.
a qualidade das provas do enade

A qualidade das provas do ENADE pode ser questionada a partir de
diversos ngulos. Uma crtica frequentemente apontada diz respeito
ao fato de que as provas no so baseadas em critrios preestabelecidos referentes ao desempenho esperado ou desejado. O ENADE
apenas classifica os cursos avaliados mediante a comparao de
seus resultados entre si, no mesmo campo de conhecimento, sem o
estabelecimento de um padro mnimo satisfatrio a ser alcanado.
Deve-se observar, no entanto, que muito difcil o estabelecimento
de especificaes de teste para o ensino superior, considerando a
complexidade das competncias requeridas pelas carreiras que demandam grau superior. Um teste referenciado a critrio adequado
deveria conter um amplo nmero de questes, o que inviabilizaria
sua aplicao em um perodo razovel. Assim, a crtica, embora vlida, de difcil sustentao diante de questes de ordem prtica.
Entretanto, razovel argumentar que, at considerando as limitaes impostas pela prtica, o nmero de questes na prova
demasiadamente pequeno, especialmente quando considerado o
componente de formao geral: dez perguntas no so suficientes
para medir o conhecimento e as competncias que esto postas nas
especificaes que, de acordo com o Exame Nacional de Desempenho
dos Estudantes: ENADE 2004: resumo tcnico (INEP, 2005), devem medir:
1) tica profissional, 2) competncia profissional, e 3) compromisso
profissional com a sociedade em que vive. Alm disso, devem avaliar
a habilidade do estudante para analisar, sintetizar, criticar, deduzir, construir hipteses, estabelecer relaes, fazer comparaes,
31/03/2010 16:00:10
detectar contradies, decidir, organizar, trabalhar em equipe, e

administrar conflitos. Alm dessas 12 competncias, as dez questes
do teste devem considerar 11 diferentes temas, a inclusos bio e
sociodiversidade, polticas pblicas, redes sociais, cidadania, e problemticas contemporneas. (INEP, 2005, p. 10) Em que medida esses
11 temas so relacionados tica, competncia e ao compromisso
profissionais no fica claro, assim como as anlises no aprofundam
a relao do desempenho dos alunos com os temas transversais
propostos. A partir da leitura dos resumos tcnicos produzidos no
decorrer do ciclo 20042006, no foi possvel identificar uma lgica
coerente embasando o componente de formao geral.
As questes do componente especfico so mais difceis de avaliar
por que diferem entre as vrias reas. Tudo indica, no entanto, que
elas tambm so de nmero insuficiente para cobrir todo o escopo
proposto. Neste sentido, vale lembrar que o ENADE aplica o mesmo
teste a ingressantes e concluintes e, por essa razo, as questes
deveriam cobrir os vrios estgios de aprendizagem esperados em
diferentes momentos do curso. O problema de um nmero insuficiente de perguntas de natureza especfica exacerbado pelo fato
de o nmero total de questes ser obrigatoriamente igual a 30.
Como consequncia, o grau de cobertura do escopo de cada teste
provavelmente tem variado substancialmente pelas reas, pois a
amplitude das especificaes tem se diferenciado significativamente
de uma rea para outra.
Uma outra limitao que prejudica a qualidade das provas do ENADE trata da ausncia de pr-testagem dos itens, o que significa que
um procedimento tcnico fundamental para assegurar a validade
e confiabilidade do instrumento no tem sido realizado. De acordo
com fontes do INEP, essa ausncia resultante de cronogramas
apertados para a elaborao dos testes, muitas vezes associados
quantidade de tempo gasta no processo licitatrio para contratao
das instituies elaboradoras e que realizado a cada ano. importante registrar que os itens e as provas, aps aplicao, so tornados
pblicos e discutidos pelas comisses, agncias elaboradoras, e INEP,
alm de serem submetidos a um crivo estatstico (parte do processo
de anlise dos dados). Entretanto, essas aes pos-facto no podem
31/03/2010 16:00:10
ser consideradas adequadas para a composio das provas devido

natureza do exame, caracterizado por um nmero pequeno de
perguntas e composto de itens que no so re-utilizados.
o clculo do conceito enade e do idd

Tanto o Conceito ENADE quanto o Conceito IDD tm sido focos de
controvrsia. O Conceito ENADE tem sido composto dos resultados
dos concluintes referentes formao especfica (60%), os resultados dos ingressantes referentes formao especfica (15%) e os
resultados dos concluintes e ingressantes, em conjunto, referentes
formao geral (25%). Assim, os ingressantes so responsveis por
aproximadamente 30% do conceito do curso15. Dessa forma, alunos
que esto no incio do curso e, consequentemente, apenas comeando o processo de aprendizagem no nvel superior, acabam tendo
um impacto significativo na determinao do conceito atribudo.
Este procedimento de clculo tem sido amplamente criticado por
diversos autores, uma vez que distorce o resultado de forma a favorecer os cursos que, independente de sua qualidade, conseguem
atrair os melhores alunos (ver, por exemplo, CASTRO, 2008). Existe,
no entanto, uma lgica que fundamenta o procedimento adotado,
que se baseia no desejo de captar no apenas o desempenho mdio
dos alunos do curso, mas tambm a aprendizagem (ou seja, o valor
agregado) que o curso consegue promover. Foi devido a esse desejo
que os ingressantes foram includos no ENADE, para permitir uma
comparao entre seus resultados e os dos concluintes. Mas tal
comparao s possvel na medida em que os ingressantes esto
motivados a responder o teste da melhor maneira que possam. Seria
um desastre se os ingressantes optassem por obter uma nota baixa,
contribuindo, dessa maneira, para um valor agregado artificialmente inflacionado. Foi para evitar esse tipo de comportamento
que os resultados dos ingressantes foram incorporados ao conceito
do curso, como forma de assegurar que os ingressantes, do mesmo
modo que os concluintes, fossem incentivados a buscar o melhor
desempenho possvel. Utilizando a linguagem do economista, houve
um trade off, pois a qualidade do Conceito ENADE foi prejudicada
15 Chega-se a esta
estimativa somando os
15% referentes formao
especfica e trs quintos
dos 25% referentes
formao geral.
31/03/2010 16:00:10
16 Segundo o INEP,
a partir de 2009, o
desempenho do aluno
ingressante deixar de
compor a nota ENADE,
mas ser utilizada como
integrante do Conceito
Preliminar de Cursos
(CPC), discutido na nota 21
posterior.
para fortalecer a qualidade do indicador (que subsequentemente se

tornou o Conceito IDD) que mensurava o valor agregado16.
A pergunta que nos resta se o trade off valeu a pena. Por um lado,
pode-se arguir que o Conceito ENADE no foi seriamente prejudicado,
porque os resultados dos concluintes (como os dos ingressantes) so
tambm influenciados pela qualidade dos alunos na entrada. Assim,
independentemente de contemplar, ou no, os resultados dos ingressantes, o Conceito ENADE tem uma tendncia de premiar os cursos
que atraem os melhores alunos. Por outro lado, pode-se dizer que
o referido trade off no se justificou, uma vez que a noo do valor
agregado e sua forma de mensurao no contexto do ENADE no
so conceitualmente sustentveis. Esta ltima perspectiva merece
um aprofundamento maior.
Conforme j relatado, o IDD foi introduzido, em 2005, para captar
o valor agregado de forma mais sofisticada do que o procedimento
at ento utilizado. O IDD no uma mera subtrao da nota dos
calouros daquela dos formandos, mas estima, baseado nos dados dos
ingressantes, uma expectativa de nota final. Para isso, considera no
apenas os escores dos testes, mas tambm a educao dos pais e a
seletividade do curso (percentagem dos ingressantes que concluem
a graduao). Esta aparente sofisticao, embora louvvel, no
suficiente para compensar um problema conceitual fundamental.
O IDD erra por partir da premissa de que os ingressantes e os concluintes so comparveis quando, na verdade, os dois grupos no
so necessariamente equivalentes. Os perfis de estudantes de um
determinado curso ou instituio tendem a se modificar no decorrer
do tempo, primeiro porque a composio de ingressantes est em
constante mudana por causa de transformaes mais macro no pas
e segundo porque boa parte dos alunos ingressantes em um determinado ano no est entre os que concluem trs anos depois, devido
a processos de evaso, transferncia, reprovao ou, simplesmente,
atraso nos estudos. Assim, para vrios especialistas, o IDD no um
indicador confivel e, apesar de sua complexidade matemtica, no
merece a valorizao que vem recebendo.
Uma sugesto para superar o problema de mensurao do valor
agregado seria a utilizao dos resultados do ENEM para medir as
31/03/2010 16:00:10
competncias do ingressante e para estimar seus resultados esperados ao concluir seu curso. Tais resultados esperados seriam, ento,
comparados com resultados do prprio aluno no ENADE (que seria
aplicado apenas para concluintes). No momento desta redao, esta
possibilidade est sendo avaliada pelo INEP, tendo boas chances
de ser implementada em futuro prximo. Para esta ideia funcionar, duas adaptaes seriam necessrias. Primeiro, o ENEM, agora
opcional, teria de se tornar obrigatrio, pelo menos para os que
pretendem estudar em instituio de ensino superior. Segundo, os
exames do ENEM e do ENADE teriam que ser equacionados de forma
a permitir comparaes entre eles. Neste sentido, seria necessrio
reestruturar a matriz de competncias do componente especfico do
ENADE, retirando o foco dos contedos de rea e redirecionando-o
para competncias e habilidades proporcionadas pela formao em
nvel superior. Vez que o ENADE no um teste ocupacional, essa
mudana no seria prejudicial para a avaliao da qualidade dos
cursos no contexto do SINAES.
Apresentadas as principais polmicas que cercam o ENADE, a
seo a seguir relaciona algumas sugestes para seu aprimoramento
e, principalmente, faz uma anlise do ENADE no contexto do sistema
que avalia a Educao Superior no Brasil.
consideraes finais
Da leitura das sees anteriores, podem ser sintetizadas as sugestes
para o aprimoramento do ENADE no contexto SINAES:
a) Manuteno da avaliao de cursos por meio do desempenho
dos estudantes, com refinamento dos testes aplicados, devidamente acompanhados pelos questionrios socioeconmicos
e de levantamento de percepo.
b) Disponibilizao da base de dados para e incentivo amplo a
pesquisadores interessados na compreenso dos fenmenos
que caracterizam a educao superior no Brasil.
c) Vasta campanha de divulgao do carter de contribuio social
do aluno, ao participar do ENADE, para a avaliao do seu curso
e na busca por uma maior qualidade no ensino superior.
31/03/2010 16:00:11
17 Essa sugesto
especialmente
implementvel visto
que o governo federal
recomendou o ENEM
como prova de ingresso
s universidades no
Brasil. Tal uso do ENEM
foi proposto sociedade
brasileira em maro de
2009 e foi aceito, parcial
ou integralmente, por
muitas universidades
federais para implantao
ainda em 2009.
d) Utilizao do ENEM como prova de entrada para os cursos

de graduao, com posterior aplicao do ENADE apenas
aos alunos concluintes17. Decorrente dessa sugesto seriam
necessrias algumas medidas:
Atribuio de carter obrigatrio ao ENEM para os alunos
ingressantes em cursos de nvel superior.
Reviso da matriz de competncias do ENADE, de forma a
melhor integrar o componente de formao geral ao componente especfico.
Delineamento ENEM ENADE de modo a garantir comparabilidade entre os testes.
Reviso, portanto, dos indicadores de desempenho e de valor
agregado.
e) Realizao de estudos e de experincias-piloto no sentido de
referenciar esse novo ENADE a critrio.
f ) Conduo de processos licitatrios para contratao das instituies responsveis pelas elaborao e aplicao de testes que
incluam a prestao de servios por perodos mais longos que
os atuais e, com isso, possibilitem a pr-testagem de itens e
testes e o refinamento dos instrumentos, com grande impacto
para sua qualidade no formato final.
O ENADE no perfeito como, de resto, nenhuma avaliao
consegue s-lo. Ao final do primeiro ciclo, podiam ser percebidos
aspectos positivos e negativos no Exame e no Sistema que o abrigava.
A sugesto maior que aqui se apresenta no sentido que as crticas
e os problemas identificados sejam endereados e, nesse processo,
aprimorem o sistema. Nesse sentido, o maior cuidado a ser tomado
a articulao do ENADE com outros componentes do SINAES.
Quando observado o panorama da avaliao da educao superior
no Brasil, assim como ocorreu no Provo, o ENADE tem se tornado
o componente central de um sistema que foi expressamente criado
para evitar a possibilidade de tal centralidade. Em outras palavras, o
ENADE est se tornando o Provo, produzindo resultados que esto
virando, em si, a avaliao dos cursos. Este problema tem acontecido porque, at o presente momento, os demais componentes do
31/03/2010 16:00:11
SINAES no tm sido integralmente implementados, o que acaba

dando ao ENADE uma importncia no prevista e, na opinio de
muitos, indesejada.
As razes pelo atraso na implementao dos componentes avaliao de cursos e avaliao de instituies so vrias, mas so trs
as que se destacam. Em primeiro lugar, esses dois componentes se
baseiam em visitas externas por parte de comisses especializadas
e, assim, dependem do desenvolvimento de processos de seleo,
capacitao e acompanhamento de avaliadores. O INEP inicialmente
estimou uma fora de trabalho com um total de 9.000 avaliadores
capacitados, incluindo tanto os treinados para avaliar cursos quanto os preparados para avaliar instituies. Entretanto, as aes de
recrutamento, seleo e capacitao levam tempo e, at o final de
2008, o total de avaliadores capacitados girava em torno de 6.000, ou
seja, aqum do nmero necessrio. Alm disso, visitas preliminares,
realizadas em 2007 e 2008, revelaram que formar um bom avaliador
bem mais difcil do que originalmente previsto pelos responsveis
pela capacitao. Ficou evidente que o fato de uma pessoa ser professor de ensino superior, ter um bom curriculum vitae e interesse
na avaliao, e ter passado por uma capacitao de trs ou quatro
dias no foi suficiente para assegurar o perfil requerido. Diante
desse quadro, ao final de 2008, foi necessrio efetuar uma segunda
rodada de capacitaes, dando os j capacitados um treinamento
ainda mais aprimorado.
Um segundo elemento que contribuiu para o atraso foi a necessidade de aperfeioar os instrumentos utilizados pelos avaliadores
durante as visitas. Os referidos instrumentos foram originalmente
concludos e oficialmente autorizados no incio de 2007, mas a
utilizao dos mesmos nas visitas realizadas subsequentemente
indicou a necessidade de uma srie de reformulaes. Apesar da
sua aparente sofisticao, os instrumentos no funcionaram bem
na prtica, por serem demasiadamente extensos e complexos. Como
resultado, os instrumentos, tanto para cursos quanto para instituies, foram reelaborados em 2008, buscando sua simplificao.
O nmero de indicadores e o nvel de detalhamento dos degraus de
avaliao foram reduzidos. Alm disso, a redao assumiu um carter
31/03/2010 16:00:11
18 No instrumento para
a avaliao de cursos, o
nmero de indicadores
foi reduzido de 106
para 26 e o nmero de
degraus definidos foi
reduzido de 530 para 26.
No instrumento para a
avaliao de instituies,
o nmero de indicadores
foi reduzido de 73 para 41
e o nmero de degraus
definidos foi reduzido de
365 para 41.
19 Em 2008, o CPC
foi composto de trs
indicadores: o escore no
ENADE, o escore referente
ao IDD e uma medida que
abrangia quatro subdimenses dos insumos
do curso. Todos os cursos
nos nveis mais baixos da
escala do CPC (nveis 1 e 2)
deveriam ser visitados. Os
demais cursos (ou seja, os
com um CPC de 3, 4 ou 5)
poderiam, se desejassem,
solicitar uma visita de
avaliao. Contudo, se
no o fizessem dentro
de 30 dias, o conceito
preliminar seria mantido
como conceito final.
Naquele ano, apenas
27 cursos solicitaram a
referida visita.
mais direto e a quantidade de determinaes avaliativas exigidas do

avaliador foi diminuda18.
O terceiro fator impedindo a implementao plena do SINAES e
certamente o mais importante diz respeito ao tamanho do sistema
nacional de educao superior. Conforme a Lei n 10.861/04, todas as
instituies e todos os cursos que compem o referido sistema nacional deveriam ser visitados no decorrer do ciclo trienal do SINAES.
Isto significa a realizao de visitas a mais de duas mil instituies
e 20 mil cursos de trs em trs anos, o que invivel do ponto de
vista logstico. O INEP calcula que tem, na melhor das circunstncias,
a capacidade para realizar, no mximo, 4.000 visitas por ano. Foi
devido a esse impasse que o Instituto criou, em 2008, o Conceito
Preliminar do Curso (CPC). O CPC busca viabilizar a avaliao de
cursos ao permitir identificar aqueles que necessitam da visita ao
tempo que, com base em informaes confiveis e j existentes,
atribui um conceito aos demais. Com a introduo do CPC, estimase que apenas 25% dos cursos teriam que ser visitados, o que torna
alcanvel o nmero total de visitas que precisam ser realizadas por
ano (somando as de cursos com as de instituies)19.
No presente momento (meada de 2009), tudo indica que os trs
impedimentos acima mencionados tenham sido superados e a implementao do SINAES, na ntegra, esteja acontecendo. O INEP se
prope a concluir, at o final do ano de 2009, a avaliao de todas as
instituies e de todos os cursos com CPC baixo (1 ou 2) que participaram do ENADE em 2007. Em 2010, o foco ser a avaliao dos cursos
que participaram do ENADE em 2008, e assim por diante. Espera-se
que, com tais avanos, o ENADE perca sua centralidade e assuma o
papel originalmente pretendido, de apenas um componente (entre
trs) de um sistema de avaliao pluridimensional e multifacetado.
referncias
BARREYRO, G.B.; ROTHEN, J.C. Para uma histria da avaliao da educao
superior: anlise dos documentos do PARU, CNRES, GERES e PAIUB.
Avaliao, Campinas, SP, v. 13, n. 1, p. 131-152, mar. 2008.
CASTRO, Cludio de Moura. Quem entendeu a nova avaliao de ensino?
Veja, Abril, n. 2079, 24 set. 2008. Seo Opinio.
31/03/2010 16:00:11
DIAS SOBRINHO, J. Avaliao: polticas educacionais e reforma da educao

superior. So Paulo: Cortez, 2003.
FERNANDES, Reynaldo et. al. Avaliao de cursos na educao superior: a funo
e mecnica do conceito preliminar de cursos. Braslia, DF: INEP, 2009.
GOMES, A. M. Exame Nacional de Cursos e poltica de regulao estatal do
ensino superior. Cadernos de Pesquisa, n. 120, p. 129-149, nov. 2003.
GOUVEIA, A.B. et. al. Trajetria da avaliao da educao superior no Brasil.
Estudos em Avaliao Educacional, v. 16, n. 31, p. 101-132, jan./jun.2005.
INEP. Exame Nacional de Cursos 2003: resumo tcnico. Braslia, DF, [2003].
Disponvel em: <http://www.inep.org.br>. Acesso em: 4 dez. 2004.
______. Exame Nacional de Desempenho dos Estudantes: ENADE 2004: resumo
tcnico. Braslia, DF, 2005.
tcnico. Braslia, DF, 2006.
tcnico. Braslia, DF, 2007. Verso preliminar.
______. SINAES: Sistema Nacional de Avaliao da Educao Superior: da concepo
regulamentao. 2. ed. amp. Braslia, DF, 2004.
LIMANA, A.; BRITO, Marcia Regina F. O modelo de avaliao dinmica e o
desenvolvimento de competncias: algumas consideraes a respeito do
ENADE. In: RISTOFF, D.; LIMANA, Amir; BRITO, Mrcia Regina F. de (Org.).
ENADE: perspectiva de avaliao dinmica e anlise de mudana. Braslia,
DF: INEP, 2006. p. 17-44. (Educao superior em debate, v. 2)
PAIVA, G.S. Avaliao do desempenho dos estudantes da educao superior:
a questo da eqidade e obrigatoriedade no provo e Enade. Ensaio:
Avaliao e Polticas Pblicas em Educao, Rio de Janeiro, v. 16, n. 58, p. 31-46,
jan./mar. 2008.
SCHWARTZMAN, S. O enigma do ENADE. Rio de Janeiro:[s.n.], 2005.
Disponvel em: <http://www.schwartzman.org.br/simon/enade.pdf>. Acesso
em: 12 dez. 2004.
______; DURHAM, E.R. (Org.). Avaliao do ensino superior. So Paulo: Editora
da Universidade de So Paulo, 1992. p 13-27.
VERHINE, R. E.; DANTAS, L.M.V.; SOARES, J.F. Do provo ao ENADE: uma
anlise comparativa dos exames nacionais utilizados no ensino superior
brasileiro. Ensaio: Avaliao e Polticas Pblicas em Educao, Rio de Janeiro, v.
14, n. 52, p. 291-310, 2006.
31/03/2010 16:00:11
31/03/2010 16:00:11
Identidade, avaliao e
desempenho escolar
introduo
O presente texto procura destacar o impacto das ameaas identidade social na conduta humana, atendo-se em particular ao impacto
dos diferentes tipos de ameaas sobre o desempenho em condies
de julgamento ou avaliao.
Defende-se o ponto de vista de que o sistematismo, ao oferecer uma alternativa ontolgica e metodolgica capaz de superar
a viso dicotmica imposta pelas perspectivas meta-tericas do
individualismo e do holismo, representa um avano significativo e
oferece respostas para muitas questes controversas que imperam
na psicologia social. (BUNGE, 1987) A verso do sistematismo aqui
acenada acentua a necessidade de identificar o papel exercido por
trs elementos essenciais no entendimento das diferentes formas
de relao entre o indivduo e a sociedade: a dimenso contextual,
a dimenso posicional e a dimenso individual. (BUNGE; ARDILA,
2002) No que concerne ao primeiro elemento, importante diferenciar como os vrios tipos de contexto impem distintas maneiras de expresso das ameaas. As questes que se manifestam em
um ambiente escolar ou acadmico podem no ser exatamente as
mesmas que se aplicam em outros contextos, como, por exemplo, o
laboral ou o de lazer. Em relao dimenso posicional, importante
acentuar que as posies ocupadas pelos indivduos no mbito das
relaes interpessoais e intergrupais tambm devem ser consideradas, uma vez que o impacto das ameaas identidade se manifesta
31/03/2010 16:00:11
de forma diferenciada, a depender da posio ocupada pelo agente,

seja ela a de percebedor ou avaliador ou a de avaliado ou alvo do
julgamento. Enfim, o terceiro elemento se refere s diferenas individuais e se sustenta na premissa de que o efeito das ameaas no
se manifesta de forma homognea em todos os membros de uma
mesma categoria, sendo mediado pelas caractersticas particulares
de cada indivduo.
A partir desse modelo geral, as prximas sees do presente
captulo sero dedicadas a discutir os problemas tericos e metodolgicos suscitados pela avaliao de pessoas, a sugerir como
estas questes repercutem no contexto educacional, a recensear as
diferentes formas pelas quais as ameaas incidem sob o avaliador e
o avaliado e refletir sobre os tipos de ameaas aos quais os indivduos
afiliados s distintas categorias sociais se encontram sujeitos.
problemas suscitados pela

avaliao de pessoas
Nomear e mensurar sempre foram operaes que acarretaram problemas para os psiclogos, embora as controvrsias sobre o uso
apropriado dos conceitos e termos psicolgicos sejam bem menos
intensas, do que as suscitadas pelo amplo debate relativo possibilidade de mensurar a constructos aos quais no se consegue nomear
de modo inequvoco.
Identifica-se bem esta dificuldade aps a introduo, por Binet
e Simon, no incio do sculo XX, dos testes de mensurao da inteligncia. A adoo do quociente de inteligncia como medida do
constructo inteligncia se populariza em definitivo no momento em
que foi utilizado para mensurar de forma rpida e relativamente
precisa as capacidades intelectuais de milhes de recrutas, durante
a primeira guerra mundial. A partir de ento, o seu uso se difunde
rapidamente, passando a ser amplamente utilizado com a finalidade
de mensurar as capacidades e habilidades de indivduos em contextos to diversos quanto os trabalhadores no contexto laboral ou os
estudantes no ambiente escolar.
202 marcos emanoel pereira
31/03/2010 16:00:11
Os psiclogos que se dedicam mensurao ou avaliao dos

fenmenos e processos psicolgicos acolhem, ainda que de forma
implcita, uma teoria da medida que admite e reconhece que todo
e qualquer escore reflete a influncia de dois fatores, um relativo ao prprio constructo que est mensurado e, por outro lado,
uma certa medida de impreciso, denominada varincia de erro.
Como os erros podem ser aleatrios ou sistemticos, importante
ser capaz de identificar qual a natureza do erro e como este pode
comprometer a medida. Embora a deteco dos erros sistemticos
seja difcil, eles, em contrapartida, possuem um menor potencial
de comprometimento da medida, pois qualquer erro aleatrio se
manifesta de uma forma relativamente homognea nos diferentes
grupos e condies, o que torna os seus efeitos negativos bem menos
pronunciados que os exercidos pelos erros sistemticos. Este ltimo
tipo de erro continua sendo uma grande fonte de preocupao para
pesquisadores e estudiosos, dado o enorme risco que eles acarretam,
no tanto no que se refere confiabilidade ou fidedignidade da
medida, mas especialmente validade, ou seja, ao cerne daquilo
que se mensura. Afinal de contas, se uma medida se refere a um
constructo como a inteligncia e mensura um outro, como a ateno
ou a concentrao, por exemplo, pouco adianta serem tomadas
precaues no sentido de preservar a fiabilidade da medida, uma
vez que o erro reside em um outro domnio que no a qualidade do
instrumento de mensurao.
Esta falta de clareza quanto ao que est sendo mensurado se
manifesta na discusso da questo da avaliao do desempenho, particularmente do desempenho escolar. Um debate acalorado acerca do
papel exercido pela gentica ou pelo ambiente no desenvolvimento
da inteligncia imps a defesa ostensiva, de forma apressada e pouco
crtica, de posies extremadas. As discusses entre os defensores
de uma posio gentica ou ambientalista podem ser traduzidas,
pelo menos parcialmente, em termos dos embates ontolgicos e
antropolgicos que colocam em terrenos opostos defensores da
posio individualista e holista. (PEREIRA, 2004)
A tese da hegemonia da influncia da gentica se sustenta em um
conjunto de trabalhos com uma respeitvel tradio intelectual que
identidade, avaliao e desempenho escolar 203
31/03/2010 16:00:11
remonta a nomes como Charles Darwin, Francis Galton ou Arthur

Jensen. Esta tese, em suas linhas mais gerais, se sustenta em estudos
conduzidos com gmeos, onde se evidencia que o coeficiente de
correlao de teste de inteligncia entre monozigticos bem mais
alto do que entre dizigticos (KAUFFMAN, 1999), em estudos acerca
do ambiente familiar, onde se evidencia que a maior proximidade
gentica mantm uma correlao muito forte com os resultados nos
testes de inteligncia (BOUCHARD; MCGUE, 1981) e em estudos com
crianas adotadas, onde so encontradas evidncias de uma correlao
mais forte entre os resultados nos testes de QI entre a criana com os
seus pais biolgicos do que com os pais adotivos. (HORN, 1983)
Em oposio s teses nativistas, os que defendem as posies
ambientalistas acenam com as dificuldades conceituais e metodolgicas enfrentadas pelos estudos de base gentica e indicam uma
srie de estudos que evidenciam o claro impacto do ambiente na
expresso da inteligncia, destacando-se, particularmente, os que
enfatizam o impacto do contexto socioeconmico, o impacto da
dieta e das diferentes restries alimentares, o efeito da estimulao
oferecida criana pelos pais e da ordem de nascimento da criana.
(OAKLEY, 2004)
Estudos desenvolvidos na psicologia social a partir dos anos 60
demonstram a natureza complexa das relaes entre a gentica e o
ambiente, o que parece tornar explcito a necessidade de redefinir
a maneira pela qual a questo vem sendo tratada. Estudos como
os conduzidos por Katz, em meados dos anos 60, alertaram aos
estudiosos quanto necessidade de se considerar a influncia da
ameaa identidade social na mensurao da inteligncia. Se, de
fato, o enunciado das instrues do teste, formulado no sentido de
explicitarem ou no que a inteligncia estava sendo mensurada,
produziu tal discrepncia no resultado, pode-se concluir pelo menos
duas coisas:
a) o contructo submetido mensurao no foi exatamente a
inteligncia, ou talvez, numa formulao mais moderada,
poder-se-ia afirmar que outros fatores se confundem definitivamente com a inteligncia, quando esta mensurada com
o teste de QI;
31/03/2010 16:00:11
b) fatores situacionais exercem um impacto nada desprezvel nos

resultados, donde a necessidade de identific-los prontamente,
de forma que seja possvel adotar as providencias cabveis nas
circunstncias em que estas se tornarem imperativas.
No que concerne aos problemas relativos medida de confiabilidade, novas tcnicas destinadas elaborao de instrumentos de
medida, bem como os cuidados relacionados com a determinao da
validade convergente, divergente e de constructo, tm contribudo
de forma significativa para superar os problemas assinalados em
estudos semelhantes ao de Katz. O segundo problema, no entanto,
certamente mais complexo. O espao privilegiado no qual o impacto
da ameaa identidade exerce alguma influncia no desempenho
o ambiente escolar. A forma particular pela qual as relaes sociais se desenrolam neste contexto permite acentuar a importncia
das crenas acolhidas pelo professor nas ameaas identidade do
estudante e, por esta via, os seus impactos diretos e indiretos no
desempenho escolar.
Um fenmeno, conhecido na literatura como efeito pigmaleo,
tem sido demonstrado de forma reiterada e acena para a necessidade
imperiosa de se considerar a influncia exercida pelas expectativas
dos professores sobre o desempenho dos estudantes. No entanto,
para que o professor venha a desenvolver expectativas sobre o desempenho do estudante necessrio que ele consiga estabelecer
alguma diferenciao entre as distintas classes de alunos e, subsequentemente, que seja capaz de aplicar os rtulos verbais considerados pertinentes para cada categoria em questo. Qualquer que seja a
tipologia adotada, se capaz ou incapaz, inteligente ou no, no exato
instante em que o professor estabelece alguma diferenciao entre
os alunos, as categorias sociais so ativadas e aplicadas. Conforme
salientam os tericos da identidade social, a categorizao acarreta, de imediato, a manifestao de dois processos, a assimilao
percentual, uma tendncia a exagerar as similaridades relativas
aos membros de uma mesma categoria e, na mesma medida, o
contraste, uma tendncia a exagerar as diferenas entre os membros
de categorias distintas.
31/03/2010 16:00:11
Este duplo vis imposto pela categorizao termina por acentuar

as diferenas no desempenho, o que refora e torna ainda fcil
acolher expectativas diferenciadas a respeito de cada classe de estudantes. Ademais, a influncia da expectativa acerca do desempenho
do aluno gera um efeito nada desprezvel sobre o comportamento do
professor na sala, bem como sobre a sua relao com os estudantes
no ambiente acadmico.
Pode-se argumentar, no entanto, que o efeito da ameaa da identidade no desempenho no se restringe a qualquer espao particular,
seja ele o ambiente escolar ou qualquer um outro contexto no qual
as relaes sociais se desenrolam. Alguns autores se referem a uma
certa ameaa que paira no ar e fazem aluso a um efeito ainda mais
difuso e difcil de ser detectado, capaz de se manifestar em contextos
to diversos quanto o ambiente acadmico, o esportivo, o laboral
ou nas relaes afetivas.
A partir dos anos 90 emerge na psicologia social um programa
de pesquisa dedicado ao estudo deste tipo de ameaa. Estes estudos
inicialmente evidenciaram que estudantes negros de uma das universidades de grande prestgio na atualidade e que apresentavam
padres de desempenho relativamente semelhante aos estudantes
brancos, quando submetidos a uma condio na qual se eliciava uma
situao de ameaa direta ou indireta, manifestavam uma reduo
significativa no padro de desempenho quando submetidos a um
determinado tipo de avaliao. Investigaes posteriores corroboraram as evidncias iniciais e ampliaram o conjunto das categorias e
domnios nos quais o efeito da ameaa identidade se manifestava.
Estudantes brancos manifestavam uma reduo no desempenho
intelectual quando comparados com estudantes asiticos; mulheres
apresentavam uma reduo significativa no desempenho em testes
matemticos quando comparadas com homens; enfim, um nmero
substancial de estudos, publicados entre o final do sculo passado
e no incio do presente sculo, se encarregou de deixar claro que
o impacto da ameaa identidade social no desempenho era bem
mais sutil, difusa e difcil de ser detectada e que o impacto das
expectativas do professor sobre o desempenho dos seus estudantes
era apenas um dos elementos da equao.
31/03/2010 16:00:11
ameaas identidade social e desempenho

Para superar os limites impostos pelas abordagens meta-tericas
individualistas e holistas, necessrio refletir sobre as questes at
aqui discutidas a partir de um outro plano de referncia. imperativo, antes de qualquer coisa, abandonar qualquer interpretao
dicotmica que postule uma relao de oposio entre o indivduo e
a sociedade, dado que as perspectivas individualistas so incapazes
de oferecer respostas para a questo das propriedades emergentes,
enquanto os argumentos holistas enfrentam dificuldades para lidar
com a questo da inovao e das diferenas individuais.
Uma alternativa plausvel e no sujeita dicotomia indivduo-totalidade a posio sistematista. Diferentes verses do sistematismo
passam a ganhar proeminncia entre psiclogos e socilogos que se
dedicam psicologia social desde as duas ltimas dcadas do sculo
passado.A interpretao do sistematismo aqui adotada reconhece
a necessidade de identificar trs dimenses de anlise a serem consideradas em qualquer anlise de fenmenos sociais complexos: a
dimenso individual, a dimenso posicional e a dimenso contextual.
Desta forma, uma anlise como a que estamos conduzindo deve estar
atenta no s s diferenas entre os indivduos, como tambm deve
levar em conta a posio ocupada pelos diferentes atores na rede de
relacionamentos que estes estabelecem entre si, sem desconsiderar
o contexto especfico no qual as relaes de dependncia e interdependncia entre os indivduos se manifestam.
Dimenso
posicional
Habilidades e
capacidades
alvo
Dimenso
individual
Caractersticas
sociodemogrficas
avaliador
Acadmico
Laboral
Dimenso
contextual
Figura 1: Concepo sistematista das ameaas identidade, segundo o modelo do
cubo da varincia
31/03/2010 16:00:12
O modelo apresentado na Figura 1 representa uma tentativa de

conduzir uma anlise sistematista do impacto da ameaa identidade sobre o desempenho. Conforme se observa, o contexto ao qual
estes estudos se referem deve ser claramente identificado. No caso
especfico, a maior parte dos estudos sobre o impacto da ameaa ao
desempenho se refere ao ambiente acadmico ou escolar, embora os
estudos no se restrinjam a este domnio. Alm do contexto, a dimenso posicional tambm deve ser contemplada; no caso especfico da
avaliao, decisivo considerar as diferenas nas posies ocupadas
pelos indivduos no mbito das relaes interpessoais ou intergrupais.
Como se trata de posies complementares, a condio de avaliar
ou ser avaliado exerce um papel decisivo na dinmica das relaes
sociais. Enfim, imperativo que sejam consideradas as diferenas
entre os indivduos, pois as ameaas identidade tendem a sofrer a
mediao de fatores como o gnero, a etnia, a idade, o status socioeconmico ou as particularidades e idiossincrasias do indivduo.
Uma vez que o objetivo do presente captulo no o de apresentar
uma concepo geral sobre o impacto das ameaas identidade, e
sim discutir como estas ameaas interferem no processo de avaliao,
a nossa discusso privilegiar a dimenso posicional. importante
salientar que esta estratgia uma decorrncia do plano de anlise
aqui proposto e que outros nveis de tratamento do problema poderiam privilegiar outras dimenses que no a posicional.
o impacto exercido pela ameaa

identidade sobre o avaliador
As ameaas identidade influenciam o desempenho escolar por
duas vias distintas. Se na primeira delas, a influncia se restringe
apenas ao efeito das expectativas sobre o julgamento e as aes do
percebedor, na segunda o efeito mais deletrio, dado que as expectativas do percebedor se organizam sob a forma de um processo
psicossocial que impe um determinado curso de ao no avaliado
que termina por fazer com que a conduta deste ltimo se ajuste
quilo que esperado por quem realiza o julgamento. Esta seo do
31/03/2010 16:00:12
captulo ser dedicada a apresentar algumas evidncias empricas

que demonstram este efeito das ameaas identidade no desempenho escolar e como elas podem interferir nas tarefas de avaliao
conduzidas por que realiza o julgamento.
esquemas mentais e expectativas

O processo de perceber no se restringe a reproduzir internamente
objetos e eventos presentes no mundo externo. A percepo, neste
sentido, no se encontra imune s influncias das crenas, atitudes ou expectativas do percebedor, ou seja, o processo de perceber
encontra-se indissociavelmente associado memria. Uma das formas mais usuais de se conceber a representao da informao na
memria utiliza o conceito de esquemas. Um esquema, definido
como uma estrutura abstrata de conhecimento que contm o conhecimento geral sobre um domnio, incluindo os fatores determinantes
e as relaes entre os atributos deste domnio, oferece os meios e
recursos necessrios para a formulao de hipteses e para a interpretao dos estmulos de forma compatvel com o conjunto da
informao disponvel. (TAYLOR; CROCKER, 1981) Deste modo, um
esquema mental no se confunde com uma proposio, pois estas
so apropriadas para representar unidades de significado, enquanto
aqueles permitem representar contedos mais amplos sob a forma
de conceitos particulares.
Os esquemas se desenvolvem durante o processo de socializao e se constroem pela informao previamente disponvel. O
conhecimento prvio, bem como o contexto social, pode definir a
forma de estruturao do conhecimento mais condizente com as
circunstncias particulares nas quais os esquemas se manifestam.
O esquema mental que cada pessoa elabora a respeito de si mesma
se refere avaliao que ela faz de seu comportamento genrico e
se sustenta, sobretudo, no julgamento que cada um faz a respeito
dos traos mais marcantes da sua prpria personalidade. (MARKUS,
1977) Algum, ao se definir como tmido, por exemplo, encontra-se
em condies de compreender melhor a sua prpria ao, explicar
por que fez ou por que deixou de fazer determinadas coisas, bem
31/03/2010 16:00:12
como est habilitado a identificar com mais facilidade as razes e as

justificativas para cada uma das suas aes e reaes. A noo de traos estveis de personalidade pode ser usada tanto para a elaborao
de esquemas mentais sobre si mesmo, quanto para pra a elaborao
de esquemas sobre as outras pessoas. (CANTOR; MISCHEL, 1977) Os
esquemas sobre as pessoas definem o que se pode esperar dos outros
e ajudam a definir a modalidade mais apropriada de conduta a ser
adotada nos encontros sociais com as diferentes classes de indivduos.
Uma vez que os indivduos ocupam posies sociais claramente
definidas em um sistema social e a interao com as pessoas que
desempenham diferentes papis sociais um imperativo da vida
moderna, as pessoas tambm desenvolvem esquemas mentais a
respeito dos papis sociais. Este tipo de esquema encontra-se relacionado fundamentalmente com as normas e expectativas que so
geradas pelos diferentes papis sociais. Alm dos esquemas sobre
si mesmo, sobre os outros e sobre as expectativas que se deve ter
ao interagir com indivduos que ocupam determinados papis, os
distintos grupos sociais podem ser representados mediante esquemas de grupo. Um esquema grupal pode ser caracterizado como o
conjunto ordenado de crenas disponveis que permite definir os
atributos de um grupo social. A presena de um esquema sobre um
grupo social suficiente para influenciar a percepo que se tem
sobre os membros deste grupo, interferindo em processos como o
foco de ateno, a interpretao da ao, assim como sobre o julgamento e o comportamento a ser adotado em relao aos membros
do grupo percebido.
Uma expectativa pode ser definida como um conjunto de aes ou
atitudes que se antecipa em relao a uma outra pessoa, ou seja, uma
expectativa um tipo particular de crena que tem como referente
uma ao relativa a um estado futuro de coisas. (MOSKOWITZ, 2005;
OLSON, ROESE; ZANNA, 1996) De modo geral, a principal fonte de
influncia das expectativas sobre o desempenho escolar reside nas
crenas estereotipadas sobre a inteligncia ou a habilidade acadmica do estudante. Neste sentido, os esteretipos podem ser interpretados como expectativas, pois uma caracterstica fundamental de uma
crena estereotipada a busca de eventos que confirme a crena,
31/03/2010 16:00:12
bem como a tendncia a inibir a expresso de casos que rejeitem

os esteretipos. (PEREIRA, 2002) Por qualquer uma das vias, a ao
de uma expectativa exerce um impacto decisivo sobre o processo
de avaliao. Espera-se, no entanto, que o professor seja capaz de
impedir ou inibir a influncia das suas expectativas a respeito do
estudante ou mesmo dos esteretipos sobre a categoria social ou
ao grupo pertence o estudante nas circunstncias em que tem que
conduzir alguma avaliao sobre o prprio estudante, embora no se
possa falar, neste caso, de qualquer impacto imediato da expectativa
sobre o desempenho real do estudante.
Os estudos que se encarregaram de demonstrar a influncia da
expectativa sobre o julgamento se sustentam na hiptese geral de
que se as pessoas recebem uma informao sobre uma pessoa que
acaba de conhecer e solicitada a formar a sua impresso sobre
esta pessoa, ela tentar buscar um trao relevante ou um conceito
avaliativo pertinente ao julgamento e, ao encontrar tal pea de
informao, ou seja, aquilo que acaba de aprender, a utilizar sem
se preocupar em determinar se as informaes so consistentes
ou no com as condutas e aes daquele que est sendo julgado.
(WYER; SRULL, 1989)
Talvez o exemplo mais conhecido nesta linha de investigao
seja o trabalho de Darley e Gross (1983). Neste estudo, a metade
dos participantes assistiu a um vdeo no qual se retratava a vida
cotidiana de uma garota em um cenrio que no deixava dvidas
de que ela vivia em uma vizinhana abastada. Para a outra metade
dos participantes, embora a garota fosse a mesma, o cenrio era
completamente distinto e no deixava dvidas de que a garota vivia
numa comunidade muito pobre. Algumas peas de informaes
adicionais contriburam para criar um contexto na qual a garota
era claramente definida como rica ou pobre. A manipulao experimental permitiu criar nos participantes um esquema mental e
este proporcionou o insumo necessrio para a elaborao de distintos padres de inferncias a respeito do desempenho escolar
da estudante. Em seguida, todos os participantes assistiram a um
novo vdeo, no qual esta mesma estudante era submetida a uma
prova, respondendo de forma acertada ou equivocada a perguntas
31/03/2010 16:00:12
fceis e difceis, o que impedia a formulao de qualquer inferncia

conclusiva a respeito da habilidade intelectual ou escolar da garota.
Os resultados no deixaram dvidas: aqueles a quem o protocolo
experimental favoreceu a elaborao de um esquema mental no
qual a garota foi caracterizada como rica tenderam a considerar o
desempenho dela superior, enquanto os participantes preparados
para perceb-la como pobre tenderam a considerar que o desempenho escolar e a inteligncia da garota estavam abaixo da mdia.
Este resultado, e muitos outros dedicados a identificar o impacto das expectativas e dos quadros de referncia no desempenho
parecem reforar a opinio de que a ao humana no regida
inteiramente por critrios centrados na reflexo e nem a tomada
de decises est fundamentada numa anlise criteriosa de todos
os elementos pertinentes situao. Quo racional pode ser um
processo avaliativo? Como princpio geral, possvel afirmar que
uma avaliao to racional quanto qualquer outra ao humana.
E quo racional a ao humana?
heursticas e vieses de julgamento

At meados dos anos 60 e incio dos anos 80 os estudos sobre o julgamento e a tomada de decises estavam inteiramente dominados
por uma perspectiva que acentuava o uso extensivo de algoritmos
para o julgamento e uma tomada de deciso racional. Uma srie de
trabalhos, publicados por Amos Tversky e Daniel Kahneman, configuram um novo programa de investigao, denominado Heursticas
e Vieses, cujo impacto representou uma mudana substancial na
maneira pela qual a questo do julgamento humano passou a ser
tratado pelos psiclogos sociais. A principal faanha desta nova perspectiva foi a de evidenciar quo o erro, a incerteza e os paralogismos
interferem no julgamento humano, sem que seja necessrio fazer
aluso a qualquer modelo explcito que se fundamente na noo de
que a ao humana motivada por fatores irracionais.
O reconhecimento dos limites de processamento do agente cognitivo oferece o substrato necessrio para a defesa de teses que
sustentam que os seres humanos dificilmente poderiam ser carac-
31/03/2010 16:00:12
terizados como agentes cujas aes se fundamentam em estratgias

inteiramente racionais. Turner (1991) enumerou os critrios requeridos para que uma ao venha a ser qualificada como racional.
Em primeiro lugar, o agente deve estar autoconsciente das metas
almejadas. Ademais, ele deve no s ser capaz de identificar as
suas prprias opinies, como tambm deve estar em condies de
avaliar tanto os provveis custos e benefcios, quanto as facilidades
e dificuldades oferecidas por todos os elementos pertinentes determinao do curso da ao. Nessas condies, qualquer deciso
para ser considerada racional deve ser tomada levando em considerao os valores e as probabilidades relativas oferecidas por cada
curso potencial de ao, o que s possvel desde que se presuma
a existncia de automonitoramento constante por parte de quem
conduz o julgamento. Uma perspectiva que englobe todos estes
elementos denominada racionalidade forte e a ela se ope a tese
da racionalidade fraca ou limitada.
O ser humano dispe de uma maquinaria mental de processamento de informao que est sujeita a determinados limites, tanto
na velocidade quanto na quantidade de informaes que capaz de
tratar simultaneamente. Uma anlise mais cuidadosa do ambiente
exige a avaliao paulatina de cada um dos eventos ocorrido no
entorno e de cada uma das unidades de informao encontradas no
ambiente social. Como este essencialmente complexo e multifacetrio, seria uma operao extremamente onerosa para o sistema
cognitivo atender a cada um dos estmulos presentes no ambiente,
donde a estratgia de selecionar uma pequena parcela destes estmulos que podem ser atendidos e desconsiderar a maioria dos
elementos presentes no ambiente. Alm de desconsiderar uma
parcela substancial da informao, o ser humano trata de forma
bastante superficial a informao a que se dedica, elaborando muito
rapidamente inferncias a respeito dos estmulos e reduzindo o
constante fluxo da informao a unidades discretas, o que favorece
a adoo do pensamento categrico e a utilizao de atalhos mentais
durante as operaes de processamento da informao.
Esta perspectiva compatvel com a suposio que nem sempre
o ser humano capaz de adotar uma soluo tima ou a melhor
31/03/2010 16:00:12
alternativa possvel. O mais usual que na maior parte das vezes o

ser humano realize as suas atividades e tome suas decises de acordo
com uma diretriz distinta: a soluo mais valorizada a que funciona
melhor na maior parte das vezes e se adapta s mais diversas circunstncias. Se as escolhas humanas no podem ser indefinidamente
otimizadas, elas devem ser rpidas, econmicas e pouco exigentes em
termos da mobilizao dos limitados recursos cognitivos disponveis.
Os estudiosos da psicologia cognitiva estabelecem uma diferenciao
entre uma deciso implementada por uma dimenso normativa e as
decises fundamentadas em critrios empricos. (EYSENCK; KEANE,
1994) Herbert Simon, um dos mais importantes especialistas nas
cincias cognitivas, identificou as estratgias racionais adotadas pelo
ser humano como alternativa de ao. A tomada de decises racional
tipificada como uma espcie de escolha entre alternativas, feitas
de acordo com as expectativas mantidas em relao aos resultados
dependentes daquela escolha. Qualquer deciso para ser considerada
racional implica na listagem todas as alternativas disponveis, na determinao das consequncias de cada uma das alternativas listadas
e na avaliao comparativa de cada uma das variveis e posterior
seleo daquela que apresenta as consequncias mais prximas da
desejada. Estas condies dificilmente seriam exequveis na prtica,
no s porque todo sistema de processamento de smbolos por
natureza incompleto, como tambm devido aos limites de velocidade
e de poder computacional dos sistemas inteligentes. Nessas condies,
a nica racionalidade possvel para os sistemas de processamento de
informaes seria muito limitada, impondo a utilizao de processos
heursticos ou aproximativos.
A vida social humana ocorre em um contexto de relativa incerteza
e esta caracterstica permite caracterizar o julgamento social com
uma tarefa implementada de acordo com um raciocnio fundado
sobre o critrio da probabilidade. O termo heurstica foi adotado
pelos estudiosos da inteligncia artificial para se referir a uma estratgia usada por programadores para fazer com que um computador
seja capaz de simular o modo de funcionamento da mente humana,
mediante o uso exaustivo e sucessivo de algoritmos, at atingir a
soluo almejada. Ao contrrio dos computadores, o agente humano
31/03/2010 16:00:12
no busca solues infalveis e sim alternativas que sejam satisfatrias para a atender aos requisitos exigidos em situaes previamente
definidas. A alternativa mais usual, no presente caso, parece ser a de
recorrer ao uso de atalhos em lugar de um processamento exaustivo
realizado mediante estratgias algortmicas. Estes atalhos representam solues distantes de serem timas, embora sejam bem mais
fceis de serem implementadas do que as estratgias algortmicas
otimizadas. (MOSCOWITZ, 2005)
O uso de categorias oferece uma srie de atalhos mentais para
que o ser humano possa responder de forma rpida s demandas
e solicitaes oriundas do ambiente social. Estes atalhos permitem
que sejam tomadas decises sem a necessidade de uma avaliao
cuidadosa, individualizada e demorada da informao. (TVERSKY;
KAHNEMAN, 1974) Decerto que a aplicao de heursticas impede
que os problemas sejam solucionados com a preciso que seria obtida com o uso de algoritmos, mas o fato que a soluo obtida com
o uso dos atalhos mentais possui uma preciso razovel, mais fcil
de ser implementada e atende relativamente bem s necessidades
cotidianas das pessoas no trato dos seus afazeres mais corriqueiros.
O custo, no entanto, de tal facilidade uma maior presena dos
erros de categorizao, uma maior presena de inferncias invlidas, assim como a presena relativamente constante de concluses
injustificadas.
Alguns estudos demonstraram como os membros de grupos sobre
os quais pairam determinadas crenas estereotipadas tendem a
aplicar um julgamento heurstico e tendem a considerar que eles
foram avaliados no pelas prprias atitudes ou traos psicolgicos,
mas pelo simples fato de pertencerem a uma categoria social, alvo
do julgamento estereotipado. (CROCKER, et al, 1975)
o impacto exercido pela ameaa

identidade sobre o alvo do julgamento
As ameaas identidade no influenciam apenas os julgamentos e as
aes do avaliador. Em algumas circunstncias, a combinao entre
31/03/2010 16:00:12
as expectativas e as aes mutuamente conduzidas entre percebedor

e alvo impe um padro de conduta do qual o alvo percebedor e
alvo dificilmente conseguem fugir. A prxima seo do captulo ser
dedicada aos impactos exercidos pelas ameaas identidade e como
estas influenciam o comportamento do alvo da avaliao.
profecias autorrealizadoras
A noo de profecia autorrealizadora ou profecia que se cumpre
por si mesma foi cunhada em 1948 pelo socilogo Robert K. Merton,
para aludir falsa definio de uma situao capaz de evocar um
novo tipo de conduta que torna a situao originalmente definida
verdadeira e, nestas circunstncias, instaura e refora a dimenso
do erro, ao sustentar que os eventos suscitados pela nova situao
servem como prova de que a profecia estava correta desde a sua
origem. Embora a expectativa do percebedor venha a desempenhar
um papel central, a dimenso mais importante que ela leva o alvo
do julgamento a agir de uma forma compatvel com o esperado
pelo percebedor.
Este fenmeno, demonstrado em uma srie de pesquisas posteriores, parece no se restringir aos limites das relaes sociais estabelecidas entre os seres humanos, a se considerar, por exemplo, o estudo
publicado em 1948 por Rosenthal e Lawson, no qual grupos de dois
ou trs estudantes receberam aleatoriamente dos experimentadores
ratos explicitamente identificados como originrios de uma cepa
preparada para serem brilhantes ou de uma cepa destinada a ser a
menos brilhante possvel. Os resultados do estudo, desenhado para
mensurar o efeito da expectativa dos estudantes sobre o comportamento dos animais, nas circunstncias em que estes fossem submetidos a uma srie de tarefas experimentais em uma caixa de Skinner,
evidenciaram claramente que aqueles rotulados como brilhantes se
saram melhor em sete das oito tarefas do teste experimental.
Muito rapidamente as implicaes da hiptese da profecia autorrealizadora passaram a ser testada no ambiente de sala de aula.
Decerto, o estudo mais conhecido nesta linha foi publicado por
Rosenthal e Jacobson (1968). O ponto de partida deste estudo reside
31/03/2010 16:00:12
no entendimento de que os professores invariavelmente nutrem

expectativas acerca dos seus alunos e do que se pode esperar deles
em termos do desempenho escolar. De forma compatvel com a definio de Merton, os pesquisadores criaram expectativas falsas nos
professores a respeito dos seus alunos. Mediante um procedimento
de escolha inteiramente aleatrio, alguns alunos foram rotulados
como em vias de desabrochar (late bloomers) e os professores foram informados que testes submetidos aos estudantes permitiram
detectar esta caracterstica nestes alunos. Oito meses depois, os
estudantes rotulados como promissores no apenas foram percebidos de forma mais positiva pelos professores; de fato, o desempenho
destes estudantes apresentou um incremento significativo quando
comparado com os resultados de testes de QI, bem como em outros
tipos de testes e exames.
Parece claro que as expectativas do professor exercem um papel
nada desprezvel no incremento ou na reduo do desempenho
de estudantes rotuladas como promissores ou no. (BLAINE, 2007)
Provavelmente, um professor interpelar de forma mais frequente,
oferecer mais comentrios crticos e construtivos, estimular com
tarefas e questes mais desafiadoras e responder de uma maneira
mais amigvel ao estudante sobre o qual nutre expectativas mais
promissoras de que a um estudante que ele imagina no to talentoso. A concluso no parece deixar dvidas:
a) as expectativas dos professores acerca dos estudantes suscitam
mudanas no comportamento destes estudantes;
b) os estudantes ajustam as suas condutas de forma a torn-las
consistentes com as expectativas dos professores.
Estas concluses, como no poderia deixar de ser, suscitaram
discusses acaloradas acerca da influncia exercida pelas crenas
dos professores e de como estas poderiam solapar as oportunidades
educacionais de muitos estudantes afiliados a categorias sociais sobre
as quais pairaria no ar a expresso de crenas estereotipadas sobre a
dificuldade na performance em certos domnios de conhecimento.
Tais evidncias, no entanto, no podem ser interpretadas de
forma mecnica, pois o efeito da ameaa identidade no se ma-
31/03/2010 16:00:12
nifesta simplesmente porque o professor acolhe crenas compartilhadas que exprimem esteretipos sobre determinados grupos e
categorias sociais e reproduz estas crenas no ambiente da sala de
aula, influenciando de forma homognea a todo um conjunto de
estudantes. A ameaa exercida pelas crenas estereotipadas mais
heterclita e pluridimensional do que se imagina, pois se espalha de
forma insidiosa e sutil pelo tecido social. No so apenas os grupos
sobre os quais se impe uma histria crnica de discriminao que
sofrem a ameaa dos esteretipos, pois mesmos os grupos majoritrios esto sujeitos a manifestar uma reduo no desempenho
quando ameaados por crenas estereotipadas. Neste sentido, no
mais cabvel tentar identificar qualquer grupo ou categoria seja
ele professor ou no como um agente privilegiado na expresso
dos esteretipos.
ameaa dos esteretipos

A ameaa dos esteretipos se refere a uma queda flagrante no desempenho de uma pessoa em um determinado domnio de atividades
quando esta sabe que est sendo julgada e que membro de um
grupo sob o qual paira no ar uma ameaa de que os membros do
grupo ao qual pertence no costumam apresentar um bom desempenho naquele domnio. (PEREIRA, 2004) De acordo com Aronson e
McGlone (2009), a questo central das relaes entre os esteretipos
e a ameaa identidade social a reputao. Para ser mais exato,
o temor de que o prprio comportamento venha a confirmar uma
reputao que se aplica aos membros do grupo ou categoria social
ao qual se pertence.
Um dos esteretipos mais duradouros, injustificados e perniciosos
se refere a uma certa incapacidade das mulheres no domnio dos
conceitos e das operaes matemticas. Esta uma ameaa que pesa
sob as mulheres e vrios estudos demonstram de forma consistente
que a queda no desempenho ocorre apenas nas circunstncias em
que as mulheres so submetidas a algum tipo de ameaa, como por
exemplo, quando um experimentador do sexo masculino enfatiza
que o desempenho delas no teste significantemente mais reduzido
31/03/2010 16:00:12
do que o apresentado pelos homens e pede que respondam a uma

srie de testes de matemtica em um ambiente onde esto presentes
muitos homens, to hbeis quanto elas neste domnio.
O efeito da ameaa dos esteretipos no se restringe, obviamente,
s mulheres; o seu impacto amplo e generalizado, aplicando-se
tanto a categorias sociais sobre as quais pesa uma histria crnica
de estigmatizao, quanto a grupos que esto longe de representar
um exemplo tradicional de categoria social que sofre experincias
sistemticas de discriminao. Esta abrangncia em relao s categorias s quais a ameaa favoreceu uma interpretao inicial de que
por se tratar de uma ameaa que paira no ar, este fenmeno deveria
ser explicado estritamente pela influncia dos fatores ambientais.
(STEELE, 1997)
Atualmente, reconhece-se que o ambiente, apenas por si, insuficiente para explicar os efeitos da ameaa dos esteretipos, sendo
ademais necessrio considerar a dimenso posicional e as diferenas
individuais.
Os efeitos da ameaa dos esteretipos foram documentados prioritariamente no contexto acadmico, embora tenham sido encontradas evidncias de que eles se manifestam em vrios outros domnios,
como, por exemplo, o ambiente de trabalho (BERGERON, BLOCK;
ECHTENKAMP, 2006) ou esportivo. (BEILOCK; MCCONNELL, 2004)
Em relao ao domnio posicional, so encontradas evidncias
que a ameaa dos esteretipos se manifesta em situaes nas quais
as posies sociais desempenham um papel decisivo. Por exemplo,
o estudo de Sekaquaptewa e Thompson (2003) evidenciou que o
efeito da ameaa aparece nas circunstncias em que a mulher se
encontra sozinha entre vrios homens, mas no se manifesta quando a mulher compartilha o mesmo espao com outros homens e
mulheres. Da mesma forma, a presena de um experimentador do
sexo masculino interfere no desempenho da mulher em um teste de
matemtica, embora este efeito no se manifeste nas circunstncias
em que as instrues da tarefa experimental so fornecidas por uma
experimentadora. (INZLICHT; BEM-ZEEV, 2000)
Finalmente, o efeito da ameaa dos esteretipos no se manifesta
da mesma maneira em todos os participantes. Sabe que apenas os
31/03/2010 16:00:12
estudantes mais engajados nas atividades acadmicas sofrem o impacto da ameaa os esteretipos. Da mesma forma, como o efeito da
ameaa dos esteretipos depende da dificuldade do teste, apenas os
estudantes habilitados a responderem as questes mais difceis apresentam uma reduo do desempenho. (STEELE; ARONSON, 1995)
concluses
A principal concluso do presente trabalho a de que a expresso
de qualquer fenmeno psicossocial com um certo grau de complexidade depende da conjuno de uma srie de fatores. Ainda que
uma determinada fonte de influncia possa ser considerada decisiva
na expresso de um dado fenmeno, a sua expresso mediada
ou moderada por outros elementos, que contribuem, em maior ou
medida, na manifestao do fenmeno. As anlises aqui conduzidas
sobre o impacto das ameaas identidade na avaliao tambm
podem ser interpretadas luz desta premissa geral. As influncias
mtuas do contexto onde a avaliao realizada, das diferenas de
posies interpessoais ou intergrupais, bem como das caractersticas
individuais devem ser necessariamente consideradas.
Uma vez que nenhum elemento atua de forma isolada, nada
justifica responsabilizar uma determinada fonte de explicao na
expresso de um certo estado de coisas. No um ambiente social
restrito, as expectativas e heursticas adotadas pelo professor ou as
dificuldades inerentes ao estudante que por si apenas explicam as
vicissitudes no processo de avaliao. A viso sistematista acolhida
pelo presente trabalho impe uma anlise do papel exercido por
cada elemento, bem como as suas interaes mtuas, sob pena de
se perder a chance de conduzir uma anlise mais apropriada do
fenmeno em questo.
As consequncias da adoo dessa postura se manifestam particularmente numa dimenso de anlise pragmtica ou utilitria.
O que fazer para reduzir a influncia das ameaas identidade
no julgamento do professor ou no desempenho do estudante? O
primeiro passo parece ser reconhecer a necessidade de considerar
31/03/2010 16:00:12
os fatores presentes na situao, bem como os fatores relacionados

ao indivduo. Dado que a maior parte dos problemas aqui considerados se manifestam no domnio acadmico, torna-se imperativo
reconhecer que o local privilegiado para qualquer interveno o
espao da sala de aula e seus arredores.
A literatura aponta um conjunto de recomendaes que o alvo
pode adotar para minorar o impacto das ameaas identidade.
(ARONSON; MCGLONE, 2009) Uma primeira recomendao se refere redefinio dos papis sociais de forma a substituir as crenas
estereotpicas por crenas contraestereotpicas. McIntyre, Paulson
e Lord (2003) conduziram um estudo com dois grupos de mulheres
alocados a condies experimentais distintas. Antes do incio do teste,
as participantes de um grupo tiveram acesso, mediante uma tarefa de
leitura, a uma srie de informaes a respeito de corporaes de grande sucesso e das estratgias que elas adotaram para chegar ao topo do
mundo dos negcios. A leitura facilitada aos membros do outro grupo
tambm se referia ao sucesso, mas desta vez a referncia no era a
corporaes, mas sim a mulheres que conseguiram se sobressair em
reas extremamente competitivas, tais como os negcios, o direito,
a medicina e s invenes. Os resultados deste estudo demonstraram
que a salincia das realizaes do grupo uma alternativa aceitvel
para a reduo da ameaa dos esteretipos, pois se no grupo das
mulheres em que a informao oferecida esteve relacionada com o
sucesso das corporaes os resultados das mulheres submetidos
ameaa dos esteretipos foram flagrantemente inferiores aos obtidos
pelos homens, na outra condio no foram encontradas diferenas
significativas nos resultados de homens e mulheres.
Uma segunda recomendao se refere ao reconhecimento prvio
por parte do alvo da importncia dessas ameaas. Se a ansiedade
compromete o desempenho do estudante numa condio de teste,
compete-lhe identificar o papel dessa ansiedade e adotar as estratgias pertinentes para a reduo da ansiedade; se a reduo do
desempenho uma decorrncia do desengajamento seletivo no
domnio ao qual se refere a ameaa, o estudante deve reconhecer
que a adoo desta estratgia apenas ir confirmar e reforar as
ameaas representadas pelos esteretipos.
31/03/2010 16:00:12
Uma terceira recomendao se relaciona com a possibilidade

de redefinir as teorias implcitas adotadas pelo alvo para se referir
natureza humana, especialmente as teorias relacionadas com
os fatores que explicam as diferenas no desempenho. As teorias
sobre a capacidade de aprendizagem e sobre a inteligncia, em
especial as teorias que sustentam o ponto de vista de que existe
uma entidade, a inteligncia, que varivel entre as pessoas ou
entre os membros de diferentes grupos sociais, so frequentemente
aceitas e amide utilizadas durante a realizao de julgamentos de
natureza metacognitiva. As pessoas, neste particular, se diferenciam quanto s teorias implcitas sobre a inteligncia que acolhem;
algumas aderem a uma interpretao entitativista da inteligncia
e aceitam a tese de que a inteligncia uma entidade no passvel
do efeito de qualquer interveno no sentido de aperfeio-la, enquanto os incrementalistas aderem a uma posio contrria. A substituio das teorias entitativistas da inteligncia por uma posio
incrementalista pode contribuir para reduzir o efeito da ameaa
identidade, especialmente quando se identifica um visvel aperfeioamento no desempenho durante a realizao de atividades vinculadas a um determinado domnio de conhecimento. (BLACKWELL;
TRZESNIEWSKI; DWECK, 2007)
Decerto que a implementao das recomendaes acima expressas no um empreendimento que pode se conduzir de forma simples e nem representa uma garantia de sucesso na implementao
de programa de reduo dos efeitos negativos produzidos pelas
ameaas identidade. O conhecimento aprofundado dos fatores que
determinam e explicam a reduo no desempenho de estudantes,
sobretudo daqueles que pertencem a grupos ou categorias cujas
reputaes podem ser ameaadas pelo fracasso escolar e acadmico,
representa um enorme desafio para educadores, psiclogos, pedagogos ou para qualquer pessoa que sensvel aos clamores por um
mundo mais justo e igualitrio.
31/03/2010 16:00:13
referncias
ARONSON, J.; MCGLONE, M. Stereotype and social identity threat. In:
NELSON, T. D. (Ed.). Handbook of prejudice, stereotyping, and discrimination. New
York: Psychology Press, 2009. p. 153-178
BEILOCK, S.; MCCONNELL, A. Stereotype threat and sport: can athletic
performance be threatened? Journal of Sport & Exercice Psychology, v. 26, n. 4, p.
597-609, 2004.
BERGERON, D., BLOCK, C.; ECHTENKAMP, B. Disabling the able: stereotype
threat and womens work performance. Human Performance, v. 19, n. 2,
p. 133-158, 2006.
BLACKWELL, L.; TRZESNIEWSKI, K.; DWECK, C. Implicit theories of intelligence
predict achievement across and adolescent transiction: a longitudinal study
and intervention. Child Development, 78, n. 1, p. 246-263, Jan. 2007.
BLAINE, B. Understanding psychology of diversity. London: Sage, 2007.
BOUCHARD, T.; MCGUE, M. Familial studies of intelligence: a review. Science,
v. 212, n. 4498, p. 1055-1059, May 1981.
BUNGE, M. Epistemologia: curso de atualizao. So Paulo: T. A. Queiroz,
1987.
______; ARDILA, R. Filosofa de la psicologa. Mxico: Siglo Veintiuno, 2002.
CANTOR, N.; MISCHEL, W. Traits as prototypes: effects on recognition
memory. Journal of Personality and Social Psychology, v. 35, n. 1, p. 38-48, Jan. 1977.
CROCKER, J. et al. Social stigma: the affective consequences of attributional
ambiguity. Journal of Personality and Social Psychology, v. 60, n. 2, p. 218-228,
Feb. 1991.
DARLEY, J.; GROSS, P. A hipothesis-confirmation bias in labelling effects.
Journal of Personality and Social Psychology, v. 44, n.1, p. 20-33, Jan. 1983.
DION, K.; EARN, B. The phenomenology of being a target of prejudice.
Journal of Personality and Social Psychology, v. 32, n. 5, p. 944-950, Nov. 1975.
DWECK, C., CHIU, C.; HONG, Y. Implicit theories and their role in
judgements and reactions: a world from two perspectives. Psychological
Inquiry, v. 6, n. 4, p. 267-285, Jan. 1995.
EYSENCK, M.; KEANE, M. Psicologia cognitiva: um manual introdutrio. Porto
Alegre: Artes Mdicas, 1994.
HORN, J. The Texas Adoption Project: adopted children and thei
intellectual resemblance to biological and adoptive parents. Child
Development, v. 54, n. 2, p. 268-275, Apr. 1983.
INZLICHT, M.; BEN-ZEEV, T. A threatening intellectual environment: why
females are susceptible to experiencing problem-solving deficits in the
presence of males. Psychological Science, v. 11, n. 5, p. 365-371, Feb. 2000.
31/03/2010 16:00:13
KAUFFMAN, A. Genetics of childhood disorder II: genetics and

intelligence. Journal of American Academy od Chile and Adolescent Psychiatry,
v. 38, n. 4, p. 487-488, 1999.
MARKUS, H. Self-schemata and processing information about the self.
Journal of Personality and Social Psychology, v. 35, n. 2, p. 63-78, Feb. 1977.
MCINTYRE, R.; PAULSON, R.; LORD, C. Alleviating womens mathematics
stereotype threat through salience of group achievements. Journal of
Experimental Social Psychology, v. 39, n. 1, p. 83-90, Jan. 2003.
MOSKOWITZ, G. Social cognition. Understanfing self and others. New York:
Guilford Press, 2005.
OAKLEY, L. Cognitive development. Hove, East Sussex: Routeldge, 2004.
OLSON, J.; ROESE, N.; ZANNA, M. Expectancies. In: HIGGINS; E. T.;
KRUGLANSKI, A. W. (Ed.). Social psychology: handbook of basic principles.
New Cork: Guilford Press, 1996. p. 211-238
PEREIRA, M. E. Grupos sociais e performance intelectual: o efeito da
ameaa dos esteretipos. In: LIMA, M. E. O.; PEREIRA, M.E. Esteretipos,
preconceitos e discriminao: perspectivas tericas e metodolgicas.
Salvador: EDUFBA, 2004. p. 69-87.
______. Psicologia social dos esteretipos. So Paulo: EPU, 2002.
ROSENTHAL, R.; JACOBSON, L. Pygmalion in the classroom: teacher
expectations and pupils intellectual development. New York: Holt, Rinehart &
Winston, 1968.
SEKAQUAPTEWA, D.; THOMPSON, M. Solo status, stereotype threat, and
performance expectancies: their effect on womens performance. Journal of
Experimental Social Psychology, v. 39, n. 1, p. 68-74, 2003.
STEELE, C. A threat in the air: how stereotypes shape intellectual identity
and performance. American Psychologist, v. 52, n. 6, p. 613-629, Jun. 1997.
______; ARONSON, J. Stereotype threat and the intellectual test
performance of African Americans. Journal of Personality and Social Psychology,
v. 69, n. 5, p. 797-811, Nov. 1995.
TAYLOR, S.; CROCKER, J. Schematic bases of social information
processing. In: HIGGINS, E.T.; HERMAN, C. P.; ZANNA, M. P. (Ed.). Social
cognition: the Ontario symposium. Hillsdale, NJ: Erlbaum Associates, 1981.
v. 1, p. 89-134
TURNER, R. The use and misuse of rational models in collective behavior
and social psychology. Archives European of Sociology, v. 32, n. 1, 1991, p. 84-108,
1991.
TVERSKY, A.; KAHNEMAN, D. Judgement under uncertainty: heuristics
and biases. Science, New Series, v. 185, n. 4157, p. 1124-1131, Sep. 1974.
WYER, R.; SRULL, T. K. Memory and cognition in its social context. Hilldale,
J.N.: L. Erlbaum Associates, 1989.
31/03/2010 16:00:13
Ameaa dos esteretipos

no desempenho
intelectual de estudantes
universitrios cotistas
Joice Ferreira da Silva (Mestre em Psicologia/UFBA)
ameaa dos estereotipos

Atualmente, observa-se um expressivo empenho em identificar a forma pela qual os esteretipos interferem na performance intelectual.
Diversas pesquisas mostram que h um decrscimo significativo no
desempenho de indivduos membros de grupos estereotipados de
forma negativa quando submetidos a uma condio ameaadora, nas
circunstncias em que estes acreditam que o critrio de julgamento
do desempenho ser, antes de tudo, baseado nas crenas estereotipadas. (DAVIES, et al., 2002; LEVY, 1996; SHIH; PITTINSKY; AMBADY,
1999; STEELE, 1997; SPENCER, STEELE; QUINN, 1999)
O conceito de ameaa dos esteretipos se refere s ameaas situacionais, oriundas de crenas estereotipadas sobre determinados grupos e da ameaa que paira no ar sobre as pessoas que pertencem aos
grupos-alvo dos esteretipos. Em situaes ameaadoras, os membros
destes grupos acreditam que o critrio de avaliao do desempenho
ser, antes de tudo, baseado em crenas e julgamentos estereotipados.
(STEELE; ARONSON, 1995) Alm dos indivduos terem seu potencial
de performance inibido, h um reconhecimento de que esses provveis fracassos podem confirmar um esteretipo negativo aplicado
31/03/2010 16:00:13
ao endogrupo, e, por consequncia, a eles mesmos. (SCHMADER,

2002) Em resumo, a teoria prev que um indivduo, ao acreditar que
pertence a um grupo-alvo de um esteretipo negativo, quando submetido a uma tarefa relacionada com este esteretipo, sofrer uma
considervel reduo no desempenho de atividades que mantenham
algum tipo de relao com tais crenas estereotipadas.
A teoria da ameaa dos esteretipos, desenvolvida inicialmente
por Steele e Aronson (1995), tenta compreender como esteretipos aplicados a determinados grupos so capazes de influenciar o
funcionamento intelectual e o desenvolvimento da identidade dos
membros de tais grupos. Numa dimenso pragmtica, a teoria busca
entender como este processo pode dificultar o desempenho acadmico, e, principalmente, o que pode ser feito para reverter o quadro
de baixo desempenho de estudantes pertencentes a minorias raciais
no domnio acadmico e das mulheres nos domnio quantitativos.
Os efeitos negativos da ameaa dos esteretipos foram vastamente relatados na literatura tendo como alvo principal as mulheres, no
domnio da matemtica (MARX; ROMAN, 2002; SHIH; PITTINSKY;
AMBADY, 1999), os negros no domnio acadmico de modo geral
(STEELE; ARONSON, 1995) e os idosos em testes de memria. (LEVY,
1996) Apesar do fenmeno da ameaa dos esteretipos ser extensivamente estudado em tarefas acadmicas, tambm tm recebido
alguma ateno em outras reas de pesquisa, tais como nos esportes.
(BEILOCK; MCCONNELL, 2004)
Resultados de diversos experimentos indicam que a reduo
no desempenho parece ser um efeito da situao em que o teste
aplicado e no de uma falta de habilidade, seja dos negros em
testes padronizados ou das mulheres com o raciocnio matemtico.
(OSBORNE, 2001a) Aronson (1999) e colaboradores afirmam que os
efeitos deletrios da ameaa dos esteretipos no requerem uma
histria prvia de estigmatizao ou sentimentos internalizados de
inferioridade intelectual e que, neste sentido, podem ser interpretados como resultado de presses situacionais.
A teoria da ameaa dos esteretipos representa uma ruptura com
vises essencialistas, pois as diferenas de desempenho deixam
de ser atribudas a fatores genticos e passam a ser interpretadas,
226 joice ferreira da silva & marcos emanoel pereira
31/03/2010 16:00:13
prioritariamente, como decorrentes de contingncias como a condio socioeconmica, a preparao acadmica e as oportunidades
educacionais. (OSBORNE, 2001b) Assim, esta teoria perfila-se ao
lado de um conjunto de outras que contribuem para compreender
que as diferenas no desempenho podem ser atribudas a variveis
presentes na situao e no como disposies inerentes ao indivduo.
Esta explicao situacional dos dficits no desempenho intelectual
contribui para uma interpretao mais otimista das diferenas no
desempenho intelectual e acadmica de membros de diferentes categorias sociais, cuja manifestao mais clara reside no entendimento
de que possvel a adoo de estratgias que tem por objetivo o
desenvolvimento de um ambiente no qual o risco de estereotipizao
seja menor e os componentes positivos da identidade social possam
ser valorizados. (PEREIRA, 2004)
Steele e Aronson (1995) submeteram estudantes universitrios
brancos e negros a um teste verbal com alto grau de dificuldade.
Os participantes foram alocados em trs diferentes condies experimentais; ao primeiro grupo, a tarefa foi apresentada como uma
simples resoluo de problemas; o segundo grupo recebeu a mesma
tarefa como uma forma de medir a capacidade intelectual; para o
ltimo grupo, o teste foi apresentado como um desafio intelectual.
Apenas os estudantes alocados no segundo grupo foram submetidos
chamada condio de ameaa, visto que antes da realizao da
tarefa, foi dito explicitamente para eles que o objetivo do estudo
era avaliar a inteligncia dos participantes.
Nestes experimentos, partiu-se do pressuposto que as diferenas
na performance de brancos e negros no so apenas consequncia
da melhor preparao dos brancos, pois mesmo nas circunstncias
em que os estudantes das duas etnias tm um preparo acadmico
equivalente, submetidos condio de ameaa dos esteretipos, os
negros obtm escore menor. Os resultados mostram um claro efeito
da etnia, pois os estudantes negros, alocados condio de ameaa,
obtiveram escore significativamente menor do que os estudantes
alocados em outros grupos, fossem eles brancos ou negros.
Dado que as evidncias sobre este efeito tm sido encontradas em
estudos conduzidos em diversos contextos, a principal preocupao
ameaa dos esteretipos no desempenho intelectual de estudantes universitrios cotistas 227
31/03/2010 16:00:13
dos tericos identificar os mediadores relacionados ameaa dos

esteretipos. Dentre os citados na literatura, podem ser identificados
o nvel de ansiedade (OSBORNE, 2001a; SPENCER; STEELE; QUINN,
1999), o endosso do esteretipo (LEYENS, et al., 2000), a percepo da
dificuldade do teste (SHIH; PITTINSKY, AMBADY, 1999), a quantidade
de esforo empregado na realizao da tarefa (SMITH, 2004), o nvel
de autoestima e o desengajamento em relao tarefa (STONE, 2002),
a apreenso ao ser avaliado (SMITH, 2004; SPENCER; STEELE; QUINN,
1999) e a confiana na performance. (STEELE; ARONSON, 1995)
A conscincia de ser negativamente estereotipado aumenta a
ansiedade situacional e a apreenso quanto a ser avaliado, quando o
domnio relevante para o indivduo. Osborne (2001a) investigou se
a ansiedade pode ser considerada um fator importante na explicao
das diferenas raciais na performance acadmica e de gnero na
esfera da matemtica e encontrou evidncias favorveis ao papel de
uma mediao parcial da ansiedade no desempenho acadmico de
estudantes negros. Do mesmo modo, a ansiedade explicou parcialmente as disparidades de gnero em tarefas de matemtica, apesar
do tamanho do efeito encontrado ter sido pequeno.
Leyens e colaboradores (2000) testaram os efeitos da ameaa dos
esteretipos utilizando tarefas de deciso lexical, de valncia e de
processamento afetivo ao investigar como os membros de grupos
usualmente dominantes, como os brancos, sobre os quais no h um
estigma generalizado, tm a performance afetada por esteretipos
negativos. A manipulao da ameaa se referia a uma deficincia masculina em processar informaes afetivas, e por se tratar de um grupo
que no possua uma histria prvia de estigmatizao, verificou-se
a aceitao desse esteretipo pelos homens. A mensurao deste
possvel mediador foi realizada atravs de cinco questes, duas delas
contendo perguntas sobre a aceitao do esteretipo aplicado ao
grupo, enquanto as restantes se referiam ao endosso de esteretipo
no plano individual. Neste ltimo caso, os participantes deveriam se
autoavaliar no desempenho das tarefas propostas quando comparados
com as mulheres. Os achados demonstram que, tanto no nvel grupal
quanto individual, o endosso do esteretipo no exerceu qualquer
efeito de mediao no desempenho das tarefas experimentais.
31/03/2010 16:00:13
A percepo da dificuldade do teste tem sido igualmente investigada como uma provvel mediadora dos efeitos da ameaa dos esteretipos. Shih, Pittinsky e Ambady (1999) admitiram que a percepo
da tarefa exerceria um efeito mediador no desempenho. Em um
questionrio ps-experimento, os participantes avaliaram o prprio
desempenho no teste, o grau de dificuldade da tarefa e tambm
realizaram uma autoavaliao das suas habilidades no domnio da
matemtica. Contrariando as previses, a percepo da dificuldade
do teste no forneceu subsdios para ajudar a compreender os efeitos
da ameaa dos esteretipos no desempenho dos participantes.
Steele e Aronson (1995) suspeitaram que a confiana na performance pudesse variar em funo da condio experimental. No
primeiro experimento realizado, a confiana no desempenho foi
tratada como varivel dependente, mas no foram encontradas relaes entre o desempenho no teste e o grau de confiana atribudo
pelos participantes ao prprio desempenho.
Spencer, Steele e Quinn (1999) adotaram o mesmo paradigma
experimental proposto por Steele em um estudo conduzido com
uma amostra de mulheres e homens no desempenho em tarefas
envolvendo questes muito difceis de matemtica. Testaram como
possveis mediadores da relao entre a ameaa dos esteretipos e
o desempenho o nvel de ansiedade, a autoavaliao de eficcia e a
apreenso ao ser avaliado. Este ltimo mediador corresponde aos
sentimentos que os estudantes teriam, caso a performance fosse
muito ruim no teste, e se eles questionariam as prprias habilidades
com base nos resultados obtidos no experimento. Os resultados da
avaliao dos trs possveis mediadores mostraram que apenas a
ansiedade exerceu uma mediao parcial.
A quantidade de esforo empregada na realizao da tarefa foi
estudada por Smith (2004), que apontou duas hipteses para explicar a relao entre a dedicao atividade e o desempenho de
indivduos pertencentes a grupos estereotipados. A primeira delas
afirmava que membros de tais grupos se esforam menos que os
outros em testes que salientam os esteretipos, e por consequncia,
tm um desempenho ruim. A segunda hiptese, oposta primeira,
supunha que o esforo empregado demasiado, o que terminaria
31/03/2010 16:00:13
proporcionando uma queda no desempenho. Freire (2005) ressalta

a enorme dificuldade encontrada pelos pesquisadores para medir
esta varivel, pois alguns definem o esforo atravs do tempo gasto
para a realizao da tarefa, enquanto outros focam na quantidade de
questes respondidas. Devido a este problema conceitual, a quantidade de esforo despendido para a realizao da atividade tem sido
frequentemente investigada mediante a adoo de dois tipos de
medida: uma de autorrelato, na qual os participantes informam o
quanto se esforaram durante a realizao da tarefa experimental
e a segunda, mediante a mensurao do tempo de resposta gasto
para completar as tarefas.
O desengajamento em relao tarefa diz respeito a pouca eficcia que o participante atribui ao teste para medir suas habilidades.
Em uma pesquisa desenvolvida por Stone (2002), previa-se que somente os participantes realmente engajados na tarefa se sentiriam
ameaados. Os resultados encontrados corroboram esta hiptese,
pois ao investigar a performance atltica de indivduos submetidos
a ameaa, aqueles classificados como psicologicamente engajados
obtiveram desempenho significativamente inferior aos no engajagados. Stone tambm verificou, mediante a mensurao do nvel
de autoestima dos estudantes, o impacto desta varivel mediadora
e no encontrou nenhuma evidncia digna de nota.
O delineamento da pesquisa aqui relatada claramente inspirado
nos trabalhos de Claude Steele (STEELE; ARONSON, 1995) sobre
a ameaa dos esteretipos na performance intelectual de negros
americanos. Dentro desta perspectiva, o objetivo central do presente estudo compreender o que acontece com o desempenho de
estudantes cotistas em um teste envolvendo diversos domnios da
lgica formal.
Uma vez que os efeitos deletrios da ameaa do esteretipo
j so amplamente documentados na literatura internacional, a
preocupao atual dos estudiosos da rea, alm de verificar a aplicabilidade da teoria em outros contextos, averiguar os mecanismos
psicolgicos responsveis pelos dficits na performance e o que
pode ser realizado para reverter estes efeitos. Para atender a esta
ltima questo, o presente estudo testou o efeito da valorizao
31/03/2010 16:00:13
dos atributos positivos dos cotistas, assim como analisou o impacto

individual de possveis mediadores no desempenho dos cotistas nas
tarefas de raciocnio lgico.
Ao estudar o impacto da ameaa dos esteretipos na performance intelectual dos cotistas, que estudam em um ambiente muitas
vezes hostil ou mesmo ameaador, a principal hiptese testada foi
a de que os estudantes cotistas, alocados condio de ameaa dos
esteretipos, apresentariam um desempenho significativamente
inferior aos no cotistas. De forma correlata, formulou-se a hiptese
de que a valorizao dos atributos positivos dos cotistas reduziria as
diferenas de rendimento intelectual entre cotistas e no-cotistas.
aes afirmativas e cotas universitrias

As aes afirmativas na educao consistem, basicamente, no uso de
cotas ou reserva de vagas em que atributos, como a raa ou gnero,
funcionam como um critrio de seleo entre candidatos qualificados. (CROSBY, IVER; SINCHAROEN, 2006) No Brasil, a implantao
de polticas de ao afirmativa adquiriu maior visibilidade em decorrncia da incluso do critrio de cotas raciais para o ingresso no
ensino superior. (MAIO; SANTOS, 2005) Segundo dados fornecidos
pelo Ministrio da Educao e Cultura (BRASIL, 2005), um projeto de
lei de autoria do Executivo, em tramitao no Congresso Nacional,
determina que as Instituies Federais de Educao Superior devam
reservar, no mnimo, metade de suas vagas a alunos que cursaram
todo o ensino mdio em escolas pblicas. Para seleo dos candidatos,
deve ser considerada a composio tnica da populao estadual.
Conforme o censo de 2000 realizado pelo Instituto Brasileiro de Geografia e Estatstica (IBGE), 53,8% da populao brasileira constituda
por brancos, 39,1% de pardos e 6,2% se autodeclararam como pretos,
por fim, amarelos e indgenas, juntos somam 4% da populao.
A adoo de aes afirmativas no ensino pblico de nvel superior
brasileiro cercada de muita polmica, e um dos possveis motivos
para isto o fato desta ao se desenvolver no mbito da educao
superior, talvez a nica esfera capaz de proporcionar mudanas
31/03/2010 16:00:13
sociais em escala expressiva, ou seja, que resultem em uma ascenso

socioeconmica dos negros.
O ingresso no ensino superior sempre foi regido pelo princpio
meritocrtico, mas com a adoo das cotas uma contradio se
instala. Nas universidades participantes do programa de cotas o
critrio de aprovao tambm o escore obtido nas provas de
vestibular, seguindo a ordem de classificao, mas para os beneficirios do sistema de cotas, consideram-se ainda outros fatores,
como a origem escolar e a cor da pele. Carvalho (2005) ressalta que
este processo de incluso tnico e racial de enorme importncia,
pois pela primeira vez na histria das universidades brasileiras se
admite a presena significativa de estudantes negros e indgenas
em um ambiente quase que exclusivo das classes economicamente
mais privilegiadas.
Para aqueles que defendem a adoo de tais polticas, o argumento
central que apesar de estarem longe de proporcionar o fim do
preconceito e da discriminao racial, o sistema de cotas ajuda a reduzir o fosso existente entre brancos e no brancos. Assim, para eles,
aes afirmativas so necessrias, dado que a discriminao contra
os negros ainda muito forte. Outro argumento utilizado na defesa
destes programas que negros e brancos nunca concorreram em
igualdade de condies, visto que desde o nascimento os negros esto
em desvantagem, por isso, a necessidade de uma compensao.
De modo geral, percebe-se que tanto aqueles que so contra,
quanto os que advogam em favor desta poltica possuem argumentos
aceitveis. Dada a natureza muitas vezes cruel e sarcstica dos argumentos adotados em muitos fruns de discusso, a representao
do cotista se encontra associada a uma srie de crenas negativas,
como, por exemplo, de que so menos capazes, que no conseguiro
terminar o curso ou mesmo que sero responsveis pela queda de
qualidade de ensino nas universidades pblicas. Queiroz e Santos
(2007) assinalam que estes argumentos no esto presentes apenas
no domnio acadmico, mas so amplamente compartilhados e
debatidos na sociedade, com enormes repercusses na mdia televisiva, nos jornais e revistas de grande circulao e em inmeras
pginas da internet.
31/03/2010 16:00:13
O presente experimento foi desenvolvido em duas universidades

pblicas de Salvador-BA, a Universidade Federal da Bahia (UFBa) e
Universidade do Estado da Bahia (UNEB). Na UNEB, o programa de
aes afirmativas foi consolidado no vestibular de julho de 2002 e
estabelecia uma reserva mnima de 40% das vagas para a populao
afrodescendente oriunda de escolas pblicas, no preenchimento dos
postos relativos aos cursos de graduao e ps-graduao oferecidos
nos 21 ncleos espalhados no estado, seja na forma de vestibular ou
de qualquer outro processo seletivo.
Para a inscrio no vestibular da UNEB, o candidato deve preencher um formulrio que consta de uma pergunta de resposta
opcional, em que se solicita a autodeclarao racial de acordo com
a classificao do IBGE em branco, amarelo, pardo, preto e indgena.
No caso daqueles que optam pela seleo mediante o sistema de cotas
para afrodescendentes, a resposta deve ser obrigatoriamente preto
ou pardo. As provas de seleo independem do critrio de inscrio,
as mudanas no processo seletivo se referem apenas porcentagem
de vagas s quais os candidatos concorrem. Os que cursaram o ensino
mdio em escola pblica se definiram como afrodescendentes e
optaram pelo sistema de cotas concorrem a 40% das vagas, enquanto
os que no se enquadram neste perfil disputam as vagas restantes.
(UNIVERSIDADE DO ESTADO DA BAHIA, 2005)
No caso da UFBa, os critrios de seleo e convocao dos candidatos para preenchimento das vagas oferecidas nos cursos de
graduao foram modificados a partir do vestibular de 2005. (UNIVERSIDADE FEDERAL DA BAHIA, 2005) Uma diferena fundamental,
no entanto, que na UFBa os candidatos a uma vaga pelas cotas
devem ter cursado os trs anos do ensino mdio e mais um ano do
ensino fundamental no sistema pblico de educao. Os cotistas da
UFBa dispem de 45% das vagas dos cursos de graduao, distribudas
por critrios tnicos da seguinte forma: 43% so destinadas aos que se
autodeclaram pretos e pardos, (composto por 85% do percentual de
43%) e os autodeclarados brancos (15% dos 43%); e um percentual de
2% reservado aos ndiosdescendentes, alm disso, duas vagas, em
cada curso, so destinadas aos ndios aldeados e estudantes vindos
de comunidades quilombolas.
31/03/2010 16:00:13
hipteses
As hipteses elaboradas de acordo com os princpios oriundos da
teoria da ameaa dos esteretipos foram enunciadas nos seguintes
termos:
a) Na condio de ameaa, os estudantes cotistas apresentaro
um desempenho significativamente inferior aos no cotistas
submetidos a esta mesma condio.
b) Os cotistas alocados condio de valorizao dos atributos
positivos tero uma performance mais positiva que os alocados condio de controle e ameaa e mais prxima quela
apresentada pelos no cotistas.
c) Os cotistas alocados ao grupo controle, por estarem sujeitos
ameaa decorrente da realizao de um trabalho intelectual, apresentaro um resultado inferior ao dos no cotistas,
embora esta diferena no seja to intensa quanto a apresentada na condio em que a ameaa explicitada no desenho
experimental.
d) Os cotistas submetidos condio de ameaa apresentaro
indicadores mais negativos em relao aos mediadores anteriormente especificados.
mtodo
O experimento foi desenvolvido de acordo com um delineamento
32. O primeiro fator refere-se s condies experimentais (ameaa
aos cotistas x valorizao de atributos dos cotistas x controle) e o
segundo fator se refere forma de entrada na universidade (cotistas
x no cotistas).
A coleta de dados ocorreu entre julho de 2006 e maio de 2007 e
contou com a participao voluntria de 120 estudantes universitrios (60 cotistas e 60 no cotistas), alocados aleatoriamente nos trs
grupos experimentais por meio de procedimentos computadorizados. Cada condio experimental foi composta por 20 estudantes
cotistas e 20 estudantes no cotistas.
31/03/2010 16:00:13
Ao final de cada sesso experimental, os estudantes foram informados sobre o objetivo da pesquisa e receberam explicaes pormenorizadas sobre os procedimentos adotados, principalmente sobre
o carter situacional da manipulao da varivel, alm de serem
comunicados que as informaes apresentadas sobre o desempenho
de cotistas e no cotistas eram fictcias.
O aplicativo utilizado para o procedimento de coleta de dados,
criado com o sistema de autoria Toolbook Instructor II por um dos autores do presente captulo, consistia de 21 questes de diversos tipos
de raciocnio lgico: sucesses de domins; proposies categricas;
afirmao e negao; raciocnio lgico que envolve argumentos com
verdade e mentira; raciocnio lgico-quantitativo; sucesses lgicas;
raciocnio lgico-crtico e lgico-analtico.
Na Figura 1, possvel visualizar a tela do computador com um
exemplo de questo, que permitiu mensurar o tempo requerido
para responder cada questo de raciocnio lgico e calcular o grau
de preciso da resposta.
Contador
de tempo
Figura 1: Exemplo de questo do experimento de raciocnio lgico
31/03/2010 16:00:14
Independente da condio experimental, antes do incio do experimento, foi apresentada uma tela informando que o aplicativo
consiste em um teste para avaliar a capacidade intelectual. Os participantes tambm foram advertidos para que trabalhassem rpido,
pois eles disporiam de trs minutos para responder cada questo
(conforme se observa no contador de tempo, posicionado no canto
superior direito da tela do computador ver Figura 1). Encerrados os
trs minutos, se o participante no tivesse respondido pergunta o
aplicativo direcionava de forma automtica para o prximo item de
avaliao. Para evitar que os participantes chutassem foi adotado
um procedimento para corrigir o escore. Desta forma, para cada
questo corretamente respondida era creditado um ponto e para
cada erro era descontado 0,2 pontos no escore total. A opo prefiro
no responder permitia ao estudante evitar responder questo,
de forma a no ganhar ou perder pontos. Aps a finalizao do teste,
os participantes responderam algumas questes sobre possveis
mediadores, includas com a finalidade de identificar e mensurar a
quantidade de esforo despendido na realizao da tarefa, o nvel
de ansiedade durante a realizao da tarefa, a percepo da dificuldade do teste, a autoavaliao do desempenho, a autoconfiana
na performance, o desengajamento em relao tarefa, o endosso
dos esteretipos e a apreenso quanto a ser avaliado. Alm destas
medidas, tambm foi aplicada a escala de autoestima de Rosenberg,
validada no Brasil pelo Laboratrio de Medidas da Universidade
Federal do Rio Grande do Sul.
A ativao da ameaa dos esteretipos foi efetuada na etapa inicial
da pesquisa, mediante a leitura de um breve texto introdutrio. Na
primeira condio experimental, na qual se introduz a ameaa do esteretipo, o texto se referia a uma pretensa superioridade dos alunos
no-cotistas, ou seja, daqueles que entraram na universidade pelo
sistema convencional, exclusivamente pelo critrio de classificao
nas provas de vestibular. Na segunda condio experimental, denominada condio de valorizao, o texto apresentado era semelhante
ao primeiro, diferindo apenas por ressaltar os atributos positivos dos
estudantes cotistas. No caso do grupo controle no se apresentou
qualquer referncia questo das cotas nas universidades ou do
31/03/2010 16:00:14
desempenho acadmico e os participantes iniciaram a tarefa a partir

das instrues especficas sobre o teste de lgica.
resultados
Para testar o efeito conjunto da ameaa dos esteretipos e da condio de entrada na universidade, foi realizada uma ANOVA 32.
Conforme se observa na Tabela 1, foram encontrados efeitos significativos para a condio de entrada na universidade, com os resultados
dos cotistas inferior ao dos no cotistas (F(1, 114) = 17,59, p < .001) e uma
interao entre a condio experimental e a modalidade de entrada
na universidade (F(2, 114) = 4,14, p < .05).
Tabela 1: Mdia e desvio padro do escore corrigido de cotistas e
no-cotistas por condio experimental
Condio experimental
Cotista
No-cotista
Total
Mdia
DP
Mdia
DP
Mdia
DP
6,96
3,54
10,84
2,40
8,90
3,57
Valorizao
8,38
1,93
8,77
2,44
8,57
2,18
Controle
7,44
3,02
9,41
2,67
8,42
2,98
Total
7,59
2,92
9,67
2,61
8,63
2,95
Ameaa
Conforme postulado na hiptese 1, uma anlise comparativa conduzida mediante a aplicao do teste t evidenciou uma mdia significativamente inferior (t(38) = 4,05, p <.001) entre os participantes cotistas
alocados condio de ameaa do esteretipo (M = 6,96; DP = 3,54),
quando os resultados do escore corrigido so comparados com os
estudantes no cotistas na mesma condio (M = 10,84; DP = 2,40).
Esta diferena no desempenho, de quase quatro pontos, foi a maior
entre todas as condies e oferece um forte indicador do impacto
negativo da ameaa dos esteretipos na performance dos cotistas.
Osborne (2001b) afirma que a literatura aponta evidncias convincentes de que estudantes pertencentes a grupos minoritrios, em
situaes ameaadoras, tm desempenho inferior ao apresentado por
membros dos grupos hegemnicos. Na pesquisa realizada por Steele
e Aronson (1995), na condio de ameaa, os negros, considerados
31/03/2010 16:00:14
Intervalos de confiana - Escore corrigido
minoria social, obtiveram desempenho significativamente inferior

aos brancos. Estes resultados so compatveis com as evidncias
encontradas nos resultados aqui relatados. Os cotistas, pertencentes
a uma categoria social sobre a qual recai uma srie de esteretipos
negativos, principalmente no tocante performance intelectual na
universidade, na condio de ameaa dos esteretipos, obtiveram
um desempenho significativamente inferior aos no-cotistas.
Conforme se observa no grfico apresentado na Figura 2, este
resultado fica ainda mais evidente durante a anlise dos dados dos
participantes alocados condio de valorizao dos atributos positivos dos cotistas.
12
cotista
no cotista
11
10
5
ameaa
valorizao
controle
Figura 2: Intervalo de confiana de 95% das mdias de escore bruto de cotistas e no

cotistas por condio experimental
A segunda hiptese postulada foi que o desempenho dos cotistas

seria mais prximo dos no-cotistas na condio de valorizao do
que nas demais. A anlise proporcionada pelo teste t evidencia que a
diferena entre a performance de cotistas (M = 8,38; DP = 1,93) e no
cotistas (M = 8,77; DP = 2,45) no foi estatisticamente significativa
(t(38) = 0,56, p = ns).
31/03/2010 16:00:14
Os achados dos cotistas na condio de valorizao so, evidentemente, os que mais se destacam e podem ser comparados aos obtidos
em outras pesquisas que tambm buscaram verificar os mecanismos
para reduzir ou eliminar as diferenas de desempenho. (ARONSON,
et al., 1999; DANSO; ESSES, 2001; MARX; ROMAN, 2002; SACKETT,
HARDISON; CULLEN, 2004) Marx e Roman (2002) revelaram, atravs
de estudos experimentais, que a performance de mulheres em testes
de matemtica pode ser protegida dos efeitos da ameaa dos esteretipos nas circunstncias em que uma experimentadora do sexo
feminino apresentada como modelo de competncia no domnio
quantitativo. Na presente pesquisa, o texto no qual era explicitado
que o desempenho dos cotistas tem sido bastante satisfatrio e que
eles so mais motivados e comprometidos com o curso, apresentado
antes da tarefa experimental aos participantes alocado condio
de valorizao dos atributos dos cotistas, pode ter funcionado como
proteo, assim como a presena da figura da experimentadora habilidosa no experimento de Marx e Roman (2002). Este pequeno texto
parece ter sido suficiente para fazer desaparecer os efeitos da ameaa
dos esteretipos. Vale ressaltar que na presente pesquisa, ao contrrio
da de Steele e Aronson (1995), na qual os escores foram corrigidos
usando a ANCOVA, no foi feita qualquer tentativa de correo, o que
indica um efeito mais realista e intenso da condio experimental.
A hiptese 3 se refere ao teste na condio de controle. A literatura indica que o simples fato de pertencer a um grupo sob o qual
paira no ar uma ameaa e ser submetido a um teste relacionado
com o objeto das crenas estereotipadas , por si apenas, suficiente
para configurar uma situao ameaadora. Assim, no grupo controle
podia-se esperar ainda o efeito da ameaa do esteretipo, mesmo
que esta no incidisse de uma forma to acentuada quanto no caso
da condio de ameaa do esteretipo, na qual a ameaa implcita
foi reforada com a ameaa explcita apresentada nas instrues do
experimento. Conforme os nmeros apresentados na Tabela 1, pode
ser observada uma diferena de dois pontos em mdia no desempenho de cotistas (M = 7,44; DP = 3,02) e nocotistas (M = 9,41; DP = 2,67),
31/03/2010 16:00:14
uma diferena que apesar de estatisticamente significativa (t(38) =

2,18, p <.05), no to intensa quanto a que se observa na condio
de ameaa do esteretipo. Essa diferena, embora menor que na
condio de ameaa, ao menos parcialmente, pode ser interpretada
como um atributo do prprio carter diagnstico do teste, visto que
nas instrues iniciais o teste foi apresentado, claramente, como
uma avaliao da capacidade intelectual dos estudantes. Carvalho
(2005, p. 78) ressalta que o [...] saber acadmico exerce um profundo
efeito inibitrio na maioria das pessoas em geral. No parece difcil
imaginar que estudantes que entraram na universidade atravs de
um sistema em que a classificao dos escores obtidos nas provas de
vestibular no foi o nico critrio, se sintam ameaados diante de
avaliaes com objetivo de mensurar a inteligncia. Se o fato de ter
sido aprovado em um curso de alto prestgio em uma universidade
pblica funciona como um indicador de inteligncia, ingressar atravs das cotas pode no garantir o mesmo efeito para a autoestima
dos estudantes, visto que os esteretipos aplicados aos cotistas so
quase sempre negativos. Talvez os cotistas ainda sofram de uma
sobreposio de esteretipos, pois a categoria cotista composta,
na sua maioria, por estudantes negros oriundos de escolas pblicas,
ainda que boa parte dos estudantes que compuseram a amostra da
presente pesquisa tenha estudado em escolas pblicas de qualidade
reconhecida, como por exemplo os Centros Federais de Tecnologia
e os colgios militares.
Os dados encontrados na presente pesquisa tambm oferecem
suporte ideia de que um indivduo pertencente ao grupo dominante, ao saber que ter sua performance comparada com um grupo
considerado inferior melhora significativamente o desempenho.
De fato, enquanto o resultado dos cotistas submetidos ameaa dos
esteretipos foi bastante comprometido, neste grupo os no cotistas
apresentaram a melhor performance. Estes resultados, portanto,
indicam que o texto utilizado para ativar esteretipos negativos
nos cotistas serviu, no s para produzir o efeito de reduzir o desempenho deste grupo, como tambm criou uma condio que
31/03/2010 16:00:14
proporcionou aos no cotistas uma forma de dar legitimidade s

crenas negativas a respeito dos estudantes que entraram na universidade mediante o sistema de reserva de vagas. Danso e Esses
(2001) interpretam resultados semelhantes a estes, em termos da
percepo da ameaa de competio em relao a membros de
grupos minoritrios, pois os resultados indicam que os brancos
respondem corretamente a um maior nmero de itens quando o
teste aplicado por um experimentador negro.
Afora a anlise comparativa, realizada mediante a conduo da
ANOVA, foi conduzida uma equao de regresso com a finalidade
de avaliar o impacto de cada uma das variveis preditoras sobre o
desempenho acadmico dos participantes do estudo. Adotou-se o
procedimento de regresso linear hierarquizada, j que esta tcnica
permite avaliar a proporo de varincia de uma dada varivel critrio, quando outras variveis so includas na equao de regresso
em uma ordem definida pelo pesquisador. Para fins de anlise,
foram constitudos trs blocos, o primeiro relativo s condies
experimentais, o segundo relacionado s variveis sociodemogrficas
e o terceiro e ltimo, onde foram includos os efeitos das possveis
variveis mediadoras.
No primeiro bloco, foram includas as variveis dummy ameaa,
em contraposio s condies de valorizao e controle; uma outra
varivel dummy cotista, em contraposio varivel no cotista e
uma terceira varivel ameaa ao cotista (ameacot), que representa
uma interao entre a duas variveis iniciais. O segundo bloco da
equao de regresso inclui a varivel idade e a varivel dummy sexo
feminino. No terceiro e ltimo bloco foram introduzidas as variveis
que poderiam vir a exercer um efeito de moderador, includo o
tempo total de respostas em minutos, para avaliar o esforo, alm
das variveis: confiana na performance, desengajamento em relao
tarefa, percepo da dificuldade do testes, apreenso quanto a ser
avaliado, endosso do esteretipo, ansiedade e autoestima.
Os valores obtidos mediante a regresso hierarquizada mltipla
podem ser observados na Tabela 2.
31/03/2010 16:00:14
Tabela 2. Resultados da equaes de regresso linear hierarquizada

Modelo II
Modelo I
Modelo II
Condio experimental,
Condio experimental Condio experimental
sociodemogrfica &
apenas
& sociodemogrfica
mediadores
Varivel
Intercepto
Condio experimental
Ameaa
Cotista
Ameaa x Cotista
Sociodemogrfica
Sexo feminino
Escola pblica
Mediadores
Confiana no desempenho
Desengajamento
Endosso do esteretipo
Percepo da dificuldade do teste
Apreenso quanto a ser julgado
Ansiedade
Autoestima
Tempo total de resposta
F (gl)
R2 ajustado
Coef.
9,09**
E.P.
,42
Coef.
9,66**
E. P.
,44
Coef.
8,06*
E. P
3,33
1,90*
-1,20*
-2,45*
,73
,59
1,03
1,86*
-,68*
-2,33*
,70
,81
1,01
1,65*
-,90
-2,18*
,66
,77
,92
-1,97*
-,75
,55
,81
-1,25*
-,42
,52
,79
-,15
-,14*
,-01
,39*
,01
-,15
-,01
,01
6,16 (13)
0,370
,15
,07
,07
,09
,06
,10
,06
,00
8, 24 (3)
0,160
49,31 (5)
0,236
No modelo 1, as variveis ameaa, cotista e a interao entre as

duas foram includas no primeiro bloco e explicam 16% da varincia
do desempenho. O modelo 2, ao incluir as variveis sociodemogrficas como preditoras, otimiza o poder preditivo da equao de
regresso que passa a responder por 24% da varincia nos testes.
O modelo 3, ao acrescentar as variveis moderadoras, faz com que o
poder preditivo da equao de regresso explique 37% da varincia
total do desempenho.
A anlise dos coeficientes do modelo 3 permite destacar alguns
resultados mais marcantes. A primeira tendncia a chamar ateno
a de que a alocao condio experimental ameaa do esteretipo
faz com que o participante, seja ele cotista ou no, passe a apresentar
um desempenho de 1,65 pontos acima do que seria esperado. Este
resultado positivo da condio de ameaa no se mantm, no entanto, quando se analisa a interao entre a ameaa e a condio de ser
31/03/2010 16:00:14
cotista. Neste caso, o resultado previsto pela equao de regresso

aponta que os estudantes cotistas, quando alocados condio de
ameaa dos esteretipos, devero errar 2,18 questes a mais do que
a mdia de todos os participantes.
No que concerne s variveis demogrficas, os resultados apontam para uma expectativa de que as participantes do sexo feminino
errem, em mdia, 1,25 a mais de questes que os homens.
A anlise dos coeficientes das variveis do terceiro bloco sugere
que apenas as variveis desengajamento e percepo da dificuldade
do teste contriburam de forma significativa para a explicao da
varincia do desempenho dos participantes. No caso do desengajamento, o coeficiente negativo e indica que a cada unidade de
desengajamento na escala corresponde a uma reduo de 0,14
acertos na mdia corrigida, enquanto a percepo da dificuldade
do teste est positivamente associada com o desempenho, indicando que um acrscimo de um grau na escala de percepo da
dificuldade faz com que seja esperado um acrscimo de 0,39 de
acertos acima da mdia.
De modo geral, os resultados parecem consistentes no sentido
de confirmar que os dficits no desempenho dos estudantes cotistas
so decorrentes da presena da ameaa dos esteretipos. Na condio de ameaa, a performance dos cotistas inferior a dos no
cotistas alocados em quaisquer condies, assim como inferior a
dos cotistas nas condies de valorizao e controle. Estes resultados
corroboram a hiptese de que os indivduos tendem a apresentar
um decrscimo de performance quando acreditam que o critrio de
julgamento do desempenho baseado em crenas estereotipadas.
Se apenas um pequeno texto relacionado a esteretipos sobre os
cotistas foi capaz de produzir efeitos negativos na performance
destes estudantes, o que dizer das crenas e expectativas de pais e
professores na vida de um estudante. Carvalho (2005, p. 77) afirma
que [...] um professor pode minar a autoestima de um aluno de um
modo quase definitivo, s vezes uma nica frase pode facilmente
produzir efeitos devastadores, na vida de um estudante.
Chama a ateno tambm o fato da maior mdia dos no cotistas
ter sido obtida na condio em que havia uma ameaa direcionada
31/03/2010 16:00:15
aos cotistas. Para os estudantes que ingressaram na universidade

pelo sistema de seleo tradicional, o texto utilizado para ativar
esteretipos pode ter servido para potencializar o desempenho
dos no-cotistas, pois obtiveram informaes explcitas de que nos
domnios de lgica investigados, sua performance flagrantemente
superior a dos cotistas.
Os efeitos deletrios da ameaa dos esteretipos so repetidamente descritos na literatura especializada desde as primeiras pesquisas
realizadas por Steele em 1995. Sem dvida, os dados mais interessantes da presente pesquisa se relacionam com a condio de valorizao
dos atributos positivos dos cotistas, na qual no foram encontradas
diferenas significativas no desempenho de cotistas e no cotistas.
A existncia de esteretipos negativos a respeito de um grupo,
de fato, aumenta o risco do indivduo confirmar os esteretipos
ao realizar uma tarefa relacionada ao esteretipo. Com base nos
resultados encontrados, pode-se concluir que, neste teste em particular, as diferenas de desempenho de cotistas e no cotistas
no so decorrentes de melhor preparao dos no cotistas, visto
que quando os cotistas foram elogiados na condio de valorizao, a performance dos mesmos foi semelhante a dos no cotistas.
Os resultados da presente pesquisa so encorajadores, pois, ao
mesmo tempo em que constatam que a performance intelectual
pode ser afetada por esteretipos negativos, indicam tambm uma
possibilidade de reverter tais efeitos.
Felizmente, percebe-se, visto o crescente nmero de pesquisas
que buscam compreender os mecanismos, que podem proteger a
performance dos membros de grupos estereotipados, que o foco das
pesquisas nesta rea j no a de apenas enfatizar o efeito negativo
dos esteretipos. (ARONSON, et al., 1999; MARX; ROMAN, 2002;
SPENCER; STEELE; QUINN, 1999)
Transpondo os resultados desta pesquisa de laboratrio para
situaes mais concretas, poder-se-ia pensar que se os estudantes
cotistas estiverem em ambientes nos quais se sintam protegidos,
como, por exemplo, na presena de professores negros no corpo
docente das universidades ou a valorizao dos mritos dos estudantes oriundos de escolas pblicas que conseguiram ingressar em
31/03/2010 16:00:15
universidades pblicas, possvel supor que as atuais diferenas

no desempenho de cotistas e no cotistas possam ser reduzidas de
forma significativa.
A reflexo sobre o papel do professor tambm se torna necessria, uma vez que os resultados das pesquisas sobre a ameaa
dos esteretipos demonstram que aes que valorizem os cotistas
podem contribuir para o desempenho positivo, ao contrrio das
circunstncias em que eles so submetidos ao efeito ameaador
dos esteretipos. Desta forma, importante que os professores das
universidades que adotam a poltica de cotas estejam conscientes
da forma como podem interferir no desempenho dos seus alunos,
positiva ou negativamente.
Espera-se que as expectativas dos professores em relao performance acadmica dos cotistas sejam diferentes daquelas frequentemente proferidas na mdia pelos opositores da medida, que preveem
que os cotistas sero reprovados em um mais de disciplinas que os
outros, que aumentar o nmero de evaso ou que estes levaro mais
tempo para concluir a graduao. Alm das dificuldades enfrentadas
durante o curso, os contrrios s cotas afirmam ainda que os cotistas
encontraro mais barreiras para se inserirem no mercado de trabalho. As consequncias de expectativas negativas em relao aos
cotistas podem ser desastrosas para o desempenho acadmico, visto
que as crenas podem se tornar profecias autorrealizadoras, ou seja,
a baixa expectativa dos professores pode levar a um desempenho
medocre, enquanto uma expectativa positiva pode ser capaz de
promover algum aperfeioamento no desempenho dos estudantes.
Os resultados da presente pesquisa, portanto, interessam, sobretudo,
aos professores, personagens fundamentais na criao de ambientes
seguros para as minorias que, com a implantao das cotas, passam
a ocupar um lugar de destaque no ambiente universitrio.
referncias
ARONSON, J. et al. When white men cant do math: necessary and sufficient
factors in stereotype threat. Journal of Experimental Social Psychology, v. 35, n. 1,
p. 2946, 1999.
31/03/2010 16:00:15
BEILOCK, S. L.; MCCONNELL, A. R. Stereotype threat and sport: can athletic

performance be threatened? Journal of Sport & Exercise Psychology, 26, p. 597609, 2004.
BRASIL. Ministrio da Educao e Cultura. Informa. [Braslia, DF, 2005].
Disponvel em: <www.mec.gov.br>. Acesso em: 20 ago. 2005.
CARVALHO, J. J. Incluso tnica e racial no Brasil: a questo das cotas no ensino
superior. So Paulo: Attar, 2005.
CROSBY, F. J.; IYER, A.; SINCHAROEN, S. Understanding affirmative action.
Annual Review of Psychology, v. 57, p. 585-661, 2006.
DANSO, H. A.; ESSES, V. M. Black experimenters and the intellectual
test performance of white participantes. the table are Turned. Journal of
Experimental Social Psychology, v. 37, n. 2, p. 158165, 2001.
DAVIES, P. G. et al. Consuming images: how television commercials
that elicit stereotypes threat can restrain women academically and
professionally. Personality and Social Psychology Bulletin, v. 28, n. 12, p. 16671678, 2002.
FREIRE, V. Ameaa dos esteretipos e desempenho ps-leso de jogadores de futebol.
2005. Dissertao (Mestrado) Faculdade de Filosofia e Cincias Humanas,
Universidade Federal da Bahia, Salvador,BA. Disponvel em:<www.pospsi.
ufba.br/pdf/verena_freire.pdf>. Acesso em: 12 jul. 2009.
IBGE. Censo demogrfico brasileiro de 2005. Disponvel em:<www.ibge.gov.br/
censo/>. Acesso em: 10 ago. 2008.
LEVY, B. Improving memory in old age through implicit self-stereotyping.
Journal of Personality and Social Psychology, v. 71, n.6, p. 1092-1107, Dec. 1996.
LEYENS, J-P. et al. Stereotype threat: are lower status and story of
stigmatiation preconditions of stereotype threat?. Personality and Social
Psychology Bulletin, v. 26, n. 10, p. 1189-1199, 2000.
MAIO, M. C.; SANTOS, R. V. Poltica de cotas raciais, os olhos da sociedade
e os usos da antropologia: o caso do vestibular da Universidade de Braslia
(UNB). Horizontes Antropolgicos, Porto Alegre, ano 11, n. 23, p. 181-214, 2005.
MARX, D. M.; ROMAN, J. S. Female roles models: protecting womens math
test performance. Personality and Social Psychology Bulletin, v. 28, n. 9, p. 11831193, 2002.
OSBORNE, J. Testing stereotype threat: does anxiety explain race and sex
differences in achiavement? Contemporary Educational Psychology, v. 26, n. 3,
July, p. 291-310, 2001a.
______. Unraveling underachievement Among African American Boys from
na identification with academics perspective. Journal of Negro Education,
Haward University, v. 68, n. 4, p. 555-565, 2001b.
ameaa dos esteretipos. In: LIMA, M. E. O.; PEREIRA, M. E. Esteretipos,
31/03/2010 16:00:15
preconceitos e discriminao: perspectivas tericas e metodolgicas. Salvador:

EDUFBA, 2004. p. 69-87.
QUEIROZ, D. M.; SANTOS, J. T. Sistema de cotas e desempenho de estudantes
nos cursos da UFBa. [Salvador: s.n., 2007] Disponvel em: <www.ifcs.ufrj.
br/~observa/relatorios/DesempenhoCotistasUFBA.pdf>. Acesso em: 14 maio
2007.
SACKETT, P. R.; HARDISON, C. M.; CULLEN, M. J. On interpreting stereotype
threat as accounting for African American: white differences on cognitive
test. American Pshychologist, v. 59, n. 1, p. 7-13, 2004.
SCHMADER, T. Gender identification moderates stereotypes threat effects
on womens math performance. Journal of Experimental Social Psychology, v. 38,
n. 2, p. 194-201, 2002.
SHIH, M.; PITTINSKY, T.; AMBADY, N. Stereotype susceptibility: identity
salience and shifts in quantitative performance. Psychological Science, v. 10, n.
1, p. 80-83, 1999.
SMITH, J. Understanding the process of stereotypes threat: a review of
mediational variables and new performance goal directions. Educational
Psychology Review, v. 16, n. 3, p. 177-206, 2004.
SPENCER, S.; STEELE, C.; QUINN, D. Stereotype threat and womens math
performance. Journal of Experimental Social Psychology, v. 35, n. 1, p. 4-28, 1999.
STEELE, C. A threat in the air: how stereotypes shape intellectual identity
and performance. American Psychologist, v. 52, n. 6, p. 613-629, 1997.
______; ARONSON, J. Stereotypes threat and the intellectual test
performance. of African Americans. Journal of Personality and Social Psychology,
v. 69, n. 5, p. 797-811, 1995.
STONE, F. Battling doubt by avoiding practice: the effects of stereotype
threat on self-handicapping in white athletes. Personality and Social Psychology
Bulletin, v. 28, n. 12, p. 1213-1227, 2002.
UNIVERSIDADE FEDERAL DA BAHIA. Manual do candidato. Salvador, 2005.
Disponvel em:<www.vestibular.ufba.br/>. Acesso em: 20 ago. 2005.
UNIVERSIDADE DO ESTADO DA BAHIA. Manual do candidato. [Salvador, 2005]
Disponvel em:<http://www.uneb.br/>. Acesso em: 20 ago. 2005.
31/03/2010 16:00:15
31/03/2010 16:00:15
Famlia, escola e
desempenho acadmico
Maria Virgnia Dazzani (Instituto de Psicologia/UFBA)
Marcelo Faria (Departamento de Educao/UNEB)
introduo
O debate em torno do tema da avaliao escolar tem apontado, sobretudo, para a complexidade do fenmeno de ensino-aprendizagem
e dos fatores que concorrem para ao da escola e para o desempenho acadmico dos estudantes envolvendo elementos que vo
da ordem das relaes sociais, da estrutura institucional da escola,
da cultura, dos currculos escolares e da formao dos professores.
Este livro testemunha esse esforo de compreender as mltiplas
facetas da avaliao.
Um assunto inevitvel e que, em certa medida, despertou o
interesse pela discusso sobre avaliao o tema do desempenho
acadmico e fracasso escolar. Entre educadores, cientistas sociais e
psiclogos unnime que devemos investigar melhor os elementos
que concorrem para criar as condies do desempenho acadmico
e que, consequentemente, podem contribuir para a compreenso
do fracasso escolar. Neste captulo examinaremos um dos aspectos
deste problema, a saber, a relao famlia-escola.
Para tal exame de fundamental importncia destacarmos algumas das mudanas que se processaram no mundo a partir da segunda
metade do sculo XX, com profundas implicaes nas instituies
sociais, como por exemplo, na escola e na famlia.
31/03/2010 16:00:15
sociedade, famlia e escola:

um breve panorama
A segunda metade do sculo XX representou mudanas importantes
em todos os setores da chamada vida moderna colocando o mundo
de pernas para o ar. (HARVEY, 1996) No houve instituio que
no sofresse consequncias do processo de urbanizao intenso,
combinado com uma revoluo nos setores de comunicao e transporte, que possibilitaram uma ampliao jamais vista na capacidade
de produo, armazenamento e circulao de conhecimento, com
profundos efeitos na estruturao das relaes sociais.
Com relao ao processo de urbanizao da sociedade, podemos
verificar uma redefinio do mercado de trabalho, com o crescimento da importncia do setor de servios, a necessidade de formao
de mo de obra cada vez mais qualificada para operar em uma
economia cada vez mais complexa e interligada. Esse processo foi
acompanhado da entrada das mulheres no mercado de trabalho
com efeitos importantes nas relaes familiares, redefinindo papis
e responsabilidades, reorganizando o cotidiano das famlias e sua
estruturao enquanto instituio social.
Uma das caractersticas marcantes deste processo de transformao da famlia como instituio social na contemporaneidade uma
menor separao entre as esferas pblica e privada, que parecem se
mesclar em um processo de privatizao do pblico, ou, em outras
circunstncias, na publicizao da esfera privada.
As fronteiras entre essas esferas foram, segundo Arendt (1997),
determinantes na organizao da educao e instituio escolar. A
escola tinha por finalidade a transio entre a esfera privada caracterizada pela proteo ao indivduo e o mundo pblico. Para ela,
[...] a escola no de modo algum o mundo e no deve fingir
s-lo; ela , em vez disso, a instituio que interpomos entre
o domnio privado do lar e o mundo, com o fito de fazer que
seja possvel a transio, de alguma forma, da famlia para o
mundo. (ARENDT, 1997, p. 225)
250 maria virgnia dazzani & marcelo faria
31/03/2010 16:00:15
Na contemporaneidade, as fronteiras entre pblico e privado

estariam sendo dissolvidas e a escola, neste sentido, entrando em
crise de identidade, pelo menos em sua forma moderna. Segundo
Azanha (1990/1991), essa crise na verdade no seria da escola, mas
muito mais ampla. Uma crise poltica criada atravs da negao da
discusso acerca da estrutura e do papel das instituies sociais na
vida coletiva. Essa negao parece se agravar na contemporaneidade,
uma vez que a esfera de discusso poltica parece se reduzir eficcia
das instituies no processo de realizao da economia.
Outra questo relevante para pensarmos as transformaes das
instituies sociais o crescimento dos contedos de tcnica e cincia na ordenao do mundo, cuja funo central parece ser a
ampliao do sistema capitalista em escala mundial. A produo e
propagao do conhecimento possibilitaram, por um lado, diversas
conquistas sociais, no entanto, desorganizaram as bases tradicionais
de organizao da vida social nos mais diversos lugares.
Segundo Santos (1996), o processo de globalizao com efeitos
no processo escolar e nas instituies educacionais no deve ser
compreendido apenas como um processo econmico, mas como uma
reordenao dos lugares a partir do mundo; um processo heternomo que busca submeter a pluralidade dos lugares ao funcionamento
de uma nica lgica cuja finalidade a realizao do processo de
acumulao de capital. (SANTOS, 1996)
Assim, os conhecimentos acumulados ao longo da histria de
cada sociedade que atribuem sentido ao mundo dos objetos e
s aes vo sendo progressivamente substitudos por um saber
heternomo que se impe, entre outros mecanismos, atravs da
estruturao dos currculos e das prticas escolares. Segundo Jameson (2001), no atual estgio de globalizao do mundo, economia e
cultura tendem a coincidir e, claro, os contedos escolares tendem a
obedecer aquilo que se impe como o novo, identificado como mais
adequado e eficiente para a formao dos indivduos na sociedade
contempornea.
Outro aspecto de similar relevncia diz respeito discusso em
torno das relaes entre famlia e escola como um encontro de culturas. A famlia e escola se constituiriam, ento, como instituies
famlia, escola e desempenho acadmico 251
31/03/2010 16:00:15
individuais independentes? O encontro e relao de ambas seria um

encontro de culturas? Diversos pesquisadores ligados aos estudos culturais (GARCA CANCLINI, 1998; HALL, 1997; NUNES, 2003) tm chamado a ateno para a importncia dos aspectos da cultura como fora
poltica na organizao dos currculos e das prticas escolares.
Um aspecto central dessa discusso remete complexidade
do mundo contemporneo e, como apontamos no pensamento
de Arendt (1997), na mistura existente entre as esferas pblica e
privada, sendo a escola uma instncia que forja a mediao entre
elas. Embora possamos reconhecer a adoo de uma perspectiva
heternoma na organizao do trabalho escolar e que, muitas vezes,
promove contedos que parecem estranhos vida social, verificamos a tentativa atual do Estado de formulao de polticas pblicas
educacionais visando adoo do desenvolvimento da participao
e cooperao entre famlia e escola, criando uma possibilidade de
ruptura de prticas e concepes j bem enraizadas.
Pensar o processo de avaliao, o desempenho acadmico, o
fracasso ou o sucesso escolar, sem contemplar alguns desses aspectos , na verdade, refletir sobre um falso objeto. Segundo Azanha
(1990/1991, p. 37),
No fundo, o professor, o aluno, o livro e outros componentes
do ambiente escolar so falsos objetos, como diria Paul Veyne. Sob essas expresses, mascaramos o que fundamental: o
jogo das complexas relaes sociais que ocorrem no processo
institucional da educao. Muitas vezes, a descrio que fazemos desses objetos, em vez de revelar esse jogo, obscurece o
essencial. No que por trs da realidade visvel haja uma outra
que no percebemos, mas porque somos incapazes de fazer
incidir o esforo de descrio nos pontos de interesse.
a partir desse contexto amplo da educao como parte de um

complexo jogo social que a avaliao deve ser compreendida. O desempenho acadmico dos alunos no pode ser tomado como um dado
estatstico isolado dos demais aspectos da escola e do contexto sociohistrico, mas como uma referncia importante do sentido da escola
em cada sociedade e das prticas desempenhadas em seu interior.
31/03/2010 16:00:15
No novo contexto poltico-educacional brasileiro do perodo de

redemocratizao, a escola se caracterizaria como uma importante
agncia educacional e socializadora, complementando o trabalho
desenvolvido pelas famlias. Por essa razo, tornou-se um tema de
absoluta relevncia a preocupao sistemtica com o desempenho e
a permanncia dos alunos nas escolas e, como consequncia, o papel
da famlia nesse processo. Questes ligadas s causas do fracasso
escolar, tais como: a formao docente, a gesto escolar, a responsabilidade e empenho da famlia na educao de seus filhos; as polticas pblicas de ateno educao; as condies de infraestrutura
das escolas pblicas, dentre outros, tm sido objeto de estudo de
pesquisadores em todo o mundo. (GUZZO, 2001; NOGUEIRA; ABREU,
2004; ZAGO; DAROS, 2002)
A famlia1, entretanto, passou a ser um tema de interesse especialmente analisado a partir de sua relao/parceria com a escola (donde a
escola a referncia); ou seja, a famlia passou a ser avaliada a partir
do seu papel, funo e contribuio no processo educacional, bem
como dos modelos de participao. Vale salientar que o conceito
de parceria (entre a famlia e a instituio escolar) tornou-se uma
espcie de dogma, de categoria pblica positiva de percepo de
mundo social. (SILVA apud NOGUEIRA, 2006) Alm do discurso sobre
essa parceria, observamos vrios dispositivos institucionais como
campanhas promovidas pelo Estado, jornadas de encontro entre pais
e escola, contratos, com o objetivo de fomentar essa parceria.
O desempenho acadmico dos alunos passou a ser pensado como
o resultado do desempenho dos pais (qualidade da participao e
envolvimento, controle e expectativas, empenho e compromisso
com a ao educacional, prticas educativas, atribuio de sentido
vida escolar, etc). Segundo Godard (1992, p. 119),
1 Sem ignorar as
consequncias e relaes
sociais externas, a
famlia ou grupo familiar
aqui concebido no
apenas como mero
reflexo da classe social,
mas como um sistema
de ao, portador de
um projeto autnomo
comum e resultante e
uma dinmica normativa
interna, em constante
processo de mudana.
(BOYER; DELCLAUX, 1995
apud NOGUEIRA, 1998)
Tudo se passa como se o xito do filho consistisse uma espcie

de smbolo do xito pessoal dos pais, do bem fundado de
seus valores e de sua concepo de educao; como se esse
xito se tornasse para os pais um critrio fundamental de
sua auto-estima.
31/03/2010 16:00:15
Nesses termos, no apenas a famlia passa a ser considerada um

agente determinante na vida escolar dos filhos, mas a educao
ganha um valor central na vida da famlia contempornea.
Portanto, pensar a avaliao escolar e educacional envolve no
apenas a anlise das condies fsicas, didtico-pedaggicas ou cotidianas no interior das instituies escolares, mas tambm a avaliao
das prticas e significados da parceria entre a famlia e a escola, bem
como dos diversos atores sociais que dela participam.
a inveno do fracasso
2 Mesmo porque, a ideia

de um sujeito enquanto
indivduo portador de
traos psicolgicos,
subjetividade, conscincia,
autorreferncia e
autodeterminao, como
agente humano, self,
uma inveno da
Modernidade. (DAZZANI,
no prelo; TAYLOR, 1997,
p. 15)
3 Uma abordagem
rigorosa dos elementos
presentes na histria
do sistema educacional
brasileiro e sua relao
com a histria da cultura
e sociedade brasileira
pode ser encontrada em
Romanelli (2005).
O fracasso escolar tem constitudo um foco de interesse de pesquisadores de diferentes reas em funo de suas implicaes tanto para
o funcionamento global do indivduo, como para o seu grupo social.
De modo geral, uma das hipteses mais difundidas e que comumente formula o quadro explicativo do fracasso escolar a seguinte:
indivduos com baixo desempenho acadmico esto vinculados a famlias de
baixo nvel socioeconmico, baixa escolaridade e pouco empenhadas na sua
educao formal. (NOGUEIRA; ABREU, 2004; PATTO, 1999)
A expresso fracasso escolar comeou a ser utilizada mais
frequentemente no sculo passado para descrever uma srie de
incapacidades relacionadas com o insucesso acadmico a partir de
uma especfica concepo de educao, de aprendizagem e de sujeito
da aprendizagem. Em primeiro lugar, importante ressaltar que
a ideia de aprendizagem (e, consequentemente, de fracasso no
aprender) como um fenmeno que se d no sujeito ou indivduo
est relacionada com um determinado momento da histria da Psicologia e da Histria da Educao2. Mesmo sem sermos rigorosos na
reconstruo histrica, ressaltemos que a educao escolar enquanto
uma instituio concernente vida pblica e dirigida a diferentes
classes sociais uma inveno relativamente recente na histria
geral das sociedades, remontando ao sculo XIX, e ainda mais recente
em relao sociedade brasileira3. O ideal republicano de igualdade
de oportunidades de partida incluiu a necessidade tambm da
educao para todos como condio para a formao do cidado.
31/03/2010 16:00:15
As transformaes culturais e, principalmente, do trabalho numa

sociedade cada vez mais tecnicizada produziram novas exigncias
fsicas, ticas e intelectuais. A pesquisadora francesa Anny Cordi,
em Os atrasados no existem: psicanlise de crianas com fracasso escolar,
discutiu como a inveno desse ideal republicano fez nascer uma
nova patologia: o fracasso escolar. (CORDI, 1996, p. 17) O sucesso
e o fracasso, como salienta Cordi, so valores ligados a um ideal
construdo social e culturalmente; o fracasso escolar, enquanto patologia social, surgiu no sculo XIX exatamente com a instaurao da
escolaridade obrigatria: as crianas de todas as classes e ambientes
no s eram obrigadas a prosseguir vrios anos de escolaridade
quanto passaram a enxergar a sua realizao humana e sua felicidade
com o sucesso na escola:
Ser bem-sucedido na escola ter a perspectiva do ter, mais
tarde, uma bela situao, de ter acesso, portanto, ao consumo
de bens. Significa tambm ser algum, isto , [...] ser considerado, respeitado. (CORDI, 1996, p. 21)
Um estudo realizado por Moyss Kessel em 1954 (apud PATTO,

1999) mostrou a dramaticidade da situao do fracasso na dcada de
40 no Brasil: do total de crianas que se matricularam pela primeira
vez na primeira srie do ensino fundamental, em 1945, apenas 4%
concluram as sries iniciais em 1948, sem reprovaes; dos 96%
restantes, metade no concluiu sequer a primeira srie. Mais de 50
anos depois, diversas pesquisas realizadas na rea (GUZZO, 2001;
MALUF, 2001; MELLO, 2004) revelaram vertentes que compreendem o
fracasso escolar das seguintes formas: como problema essencialmente
psquico; como problema meramente tcnico; como questo institucional; como questo fundamentalmente poltica. Algumas pesquisas
apontam continuidades e rupturas terico-metodolgicas em relao
aos caminhos percorridos pela produo de saber na rea: h teses
em que permanece o predomnio de concepes psicologizantes e
tecnicistas de fracasso escolar; h tambm teses que dialogam e avanam a pesquisa crtica do fracasso escolar, inserindo-o nas relaes de
poder existentes numa sociedade de classes. (DAZZANI, no prelo)
31/03/2010 16:00:15
4 Em outro lugar,
discute especificamente
como certas
concepes psicolgicas
influenciaram a
compreenso do fracasso
escolar. (DAZZANI, no
prelo)
No Brasil, principalmente a partir da massificao da educao

pblica e dos programas de combate ao analfabetismo nas dcadas
de 60 e 70 do sculo passado, o tema do fracasso escolar tornou-se
uma das preocupaes centrais de educadores e do Estado. nesse
contexto, quando a educao no se realiza, quando a escola no
consegue cumprir sua tarefa, quando a aprendizagem no se d,
precisamente aqui onde os conceitos de aprendizagem, avaliao e
fracasso escolar se revestem de uma importncia especial. (DAZZANI,
no prelo) Os educadores, tericos e polticos se veem obrigados a
compreender os mecanismos internos da prtica pedaggica, da
instituio educacional, do processo escolar para, da, encontrar os
caminhos de superao4. A famlia, nessa perspectiva, seria mais
um desses diversos elementos a serem avaliados.
Mesmo sem um consenso acerca da conceituao, etiologia, prevalncia e estratgias de interveno apropriadas, o aparecimento
da ideia de fracasso exprimiu a convico de educadores de que
algumas crianas possuam problemas de aprendizagem que no se
enquadravam nas categorias existentes. Sem tentar apresentar uma
definio completa, de modo geral, o fracasso escolar entendido
como um fenmeno que se caracteriza pelo baixo desempenho
acadmico, pela ocorrncia de repetncias e de evaso. Sob vrios
aspectos, esse tema foi o centro das preocupaes pedaggicas, o
que incentivou a investigao de vrios fatores que poderiam contribuir para tal fenmeno: esses fatores poderiam ir desde questes
fisiolgicas e psicolgicas individuais s do ensino e do ambiente
escolar e familiar.
a produo do fracasso
Estudos realizados nos ltimos anos indicam diversos preditores do
fracasso escolar tais como fatores sociodemogrficos e familiares que
fazem parte do ambiente em que a criana se desenvolve. O nvel
socioeconmico da famlia, o nvel de instruo dos pais e a responsividade parental, por exemplo, tm sido apontados como possveis
variantes- determinantes do baixo desempenho acadmico. (CAR-
31/03/2010 16:00:15
VALHO, 2004) Alguns desses estudos concluem que determinados

contextos escolares apresentem caractersticas que tornam o sujeito
mais vulnervel produo do fracasso. Algumas caractersticas
individuais tais como o desenvolvimento cognitivo e emocional tambm so comumente investigados para a compreenso do fenmeno.
Alm disso, o fracasso escolar passa a ser analisado a partir da compreenso dos fatores sociais, culturais e histricos. praticamente
consensual a necessidade da compreenso do fenmeno vinculada
compreenso das circunstncias histricas e sociais onde essas
engrenagens so fabricadas. (NOGUEIRA, 2004)
O fracasso escolar , de modo geral, um processo que resulta
das prticas envolvidas entre os atores educacionais, e no apenas na descrio dos agentes que nela se inserem. Segundo Azanha
(1990/1991, p. 37):
O que interessa descrever as prticas escolares e os seus
correlatos (objetivados em mentalidades, conflitos, discursos,
procedimentos, hbitos, atitudes, regulamentaes, resultados escolares etc.). Somente o acmulo sistemtico dessas
descries permitir compor um quadro compreensivo da
situao escolar, ponto de partida para um esforo de explicao e de reformulao.
Essa formulao nos parece particularmente importante na medida em que nega uma leitura determinista com relao ao processo
atravs do qual se busca responsabilizao deste ou daquele sujeito
social. Aponta, portanto, para a necessidade de entrada na complexidade do processo contnuo de prticas escolares e educacionais que
podem revelar os significados da escola-educao e a forma pela
qual ela se insere no movimento social mais amplo. Neste sentido,
a famlia pensada como coparticipante, inter-relacionada, interdependente de outros agentes sociais.
Do mesmo modo, a compreenso da produo do fracasso e
desempenho acadmico requer necessariamente a contribuio
interdisciplinar de campos diversos do conhecimento, de modo a
evitar abordagens reducionistas, seja no sentido do determinismo
31/03/2010 16:00:16
social, seja numa viso do fenmeno como de natureza exclusivamente pontual ou individual.
Tradicionalmente, a literatura educacional aponta que os maiores
determinantes do desempenho escolar esto fora do mbito da escola.
(SOARES, 2007) Ao revelarem um irrefutvel determinismo sociolgico, algumas pesquisas criaram um forte pessimismo pedaggico, visto
que levaram concluso de que a escola pesaria pouco na explicao
da variao do desempenho dos alunos. Essa ideia apresentada na
frase provocante divulgada pelo Relatrio Coleman (COLEMAN, et al.,
1966) de que [...] as escolas no fazem diferena. Por outro lado, alguns estudos longitudinais analisam a escola a partir do paradigma da
reproduo. A reproduo qual se referiu Pierre Bourdieu, segundo
Nogueira (2004), a reproduo das desigualdades sociais no seio da
instituio escolar e suas consequncias em termos de mobilidade
social. De modo geral, esses trabalhos apontam, sobretudo, que
cada sociedade define para si, atravs de suas opes histricas, um
patamar possvel para o aprendizado de seus estudantes. Entretanto,
em torno dessa estrutura h grande variao. Em sociedades mais
claramente desiguais, como no caso do Brasil, o nvel esperado de
desempenho acadmico oscila de forma acentuada de acordo com
o nvel socioeconmico. (NOGUEIRA 2004; SOARES, 2007) O sistema
escolar por si s no capaz de mudar essa determinao social,
mas algumas escolas conseguem que seus alunos tenham um melhor
desempenho que o esperado para suas condies sociais.
Entretanto, de fundamental importncia destacarmos e analisarmos o sentido desse melhor desempenho. Segundo Martins (2008),
a escola brasileira reproduz um sistema de marginalizao social
e uma dificuldade de dilogo com a diversidade cultural existente
na sociedade. Assim, o que se entende por melhor desempenho , na
verdade, um processo de adequao dos estudantes e das famlias
a uma lgica dominante de procedimentos e contedos que, nem
sempre, ou melhor, muito raramente, significa de fato um processo
de aprendizagem significativo por parte dos estudantes.
Para muitos autores, a escola e suas prticas pedaggicas so relevantes e muitas vezes decisivas no desempenho acadmico, embora
no possa mudar completamente a determinao social. (NOGUEIRA,
31/03/2010 16:00:16
2004; SOARES, 2007) Na situao atual do sistema pblico de ensino

bsico no Brasil, onde prevalecem baixos desempenhos, existem
oportunidades de melhorias substanciais atravs de implantao
de polticas escolares. A avaliao educacional, neste sentido, seria
uma ferramenta importante para o planejamento, redescrio e
interveno futura.
fracasso, excluso e democratizao

De acordo com alguns pesquisadores (PATTO, 1999; TANAMACHI,
2000; DEL PRETTE, 2001; NOGUEIRA; ABREU, 2004), o fracasso est
associado excluso social e escolar. Consideremos que excluso social
e escolar so compreendidas como formas de violao dos Direitos Humanos e do ideal da democracia (do mesmo modo como outras violaes dos Direitos Humanos, como o que ocorre no sistema prisional
e no manicomial, por exemplo). A expresso educao inclusiva surgiu
na luta de profissionais da rea de educao especial e na reivindicao
do ingresso de alunos excludos, assim chamados lentos, portadores de deficincia ou com necessidades educativas especiais nas
escolas regulares. (PATO, 1999; PRIETTO, 2005) Outra noo a de
diversidade e diferena e a exigncia de que a escola seja um espao que
acolha a pluralidade tnica, social e religiosa. Mais recentemente, as
polticas de ao afirmativa tambm se configuram num discurso
de incluso. Esses elementos consolidariam a democratizao da
escola e, consequentemente, da sociedade, mesmo que muitas vezes
seja confundido com a falsa ideia de que apenas o acesso escola
seja suficiente para garantir tal democratizao.
Devemos considerar que excluso na nossa sociedade no um
fenmeno isolado, anmalo, acidental, mas, ao contrrio, est diretamente ligado a certas formas de organizao institucional e produo
do poder que fabricam engrenagens que causam o isolamento, o
alheamento, a estigmatizao de determinados cidados. Ou seja,
nem sempre a excluso se resume ao fato de que a criana est
fora do espao fsico da escola. O simples ingresso na escola no
garantia de soluo do problema. (DAZZANI, no prelo)
31/03/2010 16:00:16
5 Para uma leitura sobre

esteretipos, ver Pereira
(2002, 2004).
A promessa de igualdade, de homogeneidade fez da escola, do

mesmo modo, um espao de excluso. Isso se deu em consequncia
da ideia de que a escola ofereceria as mesmas condies para todos
os alunos, sem exceo, e o sucesso ou fracasso seria uma decorrncia das aptides e inteligncia de cada um. Essa falsa promessa
de incluso coloca sob suspeita o aluno, ou seja, retira da escola a
responsabilidade de promover a incluso, outorgando ao aluno a
tarefa de incluir-se na massa homognea que tem competncia,
aptido e inteligncia para aprender. Um dos exemplos disso o
discurso de queixa escolar e do fracasso escolar. De certo modo,
a escola e as outras instituies sociais estiveram presas crena
e perspectiva ideolgica da natureza humana: a ideologia do dom.
Comumente a diferena concreta de etnia, religio, classe sociais,
mas tambm as diferenas individuais so ignoradas nas prticas
cotidianas da escola. A incluso pode, em muitos casos, significar
a interdio da diferena. Por isso, muitas vezes a demanda de
queixa escolar e o fracasso ignoram os processos objetivos que as
crianas vivem na escola. H vrios exemplos. A chamada ideologia
do dom, como explica Neves (2005), j foi uma das explicaes do
fracasso dos alunos: a escola teria oferecido as mesmas condies
para todos os alunos e o sucesso ou fracasso seria uma decorrncia
das aptides e inteligncia de cada um. O problema que inmeras
pesquisas procuraram demonstrar que o fracasso se concentra nas camadas socioeconomicamente desfavorecidas o que, de algum modo,
contraria essa ideologia, pois coloca mostra que as diferenas no
ocorriam entre os indivduos, mas, sim, entre grupos5. Esse modo
de explicar leva a outra perspectiva, do mesmo modo, repleta de
dificuldades, a ideologia da deficincia cultural: o fracasso escolar das
classes menos favorecidas seria explicado, nessa perspectiva, pelo
dficit cultural do seu meio. Um outro modo de explicar o fracasso,
principalmente das classes pobres, a ideologia das diferenas culturais:
j que a escola transmite como certos os valores culturais dos grupos dominantes, as crianas das classes dominadas no encontram
na escola a valorizao de seus padres culturais. Estes caminhos
tm levado a dificuldades tericas e a vcios polticos. (MACHADO,
et. al., 2005)
31/03/2010 16:00:16
Alguns tericos (NEVES, 2005; PRIETO, 2005) tm optado em no

mencionar a expresso educao inclusiva, mas simplesmente democratizao da educao, defesa e promoo dos Direitos Humanos.
Isso implica que devemos saber conceber uma escola e uma prtica
escolar que possam interpretar, acolher e responder s demandas
de todos os cidados num ambiente que respeite a subjetividade, a
diversidade cultural, tnica, religiosa, social. (DAZZANI, no prelo)
O modelo de avaliao escolar vigente no pasno apenas reprova,
mas faz com que um nmero significativo de crianas em idade
escolar e suas respectivas famlias no mantenham a motivao
necessria para estudar, porque no reconhece na escola um espao
para desenvolver competncias e habilidades, assimilar bem os
contedos e aprender (autonomia intelectual). (NOGUEIRA; ABREU,
2004; VIANA, 2007, VIANA; NOGUEIRA, 2008) Como apontamos
anteriormente, em oposio a um certo determinismo sociolgico que
engendra um pessimismo pedaggico que afirmaria que em sociedades
desiguais as escolas no fazem diferena muitos autores acreditam que aes educacionais (dentro e fora do ambiente escolar)
podem, de fato, intervir e modificar o quadro de fracasso-excluso
escolar: projetos de interveno nas escolas e famlias tornam-se,
neste sentido, relevantes e podem se configurar em instrumentos
de mudanas e possibilidades.
Desse modo, a avaliao educacional deve ter papel fundamental
no sentido de investigar, compreender e fomentar aes de parceria
entre escola-famlia. Em outros termos, a avaliao educacional pode
ser um dispositivo de favorecimento de dilogo e discusso sobre
o valor, os significados, a qualidade e os objetivos dessa parceria/
participao escola-famlia, desde que reconhea os meandros dessa
relao.
referncias
ARENDT, H. Entre o passado e o futuro. So Paulo: Perspectiva, 1997.
AZANHA, J. M. P. Cultura escolar brasileira: um programa de pesquisa.
Revista USP, So Paulo, n. 8, p. 65-69, dez. 1990, fev. 1991.
31/03/2010 16:00:16
CARVALHO, Marlia Pinto de. Quem so os meninos que fracassam na escola?.

Cadernos de Pesquisa, So Paulo: n. 121, p. 11-40, jan./mar. 2004.
COLEMAN, J. S. et al. Equality of educational opportunity. Washington, DC.:
Dept. of Health, Education, and Welfare, Office of Education, 1966.
CORDI, A. Os atrasados no existem: psicanlise de crianas com fracasso
escolar. Porto Alegre: Artes Mdicas, 1996.
DAZZANI, Maria Virginia. A psicologia escolar e a educao inclusiva: uma leitura
crtica. Artigo aceito para publicao pela revista Psicologia: Cincia e Profisso,
publicao trimestral dos Conselhos Federal e Regionais de Psicologia.
DEL PRETTE, Zilda A. P. (Org.). Psicologia escolar e educacional: sade e
qualidade de vida. Campinas, SP : Alnea, 2001.
GARCA CANCLINI, Nestor. Culturas hbridas. So Paulo: EDUSP, 1998.
GODARD, F. La famillie: affaire e generations. Paris : PUF, 1992.
GUZZO, R. Sade psicolgica, sucesso escolar e eficcia da escola: desafios
do novo milnio para a psicologia escolar. In: DEL PRETTE, Z.A. P (Org.).
Psicologia escolar e educacional, sade e qualidade de vida. Campinas, SP: Alnea.,
2001.
HALL, Stuart. A centralidade da cultura: notas sobre as revolues culturais
do nosso tempo. Educao e Realidade, Porto Alegre: UFRGS, v. 22, n. 2, p. 1546, 1997.
HARVEY, D. Condio ps-moderna: uma pesquisa sobre as origens da
mudana cultural. 6. ed. So Paulo: Loyola, 1996.
JAMESON, Frederic. A cultura do dinheiro. Petrpolis, RJ: Vozes, 2001.
MACHADO, A. M. et al. Psicologia e direitos humanos: educao inclusiva,
direitos humanos na escola. So Paulo: Casa do Psiclogo, 2005.
MALUF, M. R. O psiclogo escolar e a educao: uma prtica em questo. In:
DEL PRETTE, Z. A. P. (Org.). Psicologia escolar e educacional: sade e qualidade
de vida. Campinas, SP: Alnea, 2001.
MARTINS, J. Quem no fez a lio? O Estado de SoPaulo, So Paulo, 1 nov.
2008. Disponvel em: <http://www.estadao.com.br/suplementos/not_
sup270856,0.htm>. Acesso em: 25 ago. 2008.
MELLO, Guiomar N. de. Educao escolar brasileira: o que trouxemos do sculo
XX? Porto Alegre: ArtMed, 2004.
MORAIS, Regis (Org.). Sala de aula: que espao esse? 17. ed. Campinas, SP :
Papirus, 2003.
NEVES, M. B. Por uma psicologia escolar inclusiva. In: CONSELHO FEDERAL
DA PSICOLOGIA. Comisso Nacional de Direitos Humanos. Psicologia e
direitos humanos: educao inclusiva: direitos humanos na escola. So Paulo:
Casa do Psiclogo, 2005.
31/03/2010 16:00:16
NOGUEIRA, Maria Alice. Famlia e escola na contemporaneidade: os

meandros de uma relao. Educao e Realidade, v. 31, p. 155-169, 2006.
______. Favorecimento econmico e excelncia escolar: um mito em
questo. Revista Brasileira de Educao, Rio de Janeiro, n. 26, p. 133-144, maio/
ago. 2004.
______. Relao famlia-escola: novo objeto na sociologia da educao.
Paidia (Ribeiro Preto), v. 8, n. 14-15, p. 91-103, 1998.
______.; ABREU, Ramon C. Escola pblica e famlias populares: uma relao
dissonante. Educao em Revista (UFMG), Belo Horizonte, v. 39, n. 39, p. 41-60,
2004.
NUNES, Jos A. Introduo: o cnone do reconhecimento, da diferena e da
igualdade. In: SANTOS, Boaventura S. (Org.). Reconhecer para libertar. Rio de
Janeiro: Civilizao Brasileira. 2003. p. 25-68
PATTO, M. H. A produo do fracasso escolar: histrias de submisso e rebeldia.
So Paulo: Casa do Psiclogo, 1999.
ameaa dos esteretipos. In: LIMA, M. E. O.; PEREIRA, M. E.. Esteretipos,
preconceitos e discriminao: perspectivas tericas e metodolgicas. Salvador:
EDUFBA, 2004. p. 69-87.
______. Psicologa social dos esteretipos. So Paulo: EPU, 2002.
PRIETO, R. G. Incluso escolar: algumas consideraes sobre o conceito
e suas implicaes. In: MACHADO, A. M. et al. Psicologia e direitos humanos:
educao inclusiva, direitos humanos na escola. So Paulo: Casa do
Psiclogo, 2005.
ROMANELLI, O. de O. Histria da educao no Brasil. 29. ed. Petrpolis, RJ:
Vozes, 2005.
SANTOS, M. A natureza do espao tcnica e tempo razo e emoo. So Paulo:
HUCITEC, 1996.
SOARES, Jos Francisco. Melhoria do desempenho cognitivo dos alunos do
ensino fundamental. Cadernos de Pesquisa, v. 37, n. 130, p. 135-160, jan./abr.
2007.
TANAMACHI, Elenita. Mediaes terico-prticas de uma viso crtica em
psicologia escolar. In: TANAMACHI, Elenita; PROENA, Marilene; ROCHA,
Marisa (Org.). Psicologia e educao: desafios terico-prticos. So Paulo: Casa
do Psiclogo, 2000. p. 73-104.
TAYLOR, C. As fontes do self: a construo da identidade moderna. So Paulo:
Loyola, 1997.
VIANA, M. J. B. Longevidade escolar em famlias de camadas populares: algumas
condies de possibilidade. Goinia: Editora da Universidade Catlica de
Gois, 2007. v. 1. 250 p.
31/03/2010 16:00:16
VIANA, M. J. B.; NOGUEIRA, M. A. Relao famlia-escola: abrigo de tenses.

Onda Jovem, n. 10, p. 32-35, mar./maio 2008.
ZAGO, Nadir ; DAROS, Maria das Dores. Leituras sociolgicas em educao.
Perspectiva : Revista do Centro de Cincias de Educao, Florianpolis, v. 20,
p. 7-15, jul./dez.2002.
31/03/2010 16:00:16
Fatores associados ao
desempenho escolar na 4
srie do ensino fundamental
Rosana de Freitas Castro (UFBA)
introduo
O Brasil ocupa um lugar de destaque entre as sociedades com mais
altos nveis de desigualdade social no mundo e a educao pode ser
considerada um dos principais fatores que favorecem tal situao.
atravs da educao que os indivduos adquirem conhecimentos
e competncias, desenvolvem seu carter, despertam para a responsabilidade social e tornam-se verdadeiros cidados, capazes de viver
produtivamente e interferir na vida pblica.
Muitos investimentos tm sido feitos pelo governo federal, no
sentido de corrigir problemas educacionais de acesso e de qualidade de ensino no Brasil. De fato, nas ltimas dcadas houve um
aumento substancial de matrculas em todos os nveis de ensino
e pode-se dizer que, no nvel fundamental, o problema do acesso
foi praticamente solucionado. J no se pode afirmar o mesmo em
relao qualidade do ensino oferecido, principalmente nas escolas
pblicas, que, em sua maioria, funcionam em condies precrias, e
nas quais grande parte dos estudantes no adquire os conhecimentos
esperados ao final dos nveis fundamental e mdio.
Com o objetivo de captar o que os alunos brasileiros sabem e
so capazes de fazer ao final de determinadas sries, assim como a
qualidade do ensino de uma maneira mais abrangente, o governo federal e alguns governos estaduais implantaram sistemas de avaliao
31/03/2010 16:00:16
educacional de larga escala, que adotam os parmetros curriculares

nacionais como sistemas de referncia para a elaborao de itens que
compem testes padronizados de conhecimentos especficos. Essas
avaliaes visam, primordialmente, reunir informaes consistentes
e confiveis a respeito de um sistema educacional, no tendo funo
de aprovar, reprovar ou selecionar alunos. Vale destacar o Sistema
Nacional de Avaliao da Educao Bsica (SAEB) e a Prova Brasil,
geridos pelo Instituto Nacional de Estudos e Pesquisas Educacionais
(INEP), rgo vinculado ao Ministrio da Educao. Alm das avaliaes nacionais, o Brasil vem participando do Programa Internacional
de Avaliao de Estudantes (PISA), coordenado pela Organizao
para Cooperao e Desenvolvimento Econmico (OCDE) e realizado
a cada trs anos desde 2000.
Os estudantes brasileiros apresentam, em mdia, baixos rendimentos em todas essas avaliaes. Nos ltimos anos, a imprensa vem
noticiando com muito destaque os resultados do SAEB, que revelam
um alto percentual de estudantes sem as habilidades mnimas compatveis com a srie que acabaram de concluir. Por sua vez, entre os
pases participantes do PISA, o Brasil figura como um dos ltimos
em proficincia de leitura, cincias e matemtica, muito abaixo da
mdia dos pases mais desenvolvidos. (OECD, 2004)
Os indicadores apontam tambm grandes diferenas entre as
regies brasileiras: nas regies Norte e Nordeste, as taxas de distoro idade-srie, repetncia e abandono, assim como o tempo
estimado para a concluso do Ensino Fundamental, esto bem acima
da mdia nacional e das demais regies. Em particular, o estado da
Bahia, apesar de ter apresentado um grande progresso econmico
nos ltimos anos, continua sendo um dos estados da regio Nordeste com maior nmero de municpios em condies precrias de
desenvolvimento e baixa produtividade educacional, revelada pelas
altas taxas de abandono e reprovao. Segundo dados do INEP, em
2005, o estado da Bahia teve 205 municpios classificados entre os
1000 municpios com ndice de Avaliao da Educao Bsica (IDEB)
mais baixo em todo o Brasil.
A melhoria dos resultados est, sem dvida, atrelada a uma melhoria das condies de vida da populao, extrapolando a esfera educa-
266 rosana de freitas castro
31/03/2010 16:00:16
cional. A influncia dos contextos socioeconmicos no aprendizado

dos alunos fato amplamente aceito e comprovado, portanto no
deve ser desconsiderado nas anlises dos resultados das avaliaes
educacionais. (CSAR; SOARES, 2001) O aprendizado influenciado
por caractersticas do prprio indivduo, do ambiente e por fatores
sociais e econmicas, tais como idade, etnia, classe social, condies
de moradia. Por sua prpria natureza, alguns desses fatores no so
passveis de interveno direta das polticas educacionais, e devem
ser corrigidos por polticas sociais mais amplas e de longo prazo. Por
outro lado, fatores escolares que possam ser modificados atravs de
polticas educacionais devem ser pesquisados com o objetivo de identificar e implantar mecanismos capazes de melhorar o aprendizado
e minimizar os efeitos das desigualdades socioeconmicas.
Neste captulo, apresentamos os principais resultados obtidos na
tese de doutorado da autora (CASTRO, 2008), sob a orientao do Prof.
Dr. Robert E. Verhine, na Faculdade de Educao da Universidade
Federal da Bahia. Os dados analisados so provenientes da Avaliao
de Desempenho realizada pela Secretaria de Educao do Estado
da Bahia, em novembro de 2004, em escolas pblicas estaduais e
municipais. (BAHIA, 2005) Nessa avaliao, os alunos realizaram
testes de Matemtica e Portugus, alm de responderem a um questionrio socioeconmico com informaes individuais, familiares e
de sua trajetria escolar. Em questionrios socioeducativos especficos, diretores e professores informaram sobre gesto, condies
de trabalho, satisfao com escola, dentre outros. A partir desses
dados, utilizamos modelos estatsticos de regresso hierrquica para
investigar fatores associados ao desempenho dos alunos de 4 srie
do Ensino Fundamental.
eficcia escolar e equidade educacional

O conceito de qualidade em educao controverso e amplo, englobando aspectos relativos eficincia, eficcia e equidade do
processo educacional. De acordo com Mortimore (1991), uma escola
eficaz aquela onde o progresso do aluno vai alm do que seria espe-
fatores associados ao desempenho escolar na 4 srie do ensino fundamental 267
31/03/2010 16:00:16
rado, levando em considerao as suas caractersticas pessoais, sua

situao social, cultural e econmica, bem como o seu conhecimento
prvio. Uma escola eficaz agrega mais valor ao resultado escolar
dos alunos comparativamente ao que teriam em outras escolas
de contexto similar, interferindo positivamente no desempenho
acadmico, atravs de polticas e prticas escolares e modificando
favoravelmente a realidade acadmica de alunos oriundos de contextos socioeconmicos desfavorecidos. (SOARES; TORRES; ALVES, 2002)
De acordo com esta concepo, no presente estudo so considerados
fatores de eficcia, as caractersticas escolares que contribuem para
aumentar o desempenho dos alunos, depois de filtrados os efeitos de
outros fatores individuais e contextuais (relacionados composio
social e perfil educacional dos alunos da escola).
A equidade educacional nos remete ideia de igualdade de condies de acesso escola e qualidade de ensino, no sentido de no
existirem diferenas sistemticas de rendimento escolar entre grupos
de indivduos, conforme sua condio socioeconmica, gnero, raa,
defasagem idade-srie. Para ser equnime, um processo educacional
deve ser capaz de identificar as diferenas, respeit-las e adaptar-se
realidade dos alunos. No nosso trabalho, consideramos fatores
de equidade educacional aqueles que contribuem para diminuir os
efeitos das caractersticas individuais e do ambiente escolar.
Franco, Ortigo e Albernaz (2006) destacam que a equidade no
pode ser considerada independente da eficcia. essencial que sejam identificados e corrigidos os fatores escolares que levam a uma
equidade no sentido negativo, isto , caractersticas da escola, do
diretor, da gesto e dos professores que atuam no sentido de igualar os alunos em patamares de baixo desempenho. Por sua vez, os
fatores escolares que promovem a eficcia, mas que no beneficiam
igualmente todos os alunos, tambm devem ser corrigidos com a
finalidade de que seu efeito positivo seja mais abrangente.
dados
A Avaliao de Desempenho 2004 (AD2004) foi desenvolvida especial-
31/03/2010 16:00:16
mente para o estado da Bahia e abrangeu 2.808 escolas pblicas da

zona urbana de 304 municpios baianos, com um total de 227.836 alunos de 4 e 8 sries do Ensino Fundamental, incluindo pela primeira
vez, alunos de 3 srie do Ensino Mdio. Na 4 srie, 89.127 alunos regulares de escolas pblicas urbanas realizaram provas de Matemtica
e Portugus, alm de responderem ao questionrio socioeconmico.
Para obteno dos escores finais dos alunos foi aplicada a Teoria
de Resposta ao Item (TRI) (ANDRADE; TAVARES; VALLE, 2000) que, ao
medir os desempenhos dos alunos, leva em conta as caractersticas
dos itens respondidos corretamente, a saber, o grau de dificuldade,
o poder de discriminao e a probabilidade de acerto ao acaso. Na
AD2004, os escores TRI foram padronizados para escalas centradas
na mdia de cada populao atribuindo-se o valor 50 para mdia e
10 para um desvio padro. A linha de proficincia (patamar ou valor
mnimo para que o aluno seja considerado proficiente) equivale ao
escore TRI igual a 57,0 em Matemtica e 53,0 em Portugus.
Os resultados da AD2004 geraram trs grandes bancos de dados
contendo os dados dos alunos, diretores e professores. No caso dos
alunos, os bancos contm os escores TRI e as informaes socioeconmicas, tais como sexo, idade, nvel de escolaridade dos pais,
nmero de repetncias, de anos de abandono dos estudos e qualidade
da vida escolar. O questionrio dos professores composto por 70
questes que tecem um perfil dos docentes nos aspectos de formao,
idade, experincia, alm de sua viso sobre a escola, a gesto e as
prticas pedaggicas. O questionrio do diretor composto por 97
questes e coleta informaes sobre a escola, prticas de gesto escolar, perfil do diretor, viso do diretor sobre o corpo docente e outros
aspectos relacionados aos alunos, materiais didticos, equipamentos
e violncia nas dependncias das escolas, entre outras.
mtodo
Os modelos de regresso de efeitos aleatrios, em particular os modelos hierrquicos, so muito adequados para estudos quantitativos
sobre fatores associados ao desempenho escolar, pois respeitam a
31/03/2010 16:00:17
estrutura de dependncia intra-escolar dos dados educacionais. Os

modelos de regresso de alguma forma simulam experimentos
controlados, isto , permitem estimar o efeito de fatores escolares para explicar os desempenhos, descontadas as contribuies
dos outros fatores individuais ou contextuais includos no modelo
como variveis de controle. (SOARES; ALVES, 2003; SOARES, CSAR;
MANBRINI, 2001)
Neste trabalho, tomamos como varivel resposta a ser modelada
o desempenho dos alunos nos testes padronizados e ajustamos
modelos hierrquicos em trs nveis, sendo alunos o primeiro nvel,
escolas o segundo e municpios o terceiro. A partir dos questionrios
contextuais, com base em anlises estatsticas, selecionamos um
conjunto de variveis e fatores escolares que foram testados como
variveis explicativas do desempenho.
fatores individuais e contextuais

Os estudos realizados com dados brasileiros confirmam as influncias
de caractersticas individuais e socioeconmicas dos alunos sobre o
desempenho acadmico. Fatores individuais dos alunos, tais como
o sexo, nvel socioeconmico, estrutura familiar e defasagem idadesrie so indicados quase que unanimemente como influentes no
desempenho. Podemos citar, por exemplo, Soares, Csar e Manbrini
(2001), Albernaz, Ferreira e Franco (2002) Soares (2007), que tratam
de eficcia e equidade na educao bsica brasileira usando dados
do SAEB. Os estudos revisados que analisam a influncia de gnero
mostram que o sexo feminino tende a beneficiar os desempenhos em
Portugus, enquanto que o sexo masculino favorvel aos desempenhos em Matemtica. O nvel socioeconmico dos alunos, em geral,
mostra-se positivamente associado aos desempenhos, indicando
vantagens para os alunos que esto em melhores condies socioeconmicas. Alm disso, os resultados obtidos por Csar e Soares (2001),
com dados de desempenho dos alunos de 8 srie de Matemtica do
SAEB-99, indicam que a heterogeneidade do nvel socioeconmico
um fator negativamente associado aos desempenhos dos alunos.
31/03/2010 16:00:17
Neste estudo, para obter um indicador do nvel socioeconmico,

agregamos as informaes sobre a posse de alguns itens de casa e o
maior grau de instruo entre o pai e a me. Construmos um ndice
de nvel socioeconmico (NSE) que reflete, aproximadamente, as condies financeiras e culturais das famlias dos alunos. A correlao
do NSE mdio dos alunos de cada municpio com o IDH municipal
da ordem de 0,53, valor que nos pareceu bastante razovel, em se
tratando de um ndice bastante simples. Em Castro (2008), apresentamos mais detalhes sobre a composio desse ndice, baseado em
uma adaptao do Critrio Brasil utilizado pela Associao Brasileira
de Empresas de Pesquisa (ABEP). Seus valores variam entre 0 a 20 e,
para os alunos da 4 srie, o valor mdio foi 11,14 com desvio padro
de 3,74 (CV = 33,6%).
As pesquisas educacionais, de maneira geral, apontam os efeitos
negativos do abandono, da repetncia, sendo que as perdas tendem
a se acentuar a cada ano perdido. (BARBOSA; FERNANDES, 2001;
ALBERNAZ, 2002; ALBERNAZ, FERREIRA; FRANCO, 2002) Ferro,
Beltro e Santos (2002) mostram que esses eventos que esto relacionados condies socioeconmicas mais baixas e a proficincia
dos alunos com defasagem idade-srie inferior comparativamente
dos alunos em idade adequada. Destacam ainda que em algumas
escolas os alunos defasados so mais penalizados em seu desempenho do que em outras. Segundo dados do INEP, mais de 50%
dos estudantes do Ensino Fundamental na Bahia em 2004 tinham
idade acima do que deveriam ter para suas respectivas sries. As
expectativas em torno dos alunos defasados, em geral, so muito
baixas, e muitas vezes os fatores promotores de eficcia escolar no
chegam a alcan-los e com isso acabam acentuando as desigualdades. (FRANCO; ORTIGO; ALBERNAZ, 2006)
A estrutura familiar, dada pela a presena dos pais, de irmos
ou outros parentes, outro fator que afeta os desempenhos e tem
relao direta com capital social que pode ser entendido como um
conjunto de recursos atuais ou potenciais que esto ligados posse
de uma rede durvel de relaes. O volume de capital social que
um agente possui depende da extenso dessa rede e do volume do
capital (econmico, cultural ou simblico) de cada um daqueles
31/03/2010 16:00:17
80
80
70
70
60
50
40
30
Pessoas
Escore TRI Portugus
Escore TRI Matemtica
a quem est ligado. (BOURDIEU, 1998) Nos grficos 1 e 2 a seguir,

verifica-se o desempenho diferencial dos alunos que mencionam
a presena de outras pessoas (irmos, outros parentes ou pessoas
de outra famlia), alm dos pais, em sua residncia. A presena de
outras pessoas na residncia do aluno, ainda que no haja uma
quantificao ou qualificao das pessoas mencionadas, pode estar
refletindo uma rede de apoio s atividades escolares, levando a
melhores desempenhos. (TEACHMAN; PAASCH; CARVER, 1997)
60
50
40
30
Pessoas
20
no
20
no
10
sim
10
sim
os
is
pa
is
pa
os
Grfico 1: Matemtica: Escores TRI, segundo a

estrutura familiar e a presena de outras pessoas
na residncia do aluno na residncia do aluno
Se
ie
Pa
Pa
Se
ie
Pa
Pa
Estrutura familiar
Estrutura familiar
Grfico 2: Portugus: Escores TRI, segundo a
estrutura familiar e a presena de outras pessoas
na residncia do aluno na residncia do aluno
O ambiente escolar, a composio social do corpo discente, a

prevalncia na escola de alunos repetentes ou em defasagem idadesrie so fatores contextuais que podem favorecer ou prejudicar o
desempenho escolar. Willms e Somers (2001) argumentam que os
alunos que estudam em escolas ou salas de aula de contexto mais
favorvel ao aprendizado so beneficiados em seus desempenhos
escolares (efeito dos pares). Segundo Willms e Somers (2001), medidas agregadas por escola, tais como nvel socioeconmico mdio
ou atraso mdio dos alunos da escola, podem compor variveis que
em estudos quantitativos iro caracterizar contextos escolares que
influenciam os desempenhos e tambm devem ser controlados antes
de testar os fatores escolares.
31/03/2010 16:00:17
construo do modelo
hierrquico contextual
Pela exposto na seo anterior, vemos a importncia de construir
um modelo contextual, apenas com variveis de controle, para
posteriormente incluirmos os fatores escolares (tratamentos) propriamente ditos. Nesta seo, apresentamos as etapas e os resultados
da construo do modelo contextual.
Nos modelos ajustados aos desempenhos em Matemtica foram
utilizados dados de 46.262 alunos, 1.320 escolas em 279 municpios. Para os modelos de Portugus, tivemos disponveis dados de
45.434 alunos, 1.599 escolas e 279 municpios. Os Quadro 1 e 2, no
Apndice, especificam com mais detalhes as variveis utilizadas
nos modelos contextuais. As estimativas e as estatsticas obtidas
para os parmetros dos modelos ajustados para as duas disciplinas
esto apresentados nos Quadros 4 a 7 para Matemtica e Portugus
no Apndice.
Inicialmente, ajustamos aos dados o modelo sem variveis explicativas, denominado de Modelo Nulo. Os resultados mostram que a
estimativa do desempenho mdio global 50,81 em Matemtica e
50,46 em Portugus. A partio da variabilidade dos desempenhos
devido a cada um dos nveis da hierarquia dada por: nvel 1 (alunos)
84,0% em Matemtica e 90,2% em Portugus, nvel 2 (escolas) 12,0%
em Matemtica e 7,2% em Portugus e nvel 3 (municpios) 4,0% em
Matemtica e 2,6% em Portugus. Essa partio mostra que a maior
parte da variabilidade dos desempenhos devida s caractersticas
individuais dos alunos e apenas uma pequena parcela da variabilidade dos desempenhos pode ser atribuda s diferenas entre
escolas e municpios. Comparando-se com outros estudos similares,
a variao entre escolas no nosso estudo pequena, e isto se deve,
principalmente, ao fato de estarmos trabalhando apenas com escolas
pblicas no estado da Bahia com carncias muito disseminadas pelo
interior do estado. (ALBERNAZ, FERREIRA; FRANCO, 2002; CSAR;
SOARES, 2001; FERRO, 2003; FERRO, BELTRO, SANTOS, 2002)
A partir do modelo nulo, fizemos as incluses das variveis de
controle por etapas, analisando os modelos intermedirios. Primei-
31/03/2010 16:00:17
ramente, inclumos as variveis de controle individuais dos alunos

(Modelo 1), em seguida introduzimos as variveis de controle das
escolas (Modelo 2) e municpios (Modelo 3). O Quadro 1, no Apndice,
especifica com mais detalhes as variveis utilizadas nos modelos
contextuais.
modelo 1: fatores individuais dos alunos

Na modelagem do primeiro nvel (alunos), utilizamos como variveis
explicativas (de controle) o sexo do aluno, seu nvel socioeconmico,
sua estrutura familiar e o nmero de repetncias e o nmero de
anos que abandonou a escola.
Considerando a centralizao das variveis na mdia da escola e a
codificao das variveis indicadoras, o intercepto no Modelo 1 deve
ser interpretado como o escore mdio dos alunos do sexo masculino,
com NSE igual mdia de sua escola, morando com pai e me, que
no mencionam outras pessoas na residncia, nunca deixaram de
frequentar a escola e nunca repetiram uma srie. Esse valor ser
referido no restante do texto como a mdia dos alunos referncia,
a saber, 50,67 para Matemtica e 48,96 para Portugus.
Os efeitos fixos de todas as variveis do aluno foram estatisticamente significantes (p<0,001) e levaram a uma reduo estatisticamente significativa da deviance em relao ao modelo nulo
(Quadros 5 e 7). A incluso dessas variveis reduziu em torno de 12%
a variabilidade entre os alunos nas duas disciplinas.
Verificamos que a repetncia e a estrutura familiar, nessa ordem,
so as variveis que tm maior impacto na reduo da deviance (em
relao ao modelo nulo), ou seja, so as variveis que mais explicam
os resultados, dentre as variveis includas no Modelo 1.
modelos 2 e 3: contextos escolares e municipais

No Modelo 2, inclumos as variveis de controle das escolas (nvel 2).
Para a composio social da escola e perfil educacional dos alunos,
utilizamos o valor mdio do nvel socioeconmico dos alunos da
escola e seu desvio padro, a proporo de alunos na escola que
31/03/2010 16:00:17
expressa dificuldade para realizar as tarefas de casa (proxy da aptido

do corpo discente), o nmero mdio de repetncias e o nmero
mdio de anos que os alunos da escola abandonaram os estudos. A
incluso dessas variveis reduz em 31% a varincia entre escolas em
relao ao Modelo 1.
Pelos testes estatsticos, no obtivemos evidncia de que o efeito
do nvel socioeconmico do aluno sobre o desempenho variasse
entre as escolas. Portanto, o coeficiente dessa varivel foi considerado fixo e no foi modelado no segundo nvel. Por sua vez, os
efeitos aleatrios, associados ao intercepto (mdia da escola) e aos
coeficientes das variveis, nmero de repetncias e tempo de abandono so estatisticamente significantes e estimados com razovel
confiabilidade. (CASTRO, 2008)
No Modelo 3, inclumos, como varivel explicativa, o IDH municipal (nvel 3) visando controlar as condies de vida da populao
do local onde a escola est inserida. Esse ndice agrega informaes
de educao, longevidade e renda da populao. A incluso dessa
varivel reduz em apenas 3% a variao entre os municpios em relao ao Modelo 2, entretanto consideramos sua incluso importante
para melhor caracterizar as condies de vida dos alunos.
Finalmente, elaboramos os denominados modelos bsicos, um para
cada disciplina, eliminando os parmetros (efeitos) no significativos
nos modelos intermedirios. Na interpretao dos resultados dos modelos bsicos, devemos lembrar que todas as comparaes so agora
controladas, isto , ao avaliar o efeito de uma varivel no desempenho
devemos lembrar que estamos comparando grupos de alunos que so
semelhantes nas demais variveis consideradas no modelo.
resultados
O escore TRI mdio dos alunos de referncia tem uma estimativa
pontual de 50,5 pontos em Matemtica e 48,7 em Portugus. Nos
dois casos esses so valores bastante baixos, considerando que esses
alunos tm vrias caractersticas individuais favorveis ao bom
desempenho escolar.
31/03/2010 16:00:17
Gnero Os modelos indicam que, em Matemtica, h uma diferena de desempenho desfavorvel s meninas, com uma perda
mdia de 1,2 ponto no escore TRI, em relao aos meninos. Em Portugus, a tendncia se inverte e as meninas apresentam, em mdia, um
ganho de 1,6 ponto em relao aos meninos. Esse resultado explica,
em parte, porque a mdia de desempenho dos alunos de referncia,
que so do sexo masculino, est abaixo da mdia geral.
Nvel socioeconmico do aluno O NSE do aluno tem impacto positivo
nos desempenhos, ou seja, os alunos com melhores condies socioeconmicas tendem a obter maiores desempenhos. O coeficiente
dessa varivel indica que o aumento de uma unidade no NSE em
relao mdia da escola, acarreta um acrscimo mdio de 0,17
ponto no escore TRI do aluno em Matemtica e 0,11 em Portugus.
Estrutura familiar H uma perda de desempenho para os estudantes que vivem em famlias monoparentais. Os que moram apenas
com a me perdem em mdia em torno de 1 ponto no escore TRI
nas duas disciplinas, quando comparados com alunos que moram
com o pai e a me. As perdas so mais acentuadas nas situaes em
que o estudante mora s com o pai (-2,2 pontos em Matemtica e
-2,5 em Portugus) ou sem pai e me (-2,9 pontos em Matemtica
e -2,7 pontos em Portugus). Quanto presena de outras pessoas
na residncia, os alunos que mencionam ter irmos, parentes ou
pessoas de outra famlia morando na mesma casa, tm um ganho
de 2,54 pontos em Matemtica e 2,34 em Portugus, comparando-os
aos que no mencionam outras pessoas.
Trajetria escolar O abandono e a repetncia tm impactos negativos no desempenho. Em valores aproximados, nas duas disciplinas
h uma perda mdia em torno de 1,0 ponto no escore TRI para cada
ano que o aluno deixou de estudar deixou de estudar e de 2,0 pontos
para cada ano que repetiu. A repetncia atinge um nmero bem
maior de alunos do que o abandono, e seu efeito negativo mostrase mais contundente. Os dois eventos so prejudiciais e levam
defasagem idade-srie que, por si s, tem tambm suas implicaes
negativas. (BARBOSA; FERNANDES, 2001) Alm do efeito negativo do
abandono e da repetncia, o modelo tambm indica que o impacto
desses eventos no desempenho dos alunos varia entre as escolas.
31/03/2010 16:00:17
Dificuldade nos deveres de casa O aumento da proporo de alunos

que expressam dificuldade nos deveres de casa est associado a uma
queda no desempenho mdio da escola. Estima-se que, em casos mais
extremos, as escolas que tm 20% a mais de alunos com dificuldade
do que a mdia do municpio perdem cerca de 1,4 ponto em seu
desempenho mdio em Matemtica e 1,0 ponto em seu desempenho
mdio em Portugus.
Nvel socioeconmico mdio da escola O NSE mdio positivamente
associado ao desempenho mdio e tem tambm influncia no impacto da repetncia nos desempenhos em Matemtica. No Grfico 3, a
seguir, a inclinao das retas ajustadas (escores estimados) torna-se
menos acentuada com o aumento do nmero de episdios de repetncia (NREPET). Isto significa que em escolas cujas clientelas so
mais favorecidas (maior NSE mdio) as diferenas de desempenho
de alunos repetentes e no repetentes tornam-se mais acentuadas.
54.5
53.7
52.8
M
A
T
T
R
I
NREPET=0
51.9
51.1
NREPET=1
50.2
49.4
NREPET=2
48.5
47.6
46.8
NREPET=3
45.9
-8.19
-5.65
-3.12
-0.58
1.96
4.49
NSE mdio das escolas

Grfico 3: Escore TRI estimado em Matemtica, segundo o NSE mdio da escola e o
nmero de repetncias do aluno
Nmeros mdios de repetncias e abandono Como j era esperado, o

nmero mdio de repetncias dos alunos tem impacto negativo no
desempenho mdio da escola. Para cada ano a mais na repetncia
31/03/2010 16:00:17
mdia, as escolas perdem em torno de 3 pontos no desempenho

mdio em Matemtica e 2,5 pontos em Portugus. Quanto influncia desses contextos escolares nos impactos da repetncia e do
abandono, verifica-se que, mantidas constantes as demais condies,
nas escolas com maior repetncia mdia h menos desigualdade de
desempenho entre repetentes e no repetentes. O grfico a seguir,
para os desempenhos em Portugus ilustra essa interpretao.
52.2
NREPET=0
51.2
50.3
P
O
R
T
49.4
T
R
I
46.6
NREPET=1
NREPET=2
48.4
47.5
NREPET=3
NREPET=4
45.6
44.7
43.8
42.9
-0.38
-0.22
-0.66
0.10
0.26
0.42
Nmero mdio de repetncias

Grfico 4: Escore TRI estimado em Matemtica, segundo a repetncia mdia da
escola e o nmero de repetncias do aluno
Nas escolas com repetncia mdia mais alta, a equidade entre os

alunos est sendo atingida de forma que todos os alunos repetentes
e no repetentes convirjam para um patamar de baixo desempenho. um exemplo bem claro da equidade no sentido contrrio
da eficcia.
Este grfico deve ser interpretado com cautela. No se deve concluir, por exemplo, que para um aluno com um histrico de muitas
repetncias, seja melhor estudar em escolas com alta mdia de repetncia, pois como j vimos anteriormente, essa caracterstica afeta
negativamente o desempenho dos alunos e em geral est associada
a outros contextos desfavorveis. O modelo est apenas indicando
que se compararmos escolas semelhantes em todas as outras ca-
31/03/2010 16:00:17
ractersticas contextuais, o aluno que j repetiu muitas vezes pode

ter algum benefcio para o seu desempenho ao estudar em escolas
onde h mais colegas que tiveram experincias de repetncia mais
parecidas com a dele. De maneira similar, nas escolas com abandono
mdio mais alto, o modelo indica que h mais equidade entre alunos
que j abandonaram e alunos que nunca abandonaram. Novamente
se verifica a equidade em baixos desempenhos.
qualidade da vida escolar (modelo 5)

Dentre os construtos associados eficcia escolar, propostos por
Willms (1992), consta a qualidade da vida escolar do aluno, descrita
como a sensao de bem-estar geral dos alunos, qualidade do relacionamento aluno-aluno e aluno-professor, comportamento acadmico
e planos de vida. O modelo 5 acrescenta ao modelo bsico quatro
variveis que mantiveram associao significativa com os desempenhos: amigos em sala, respeito e ateno do professor, planos de
curso superior e dificuldade nos deveres de casa.
A incluso destas variveis levou a uma reduo dos impactos
negativos de algumas variveis (e.g. morar s com pai) e uma reduo no coeficiente de NSE do aluno. Esse resultado indica que a boa
qualidade da vida escolar pode amenizar alguns efeitos negativos
de algumas variveis e favorecer a equidade entre os alunos.
Pelo Modelo 5, estima-se que os alunos que dizem ter planos de
fazer um curso superior tm um ganho mdio de 2,5 pontos em
Matemtica e de 2,9 pontos em Portugus. Dos atributos positivos,
ter planos de curso superior o que tem maior impacto na reduo
da deviance do modelo bsico. Vemos que medidas bastante simples
conseguem captar a importncia da qualidade da vida escolar no
desempenho dos alunos. Para ilustrar esta seo, mostramos o
grfico que apresenta os escores estimados pelo modelo segundo o
NSE do aluno, sexo e planos de curso superior. interessante notar
que as meninas com planos de fazer curso superior tm, em mdia,
desempenhos mais altos em Matemtica do que os meninos que
no tm os mesmos planos. Esse resultado indica que mudanas de
31/03/2010 16:00:18
atitude podem ser fundamentais para melhorar os desempenhos e

superar as desigualdades.
Grfico 5: Escore TRI em Matemtica, segundo o NSE do aluno, sexo e planos de

curso superior
Como esperado e previsto pelas anlises descritivas, mesmo depois de descontados os efeitos individuais e contextuais, os alunos
que expressam dificuldade para fazer os deveres de casa tm uma
perda nos seus desempenhos (-2,5 em Matemtica e -2,3 em Portugus). Ao ser testada isoladamente no modelo bsico de Matemtica,
essa foi a varivel que teve o maior impacto na reduo da deviance.
A incluso dessa varivel provoca uma reduo no impacto da varivel contextual proporo de alunos com dificuldade na escola,
indicando que parte do efeito atribudo ao contexto, na verdade se
deve dificuldade do prprio aluno.
impacto dos fatores escolares

A partir do modelo bsico contextual, testamos o impacto dos fatores
escolares, relacionados s escolas, aos diretores e professores. Diante
de um grande nmero de fatores a serem testados e a alta correlao
entre alguns fatores escolares, adotamos a estratgia sugerida por
31/03/2010 16:00:18
Soares (2004), qual seja, incluir um a um cada fator escolar isoladamente no modelo bsico. Em cada modelo parcial, analisamos o
sentido e a associao do fator includo (significncia estatstica),
sem a preocupao de avaliar a magnitude do efeito, uma vez que
outros fatores escolares relevantes no esto sendo considerados
simultaneamente modelo. No Quadro 3, no Apndice, apresentamos
as equaes do modelo bsico para Matemtica incluindo um fator
escolar genrico.
A seguir, analisamos os fatores dos diretores, escolas e professores
que apresentam associao estatisticamente significativa (p<0,05)
com os desempenhos mdios em Matemtica e Portugus e que
levam a uma reduo estatisticamente significativa (p<0,05) na
deviance em relao ao modelo bsico. Muitos desses fatores so
escalas obtidas atravs da anlise fatorial de blocos de itens dos
questionrios contextuais. (CASTRO, 2008) Na exposio dos resultados, destacamos apenas o sentido dos efeitos dos fatores e seguimos
a ordem dos fatores dada pela magnitude da reduo da deviance
ocasionada pela incluso do fator no modelo bsico.1
Apesar das estatsticas descritivas apontarem sistematicamente
uma desvantagem da rede municipal, atravs da modelagem hierrquica pudemos ver que, aps o controle dos fatores contextuais,
a diferena entre as duas redes no estatisticamente significativa.
Esse resultado revela que a mdia de desempenho mais baixa da
rede municipal pode ser explicada, em grande parte, pelo fato dessa
rede abarcar, em termos absolutos e relativos, um maior nmero de
alunos em situao de desvantagem socioeconmica e com maior
defasagem idade-srie.
Fatores associados Diretores

O fator denominado nfase acadmica da escola, baseado na percepo do diretor, tem uma associao positiva significativa com
desempenho mdio dos alunos nas duas disciplinas. Esta escala
traduz o foco da gesto na aprendizagem do aluno atravs da satisfao do diretor com a assiduidade e estabilidade dos professores, a
compreenso dos professores com respeito aos objetivos curriculares,
o grau de sucesso na implementao do currculo, a assiduidade e o
1 Para avaliar a
contribuio de um
determinado fator para
explicar os resultados
dos alunos, calculamos a
diferena entre a deviance
do modelo bsico e a do
modelo com o fator. Uma
reduo estatisticamente
significante na deviance
indica que o modelo
com o fator se ajusta
melhor aos dados do
que o modelo bsico.
Estabelecemos, como
critrio para ordenar a
importncia dos fatores,
o valor da reduo da
deviance, ocasionada pela
incluso do fator, e sua
significncia estatstica.
(TEACHMAN; PAASCH;
CAVER, 1997; FERRO,
2003)
31/03/2010 16:00:18
nvel de aprendizagem dos alunos. Este fator tambm significativo,

no sentido de reduzir o impacto negativo do abandono temporrio
da escola (Matemtica). Vale ressaltar que esta foi a varivel dos
diretores com maior poder de explicao dos resultados nas duas
disciplinas (maior impacto na reduo da deviance do modelo bsico). O fator recursos audiovisuais (aparelhos de vdeo e som) tem
associao positiva com a mdia de desempenho em Matemtica.
Paradoxalmente, h uma indicao de que este fator est associado
a maiores desigualdades nos desempenhos (p=0,09) dos alunos que
j abandonaram temporariamente. O modelo est sinalizando que
esses alunos podem no estar sendo igualmente beneficiados por
esses recursos.
Em Matemtica, contribuem para melhorar os desempenhos a
experincia do diretor (p=0,042), maior nmero de medidas para
diminuir as faltas dos alunos (p=0,064) e oportunidades de reforo
e recuperao (p=0,074) para os alunos com dificuldade de aprendizagem favorecem o desempenho dos seus alunos. O reforo tem impacto
tambm para reduzir as desigualdades dos desempenhos dos alunos
que j abandonaram a escola (p=0,037), no entanto tem impacto
marginalmente significativo na reduo da deviance (p=0,083).
O fator faltas e interrupes tem forte impacto negativo em
Matemtica (p=0,001) e grande impacto na explicao dos resultados
(p=0,001). Esta escala agrega variveis relacionadas a faltas s aulas
por parte de alunos, professores, interrupes das atividades, problemas disciplinares e troca frequente de professores. Verificamos que
as faltas de professores e os problemas disciplinares so as variveis
que mais pesam no impacto negativo desse fator. A violncia dentro
da escola, na forma de furtos e depredaes frequentes, tem forte
impacto negativo no desempenho dos alunos nas duas disciplinas
e grande contribuio para explicar os resultados (p<0,05).
A formao dos diretores (escolaridade e ps-graduao), depois
de controlados os fatores contextuais, tem um coeficiente negativo
mdia dos desempenhos em Matemtica (p=0,013). Observa-se tambm que a formao mais alta est associada a maiores desigualdades
(p=0,067), penalizando alunos que j abandonaram os estudos alguma vez. Esses achados merecem uma investigao mais aprofundada.
31/03/2010 16:00:18
A meno do diretor sobre a existncia de problemas relativos a

nmero insuficiente de professores est associado a perdas nos
desempenhos mdios das escolas nas duas disciplinas (p<0,05) e tem
contribuio significativa na explicao dos resultados (p<0,05).
Quanto equidade, os modelos indicam que a escassez de equipamentos, de computadores para professores e alunos, de copiadora e impressora, de material de consumo e material didtico
contribuem para a equidade no sentido negativo, isto , no aliada
eficcia. Por outro lado, a existncia de uma biblioteca, maior concentrao de recursos audiovisuais e melhores instalaes fsicas
da escola so fatores potencialmente positivos para o desempenho,
porm esto associados a maiores desigualdades dos alunos repetentes. Esses resultados merecem uma investigao mais aprofundada.
Algumas caractersticas da escola aliam o impacto positivo e o
aumento da equidade beneficiando todos os alunos, sejam eles defasados ou no. Exercem esse efeito a nfase acadmica da escola,
o reforo para alunos com dificuldades e o recebimento de livros
didticos em tempo hbil.
Fatores associados Professores

A maior parte dos fatores escolares que tiveram efeitos significativos
so ligados aos professores. As variveis captadas nos questionrios dos professores foram agregadas por escola, e representam as
caractersticas e opinies dos professores de 4 srie e no dos os
professores da escola como um todo.
A varivel clima com os alunos tem associao positiva altamente significativa com os desempenhos (p=0,000). Esse foi o fator
escolar (entre os fatores de diretores, escolas e professores) de maior
impacto para a explicao do desempenho dos alunos nas duas disciplinas. Essa varivel representa a avaliao dos professores sobre
os seguintes aspectos dos alunos: gostar de frequentar a escola;
tratar bem os professores; interesse em ter bom desempenho; serem
cuidadosos com o espao e os equipamentos da escola; respeitar e
valorizar as pessoas que trabalham na escola. Outro aspecto que
diz respeito aos alunos e teve forte associao positiva com os desempenhos nas duas disciplinas, foi o clima disciplinar da escola
31/03/2010 16:00:18
(regras claras de conduta escolar, apoio aos professores, regras de

convivncia conhecidas por toda a comunidade e controle para que
os problemas disciplinares no afetem a prtica didtica). As escolas
que foram mais bem avaliadas pelos professores esto associadas a
maiores desempenhos.
Professores com carga horria de 40 horas, com maior experincia, melhores salrios e renda familiar esto associados a
melhores desempenhos, principalmente em Matemtica. Deve-se
observar que, a renda familiar um indicador do nvel socioeconmico do professor e no um fator escolar, propriamente dito.
Beneficiam os desempenhos dos seus alunos os professores que
se sentem mais prestigiados e valorizados pela direo e coordenao, com participao ativa na definio e implementao dos
objetivos da escola e professores mais satisfeitos, que sentem
vocao para o ensino e mesmo diante das adversidades se sentem
gratificados pelo trabalho que realizam.
Quanto aos aspectos relacionados gesto e ao ambiente escolar na avaliao dos professores, so positivamente associados aos
desempenhos os seguintes fatores: segurana dos professores na
escola; boas condies do espao didtico, a existncia de projeto
pedaggico, claramente definido, elaborado com a participao
dos professores; bom clima com os funcionrios satisfeitos e tratados com respeito; gesto acadmica participativa e focalizada
na aprendizagem; interao entre os professores com troca de
ideias sobre maneiras de ensinar, material didtico e avaliao; bom
clima entre professores, satisfeitos e conscientes dos objetivos curriculares da escola; a utilizao de recursos didticos tradicionais
(livros, jornais e fitas de vdeo) para os desempenho em Portugus;
quantidade suficiente de professores, funcionrios, coordenadores pedaggicos, direo com disponibilidade de tempo para as
questes pedaggicas; maior envolvimento dos pais (na avaliao
dos docentes) nas atividades escolares.
Apenas duas caractersticas associadas aos professores tiveram
efeitos negativos significativos em Matemtica: a insatisfao do
professor com o modo de trabalho na escola (rotinas burocrticas
que interferem na prtica didtica) e o nmero de escolas em que
31/03/2010 16:00:18
trabalha maior nmero de escolas se mostrou negativamente

associado ao desempenho dos alunos.
Quanto ao impacto na equidade, o bom clima com alunos, professores com carga horria de 40 horas ou mais na escola e a
interao entre professores so caractersticas positivas que beneficiam os alunos como um todo (maior equidade). Entretanto, algumas
caractersticas positivamente associadas mdia de desempenho
esto associadas a maiores desigualdades dos alunos repetentes. So
elas: o comprometimento e vocao profissional, a utilizao de
recursos didticos mais avanados e o envolvimento dos pais.
A insatisfao profissional do professor est associada a maiores
desigualdades dos repetentes, ou seja, as atitudes dos professores
mais insatisfeitos tendem a penalizar mais os alunos repetentes.
Em Castro (2008) podem ser encontradas tabelas com as estimativas
do efeito de cada fator escolar que apresentou significncia estatstica
quando includo no modelo bsico, assim como as estatsticas (deviance) do modelo com o fator e os resultados dos testes estatsticos.
2 Para detalhes sobre os

valores das estimativas
e significncia dos
parmetros estimados
nos modelos finais, ver
Castro (2008).
modelos finais
Vemos, ento, que os desempenhos dos alunos dependem de uma
conjuno de fatores que interagem na produo dos resultados e
das desigualdades. Em geral, no possvel modificar um fator escolar sem afetar outros fatores que atuam conjuntamente. Na seo
anterior, analisamos variveis que mostraram efeitos significativos
quando includas isoladamente no modelo bsico. Muitas delas,
porm, perderam a significncia quando inseridas conjuntamente
no mesmo modelo com outras variveis de impacto significativo.
Diante disso, elaboramos modelos mais complexos para Portugus
e Matemtica, incluindo, simultaneamente, as variveis que apresentaram maiores impactos na explicao dos resultados (reduo
da deviance em relao ao modelo bsico) e que mantiveram sua
significncia estatstica mesmo na presena de outras variveis
significativas2. Apresentamos, a seguir, um sumrio dos resultados
obtidos nos modelos finais das duas disciplinas.
31/03/2010 16:00:19
Fatores escolares associados eficcia do ensino

O bom clima com os alunos, informado pelos professores.
A nfase acadmica da escola, fator baseado em informaes
do diretor.
Professores com carga horria de 40 horas.
Salrio dos professores.
Medidas para diminuir as faltas dos alunos (Matemtica,
p=0,090).
Instalaes fsicas da escola.
Utilizao de recursos didticos usuais (jornais e revistas informativas, fitas de vdeo e livros de consulta alm de livros
texto) (Portugus, p=0,091).
Fatores escolares associados ineficcia do ensino

Faltas por parte dos professores.
Furtos e depredaes nas dependncias da escola.
Nmero insuficiente de professores.
Fatores escolares associados equidade educacional

- Equidade em bons desempenhos
nfase acadmica da escola.
Aulas de reforo e recuperao.
Professores com carga horria de 40 horas.
Recebimento dos livros didticos em tempo hbil.
- Equidade em baixos desempenhos
Escassez de equipamentos.
Escassez de material didtico.
- Associados a maiores desigualdades
Satisfao e sentimento de vocao dos professores.
Existncia de biblioteca na escola.
Reunio e envolvimento dos pais nas atividades escolares.
Insatisfao do diretor com seu trabalho.
31/03/2010 16:00:19
concluso
Este estudo mostrou que, mesmo diante do quadro de baixos desempenhos das escolas pblicas baianas, possvel identificar fatores
associados a pequenas melhorias, mas que, se reunidos em uma
mesma escola, levaro a grandes diferenas. Vimos que algumas caractersticas escolares podem ajudar os alunos defasados a caminhar
no sentido de superar suas desvantagens educacionais, enquanto
que outras possuem caractersticas que esto associadas a maiores
desigualdades. De maneira geral, ao contrrio do que era esperado,
as desigualdades tendem a ser mais acentuadas nos contextos mais
favorveis, isto , em escolas de maior nvel socioeconmico mdio,
com instalaes fsicas mais adequadas, com disponibilidade de recursos didticos avanados (computador, internet, etc) e professores
mais comprometidos. Os alunos defasados no conseguem desfrutar
igualmente dos benefcios e melhorias da escola.
Duas hipteses levantadas por Soares e Alves (2003) nos parecem
adequadas tambm para o contexto das escolas pblicas baianas: a
primeira hiptese considera que as diferenas entre os alunos podem
ser acentuadas por prticas e polticas escolares, a segunda hiptese
considera que as pequenas diferenas pessoais podem ser potencializadas em contextos favorveis, isto , os alunos inicialmente
em desvantagem no conseguem tirar tanto proveito das melhores
condies escolares quanto aqueles inicialmente mais favorecidos.
(SOARES; ALVES, 2003)
Os dados da AD2004 nos permitem enxergar com bastante clareza
os desafios que devem ser enfrentados pelo ensino pblico na Bahia,
visando melhorar sua qualidade. Os alunos que carregam o fardo
da repetncia, do atraso escolar, da dificuldade de aprendizagem e,
consequentemente, da baixa autoestima precisam ser considerados
como um dos alvos principais nesse processo de melhoria. Esses
alunos no so poucos na escola pblica baiana. Nos dados da AD
2004 4 srie, 61% dos alunos j haviam passado por pelo menos
uma experincia de repetncia ou abandono. No atual cenrio, muitos deles abandonaro os estudos definitivamente, ao perceberem
31/03/2010 16:00:19
que nunca lograro xito em um sistema escolar que no reconhece

suas dificuldades.
As escolas baianas devem considerar um investimento forte no
desenvolvimento de metodologias, material didtico e professores
experientes que possam se dedicar ao atendimento dos alunos que
se encontram em situao de risco educacional. Ao melhorar o desempenho desse grupo de alunos, o clima escolar tende a melhorar,
beneficiando todos os alunos.
Apesar das limitaes inerentes aos estudos quantitativos baseados em avaliaes de larga escala, a maior parte dos fatores de
eficcia e equidade, identificados a partir dos dados das escolas
pblicas baianas, so similares aos fatores obtidos em outros estudos
nacionais e internacionais, inclusive em diversos estudos qualitativos. As informaes produzidas pela Avaliao de Desempenho 2004
permitiram um aprofundamento e uma viso global e abrangente
do quadro educacional do estado, fundamentais para a formulao
de polticas pblicas.
referncias
ALBERNAZ, A. A melhoria da qualidade da educao no Brasil: um desafio
para o sculo XXI. Trabalho e Sociedade, Ano 2, n. 4, p. 7-11, ago. 2002.
Disponvel em: <http://www.iets.inf.br/biblioteca/A_melhoria_da_qualidade_
da_educacao_no_Brasil.pdf>. Acesso em: 15 ago. 2006
______; FERREIRA, F. H. G.; FRANCO, C. Qualidade e eqidade no ensino
fundamental brasileiro. Pesquisa e Planejamento Econmico, Rio de Janeiro, v.
32, n. 3, p. 453-476, dez. 2002. Disponvel em:<http://ppe.ipea.gov.br/index.
php/ppe/article/view/139/74 >. Acesso em: 27 jul. 2006
ANDRADE, D. F.; TAVARES, H. R.;VALLE, R. C. Teoria da resposta ao item:
conceitos e aplicaes. So Paulo: Associao Brasileira de Estatstica, 2000.
BAHIA. Secretaria da Educao. Avaliao de desempenho 2004: resultados
gerais e anlises pedaggicas. Salvador, 2005. Relatrio interno.
BARBOSA, M. E. F.; FERNANDES, C. A escola brasileira faz diferena? uma
investigao dos efeitos da escola na proficincia em matemtica dos
alunos da 4a srie. In: FRANCO, C. (Org.). Avaliao, ciclos e promoo na
educao. Porto Alegre: ArtMed, 2001. p. 156-171.
BOURDIEU, P. O capital social: notas provisrias. In: NOGUEIRA, M. A.;
CATANI, A. (Org.). Escritos de educao. 4. ed. Petrpolis, RJ: Vozes, 1998. p.65-79.
31/03/2010 16:00:19
CASTRO, R. F. Eficcia e equidade em escolas pblicas da Bahia. 2008. Tese

(Doutorado em Educao) Faculdade de Educao, Universidade Federal
da Bahia, Salvador, 2008.
CSAR, C. C.; SOARES, J. F. Desigualdades acadmicas induzidas pelo contexto
escolar. Revista Brasileira de Estudos Populacionais, v. 18, n. 1/2, p. 97-110, 2001.
FERRO, M. E. Introduo aos modelos de regresso multinvel em educao.
Campinas, SP: Komedi, 2003.
______; BELTRO, K. J.; SANTOS, D. P. dos. Polticas de no repetncia e a
qualidade da educao: evidncias a partir da moldelagem dos dados da 4
srie do SAEB-99. Estudos em Avaliao Educacional, n. 26, p. 47-72, jul./dez. 2002.
FRANCO, C.; ORTIGO, M. I.; ALBERNAZ, A. et al. Eficcia escolar en Brasil:
investigando prcticas y polticas escolares moderadoras de desigualdades
educacionales. In: CUETO, S. (Org.). Educacin y brechas de equidad en Amrica
Latina. Santiago: Preal, 2006.
INEP. Relatrio Miolo: novas perspectivas SAEB-2001. Braslia, DF, 2002.
Disponvel em:<http://www.inep.gov.br/download/saeb/2001/Miolo_Novas_
Perspectivas2001.pdf>. Acesso em: 10 ago. 2006.
MORTIMORE, P. The nature and findings of school effectiveness research in
primary sector. In: RIDDELL, S.; BROWN, S. (Ed.). School effectiveness research:
its message for school improvement. Edinburgh: HMSO, 1991.
OECD. First results from PISA 2003: executive summary. Paris, 2004. Disponvel
em: < www.oecd.org/dataoecd/1/63/34002454.pdf> Acesso em: 30 ago. 2006.
SOARES, J. F. Melhoria do desempenho cognitivo dos alunos do ensino
fundamental. Cadernos de Pesquisa, v. 37, n. 130, p.135-160, jan./abr. 2007.
______. Qualidade e eqidade na educao bsica brasileira: a evidncia do
SAEB 2001. Archivos Analticos de Polticas Educativas, v. 12, n. 38, 2004.
______; ALVES, M. T. G. Desigualdades raciais no sistema educacional brasileiro
de educao bsica. Educao e Pesquisa, v. 29, n. 1, p. 147-165, jan./jun. 2003.
______; CSAR, C. C.; MANBRINI, J. Determinantes de desempenho dos
alunos do ensino bsico brasileiro: evidncias do SAEB de 1997. In: FRANCO,
C. (Org.). Avaliao, ciclos e promoo na educao. Porto Alegre: ArtMed, 2001.
p. 121-153.
______; TORRES, F. A. O.; ALVES, M. T. G. Escola eficaz: um estudo de caso
em trs escolas da rede pblica de ensino do estado de Minas Gerais. Belo
Horizonte: Segrac, 2002. 116 p. Disponvel em: < http://www.fae.ufmg.br/
game/eficaz.pdf >. Acesso em: 16 ago. 2006
TEACHMAN, J. D.; PAASCH, K.; CARVER, K. Social capital and the generation
of human capital. Social Forces, v. 75, n. 4, p. 1343-1359, 1997.
WILLMS, J. D. Monitoring school performance. Washington, D.C: The Falmer
Press, 1992.
______; SOMERS, M.A. Family, classroom, and school effects on childrens
educational outcomens in Latin America. School Effectiveness and School
Improvement, v. 12, n.4, p. 409-445, 2001.
31/03/2010 16:00:19
APNDICE
Variveis
Tipo de Medida
Descrio
Nvel 1 Alunos
DESEMPENHO
Contnua
Escore TRI
SEXO
0=Masculino
1=Feminino
NSE
Contnua
ESTRUTURA FAMILIAR
Composta por quatro variveis

indicadoras
Mora_me
1= mora apenas com me
Mora_pai
1= mora apenas com o pai
Sexo do aluno informado no questionrio

socioeconmico
ndice baseado no Critrio Brasil da
ABIPEME (varia de 0 a 20)
Com quem o aluno mora (composta por
quatro variveis indicadoras)
Indicadora de morar apenas com a me
(sem o pai)
Indicadora de morar apenas com o pai (sem
a me)
Mora_sem pai e me
1= no mora com os pais
Indicadora de morar sem os pais
Pessoas
1= menciona outras pessoas
Indicadora de outras pessoas na casa do aluno
DEIXESC
NREPET
PLANSUP*
AMIGO01*
RESP01*
DIFCUL01*
0= Nunca deixou
1= Deixou por um ano
2= Deixou por dois anos
3= Deixou por trs anos
4= Deixou por quatro anos
5= Por cinco anos ou mais
0= Nunca repetiu
1= Repetiu uma vez
2= Repetiu duas vezes
3= Repetiu trs vezes
4= Repetiu quatro vezes ou mais
0=No
1=Sim
0= No tem ou poucos
1= Tem alguns ou muitos
0 = Nunca ou raramente
1 = Frequentemente ou sempre
0 = No
1 = Sim
Abandono. Nmero de anos que o aluno

deixou de frequentar a escola
Repetncia. Nmero de anos que o alunos

repetiu at a 4 srie
Planos de realizar curso superior

Amigos na sala de aula
Ser tratado com respeito e ateno pelo
professor
Indica dificuldade para fazer os deveres de
casa
Nvel 2 Escolas
PR_DIFIC
Contnua
NSE_ESC
Contnua
Proporo de alunos com dificuldade nas

tarefas de casa
Nvel scio econmico mdio dos alunos da
escola
NSE_SD
Contnua
Desvio padro do NSE dos alunos da escola
DEIXMED
Contnua
NREPMED
Contnua
Nmero mdio de anos de abandono dos

alunos da escola
Numero mdio de repetncias dos alunos
da escola
Contnua
ndice de Desenvolvimento Humano

Municipal
Nvel 3 Municpios
IDH-M
Quadro 1: Variveis utilizadas nos modelos contextuais

Fonte:Castro (2008)
31/03/2010 16:00:19
Varivel
Descrio
Mdia
SEXO
PLANSUP
NSE
MORA_PAI
MORA_ME
SEMP_M
PESSOAS
DEIXESC
DIFCUL01
AMIGO01
RESPE01
MAT_TRI
NREPET
PORT_TRI
DEIXMED
PR_DIFIC
NSE_ESC
NSE_SD
NREPMED
IDH-M 2000
Indicadora de sexo feminino

Indicadora de planos de curso superior
ndice de nvel socioeconmico
Indicadora de morar apenas com o pai
Nmero de anos que deixou a escola
Indicadora de dificuldade nas tarefas
Indicadora de amigos na sala de aula
Indicadora de respeito e ateno do professor
Escore TRI em Matemtica
Nmero de vezes que repetiu
Escore TRI em Matemtica
Mdia de anos de abandono
Proporo de alunos com dificuldade
Mdia do nvel socioeconmico
Desvio-padro do nvel socioeconmico.
Mdia do nmero de repetncias
ndice de Desenvolvimento Humano Municipal
0,52
0,67
11,42
0,06
0,31
0,17
0,68
0,29
0,66
0,91
0,93
51,36
0,72
51,38
0,37
0,69
10,82
3,36
0,79
0,63
Desvio
Padro
0,50
0,47
3,60
0,24
0,46
0,38
0,47
0,90
0,47
0,28
0,25
9,77
0,92
9,70
0,38
0,12
1,66
0,56
0,28
0,05
Mnimo
Mximo
0
0
0,00
0
0
0
0
0
0
0
0
8,17
0
11,85
0
0
3,64
1,10
0
0,52
1
1
20,00
1
1
1
1
5
1
1
1
86,19
4
87,07
5
1
16,56
5,63
2,25
0,81
Quadro 2: Estatsticas descritivas das variveis utilizadas modelos ajustados

Fonte: Castro (2008)
Equaes de nvel 1 - Alunos
Yijk = 0 jk + 1 jk SEXO + 2 jk NSE + 3 jk MORA _ PAI + 4 jk MORA _ ME +

+ 5 jk SEMPAI _ ME + 6 jk PESSOAS + 7 jk DEIXESC + 8 jk NREPET + ijk
Equaes de nvel 2 - Escolas
0 jk = 0 k + 01 k P
R _ DIFIC + 02 k NSE _ ESC + 03 k NREPMED + 04 k ( FATOR ) + r0 jk
7 jk = 70
8 jk = 80
+ 71 k DEIXMED + 72 k ( FATOR ) + r7 jk
+ 81 k NSE _ ESC + 82 k NREP _ MED + 82 k ( FATOR ) + r8 jk
pjk = p0 k para p 2 ,7 e 8.
Equaes de nvel 3 - Municpios
00 k = 000 + 001 IDH 2000 + u0
(1)
(2)
01 k = 010
02 k = 020 + 021 IDH 2000 + u02
03 k = 030
q0 k = q0
para
q0
Obs. O IDH dos municpios foi centralizado na mdia geral.

Quadro 3: Equaes do modelo bsico com fator escolar genrico Matemtica
31/03/2010 16:00:20
31/03/2010 16:00:21
-----
---------------------
MORA_PAI (somente)
MORA_ME (somente)
MORA SEMPAI_ME
PESSOAS (Tem outras pessoas em casa)
DEIXESC (N anos deixou escola)
-------------
AMIGOS (Amigos na sala de aula)
RESPEITO (Tratado com respeito pelo professor)
-----
-----
-----
-----
-----
-----
-----
-----
1,74 (0,3055)
-0,11 (0,0621)
-1,98 (0,0666)
1,15 (0,1925)
-0,05(0,0657)(*)
-0,91 (0,0762)
2,54 (0,1306)
-2,81 (0,1195)
-1,07 (0,1101)
-2,22 (0,2635)
0,17 (0,0130)
-1,19 (0,0913)
-3,02 (0,4319)
-0,32 (0,2010)(*)
-----
0,66 (0,0997)
-7,10 (0,9555)
-----
50,59 (0,2169)
-----
-----
-----
-----
1,74 (0,3056)
-0,11 (0,0623)
-1,98 (0,0666)
1,15 (0,1923)
-0,05 (0,0657)(*)
-0,91 (0,0757)
2,54 (0,1306)
-2,81 (0,1195)
-1,07 (0,1102)
-2,22 (0,2633)
0,17 (0,0130)
-1,19 (0,0912)
-3,03 (0,4314)
-0,32 (0,2008)(*)
3,07 (1,6590)
0,58 (0,1133)
-7,15 (0,9565)
6,38 (2,7940)
50,54 (0,2206)
Modelo 2
Modelo 3
Controle escolas Controle municpios
-----
-----
-----
-----
1,73 (0,3039)
-0,12 (0,0565)
-1,98 (0,0664)
1,20 (0,1877)
-----
-0,91 (0,0762)
2,54 (0,1308)
-2,82 (0,1184)
-1,07 (0,1104)
-2,22 (0,2632)
0,17 (0,0130)
-1,19 (0,0915)
-3,10 (0,4396)
-----
3,08 (1,6565)
0,58 (0,1140)
-7,19 (0,9558)
6,40 (2,7912)
50,54 (0,2206)
Modelo 4
Bsico
1,89 (0,2080)
0,66 (0,1881)
-2,47 (0,1033)
2,46 (0,0943)
1,62 (0,2872)
-0,13 (0,0541)
-1,76 (0,0648)
1,08 (0,1932)
----
-0,67 (0,0760)
2,14 (0,1267)
-2,38 (0,1108)
-0,99 (0,1077)
-1,82 (0,2468)
0,14 (0,0126)
-1,48 (0,0814)
-2,91 (0,4283)
-----
3,02 (1,6319)
0,52 (0,1107)
-4,32 (0,9197)
5,18 (2,6975)
48,59 (0,3817)
Modelo 5
Nota: Valores entre parnteses correspondem ao erro padro da estimativa. Exceto nos casos destacados com asterisco, todos as estimativas so significantes a 5%.
(*) Efeito no significativo (p-valor > 0,10)
(1) Coeficiente estimado com baixa confiabilidade, considerado fixo nos modelos seguintes.
Quadro 4. Estimativas dos efeitos fixos para Matemtica - 4 srie

-----
DIFICUL (Dificuldade nas tarefas de casa)
-----
PLANSUP (Planos de curso superior)
-----
-----
NSE_ESC na inclinao de NREPET
NREPMED na inclinao de NREPET
-----
-1,95 (0,0653)
-0,80 (0,0801)
2,55 (0,1320)
-2,86 (0,1209)
-1,10 (0,1098)
-2,28 (0,2643)
0,17 (0,0130) (1)
-1,18 (0,0918)
-----
-----
-----
-----
-----
50,67 (0,2163)
Modelo 1
Controle alunos
-----
NREPET (N de repetncias)
-----
-----
NSE (Nvel socioeconmico do aluno)
DEIXEMED na inclinao de DEIXESC
-----
SEXO (Feminino)
-----
-----
NREPMED (Repetncia mdia escola)
-----
NSE_DP (Desvio Padro NSE)
-----
NSE_ESC (Nvel socioecon mdio escola)
IDH na inclinao de NSE_ESC
-----
PR_DIFIC (Prop. alunos com dificuldade escola)
50,81 (0,1690)
Intercepto
IDH em Intercepto
Modelo Nulo
Efeitos fixos
31/03/2010 16:00:21
----
p-valor
332870,64
0,000
17
4893,03
21
332824,65
72,52509
0,80820
1,00452
0,00850(*)
11,02510
-----
3,17820
Modelo 1
Controle alunos
332510,33
0,000
366,32
27
332458,33
72,70606
0,61048
0,81294
-----
7,57666
0,24417
4,23908
Modelo 2
Controle escolas
(*) Efeito no significativo (p-valor >0,05)
Quadro 5. Componentes de varincia dos modelos ajustados para Matemtica - 4 srie

Fonte: Castro ( 2008)
337725,68
----
Graus de liberdade
AIC
4
----
N de parmetros estimados
337717,68
Dif Deviance (D -Danterior)
Deviance
81,9995
---------
Inclinao DEIXESC (r7)
Inclinao NREPET (r8)
Nvel 1 - Alunos
-----
11,5722
-----
3,6518
Modelo Nulo
Inclinao NSE (r2)
Intercepto (r0)
Nvel 2- Escolas
Inclinao NSE_ESC (u02)
Intercepto (u00)
Nvel 3-Municpios
Efeitos aleatrios
332509,14
0,027
7,19
29
332451,14
72,70534
0,61073
0,81282
-----
7,57533
0,22150
4,111208
Modelo 3
Controle municpios
332509,13
0,080
3,07
27
332455,13
72,7107
0,6117
0,8104
-----
7,5719
0,2356
4,1034
Modelo 4
Bsico
330618,12
0,000
1899,01
31
330556,12
69,8615
0,5117
0,7624
7,2130
0,2084
3,7691
Modelo 5
31/03/2010 16:00:21
----
NSE_ESC(Nvel socioecon mdio escola)
----------------------
SEXO (Feminino)
NSE (Nvel socioeconmico do aluno)
MORA_PAI (somente)
MORA_ME (somente)
MORA SEMPAI_ME
PESSOAS (Tem outras pessoas em casa)
DEIXESC (N anos deixou escola)
RESPEITO (Tratado com respeito pelo professor)
-------
----
----
----
----
1,39 (0,354)
-0,04(*) (0,080)
-1,76 (0,076)
1,23 (0,147)
0,03(*) (0,067)
-1,09 (0,065)
2,33 (0,100)
-2,70 (0,127)
-0,99 (0,103)
-2,53 (0,232)
0,11 (0,013)
1,56 (0,085)
-2,53 (0,333)
-0,41 (0,183)
----
0,58 (0,073)
-5,46 (0,807)
----
48,83 (0,163)
Modelo 2
Controle escolas
----
----
----
----
1,39 (0,354)
-0,04(*) (0,080)
-1,76 (0,076)
1,23 (0,147)
0,03(*) (0,067)
-1,09 (0,065)
2,33 (0,100)
-2,70 (0,127)
-0,99 (0,103)
-2,53 (0,233)
0,11 (0,013)
1,57 (0,085)
-2,53 (0,332)
-0,41 (0.183)
2,58 (1,008)
0,54 (0,089)
-5,53 (0,814)
14,13 (2,036)
48,74 (0,159)
Modelo 3
Controle municpio
----
----
----
----
1,46 (0,288)
----
-1,77 (0,072)
1,21 (0,143)
----
-1,09 (0,065)
2,34 (0,100)
-2,70 (0,127)
-0,99 (0,103)
-2,53 (0,235)
0,11 (0,013)
1,57 (0,086)
-2,49 (0,332)
-0,41 (0,183)
----
0,67 (0,068)
-5,37 (0,754)
14,29 (2,035)
48,73 (0,158)
Modelo 4
Bsico
(*) Efeito no significativo (p-valor > 0,10)

(1) Coeficiente estimado com baixa confiabilidade, considerado fixo nos modelos seguintes.
Nota: Valores entre parnteses correspondem ao erro padro da estimativa. Exceto nos casos destacados com a (*) todos as estimativas so significantes a 5%.
Quadro 6: Estimativas dos efeitos fixos para Portugus - 4 srie

-------
AMIGOS (Amigos na sala de aula)
----
----
-------
----
----
PLANSUP (Planos de curso superior)
----
----
NREPMED na inclinao de NREPET
DIFICUL (Dificuldade nas tarefas de casa)
-1,73 (0,072)
----
-0,96 (0,067)
2,35 (0,101)
-2,75 (0,125)
-1,02 (0,103)
-2,61 (0,238)
0,11(1) (0,013)
1,58 (0,087)
----
----
----
----
----
48,96 (0,163)
Modelo 1
Controle alunos
----
DEIXEMED na inclinao de DEIXESC
NREPET (N de repetncias)
----
----
NREPMED (Repetncia mdia escola))
----
NSE_DP (Desvio Padro NSE)
IDH na inclinao de NSE_ESC
----
PR_DIFIC (Prop. alunos com dificuldade escola)
----
50,46 (0,140)
Intercepto
IDH no intercepto
Modelo Nulo
Efeitos fixos
1,45 (0,172)
0,52 (0,129)
-2,32 (0,098)
2,85 (0,096)
1,35 (0,27)
----
-1,54 (0,070)
1,12 (0,138)
----
-0,84 (0,063)
1,92 (0,103)
-2,27 (0,131)
-0,92 (0,098)
-2,15 (0,219)
0,07 (0,013)
1,26 (0,079)
-2,28 (0,324)
-0,41 (0,180)
----
0,60 (0,065)
-2,65 (0,745)
12,94 (1,903)
46,94 (0,277)
Modelo 5
31/03/2010 16:00:21
----
Inclinao NREPET (r8)
328220,53
0,000
17
4798,65
21
328068,53
75,34753
0,79554
1,06110
0,03014
6,24264
----
2,13874
Modelo 1
Controle alunos
327758,62
0,000
363,91
27
327704,62
75,73116
0,75343
0,86483
----
3,98437
0,05052 *
( )
2,68247
Modelo 2
Controle escolas
(*) Efeito no significativo (p-valor >0,10)
Quadro 7: Componentes de varincia dos modelos ajustados para Portugus - 4 srie

AIC
332875,18
----
Dif n parmetros (anterior)
p-valor
4
----
N de parmetros estimados
332867,18
Dif Deviance (D -Danterior)
Deviance
85,33359 (90,2%)
----
Nvel 1 - Alunos
----
Inclinao DEIXESC (r7)
6,75889 (7,2%)
----
2,47374 (2,6%)
Modelo Nulo
Inclinao NSE (r2)
Intercepto (r0)
Nvel 2- Escolas
Inclinao NSE_ESC (u02)
Intercepto (u00)
Nvel 3-Municpios
Efeitos aleatrios
327730,39
0,000
32,23
29
327672,39
75,73149
0,75377
0,86550
----
4,04430
327728,25
0,164
(-)7,86
24
327680,25
75,73731
0,75386
0,86202
----
4,11490
----
0,02586
(1)
1,99090
Modelo 4
Bsico
1,99933
Modelo 3
Controle municpio
325838,85
0,000
1897,60
28
325782,85
72,74215
0,66899
0,81359
----
3,81992
----
1,70467
Modelo 5
31/03/2010 16:00:21
School effectiveness in
primary schools: the role
of school climate and
composition characteristics
Claudia Schuchart (University of Wuppertal, Alemanha)
introduction
In recent years international organizations have clearly been paying more attention to education. For instance, in April 2000 the
participants of the World Education Forum committed themselves
to the goal of providing education for all by the year 2015. In Brazil,
the goal of total inclusion of school-aged children has been nearly
reached (INEP). Nonetheless, this quantitative success is not reflected
in quality of outcome; because of poverty and its consequences like
malnutrition, diseases, child labor, and irregular school attendance,
a large number of students still do not score very well on achievement tests. (INEP, 2002; 2007; KLEIN, 2006; UNESCO, 2001, p. 27)
A central question to policy makers and researchers is, therefore,
how student achievement level can be improved and how social
inequalities can be compensated for. The research on international
school effectiveness provides a large number of findings which
support the assumption that schools significantly affect childrens
development. In Brazil, increasing efforts have been made over the
past ten years to implement large-scale assessments (both nationally and on a state-wide basis) in order to evaluate the productivity
of the educational system. The analyses of those studies are often
31/03/2010 16:00:21
very technical, taking into account countless aspects of the issue

and employing highly complex models. In the following, I will
present selected findings from school effectiveness research (SER)
in developed and developing countries, the aim being to provide a
framework for a rather parsimonious model of analysis.
overview of literature and

research questions
western school effectiveness research (ser)
Before describing Western school effectiveness research, the concept of effectiveness must be clarified somewhat. Because a large
amount of variance in basic skills achievement in Western countries can be explained by social background, the question whether
schools can compensate for the effect of family characteristics on
achievement plays a major role. Definitions of school effectiveness
have changed over the years. (TEDDLIE, et al., 2000); one of the most
influential of these definitions, the so-called value added perspective, asserts that outcomes like basis skills must be controlled for
entrance characteristics. (SCHEERENS; BOSKER, 1997) Mortimore
(1991, p. 9) provides a general definition along these lines: An effective school is one in which pupils progress further than might
be expected from consideration of its intake. Stoll and Fink (1996,
p.28) suggest speaking of all pupils (instead of only pupils) in
order to combine the value added and equity approaches. In other
words, successful schools should reduce the impact that family
background has on achievement and therefore allow everyone to
reach a certain achievement level.
SER in Western countries began with economically driven inputoutput studies (e.g. COLEMAN, 1966; JENCKS, et al., 1972). The results indicated that differences in childrens achievement were more
strongly associated with family socioeconomic status (SES) than with
school-based resource variables. The main criticism of this work centered around its highly simplified input-output model, which treated
298 claudia schuchart
31/03/2010 16:00:21
schools as black boxes, meaning that processes which influence

learning and teaching in schools had not been observed. Starting from
this point, a number of subsequent studies considering such process
factors showed that schools differ remarkably in this field and do in
fact have a significant impact on a pupils cognitive outcomes.
One of the early proponents of these studies was Ron Edmonds,
who focused on urban, low-SES elementary schools. He developed
a highly influential five factor model of school effectiveness which
takes into account the following aspects: strong, instructional leadership from the principal; a pervasive and broadly understood instructional focus; a safe and orderly school learning environment or
climate; high expectations for achievement from all students; and
the use of student achievement test data for evaluating the success
of particular programmes and of the school as a whole. The concept
of the school as a social institution, which already appears in this
early model, has been further developed by other researchers. For
instance, one of the most important findings of Rutters (1979) influential study was that collectively-shared norms, beliefs and attitudes
are associated with teachers sense of responsibility, identification
with the school, and social acceptance. This can result in increased
levels of achievement, net of social background. (WANG, et al., 1997)
The conditions for this kind of productive atmosphere were collaborative working relationships among teachers and a democratic
form of leadership. These and similar aspects of schools as a social
institution appear frequently in various lists developed in recent
years of characteristics shared by effective schools. (SCHEERENS;
BOSKER 1997; TEDDLIE et al., 2000)
Earlier SER studies had already found that characteristics of peergroup background affect pupils achievement. Rutter believed that
context characteristics related to SES and prior achievement have a
direct impact on current achievement, but are only marginally associated with school process characteristics. However, recent research
has shown that there are, in fact, important relationships between
the characteristics of school composition and school process. Schools
with high social class or high ability intakes, for example, are more
likely to have fewer disciplinary problems, and to attract and retain
school effectiveness in primary schools: the role of school climate and composition characteristics 299
31/03/2010 16:00:21
talented and motivated teachers (for a summary, see OPDENAKKER;

VAN DAMME, 2001, p. 409; THRUPP; LUPTON, 2006). Furthermore,
the true effect of school process variables would be overestimated
if school composition variables were not included in the model. In
all, an investigation of school input and school process factors must
take the composition of schools into account.
school effectiveness research

in developing countries
Since the 1970s, a small but increasing number of school research
studies have been carried out in developing countries. For a long
time, many of these studies were characterized by an interest in
easily manipulable input factors. Many findings indicated that the
relationship between individual characteristics and achievement is
less pronounced than in developed countries. This was explained by,
among other factors, a small overall variance in socioeconomic status and associated characteristics in the population. (HEYNEMANN;
LOXLEY, 1983) School effects were found to be greater than those of
family, although in later studies these results could not be replicated.
(RIDDELL, 1989) Nonetheless, individual background characteristics are of significantly lesser importance for achievement in third
world countries than in developing countries. School effectiveness
researchers in developing countries has therefore not focused on
the question of how schools can reduce the impact of social background characteristics on achievement; instead, their efforts seek to
determine how to provide the best education for all with limited
resources. (RIDDELL, 1989, p. 187)
A number of studies suggest that schools in developing countries
are of greater importance for achievement than schools in developed
countries (for Brazil, see OECD/PISA, 2003). This general finding can
be attributed to large differences in educational quality caused by
the rapid expansion of the school systems of developing countries
in the second half of the 20th century, which was accompanied by
increasing resource constraints. (BEDI; MARSHALL, 1999; RIDDELL,
1989, p. 185) As a result, resource input factors vary largely within
31/03/2010 16:00:21
and between developing nations. School research in developing

countries long focused on the impact of input characteristics like
teacher salary or class size. (FULLER; CLARKE, 1994; JANSEN, 1995)
However, only a few consistent findings have been derived from
the numerous studies on resource input characteristics: the availability of textbooks and reading material, the quality of teachers (as
determined by knowledge of subject matter and amount of training),
and instructional time. (FULLER; CLARKE, 1994; HANUSHEK, 1995,
1997) Fuller and Clarke, however, point out that the investment in
basic inputs affects achievement only in low-income countries where
minimal standards have not yet been realized. (FULLER; CLARKE,
1994, p. 134; HANUSHEK, 1995) In threshold countries with a higher
standardization level of resource conditions, human and material
input characteristics only account for a small part of average achievement level. (BACOLOD; TOBIAS, 2005; MCEWAN; MARSHALL, 2004)
Recent studies show that this holds true for Latin-American countries
as well. (FULLER, et al., 1999; INEP, 2002; WILLMS; SOMERS, 2001)
One of the problems of school effectiveness research in developing countries is that it has concentrated on material and human
resource input factors while largely ignoring process characteristics. (FULLER; CLARKE, 1994; JANSEN, 1995; RIDDEL, 1989, 1997)
A number of researchers have highlighted the notion that cultural
characteristics of schools, meaning the beliefs, norms and attitudes
of people learning and working in schools, can help to understand
how basic inputs are mobilized within schools and classrooms.
(FULLER; CLARKE, 1994) Since the 1990s a new approach toward
school research has evolved, which takes as its starting point the
understanding of educational quality inside schools and classrooms,
and is described by Jansen (1995, p. 195) as school quality research
(for an example of such research in the context of South Africa, see
CARRIM; SHALEM, 1999), HARBER; MUTHUKRISHNA, 2000) This
research approach is influenced by anthropology and descriptive
procedures, and employs ethnographic instruments; hence, it is
vulnerable to the criticism commonly levelled against qualitative research based on size and representativeness of samples, uncontrolled
entrance selectivity, and use of subjective effectiveness criteria.
31/03/2010 16:00:22
However, only a few large scale studies taking school process characteristics into account have been carried out. As Scheerens points out,
the results indicate that the impact of school organizational conditions is relatively minor (SCHEERENS, 1999, p. 43; see also GLEWWE,
et al., 1995; MCEWAN; MARSHALL, 2004; ZHANG, 2006). Nonetheless,
his implication is that because of the improving quality of physical
and human resources conditions, organisational factors will become
more significant. (SCHEERENS, 1999, p. 43) This is thought to be
particularly true for threshold countries such as Brazil.
An unanswered question is whether or not school composition
variables influence the effect of input and process factors. As yet,
few studies have considered the role played by context variables (for
example, see HARBISON; HANUSHEK, 1992; LEE, et al., 2005). Using
data from eleven Latin American countries, Willms and Somers
(2001) have shown that the socioeconomic level of schools affects
achievement in mathematics in only four countries, including Brazil.
In Brazil, an increase of one standard deviation in the socioeconomic
level of schools leads to an increase of mathematics achievement
by 20% of one standard deviation. Because standardized tests are
used in this study, this enhancement is equivalent to about two
months of schooling. However, because the database represents
Brazil as a whole, regional effects might underlie the school effects.
Furthermore, the analyses provide no information regarding the
relationship between school composition characteristics and input
or process factors.
summary and research questions

As described above, schools are of great importance for the learning
outcomes of pupils in developing countries, where pupils social
background characteristics account for comparatively little variance
in achievement. It can be assumed that in threshold countries like
Brazil, a) the standardization of input resource conditions leads to a
decreased variance in achievement between schools, and b) a wider
variety of socio-economic characteristics in the population leads to a
higher influence of family characteristics on cognitive outcomes, in
31/03/2010 16:00:22
which case schools are more hard-pressed to compensate for social

disadvantages. Thus, I first ask a) to what extent schools differ in
their average achievement and socio-economic level, and b) to what
extent schools differ in their impact upon the relationship between
family socio-economic characteristics and academic outcomes.
SER in developing countries has shown that only a small number of physical and human input conditions consistently affect
pupils learning outcomes. In accordance with Scheerens (1999,
2001) I assume that in threshold countries like Brazil, the improving
quality of resources conditions has led to an increased efficacy of
organisational factors. Following central findings of Western SER,
characteristics of school climate should be particularly important
in explaining between-school variance in achievement. Thus, my
second question asks whether these characteristics can contribute to
explaining the variance in average achievement between schools.
Recent studies have shown that context characteristics have an
impact on pupils learning and reduce the effect that input and
process factors have on achievement. SER carried out in developing
countries provides evidence that context variables indeed affect
academic achievement. However, the studies have not yet addressed
the relationship between context, input and process variables. Thus,
as a final question, I ask to what extent a) composition characteristics affect the effect of input and process characteristics, and b)
how compositional characteristics are associated with input and
process characteristics.
data sources and measures

This study utilized data from the 2001 evaluation study Desempenho
do Ensino Fundamental, which was carried out in all urban schools in
Bahia. The database includes achievement measures of Portuguese
and mathematics, and family background characteristics of fourth
and eighth grade students. Moreover, school and teacher characteristics were collected by questionnaires administered to teachers
and principals.
31/03/2010 16:00:22
For the following analyses I focus on children in the fourth grade,

using only their test score in mathematics as a measure of achievement, as this score is determined less by family characteristics than
is the language test score. To make sure that the analyses carried
out only deal with data collected from teachers actually involved in
basic primary education, only schools offering primary education
for pupils in grades 1 through 4 were included.. Furthermore, only
schools from which more than two teachers and more than fourteen
pupils answered the questionnaire were considered. The final sample
contains 35,403 pupils and 3,885 teachers from 1,041 schools.
socio-economic status
The pupils socio-economic status was measured in line with the
Critrio de Classificao Econmica Basil (CCEB), an index (summed
score) which takes into account the possession of certain private
goods and the educational level of the head of the household. For
the Baianian study, pupils were only asked if their family possesses
one or more of a certain item, while more detailed information is
collected in order to generate the CCEB score. Nonetheless, in order
to compare the distribution of socio-economic status in the sample
with its distribution in the population, I have attempted to construct
an index from the data available, adopting the CCEB system of points.
(ASSOCIAO BRASILEIRA DE EMPRESAS DE PESQUISA, 2003)
In 2007, a new classification system for socio-economic status
was introduced. However, my analyses utilize the 1997 classification
system in order to facilitate comparison with the population in 2001.
As can be seen in Figure 1, the distribution by socio-economic status
in Brazil and, even more strikingly, in the district of Salvador, is
obviously right skewed, meaning that those belonging to families
from lower social classes are over-represented compared to a standard distribution (for newer data, see ASSOCIAO BRASILEIRA DE
EMPRESAS DE PESQUISA, 2007; KLEIN, 2006). Because the sample
represents the urban areas of Bahia and not only the capital district,
the amount of people from lower social classes in this sample is
significantly higher than in the district of Salvador (Chi-square =
31/03/2010 16:00:22
9484,9***). Thus, the overall variance in socio-economic status in

the sample is rather small.
60
50
40
Brazil
dis. of Salvador
30
Sample
20
10
0
A1
A2
B1
B2
Figure 1: Distribution of socio-economic status in 2000 (Brazil, district of Salvador)

and 2001 (sample); Critrio de Classifio Econmica Brasil
Note: The letters on the x-axis refer to social classes defined by CCEB. A1 is the
highest social class, and E the lowest. Point system: A1 = 30-34, A2 = 25-29, B1 =
21-24, B2 = 17-20, C = 11 -1 16, D = 6-10, E = 0-5 (ASSOCIAO BRASILEIRA DE
EMPRESAS DE PESQUISA, 2003)
For the following analyses, it was necessary to optimize the

measurement of socio-economic status.1 The optimized index, which
incorporates information about selected goods (radio, television,
bathroom, refrigerator, and telephone) and the parents educational
level, ranges from 0 (no goods, primary education not completed) to
19. 68% of all pupils fall in the interval between 5.0 and 11.6 points.
other individual variables

Table 1 includes the individual characteristics considered for the
analyses. The test score in mathematics is constructed by using
classical test theory. Pupils could earn a maximum of 20 points.
Cognitive capability was approximated by self-estimation: 21% of
all pupils questioned think they have more problems learning than
the majority of their fellow pupils.
1 One of the reasons

was that in the sample,
the answers regarding
both private household
goods and the parents
educational level are
partially unreliable.
This can be attributed
to problems with
understanding; it may
not have been clear for
all children answering
the questionnaire what
exactly servant in the
household or car
meant. Due to the lack
of detailed explication
in the questionnaire, we
have to assume that
some children mistook
their fathers company
car for the familys car,
for example. Thus, the
relationship between the
test score in mathematics
and the number of certain
goods possessed should
not be assumed to be
linear.
31/03/2010 16:00:23
Boys, who drop out of school more often than girls, are slightly
under-represented in the sample (only 46.8% of all respondents
were male). 15% of all pupils work after school, with 39% of these
pupils working more than 4 hours per day. The majority of pupils
live within a 30 minute walking distance from the school, indicating
that schools in urban areas are quite accessible.
The school career variables show that a large number of pupils
had already interrupted their school career for more than 4 weeks
and/or had repeated a school year at least once. Accordingly, these
children are, on average, older than typical fourth grade pupils
(entrance age for compulsory education: seven years).
Table 1: Individual characteristics (N=35 403)
Variable
Mean / %
SD
Min-Max
Test score in mathematics
12.97
4.0
0 20
learning problems (cognitive capability)
20.9
01
Sex (female)
53.2
01
Family (only one parent)
32.0
01
Work after school (yes)
15.0
01
Distance to school (> 30 min)
12.0
01
School career interrupted
16.2
01
Repetition of school year
52.5
01
Age
11.3
1.5
9 14
8.3
3.3
1 19
Socio-economic index
school characteristics: principals and teachers

96% of primary school teachers are female. About a third of these
teachers work at more than one school. This reflects the comparatively low salary earned by school teachers in Bahia. Due to the
rapid expansion of the school system in the last years and, thus,
the increased demand for teachers, more than half of the teachers
is younger than 35. Principals are typically older than teachers and
have, therefore, more professional experience on average.
31/03/2010 16:00:23
Table 2: characteristics of principals and teachers (human resources, %)

Teachers (N=3885)
Principals (N=1041)
10
41.4
3.8
11 - 20
35.6
74.3
> 20
23.0
21.9
Primary education only
2.2
0.8
Secondary education only
83.7
60.7
University degree
14.1
38.5
Professional experience (years)
Education
The majority of teachers and school principals possess at least the

educational level required for teacher qualification; indeed, 14.1% of
teachers and 38.5% of school principals have an university degree
(Table 2). The variables addressing sex, employment by more than
one school, and age are not included in the table because in the
analyses they did not have a significant impact on pupils achievement. Regarding human resources, the analyses focus on professional experience and educational level, which have proven to be
important for academic outcomes in many other studies as well.
schools characteristics: input and process factors

Most schools in the sample have no overhead projector, computer,
printer or copier; the only device commonly possessed by most
schools is a television. The dummy information on these physical resources was summed up to a facility index, assuming that it
measures the general material situation at a school (Table 3). Furthermore, principals were asked whether or not they perceive the
availability of further input characteristics as a problem. Problems
are particularly apparent in the availability of financial resources
and assistance programs. About half of the head teachers in the
sample report that they do not have enough instruction material
31/03/2010 16:00:23
and staff (i.e. caretakers, secretaries, etc.). Only about 14% perceive
a lack of teaching staff at their school.
Table 3: Input resources and school climate (N=1041)
Mean/%
SD
No of Items
Min-Max
Facilities
2.54
1.64
Index
0-7
Problem: finances
58.1
0-1
Problem: technical staff
47.5
0-1
Problem: assistance programes
65.4
0-1
Problem: instructional material
51.5
0-1
Problem: professional staff
14.3
0-1
Shared norms1
4.11
0.44
3.46
4.45
Collaboration (-)4
Use of test for evaluation5
Cr.
School climate and leadership

High expectations
Identification with school3
Discipline
1-5
0.75
0.79
1-5
0.47
1-5
0.90
2.12
0.66
1-5
0.68
4.66
0.47
1-5
3.76
0.61
1-5
0.53
1.60
0.51
1-3
0.46
Teacher support (no)
0.21
0.08
0 -1
Participative leadership9
4.39
0.54
1-5
0.81
Aggression7
8
Item examples:1 Todos, nesta escola, sabem o que ela prioriza.2 Nesta escola, os padres de desempenho acadmico
dos alunos so altos.3 Eu me sinto orgulhoso(a) dizendo s pessoas que sou parte integrante da escola onde trabalho.4
Os professores desta escola trabalham isoladamente em suas disciplinas.5 Utilizo os resultados alcanados pelos alunos
nas avaliaes para avaliar meu prprio trabalho.6 Disciplina um dos principais problemas que a escola enfrenta.7
Violncia contra alunos, professores e funcionrios (diretor).8 Neste ano, para realizar suas tarefas em casa e na escola,
voc est: fazendo suas tarefas, sozinho(a), com dificuldade, porque os professores no ajudam muito.9 Nesta escola,
participo das decises importantes a respeito do trabalho escolar.
Principals and teachers were asked about their perception of

values, meanings and beliefs shared among members of the teaching and administrative staff. Based upon the research findings on
school climate in the Western literature cited above, I focused on
central characteristics such as shared norms, identification with
the school, an orderly and safe climate, and participative leadership. Furthermore, I included the item use of tests for evaluation
because this characteristic was found to be important in a number
of previous studies.
31/03/2010 16:00:24
I decided to rely on answers given by teachers, mainly because

any measure of school climate ought to reflect the schools character
in regard to shared values and beliefs which are associated with
certain behaviour demonstrated by the principal and the staff. (VAN
HOUTTE, 2005) Only for the perception of disruptive behaviour as
an aspect of an orderly and safe learning climate did I rely on
answers given by principals perception.
In their study Schools make a difference, Teddlie and Stringfield
(1993, p. 246) observed that school climate factors observed by students were better predictors of achievement than factors observed
by teachers. In the present study, pupils were only asked if they
feel supported by their teachers or not. Thus, this variable will be
included as an indicator of a student-oriented climate. Finally, nine
aspects of school climate will be considered (Table 3).
characteristics of schools: context

Recent work on school composition effects has suggested a multidimensional analysis model. Composition characteristics used in
the present study include mean SES, proportion of repetition and
proportion of students who had interrupted their school career for
at least four weeks. In line with other research findings, I assume
that the experience of interrupting ones schooling is associated
with a sense of negative self-esteem, reluctance in regard to school
activities, and lack of discipline. In terms of a single class or school,
a concentration of pupils with an interrupted school career can be
interpreted as a strain on the process of learning of all pupils. To
approximate ability, I used the percentage of pupils who admitted
having learning problems.
Table 4 shows that on average, schools have an interruption rate
of 17% and a repetition rate of 54%. Strikingly, the repetition rate
ranges from almost zero (4%) to 100%: In three schools, less than 10%
of pupils had already repeated at least one school year, while in five
schools this was true for more than 90% of the pupils.
31/03/2010 16:00:24
Table 4: school composition characteristics (N=1041)

Mean
Min
Max
SD
Self estimation: learning problems
.21
.00
.56
.08
SES
7.90
2.00
12.95
1.4
Interruption rate
.17
.00
.54
.09
Repetition rate
.54
.04
1.00
.14
input selectivity
2 According to Cohen
(1988), r .1 indicates
little effect, meaning the
relationship observed is of
little relevance, whereas
r .3 indicates a medium
effect, and r .5 a large
effect.
In order to investigate school effects, the selectivity of input has

to be controlled for; otherwise, the effect of school characteristics
might be confused with the effect of input selectivity. In Brazil, the
community or federal state is responsible for the administration of
public schools, whereas the state schools are rather better equipped.
In urban areas, parents are normally able to choose either a community or a state school. It can be assumed that ambitious parents
are more likely to choose a state school. The correlation between
type of administration and family socio-economic background is r =
.19*, indicating a moderately pronounced relationship2. Beyond the
type of administration, local processes of differentiation and segregation are mainly responsible for different kinds of composition
among schools. Input selectivity will be controlled for by considering
socio-economic status at the individual level and the type of school
administration at the school level.
method
In assessing the effects of individual, family and school variables on
achievement, I use hierarchical linear regressions. (RAUDENBUSH;
BRYK, 2002) With these models, it is customary to first partition the
variation into within-school and among-school components, and
then discern what percentage of the variance at each level can be
accounted for by the explanatory model. To answer the first research
question, I will estimate baseline or null models for achievement
in mathematics and socio-economic status, which determines the
31/03/2010 16:00:24
proportion of variance within and between schools. Then I will

estimate a random-coefficient-model to investigate to what extent
the relationship between socio-economic background and achievement in mathematics varies between schools. To answer the research
questions, input, process and composition characteristics will first
be included in separate models. In order to estimate the net effect
of the different categories of variables, a final model including
all variables will be carried out. The existence of the relationship
between different kinds of school characteristics will be proved by
using correlation analyses.
empirical results
distribution of socio-economic
status and schooling outcomes
The variation within and between schools in SES and schooling
outcomes is displayed in Table 5. In mathematics achievement, the
variance between schools is 15.7%, significantly less than the amount
reported by other Brazilian studies. Willms and Somers (2001), for
instance, using data from a Latin American study on grade 3 and 4
cohorts in Brazil as a whole, reported the figure of 31%. This comparison with other Brazilian studies (see, for example, ESPOSITO, DAVIS,
NUNES, 2000, p. 39) indicates that a larger between-school variance
can be reached only at the state level and might be attributed to
regional and administrative (private vs. public) differences.
Within-state student achievement is rather homogeneous, indicating that the between-school variance in urban areas in Bahia
is not larger than in industrial countries (for instance, in studies
carried out in the U.S., about 13% of variance in schooling outcomes
can be explained at the school level; see TEDDLIE, et al., 2000, p. 83).
This can be understood as evidence that the standardization of public
school conditions has so far succeeded within federal states.
31/03/2010 16:00:24
Table 5: Variance within and among schools in SES and schooling

outcomes
Baseline Model
Mean
Mathematics
SES
SD
12.96
4.0
8.32
3.3
Variance between schools Variance within schools

%
15.7
84.3
15.9
84.1
Random coefficient model

SES, slope
4.6
The variance in SES among schools is 15.9%. This measure is an

indicator of the extent to which students are segregated among
schools. The percentage indicates that in public urban schools in
Bahia, only a small degree of segregation exists. Again, a significantly higher degree of segregation (47.3%) was found by Willms
and Somers (2001).
The variance among schools in achievement is as small as the
variance among schools in SES. This suggests that the relationship
between socio-economic background characteristics and achievement only differs to a small extent. Looking at the results for the
random coefficient model, the variance components of the slope
show that schools, in fact, do not differ in the impact they have
on the relationship between SES and achievement in mathematics.
Thus, the problem of equity that has bothered numerous school
effects researchers in Western countries seems not to be relevant
to urban Brazilian schools. Looking at Table 6, it becomes clear
that socio-economic status has a significant, though (relative to
other individual characteristics) small, effect on pupils outcome.
The random coefficient model proves that this effect holds true for
each school.
Thus, in the following I will ignore the question of equity. In the
next step, I focus on the relationship between school characteristics
and average achievement level.
31/03/2010 16:00:24
Table 6: Achievement in mathematics and characteristics at the individual and school

level (regression coefficients)
Mathematics achievement
Individual characteristics
Learning problems
Sex (female)
Age z
One-parent family
Work after school
Distance (> 30 Min)
SES z
Repetition
Interruption
Resources
M0
12.82
M1
14.81
M2
15.00
M3
14.98
M4
14.92
M5
14.93
-1.40*
-.45*
-.09*
-.08*
-.42*
-.95*
.54*
-1.12*
-1.44*
-1.40*
-.46*
-.08*
-.09*
-.42*
-.95*
.54*
-1.12*
-1.44*
-1.40*
-.46*
-.08*
-.08*
-.42*
-.95*
.54*
-1.12*
-1.44*
-1.40*
-.46*
-.08*
-.08*
-.42*
-.95*
.54*
-1.12*
-1.44*
-1.40*
-.45*
-.08*
-.09*
-.41*
-.94*
.52*
-1.11*
-1.41*
Qualification level (principal) z

Professional experience
(principal) z
Qualification level (teacher) z
Professional experience
(teacher) z
Facilities z
Finances (-)
Professional staff (-)
Technical staff (-)
Assisting programs (-)
Instructional material (-)
School climate
Norms z
High expectations z
Identification z
Collaboration z (-)
Use of tests z
Discipline z
Aggression z (-)
Participatory leadership z
% Teacher support z (-)
Composition
% Learning problems z
SES z
% Repetition z
% Interruption z
Random Coefficients
Within schools
13.67
11.85
11.85
Between Schools
2.54
2.00
1.91
.04
.02
.0.14
.05
.03
.00
.09
-.02
-.05
.01
.02
-.12
.05
-.25*
-.03
.09
.03
-.05
.04
.06
.04
.08+
.16*
.00
-.01
.05
-.17*
.01
-.47*
-.03
.04
.12*
.02
-.02
.07
-.19+
.04
-.32*
.07
-.15*
-.10*
-.51*
.09*
.10+
-.06
-.41*
11.85
11.85
11.85
1.69
1.60
1.50
Note: z standardized variables. * p .05, + p p .10. The models have been adjusted for the effects of test type (tipo
prova) and administration (rede).
31/03/2010 16:00:24
student characteristics and achievement

The paper does not focus on the impact individual characteristics have on achievement. Nonetheless, I will highlight the most
important findings in this regard (Model 1). The strongest effects
of individual characteristics are associated with cognitive capability (measured as the self-estimation of learning problems) and
biographical characteristics: Interruption or repetition of a school
year reduces average achievement by 1.4 points and 1.1 points,
respectively. Compared to primary school students of other Latin
American countries, Brazilian students experience repetition and
interruption more often. (WILLMS; SOMERS, 2001, p. 421) Another
important variable is distance from school: the average achievement score of children who live more than a 30 minute walking
distance from school drops by one point. Moreover, boys demonstrate higher cognitive achievement than girls. This is in line with
international findings demonstrating that boys have an advantage
over girls in mathematics achievement in most states. (UNESCO
2006) Furthermore, achievement is significantly affected by socioeconomic status and age.
In total, 13.4% of the variance within schools is explained by
student background characteristics. That means that besides the
variables considered in the study, there must be other cognitive or
family characteristics affecting cognitive outcomes. For instance,
Willms and Somers (2001, p. 429) show that variables representing the cultural capital of families activities such as reading to
children or helping with homework - have a considerable impact
on achievement. However, such variables were not considered in
the present study. Another reason for the small amount of variance explained could be the inferior reading capabilities of grade
4 students, which might not allow for an adequate understanding
of the questionnaire. Note that by including the variables at the
individual level, between-school variance drops by 21%, meaning
that more than one-fifth of the differences between schools is caused
by input selectivity.
31/03/2010 16:00:24
predictors at the school level: input factors

A second model takes into consideration human and physical resource conditions which have been found to be significant in other
studies. Model 2 shows that principals perceived lack of instructional material is associated with reduced average achievement (for
corresponding results, see also WILLMS; SOMERS, 2001, p. 428). The
marginal role of these characteristics in explaining between-school
differences in Bahia might be attributed to the lack of hard facts:
head teachers were only asked about their perception of certain
problems, not about the actual circumstances underlying those
perceptions.
Considering the effects of human resources, it becomes clear that
the professional experience of principals is positively associated
with school performance (see also HANUSHEK, 1995, 1997). The
resulting boost in achievement, however, is rather small. In contrast
to other studies, the qualification level of teachers and principals
has no impact on student achievement. In this regard, it has to be
taken into account that only a very small proportion of teachers
have either more or less qualification than that required for the job.
Furthermore, the teachers who answered the questionnaire might
not necessarily be the teachers who taught mathematics in grade 4.
Considering these conditions, it seems reasonable to assume that
teacher training has no measurable effect on student outcome.
Altogether, input factors considered explain only 4.5% of betweenschool variance. This is in line with the assumption that in a threshold country like Brazil with standardized education conditions, input
factors play only a marginal role in academic achievement.
predictors at school level: school climate

To answer the second research question, characteristics of school climate are considered in the third model. In line with the assumption
that characteristics of school climate take on particular importance
in countries with standardized resource conditions, some of these
31/03/2010 16:00:24
factors have an effect on achievement in mathematics. In successful

schools, teachers are more committed to their school. Interestingly,
two factors of Edmonds five factor model play a significant role
in the present model as well, namely high expectations regarding
pupil achievement and a safe learning climate (aggression). In all,
these characteristics explain 6% of between-school variance. The
most important of school climate variables is teacher support as
perceived by pupils, which additionally accounts for about 10% of
between-school variance. However, the measurement of supportive
behaviour of teachers may not be very reliable because it consists of
only one item, which might include aspects of cognitive capability
and/or prior level of achievement. Hence, the true effect of this
variable may be smaller.
When school-climate characteristics are taken into account, the
amount of explained between-school variance accounts for 15.5%
of between-school variance. This effect is over twice as large as
that of input characteristics. These findings confirm the view of
Scheerens (1999, 2001), who assumed that the role of school climate
characteristics would become more significant in characterizing successful schools in threshold countries. However, the effect of these
characteristics is mostly attributed to pupils perception, indicating
that pupils can more readily identify a productive school climate
than can teachers.
predictors at the school level: school composition

The results in Model 4 show that school composition variables have
an enormous effect on mathematics achievement. The interruption
rate has the strongest effect on average achievement level. When
controlling for composition characteristics, schools exhibit an average test score of 14.9. An increase in the standardized interruption
rate by one standard deviation corresponds to a 0.51 point decrease
in mathematics, all other characteristics being equal. The SES composition and the repetition rate have both a significant impact on
31/03/2010 16:00:24
achievement, but to a clearly lesser extent than the interruption

rate. The amount of explained between-school variance is 20%, indicating that the composition characteristics of a school are of great
importance for student achievement.
Interestingly, the approximate measurement of the intellectual
context of schools (based on the amount of students indicating
the presence of learning problems) is of no importance. It might
be assumed that a more precise measurement would yield a much
stronger effect.
predictors at the school level: input factors,

school climate, and school composition
In the final model, all school-level characteristics are included (M5).
The fact that input characteristics no longer have an effect in this
model confirms the assumption drawn by the comparison of model
2 and model 3: School process variables seem to be more effective
in characterizing successful schools than input variables. The effects of school climate variables decreased, but the characteristics
of teacher support, identification with the school, and, to a lesser
extent, a safe climate (aggression) are still significant. In comparison
with other variables at the school level, the interruption rate is the
strongest predictor of average school achievement. Finally, 35% of
the between-school variance in achievement in mathematics can
be accounted for by the full model.
correlation between school characteristics

In Model 5, the change in effect size of previously significant variables shows that there are interdependencies between the variables.
As mentioned earlier, it can be assumed that context characteristics
reduce the effect of school variables. Next, I will explore the relationship between selected composition characteristics, on the one
hand, and input and process factors on the other hand.
31/03/2010 16:00:24
Table 7: Correlation between input and process factors and composition characteristics
(N=1041)
Input factors
SES
Qualification principal
.22
Experience principal
.21
Interruption
rate
-.12
Process factors
SES
Interruption
rate
Shared norms
-.06
High expectations
.07
-.07
Qualification teacher
.22
Identification
-.07
Expectation teacher
.19
-.12
Collaboration (-)
Facilities (-)
-.26
.05
Commitment
Finance (-)
Use of tests
-.07
Professional staff (-)
Discipline (-)
Technical staff (-)
Aggression (-)
-.08
.07
Assistance programs (-)
Leadership
Instructional material (-)
-.09
.08
Teacher support (-)
-.20
.29
Note: * p .05.
Table 7 indicates that the amount of teachers and principals is

associated with interruption rate and SES composition. Moreover,
the qualification level of teachers and principals is lower at schools
with a higher amount of pupils from disadvantaged backgrounds.
Obviously, these schools face more problems in attracting wellqualified, experienced staff.
Schools with low SES composition and high interruption rates
are characterized by a lack of physical facilities and instructional
materials. Pupils behave more aggressively and teachers expect less
from their pupils. Moreover, in schools with a high interruption rate,
teachers rarely use the results of evaluations, and they identify less
with their school. However, the correlation coefficients are generally
so small that they cannot be considered relevant. (COHEN, 1988)
A considerable relationship was found between SES composition,
interruption rate and the perception of teacher support on the
part of pupils. It may be assumed that pupils from disadvantaged
backgrounds and interrupted school careers depend more on the
assistance of teachers. Nonetheless, the higher the proportion of
these pupils, the more difficult it becomes for teachers to provide
the support needed. This problem becomes more serious if one
takes into account that schools with less favourable composition
31/03/2010 16:00:25
have a smaller amount of experienced and well-qualified members

of teaching and managing staff.
interruption rate and individual

characteristics at the school level
The interruption rate is the most important factor for explaining
between-school variance, but it is correlated with other school characteristics to a rather small extent. In a final step, the relationship
between the interruption rate and other individual characteristics
aggregated at the school level will be investigated. In order to clearly
depict the data, I constructed categories on the basis of standard
deviation (Mean: 17%, standard deviation 9%)
Table 8: Interruption rate and other composition characteristics at
the school level (N = 1041; %)
Interruption rate
< 8%
One-parent family
Work after school
Distance (> 30min)
Sex (female)
32
15
10
53
8 -17%
33
16
12
53
17-24%
34
19
15
53
> 24%
34
25
16
50
As Table 8 indicates, schools with a high interruption rate are also

characterized by a high number of pupils which have to work after
school and a comparatively high number of pupils who need more
than thirty minutes to reach school on foot. The change in other
composition characteristics such as sex and one-parent families is
virtually indistinguishable. These findings indicate that schools with
high interruption rates are located in marginalized, impoverished
urban areas.
summary and conclusion

In summary, school characteristics in Baianian urban areas are
of no greater importance for average achievement level than in
31/03/2010 16:00:25
Western countries. This result corresponds with findings by Baker

at al. indicating that the enhancement of the school system of a
country leads to a reduced variance in achievement between schools.
However, because the Baianian study focused only on urban public
schools, a considerable amount of variance between schools attributed to rural location or private administration could not be
taken into account.
As in Western studies, the highest amount of overall variance
can be attributed to factors on the individual level. However, only
13,4% of the within-school variance can be explained by conventional
characteristics such as socio-economic status, sex, and school career
variables. In order to enhance the understanding of the determinants of the individual learning process, characteristics regarding
the cultural and social capital of families might be considered in
further studies.
The assumption that school process characteristics are more important in successful schools than input conditions was confirmed.
However, the characteristics perceived by teachers and principals
contribute rather marginally to the explanation of between-school
variance. Here, the most influential factor is the supportive behaviour of teachers, as perceived by pupils. Supportive behaviour is a
professional ability that is more likely to be displayed by experienced
teachers and can be developed as part of the overall school climate
by well-qualified and experienced principals. In light of this, the
finding that schools with problematic composition characteristics
suffer from a lack of experienced and well-qualified teaching and
managing staff is rather alarming.
School composition factors are not only associated with human
resource factors, but also correspond to the presence of material
facilities and instructional materials. Moreover, the school climate
of schools located in marginalized areas is less productive, and the
behaviour of teachers (use of tests, expectations) not as professional,
than in schools located in less-marginalized areas. In all, teachers
and principals in socially marginalized schools face more problems
than their counterparts in other areas in creating a productive learning atmosphere. This finding can be seen as a demand for politicians
31/03/2010 16:00:25
to especially support schools which are at a disadvantage in terms

of attracting well-qualified and experienced teachers, but also in
terms of soft factors such as assistance programs and supportive
monitoring systems.
references
ASSOCIAO BRASILEIRA DE EMPRESAS DE PESQUISA. Critrio padro de
classificao econmica Brasil. [So Paulo], 2003. Disponvel em: <http://www.
abep.org/codigosguias/ABEP_CCEB_2003.pdf> Acesso em: 28. jul. 2009.
______. Critrio padro de classificao econmica Brasil/2008. [So Paulo], 2007.
Disponvel em: <http://www.viverbem.fmb.unesp.br/docs/classificacaobrasil.
pdf> Acesso em: 28. jul. 2009.
BACOLOD, Marigee P.; TOBIAS, Justin L. Schools, school quality and
achievement growth: evidence from the Philippines. Economics of Education
Review, v. 25, n. 6, p. 619-632, 2005.
BAKER, David P. et al. Socioeconomic status, school quality, and national
economic development: a cross-national analysis of the Heyneman-Loxley
effect on mathematics and science achievement. Comparative Education
Review, v. 46, n. 3, p. 291-312, 2002.
BEDI, Arjun S.; MARSHALL, Jeffrey H. School attendance and student
achievement: evidence from rural Honduras. Economic Development and
Cultural Change, v. 47, n. 3, p. 657-682, 1999.
CARRIM, Nazir; SHALEM, Yael. School effectiveness in South Africa.
International Journal of Qualitative Studies in Education, v. 12, n. 1, p. 59-83, 1999.
COHEN, Jacob. Statistical power analysis for the behavioral sciences. 2nd ed.
Hillsdale, N.J. : L. Erlbaum Associates, 1988.
COLEMAN, James S. et al. Equality of educational opportunity. Washington: U.S.
Dept. of Health, Education, and Welfare, Office of Education, 1966.
EDMONDS, Ronald. Effective schools for the urban poor. Educational
Leadership, v. 37, n. 10, p. 15-24, 1979.
ESPOSITO, Yara L.; DAVIS, Claudia; NUNES, Marina M. R. Sistema de
avaliao do rendimento escolar: o modelo adotado pelo estado de So
Paulo. Revista Brasileira de Educao, Rio de Janeiro, n. 13, p. 25-53, abr. 2000.
FULLER, Bruce; CLARKE, Prema. Raising school effects while ignoring
culture? Local conditions and the influence of classroom tools, rules, and
pedagogy. Review of Educational Research, v. 64, n. 1, p. 119-157, 1994.
______ et al. How to raise childrens early literacy? The influence of family,
teacher, and classroom in northeast Brazil. Comparative Education Review, v.
43, n. 1, p. 1-35, 1999.
31/03/2010 16:00:25
GLEWWE, Paul et al. An eclectic approach to estimating the determinants

of achievement in Jamaican Primary Education. The World Bank Economic
Review, v. 9, n.2, p. 231-258, 1995.
HANUSHEK, Eric A. Assessing the effects of school resources in developing
countries. Educational Evaluation and Policy Analysis, v. 19, n. 2, p. 141-164, 1997.
______. Interpreting recent research on schooling in developing countries:
an update. The World Bank Research Observer, v. 10, n. 2, p. 227-246, 1995.
HARBER, Clive; MUTHUKRISHNA, Nithi. School effectiveness and school
improvement in context: the case of South Africa. School Effectiveness and
School Improvement, v. 11, n. 4, p. 421-434, 2000.
HARBISON, Ralph W.; HANUSHEK, Eric A. Educational performance of the
poor: lessons from rural northeast Brazil. Oxford ; New York : World Bank,
Oxford University Press, 1992.
HEYNEMANN, Stephen P.; LOXLEY, William A. The effect of primary-school
quality on academic achievement across twenty-nine high- and low-income
countries. American Journal of Sociology, v. 88, n. 6, p. 1162-1194, 1983.
INEP. Primeiros resultados: medias de desempenho do SAEB/2005 em
perspective comparada. [Braslia, 2007] Disponvel em: <http://www.oei.es/
quipu/brasil/saeb2005.pdf >. Acesso em: 11. jun. 2009.
______. Relatrio SAEB 2001 Matemtica. Braslia, DF, 2002. Disponvel em:
<http://www.inep.gov.br/download/saeb/2001/relatorioSAEB_matematica.
pdf>. Acesso em: 11. jun. 2009.
JANSEN, Jonathan D. Effective schools? Comparative Education, v. 31, n. 2, p.
181-200, 1995.
JENCKS, Christopher et al. Inequality: a reassessment of the effect of family
and schooling in America. New York, Basic Books,1972.
KLEIN, Ruben. Como est a educao no Brasil? O que fazer?. Ensaio:
Avaliao e Polticas Pblicas em Educao, v. 14, n. 51, p. 139-172, abr./jun. 2006.
LEE, Valerie E. et al. School effectiveness in 14 Sub-Saharan African
Countries: links with 6th Graders Reading Achievement. Studies in
Educational Evaluation, v. 31, n. 2-3, p. 207-246, 2005.
MCEWAN, Patrick J.; MARSHALL, Jeffrey H. Why does academic
achievement vary across countries? Evidence from Cuba and Mexico.
Education Economics, v. 12, n. 3, p. 205-217, 2004.
MORTIMORE, Peter. The natures and findings of research on school
effectiveness in the primary sector. In: RIDDELL, Sheila; BROWN, Sally
(Eds.). School effectiveness research: its messages for school improvement. Edinburgh:
HMSO, p. 9-19, 1991.
OECD. Programme for International Student Assessment (PISA). PISA
Country Profiles. [2003] Disponvel em: <http://pisacountry.acer.edu.au/>.
Acesso em: 27. oct. 2009.
31/03/2010 16:00:25
OPDENAKKER, Marie-Christine; VAN DAMME, Jan. The relationship

between school composition and characteristics of school process and their
effect on mathematics achievement. British Educational Research Journal, v. 27,
n. 4, p. 407-432, 2001.
RAUDENBUSH, Stephen W.; BRYK, Anthony S. Hierarchical linear
models:applications and data analysis methods. 2nd ed. Thousand Oaks:
Sage Publications, 2002.
RIDDELL, Abby R. Assessing designs for school effectiveness research and
school improvement in developing countries. Comparative Education Review,
v. 41, n. 2, p. 178-204, 1997.
______. Focus on challenges to prevailing theories. An alternative approach
to the study of school effectiveness in third world countries. Comparative
Education Review, v. 33, n. 4, p. 481-497, 1989.
RUTTER, Michael et al. Fifteen thousand hours. Cambridge, Mass.: Harvard
University Press, 1979.
SCHEERENS, Jaap. Monitoring school effectiveness in developing countries.
School Effectiveness and School Improvement, v. 12, n. 4, p. 359-384, 2001.
______. School effectiveness in developed and developing countries: a review of the
research evidence. Paper prepared for the World Bank, 1999.
SCHEERENS, Jaap; BOSKER, Roel J. The foundations of educational effectiveness.
Oxford, OX ; New York, N.Y.: Pergamon, 1997.
STOLL, Louise; FINK, Dean. Changing our schools: linking school effectiveness
and school improvement. Buckingham [England] ; Philadelphia : Open
University Press, 1996.
TEDDLIE, Charles; STRINGFELD, Samuel. Schools make a difference: lessons
learned from a 10-year study of school effects. New York : Teachers College Press,
1993.
______ et al. The methodology and scientific properties of school
effectiveness research. In: TEDDLIE, Charles; REYNOLDS, David (Ed.). The
international handbook of school effectiveness research. London and New York:
Routledge, p. 55- 132, 2000.
THRUPP, Martin; LUPTON, Ruth. Taking school contexts more seriously: the
social justice challenge. British Journal of Educational Studies, v. 54, n. 3, p. 308328, 2006.
UNESCO. Strong foundations: early childhood care and education. EFA Gobal
Monitoring Report, 2007. Paris, 2006. Disponvel em: <http://unesdoc.
unesco.org/images/0014/001477/147794E.pdf >. Acesso em: 11. jun. 2007.
______. Laboratrio Latinamericano de Evaluacin de la Cualidad de la
Educacin (LLECE). First international comparative study of language, mathematics,
and associated factors in third and fourth grades. Santiago, 2001. Disponvel em:
<http://unesdoc.unesco.org/images/0014/001492/149268s.pdf>. Acesso em: 11.
jun. 2007.
31/03/2010 16:00:25
VAN HOUTTE, Mieke. Climate or culture? A plea for conceptual clarity in

school effectiveness research. School Effectiveness and School Improvement, v. 16,
n. 4, p. 71-89, 2005.
WANG, Margaret C. et al. Learning influences. In: WALBERG, Herbert J.;
HEARTEL, Geneva D. (Ed.). Psychology and educational practice. Berkeley, CA:
McCatchan, 1997. p. 199-211
WILLMS, Douglas J.; SOMERS, Marie-Andree. Family, classroom, and
school effects on childrens educational outcomes in Latin America. School
Effectiveness and School Improvement, v. 12, n. 4, p. 409-445, 2001.
ZHANG, Yanhong. Urban-rural literacy gaps in sub-saharan Africa: the roles
of socioeconomic status and school quality. Comparative Education Review, v.
50, n. 4, p. 581-602, 2006.
31/03/2010 16:00:25
How good is maimonides

rule? strengths and pitfalls
of using institutional
rules as instruments to
assess class size effects
Paulo A. Meyer M. Nascimento (IPEA)1
introduction
1 The author thanks the

British Council and the
Class size reductions are commonly perceived as a policy that can

positively impact on students outcomes.
The empirical evidence, though, is not as strong as the conventional belief. Traditionally, no consistent relationship has been identified between class sizes and student achievement. (VIGNOLES, et
al., 2000; WEBBINK, 2005) However, a growing number of studies
have been challenging the traditional findings by better tackling
potential biases caused by omitted variables, such as choices made
by parents and schools. Most of these have found some positive
effects associated with smaller classes (e.g. ANGRIST; LAVY, 1999;
AKERHIELM, 1995; BLATCHFORD, et al., 2002; CASE; DEATON, 1998;
KRUEGER, 1999; RIVKIN; HANUSHEK; KAIN, 2005), although some
still find either no relationship or larger classes being beneficial (e.g.
DOBBELSTEEN; LEVIN; OOSTERBEEK, 2002; HOXBY, 2000). These
analyses rely either on controlled experiments or on natural or
institutional changes that generate an exogenous variation in class
sizes comparable to randomised experiments. (WEBBINK, 2005)
Bahia State Foundation

for Research Support
(FAPESB), for financing
the studies that produced
this and other papers. He
is also thankful to Robert
Evan Verhine and Anna
Vignoles for their valuable
comments which helped
to improve the paper. All
remaining errors are his
own.
31/03/2010 16:00:25
This chapter will discuss how effectively institutional rules (i.e.

laws and regulations, such as Maimonides Rule in Israel) allow assessing the relationship between class size and student achievement.
In order to do that, it will focus on the strengths and limitations of
one of the most influential papers among the above cited ones. The
study under review is Angrist and Lavy (1999), often referred to by
others. It uses an instrumental variable that has been adapted and
applied elsewhere. (e.g. DOBBELSTEEN; LEVIN; OOSTERBEEK, 2002;
GARY-BOBO; MAHJOUB, 2006; LEUVEN, OOSTERBEEK; RONNING,
2005; URQUIOLA, 2006).
Before exploring in detail the reviewed study, a brief discussion
will situate the reader on the methodological issues concerning the
evaluation of class size effects (section 2) and the ways to possibly
deal with them (section 3). Then the reviewed paper will be described
(section 4) and analysed in terms of its purposes (section 5), as well
as in relation to the limitations of quantitative methods on policy
recommendations and how adding a qualitative element could
provide further insights into the quantitative findings (section 6).
Final remarks are subsequently made in section 7.
issues concerning the evaluation

of class size effects
Education economists often dedicate efforts to research the effects
of educational resources on student achievement, and class size
is regarded as one possible proxy for resources. Economic evaluations of educational interventions are frequently conducted through
education production functions. These see student performance
(e.g. in standardised tests) as the outcome of a cumulative process
of knowledge acquisition. (TODD; WOLPIN, 2003, cited in WEBBINK,
2005) This implies that todays performance is not a consequence
only of current efforts of the child or family and school inputs, but
rather a result of the full history of family (dis)advantage, school
effects and student endowments.
326 paulo a. meyer m. nascimento
31/03/2010 16:00:25
the endogeneity problem

The virtual impossibility of collecting data on all the possible relevant characteristics of students, their families and schools, reinforced by the failure of the economic theory in specifying all the
factors affecting achievement, bring about a key methodological
issue. (ANGRIST; KRUEGER, 2001; WEBBINK, 2005, citing KRUEGER,
1999) This issue is the probable omission of relevant variables and, consequently, a bias on the estimated effects of the intervention, in case these
unobserved factors are related both to the intervention and to the
performance indicator. (WEBBINK, 2005, p. 538)
The endogeneity of school quality is a special case of the omitted
variable bias. It arises because school quality is not independent of
schooling choices and, therefore, instead of exogenously determined,
it is actually the outcome of the interactions between the decisions
made by the educational stakeholders (parents, schools and the
government). As long as such stakeholders are able to make choices
that affect each others behaviour and decisions, school quality
will be positively correlated with the wealth and social advantage
of childrens families [and thus] some of the apparent gain from
additional school quality will in fact be a return to pupils socioeconomic background. (VIGNOLES, et al., 2000, p. 10)
In Figure 1 below, the key difficulty would lie in isolating the net
effects of school resources (vector 5), assuming that the childs socioeconomic characteristics affect his/her achievement both directly
and indirectly (through influences on resource allocation and on
the childs initial ability).
RESOURCES
SOCIOECONOMIC
CHARACTERISTICS
STUDENT OUTCOMES
4
ABILITY
Figure 1: A theoretical model of factors affecting student outcomes

Source: Unnever, Kerckhoff and Robinson (2000)
how good is maimonides rule? strengths and pitfalls of using institutional rules... 327
31/03/2010 16:00:25
In the case of assessing the causal effects of class size on student

performance, the endogeneity problem reflects two facts. On the one
hand, parents may choose where their offspring will study partly
based on the size of the classes advertised by schools. On the other
hand, the size and composition of the classes are determined by
schools. (DOBBELSTEEN, LEVIN; OOSTERBEEK, 2002) Consequently,
nave Ordinary Least Squares (OLS) regressions, by not considering
this problem, produce biased estimators that will be inconsistent
even in infinite samples, because the covariance between the error
term and the class size measure is not zero. (AVERETT; McLENNAN,
2004; LEVACIC, et al., 2005)
Therefore, the key issue is whether the relationships observed
between class size and achievement can be due to further confounding factors which have not been accounted for. (BLATCHFORD, et
al., 2002, p. 171)
heterogeneity
Reducing class sizes might impact differently on the achievement
of diverse student groups. The benefits of smaller classes may be
more associated with certain types of students and thus to specific
class compositions.
Indeed, Averett and McLennan (2004, p. 52) summarise that, for
studies effectively controlling for the endogeneity of class sizes, [...]
the weight of the evidence indicates to us that smaller classes do result
in higher student achievement for some students and some classes.
Hence, it is important to analyse not only the average class size effect
for the entire sample, but also its impact on different groups.
Quantile regressions, randomised control trials and matching
methods could be cited as examples of techniques that could control
for heterogeneity. Alternatively, estimating different regressions
for pupils with different characteristics (e.g. gender, social class,
ethnicity) could provide some information on the cases when class
size reductions are more effective.
31/03/2010 16:00:25
functional form
Most of the studies examining class size effects assume a linear
relationship between achievement and class size. (BLATCHFORD et
al., 2002) This assumption implies the same impact of reductions
regardless of initial class size.
Figlio (1999) rejects the linearity assumption for the effects of
school inputs on student outcomes and proposes a translog functional
form. Using quantile regressions, Eide and Showalter (1998, cited
in VIGNOLES, et al., 2000) also contest this assumption. Concerning
specifically the class size debate, Blatchford, et al. (2002) allow for
different marginal effects by employing cubic regression spline.
The uncertainty about the nature of the relationship is attributable to the lack of an established theoretical model guiding empirical
research. (FIGLIO, 1999) Notwithstanding, it is expected that quality
research will make it possible to test the functional forms used with
statistical rigour. (VIGNOLES, et al., 2000)
the clustering component in the data

Education is provided to students in different classes, schools and
districts or local authorities. The educational experience is likely to
be diverse for each pupil, but some common resources (e.g. teacher,
facilities) and experiences are shared by those at the same school
and, especially, by those in the same class. Therefore, when tested
by standardised tests, those students sharing a higher number of
common school factors are likely to present a narrower range of test
scores in comparison to the entire score distribution across schools.
In other words, there are intraschool correlations in pupils responses.
(STEELE; VIGNOLES; JENKINS, 2007)
Due to the hierarchical nature of educational data, models aiming to predict the class size effects on student performance should
allow for between-pupil, between-classroom and between-school
variations. (BLATCHFORD, et al., 2002)
31/03/2010 16:00:25
innovative methods to identify

causal effects in education
To overcome the methodological issues identified in the previous
section researchers employ various methods. The major objective
is to generate or isolate exogenous variations in class sizes, in order
to deal with the key issue i.e., the endogeneity problem. These
methods are summarised below.
randomised controlled trials

The most effective way to deal with the endogeneity problem is to
run well-designed randomised controlled experiments (GLEWWE,
2002), because random assignment of students to an experimental
and a control group eliminates bias of factors not observed by the
researcher. (KRUEGER, 1999 apud WEBBINK, 2005, p. 540) Nevertheless, experiments in education are costly and may face ethical and
political barriers, be affected by attrition and be difficult to replicate
in the wider population (LEVACIC, 2005), limiting the applicability of
their findings to specific policy interventions. (TODD; WOLPIN, 2003)
Furthermore, the absence of a blind trial may lead to Hawthorne
effects (i.e., participants awareness of being in an experiment and
their motivation to make it work driving the results towards a
particular direction, as pointed out by Hoxby, 2000).
The most famous class size experiment is the American Student/
Teacher Achievement Ratio (STAR) project in the 1980s. (DOBBELSTEEN,
LEVIN; OOSTERBEEK, 2002; KRUEGER, 1999; LEVACIC, 2005; WEBBINK,
2005) This experiments results pointed to higher achievement in
smaller classes (KRUEGER, 1999), although the validity of such findings
has been contested based on the criticisms mentioned above.
matching
Matching is a method based on the assumption that conditioning
on observables eliminates selective differences between programme
participants and non-participants that are not correctly attributed
31/03/2010 16:00:25
to the programme being evaluated. (HECKMAN, ICHIMURA; TODD,

1998, p. 282) This method aims to isolate the effect of an intervention
(e.g. class size reduction) by comparing two sets of observation units
(the treatment and the control groups) that are assumed identical
in all other relevant observable characteristics, except for receiving
treatment. This can be done by using the so-called balancing scores
b(X), i.e. functions of the relevant observed covariates X such that the
conditional distribution of X given b(X) is independent of assignment
into treatment. (CALIENDO; KOPEINIG, 2008, p. 32) A possible and
widely used balancing score is the propensity score matching, which
is the probability of participating in a programme given observed
characteristics X. (CALIENDO; KOPEINIG, 2008)
This technique is largely used in very diverse fields of study,
as Caliendo and Kopeinig (2008) indicate. In the evaluation of
class size effects, however, matching has not been used as much,
perhaps because it demands extensive sets of high quality pretreatment observables.
value-added models
Value-added models include the pupils previous ability in the equation, either as a control variable or as a component of the outcome
variable (e.g. student achievement defined as test score obtained in
time 1 minus test score obtained in time 0). It improves single equation educational production function models because it controls
for most of the childs family, school and learning history up to the
point when the baseline test was administrated.
However, value-added models do not sufficiently overcome the
endogeneity problem because even allowing for the childs initial
attainment, it may still be the case that the effect of the resourcing that
the child actually experiences is systematically related to their family
background and prior attainment. (VIGNOLES, et al., 2000, p. 13)
instrumental variables
Researchers use instrumental variable (IV) methods to obtain con-
31/03/2010 16:00:25
sistent estimators when relevant variables are likely to be omitted.

(WOOLDRIGE, 2002) The IV approach is a statistical treatment of
the data aiming to isolate the exogenous part of the variation in
class sizes (i.e. the part that is not determined by unobservable
factors, such as education stakeholders behaviour and pupils
ability, and is, therefore, random). The IV is a variable correlated
with the intervention but otherwise unrelated to the test score.
(WEBBINK, 2005, p. 540) The net effect of class size, or vector 5 in
Figure 1 above, can be estimated with Two Stage Least Squares (2SLS):
first, regressing class size on the IV and other exogenous variables,
and then regressing the test score on the variation in class size due to
the IV, together with other controls.
The IV approach has been frequently used to account for endogeneity of school quality variables. (STEELE; VIGNOLES; JENKINS,
2007) Instruments have been mainly derived from institutional rules
or natural variation. (NASCIMENTO, 2008; WEBBINK, 2005) The paper reviewed in the next sections is a widely cited example of an
institutional rule taken as an instrument.
angrist and lavys (1999) assessment

of class size effects in israel
the data set
Angrist and Lavy (1999) use data on test score from a national testing programme administrated in Israeli primary schools at the
end of the 1990-1991 and 1991-1992 academic years. Mathematics
and (Hebrew) reading skills were tested. Fourth and fifth graders
were given the achievement tests in the first year and third graders
in the second year. Data on class sizes came from administrative
sources and were collected between March and June of the school
year starting in September.
The unit of observation is the class although micro data on
students are available for third graders in 1992, for comparability
with the 1991 data, we aggregated the 1992 micro data up to the
31/03/2010 16:00:25
class level (pp. 537), which does not seem to concern the authors
as the literature on class size often treats the class as the unit of
analysis and not the pupil (pp. 546).
Average Maths and Reading scores for each class were linked with
data on school characteristics and class size from the administrative sources. Specifically, [t]he linked class-level data sets include
information on average test scores in each class, the spring class
size, beginning-of-the-year enrolment in the school for each grade, a
town identifier, and a school-level index of students socioeconomic
status that we call percent disadvantaged (PD). Also included are the
variables identifying the ethnic character (Jewish/Arab) and religious
affiliation (religious/secular) of schools (pp. 537-538).
The PD index, a function of pupils fathers education and continent of birth, and family size (pp. 538, footnote 8), was identified as
a key control variable because it is correlated with both enrolment
size and test scores (pp. 538). Arab schools were not included in the
study, not only because they were not given Reading tests in 1991,
but because no PD index was computed or published for them until
1994. Independent religious schools were also excluded, because
their curriculum differed significantly from the others. Therefore,
the study was restricted to the Jewish public school system. That
means over 2,000 classes per grade and about 62,000 pupils in total
were considered.
The average public school class in the data set had about 30 pupils,
and in average 78 students were enrolled per grade in each school.
Ten percent of classes had more than 37 pupils, and ten percent
had less than 22.
The authors note that the average score distributions were similar for fourth and fifth graders, but mean scores are markedly
higher, and the standard deviations of scores lower for third graders
(pp. 538). They attribute these differences to a probable [...] systematic test preparation effort on the part of teachers and school officials
in 1992, in light of the political fallout resulting from what were felt
to be disappointing test results in 1991. (ANGRIST; LAVY, 1999)
31/03/2010 16:00:26
maimonides rule as an instrument

Angrist and Lavy (1999) explain that the Israeli public school system
determines the division of enrolment cohorts into classes based
on a maximum class size rule derived by an interpretation of the
Babylonian Talmud made by the great twelfth century Rabbinic
scholar, Maimonides. This consuetudinary rule states a maximum
class size of 40.
The rule can be used as an identification method as it induces
a discontinuity in the relationship between enrolment and class
size at enrolment multiples of 40 (pp. 540). It means that class size
varies abruptly and predictably (HOXBY, 2000, p. 1252) every time
enrolment exceeds a multiple of 40, when a new class needs to be
formed. Put another way, at the points of discontinuity the school
average class size drops from 40 (when grade enrolment is 40, 80, 120
etc) to 20.5 (when the 41st, 81st, 121st etc student is enrolled), reflecting
an exogenous variation created by the institutional rule.
Therefore, Maimonides rule may be a good instrument for the
discontinuity sample (group of schools with enrolments in a range
close to the points of discontinuity).
Angrist and Lavy (1999) first propose a mixed-effect model that
accounts for school characteristics and class size, plus error terms
for each level (class, school and pupil). Student background (PD
index) is aggregated at the school level and goes into the vector of
school characteristics. For the ith student in class c and school s, the
authors write the education production function as follows:
(1)
They interpret the above equation as describing the average potential outcomes of students under alternative assignments of class sizes,
controlling for any effects of school characteristics and accounting
for random effects related to the child, the class and the school.
Given that they are only able to do comparable analysis between
grades at class-level, because the micro-level data are unavailable
for fourth and fifth graders, and considering the literature tendency
to treat the class as the unit of analysis, the authors group the first
31/03/2010 16:00:26
equation in the class-level estimating equation of the form below

(over bars denote averages):
(2)
These initial equations, however, do not account for the endogeneity problem. To do that, a 2SLS is performed. The notation for
the first-stage relationship is expressed as (fsc being the class-size
function derived from the Maimonides rule):
(3)
Therefore, the institutional rule of no more than 40 is the instrument predicting the actual class size experienced by a particular
student.
After equation 3 is estimated, the second stage is done using equation 2, which gives, for the discontinuity sample, the effect on the
test scores of the variation in class size due to the IV. The authors
present a variety of both OLS and 2SLS estimates for each grade.
main findings and conclusions

Angrist and Lavy (1999) find some positive effects on class size reductions, particularly for fifth graders, for whom such effects were
large for both Reading and Maths scores. Smaller effects were found
for Reading scores of fourth graders, whose Maths scores were not
significantly affected by the size of the classes, though pooled
estimates for fourth and fifth graders are significant and precise on
both tests (pp. 569). No relationship was found for third graders. The
authors conjecture that these results might indicate a cumulative
effect of class size reductions (i.e. years experiencing small classes
may be required before any benefits become noticeable).
Published when a bill imposing a new maximum class size of 30
was being discussed in the Israeli Parliament, Angrist and Lavys
(1999) paper asserts that such a change could have an impact
31/03/2010 16:00:26
equivalent to moving two deciles in the 1991 distribution of class

averages (pp. 569).
It is also considered that the results presented are unlikely to be
relevant for other countries, where schools may experience other
class size averages and range, in addition to cultural, political and
economic differences. This is a consequence of the fact that instrumental variables provide an estimate for a specific groupnamely,
people whose behavior can be manipulated by the instrument.
(ANGRIST; KRUEGER, 2001, p. 77)
Finally, the study highlights that without tackling the endogeneity
problem, the findings would guide to misleading conclusions, as [t]he
raw positive correlation between achievement and class size is clearly
an artefact of the association between smaller classes and the proportion of pupils from disadvantaged backgrounds (pp. 569), suggesting
that those who look solely at traditional literature may be prematurely
assuming no causal effects of school resources on learning.
a critique of angrist and lavy (1999)

the distinctiveness of the study
Angrist and Lavy (1999) became quickly a classical reference for
discussing the IV approach as a method to isolate the exogenous
portion of class size determination. This may be partly due to the
clarity and simplicity of the adopted identification strategy, and
mostly because, for specific class size ranges, the instrument shows
correlation with the explanatory variable of interest and is generally
accepted as uncorrelated with achievement.
The study is, therefore, illustrative of how institutional rules can
establish a discontinuous relationship between enrolment and class
size and, consequently, be considered analogous to running a field
experiment. (DOBBELSTEEN, LEVIN; OOSTERBEEK, 2002)
Moreover, it is certainly relevant, in terms of policy recommendations, for the Jewish educational public system in Israel, where
Maimonides rule operates.
31/03/2010 16:00:26
the limitations of the study

In spite of its contributions to ongoing class size debate, the study
by Angrist and Lavy (1999) suffers from a number of limitations.
First, as the authors themselves point out, the presented findings
are unlikely to be relevant for policy decisions in any setting other
than the Jewish public school system in Israel. This is so because
different educational systems are subject to different incentives and
constraints raised by cultural, social, economic, political and institutional factors. Even within Israel, the school systems excluded from
the analysis (Arab schools and Jewish independent private schools)
are unlikely to present the same responsiveness to class size rules.
Second, as admitted by the authors, the adopted identification
strategy is valid only for a restricted sub-sample of Jewish public
schools (the discontinuity sample) where grade enrolment sizes
are around the class discontinuity points (40, 80, 120 etc). As Hoxby
(2000, p. 1253) puts it:
[I]f one uses a rule that binds only in some schools, one learns
about the effects of class size only for those schools. For
instance, in Angrist and Lavys [1999] data, the maximum
class size rule does not bind in districts that serve well-off
households. It is useful to estimate the effect of class size only
for less-well-off students, but one must be careful to interpret the results appropriately. If better-off districts actually
have maximum class size rules of their own that they follow,
then using a statewide rule that does not bind everywhere is
throwing away useful variation.
Indeed, the analysis of Angrist and Lavy (1999) is relevant only for
the discontinuity sample, which includes solely schools with grade
enrolments in the set of intervals {[36,45], [76,85], [116,125]}. This corresponds to less than 25% of all classes. Concerning the groups most
affected, though, Angrist and Lavy (1999, p. 567) remark that:
[T]he analysis of affected groups indicates that the estimates
presented here are affected disproportionately by smaller
schools and by schools with fewer disadvantaged pupils than
31/03/2010 16:00:26
average, although the variation in impact along this second

dimension is much more modest than the first.
Apart from the groups that are most affected by the Maimonides
rule, two different class or school sub-samples may present distinct
class size ranges within which variations are worth checking in order
to identify the upper size limit above which reductions are more efficacious. (HOXBY, 2000) For example, for one sub-sample the useful
variation in class size may be situated between 16 and 25 students,
while for another it could be between 20 and 29. Then it would be
unclear whether the greater efficacy was due to decreasing returns
to reductions in class size or greater efficacy in the sort of schools
that typically choose higher maximum class sizes. (HOXBY, 2000, p.
1254, footnote 10) This problem would demand an examination of
the observation units with lower and higher maximum class sizes
which Angrist and Lavy (1999) are unable to do for the classes and
schools unaffected by the Maimonides rule.
Hoxby (2000) draws attention to another shortcoming of Angrist
and Lavy (1999). She demonstrates that predicted class size is not a
valid instrument except when the rule triggers a change in the number of classes (HOXBY, 2000, p. 1252), because it varies with actual
enrolment, which is, in turn, correlated with school characteristics
and the residual term. This implies a requirement to discard the
suspected observations (those not affected by the rule) that lie
between the discontinuity points, although Angrist and Lavy [1999]
[] are able to do only some of the desirable discarding because
their cross-sectional data contain too few occurrences of enrolment
in the right ranges. (HOXBY, 2000, p. 1253)
overall strengths and weaknesses

Given the aspects highlighted in subsections 5.1. and 5.2. above, it
could be argued that Angrist and Lavy (1999) represents a key paper
in the class size debate because it pioneered the application of an
institutional rule that does generate exogenous variations in class
sizes. Although the study is a worldwide reference for research
31/03/2010 16:00:26
on the effects of class size reduction, the findings are specifically

relevant for a particular educational setting a shortcoming that
has been widely observed.
The overall strengths and weaknesses of Angrist and Lavy (1999)
are better assessed by looking at the extent to which they effectively
deal with the methodological issues summarised in section 2.
The endogeneity problem

The paper does address the endogeneity problem. It uses the Maimonides rule on maximum class sizes to isolate the net effect of class size
variations on student achievement in Jewish public schools in Israel.
However, as discussed previously, the predicted class size derived
from the Maimonides rule is a valid instrument only for the cases
where the institutional rule generates discontinuities in the average
class sizes this is called LATE Local Average Treatment Effect;
for elaboration on this, see Imbens and Angrist (1994), Angrist and
Krueger (2001).
Therefore, for most of the total sample of classes, the endogeneity
problem persists.
Heterogeneity
The paper controls for differences in the impact of class size reduction across groups by characterising affected groups on the basis
of some observables and comparing their means. Heterogeneity
is thus tackled for the groups of classes and schools for which the
authors have data to run comparisons (namely, school and class
composition with proxy provided by the PD index, and school size
based on number of enrolments).
Additionally, it is worth keeping in mind that the Maimonides rule
seems to be effective only at schools with a high PD index. This fact
per se restricts, regardless of the authors intents, the papers estimates
to disadvantaged schools a point highlighted by Hoxby (2000).
The functional form

As discussed before, there is no theoretical model guiding the class
size debate on the appropriateness of alternative functional forms
31/03/2010 16:00:26
to describe hypothesised relationships with student achievement.

Nonetheless, methodologically strong studies are expected to test
different educational production functions. The reviewed article
does not fail in that respect.
The clustering component in the data

The authors acknowledge clustering in a conventional econometric
manner; they allow for class and school fixed effects and adapt the
standard errors to capture clustering components. Nonetheless,
they do not use the most efficient method to handle hierarchical
data i.e. multilevel models as described in statistical textbooks
such as Bryk and Raudenbush (2002), Snijders and Bosker (1999)
and Goldstein (1995).
In spite of these considerations, it is worth adding that the instrumental variable method used by Angrist and Lavy (1999) and
by most of the recent research on education production functions
(including Hoxby, 2000) is not exempted from questioning on its
effectiveness to tackle endogeneity and the other methodological
problems discussed here (see Steele, Vignoles and Jenkins (2007) for
a detailed discussion).
beyond the big numbers: further

insights that could have been
added by a qualitative study
Some of the findings presented by Angrist and Lavy (1999) do not
provide elements for vigorous conclusions or policy recommendations.
This is exemplified in the following quote from the reviewed paper:
The average score distributions for fourth and fifth grade
classes are similar, but mean scores are markedly higher,
and the standard deviations of scores lower for third graders. We believe the difference across grades is generated by
a systematic test preparation effort on the part of teachers
and school officials in 1992, in light of the political fallout
31/03/2010 16:00:26
resulting from what were felt to be disappointing test results

in 1991. (ANGRIST; LAVY, 1999, p. 538)
The finding under consideration here is the significant difference

in average score distributions between fourth and fifth graders,
tested in the first year of the programme (1991), and third graders, tested in the programmes second year (1992). Based solely on
quantitative data, Angrist and Lavy (1999) were only able to make
an informed guess in attempting to explain the observed difference.
They conjecture that such differences are possibly a result of the
teachers and school officials response to the negative repercussion
of overall bad results for fourth and fifth graders in 1991. The authors
hypothesise that in 1992, as a reaction for the results obtained in the
year before, teachers and school officials may have put extra effort
to prepare third graders to sit for the national exams that year.
This is the authors hypothesis. However, they cannot ensure
that this was the case, because they only have quantitative data
available. To uncover the actual behaviour of teachers and school
officials after the release of the 1991 test results, and whether this
behaviour was any different and likely to impact on pupils achievement, a complementary qualitative research element would have
been necessary. This qualitative element could assume various designs, such as semi-structured interviews, focus groups, observation
or some other form of the ethnographic approach, and should be
conducted with teachers and school administrators at the schools,
particularly those that shown a bigger difference in average scores
between the tests administrated in 1991 and 1992.
The complementarily roles of quantitative and qualitative methods in educational research have been identified and defended by
many educational analysts. (EISNER, 1979; LOCKHEED; HARRIS, 2005;
SALOMON, 1991) The interactions between the two methods enrich
the research design, providing a wider range of conclusions and a
deeper understanding of policy implications:
Statistical models are good at estimating overall effects and,
when extended into a multilevel framework, enable the
31/03/2010 16:00:26
variability of effects to be estimated. If, however, we aim

for an understanding of just why this variability arises then
data generated from qualitative approaches [] are valuable.
(PLEWIS; MASON, 2005, p. 185)
Salomon (1991) discusses the complementary roles of quantitative and qualitative methods with examples of studies that seem to
address the same question but are, in reality, exploring completely
different aspects of it and reaching, therefore, considerably different
conclusions which are not necessarily mutually excluding. Greene
et al. (1989), cited in Lockheed and Harris (2005), enumerates three
ways in which quantitative and qualitative approaches complement
each other:
Qualitative studies are used first to construct theory and guide
the development of instruments later used in quantitative
studies.
Qualitative methods are used at the same time as quantitative
ones for triangulation.
Qualitative methods are used after quantitative ones to
provide deeper understandings of the findings brought by
quantitative data.
In the example gin this section, an application of the third way
is suggested: a qualitative field research follows the achievement
tests to find out how the intervention impacts on the behaviour of
the agents involved.
Notwithstanding, any of the three ways listed above could be used
to shed light on gray areas of the educational production function approach. For example, quantitative data might reveal some resources
being more effective than others, but they do not reveal how the
use of certain resources, rather than others, is translated into better
student achievement. It is likely that a triangulation, for example,
using both quantitative and qualitative methods could provide some
useful insights on that. Similarly, it is possible that the theoretical
model that economists so frequently proclaim as lacking in the
education production function approach will eventually emerge
31/03/2010 16:00:26
from qualitative studies aiming to map the inter-relationships that

define the direction and strength of the vectors identified in Figure
1 shown in section 2 of this essay.
Certainly, from the findings presented by Angrist and Lavy (1999),
yet other relevant information could be obtained by policy makers
from qualitative studies. In particular, one could desire to know why
some groups are more sensitive to class size reductions than others.
What makes disadvantaged students benefit more from smaller
classes than their better-off peers? And what changes in the class
environment are perceived by teachers, school officials, parents and
students that might explain why, for those attending smaller classes,
the test scores were significantly different from their counterparts
with similar background who happened to be in schools presenting
enrolment sizes just under the discontinuity point?
Answers for these questions would not come from the data analysed by Angrist and Lavy (1999). If such answers can be found at all,
then it is more likely that these would emerge from qualitative
data, focusing, for example, on changes in the way teachers teach
and pupils behave in smaller classes. Therefore, Israeli policy makers could probably have benefited much more from the 1991-1992
national testing programme if they had followed the quantitative
data collection up with a qualitative research on the changes in
school environment and on the perceptions and behaviour changes
of teachers, school administrators, parents and pupils.
final remarks
This chapter began by discussing the methodological issues concerning the evaluation of class size effects, and then summarised how the
relevant literature deals with them. This sets the ground to analyse
the strengths and weaknesses of Angrist and Lavy (1999). The paper
by these two authors is well-known for taking advantage of an institutional rule on maximum class size existing in the Jewish public
educational system in Israel to construct an effective instrumental
variable that causes discontinuity in specific enrolment sizes and
31/03/2010 16:00:27
thus induces an exogenous variation in class sizes for sub-samples

situated just after the point of that discontinuity. Following the
critique on the reviewed study, some examples were given of how
a qualitative element could have provided further insights into the
quantitative findings.
It was shown that, despite some shortcomings that do not diminish their distinctiveness to the related literature, Angrist and Lavy
(1999) provide useful policy insights for the class size debate in Israel,
although the policy implications could have been far clearer if a
qualitative approach attempted to uncover some points that were
out of the inference capacity of quantitative methods.
Overall, the use of institutional rules as an instrumental variable
to assess class size effects should be used with caution. When using an institutional change such as the Maimonides rule, one can
look, at most, at its effects on a particular sample extracted from
a specific context that was directly affected by the law statement.
Researchers eager to apply similar instruments must be very careful when drawing conclusions, as their findings are likely to face
the same constrains pointed out here to Maimonides rule. They
should also be aware that there is more underlying the relationship
between class sizes and student achievement than numbers alone
can uncover and thus a research design combining quantitative
and qualitative methods would potentially provide broaden and
deeper insights on this topic.
references
AKERHIELM, K. Does class size matter? Economics of Education Review, v. 14, n.
3, p. 229-241, Sep. 1995.
ANGRIST, J. D.; LAVY, V. Using maimonides rule to estimate the effect of
class size on scholastic achievement. The Quarterly Journal of Economics, v. 114,
n. 2, p. 533-575, Mar. 1999.
______; KRUEGER, A. B. Instrumental variable and the search for
identification: from supply and demand to natural experiments. Journal of
Economic Perspectives, v. 15, n. 4, p. 69-85, 2001.
AVERETT, S. L.; McLENNAN, M. C. Exploring the effect of class size on
student achievement: what have we learned over the past two decades?
31/03/2010 16:00:27
In: JOHNES, G.; JOHNES, J. (Ed.). International handbook on the economics of

education. Cheltenham, UK; Northhampton, MA: Edward Elgar, c2004.
BLATCHFORD, P. et al. A study of class size effects in english school reception
year classes. British Educational Research Journal, v. 28, n. 2, p. 169-185, 2002.
BRYK, A. S.; RAUDENBUSH, S. W. Hierarchical linear models: applications and
data analysis methods. 2nd ed. Newbury Park: Sage Publications, 2002.
CALIENDO, M.; KOPEINIG, S. Some practical guidance for the
implementation of propensity score matching. Journal of Economic Surveys, v.
22, n. 1, p. 31-72, 2008.
CASE, A.; DEATON, A. School quality and educational outcomes in South Africa.
Princeton, New Jersey: Center for Research on Child Wellbeing, 1998.
(Working Paper, #98-08). <http://crcw.princeton.edu/workingpapers/WP9808-Case.pdf.>
DOBBELSTEEN, S.; LEVIN, J.; OOSTERBEEK, H. The causal effect of class size
on scholastic achievement: distinguishing the pure class size effect from
the effect of changes in class composition. Oxford Bulletin of Economics and
Statistics, v. 64, n. 1, p. 17-38, Feb. 2002.
EISNER, E. W. The use of qualitative forms of evaluation for improving
educational practice. Educational Evaluation and Policy Analysis, v. 1, n. 6, p.
11-19, 1979.
FIGLIO, D. Functional form and the estimated effects of school resources.
Economics of Education Review, v. 18, n. 1, p. 241-252, Apr. 1999.
GARY-BOBO, R. J.; MAHJOUB, M. B. Estimation of class-size effects, using
Maimonides Rule: the case of french junior high schools. London: Centre
for Economic Policy Research, 2006. (CEPR Discussion Papers, 5754).
GLEWWE, P. Schools and skills in developing countries: education policies
and socioeconomic outcomes. Journal of Economic Literature, v. 40, n. 2, p. 436482, Jun. 2002
GOLDSTEIN, H. Multilevel statistical models. 2nd ed. London : E. Arnold ; New
York : Oxford University Press, 1995.
HECKMAN, J. J.; ICHIMURA, H.; TODD, P. Matching as an econometric
evaluation estimator. Review of Economic Studies, v. 65, n. 2, p. 261-294, Apr. 1998.
HOXBY, C. The effects of class size on student achievement: new evidence
from population variation. The Quarterly Journal of Economics, v. 115, n. 4, p.
1239-1285, Nov. 2000.
IMBENS, G. W.; ANGRIST, J. D. Identification and estimation of local
average treatment effects. Econometrica, v. 62, n. 2, p. 467-475, Marc. 1994.
KRUEGER, A. B. Experimental estimates of education production functions.
The Quarterly Journal of Economics, v. 114, n. 2, p. 497-532, May 1999.
LEUVEN, E.; OOSTERBEEK, H.; RONNING, M. Maimonides goes to Norway: class
size in primary and lower secondary schools and student achievement. In:
SECOND NETWORK WORKSHOP OF THE RTN ECONOMICS OF EDUCATION
31/03/2010 16:00:27
AND EDUCATION POLICY IN EUROPE. Uppsala, Sweden: CEPR/IFAU/

Uppsala Universitet, 2005.
LEVACIC, R. The resourcing puzzle: the difficulties of establishing causal links
between resourcing and student outcomes. London: Institute of Education
University, 2005.
______. et al. Estimating the relationship between school resources and pupil
attainment at key stage 3. London: Institute of Education University, 2005.
LOCKHEED, M.; HARRIS, A. M. Beneath education production functions: the
case of primary education in Jamaica. Peabody Journal of Education, v. 80, n. 1,
p. 6-28, 2005.
NASCIMENTO, P. A. M. M. School resources and student achievement:
Worldwide findings and methodological issues. Educate~ Special Issue, p. 1930, Mar. 2008.
PLEWIS, I.; MASON, P. What works and why: combining quantitative and
qualitative approaches in large-scale evaluations. International Journal of
Social Research Methodology, v. 8, n. 3, p. 185-194, Jul, 2005.
RIVKIN, S.; HANUSHEK, E. A.; KAIN, J. F. Teachers, schools, and academic
achievement. Econometrica, v. 73, n. 2, p. 417-458, Mar. 2005.
SALOMON, G. Transcending the qualitative-quantitative debate: the analytic
and systemic approaches to educational research. Educational Researcher, v.
20, n. 6, p. 10-18, 1991.
SNIJDERS, T. A. B.; BOSKER, R. J. Multilevel analysis: an introduction to basic
and advanced multilevel modeling. London ; Thousand Oaks, Calif. : Sage
Publications, 1999.
STEELE, F.;VIGNOLES, A.; JENKINS, A. The effect of school resources on
pupil attainment: A multilevel simultaneous equation modelling approach.
Journal of Royal Statistical Society - Series A, v. 170, n. 3, p. 801-824, 2007.
TODD, P. E.; WOLPIN, K. I. On the specification and estimation of the
production function for cognitive achievement. Economic Journal, v. 113, n.
485, p. F3-F33, 2003.
UNNEVER, J.; KERCKHOFF, A.; ROBINSON, T. District variations in the
educational resources and student outcomes. Economics of Education Review, v.
19, n. 3, p. 245-259, 2000.
URQUIOLA, M. Identifying class size effects in developing countries:
evidence from rural Bolivia. Review of Economics and Statistics, v. 88, n. 1, p.
171-177, May 2006.
VIGNOLES, A. et al. The relationship between resource allocation and pupil
attainment: a review (Research report 228). London: Centre for the Economics
of Economics Education, 2000.
WEBBINK, D. Causal effects in education. Journal of Economic Surveys, v. 19, n.
4, p. 535-560, 2005.
WOOLDRIDGE, J. M. Introductory econometrics: a modern approach. 2nd ed.
Cincinnati, OH : South-Western College, 2002.
31/03/2010 16:00:27
Sobre os autores
Claudia Schuchart Professora do Center for Educational Research and
Teacher Training, Wuppertal University (Alemanha)
Joice Ferreira da Silva Professora universitria, possui graduao em
Psicologia pela Universidade Federal da Bahia e mestrado em Psicologia
pela mesma instituio. Atua principalmente nos seguintes temas: relaes
intergrupais, percepo social, crenas compartilhadas, esteretipos, preconceito, discriminao, cotas universitrias, ciberespao e metodologia
de pesquisa. Tem publicado artigos acadmicos nessas reas.
Jorge Luiz Lordlo de Sales Ribeiro Psiclogo, mestre em LingusticaUFBA, doutor em EducaoUFBA, professor do Instituto de Psicologia da
Universidade Federal da Bahia. Tem experincia na rea de ensino da Psicologia, psicologia clnica, avaliao psicolgica e orientao profissional.
Jos Albertino Carvalho Lordlo Doutor em Educao. Foi coordenador
da Linha de Pesquisa de Polticas e Gesto da Educao, membro da Comisso Prpria de Avaliao da UFBA, e atualmente coordena o Programa
de Mestrado e Doutorado em Educao da UFBA. Membro da CPA-UFBA.
Lanara Guimares de Souza Pedagoga, professora universitria, mestre
em Educao pela Universidade do Estado da Bahia (UNEB), doutoranda
em Educao pela UFBA. Membro do Grupo de Pesquisa em Avaliao da
Faculdade de Educao da UFBA. Atua como tcnica em Assuntos Educacionais do Ministrio da Educao e como docente da Faculdade Social
da Bahia.
Lys M. V. Dantas Doutora em Educao e assessora da Diretoria Cientfica
da Fundao de Amparo Pesquisa do Estado da Bahia (FAPESB).
Marcelo Faria Professor universitrio e do ensino mdio, gegrafo,
mestre em Geografia pela USP e doutorando em Educao pela UFBA. Tem
publicado artigos no campo da Geografia e Cincias Sociais.
31/03/2010 16:00:27
Mrcia Pontes Professora Adjunta da Faculdade de Educao (ex-membro da Comisso Central de Avaliao da Graduao CCEAG-UFBA). Tem
mestrado em Educao pela Universidade de Michigan (EUA) e Especializao em Filosofia na Universidade de Nancy. Foi assessora tcnica da
Secretaria de Educao da Prefeitura de Camaari. Atua nas reas de
Planejamento, Organizao e Gesto da Educao Bsica e Superior, e
Filosofia da Educao.
Marcos Emanoel Pereira Doutor em Psicologia e professor associado da
Universidade Federal da Bahia, exercendo a docncia, tanto na graduao
quanto na ps-graduao em psicologia. Coordena o LEPPS (Laboratrio de
Estudos Psicolgicos e Sociais) e autor do blog Esteretipos e a psicologia
social (http://estereotipos.net). Tem como principal interesse terico o
estudo dos esteretipos, tema sobre o qual publicou diversos artigos e o
livro Psicologia social dos esteretipos (EPU, 20002).
Maria Antnia Brando de Andrade Doutoranda em Educao pela
Universidade Federal da Bahia, bolsista da CAPES-CNPq, membro do Instituto do Conhecimento Latino-Americano ICLA e do Grupo de Avaliao
da UFBA.
Maria Virgnia Machado Dazzani Graduada em Psicologia-UFBA, fez
mestrado e doutorado em Educao. Realizou estgio de pesquisa na Purdue
University (Estados Unidos) junto ao Peirce Edition Project. Atualmente
Visiting Scholar do Departamento de Psicologia, na Clark University (Estados
Unidos). Tem artigos publicados em revistas especializadas sobre psicologia
da educao e tem no prelo o livro Rorty & Educao (Ed. Autntica).
Maringela Silva de Matos Professora adjunta da Faculdade de Odontologia-UFBA e daEscola Bahiana de Medicina e Sade Pblica, mestre
em Odontologia pela UFBA e doutora em Educao pela UFBA. Tem publicaes em peridicos especializados e livros no campo da odontologia
e formao profissional.
Paulo A. Meyer M. Nascimento Tcnico de Pesquisa e Planejamento do
Instituto de Pesquisa Econmica Aplicada (IPEA). Bacharel em Economia e
em Direito, Mestre em Economia da Educao pelo Institute of Education,
348 sobre os autores
31/03/2010 16:00:27
University of London (Inglaterra). J desempenhou funes de coordenao

nas secretarias de Educao e de Cincia, Tecnologia e Inovao do Estado
da Bahia, alm de ter tido passagem tambm pela Fundao de Amparo
Pesquisa do Estado da Bahia (FAPESB).
Rivailda Silveira Nunes de Argollo Mestranda da linha de Pesquisa
Poltica e Gesto da Educao do Programa de Ps-Graduao (Faced/
UFBA). Pesquisadora do Grupo de Avaliao (Faced/UFBA). especialista
em Avaliao pela UnB (1999), Educao de Jovens e Adultos pelo CEFET-BA
(2007), Gesto de Instituies Educacionais (1998). Graduao em Administrao Pblica (1994) e em Anlise Qumica Industrial (1987) pela UFBA.
Atualmente, coordenadora da Comisso Prpria de Avaliao (CPA) do
Instituto Federal de Educao, Cincia e Tecnologia da Bahia (IFBA). Tem
experincia na rea de Administrao e Educao, com nfase em Planejamento, Gesto e Avaliao.
Robert E. Verhine Doutor em Educao, Universitat Hamburg (1992)
professor associado da Faculdade de Educao da Universidade Federal
da Bahia (UFBA) e diretor cientfico da Fundao de Apoio Pesquisa do
Estado da Bahia (FAPESB). Ocupa a Vice-Presidncia da Sociedade Brasileira
de Educao Comparada (SBEC), membro da Comisso Nacional de Avaliao do Ensino Superior (CONAES) e do Comit Cientfico da Associao
Brasileira para a Avaliao Educacional (ABAVE).
Robinson Moreira Tenrio Doutor em Educao pela Universidade
de So Paulo, ps-doutorado pela Univesit de Paris 7 (Frana). Professor
Adjunto da Faculdade de Educao da Universidade Federal da Bahia,
coordenador da Linha de Pesquisa em Polticas e Gesto da Educao e
coordenador do Grupo de Pesquisa em Avaliao.
Rosana de Freitas Castro Possui bacharelado em Estatstica pela Universidade de Braslia (1980), mestrado em Estatstica pela Associao Instituto Nacional de Matemtica Pura e Aplicada (IMPA) (1990) e doutorado
em Educao pela Universidade Federal da Bahia (UFBA). Atualmente,
professora do Departamento de Estatstica da UFBA. Tem experincia em
anlise multivariada e modelagem de dados de avaliaes educacionais
de larga escala utilizando modelos lineares hierrquicos
31/03/2010 16:00:27
FORMATO
TIPOGRAFIA
PAPEL
18x25 cm
Swift e Priva
Alcalino 75 g/m2 (miolo)
Carto Supremo 250 g/m2 (capa)
IMPRESSO
CAPA E ACABAMENTO
TIRAGEM
Setor de reprografia da EDUFBA

Cian Grfica
500 exemplares
31/03/2010 16:00:27

Lordelo 9788523209315 PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Lordelo 9788523209315 PDF

Uploaded by

Copyright:

Available Formats

Avaliacao educacional

Jose Albertino Carvalho Lordlo

SciELO Books / SciELO Livros / SciELO Libros

UNIVERSIDADE FEDERAL DA BAHIA

EDITORA DA UNIVERSIDADE FEDERAL DA BAHIA

Linha de Pesquisa: Poltica e Gesto da Educao

2009 by Jos Albertino Carvalho Lordlo e Maria Virgnia Dazzani

UFBA / Faculdade de Educao Biblioteca Ansio Teixeira

EDUFBA Rua Baro de Jeremoabo, s/n Campus de Ondina,

Ameaa dos esteretipos no desempenho intelectual

avaliao educacional: desatando e reatando ns 7

O objetivo desse captulo fazer uma reflexo sobre o campo da

crise das universidades pblicas, acarretando profundas mudanas

avaliao educacional: desatando e reatando ns 9

Instituto Federal de Educao Cincia e Tecnologia (antigo CEFET-BA).

trumento de aperfeioamento do ensino em odontologia que, alm de uma

avaliao educacional: desatando e reatando ns 11

alunos da Educao Superior desde a experincia do ENADE em seu

A pesquisa, de natureza experimental, apresenta um delineamento

avaliao educacional: desatando e reatando ns 13

Abordando conceitos como modelos hierrquicos, eficcia

inputs permanecem os mesmos. analisado o impacto do ambiente

avaliao educacional: desatando e reatando ns 15

escolhas feitas por formuladores de poltica, gestores escolares, pais e

e despolitizada existe porque as avaliaes de polticas educacionais

o contexto econmico e poltico do

18 lanara guimares de souza

mundialmente, no plano ideolgico, se produziram uma srie de

avaliao de polticas educacionais: contexto e conceitos em busca da avaliao pblica 19

pautado no controle social e na autonomia, com responsabilidade

20 lanara guimares de souza

publicao dos resultados escolares, abrindo espao para a realizao

a avaliao de polticas educacionais:

avaliao de polticas educacionais: contexto e conceitos em busca da avaliao pblica 21

22 lanara guimares de souza

deslocam-se os conflitos do campo das polticas para o do mtodo

avaliao de polticas educacionais: contexto e conceitos em busca da avaliao pblica 23

tituiriam nos atores que reagem a reificao e burocratizao dos

24 lanara guimares de souza

pao poltica e valores que se traduzem como um ato de interveno

avaliao de polticas educacionais: contexto e conceitos em busca da avaliao pblica 25

caso da educao a avaliao nesta rea do conhecimento deve

26 lanara guimares de souza

sensu, mas tambm custos e benefcios polticos. Distingue-se, nesse

A introduo da dimenso poltica complexifica a avaliao e

avaliao de polticas educacionais: contexto e conceitos em busca da avaliao pblica 27

sua histria, seus valores, torna-se parcialmente til para os gestores

28 lanara guimares de souza

CHAU, Marilena. Cultura e democracia: o discurso competente e outras falas.

avaliao de polticas educacionais: contexto e conceitos em busca da avaliao pblica 29

amadurecimento nos anos 80, quando foram observados os seguintes

32 robinson moreira tenrio & maria antonia brando de andrade

cadolgicas e dos interesses governamentais. Esse tem sido um

reforma do estado e seus impactos

a avaliao da educao superior no brasil: desafios e perspectivas 33

1) Privatizao desse nvel de ensino, sobretudo em pases

Ainda no contexto das polticas neoliberais, no que se refere

34 robinson moreira tenrio & maria antonia brando de andrade

O lugar cedido iniciativa privada trouxe uma nova estrutura e

a avaliao da educao superior no brasil: desafios e perspectivas 35

O sistema de avaliao, portanto, amplia o controle do Estado e

a trajetria da avaliao da educao

36 robinson moreira tenrio & maria antonia brando de andrade