Avaliação Sumativa Ana Lúcia de Souza Freitas

A Avaliao Qualifica a Educao?
Publicao Trimestral Associao Nacional de Educao Catlica do Brasil

Diretoria Nacional
Diretor Presidente - Pe. Jos Marinoni, SDB Diretor 1 Vice-Presidente - Pe. Marcelo Fernandes de Aquino, SJ Diretor 2 Vice-Presidente - Ir. Clemente Ivo Juliatto, FMS Diretor 2 Secretrio - Pe. Christian de Paul de Barchifontaine, MI Diretor 1 Tesoureiro - Ir. Joaquim Juraci Farias de Oliveira, FMS Diretor 2 Tesoureiro - Pe. Guido Aloys Johanes Kuhn, SJ Diretora 1 Secretria - Ir. Ana Maria Paes
Conselho Superior
Presidente - Prof. Dom Joaquim Giovani Mol Guimares Vice-Presidente - Prof. Wolmir Therezio Amado Secretrio - Pe. Pedro Rubens Ferreira, SJ
Conselheiros
Ir. Nelso Antnio Bordignon, FSC Pe. Wilson Denadai Pe. Nivaldo Luiz Pessinatti, SDB Pe. Mieczyflaw Smyda, SJ Ir. Terezinha Maria de Sousa, MC Prof. Roberto Von Puttkammer Prado
Secretaria Executiva
Dilnei Lorenzi
Conselho Editorial
Adriana Beatriz Gandin - Rede La Salle Adriano Jos Hertz Vieira Universidade Catlica de Braslia Alexandre Sheremetieff Universidade Catlica de Petrpolis Dilnei Lorenzi Associao Nacional de Educao Catlica do Brasil Leila Pagnozzi - Universidade So Francisco Marina Graziela Feldmann Pontifcia Universidade Catlica de So Paulo Meire Botelho Faculdade Salesiana Dom Bosco de Manaus Renato Kirchner - Universidade So Francisco
Associao Nacional de Educao Catlica do Brasil

SRTV/Sul Quadra 701 Bloco O Sala 135 Edifcio Centro Multiempresarial CEP: 70340-000 - Braslia-DF - Fone: 61 3226-5655 - Fax: 61 3322-5539 E-mail: revistaanec@anec.org.br - Home: www.anec.org.br
A Avaliao Qualifica a Educao?
Braslia, n. 150, ano 38, jan./jun. 2009
Revista de Educao ANEC

Ano 38, n 150 jan/jun 2009 Projeto Grfico: Prof. Laerte Arajo Pereira Tiragem: 2.000 exemplares
Editorao Eletrnica, Reviso, Impresso e Acabamento

Zeppelini Editorial
Indexada em
BBE Biblioteca Brasileira de Educao (Braslia, INEP) EDUBASE Base de dados da Faculdade de Educao (Campinas/SP UNICAMP) Revista de Educao ANEC / ANEC do Brasil N 1 nov. Rio de Janeiro (1971) N 150 jan/jun 2009 Semestral ISSN 0104-0537 CDU 37 (5) Educao Peridico 2. ANEC do Brasil
Sumrio
Apresentao Artigos 9 EDUCAO SUPERIOR E AVALIAO: O DESAFIO DA INCLUSO COM QUALIDADE Maria Isabel da Cunha e Marialva Moog Pinto 21 Ensinar e Aprender com a Metodologia Syllabus Marisa Aparecida Pereira Santos, Rosria Helena Ruiz Nakashima, Carolina Nunes Pegoraro e Patrcia Zuccari 29 Aprendizagens por Meio da Avaliao Formativa Edlene Teixeira 37 AVALIAO DO DESEMPENHO EM TECNOLOGIAS DE UNIVERSITRIOS EM FUNO DA MODALIDADE DE ENSINO Maria Cristina Rodrigues Azevedo Joly, rica Flvio Cardoso, Maria Bernadete de Souza, Diego Vincius da Silva 47 AVALIAO: RAZO INSTRUMENTAL, RAZO CRTICA E SUBJETIVIDADE Maria Luiza Andreozzi 61 O ESPELHO E A QUALIDADE Srgio Roberto Kieling Franco 71 ANDRAGOGIA: ANLISE DO DESENVOLVIMENTO DO PROCESSO DE ENSINO-APRENDIZAGEM DE ADULTOS NO INSTITUTO DIOCESANO DE FILOSOFIA CORAO DE MARIA DA DIOCESE DE SO JOO DA BOA VISTA Raquel Nunes Fuin, Richard Strazza da Silva 81 REPRESENTAES DOCENTES SOBRE O PROCESSO ENSINO-APRENDIZAGEM DE ALUNOS DO ENSINO MDIO Heron Laiber Bonadiman 91 MISSO INSTITUCIONAL: UMA PROPOSTA AVALIATIVA Sandra Acosta
103 REFERENCIAIS TICO-VALORATIVOS PARA A AVALIAO DO ENSINORELIGIOSO Jos Braga Ribeiro Neto 115 APLICAO DA TEORIA DE RESPOSTA AO ITEM NA INTERPRETAO DAS NOTAS DO ENADE DE PSICOLOGIA Ricardo Primi, Carlos Henrique Sancineto da Silva Nunes, Marjorie Cristina Rocha da Silva, Daniel Bartholomeu, Lucas de Francisco Carvalho, Fabiano Koich Miguel, Claudette Maria Medeiros Vendramini 125 Questes metodolgicas referentes ao exame nacional de desempenho dos estudantes (ENADE) Ricardo Primi, Marjorie Cristina Rocha da Silva, Daniel Bartholomeu, Claudette Maria Medeiros Vendramini, Carlos Henrique Sancineto da Silva Nunes, Andria da Silva Mata 135 AVALIAO SUMATIVA: UMA UTOPIA POSSVEL? Ana Lcia Souza de Freitas 145 METODOLOGIA PARA AVALIAO DO DESEMPENHO ACADMICO NA MODALIDADE EDUCAO A DISTNCIA Ronei Ximenes Martins 153 ANLISE FATORIAL BASEADA NA TRI DO COMPONENTE DE FORMAO GERAL DO ENAD Claudette Maria Medeiros Vendramini
APRESENTAO
s grupos humanos, desde os tempos primordiais, legitimam as funes de seus integrantes, ou subgrupos, por meio do reconhecimento dessas funes e suas qualidades. Quem identifica e anuncia comunidade tal reconhecimento e legitimidade so aqueles que, pela prpria tradio da comunidade, construram autoridade na funo; aquele capaz de dar o aval a quem pretende conquistar tal reconhecimento. Assim, por exemplo, um aprendiz de oleiro, para ser reconhecido como oleiro, precisava receber o aval de seu mestre e obter, pela avaliao do mestre, a legitimidade de seu ofcio junto comunidade. Com a complexificao das sociedades, a necessidade de criao de espaos e tempos determinados para as aprendizagens dos ofcios necessrios, os processos, instrumentos, smbolos, de conceder o aval tambm foram se complexificando. A necessidade de avaliao/validao das instituies que fazem educao, bem como dos processos de aprendizagem nelas vivenciados consenso. As formas de avaliar os processos, critrios e consequncias da avaliao, entretanto, so uma pauta aberta para a discusso e entendimentos. A Associao Nacional de Educao Catlica (ANEC), coerente com seus princpios de excelncia na educao, valores cristos, formao integral da pessoa, justia social, liberdade de ensino e de pesquisa e extenso a servio da vida, por meio de sua Revista de Educao, neste nmero 150, prope um debate acerca da avaliao da educao em seu carter pedaggico e institucional. Corajosamente, a Revista de Educao da ANEC coloca a pergunta: a avaliao qualifica a educao? As respostas de professores, pesquisadores, membros de comisses de avaliao tanto no mbito estatal como privado e de pessoas das comunidades acadmicas foram igualmente corajosas e rigorosamente apresentadas em forma de artigos aqui publicados. Os textos divulgados neste nmero so resultados de experincias de processos e instrumentos de avaliao das aprendizagens realizadas na educao bsica e superior; pesquisas acerca de processos avaliativos em distintos nveis; reflexes sobre a avaliao institucional, seus procedimentos, critrios e regulao pelos organismos competentes do Estado. O tema est colocado e debatido de forma que possibilite ao prprio leitor buscar a resposta da questo de capa. Por outro lado, os artigos servem de subsdio e referncia para o dilogo acerca da avaliao em todas as instituies de educao que queiram ampliar este debate.
Revista de Educao, Braslia n. 150, a. 38, jan./jun. 2009
Nossos objetivos so: ser veculo de reflexo sobre a funo educativa em consonncia com os valores cristos; atuar no sentido da reflexo crtica e produo do saber sobre a ao educativa; fornecer subsdio para que educadores repensem a sua ao; sistematizar as aes das instituies catlicas de educao e sua importncia na insero social; constituir-se como um canal de dilogo com outros setores da sociedade; ser um espao de reflexo e avaliao da educao brasileira e latino-americana, a Revista de Educao da ANEC, por meio de seu 150 nmero, insere-se na discusso acadmica, rigorosa e contributiva para a efetiva qualificao da educao no Brasil. Temos a certeza de que os leitores encontraro aqui elementos de grande riqueza para pensarem os processos educativos e sua real contribuio social. Desejamos, assim, uma boa leitura e reflexo. Adriano Jos Hertz Vieira Pelo Conselho Editorial
Revista de Educao, Braslia n. 150, a. 38, jan./jun. 2009
Artigo
EDUCAO SUPERIOR E AVALIAO: O DESAFIO DA INCLUSO COM QUALIDADE
Maria Isabel da Cunha* e Marialva Moog Pinto**
Resumo: O texto aborda as questes relacionadas educao superior e a avaliao, incluindo os desafios para a definio de critrios de qualidade, no contexto brasileiro. A complexidade do sistema nacional de educao superior, caracterizada pela diversidade dos formatos institucionais, se amplia num contexto de democratizao do acesso e polticas afirmativas de incluso. Retoma a constituio histrica da educao superior no pas para contextualizar essa diversidade. Parte do pressuposto de que a avaliao exige uma configurao axiolgica e cultural e precisa se distanciar dos indicadores universais baseadas apenas na produtividade. Toma o exemplo do PROUNI nas instituies privadas e o REUNI nas publicas federais como movimentos que esto a exigir reconfiguraes dos parmetros avaliativos mais prximos da qualidade social. Palavras-chave: Educao superior. Avaliao. Qualidade. Incluso.
*Doutora em Educao pela Universidade Estadual de Campinas (Unicamp); ps-doutorada pelo Universidad Complutense de Madrid; professora titular da Universidade do Vale do Rio dos Sinos (Unisinos). **Mestre em Educao pela Unisinos e Doutoranda no Programa de PsGraduao em Educao pela Unisinos.
Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
Abstract: This paper discusses issues related to higher education and evaluation, including the challenges of a definition of quality criteria in the Brazilian context. The complexity of the national higher education system, which is characterized by the diversity of institutional formats, is still amplified in a context of democratization of access and of affirmative policies of inclusion. It retakes the historical constitution of higher education in the country in order to contextualize this diversity. It sets from the presupposition that evaluation requires an axiological and cultural configuration and needs to distance from universal indicators based only in productivity. It takes the example of PROUNI in the private institutions and of REUNI in the public federal ones as movements that require reconfigurations of the evaluative parameters closer to social quality. Keywords: Higher education. Evaluation. Quality. Inclusion.
ara melhor compreender o contexto da educao brasileira, importante que se recupere alguns referentes histricos que ajudam a compor as peas de um mosaico sociocultural que fornece pistas sobre a condio atual. A constituio da educao brasileira significativamente marcada pelas razes portuguesas que, por sua vez, recebeu fortes traos da concepo napolenica na organizao contempornea da educao superior. Nesse contexto, a tradio das escolas profissionais, origem de grande parte das universidades brasileiras, repercutiu nas expectativas e configuraes da docncia e da prtica pedaggica e, at hoje, impactam as culturas acadmicas das instituies. A docncia, alicerada basicamente no prestgio profissional ou no perfil investigativo do professor, estabeleceu prticas clssicas de ensinar e aprender onde, em geral, o aluno considerado como receptor dos conhecimentos acumulados pela humanidade e distribudos por seus professores. O ensino superior no Brasil iniciou-se tardiamente, em relao aos pases europeus, latinos e norte-americanos. A primeira universidade brasileira foi criada na dcada de 1930, pois at ento predominavam as faculdades isoladas e os cursos profissionalizantes. O que o aproxima da educao superior mundial como um todo o fato de ter sido proposto para as elites intelectuais, polticas e econmicas, atendendo a uma pequena parcela da populao, geralmente dotada de elevado capital econmico e cultural.
10
Na Amrica Latina h diferenas no ensino superior entre os pases da regio, e tambm diversidade dentro de um nico pas. Encontramos instituies de variados tamanhos, perfis e maturidade acadmica. No Brasil, por exemplo, somam 92 universidades pblicas e 86 privadas; so quatro centros universitrios pblicos e 115 privados; quatro faculdades integradas pblicas e 112 privadas; 82 faculdades, institutos e escolas superiores pblicas e 1.567 privadas; 66 centros educao tecnolgicos pblicos e 142 privados. H, tambm, os cursos de educao a distncia. Apenas as universidades tm objetivo e compromisso com a pesquisa, ensino e extenso; as demais instituies se dedicam preponderantemente ao ensino. Dois dos principais problemas da Amrica Latina referem-se pobreza e baixa escolaridade da populao, ambos relacionados entre si. No dizer de Dias Sobrinho (2005), os pases da Amrica Latina no tendo conseguido antes construir o estado de bem-estar social, no conseguem agora oferecer educao, sade, emprego e paz para a enorme maioria de sua populao (p. 196). O processo de redemocratizao, vivido no Brasil nos anos 80, retomando a perspectiva republicana, colocou a educao superior numa condio essencial para as bases do Estado democrtico. A demanda populacional por oportunidades educacionais provocou movimentos e mudanas em todos os nveis educativos. Foi um perodo de particular efervescncia acadmica, afetado diretamente pela possibilidade de redemocratizao das estruturas internas da universidade, entendida como condio para o acompanhamento do novo momento institucional. Vale registrar que os movimentos corporativos de base tomaram fora exponencial e lideraram as discusses e embates sobre as questes nacionais que seriam reguladas pela nova constituio do pas, promulgada em 1988. A Unio Nacional dos Estudantes (UNE) revigorara suas bases profundamente afetadas no perodo da ditadura e, no espao da universidade pblica, a Associao Nacional de Docentes da Educao Superior (Andes), assim como a Federao de Sindicatos de Trabalhadores das Universidades Brasileiras (Fasubra), que rene os servidores tcnico-administrativos da esfera universitria federal, deram passos significativos nos processos de reestruturao da universidade brasileira. A principal bandeira de luta constitua-se em fazer constar na Lei Constitucional a conceituao da universidade, incorporando o eixo da indissociabilidade do ensino, da pesquisa e da extenso. Havia um consenso das bases de que essa definio seria capaz de garantir uma perspectiva mais universal de qualidade da educao superior, que teria assim um formato identitrio estruturante, fazendo avanar a universidade para patamares de
11
crtica e compromisso social, notadamente articulando a produo com a disseminao do conhecimento. Os desafios nacionais de transformao da educao superior no Brasil, entretanto, foram progressivamente afetados pelo contexto internacional e pelo fenmeno da globalizao, que trouxe impactos significativos para as polticas pblicas, em especial, as da rea social. Gradativamente, os projetos nacionais deram lugar s metas-narrativas produzidas pelos rgos mundiais de financiamento, que anunciavam novos cenrios nas disputas internacionais. A constituio da Comunidade Europeia, que propunha uma identidade comum a todos os pases do continente, foi um claro indicativo de que a luta competitiva de mercados ultrapassava a histrica condio nacionalista presente na trajetria dos pases envolvidos. Como a educao e, notadamente, a educao superior, assume uma posio estratgica no desenvolvimento econmico, logo ficou claro que as decises sobre as polticas educativas estariam afetas a planos supranacionais, atendendo aos rumos da nova ordem internacional. No caso da Amrica Latina, a poltica de unidade de blocos econmicos tem esbarrado na falta de recursos e de vontade poltica para a equalizao das principais distines econmicas e sociais. Diferentemente da Europa, os pases latino-americanos foram atingidos individualmente pelas mesmas polticas, sem, entretanto, a possibilidade de articular movimentos conjuntos, tanto de adeso quanto de resistncia. Mesmo com diferenas pontuais, a Amrica Latina assumiu a perspectiva neoliberal que se instalava, anunciando a apologia do Estado Mnimo e da ineficincia do aparato pblico na prestao de servios bsicos, incluindo, certamente, sade e educao. No Brasil, as estatsticas demonstram que a segunda metade dos anos 90 foi marcada pela expanso avassaladora da educao superior pela esfera privada. Essa que, at ento, era preferencialmente confessional ou comunitria, legitimou-se pela viso empresarial, implantando complexos acadmicos por todo o pas. A ampliao de vagas por meio de instituies privadas interiorizou consideravelmente a educao superior e ampliou o acesso de uma faixa da populao at ento distante dos bancos acadmicos. Entretanto, essa expanso nem sempre foi realizada a partir de critrios de rigor, produzindo um processo de massificao sem o necessrio investimento pedaggico que essa condio exigia. Paulatinamente foram ampliadas as ofertas de matrculas, modificando histricos consensos ligados funo da universidade, transformando a perspectiva de atendimento da elite intelectual (certamente, tambm social) para a defesa da educao para todos. Essa posio identificou-se com os anseios de democratizao do pas e respondeu s expectativas de uma classe
12
social emergente, pressionadora da possibilidade de garantir escolarizao superior para si. Como os postos de trabalho diminuam a olhos vistos em decorrncia da aplicao tecnolgica, e havendo a restrio dos investimentos dos Estados nacionais, a educao mdia e superior passou a representar a principal possibilidade de acesso ao trabalho, entendido numa condio progressiva de oportunidades. O Brasil, tentando reagir condio de subdesenvolvimento, encontra-se em um momento de expanso de matrculas, de diversificao de funes e de modificao em sua estrutura organizacional, discutindo o financiamento para instituies pblicas, o aumento significativo das tecnologias de informao e a internacionalizao dos currculos da educao superior. Todas essas dimenses apresentam relaes diretas com a avaliao e os critrios de qualidade. A tendncia de expanso do acesso um fenmeno com forte nfase na dcada de 1990. Os fatores que para ele contribuem, de acordo com Almeida Filho (2008), referem-se valorizao do conhecimento tcnico e cientfico; s presses por direitos sociais; s aspiraes de mobilidade social; necessidade de competncia tcnica para enfrentar um mercado cada vez mais instvel e seletivo; e s transformaes no mundo das profisses, que trazer de volta aos bancos escolares uma populao adulta e integrada em atividades profissionais. Como pano de fundo est o resgate da justia social. Nesse contexto, a educao superior, na virada do sculo, se v pressionada a incorporar novos grupos sociais que estavam sua margem. No Brasil, segundo o mesmo autor, os estudantes provenientes do extrato dos 20% mais ricos da populao respondem por 70% das matrculas, enquanto apenas 3% dos estudantes pertencentes ao grupo dos 40% do segmento mais pobre esto presentes nesse nvel de ensino. As posies mais elevadas na hierarquia acadmica so ocupadas pelas universidades pblicas e algumas universidade confessionais, que so as que integram atividade de ensino e pesquisa. Oferecem carreira acadmica em regime de dedicao exclusiva e so bem avaliadas pelos rgos governamentais quanto aos seus cursos de graduao e ps-graduao. As demais instituies privadas e faculdades isoladas possuem grande parte corpo docente vinculada condio de horista1 e est voltada para cursos de formao profissional. A hierarquia de prestgio acadmico, no interior do ensino superior brasileiro, se expressa pelas avaliaes oficiais que
Professores com regime de trabalho oscilante, remunerados de acordo com as horas aulas que ministram.
1
13
atribuem maior valor simblico s universidades, quando comparadas s instituies privadas, especialmente as com perfil mercadolgico. A partir de 2000, o tema da Reforma Universitria ocupou debates e intencionalidades governamentais, tornando-se uma meta do Ministrio da Educao (MEC). Iniciou-se, ainda, um importante movimento de recuperao do oramento das universidades federais e deu-se incio a um vigoroso processo de expanso dessas instituies, com a implantao de novos cursos, contratao de docentes e alocao de investimentos para infraestrutura. A Conferncia Educao para Todos, organizada por quatro agncias internacionais (Unicef, Unesco, PNUD e Banco Mundial)2 , com a participao de 155 pases, em 1990, em Jomtin, na Tailndia, foi desencadeadora da mobilizao de muitos pases emergentes em prol de uma educao inclusiva. Registrou-se um alerta ao mundo sobre a necessidade de diminuir as distncias entre os pases ricos e pobres, entendidos, estes ltimos, como subdesenvolvidos. Deveria se assumir o compromisso de garantir educao bsica de qualidade para todos os pases subdesenvolvidos e em desenvolvimento. Esse intento, certamente, no se concretizaria sem uma educao superior ampliada e consolidada. Na educao superior brasileira, o acesso ao sistema pblico historicamente privilegiou os alunos que melhor se classificavam no processo seletivo de ingresso, conhecido como exame vestibular, reforando a universal perspectiva da meritocracia acadmica. Em geral, so candidatos procedentes das melhores escolas mdias, de natureza privada e tendem a corresponder a extratos sociais de mais alta renda. H, atualmente, um esforo governamental para alterar esse quadro. Conforme dados do Instituto Nacional de Pesquisas Educacionais3 (Inep), em 2006, dos 1.311 milho de estudantes que ingressaram no ensino superior por vestibular, 136 mil estudantes combinaram esse com outros processos seletivos e 304 mil ingressaram por outras formas de acesso. Entre elas, esto as chamadas polticas afirmativas, que procuram privilegiar segmentos populacionais historicamente marginalizados. Algumas assumem a etnia como condio de excluso. No caso do Brasil, inserem-se a negros e ndios que se autodeclaram parte destas populaes. A eles so reservadas cotas de vagas nas
Unesco (Organizao das Naes Unidas para Educao Cincia e Cultura), Unicef (Fundo das Naes Unidas para a Infncia), PNUD (Programa Naes Unidas para Desenvolvimento).
2 3
Fonte: MEC/Inep/Deaes. Tabela parcial. 4.1 Nmero total de ingressos nos cursos de graduao presenciais, por organizao acadmica e todas as formas de ingresso, segundo a Unidade da Federao e a categoria administrativa das IES. 2006.
14
instituies de ensino pblicas, desde que atendam a critrios que comprovem baixa renda e trajetria educacional compatvel. Para essa definio h um escore mnimo a ser atingido no Exame Nacional de Ensino Mdio (Enem)4, aplicado voluntariamente aos estudantes desse grau de ensino. Outro grupo privilegiado para o ingresso em Cursos de Licenciaturas5 so os professores da educao bsica em exerccio, que, de acordo com o dispositivo legal, tm o prazo de uma dcada para alcanar formao de nvel superior. Para esses, tambm so previstos programas especiais, organizados com a finalidade precpua de garantir sua formao, em parceria com os Estados e municpios. Todas essas polticas afirmativas tm o sistema pblico como referente. Entretanto, considerando o significativo nmero de instituies de ensino superior (IES) privadas de natureza confessional ou comunitria6 existente no pas, o governo federal instituiu outro Programa, proposto para essas instituies e que a ele podem aderir espontaneamente. Procura, dessa maneira, acelerar o processo de incluso de jovens em idade regular de 18 a 24 anos na educao superior. Denomina-se Programa Universidade para Todos, Prouni. Por meio dele, o governo federal troca os impostos devidos Unio pela disponibilidade de vagas para estudantes que comprovem baixa renda, independente de etnia ou origem profissional. As IES se habilitam ao Programa, desde que comprovem, pelos escores da avaliao externa, condies compatveis com um ensino de qualidade. Os candidatos tambm passam por um processo seletivo, realizado pelo Ministrio da Educao, que envolve as seguintes condies: ter realizado o Enem com pontuao mnima definida pelo MEC, ter trajetria de escolarizao bsica em escolas pblicas ou em particular com bolsa de estudos e comprovar renda familiar que no extrapole o teto estabelecido pelo governo, em torno de dois salrios mnimos per capita. As vagas tambm so definidas pelo Programa. Cada IES aloca, para o Prouni, vagas que correspondem a um percentual das definidas para cada curso, em entrada regular. Essa medida procura garantir um equilbrio na oferta de vagas em todas as carreiras e impedir o aproveitamento somente das que ficam ociosas, preponderantemente em cursos de menor prestgio.
Exame Nacional de Ensino Mdio (Enem) exame anual aplicado aos egressos do ensino mdio em todas as modalidades, pelo Ministrio da Educao, para avaliar as competncias curriculares previstas para esse nvel de ensino. 5 So chamados Cursos de Licenciatura aqueles que formam professores das diferentes reas do currculo para atuarem na educao bsica, nos nveis fundamental e mdio. 6 No Brasil, as IES confessionais e/ou comunitrias so as de natureza administrativa privada, mas que declaram e comprovam no ter fins lucrativos.
4
15
O Programa Universidade para Todos faz parte do pacote de aes que compem a Reforma da Educao Superior, prevista pelo MEC. Estas aes tiveram incio no governo do presidente Luis Incio Lula da Silva e so tentativas do governo federal de cumprir as exigncias da Declarao Mundial sobre Educao Superior no Sculo 21, de 1998. O levantamento de dados realizado obrigatoriamente com os estudantes do Prouni demonstra que os alunos selecionados no incluam em suas expectativas a possibilidade de cursar o ensino superior antes da instituio do Programa. Esse dado um indicador de que o Prouni seja uma ferramenta importante para favorecer a incluso, na educao superior, de estudantes oriundos das classes menos privilegiadas. Cabe, porm, indagar sobre as condies desse processo quanto ao acesso e permanncia e se elas se aliam noo da humanizao como componente da qualidade educativa. Especialistas tm alertado para o fato de que os professores podem ter de modificar seus fazeres, diminuindo, muitas vezes, o nvel de exigncia sobre a aprendizagem, uma vez que os alunos egressos pelo Programa, vindos de escolas pblicas, apresentam defasagens em relao aos contedos aprendidos ou no na educao bsica. Ser essa uma constatao efetiva? Essa situao pode, ao revs, estimular a reflexo sobre as prticas tradicionais de ensinar e aprender na universidade e a necessidade de inovao nas prticas pedaggicas institudas. Uma das crticas ao Prouni se origina nas bases sindicais e de gesto acadmica das instituies federais, alertando para a ameaa de concentrao, mesmo que indireta, de recursos pblicos nas universidades privadas. Argumentam que o governo brasileiro deveria ampliar as vagas no sistema pblico e dar a ele condies mais condizentes de atuao. Em resposta a essa demanda, o governo vem investindo na ampliao das universidades pblicas existentes e na criao de novas instituies com esse perfil. Em 2007, lanou o Plano de Desenvolvimento da Educao e o Programa de Apoio a Planos de Reestruturao e Expanso das Universidades Federais (Reuni), que se constitui em um Programa de expanso fsica e reestruturao pedaggica do sistema federal de educao superior. o mais ambicioso Programa j implantado no Brasil, com a aplicao de R$ 7 bilhes (US$ 3,25 bilhes), com o objetivo de duplicar a oferta de vagas pblicas no ensino superior. O Reuni compreende a expanso das matrculas, em especial no turno noturno; diversificao das modalidades de graduao; mobilidade estudantil ampla; articulao da educao superior com a educao bsica, tecnolgica e profissional; programas de incluso social e assistncia estudantil.
16
Quer alcanar, no final do Programa, taxa de concluso de 90%, com a relao aluno/professor de 18 estudantes a cada vaga de docente alocada para as IES. Essas condies procuram garantir que o investimento feito atinja as classes sociais menos favorecidas e represente um importante processo de incluso social, j que o Plano Nacional de Educao prev a oferta de educao superior at 2011 para, pelo menos, 30% da populao dos jovens de 18 a 24 anos. incontestvel que as polticas desencadeadas na ltima dcada tm trazido significativos frutos. Segundo o Ministrio da Educao, em dados divulgados em seu site, as vagas na educao superior no Brasil duplicaram nos ltimos oito anos, com forte investimento de incluso dos extratos sociais menos privilegiados economicamente. Apesar de todas essas iniciativas, a estrutura curricular de formao profissional e acadmica do Brasil corre o risco de isolar-se em relao s inovaes ocorridas no mundo, cada vez mais globalizado e internacionalizado, se no atualizarem suas perspectivas epistemolgicas e pedaggicas. A dimenso da qualidade est a exigir estudos e pesquisas que auxiliem a explicitao de indicadores mais adequados ao que se espera da educao superior, na perspectiva da incluso e da justia social que advm do desenvolvimento sustentvel. No se coloca em dvida que a expanso numrica um indicador do esforo de democratizao do acesso educao superior. Exige, porm, uma constante vigilncia sobre a qualidade da oferta, entendida como medida de acompanhamento da eficcia dos recursos investidos. Pressupe tambm que a universidade reflita sobre sua misso e suas prticas de formao. Se a tradio avalista da cultura acadmica, os desafios contemporneos precisam ser tomados como condio de novos percursos. Referncia Bibliogrfica BALL, S. Mercados educacionais, escolha e classe social: o mercado como estratgia de classe. In: GENTILLI, P. (Org.) Pedagogia da excluso: crtica ao neoliberalismo em educao. Petrpolis: Vozes, 1995. p. 196-227. BRASIL. Lei n 11.096, de 13 de janeiro de 2005. Institui o Programa Universidade para Todos Prouni. Braslia. Disponvel em: <http://www.planalto.gov.br/ ccivil_03/_Ato2004-2006/2005/Lei/L11096.htm> Acesso em: 4 set. 2008. _____. MEC/INEP. Ministrio da Educao. Instituto Nacional de Estudos e Pesquisas Educacionais. Estatsticas do ensino superior. Disponvel em: <http://www.inep.gov.br>. Acesso em: Jul. 2007.
17
_____. Ministrio da Educao. Lei de Diretrizes e Bases da Educao Nacional. Braslia: Imprensa Nacional, 1996. CORTELLA, M.S. A escola e o conhecimento: fundamentos epistemolgicos e polticos. So Paulo: Cortez/Instituto Paulo Freire, 1998. CUNHA, M.I. O professor universitrio na transio dos paradigmas. Araraquara: JM Editores, 1998. Declar ao Mundial sobre Educao Superior no Sculo XXI: viso e ao. Paris, 1998. Disponvel em: <http://www.interlegis.gov.br/processo_legislativo/copy_of_20020319150524/20030620161930/20030623111830/> Acesso em 4 set. 2009. DIAS SOBRINHO, J. Dilemas da educao superior no mundo globalizado. Sociedade do Conhecimento ou Economia do Conhecimento? So Paulo: Casa do Psiclogo, 2005. ENGUITA, M. O discurso da qualidade e a qualidade do discurso. 1997. In: GENTILI, P.; SILVA, T.T. (Orgs). Neoliberalismo, qualidade total e educao. Petrpolis: Vozes, 1997. p. 93-110. FERREIRA, A.B.H. Novo dicionrio da lngua portuguesa. Rio de Janeiro: Nova Fronteira, 1975. GENTILI, P.; SILVA, T.T (Orgs). Neoliberalismo, qualidade total e educao. 2. ed. Petrpolis: Vozes, 1997. JANELA AFONSO, A. O neoliberalismo educacional mitigado numa poca de governao social-democrata: um contributo sociolgico para pensar a reforma educativa em Portugal (1985-1995). Revista Portuguesa de Educao, v. 10, n. 2, 1997. p. 103-137. INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira. Cadastro Nacional de Docentes da Educao Superior. 2005. Disponvel em: <http://www.inep.gov.br/ download/superior/2004/censosuperior/Resumo_Tecnico_Cadastro_ Docentes2005_1.pdf.> Acesso em: 4 set 2009. MEC/INEP/DEAES. Tabela 1 - Instituies (2006). 1-1 Nmero de instituies de educao superior, por organizao acadmica e localizao segundo a universidade da Federao e a categoria administrativa das IES. Disponvel em: <http:// www.inep.gov.br/superior/censosuperior/sinopse/> Acesso em: 19 set. 2008. MEC/INEP/DEAES. Tabela 4 Processos seletivos. 4.2 Nmero de vagas oferecidas, candidatos inscritos e ingressos por vestibular e outros processos seletivos. 2006. Disponvel em: <http://www.inep.gov.br/superior/censosuperior/sinopse/> Acesso em: 19 set. 2008. PARECERES 9/2001 e 28/2001 do Conselho Nacional de Educao/Conselho Pleno. Dirio Oficial da Unio. Braslia, maio de 2001.
18
RESOLUO CNE/CP. Dirio Oficial da Unio, Braslia, 4 de maro de 2002. Seo 1, p. 9. RIOS, T.A. Compreender e ensinar : por uma docncia da melhor qualidade. So Paulo, Ed. Cortez, 2001. S, V. O discurso da qualidade no contexto da recomposio das desigualdades em educao. Revista Brasileira de Estudos Pedaggicos. v. 89, n. 223. p. 425-444, set/dez 2008. SOUSA SANTOS, B. A crtica da razo indolente. Contra o desperdcio da experincia. So Paulo: Cortez, 2000.
19
Artigo
Ensinar e Aprender com a Metodologia Syllabus
Marisa Aparecida Pereira Santos*, Rosria Helena Ruiz Nakashima**, Carolina Nunes Pegoraro*** e Patrcia Zuccari****
Resumo: O presente estudo apresenta os resultados a respeito do Projeto Pedaggico Syllabus, implantado no incio de 2008 nos cursos de graduao da Universidade Sagrado Corao (USC), localizada em Bauru, Estado de So Paulo. O projeto prope mudanas metodolgicas com base no planejamento docente e discente e consiste em estimular a participao do aluno em sala de aula e a criao do hbito da leitura como mecanismo de preparao para a construo do conhecimento. Palavras-chave: Mudanas metodolgicas. Planejamento. Participao do aluno.
*Doutora em Educao pela Universidade de So Paulo (USP); professora titular da Universidade do Sagrado Corao (USC). **Mestre em Educao pela Faculdade de Educao da Universidade Estadual de Campinas (Unicamp); docente da USC. ***Doutora em Dentstica Restauradora pela USP; docente do curso de Odontologia na USC. ****Mestranda em Engenharia de Produo pela Faculdade de Engenharia de Bauru da Universidade Estadual Paulista (Unesp); docente da USC.
21
Abstract: The present study shows the results on the Pedagogical Project Syllabus, implemented in the beginning of 2008 for the undergraduate courses at Universidade Sagrado Corao (USC), located in Bauru, So Paulo, Brazil. The project proposes methodological changes based on teaching as well as on student and stimulate student participation in class discussion and the creation of reading habits as tools in the preparation to knowledge construction. Keywords: Methodological changes. Planning. Student participation.
Introduo
necessidade de qualificar concepes sobre a maneira de ensinar, aprender e melhorar o desempenho do aluno para escrever, ler e contextualizar problemas, conforme demonstram os resultados das avaliaes externas do estudante no ensino superior, estimulam a busca de novos caminhos metodolgicos. O significado de ensinar, segundo Masetto (1996), diz respeito ao saber fazer, comunicar conhecimentos, desenvolver competncias e habilidades e, aprender, como resultado da interao entre estruturas mentais com o meio ambiente. Desse modo, os ambientes de aprendizagem acontecem com a existncia de participao, mediao e interatividade entre quem ensina e quem aprende. A avaliao de desempenho do estudante no ensino superior, diante de novos caminhos metodolgicos, se faz no trabalho colaborativo institucional, com base na interao do professor-aluno, criatividade e o dilogo, mediados pela leitura e interpretao do contexto no processo de aprendizagem. Na era da sociedade do conhecimento, a formao consiste em fazer do estudante o sujeito do processo de aprendizagem. O desafio consiste em estimul-lo a ser participativo e promover o movimento de ao-reflexoaco, identificado por Schon (2000) como dinmica de sala de aula. Metodologia Syllabus A metodologia Syllabus contextualiza um modelo pedaggico que tem como concepo de ensino e aprendizagem a linha do construtivismo e
22
predominncia nas ideias de Piaget. O aprender no repetio de conceitos, e sim a capacidade de ler e interpretar situaes problemas. O Modelo Pedaggico Syllabus foi disseminado no Brasil por meio da parceria entre a Universidade do Sagrado Corao (USC) com a Internacional Council of Universities of Saint Thomas Aquinas (Icusta), do Chile. Foi implantado, em 2008, com alunos iniciantes dos cursos de graduao, das diferentes reas, tendo o propsito de integrao segmentada na identidade de competncias, estabelecidas no Programa de Reformulao das Matrizes Curriculares, de 2007, para efetivar a participao mais ativa do aluno na relao do saber proveniente de diversos componentes curriculares dos cursos. As aes metodolgicas esto centradas no aprimoramento da leitura e interpretao do estudante nas orientaes de estudos dirigidos pelo professor como caminho para qualificar o aprendizado. Os trabalhos so estruturados na parceria e corresponsabilidade do docente e do discente, fazendo do planejamento o vnculo de comunicao na relao de ensinar e aprender, estimulando o hbito de ler e interagir aula com a participao do estudante. Esse movimento, na metodologia, caracteriza o Quiz, isto , um momento em sala de aula em que ocorre um breve questionamento, avaliando o entendimento (conhecimentos prvios) do estudante sobre o tema que ser abordado. Essa aplicao contempla a necessidade de se ter um feedback imediato, que, segundo Masetto (1996), precisa acompanhar todo processo de aprendizagem e conduz o professor na aplicao da avaliao como diagnstico da aprendizagem. O planejamento para o professor, de acordo com Libneo (1994), permite ao docente a escolha da melhor sequncia e o peso devido a determinados passos na sala de aula, levando-se em conta as condies para o estudante assimilar ativamente os contedos e obter bons resultados na aprendizagem. Para Vasconcelos (1998), o planejamento da aula faz com que a dinmica da sala de aula torne-se um ambiente de aprendizagem participativo e integrador. O planejamento se transforma em uma estratgia de motivao essencial para o ambiente de ensino e aprendizagem, que proporciona ao professor condies de explorar os diferentes estilos de aprendizagem dos alunos, deixando-os seguros e estimulados a participar das discusses em sala. Para o estudante, tem a finalidade de orient-lo na leitura e interpretao dos primeiros conceitos da unidade de ensino que sero desenvolvidos em sala de aula. Na metodologia Syllabus, a atividade prvia trata-se de uma estratgia de planejamento para o encontro pedaggico que ocorre na sala de aula, e consiste no estabelecimento da interao dos estudantes com a unidaRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
23
de de ensino para facilitar o dilogo com o professor e encoraj-los para indagao sobre os obstculos que dificultam a compreenso do contedo. O contrato didtico estabelecido como termo de compromisso metodolgico insere a aprendizagem numa situao de parceria na relao de ensinar e aprender. Engloba empenho institucional para infraestrutura e interesse em manter o acompanhamento dos resultados como mecanismo de ampliao para qualificar suas concepes sobre a maneira de ensinar, aprender e melhorar o desempenho do aluno para escrever, ler e contextualizar problemas. O Modelo Pedaggico Syllabus estabelece como recurso para o aprimoramento do estudante o compromisso do professor disponibilizar atividades caracterizadas como ps-aula. O objetivo consiste no aluno aprender a aprender com autonomia, pontualmente, diante de sua dificuldade, apresentada pelo manuseio do contedo com atividade prvia e durante a aula. Aplicao da Metodologia Syllabus na USC A USC, com base no entendimento de que o aprender constitui, conforme menciona Charlot (2000), espao e tempo epistmico e didtico de modo partilhado, tendo em jogo as relaes com outros e consigo prprio, busca transpor o desafio de ter em mos condies para trabalhar mudanas de atitudes do estudante e desenvolver conhecimentos metodolgicos, saberes e competncias que auxiliam professor e aluno a qualificar a relao teoria e prtica, baseada em programas de estudos com o apoio de uma plataforma tecnolgica. Adotada como poltica institucional, a Metodologia Syllabus estabeleceu para os professores a obrigatoriedade de disponibilizar os materiais, por meio do plano de aula, previamente para os estudantes na ferramenta tecnolgica Moodle1. Esta ferramenta um sistema aberto que pode ser acessado, pelo aluno e professor, de qualquer computador conectado internet e ficou caracterizada no ambiente acadmico como Plataforma Syllabus2. Echeverra (2003) introduz como estratgia metodolgica o ensinar a partir de boas perguntas, com a finalidade de despertar, estimular e conduzir para uma aprendizagem autnoma. Nesta perspectiva, a metodologia vem oferecendo Universidade a oportunidade de aplicar sistematicamente a
O Moodle um ambiente de aprendizagem, desenvolvido pelo australiano Martin Dougiamas em 1999, utilizado em aproximadamente 120 pases. 2 http://syllabus.usc.br
1
24
avaliao diagnstica. O objetivo verificar a presena ou ausncia de pr-requisitos conhecimentos e habilidades imprescindveis para novas aprendizagens, bem como detectar dificuldades especficas de aprendizagem, tentando identificar suas causas. Aps a avaliao, o estudante tem como recurso a atividade ps-aula, com a funo de complementar o trabalho pedaggico para a compreenso ou aprofundamento do contedo. Resultados relativos ao Perodo de Implantao Para Perrenoud (2002), o uso de dispositivos didticos, como as ferramentas tecnolgicas e o estabelecimento de prticas de autoavaliao que garantam uma verificao pertinente das escolhas feitas e a realizao dos ajustes necessrios, envolve a ideia das equipes pedaggicas assumirem maior responsabilidade coletiva e benefcio para o estudante. Para isso, a USC englobou no processo de avaliao da metodologia a Coordenadoria Didtica na Pr-Reitoria Acadmica como responsvel pelo atendimento ao docente, proporcionando orientaes pedaggicas; a Coordenao da Plataforma Syllabus, no auxlio da insero do material; e as Coordenaes dos Cursos, com o acompanhamento administrativo do processo. No ano de 2008 foram registradas as primeiras impresses apresentadas, pelos 102 professores que atuaram no primeiro semestre nas diferentes reas do conhecimento. Como potencialidades, os docentes destacaram que os estudantes que realizaram atividade prvia foram mais participativos durante a aula, e consequentemente, o professor tornou-se mais motivado para desenvolver o que foi planejado. O Quiz estimulou a leitura prvia e contribuiu com o aluno no processo de aprendizagem. Nos cursos da rea de Exatas e Cincias Sociais Aplicadas, houve melhorias no contedo, em relao aos semestres anteriores, principalmente nos textos produzidos pelos alunos; melhor organizao da disciplina, permitindo viso de totalidade do processo de ensino; e aprendizagem no semestre. Destacaram tambm a possibilidade de oferecer mais embasamento terico nas aulas em que o contedo predominantemente prtico. Os professores da rea de Humanas declararam ter aumentado o tempo para atendimento aos alunos em sala de aula na disciplina em relao aos semestres anteriores, como tambm a assiduidade dos alunos s aulas e que os alunos incorporaram com facilidade o uso da ferramenta tecnolgica no desenvolvimento das disciplinas. No entanto, nessa rea existem mais depoimentos de professores que sentiram dificuldades de agir, quando se defrontaram com situaes que fugiram do planejamento.
25
Os da rea das Cincias da Sade tambm destacam melhores resultados nas avaliaes, quando comparados com a oferta das disciplinas em outros semestres, e estmulo prtica da autoavaliao peridica e sistemtica. Destacaram, no entanto, que em turmas grandes, os alunos mais tmidos no participam do Quiz e que os alunos no esto acostumados a ler, mas a receber passivamente as informaes. O acompanhamento proporcionado pela poltica institucional contribuiu para formao do esprito de equipe e contribuiu acesso de comunicao entre professores e alunos pela Plataforma. Por outro lado, as fragilidades apontaram dificuldades de alguns alunos para acessarem semanalmente a internet; a necessidade de inserir material na Plataforma vrias vezes, quando o professor ministra a mesma disciplina para turmas diferentes; e grau de dificuldade relevante do aluno de realizar interpretao de texto. Em 2009, foram inseridas na Plataforma duas questes para os alunos responderem sim ou no, avaliando as disciplinas. So elas: O professor faz perguntas em sala de aula sobre o material da atividade prvia? Voc faz a leitura da atividade prvia antes da aula? Os resultados gerais demonstram que, de 10.645 questionrios aplicados no primeiro semestre, 7.500 foram respondidos (70,46%). Na tabela l, fica explcito que os objetivos propostos pela USC, ou seja, do aluno planejar-se para aula, est sendo atingido. Tabela l - Demonstrativo de questionrios respondidos
Pergunta O professor faz perguntas em sala de aula sobre o material da atividade prvia? Voc faz a leitura da atividade prvia antes da aula? Resposta Sim No Sim No Quantidade 7.197 303 6.875 625 % 95,96 4,04 91,65 8,33
Em relao pergunta: O professor faz perguntas em sala de aula sobre o material da atividade prvia?, apontou-se que 33,33% dos alunos das disciplinas Comunicao e Expresso e Histria da Arte e, 21,43% da disciplina Bioqumica responderam no. Essas turmas so compostas de salas de aula com mais de 60 alunos. Consideraes gerais A anlise conclusiva feita pelos envolvidos no projeto do Modelo Pedaggico Syllabus evidencia que a metodologia em relao ao ensino e
26
aprendizagem e seu xito est no preparar o encontro do professor com o aluno e na descoberta de que possvel aprender a aprender. A avaliao do projeto em desenvolvimento na USC sinaliza potencialidades em relaes das condies das possibilidades dos estudantes serem motivados a despertar a curiosidade e a concentrao de maneira mais ativa do que ocorria anteriormente e atender os objetivos propostos. A sala de aula vem se tornando ambiente propcio para formulao de boas perguntas, ou seja, perguntas orientadoras para cada uma das unidades de ensino, tendo como estmulo a informao prvia do assunto. Entretanto, evidencia uma dificuldade maior dos professores que trabalham nas disciplinas com salas mais numerosas de tornarem a sala participativa. Referncia Bibliogrfica CHARLOT, B. Da relao com o saber : elementos para uma teoria. Porto Alegre: Artmed, 2000. ECHEVERRA, A.V. Algunas propuestas para la educacin superior: la virtud, clave de un aprendizaje autnomo. In: CONGRESSO TOMISTA INTERNAZIONALE LUMANESIMO CRISTIANO NEL III MILLENNIO: PROSPETTIVA DI TOMMASO DAQUINO. Resumos... Roma, 2003. Disponvel em: <http://www.e-aquinas.net/pdf/vial.pdf>. Acesso em 2 jul. 2008. GADOTTI, M. Perspectivas atuais da educao. So Paulo Perspectiva, So Paulo, v. 14, n. 2, 2000. Disponvel em: <http://www.scielo.br/scielo.php?script=sci_ arttext&pid=S0102-88392000000200002&lng=en&nrm=iso>. Acesso em: 2 jul. 2008. MASETTO M. Didtica: a aula como centro. Coleo Aprender e Ensinar. So Paulo: FTD, 1996. ROEGIERS, X. Aprendizagem integrada: situaes do cotidiano escolar. Trad. Jeni Wolff. Porto Alegre: Artmed, 2006. LIBNEO, J.C. Didtica. So Paulo: Cortez, 1994. PERRENOUD, P.; THURLER, M.G. As competncias para ensinar no sculo XXI: a formao de professores e o desafio da avaliao. Porto Alegre: Artmed, 2002. SCHIEFELBEIN, E.; ZIGA, R. El Syllabus : viviendo un aprendizaje autnomo. Santo Toms, 2002. SCHON, D.A. Educando o profissional reflexivo: um novo design para o ensino e a aprendizagem. Porto Alegre: Artmed, 2000.
27
Artigo
Aprendizagens por Meio da Avaliao Formativa
Edlene Teixeira*
Resumo: O presente trabalho teve como objetivo socializar percepes acerca da avaliao formativa como um elemento do processo ensino-aprendizagem. Para tanto, investigou-se, por meio de reviso de bibliografia e prticas dos docentes os processos de avaliao formativa, diagnstica, prognstica e somativa. A construo do conhecimento por parte dos alunos constituiu-se em um elemento central da pesquisa. Investigou-se a contribuio que o procedimento avaliativo pode ter nos processos de ensino-aprendizagem. As informaes presentes no artigo apontam que a avaliao, numa perspectiva formativa, parte integrante dos procedimentos de ensino-aprendizagem e que vo alm de certificar conhecimentos adquiridos, permitindo a regulao de processos de ensino-aprendizagem e proporcionando condies para ajustes curriculares e intervenes conscientes entre os alunos. Palavras-chave: Avaliao formativa. Ensino-aprendizagem. Regulao das aprendizagens.
*Mestre em Cincias da Educao pela Faculdade de Motricidade Humana da Universidade Tcnica de Lisboa.
29
Abstract: This article aims to present perceptions concerning the evaluation as an element of teaching-learning process. For that, the processes of formative, diagnostic, prognostic and summative evaluation were investigated through literature review and practices of teachers. The construction of the knowledge by the students is the main element of this research. The information presented in this article points out that the evaluation, on a formative perspective, is an important piece of the teaching-learning procedures e goes beyond the task in certifying the acquired knowledge, allowing the regulation of teaching-learning processes, besides providing conditions to make curriculum adjustments and conscious interventions among the students. Key-words: Formative evaluation. Teaching-learning process. Regulation of learning.
Introduo
termo avaliao educacional entrou para o vocabulrio do universo das escolas, com os trabalhos de Ralph Tyler (citado por VIANNA, 2000), por volta de 1940, quando este desenvolveu anlises sobre uma nova concepo de aprendizagem. O autor percebeu a avaliao como um meio para se estabelecer comparaes entre os resultados e os objetivos educacionais. Assim, deste momento em diante, a avaliao passa a ser vista como uma atividade prtica. Scriven (1967, citado por HADJI, 2001) vai alm da comparao colocada por Tyler, pois afirma que os avaliadores deveriam analisar os resultados obtidos com a avaliao, com o objetivo de emitir julgamentos. O autor traz tambm a ideia de duas dimenses da avaliao: a da avaliao formativa e da avaliao somativa, percebendo-as como instrumentos de orientao para as prticas docentes. Em 1979, Allal Cardinet e Perrenoud (citados por FERNANDES, 2005) publicaram um livro que alargou o campo conceitual da avaliao. Os autores, por intermdio de um foco, filiado perspectiva da Sociologia e da Psicologia cognitivas, apresentaram uma anlise sistemtica das prticas desenvolvidas. Assim, aprofundaram os conceitos sobre avaliao formativa e somativa, sobre diferenciao pedaggica ou de regulao pedaggica e a au-
30
torregulao. Esse aprofundamento ocorreu a partir das novas concepes de currculo, da aprendizagem e da avaliao. Atualmente, uma necessidade do contexto educacional fazer com que nossa prtica educativa seja desenvolvida, de maneira coerente, e que esteja comprometida com a promoo da transformao social e a formao de cidados autnomos. Desse modo, para alcanarmos tal objetivo, a avaliao no pode ser um ato mecnico, mas sim, uma ao, na qual a reflexo seja inerente, contribuindo para a construo de competncias tcnicas e sciopoltico-culturais. De acordo com Luckesi (2002, p. 28), o processo avaliativo est relacionado ao contexto mundial educacional da poca: [...] no se d nem se dar num vazio conceitual, mas sim dimensionada por um modelo terico de mundo e, consequentemente de educao, que possa ser traduzido em prtica pedaggica. Assim, a avaliao, para estar a servio da qualidade educacional, deve, entre outros objetivos, cumprir o seu papel de promoo do ensino, o qual guiar os passos do educador e do aluno. Avaliao formativa e seus contornos O processo avaliativo precisa estar voltado para a melhoria da aprendizagem e ajuste de processos metodolgicos, para que assim viabilize uma avaliao formativa, a qual se fundamenta nos princpios do cognitivismo, nas teorias socioculturais e nas sociocognitivas. A avaliao formativa considera que o aluno aprende ao longo do processo, que vai reestruturando o seu conhecimento por meio das atividades que executa. Do ponto de vista cognitivo, uma avaliao que visa compreenso do funcionamento da construo do conhecimento. A informao procurada na avaliao se refere s representaes mentais do aluno e s estratgias utilizadas para se chegar a um determinado resultado. Os erros so objetos de estudo, pois revelam a natureza das representaes ou estratgias elaboradas pelo estudante. analisada sob a perspectiva de prognstico (HADJI, 2001), pois deve preceder a ao de formao, possuindo, como objetivo, ajustar o contedo programtico com as reais aprendizagens. Por ser uma avaliao informativa e reguladora, justifica-se pelo fato de que, ao oferecer informao aos professores e alunos, permite que esses regulem suas aes. Assim, o professor faz regulaes no mbito do desenvolvimento das aes pedaggicas, e o aluno conscientiza-se de suas dificuldades e busca novas estratgias de aprendizagem.
31
Fernandes (2005) percebe o papel do professor, nesse tipo de avaliao, como o de contribuir para o desenvolvimento das competncias metacognitivas dos alunos. Uma avaliao ajudar o aluno a construir suas aprendizagens e, ao sistema educacional, trar informaes que fundamentaro os ajustes curriculares que buscam a melhoria das mesmas. Avaliao formativa um elemento do processo ensino-aprendizagem A avaliao formativa traz como proposta sua incluso no processo ensino-aprendizagem. Para ocorrer essa regulao, necessrio que ela utilize procedimentos que estimulem a participao dos autores do processo e a integrao entre avaliao, ensino e aprendizagem, fazendo com que estes trs elementos constituam-se num nico processo que s possuir sentido se desenvolvido de maneira integral. Para o desenvolvimento de uma avaliao coerente necessria uma diversidade de instrumentos, que, realmente, faam o levantamento das aprendizagens construdas. O planejamento deve ser organizado para a efetivao de uma avaliao formativa , para assim guiar as aes do professor. Essas aes devem incluir tarefas contextualizadas que levem os alunos a estabelecerem relaes para solucion-las, conduzindo-os ao desenvolvimento de suas competncias. Situaes de ensino que proponham problemas complexos para os mesmos resolverem, aplicando os conhecimentos veiculados pelos contedos curriculares. Este tipo de avaliao dever possibilitar aos professores o acompanhamento das aprendizagens dos alunos, ajudando-os no seu percurso escolar. Por ser uma modalidade de avaliao fundamentada no dilogo, que possui como objetivo o reajuste constante do processo de ensino, ela exige muito envolvimento por parte do professor. Isto porque lhe exige uma disponibilidade de tempo, que vai alm do dispensado no momento das aulas, pois, entre suas atividades, passa a ser necessria a construo de um registro sobre cada aluno e a atualizao deste sempre que novos dados surgirem. Assim sendo, torna-se fundamental o planejamento dirio das atividades que sero desenvolvidas pelos alunos e a elaborao das estratgias individualizadas. A comunicao das construes dos saberes o centro de um processo avaliativo numa perspectiva formativa, proporcionando condies para as regulaes retroativas das aprendizagens (PERRENOUD, 1999). Portanto, esta uma avaliao que faz parte de um processo pedaggico, que integra processos avaliativos e de ensino-aprendizagem, tendo carter interativo e sendo sua principal funo a de regular e melhorar as aprendizagens.
32
Fernandes (2005) analisa duas perspectivas da regulao das aprendizagens: regulao convergente e regulao divergente. A regulao convergente depende de um critrio ou um objetivo estabelecido previamente, que orientar o processo avaliativo. uma regulao de matriz behaviorista, que no est integrada ao processo de ensino-aprendizagem, e sim, centrada bem mais nos resultados do que nos processos. Essa perspectiva tem como objetivo quantificar resultados. J a regulao divergente est orientada para o desenvolvimento dos processos complexos de pensamento dos alunos, das aprendizagens com compreenso e das estratgias de resoluo de problemas. Essa avaliao est focada nos processos de aprendizagem e na construo de competncias, sendo desenvolvida num ambiente interativo, onde o aluno assume um papel preponderante. Nela, dada relevncia aos processos cognitivos e metacognitivos dos alunos, autoavaliao, ao autocontrole e aos processos de autorregulao das aprendizagens. Para se alcanar a finalidade da avaliao formativa, necessrio que professores e alunos assumam responsabilidades especficas no processo avaliativo, como nos chama a ateno Perrenoud (1999, p. 96): (...) a avaliao formativa demanda uma relao de confiana entre alunos e pro fessores. Desse modo, ela acaba por exigir da parte dos professores a capacidade de fazer as articulaes necessrias para possibilitar a regulao das aprendizagens, pois eles so agentes fundamentais no processo ensino-aprendizagem e devem posicionar-se diante da avaliao formativa, organizando o processo de ensino de maneira ativa e planejada. O aluno tambm um agente ativo no processo avaliativo, portanto, possui responsabilidades que devem ser observadas para que as aprendizagens ocorram de maneira satisfatria. Os alunos precisam, por exemplo, participar dos processos de aprendizagem, utilizando os instrumentos de avaliao como uma maneira de perceberem como seus conhecimentos esto sendo construdos, realizando todas as atividades que lhes forem propostas, demonstrando interesse e buscando novas atividades, por iniciativa prpria, que levem aprendizagem. Eles precisam tambm utilizar o feedback oferecido pelo professor e regular suas aprendizagens por intermdio da anlise de seus processos cognitivos e metacognitivos. Necessitam, ainda, conduzir processos de autoavaliao e serem autores de sua prpria aprendizagem, demonstrando iniciativa e autonomia. Os alunos constituem parte ativa, por intermdio da mobilizao consciente de um conjunto de recursos cognitivos, metacognitivos e afetivos.
33
O desenvolvimento da avaliao formativa Analisamos a aplicabilidade da avaliao formativa e a sua convivncia com a avaliao certificativa e psicomtrica. Apontamos a importncia da utilizao da avaliao, no sentido de integrar os processos avaliativos, de ensino e de aprendizagem, assim como o fato de essa modalidade de avaliao poder ser uma aliada na qualificao das aprendizagens. Cabe, agora, entendermos como a avaliao formativa pode ser desenvolvida, no contexto da sala de aula. Para isso, analisaremos os seguintes aspectos: a integrao ensino-aprendizagem-avaliao; a seleo de situaes de ensino-aprendizagem; a sua funo; as estratgias; os instrumentos; os espaos e tempos, em que a avaliao formativa desenvolvida; e o feedback. Elemento do processo ensino-aprendizagem, a avaliao alcana todo o fazer pedaggico, pois expressa a proposta pedaggica, orienta o planejamento do professor, estimula o aluno a tomar conscincia de seu processo de construo do conhecimento e conduz as relaes do professor com os alunos. A integrao entre os trs processos ensino, aprendizagem e avaliao permite a regulao dos procedimentos, pois a avaliao, por intermdio do feedback, assume uma funo de comunicao. Desse modo, as estratgias utilizadas devem ter como objetivo ensinar, aprender, avaliar e contextualizar a avaliao, pois assim haver uma relao muito prxima entre as tarefas de avaliao e as finalidades do ensino. Avaliao formativa e suas contribuies Por fim, podemos dizer que a avaliao formativa traz, em sua concepo, a preocupao com os processos de ensino e de aprendizagem, valorizando a integrao da avaliao na dinmica escolar. Valoriza a seleo criteriosa de situaes de aprendizagens, percebendo nessas uma estratgia para motivar o aluno em seu processo de aprendizagem, levando-o a uma participao ativa em tal processo e na avaliao. Possui como funo principal a motivao, a regulao e a autorregulao, o apoio aprendizagem, orientao, ao diagnstico e ao prognstico. Possui ainda, como premissa, a preocupao com as aprendizagens e, consequentemente, com o desenvolvimento do aluno, sendo por isso uma avaliao que atua no acompanhamento das aprendizagens. Por outro lado, a observao uma situao inerente avaliao formativa, pois, por meio dela, cumpre-se a funo desta ltima, que a de com-
34
preender o contexto da aprendizagem, analisando suas modalidades, mecanismos e resultados e fazendo as interferncias necessrias. Da observao passa-se interveno, o que ajuda o aluno a progredir na construo de seus conhecimentos. O carter educativo precisa estar presente na avaliao, constituindo-se como um elemento de formao. O aluno deve aprender ao ser avaliado; a avaliao deve permitir-lhe firmar suas aquisies. Ela deve ajudar o aluno a avanar e estimul-lo, alm de oferecer os meios para que o aluno supere suas eventuais dificuldades. O objetivo principal de um projeto pedaggico o de proporcionar aprendizagens. Portanto, a avaliao escolar deve existir a servio de sua construo. Referncias Bibliogrficas FERNANDES D. avaliao das aprendizagens: desafios s teorias, prticas e polticas. Lisboa: Texto Editora, 2005. HADJI C Avaliao desmistificada. Porto Alegre: Artmed, 2001. LUCKESI. C C Avaliao da aprendizagem escolar. So Paulo: Cortez, 2002. PERRENOUD, P. Avaliao: da excelncia regulao das aprendizagens, Entre duas lgicas. Porto Alegre: Artmed, 1999. VIANNA. H. M. Avaliao educacional: teoria, planejamento, modelos. So Paulo: IBRASA, 2000.
35
Artigo
AVALIAO DO DESEMPENHO EM TECNOLOGIAS DE UNIVERSITRIOS EM FUNO DA MODALIDADE DE ENSINO
Maria Cristina Rodrigues Azevedo Joly*, rica Flvio Cardoso**, Maria Bernadete de Souza***, Diego Vincius da Silva****
Resumo: A sociedade atual, tecnolgica e informatizada, exige uma srie de comportamentos adaptativos das pessoas nas diversas situaes do cotidiano. No tocante ao ambiente educacional, as Tecnologias da Informao e Comunicao (TIC) foram includas e exigem o desenvolvimento de habilidades dos estudantes para utiliz-las. Este estudo avaliou o desempenho em TIC de 212 estudantes universitrios brasileiros, 50,5% frequentando cursos na educao a distncia (EaD) com teleaula semanal. Aplicou-se a Escala de Desempenho em Tecnologias da Informao e Comunicao para identificar o desem*Doutora em Psicologia Escolar e Desenvolvimento Humano pela Universidade de So Paulo (USP); Coordenadora do Ncleo de Avaliao Psicolgica Informatizada, certificado pelo Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico (CNPq). **Psicloga, especialista em Gesto de Pessoas e em Responsabilidade Social Empresarial;Docente e mestranda em Avaliao Psicolgica pela Universidade So Francisco (USF). ***Psicloga, especialista em Educao a Distncia, mestranda em Avaliao Psicolgica pela USF; Tutora virtual do Sistema Universidade Aberta do Brasil e tutora presencial da Faculdade Internacional de Curitiba. ****Psiclogo, mestrando em Avaliao Psicolgica pela USF; Bolsista da CAPES, integrante do Ncleo de Avaliao Psicolgica Informatizada.
37
penho em TIC. Constatou-se que, apesar de no haver diferenas entre o desempenho geral em TIC, a anlise de regresso linear, considerando o tipo de ensino e curso, revelou que o curso prediz 34% do desempenho em TIC. Sugere-se investigar mais amplamente as variveis de status dos participantes, bem como os vrios modelos usados em EaD para melhor aferir a influncia dessas variveis sobre o desempenho dos estudantes. Palavras-chave: Avaliao. Desempenho em tecnologias. Modalidades de ensino superior. Abstract: The current society, and computerized technology, requires a series of adaptive behavior of people in various daily life situations. Concerning the educational environment, the Information and Communication Technologies (ICT) were included and requires the development of skills for students to use them. This study evaluated the performance of 212 ICT Brazilians students, 50.5% attending courses in distance education (DE) with weekly tele-class. Applied to Scale Performance in Information and Communication Technologies to identify performance in ICT. It was found that although there are no differences between the overall performance in ICT, the linear regression analysis considering the type of education and progress, showed that 34% predict the course of performance in ICT. Suggested to investigate more fully the students status variables as well as the various models used in DE to better assess the influence of these variables on the performance of university students. Keywords: Evaluation. Performance in technology. Types of education in graduate school.
Reviso terica
A
38
sociedade atual, com carter de sociedade tecnolgica e informatizada, exige uma srie de comportamentos das pessoas frente ao avano do arsenal tecnolgico. Segundo Phipps e Merisotis (1999) e Joly (2004), esse avano requer que as pessoas adquiram habilidades e conhecimentos para lidar com os recursos tecnolgicos, prinRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
cipalmente o computador, nas diversas situaes do cotidiano, objetivando a aplicao, comunicao e busca de informao. A classificao do desempenho na utilizao de tecnologias da informao e comunicao, em um nvel bsico, tem sido denominada como technolog y literacy ou alfabetizao tecnolgica (JOLY, 2004). Especialmente no ambiente educacional, como observam Joly e Martins (2006), ocorreu uma significativa insero de mdias (visual, eletrnica e digital) como estratgia de ensino e como meio de acesso informao. Essa insero implica no desenvolvimento de habilidades dos estudantes para utilizar os materiais tecnolgicos e se apropriarem das Tecnologias da Informao e Comunicao (TIC). Como, por exemplo, o desenvolvimento de uma grande autonomia do estudante de cursos EaD (educao a distncia) em relao aos estudantes que frequentam cursos presenciais. Primo (2008) descreve um estudo sobre a autoavaliao em cursos de ps-graduao a distncia em Gesto Educacional, Educao a Distncia e Educao Ambiental. Os resultados referentes participao nas atividades, interao com as mdias e aplicao dos conhecimentos demonstraram que as respostas s atividades melhoraram de um mdulo para outro em relao consistncia, articulao de materiais de estudo e aprofundamentos. Isso indica que os alunos perceberam como melhor utilizar os recursos para o desenvolvimento dos estudos. Referente autonomia do estudante, ou seja, a busca de soluo para o entendimento do contedo, 45% dos alunos de duas turmas responderam necessitar do tutor. No curso especfico em Educao a Distncia, esse valor foi de 11%, o que significa um grau de autonomia mais elevado visto que 32% disseram no terem enfrentado dificuldades e 36% afirmaram terem resolvido sozinhos os problemas referentes ao contedo acadmico. Martins (2006) apresenta um padro criado pela International Society for Technology in Education (ISTE), e utilizado pela United Nation Educational, Scientific and Cultural Organization (UNESCO), que define categorias especficas para estudantes, professores e gestores educacionais, referente ao desempenho em TIC. Dentre os comportamentos que o estudante deve ter em relao a isso, destaca-se: comunicao com os colegas, organizao e anlise de informaes, concluses baseadas em dados coletados, busca de informaes adicionais ao contedo estudado, e colaborao em rede. As tecnologias devem ser utilizadas pelas instituies de ensino para envolver mltiplos e frequentes contatos de alunos com alunos, de alunos com professores, de alunos e professores com interlocutores externos, com
39
grupos e listas de discusso sobre assuntos diversos, envolvendo, assim, instituies interligadas e participantes de projetos comuns. Essa situao passa a exigir dos professores, virtudes como a persistncia, vigilncia e continuidade no sentido de cumprir o papel da disciplina educacional que tambm o de inserir em seu cotidiano a prtica de pesquisa. Nesse processo de incorporao das tecnologias na educao, torna-se possvel o aprendizado sobre como lidar com a diversidade, a abrangncia e a rapidez de acesso s informaes, e surgem tambm novas possibilidades de comunicao e interao, propiciando outras maneiras de aprender, ensinar e produzir conhecimento (MARQUES, 2003; ALMEIDA, 2005). A despeito da importncia dos universitrios estarem familiarizados com as TICs, no Brasil, os estudos relacionados mensurao do desempenho em TIC so ainda bastante restritos. Existe escassez de dados quantitativos e resultados relacionados alfabetizao tecnolgica no sistema educacional brasileiro (JOLY; MARTINS, 2005; MARTINS, 2008), principalmente no que se refere ao ensino superior, no qual o desempenho em TIC pode se configurar como um recurso que facilita a aprendizagem e a interao com os conhecimentos adquiridos e com os colegas (MARTINS, 2008). Cabe destacar que o principal objetivo do ensino superior, de acordo com a Lei de Diretrizes e Bases da Educao Nacional LDB (BRASIL, 1996), formar pessoas nas diversas reas de conhecimento, capazes de se inserirem em mbitos profissionais e para participar no desenvolvimento da sociedade brasileira. No Brasil, a modalidade de ensino superior mais conhecida a presencial, porm, segundo dados do Instituto Nacional de Pesquisas Educacionais Ansio Teixeira (INEP), de 2003 a 2006, houve aumento de 571% no nmero de cursos oferecidos na modalidade de ensino superior a distncia, bem como aumento de 315% no nmero de matrculas nessa modalidade (INEP/MEC,2007). As bases brasileiras legais para a modalidade de educao a distncia foram estabelecidas pela LDB n 9.394 (BRASIL, 1996) e regulamentadas por meio do decreto n 5.622, de 19 de dezembro de 2005. A Educao a Distncia (EaD) a modalidade na qual a mediao didtico-pedaggica dos processos de ensino ocorre com o uso de recursos dos TICs, envolvendo estudantes e professores na realizao de atividades em locais distintos. Os estudantes matriculados nos cursos de EaD, investigados no presente estudo, frequentam o modelo que combina as teleaulas com o atendimento on-line e que atualmente est em maior expanso no Brasil. A tecnologia mais empregada neste modelo a transmisso televisiva ou a videoconferncia, onde as teleaulas acontecem semanalmente ao vivo e so trans-
40
mitidas por satlite num formato de transmisso em massa, com centenas de salas e milhares de alunos recebendo a imagem do professor, simultaneamente. Cada turma pode ter at 50 alunos assistindo s aulas com a superviso de um tutor local. A interao entre professores e alunos se d por meio de perguntas enviadas via chat ou telefone e podem ser respondidas ao vivo, depois de passarem por um filtro de professores auxiliares ou tutores. Essas aulas so complementadas com atividades supervisionadas por um tutor presencial, ao longo da semana e outras atividades via internet so orientadas por um tutor on-line. Esse modelo de EaD possui caractersticas prximas ao do presencial, pois os alunos reconhecem as caractersticas principais de uma aula presencial, onde a palavra e as informaes bsicas so predominantemente dos professores (MORAN; MASETTO; BEHRENS, 2006; MARTINS, 2008). Uma meta-anlise realizada por Allen et al. (2002) verificou que havia preferncia dos estudantes pela modalidade presencial ao EaD. Visando verificar o desempenho em TIC, considerando a influncia de gnero, idade e curso, Joly, Nunes e Istome (2007) realizaram um estudo com 169 estudantes universitrios dos cursos de Engenharia (20,7%), Psicologia (14,2%), Enfermagem (47,3%) e Medicina (17,8%) de uma universidade particular do interior paulista, na modalidade presencial. Identificou-se, por meio da realizao de uma MANOVA, a influncia do gnero e curso para o desempenho em TIC, bem como do semestre frequentado e da idade para o uso das ferramentas de comunicao e apenas idade para ferramentas de soluo de problemas. Os participantes do sexo masculino apresentaram desempenho superior (M=38,80) ao feminino (M=36,58). Em pesquisa descrita por Joly (2007), realizada pela Nickelodeon em 12 pases, dentre eles o Brasil, cujo objetivo foi avaliar o uso da tecnologia com 7.000 crianas, de idades entre 8 e 14 anos e que possuam acesso a pelo menos dois recursos digitais de comunicao, constatou-se que estas crianas eram hbeis no uso de TICs. Observou-se tambm que o acesso internet, o uso de celular, MP3 e I-pod faziam parte do cotidiano dos entrevistados e que estes no tinham nenhuma dificuldade para usar tais recursos tecnolgicos e que eram muito competentes em suas aes tecnolgicas. Contudo, considerando o aumento da utilizao das TICs no ambiente educacional e o avano dos cursos e instituies de ensino a distncia, bem como as indicaes de Phipps e Merisotis (1999) acerca da necessidade de investigar as habilidades e caractersticas dos estudantes com o uso das tecnologias, o objetivo do presente estudo foi avaliar a frequncia de uso e desempenho em tecnologias da informao e comunicao em estudantes do ensino superior. Alm disso, verificar se esse desempenho difere
41
em funo da modalidade escolhida, presencial ou distncia, sexo e idade e curso frequentado. Mtodo Participantes Participaram da pesquisa 212 estudantes do ensino superior de duas cidades do interior do Estado de So Paulo. Destes, 49,5% frequentavam a educao presencial, 36,8% eram alunos de Administrao e 63,2% de Pedagogia, e 82,5% eram do sexo feminino. As idades variaram de 17 a 67 anos (M=28,67; DP =8,91). Destaca-se que a mdia das idades foi diferente em funo do tipo de ensino frequentado, sendo que a educao presencial teve a mdia de 24,01 (DP =6,57) e a educao a distncia a mdia de 33,28 (DP =8,54). Instrumento Escala de Desempenho em Tecnologias para Educao - EDTE (JOLY; MARTINS, 2006) tem o objetivo de identificar caractersticas de desempenho relacionadas ao domnio do instrumental e ao uso eficaz dos recursos tecnolgicos, no que se refere adequao de sua aplicao no cotidiano e tambm como suporte de aprendizagem. composta por 56 itens do tipo Likert com quatro pontos (0=nunca, 1=algumas vezes, 2=muitas vezes, 3=sempre), divididos em trs fatores: ferramentas bsicas e de comunicao, conceitos e ferramentas de produtividade, e ferramentas de soluo de problemas. Procedimento Aplicou-se coletivamente a escala nas duas universidades em dias diferentes. A escala estava no formato impresso e sua aplicao durou, em mdia, 20 minutos. Resultados e discusso O desempenho em Tecnologias da Informao e Comunicao (TIC), pela soma das pontuaes dos estudantes nos itens, revelou uma variao de 0 a 167 pontos, com a mdia geral de 100,53 (DP =32,41). Consta-
42
tou-se que as ferramentas mais utilizadas pelos alunos so as ferramentas bsicas de comunicao (M=38,10; DP =11,17). Dentre essas, a edio de textos usando o computador, acesso e comunicao com os colegas usando a internet. Em seguida, ficaram as ferramentas de soluo de problemas (M=36,39; DP =11,14), que se referem utilizao das TICs para melhor compreenso de contedos acadmicos e escolha de equipamentos que facilitem a realizao de tarefas. Por ltimo, as ferramentas de produtividade (M=29,22; DP =12,69), associadas produo de arquivos como vdeos, apresentaes de trabalhos acadmicos, entre outros. Para analisar a diferena no desempenho dos participantes em funo da idade, agruparam-se os estudantes em trs faixas etrias, sendo a Faixa 1 para estudantes com idade entre 17 e 25 anos, a Faixa 2 para estudantes com idade entre 26 e 35 anos e a Faixa 3, para estudantes acima de 36 anos. A Tabela 1 apresenta a distribuio de participantes por faixa, modalidade de educao e por curso. Tabela 1. Distribuio dos estudantes por faixa etria, modalidade de educao e curso
Cursos Administrao Faixas 1 2 3 Total Pedagogia 1 2 3 Total Educao presencial 23 16 3 42 51 8 3 36 % 54,8 38,1 7,1 100 81 12,7 4,8 100 Educao a distncia 6 18 12 62 9 33 27 69 % 16,7 50 33,3 98,4 12,7 46,5 38 97,2
Para verificar a diferena de mdia em desempenho de TIC, utilizou-se o teste t de Student. Por meio dessa anlise foi possvel observar que no houve diferena significativa no desempenho geral por modalidade de ensino (t [211]=1,851; p=0,067), mas os estudantes da modalidade presencial obtiveram mdia superior (M=104,85; DP =25,84) aos estudantes da modalidade a distncia (M=95,16; DP =38,59). Esse dado corrobora com o estudo realizado por Martins (2008), que verificou que a habilidade com tecnologia no influenciou o desempenho acadmico dos alunos da EaD.
43
Ainda por meio do teste t de Student, verificou-se que houve diferena significativa apenas para o fator ferramentas bsicas de comunicao (t [211]=3,461; p=0,001), sendo que os alunos da educao presencial obtiveram mdia maior (M=39,80; DP =8,91) que os alunos da educao a distncia (M=34,28; DP =13,34). Os outros dois fatores, conceitos e ferramentas de produtividade e ferramentas de soluo de problemas, no tiveram diferena significativa. Esse dado converge com o encontrado por Primo (2008), que identificou que a interao com as mdias, nos alunos de EaD, aumenta de um mdulo para outro, o que indica que os estudantes passam a reconhecer os recursos tecnolgicos necessrios para o adequado desempenho nos estudos. Realizou-se uma MANOVA para verificar a influncia do gnero, modalidade de ensino, curso e idade no desempenho em TIC. A Tabela 2 apresenta os dados obtidos. Tabela 2. MANOVA para sexo, modalidade de ensino, curso e faixa etria s mdias da EDTE por fator e total
Variveis Ferramentas bsicas de comunicao 1 0,01 0,922 1 0,00 0,994 1 8,79 0,004* 2 3,71 0,027* Ferramentas de produtividade 1 1,44 0,231 1 1,12 0,291 1 9,82 0,002* 2 2,05 0,133 Ferramentas de soluo de problemas 1 1,42 0,236 1 0,14 0,706 1 4,19 0,042* 2 1 0,371 Desempenho em tecnologia 1 0,73 0,395 1 0,28 0,598 1 8,64 0,004* 2 1,91 0,151
Sexo
Modalidade de ensino Curso
Faixa etria
gl F p gl F p gl F p gl F p
*p significativo; gl= grau de liberdade.
Averiguou-se que no houve diferena significativa no que se refere ao gnero, diferente do que foi identificado por Joly, Nunes e Istome (2007), e, para a modalidade de ensino. Constatou-se que somente o curso tem influncia significativa para todos os fatores da escala e para o desempenho geral. Destaca-se que os alunos do curso de Administrao obtiveram desempenho superior aos alunos de Pedagogia. Referente idade, verificou-se que houve diferena estatisticamente significativa somente para as ferramentas de comunicao, sendo que os estudantes de 17 a 25 anos usam mais as ferramentas bsicas de comunicao
44
que queles com idade acima de 36 anos, corroborando com estudo de Joly, Nunes e Istome (2007), no qual os estudantes com idade entre 17 e 20 anos obtiveram maior desempenho em ferramentas de comunicao. Realizou-se ainda uma anlise de regresso linear pelo mtodo Enter, considerando as variveis, tipo de ensino e curso, em funo do desempenho em TIC, que revelou que o curso para a amostra deste estudo prediz 34% (t =-4,63; p=0,000) do desempenho. Conclui-se que o objetivo do estudo foi alcanado, pois a escala possibilitou avaliar o desempenho dos estudantes em TICs. Faz-se importante destacar da realizao de outros estudos sobre os fenmenos que esto relacionados ao uso de TICs no processo de aprendizagem. Sugerem-se, ainda, investigaes com estudantes da EaD para melhor aferir a influncia das variveis, semestre e curso sobre o desempenho no uso de recursos tecnolgicos. Faz-se necessrio tambm associar a anlise do desempenho em TICs a procedimentos autorregulatrios de estudo nas duas modalidades de ensino. Referncias bibliogrficas ALLEN, M.; BOURHIS, J.; BURRELL, N.; MABRY, E. Comparing student satisfaction with distance education to traditional classrooms in higher education: a meta-analysis. American Journal of Distance Education, n. 16, v. 2, p. 83-97, 2002.. ALMEIDA, M.E.B. Tecnologia na escola: criao de redes de conhecimentos. In: ALMEIDA, M.E.B.; Moran, J.M. (Orgs). Integrao das tecnologias na educao. Salto para o Futuro. Secretaria de Educao a Distncia: Braslia, 2005. p. 71-73. BRASIL Lei de Diretrizes e Bases da Educao Nacional. Braslia: Ministrio da Educao, 1996. INEP/MEC - Instituto Nacional de Pesquisas Educacionais Ansio Teixeira Ministrio da Educao. Educao a distncia cresce mais ainda entre os cursos superiores. 2007. 19 dez. 2007. Disponvel em: <http://www.inep.gov.br/imprensa/noticias/censo/superior/news07_01.htm> Acesso em: 08 jun. 2009. JOLY, M.C.R.A. Aprendizagem para um mundo digital. Psique Cincia & Vida, So Paulo, p. 74-78, 2007. _____. Evidncias de validade de uma escala de desempenho docente em informtica educacional. PsicoUSF, v. 9, n. 2, p. 173-180, 2004. JOLY, M.C.R.A.; MARTINS, R.X. Estudo de validade de uma escala de desempenho em tecnologias para estudantes. Psicologia escolar educacional, v. 10, n. 1, 2006. p. 41-52.
45
_____. Estudo de validade de escala de desempenho em informtica educacional para professores. Avaliao Psicolgica, v. 4, n. 2, p. 105-113, 2005. JOLY, M.C.R.A.; NUNES, C.H.S.S.; ISTOME, A.C. Desempenho em tecnologia e traos de personalidade: estudo de validade com universitrios. PSIC - Revista de Psicologia da Vetor Editora, v. 8, n. 2, p. 205-214, 2007. MARQUES, M.O. A escola no computador. Rio Grande do Sul: Uniju,2003. MARTINS, R.X. Modalidades de Ensino e sua Relao com Habilidades Cognitivas e Tecnolgicas. 2008. Tese de Doutorado (Programa de Ps-Graduao Stricto Sensu em Psicologia). Universidade So Francisco, Itatiba. _____. Tecnologias da informao e comunicao: avaliao de desempenho dos estudantes. In: JOLY, M.C.R.A.; VECTORE, C. (Orgs.). Questes de pesquisa e prticas em Psicologia Escolar. So Paulo: Casa do Psiclogo, 2006. MORAN, J.M.; MASETTO, M.T.; BEHRENS, M.A. Novas tecnologias e mediao pedaggica. So Paulo: Papirus, 2006. PHIPPS, R.; MERISOTIS, J. Whats the difference: a review of contemporary research on the effectiveness of distance learning in higher education. Journal of Distance Education, v. 14, n. 1, p. 102-114, 1999. PRIMO, L. Autoavaliao na educao a distncia uma alternativa vivel. In: CONGRESSO DA SBC. 2008. Belm do Par. Anais do XXVIII da SBC. p. 57-66.
46
Artigo
AVALIAO: RAZO INSTRUMENTAL, RAZO CRTICA E SUBJETIVIDADE
Maria Luiza Andreozzi*
Resumo: O presente artigo reflete criticamente sobre a concepo de competncias e habilidades definidas pelo ENEM como modo de avaliao do ensino mdio e atualmente proposto como Sistema de Seleo Unificada. Ao buscar os fundamentos tericos das competncias e habilidades focadas pelo Enem, assinala, num primeiro momento, as contradies encontradas. Numa segunda etapa, apoiando-se na teoria crtica, busca explicitar as competncias e habilidades como expresso ideolgica da racionalidade instrumental do capitalismo financeiro e seu efeito fragilizador sobre o sujeito. Aponta, ao final, a razo crtica como lcus de avaliao da experincia histrica do homem a ser exercida pela funo tica da educao escolar. Palavras-chave: Avaliao e subjetividade. Subjetividade e razo crtica. Avaliao e razo crtica. Abstract: This paper critically reflects on the conception of competences and abilities established as tools to evaluate the secondary school performance by ENEM (the Brazilian Secondary School
*Professora da Faculdade de Educao da Pontifcia Universidade Catlica de So Paulo (PUC-SP); Vice Pr-Reitora de Graduao da PUC-SP.
47
National Exam), currently proposed to be used as a Unified Selection System. While searching for theoretical principles that underlie the competences and abilities in ENEM, this study firstly points out perceived contradictions. Secondly, grounded on the critical theory, it attempts to explain competences and abilities as an ideological expression of instrumental rationality of financial capitalism and its debilitating effect on the subject. Finally, it indicates the critical reason as locus of evaluation of mans historical experience to be carried out by the ethical function of school education. Keywords: Evaluation and subjectivity. Subjectivity and critical reason. Evaluation and critical reason.
As contradies no discurso do ENEM
ENEM, institudo em 1998, foi se aperfeioando no decorrer dos anos de sua aplicao e faz parte das diretrizes de polticas pblicas do governo federal, especificamente do Plano de Educao Bsica do MEC. Implementado pelo INEP, segundo definio da Portaria n 109, de 27 de maio de 2009, o Exame Nacional do Ensino Mdio se apresenta como forma de avaliao do desempenho escolar e acadmico dos participantes para aferir o desenvolvimento de competncias e habilidades fundamentais ao exerccio da cidadania. A partir desta finalidade central, a referida Portaria estabelece os seguintes objetivos: I - oferecer uma referncia para que cada cidado possa proceder sua autoavaliao, com vistas s suas escolhas futuras, tanto em relao ao mundo do trabalho quanto em relao continuidade de estudos; II estruturar, ao final da educao bsica, uma avaliao que sirva como modalidade alternativa ou complementar aos processos de seleo nos diferentes setores do mundo do trabalho; III estruturar, ao final da educao bsica, uma avaliao que sirva como modalidade alternativa ou complementar aos exames de acesso aos cursos profissionalizantes, ps-mdios e educao superior; IV - possibilitar a participao e criar condies de acesso a programas governamentais;
48
V - promover a certificao de jovens e adultos no nvel de concluso do ensino mdio nos termos do artigo 38, pargrafos 1 e 2 da lei n 9.394/96 - Lei das Diretrizes e Bases da Educao Nacional (LDB); VI - promover avaliao do desempenho acadmico das escolas de ensino mdio, de modo que cada unidade escolar receba o resultado global; e VII - promover avaliao do desempenho acadmico dos estudantes ingressantes nas instituies de educao superior. Tais objetivos de avaliao priorizam a formao de competncias e habilidades para o mundo do trabalho em diferentes modalidades de insero, emolduradas no exerccio da cidadania. Enquanto foco central de avaliao do ensino mdio, o ENEM intervm como poltica de organizao do prprio ensino mdio, voltando-o para o mundo do trabalho por meio da formao de competncias e habilidades. Nesta direo, em maio de 2009, o MEC/INEP apresentou a reestruturao do ENEM. Tal reestruturao explicita e intensifica a direo j contida em sua definio inicial, ou seja, utiliz-lo como meio de unificao do processo seletivo para o acesso ao ensino superior. A reestruturao proposta, consequentemente, intensifica seus efeitos sobre a estrutura dos currculos do ensino mdio. Uma vez que o ENEM est buscando aperfeioar cada vez mais seus instrumentos (provas) de avaliao de processos de raciocnio, competncias e aquisies na resoluo de problemas, julgados necessrios vida acadmica, em oposio memorizao, promove no ensino mdio a organizao de currculos no centrados em disciplinas, mas centrado em problematizaes e temas. Quando as disciplinas se mantiverem, necessitaro de um trabalho interdisciplinar para a construo de processos de raciocnio na relao entre elas. Na proposta Associao Nacional dos Dirigentes das Instituies Federais de Ensino Superior (ANDIFES), feita pela assessoria de comunicao social do MEC, em abril de 2009, encontramos explicitada esta interveno no item: 1.2. ENEM como instrumento de induo da reestruturao dos currculos de ensino mdio: A nova prova do ENEM traria a possibilidade concreta do estabelecimento de uma relao positiva entre o ensino mdio e o ensino superior, por meio de um debate focado nas diretrizes da prova. Nesse contexto, a proposta do Ministrio da Educao um chamamento. Um chamamento s IFES para que assumam necessrio papel, como entidades autnomas, de protagonistas no processo de repensar o ensino mdio, discutindo a relao entre contedos exigidos para ingresso na
49
educao superior e habilidades que seriam fundamentais, tanto para o desempenho acadmico futuro, quanto para a formao humana. (grifos meus). Embora o ENEM j tivesse disponibilizando seu uso para acesso ao ensino superior por meio de uma porcentagem integrada aos pontos obtidos pelo candidato no vestibular das IEs, ou como uma fase do processo seletivo das IEs, neste momento direciona mais objetivamente seu uso para tal acesso, propondo o ENEM como meio de seleo nacional: Sistema de Seleo Unificada dos candidatos ao ensino superior. Substitui, assim, as formas de vestibular usadas pelas IES, buscando a melhoria da qualidade do ensino. A proposta, neste momento, se apresenta como um convite IES, no sendo obrigatria. Intensifica-se tambm o ENEM voltado para o acesso ao ensino superior. Por meio do ENEM, inicialmente proposto como poltica de avaliao do ensino mdio, o governo federal define diretrizes polticas para o ensino mdio e ensino superior. A avaliao de competncias e habilidades a maneira escolhida pelo governo federal para introduzir as referidas polticas de ensino para a educao no Brasil. A poltica de educao no ensino mdio, proposta pelo governo federal e viabilizada pelo MEC/INEP, volta-se, portanto, para o mundo do trabalho em suas variadas alternativas, por meio da formao de competncias e habilidades, visando formao humana e do cidado. Mais especificamente, conforme sublinhado na citao acima, quem oferece as referncias da poltica de educao para o ensino mdio e superior so as diretrizes da prova. Busquemos, ento, maior explicitao desta poltica centrada nas diretrizes das provas do ENEM, especificamente para direo que conduz formao humana e do cidado, portador de competncias e habilidades para o mundo do trabalho. Encontramos no ENEM Documento Bsico a seguinte definio: Esse exame difere de outras avaliaes j propostas pelo Ministrio da Educao. Centra-se na avaliao de desempenho por competncias e vincula-se a um conceito mais abrangente e estrutural da inteligncia humana. (p. 1). Ao vincular as competncias e habilidades a um conceito mais abrangente de inteligncia humana, o ENEM demonstra ter seus fundamentos nas teorias psicolgicas cognitivistas, mesmo que no o faa de maneira direta e explcita. Embora existam diferentes formulaes da psicologia cognitiva, o eixo das postulaes destas teorias est no processo mental, em sua constru-
50
o e possibilidades de funcionamento. Centram-se no processo mental e no no produto mental. O pressuposto epistemolgico das teorias cognitivistas de um sujeito que age sobre as condies em que vive, e nessa relao constri sua estrutura mental. Essa estrutura, enquanto uma totalidade, disponibiliza para o sujeito diferentes formas de relao como o meio, com os objetos do contexto em que vive, enquanto objetos de conhecimento, ao mesmo tempo em que a relao com os objetos de conhecimento propicia condies para a construo das estruturas de pensamento. A definio prvia de competncias e habilidades no compatvel com as teorizaes da psicologia cognitivista. A prioridade das psicologias cognitivistas a construo de um sujeito epistmico que, como tal, constri competncias e habilidades nas relaes histricas. No possvel falar em competncias e habilidade sem falar da construo de um sujeito nas relaes com um tempo histrico, nem de competncias no situadas no movimento histrico. Neste sentido, as teorizaes da psicologia cognitiva se diferenciam da psicologia behaviorista, mesmo que algumas delas no explicitem a formao da estrutura mental a partir das determinaes histricas. O pressuposto da psicologia behaviorista de um sujeito que reflete os condicionamentos vividos ou adequadamente planejados. Neste caso, a resposta, ou seja, a produo significativa enquanto fato observvel e mensurvel. Diante de um planejamento de reforos adequados para a finalidade X, produzir-se- um sujeito X. A posio das psicologias cognitivas, contrariamente, no permite observveis mensurveis, pois trabalham teorizando sobre processos internos no observveis, que, quando passveis de observao, no se prestam a mensuraes objetivas como a que se prope o ENEM. Teorizam sobre a construo do sujeito epistmico, cuja especificidade da construo de competncias e habilidades depende da posio do sujeito na relao com os objetos de conhecimento. Isto indica que o ENEM anuncia avaliar desempenho de competncias e habilidades por meio de um conceito mais abrangente de inteligncia que no ocorre. As competncias e habilidades, ao serem avaliadas por meio de provas que buscam medidas e notas, est respaldada muito mais por pressupostos da psicologia behaviorista e sua concepo de sujeito; o sujeito (oculto) na definio das competncias e habilidades da Matriz de Referncia para o ENEM 2009. A formao humana e do cidado, visada pela poltica de educao do ensino mdio, est, portanto, definida pelas diretrizes da prova, objetivada na referida Matriz formalizada no ENEM Documento Bsico: a partir das competncias cognitivas globais, identificou-se o elenco de habilidades correspondentes, e a matriz assim constituda fornece indicaes
51
do que se pretende valorizar nessa avaliao, servindo de base para a elaborao de questes que envolvam as deferentes reas de conhecimento. (p. 5). (grifos meus). Orientado pela psicologia behaviorista, o ENEM recorre, portanto, psicometria, como meio de viabilizar uma avaliao quantitativa e positivista das competncias e habilidades, e, assim, implementar a poltica de educao pretendida para o ensino mdio. Ocorre que esta forma de avaliao reduz as diferenas individuais atravs do tratamento estatstico, pois este opera padronizaes, instrumentalizando as diferentes produes subjetivas e as relaes sociais onde estas se do. As padronizaes prprias dos instrumentos estatsticos modelam tipos e perfis de sucesso fundados no padro da curva normal, por onde as diferenas estruturais de pensamento so diludas e neutralizadas numa mdia, que diz respeito a todos e a ningum em particular. Sobre isto, vejamos uma orientao para a prova de redao no mesmo Documento Bsico: Caso o participante no desenvolva o tema e a estrutura solicitados, ser atribuda nota ZERO competncia II da redao, o que anula a correo das demais competncias da redao. A nota global da redao ser ZERO. (p. 9). O que significa ZERO? Que o aluno no possui nenhuma competncia ou habilidade no redigir? Ou que, nesta condio, a competncia no se revelou? Se a avaliao proposta fosse apenas para verificar tendncias, talvez se justificasse. No entanto, ela atribui ao aluno uma nota como representante das habilidades e competncias que ele possui/no possui, e zero para a competncia II de redao, se ocorrer a situao acima. Ou seja, o aluno deve cumprir a solicitao. Aquilo que ele faz, enquanto qualidade revelada de sua estrutura mental que no se enquadra no padro definido previamente, no existe. Isto sugere que o ENEM est muito prximo da modelao de comportamentos, contemplando-a por meio das competncias e habilidades prdefinidas na Matriz de Referncia. Como podemos pensar a formao da cidadania uma vez que a poltica de educao para o ensino mdio volta-se para a modelao de um perfil de competncias e habilidades comportamentais? ENEM: a ideologia da racionalidade instrumental O discurso do ENEM um discurso de significados fechados, definidos e cristalizados. E onde podem se abrir fissuras, os tcnicos em psico-
52
metria aperfeioam os instrumentos para que estas sejam eliminadas. Santos (2001, p. 140), ao analisar a aprovao no exame do provo, diz que ela legitima: a) a idia da possibilidade de todos os alunos aprenderem da mesma forma uma lio, por estarem sujeitos mesma percepo impressiva; b) a idia de que essa aprendizagem, reificada, pode ser objetivamente medida atravs de uma prova; c) que a mdia das notas numricas, decorrentes das provas dos alunos de uma instituio, mede tambm o ensino, j que esto numa relao de causa-efeito Ao se sustentar na psicometria e nas diretrizes da prova, o discurso do ENEM normatizador e disciplinador, uma vez que a base da psicometria a curva normal, e esta define um intervalo de normalidade possvel, obtido a partir da mdia do grupo. A evidncia disto so os rankings apresentados mdia, e no as qualidades reveladas, mesmo que estas estejam fora das expectativas normalizantes, pois as estruturas de pensamento e raciocnio que os sujeitos constroem sempre existem de formas diferentes, mesmo fora do intervalo normatizador. Os significados fechados do discurso do ENEM, no ajustamento habilmente trabalhado pela relao causa-efeito, neutralizando as diferenas, produo da matriz positivista onde as contradies e os conflitos no tm espao para se apresentarem enquanto mediaes de um processo que nunca est ajustado, acabado. A insistncia em ajustar os instrumentos (provas) se sustenta na crena de eliminar estas contradies. E justamente a que o discurso se fecha, cristalizando o movimento humano de avaliao. A avaliao passa a ser um instrumento de controle dos conflitos oriundos das diferenas subjetivas, sociais e histricas. A avaliao para o ser humano est imersa em seu vir-a-ser. Mas o impossvel cristalizar esse momento por meio de um instrumento de medida, uma vez que depois de passar pela prova, o sujeito no mais aquele que fez a prova. A psicometria paralisa o sujeito, fixando-o em um nmero-nota que lhe atribui, e que tem valor no ranking, podendo limitar as possibilidades de seu vir-a-ser. O ENEM, na medida em que se sustenta na psicometria, corre o risco de cristalizar os sujeitos por ele avaliados. A positivizao do sujeito numa nota-competncia exclui as relaes do sujeito na sua histria (e, consequentemente, a construo de suas competncias e habilidades), neutralizando o movimento histrico atravs da produo da cultura conformista, adaptativa. Mas o positivismo, ao excluir o movimento histrico, constri um discurso articulado pela prpria lgica que oculta. O ENEM visa s
53
competncias e habilidades voltadas para o mundo do trabalho. Qual , no atual momento histrico, o mundo do trabalho? Por que os tcnicos INEP se dedicam tanto a elaborar definies objetivas sobre competncias e habilidades, nada explicitam sobre o mundo do trabalho hoje? Hoje, o mundo do trabalho est articulado pela lgica do mercado financeiro globalizado. Este busca a melhor qualidade de trabalho e produtividade dos sujeitos, com o mais baixo custo. Busca absorver sujeitos competentes. No h dvidas que a poltica educacional do ensino mdio e superior, proposta pelo ENEM, se orienta no sentido de formar competncias e habilidades para o mercado financeiro globalizado. Horkheimer (2002, p. 155) nos esclarece sobre esta lgica: Quanto ao ideal de produtividade, deve-se observar que a significao econmica de hoje medida em termos de utilidade em relao estrutura de poder, no em relao necessidade de todos. O tratamento positivista dado ao ENEM, consequentemente s competncias e habilidades, no abre esta reflexo, permitindo que as competncias e habilidades sejam tratadas de maneira a-histrica, unidimensionalmente, onde o lado negativo das mesmas fica excludo. Ou seja, as contradies a que os sujeitos esto submetidos em suas construes conforme posio que ocupam na sociedade hegemonizada pela lgica do capitalismo globalizado. Elas desaparecem em funo da relao causa-efeito na lgica positivista. O ensino supostamente oferece as condies para uma determinada aquisio; ento esperado que o sujeito apresente a aquisio. Deixa de fora as mediaes com as quais lida um sujeito para formar habilidades e competncias. Por exemplo: um sujeito que trabalha na rua 10 horas por dia como motoboy e vai para a escola noite. Que competncias e habilidades constri? Como as constri? O sujeito constri competncias e habilidades nas relaes de um tempo histrico. Isto significa que o desenho das competncias e habilidades do atual modelo social no o mesmo das competncias e habilidades construdas na Idade Mdia, pois as formas de pensar so pertinentes ao momento histrico vivido. Na medida em que esta determinao no explicitada, as tais competncias e habilidades so concebidas como universais paralisados, congelando o tempo histrico. Apresentam-se como formas absolutas e totalizantes, induzindo a formatao do pensar dos sujeitos nesse absoluto totalizante e totalitrio. Quando o ENEM apresenta as competncias e habilidades, formata um modelo de pensamento, um modelo de sujeito a ser produzido pela poltica de educao adaptada s ne-
54
cessidades do capitalismo financeiro globalizado: o modelo de pensamento competente para resolver problemas, mas que no problematiza sua condio social histrica oriunda da lgica desse prprio modo de produo. Os sujeitos formados nesse modelo de pensamento positivo, e avaliados com sucesso pelo mesmo modelo, esto mais preparados para ingressar no mundo do trabalho. Ou seja, so absorvidos pelo mercado globalizado como mode-obra competente e produtiva. O ensino mdio, focado na formao das competncias e habilidades como poltica de educao, est voltado para o mundo do trabalho do capitalismo financeiro globalizado, buscando criar o sujeito globalizado pela e para a hegemonia do mercado global. Pois, se o mercado global, as competncias e habilidades formadas precisam ser compatveis com esta globalizao. E no rol da globalizao, as competncia e habilidades tambm se tornam globalizadas. Os modelos de pensamento e ao que as pessoas aceitam j preparados e fornecidos pelas agncias de cultura de massa, agem por sua vez no sentido de influenciar essa cultura como se fossem idias do prprio povo. (HORKHEIMER, 2002, p. 155). Supondo, ento, o ensino mdio e o ensino superior estruturados a partir da poltica de educao proposta pelo ENEM, como fica a condio dos sujeitos formados por este sistema? A perspectiva de todos objetivos do ENEM de que os sujeitos se incluam no mundo do trabalho, ou seja, se tornem profissionais do mercado financeiro globalizado e em suas profisses exeram a cidadania. A lgica desse processo pode ser explicitada da seguinte maneira: Em primeiro lugar, h uma transformao bsica chamada superestrutura, confundindo-se os planos da economia e da cultura. A indstria cultural determina toda a estrutura de sentido da vida cultural pela racionalidade estratgica da produo econmica, que se inocula nos bens culturais enquanto se convertem estritamente em mercadorias; a prpria organizao da cultura, portanto manipulatria dos sentidos dos objetos culturais, subordinados aos sentidos econmicos e polticos e, logo situao vigente. (MAAR, 2002, p. 21). A produo da vida humana no possvel sem o trabalho e o respectivo salrio, obviamente. As competncias e habilidades de um sujeito sero sempre compatveis com o momento histrico e com a especificidade do modo de produo que o sustente, alocando por meio dela os sujeitos em seu
55
tempo histrico. Inserir os sujeitos formados no ensino mdio/superior no mercado de trabalho, ou seja, no modo de produo vigente, uma maneira elementar de a educao escolar exercer sua funo: o momento adaptativo e necessrio. No entanto, a dimenso mais relevante do trabalho da educao escolar explicitar seu tempo histrico atravs da transmisso e reconstruo dos prprios conhecimentos historicamente construdos. A funo da educao escolar explicitar as relaes histricas que produziram as determinaes do atual momento, bem como os diferentes lugares sociais ocupados pelos sujeitos, suas diferenas, suas implicaes, explicitando dessa maneira os determinantes do modelo de competncia e habilidade definidos hoje no cenrio social pelo ENEM. Mas, formado em competncias e habilidades, como produes da indstria cultural e a-histrica, qual a condio de relao social deste sujeito intervir eticamente nas condies sociais em que vive? Qual a condio dele em se situar e se posicionar em sua histria, se entendermos histria no como um passado fixo do qual deriva o presente, mas como reelaborao da relao do passado com o presente, apreendendo o sentido histrico do presente no sentido de prxis transformadora onde o sujeito se constitui? Histria memria do passado no presente. Memria esta que constitui um sujeito num determinado momento histrico. Sem memria, o sujeito no tem lugar histrico e se dilui num presente a-histrico e, por isso, repressor. Entendemos que o sujeito que se estrutura na construo de sua inteligncia, pensamento e raciocnio encontra-se mais alm das competncias e habilidades instrumentais. Seu lcus a razo humana, que intervm na histria enquanto memria. Mas a razo humana, imersa no jogo do capitalismo financeiro e na perspectiva positiva (sem memria) de se integrar neste mercado globalizado, se reduz a uma razo instrumental. Ela se reduz a um espelhamento do capitalismo tardio enquanto racionalidade instrumental viabilizada pela ideologia. Ideologia como uma imagem, um imaginrio idealizado que recobre a realidade e permite que o elementar da vida humana seja suprido numa adaptao conformista. Ideologia, nesse sentido, no tem histria e faz com que a vida humana, em sua forma primitiva, ou seja, instrumental e pragmtica, se reproduza, se repita dia aps dia. A racionalidade instrumental ideologiza a vida humana escondendo sua prpria histria, reduzindo esta experincia a um carter afirmativo, unidimensional e sem memria. O sujeito no se implica em suas condies histricas quando envolto na racionalidade instrumental ideolgica; permanece colado, absorvido pelo mercado consumidor, consumindo cursos em busca de uma perspectiva subjetiva profissional da qual est expropriado. A indstria cultural expressa a
56
forma repressiva da formao da identidade da subjetividade social contempornea. (ibidem, p. 20). A razo instrumental de um saber fazer automatizado, robotizado, inconsciente, que pulsa e se repete no que produz. A ideologia faz funcionar, age. Imersos na ideologia, os sujeitos se reconhecem naquilo que os iguala na massa como sobreviventes. Como ego, massa estruturada num mnimo eu (competente), encerrado na autoconservao afirmativa. Sobre esta condio humana, Horkheimer diz: Assim, o sujeito da razo individual tende a tornar-se um ego encolhido, cativo do presente evanescente, esquecendo o uso das funes intelectuais pelas quais era capaz de transcender a sua real posio na realidade. Essas funes so hoje assumidas pelas grandes foras sociais e econmicas da poca. (HORKHEIMER, 2002, p. 142). Nessa condio, a prpria avaliao que implica o homem em seu vir-a-ser declina, pois o ego encolhido o que resta do sujeito na sociedade de massa. O movimento deste ego minimizado se d no mimetismo de aes diludas na sociedade de massa. Avaliao como razo crtica: emergncia do sujeito no processo educativo A concepo de avaliao do MEC/INEP na formulao do ENEM, como poltica educacional para o ensino mdio, se encerra na razo instrumental. Pois a avaliao, como ato humano implicado no vir-a-ser, se engendra no ponto onde o positivismo obtura; nos conflitos e nas contradies; no negativo da razo instrumental. As contradies, os tropeos, os buracos no discurso promovem uma interrogao. Promovem o vir-a-ser do sujeito no desvelamento das condies de sua histria. Esse hiato promove uma descolagem; a negao enquanto suspenso da relao vivida. Nessa negao do vivido, o sujeito transcende imerso deste vivido, tomando-o de outra forma; elaborando-o como palavra, como conceito. O conceito, a palavra, permite que o sujeito se aproprie do vivido, concebendo-o como pensamento por onde a crtica nasce, no movimento das contradies, operando a desmontagem da lgica positivista. Neste movimento de oposio, de negao produzido pelo pensar, as significaes subjacentes, fechadas, que caracterizavam a experincia num primeiro momento de alienao adaptativa, emergem no jogo de oposies. O jogo de oposies implica o sujeito, convoca-o anlise, crtica. Implicado nessas contradies e convocado a
57
se posicionar diante delas e por meio delas, o sujeito no sai o mesmo desse processo. Ao implicar-se na convocao do movimento das contradies da vida social, o sujeito se apropria das relaes vividas, reconstruindo-as na palavra, pelo pensamento, reapropriando-se da razo crtica, capacitando-se como sujeito que intervm nas formas de relaes sociais existentes. Ao se apropriar da relao vivida transformando-a em palavra, em discurso, opera a introduo deste outro discurso na relao social e se constitui como sujeito da palavra; sujeito na relao social histrica: sujeito propriamente dito. Podemos afirmar que quando a educao trabalha com a razo crtica, exerce sua funo tica na histria, funo que subjetiva, humaniza e socializa, intervindo nas formaes sociais objetivadas. Ou seja, no dilui e dissimula sua funo e seu lugar no processo histrico produzindo a cultura como mercadoria. A educao escolar exerce sua funo tica quando no se reduz a inserir o sujeito no mercado de trabalho. A mediao da educao escolar no processo histrico se d quando ela introduz na transmisso de conhecimentos a dimenso crtica que revela a inscrio do sujeito num lugar social no modo de produo, de modo que nesse lugar - e desse lugar - ele possa se reapropriar de sua razo crtica. Crtica esta que conduz formao de outras competncias e habilidades. Pela via da razo crtica, como exerccio tico sobre a histria, ocorre a desmontagem dos determinantes histricos que condicionam e enfraquecem os laos sociais e as subjetividades produzidas na cristalizao do momento histrico. O exerccio tico da razo crtica revela o modo como a ideologia daquele momento histrico reduz/no reduz a humanidade, a socializao, a subjetividade. Neste exerccio que a subjetividade, para alm do ego encolhido, pode se construir; construindo competncias e habilidades diferenciadas, no totalmente compatveis com o modelo histrico objetivado, fornecendo suporte tico para o exerccio da cidadania. A razo critica introduz no modelo social objetivado diferentes competncias e habilidades manifestas em variadas formas de laos sociais que, dirigidas pela tica, engendram novos meios de humanizao da vida social - subjetiva. A funo tica da educao sua funo histrica em prol da civilizao contra a barbrie, uma vez que nenhum tempo histrico absoluto e acabado e, por isso, oferece alternativas sociais e culturais para a humanidade para a sociedade e para a subjetividade. A avaliao enquanto razo crtica est longe da avaliao formulada pelo MEC/INEP. Pode, entretanto, possibilitar o exerccio da razo crtica quando retomada em sala de aula. Acredito que possamos vislumbrar sua possibilidade no processo educativo da escola, na sala de aula, na relao professor-aluno mediada pela transmisso de conhecimentos histricos. Pois,
58
nas escolas, j faz tempo que os educadores comprometidos com a tica educativa deixaram a exclusividade da avaliao fundada na psicometria. Na sala de aula, o ENEM pode ser refletido criticamente pelos prprios sujeitos que dele participam ou esto nele envolvidos, para alm dos resultados psicomtricos. E, parece-me que este , at o momento, o nico lugar onde os sujeitos participantes do ENEM podem resgatar sua condio de sujeitos da palavra, percorrendo as contradies encontradas no Exame. Este reencontro se potencializa como aquele onde o ato de avaliar, enquanto razo crtica, pode ser recuperado, convocando o sujeito a se posicionar diante de sua experincia particular e histrica, elaborando-a como palavra-conceito e, por isso, se construir como cidado. Falar sobre a participao no ENEM situ-lo no espao e no tempo histrico, mais alm do ranking. Nesse sentido o lugar da educao escolar mediada pela transmisso e reconstruo do conhecimento na relao professor-aluno precisa ser resgatado como lugar cuja funo tica, histrica e antropolgica humanizar, socializar e subjetivizar para alm das polticas pblicas, uma vez que o Estado, na modernidade contempornea, divorciou-se da nao. Referncias Bibliogrficas ADORNO, W.T. Educao e emancipao. 3. ed. Rio de Janeiro: Paz e Terra, 2003. ALTHUSSER, L. Aparelhos ideolgicos do Estado. 9. ed.So Paulo: Graal, 2003. ENEM. Exame Nacional do Ensino Mdio. Documento bsico. 1998. HORKHEIMER, M. A eclipse da razo. So Paulo: Centauro Editora, 2002. MAAR, W.L. guisa de introduo: Adorno e a experincia formativa. In: ADORNO, W.T. Educao e emancipao. 3. ed. Rio de Janeiro: Paz e Terra, 2003. SANTOS, W. O provo: para alm do discurso oficial, representao do professor e anatomia do modelo.Tese (Doutorado em Educao). Pontifcia Universidade Catlica de So Paulo, So Paulo, 2001.
59
Artigo
O ESPELHO E A QUALIDADE
Srgio Roberto Kieling Franco*
Resumo: Com o objetivo de analisar as potencialidades do Sistema Nacional de Avaliao da Educao Superior (SINAES) em se tornar um processo de qualificao da educao superior brasileira, o artigo inicia analisando as reaes costumeiras frente aos processos avaliativos em todos os mbitos, especialmente por representar uma forma de exerccio de poder. Frente aos problemas da educao brasileira, o texto discute o significado de um processo pblico de avaliao da educao superior, fazendo a defesa do Sistema Nacional, no sem apontar suas limitaes e riscos, como o decorrente da definio dos instrumentos, bem como do aspecto mensurador da avaliao. Por fim, conclui sobre a importncia do processo avaliativo, especialmente quando a instituio ou o curso avaliado aceita utiliz-lo como um espelho, que capaz de mostrar tanto as potencialidades como as fragilidades. A avaliao pode ter um carter emancipatrio a partir do confronto dialgico entre a avaliao interna e externa, tendo presente a responsabilidade institucional para com a sociedade, o que abre caminho para se transformar a avaliao em um instrumento de gesto.
Doutor em Educao pela Universidade Federal do Rio Grande do Sul (UFRGS); professor- adjunto da UFRGS.
*
61
Palavras-chave: Avaliao. Educao superior. Poltica educacional. Avaliao institucional. Abstract: In order to analyze the potential of the National Higher Education Evaluation Sistem (SINAES) to become a qualification of Brazilian higher education, the paper begins by analyzing the usual reactions against the evaluation processes in all areas, especially because it represents a way of exercising power. Facing the problems of Brazilian education, the paper discusses the meaning of a public process of evaluation of higher education, making the defense of the national system, not without pointing out its limitations and risks, as the result of the definition of instruments and the appearance as a measure evaluation. We then conclude on the importance of the evaluation process, especially when the institution or course valued accepts use it as a mirror, which is able to show both the potential and weaknesses. The assessment can be an emancipatory from the dialogic confrontation between the internal and external evaluation, bearing in mind the institutional responsibility to society, opening the way to become the evaluation as a management tool. Keywords: Assessment. Higher education. Educational policy. Institutional evaluation.
O
62
objetivo deste artigo foi tecer algumas consideraes sobre a potencialidade de um sistema como o SINAES ser capaz de realmente promover a qualificao do sistema educacional. A trajetria brasileira, que tem atrelado de maneira muito forte a avaliao com a regulao, um entrave construo do que se pode chamar de uma cultura avaliativa. No entanto, necessrio que se venam esses vcios histricos e que, de fato, se promova a qualificao da educao brasileira. O pas espera isso com urgncia para poder ocupar a posio que lhe cabe no cenrio mundial. Quando se fala de avaliao na perspectiva macro, praticamente todos so a favor da avaliao. Pode-se dizer que unnime a ideia da importncia de um bom processo de avaliao para que se possa superar, por exemplo, o processo de concorrncia predatria entre instituies privadas. Quando a perspectiva muda para o micro, ou seja, para os casos particulares,
normalmente a defesa da avaliao no vem to fcil. A ameaa, presente na mente de todo avaliado, de que a avaliao possa ser mal feita e no consiga detectar suas qualidades, ou, de to bem feita, revele os defeitos que ningum quer admitir que tem, tende a criar uma postura defensiva diante de qualquer proposta avaliativa. Frente a isso vem todo o tipo de argumentao, desde a desqualificao das intenes da avaliao at a proposio de processos autorregulatrios, ou mesmo a defesa dos processos mercadolgicos como a medida natural de ajuste das relaes sociais. Avaliao nunca foi um tema muito tranquilo, especialmente nos meios educacionais. Qualquer um que tenha passado pela escola e, mais ainda, aqueles que se dedicam a estudar as relaes sociais dentro dela, sabem muito bem o quanto a avaliao foi e ainda usada como meio de presso e controle. No so raras as ocorrncias, da educao bsica superior, em que professores se utilizam dos processos avaliativos para controlar o comportamento de seus alunos. Isso pode muito bem ser transposto para a avaliao de cursos e de instituies. No toa que comumente as instituies ficam temerosas frente avaliao e, at que venha um resultado positivo, desconfiem de que o objetivo do processo avaliativo possa ser simplesmente uma forma de coao para que se enquadrem em um determinado modelo. Por outro lado, no se pode negar que toda avaliao de fato uma forma de controle. preciso renunciar ideia romntica de que possvel haver relaes humanas sem relaes de poder e sem estratgias de controle. Ento, precisamos vencer a simplificao de que todo de controle em si um atentado democracia, liberdade e autonomia. Claro que isso no significa ir exatamente posio inversa, e tambm ingnua, de que todo tipo de controle justificvel. Escrevo isso lembrando de Emanuel Mounier, que com tanta propriedade defendeu o respeito ao outro, outro que indizvel, e que, portanto, no pode ser encaixado em nenhuma forma de classificao. No entanto, o sujeito ou a instituio, para agirem com responsabilidade (no uso de sua liberdade, como nos diz Sartre), precisam estar aptos a analisar a qualidade e as consequncias de suas aes. Assim, condizente com a responsabilidade que temos para com o mundo e com a humanidade, avaliar nossas aes, buscar meios de obtermos indcios no s dos resultados do que fazemos ou deixamos de fazer, mas tambm dos processos que vimos desenvolvendo. Tratando-se da educao brasileira, h muitos indcios de que temos problemas de qualidade. notrio o problema da educao bsica, indicado tanto nos instrumentos de avaliao (ainda que se possa questioRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
63
nar sobre sua limitao para dar conta da complexidade dessa rea), como SAEB, Prova Brasil e outros, como tambm nos relatos de empregadores (pblicos e privados) ao se depararem com os egressos de nossa escola bsica. Tambm na educao superior temos vrios indcios da baixa qualidade e esto a as manifestaes de vrios rgos de classe, os resultados de sucessivos proves e ENADEs, novamente os relatos de empregadores, os resultados de concursos, etc. No entanto, tudo isso como a deteco de uma febre em uma pessoa. Sabemos que algo vai mal, mas no sabemos necessariamente o que vai mal. E se atacarmos somente o que foi indicado pelo termmetro, poderemos muito facilmente matar o doente. Do mesmo modo, no oferecendo cursinhos ou treinamentos para os alunos se sarem bem no ENADE, por exemplo, que tornaremos o curso melhor. Assim como no se pode entender que sade simplesmente ausncia de febre, tambm no se pode entender que qualidade simplesmente alcanar bons resultados em alguns indicadores. Passemos, pois, a refletir um pouco sobre a promoo da qualidade preconizada pelo Sistema Nacional de Avaliao da Educao Superior (SINAES). Aqui se impe uma questo importante, que, quando se trata de instituies de ensino, extremamente importante no reduzir a perspectiva da qualidade somente aos processos internos e aos resultados, mas verific-la no contexto de sua dimenso social, como o atendimento a demandas e necessidades sociais. por isso que, ao lanar o SINAES, a lei n 10.861, de 14 de abril de 2004, apontou nessa direo, indicando que a qualidade de uma instituio de educao superior diz respeito a dez dimenses: I - a misso e o plano de desenvolvimento institucional; II - a poltica para o ensino, a pesquisa, a ps-graduao, a extenso e as respectivas formas de operacionalizao, includos os procedimentos para estmulo produo acadmica, as bolsas de pesquisa, de monitoria e demais modalidades; III - a responsabilidade social da instituio, considerada especialmente no que se refere sua contribuio em relao incluso social, ao desenvolvimento econmico e social, defesa do meio ambiente, da memria cultural, da produo artstica e do patrimnio cultural; IV - a comunicao com a sociedade; V - as polticas de pessoal, as carreiras do corpo docente e do corpo tcnico-administrativo, seu aperfeioamento, desenvolvimento profissional e suas condies de trabalho;
64
VI - organizao e gesto da instituio, especialmente o funcionamento e representatividade dos colegiados, sua independncia e autonomia na relao com a mantenedora, e a participao dos segmentos da comunidade universitria nos processos decisrios; VII - infraestrutura fsica, especialmente a de ensino e de pesquisa, biblioteca, recursos de informao e comunicao; VIII - planejamento e avaliao, especialmente os processos, resultados e eficcia da autoavaliao institucional; IX - polticas de atendimento aos estudantes; e X - sustentabilidade financeira, tendo em vista o significado social da continuidade dos compromissos na oferta da educao superior (lei n 10.861/2004, art. 3). Do mesmo modo, o SINAES tambm preconizou que a qualidade dos cursos de graduao que interessa ao Sistema est afeta, especialmente ao perfil do corpo docente, s instalaes fsicas e organizao didticopedaggica (lei n 10.861, art. 4). Acrescente-se ainda a indicao, pela mesma lei, da necessidade de avaliao do desempenho dos estudantes como um indicador importante da qualidade dos cursos de graduao. Isso tudo aponta para o entendimento de que a avaliao da educao superior no mera mensurao de indicadores, mas o entendimento sistmico de vrios processos avaliativos que se complementam. Veja-se que, ao mesmo tempo em que a lei aponta as dimenses em que se verifica a qualidade das instituies e dos cursos, ela indica os meios de se verificar essa qualidade. Trata-se dos procedimentos de autoavaliao e avaliao externa in loco para verificar a qualidade das instituies de ensino superior e a avaliao externa, e o ENADE para verificar a qualidade dos cursos de graduao. Mas isso no tudo. Ao mesmo tempo em que so indicados esses procedimentos, o SINAES traz consigo alguns princpios que indicam a complexidade do desafio da avaliao. J no artigo 1. da lei n 10.861/2004 so apontados a: (...) valorizao de sua (das instituies de educao superior) misso pblica, da promoo dos valores democrticos, do respeito diferena e diversidade, da afirmao da autonomia e da identidade institucional. Portanto, no se trata de uma avaliao baseada em parmetros previamente estabelecidos ou em modelos de qualidade externos s experincias reais de educao superior em nosso pas. Tais princpios no implicam em
65
transformar a avaliao em casos nicos no comparveis. Tratando-se de um processo sistemtico, no h como deixar essa avaliao sem instrumentos que auxiliem o processo de modo a orientar avaliados e avaliadores. Ao insistir-se na importncia de instrumentos, chegamos necessariamente a um aspecto que normalmente incomoda muito quem da rea da Educao ou das Cincias Humanas em geral. Trata-se da compreenso da avaliao como uma forma de medida. Pode-se reputar isso nossa j histrica resistncia ao Positivismo. Por outro lado, isso tambm indica uma compreenso um tanto preconceituosa. No se pode negar que o grande risco de se lidar com medidas de aspectos que no so estticos e, principalmente, de realidades complexas cair-se em um reducionismo. Assim, por exemplo, no se pode reduzir o psiquismo de uma pessoa ao resultado de um teste de QI. Como tambm no se pode reduzir a dinmica social de um pas ao resultado de seu PIB ou sua taxa de distribuio demogrfica ou de renda. Por outro lado, todos esses ndices so indicadores importantes, que nos ajudam a enxergar a realidade. Assim, o ocidente, historicamente, entendeu que a avaliao de uma determinada realidade passa por quantificaes, por medidas. O principal argumento para se contrapor ao aspecto medida que ele tende a ter como base a ideia de uniformidade e no de diversidade. A medida tende sempre a ser comparativa e a gerar algum tipo de mdia. Isso pode levar uniformizao e ao consequente (ou causante) desrespeito ao processo identitrio. Por sua vez, excluir a medida pode ser uma maneira de jogar fora a criana junto com a gua do banho. A busca da quantificao pela cincia moderna foi associada com o princpio positivista da reificao, ou seja, de tornar concreto (res = coisa) mesmo aquilo que no tem concretude. No entanto, esta associao no necessria e no podemos negar que a transformao da realidade em nmeros deu ao ser humano um poder de ao sobre essa realidade sem precedente na histria, haja vista os progressos em Engenharia e em Economia, para citar apenas dois exemplos marcantes em nossa civilizao. O desafio passa ser trabalhar o limite entre a medida e o juzo. Avaliar, como o prprio nome j diz, atribuir valor e atribuir valor julgar. De que serve uma avaliao se no h a emisso de um juzo? Os resistentes logo poderiam alertar: a servio de quem est aquele que emite o juzo de valor? A que interesses serve? So questionamentos que precisam ser feitos, mas, por seu turno, no se pode cair em uma atitude paranica na qual em tudo v monstros ou inimigos que nos querem destruir. No toa que comumente a reao das instituies, quando se confrontam com o processo de avaliao externa, alimentar fantasias persecutrias.
66
Foucault (2004) nos ensinou que no h relaes humanas que no estejam recheadas de relaes de poder. A questo saber lidar com elas. As perguntas a serem colocadas diante dessa situao talvez sejam: (a) como a dinmica do poder em um processo de avaliao?; (b) qual o espao do avaliado e qual o espao do avaliador?; (c) o que a avaliao pode significar de positivo para cada um dos lados?; e (d) como o avaliado pode utilizar a seu favor o processo de avaliao, de modo a aumentar seu poder na conduo de seus rumos? Na linha desses questionamentos que se reafirma a necessidade de uma avaliao emancipatria, ou seja, uma avaliao que realmente contribua para a qualificao dos processos, resultando, portanto, na superao das fragilidades e na realizao das potencialidades de modo que a instituio ou o curso avaliado possam ter como resultado no um conceito ou uma nota, ou mesmo uma classificao, mas a implementao de um processo de melhoria apontado para o infinito. Isso nos remete importncia de transformar a avaliao em um instrumento de gesto. Note-se que este princpio est presente na lei que cria o SINAES (art. 1). A implantao de processos avaliativos, em todo o mundo, tem sido encarada como uma maneira de assegurar a qualidade. De outra parte, e isso muito forte no Brasil, a avaliao pode ser um meio de se separar o joio do trigo, ou seja, indicar sociedade onde h educao de qualidade e onde no h. Da podem resultar aes do Poder Pblico, ou para punir os promotores de m educao (com fechamento de cursos ou instituies), ou para a criao de mecanismos de ajustes (os protocolos de compromisso sugeridos pela lei do SINAES). Por sua vez, e a reside o principal ganho da implementao de um sistema de avaliao, possvel promover um processo de autoconhecimento por parte de cursos e instituies que ajuda a desencadear uma dinmica de melhoria de qualidade. Isso ainda um desafio que s vezes parece mais uma utopia. A relao ntima no Brasil da avaliao com a regulao, de certo modo, atrapalha isso. A tendncia as IES estarem mais preocupadas com o resultado regulatrio do que com os dados da avaliao. Tal mudana de perspectiva no tarefa simples, tambm porque somos herdeiros de uma vivncia punitiva ou chantagista da avaliao (vivida por praticamente todos ns desde os bancos escolares). Tambm somos herdeiros de uma situao de pouqussimo acompanhamento da qualidade da educao. Em que pese a tradio brasileira regulamentadora, os processos verificativos levados a cabo em passado recente muitas vezes no permitiram a distino do que era bom ou ruim em termos de cursos e instituies e, muito menos, serviram de induo de qualidade. Por isso, a vigilncia tem
67
que ser intensa e constante. Uma vigilncia at mesmo sobre a nossa linguagem, quando ainda justapomos no nosso falar a avaliao e a regulao, apesar de o Decreto n 5.773, de 2006, t-las diferenciado de modo to claro. A avaliao pode, e deve, ser o que se pode chamar de exerccio de espelho. Isso significa que ela uma boa oportunidade para a IES se enxergar com mais realidade e no simplesmente a partir de como se imagina a si prpria. Infelizmente, comum que nossas instituies se comportem como a madrasta da histria da Branca de Neve, que se revolta com a informao que o espelho lhe d. No h como negar que nem sempre o espelho nos agradvel, pois ele mostra tambm o que no queremos ver. Mas somente pelo exerccio do autoexame, acompanhado pelo exame de terceiros, que podemos ter noo mais clara do que temos de bom e de ruim, por mais desconfortvel que isso possa ser em certas ocasies. Antes de tudo, fazer um processo franco de avaliao um exerccio de humildade, algo que no muito fcil quando se trata de instituies de educao superior. Pode-se reputar isso ao fato de que h um autoinvestimento muito grande quando se faz educao. O esforo sempre grandioso e as intenes so, via de regra, as melhores. Mas sabemos que isso no basta. por isso que h um consenso de que um processo avaliativo, que promova qualidade, depende mais da autoavaliao que da avaliao externa. No se trata somente de respeitar a idiossincrasia de cada instituio, mas tambm de sublinhar um valor essencial instituio universitria, que a autonomia. Obviamente que uma boa avaliao no pode estar restrita autoavaliao, pois ela traz consigo dois grandes riscos. O primeiro, menos grave, que muitas vezes o olhar de dentro de si no capaz de perceber o alcance, tanto das fragilidades quanto das potencialidades da instituio. O segundo, prprio de um processo concorrencial, mas tambm ocasionado por alguns tipos de miopia institucional, podem transformar a autoavaliao em um processo de marketing, no qual somente os aspectos positivos so vislumbrados. Estes dois riscos j poderiam ser justificativa suficiente para a necessidade de uma avaliao externa. Mas h outro motivo mais nobre. Uma vez que a instituio universitria tem um carter sempre de abertura para o mundo, o intercmbio com avaliadores externos tende a ser extremamente enriquecedor e ajuda a abrir novos horizontes para a instituio. Pode-se dizer que somente se consegue promover a qualificao institucional quando o processo de autoavaliao consistente e quando a avaliao externa utilizada como fonte de autocompreenso, quando tanto instituio quanto avaliadores entendem que o processo integral de avaliao um dilogo entre a avaliao interna e a externa. Necessariamente, o olhar externo
68
e o olhar interno so diferentes. E esse confronto, entendido como confronto dialgico, essencial para possibilitar o que estamos tratando como asseguramento de qualidade, ou construo de uma garantia de qualidade. Da a necessidade decorrente de se transformar a avaliao em um instrumento de gesto, em uma importante ferramenta para o aperfeioamento do fazer educao. Referncias Bibliogrficas MOUNIER, E. O personalismo. 2. ed. So Paulo: Duas Cidades, 1964. BRASIL . Sinaes Sistema Nacional de Avaliao da Educao Superior : da concepo regulamentao. 4. ed., ampl. Braslia: INEP, 2007. SERPA, F. Rascunho digital: dilogos com Felippe Serpa. Salvador: EDUFBA, 2004. FREIRE, P. Pedagogia da esperana : um reencontro com a Pedagogia do oprimido. 6. ed. Rio de Janeiro: Paz e Terra, 1999. _____. Pedagogia da autonomia. Rio de Janeiro: Paz e Terra, 1997. FREIRE, P.; SCHOR, I. Medo e ousadia: o cotidiano do professor. 2. ed. Rio de Janeiro: Paz e Terra, 1987. FOUCAULT, M. Microfsica do poder. 19.ed. Rio de Janeiro: Graal, 2004.
69
Artigo
ANDRAGOGIA: ANLISE DO DESENVOLVIMENTO DO PROCESSO DE ENSINO-APRENDIZAGEM DE ADULTOS NO INSTITUTO DIOCESANO DE FILOSOFIA CORAO DE MARIA DA DIOCESE DE SO JOO DA BOA VISTA
Raquel Nunes Fuin*, Richard Strazza da Silva**
Resumo: O processo de aprendizagem do adulto no o mesmo da criana. Existem diferenas largas entre a Andragogia e a Pedagogia. Embora ambos exeram o mesmo objetivo, que o da aprendizagem, possuem metodologias, esquemas e meios diferenciados. Ressaltados todos estes caracteres que fundamentam a Andragogia, foi realizada pesquisa, por meio de questionrios entregues a um grupo de pessoas adultas, que escolheram a vida presbiteral como foco e objetivo de sua realizao, embasando os seguintes enfoques: motivao para estudar, aplicao prtica do conhecimento na vida diria, recursos necessrios para aprendizagem e estmulos ambientais. Estes, somente homens, explicitaram sua opinio quanto a este processo de aprendizagem destacado no espao do Instituto Eclesial da Diocese de So Joo da Boa Vista (SP) e universidades afins. O resultado surpreendente e merecedor de ateno. capaz de levar a uma sria reflexo sobre o processo atual da aprendizagem do adulto que escolheu ser presbtero.
*Pedagoga. Especializao em Psicopedagogia Clnica e Institucional pelo Centro Universitrio da Fundao de Ensino Octvio Bastos (Unifeob); Docente do Instituto Diocesano de Filosofia Corao de Maria. **Presbtero; Reitor do Seminrio Diocesano Corao de Maria; Especializao em Psicopedagogia Clnica e Institucional pelo Unifeob; Docente do Instituto Diocesano de Filosofia Corao de Maria.
71
Palavras-chave: Andragogia. Ensino-aprendizagem. Educao de adultos. Abstract: Adult learning is not the same as child learning. There are many differences between andragogy and pedagogy. Although they have the same objective, which is learning, they have different methods, schemes and means. Based on these andragogys characteristics, a survey was done by means of questionnaires, given to a group of adults who have chosen priesthood as focus and objective of personal fulfillment, inquiring about: motivation to study, practical application of knowledge to daily life, necessary resources for learning and environmental stimulus. The group was formed by men only who have given their opinion about their learning process during attendance in the Instituto Eclesial da Diocese de So Joo da Boa Vista (Diocesan Ecclesial Institute) and other related universities. The results are surprising and deserve attention. They may take to a deep reflection about the learning process of those adults that have chosen to be priests. Keywords: Andragogia. Teaching and learning. Adult education.
Caractersticas da formao andraggica
A
72
educao direcionada a adultos uma prtica to antiga quanto a histria da raa humana, sendo que apenas recentemente tornouse objeto de pesquisa cientfica. A herana crist, por exemplo, com cerca de 2 mil anos, apresenta no Livro Sagrado, fartos exemplos de relacionamento educacional adulto por meio dos patriarcas, sacerdotes e o prprio Jesus Cristo que foi, por excelncia, o maior educador de adultos de todos os tempos. Outros na antiguidade, como Confcio e Lao TSE na China; Aristteles, Scrates e Plato na Grcia antiga; Ccero, Evelid e Quintillian na antiga Roma, foram tambm exclusivos educadores de adultos. A percepo desses grandes pensadores quanto aprendizagem era de que ela um processo de ativa indagao e no de passiva recepo de contedos transmitidos. O processo de ensino-aprendizagem da pessoa adulta, nomeado Andragogia (palavra de origem grega: andros=adulto, agog=conduzir,
logos=conhecimento) constitui-se como educao de adultos. Trata da educao na maturidade humana, se constituindo em um caminho educacional que busca a compreenso do adulto em todo seu elemento humano, como ente psicolgico, biolgico e social (GOECKS, 2003). A educao andraggica visa utilizao de meios especficos voltados para a sistematizao do processo de ensino-aprendizagem humano, baseando-se em conceitos de utilizao da experincia particular e voltada para a vida prtica, fundamentando-se pela presena da autonomia, pertinente a essa faixa etria, na escolha dos elementos necessrios construo do seu conhecimento. A experincia o elemento motivador deste processo. Sabe-se que estudantes adultos aprendem apenas 10% do que ouvem, aps 72 horas. Porm, conseguem se lembrar 85% do que ouvem, vm e fazem, aps o mesmo perodo (CAVALCANTI, 1999). Considerando estes elementos prprios da Andragogia, concebe-se que o adulto fundamenta seu conhecimento nos contedos prticos e funcionais para a vida cotidiana, no respeito sua esfera de particularidades, sendo de fundamental importncia o desenvolvimento de atividades que permitam resultados efetivos de aprendizagem real. Na Andragogia, o ensino deve considerar a experincia de vida do aluno, suas condies para aprendizagem, fatores socioculturais e a maneira como o contedo transmitido absorvido e aplicado na vida cotidiana, alm da motivao da pessoa para aprender, de modo que a experincia de aprendizagem esteja intimamente envolvida com seu desenvolvimento social: Primeiramente o indivduo realiza aes externas, que sero interpretadas pelas pessoas a seu redor, de acordo com os significados culturalmente estabelecidos. A partir dessa interpretao, que ser possvel para o individuo atribuir significados a suas prprias aes e desenvolver processos psicolgicos internos que podem ser interpretados por ele prprio a partir dos mecanismos estabelecidos pelo grupo cultural e compreendidos por meio dos cdigos compartilhados pelos membros desse grupo (VYGOTSKY, 2002, p. 15). No estudo aqui apresentado, a pesquisa desenvolveu-se com estudantes vinculados Diocese de So Joo da Boa Vista no ano letivo de 2008. So propedeutas e seminaristas, em processo de formao presbiteral do Seminrio Corao de Maria, que cursaram o ano propedutico ou o curso de Filosofia no Instituto Diocesano de Filosofia Corao de Maria e presbteros que esto matriculados em outros cursos superiores de instituies particulaRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
73
res (Tabela1). No cabealho da folha de pesquisa as informaes solicitadas constam em: curso, turma e idade do entrevistado. Foram elaboradas questes com o objetivo de analisar suas respostas baseando-se em um parmetro de elementos definidos segundo as caractersticas pertinentes aprendizagem andraggica1. So eles: motivao para estudar; aplicao prtica do conhecimento na vida diria; recursos necessrios para a aprendizagem e estmulos ambientais; O total de entrevistados por curso dividiu-se em: Tabela 1 - Amostra consultada
Curso Filosofia* Propedutico Outros cursos** Total: Quantidade de Alunos 20 7 4 31 % 64 23 13 100%
* Alunos de 1 e 3 anos de Filosofia, no ano letivo de 2008. ** Padres da diocese de So Joo da Boa Vista, matriculados em cursos de instituies particulares de ensino (cursos de Filosofia, Histria, Msica e Psicologia).
As faixas etrias constituem-se por: Tabela 2 - Faixa etria dos entrevistados

Idade 18 a 20 anos 21 a 30 anos Acima de 30 anos Total Quantidade de alunos 6 21 4 31 % 19 68 13 100
A seguir, esto representados graficamente os resultados dos elementos analisados na pesquisa, seguidas de citaes descritas pelos entrevistados2. A questo inicial da entrevista solicitou aos participantes a descrio de sua vida escolar (Tabela 3):
Parmetros definidos por meio da observao destes elementos em comum frente a diferentes referncias e teorias consultadas em pesquisa bibliogrfica. 2 As respostas apresentadas constituem parte do total da pesquisa. Sua transcrio respeita a linguagem utilizada por cada entrevistado, quanto forma gramatical empregada no original.
1
74
Tabela 3 Descreva sua vida escolar

Caractersticas Adaptao ao novo Amizades Aprender com os erros Criticidade por meio da Filosofia Dificuldades Horrio matutino Medo Mudana de ambiente Total: % 6 27 6 21 11 17 6 6 100
As descries pelos entrevistados em suas respostas apresentam diferentes pontos de vista e elementos subjetivos caractersticos conforme seu seguimento durante o perodo escolar e o desenvolvimento de sua aprendizagem, como nas respostas a seguir: Minha vida escolar foi marcada pela mudana de ambiente da famlia para a escola. Eu buscava brincar bastante e a curiosidade do novo era o fator motivador determinante da minha vida pr-escolar (29 anos) Da pr-escola at a quinta srie no gostava muito de freqentar a escola, tinha dificuldades de permanecer na instituio, por ser uma criana tmida e muito apegada aos pais (31 anos) Dessa maneira, apresenta-se o processo educacional sob a esfera inicial marcada pela dificuldade e pelo contato com o novo, e outra caracterizada pela maturidade e pelo desenvolvimento intelectual particular da pessoa, diante de sua motivao, desempenho nos estudos e necessidades individuais. Tais esferas apresentam-se interligadas pelo fator social que permite que esta interao com o mundo acontea dentro do processo formativo: as relaes que o homem trava no mundo com o mundo (pessoais, impessoais, corpreas e incorpreas) apresentam uma ordem tal de caractersticas que as distinguem totalmente dos puros contatos, tpicos da outra esfera animal. Entendemos que, para o homem, o mundo uma realidade objetiva, independente dele, possvel
75
de ser conhecida. fundamental, contudo, partirmos de que o homem, ser de relaes e no s de contatos, no apenas est no mundo, mas com o mundo. Estar com o mundo resulta de sua abertura realidade, que o faz ser o ente de relaes que (FREIRE, 1994 p. 47). Elementos pessoais e vocacionais tm peso maior na seguinte questo (Tabela 4): Tabela 4 Liste elementos que o motivam a permanecer estudando
Caractersticas Busca de conhecimento Necessidade vocacional Ensinar aos demais Bons professores Fazer a diferena Realizao futura Gostar de estudar Aprimorar o conhecimento Desenvolver o senso crtico Educao na preparao dos futuros presbteros Fazer a vontade de Deus Rentabilidade Total % 22 22 18 16 5 5 4 3 2 1 1 1 100
Dentre as respostas esto: A vontade permanente de descobrir coisas novas, as amizades, o convvio humano, adquirir um senso crtico sobre tudo aquilo que envolve a questo humana, adquirir maturidade, o interesse da classe e do professor (19 anos). Quando olho pra minha vida, vejo que os elementos que me motivam a continuar os estudos, so com certeza as vantagens que tenho mantendo-me sempre bem atualizado, principalmente no meu campo de trabalho que a relao com as pessoas (29 anos). Aqui se refletem os elementos que constituem sua identidade social e cultural, nas suas escolhas, no citar pelas opes que mais lhes atraem a ateno.
76
Como citam Marconi e Presotto (2002, p. 192) o homem isolado de um sistema social no gera cultura, mas a soma de suas potencialidades, estimuladas pela sociedade e pelo meio, que determina a dinmica da criao cultural. Na questo 3 (Tabela 5), as observaes se referem ao ambiente de estudos e o desenvolvimento do processo de educao: Tabela 5 No seu ambiente de estudos, qual sua opinio sobre o processo de educao?
Caractersticas Didtica Disciplina Liberdade intelectual Organizao institucional Relacionamento (aluno-professor/professor aluno) Total % 3 3 8 58 28 100
Algumas das respostas apresentadas: A educao caminha muito bem. Para ocorrer o processo de educao depende do educador e do educando, quando o educador esteja certo de sua vocao e o educando esteja aberto para acolher e contribuir no processo de educao (45 anos). O processo de aprender para mim se desenvolve a partir da experincia que o aluno faz com aquilo que estudado. D-se tambm pelo incentivo e estmulo que seu aluno recebe. D-se de forma mais completa quando o aluno se identifica com aquilo que ele est estudando (21 anos). As respostas anteriores so marcadas pela criticidade daqueles que as formularam. H observaes referentes ao processo de ensinar, participao do outro nesse processo e ao currculo da graduao cursada. A questo seguinte refere-se aos elementos da construo da aprendizagem (Tabela 6). As respostas apresentadas seguem em: O aprendizado deve ser participativo, comunicado, dialogal, permanente e constante (34 anos). Percebo que comigo o processo se desenvolve se me sinto interessado e se sou levaRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
77
Tabela 6 Para voc, como se desenvolve o processo de aprender?

Caractersticas Aplicao prtica do conhecimento Estmulos Interatividade Metodologia particular Raciocnio Reflexo Total % 60 11 4 17 4 4 100
do a entender a importncia do fato estudado na minha vida. Aprendizagem e vivencia uma forma mais fcil de absorver e fixar ideias, conceitos novos (39 anos). Nesta questo, o peso da aplicao prtica do conhecimento representou 60% do total de respostas, refletindo a importncia da significncia do que o adulto aprende e pode aplicar no seu cotidiano, no seu fazer cultural, social e de trabalho. A ltima questo solicita a descrio de estmulos internos e externos dentro do mtodo de aprendizagem do aluno (Tabela 7). Quanto questo acima as respostas foram: O silncio essencial, este, sobretudo o mais importante para que se tenha um bom ambiente de estudo, e tambm um lugar organizado (21 anos). Para mim, o principal estmulo a vocao que me ajuda a persistir no estudo, mas tambm saber que estou fazendo algo que vai me ajudar no que quero para a minha vida. E claro, de estar fazendo a vontade de Deus (19 anos). A organizao do ambiente, quanto ao espao fsico foi a indicao de maior frequncia. O silncio aparece em segundo lugar, porm, um dos entrevistados descreve a necessidade de msica em seu ambiente de estudos. Desse modo, as diferentes respostas refletem as experincias diversas de cada entrevistado, quanto sua vida escolar, aprendizagem, elementos motivacionais, personalidade, histria de vida e escolhas. Mello (2002, p. 59) afirma que a herana cultural assaz forte para a conformao dos hbitos e costumes, para
78
Tabela 7 Que estmulos particulares e ambientais contribuem para seu mtodo de aprendizagem?
Caractersticas Amadurecimento pessoal Aspectos afetivos Capacidade fsica e mental Espiritualidade Importncia do apoio familiar Materiais didticos Motivao pessoal Msica Organizao do ambiente Pastorais Relevncia do fato estudado Silncio na ambiente de estudos Tecnologia Tempo para estudar Vantagens Total % 6 6 10 3 5 9 4 1 29 2 1 15 7 1 1 100
o modo de pensar e de comportar-se do homem; to forte como a hereditariedade o para conformao fsica do homem. Assim, observando-se cada entrevistado e a reflexo de sua cultura nas respostas apresentadas, a diversidade de colocaes enriquece a inteno final da pesquisa, cujo anseio compreender a aprendizagem da pessoa adulta e contribuir para melhorar a construo do conhecimento,na atuao andraggica. Concluso O respeito maioridade da pessoa adulta o ponto fundamental para se estabelecer uma relao de efetiva aprendizagem. Esse respeito passa pela compreenso de que o adulto sujeito da educao e no o objeto da mesma. O conceito de adulto, ainda que variante conforme o tempo e lugar, possui semelhanas que indicam que a vida adulta se faz quando o indivduo maduro o suficiente para assumir as responsabilidades por seus atos dianRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
79
te da sociedade, considerando-se pelo menos quatro aspectos da capacidade humana: sociolgico, biolgico, psicolgico e jurdico. Quanto ao Instituto Corao de Maria onde estudam os futuros padres diocesanos, sabe-se que o padre diocesano aquele que pertence a uma igreja particular e nela se incardina,3 para em comunho com o bispo e o presbitrio, pastorear a poro do povo de Deus, denominado diocese. Tem vocao para o clero diocesano a pessoa, jovem ou adulto, que se sente chamado e acolhe o convite de dedicar-se evangelizao de determinada poro do povo de Deus, que est em determinado territrio ou pertence a uma categoria social ou eclesial. No se pode esquecer que o prprio candidato ao sacerdcio deve ser considerado protagonista necessrio e insubstituvel de sua formao. Dessa forma, toda a criticidade observada nos resultados apresentados na pesquisa fundamenta as caractersticas pertinentes ao fazer andraggico, as quais deram origem a este trabalho. Considera-se tambm que o perodo de estudos iniciais do candidato ao sacerdcio o perodo em que se vive intensamente, no apenas o efetivo, mas tambm o afetivo. Exemplo disso est nas respostas particulares do questionrio, em expresses como: eu gosto ou eu quero, ainda que em tudo se trate de jovens e adultos em formao. Referncias Bibliogrficas: CAVALCANTI, R. de A. Andragogia: A aprendizagem nos adultos. 1999. Disponvel em: <http://www.rau-tu.unicamp.br/nou-rau/ead/ document/?view=2>. Acesso em: 14 abr. 2008. GOECKS, R. Educao de adultos: uma abordagem andraggica. 2003. Disponvel em: < http://www.andragogia.com.br/ >. Acesso em: 05 jul. 2008. MARCONI, M. de A.; PRESOTTO, Z. M. N. Antropologia: uma introduo. 5 ed. So Paulo: Atlas, 2002. MELLO, L. G. de. Antropologia Cultural: iniciao, teoria e temas. 9 ed. Petrpolis: Vozes, 2002. VYGOTSKY, L. S. A formao social da mente. 6 ed. So Paulo: Martins Fontes, 2002.
Ligao jurdica de um clrigo a uma Diocese ou Igreja em particular.

80
Artigo
REPRESENTAES DOCENTES SOBRE O PROCESSO ENSINO-APRENDIZAGEM DE ALUNOS DO ENSINO MDIO
Heron Laiber Bonadiman*
Resumo: O objetivo deste artigo compreender as representaes que os professores trazem acerca do processo ensino-aprendizagem e como tais representaes se relacionam com o projeto pedaggico da escola. Tal compreenso ser realizada por meio de pressupostos da pesquisa etnogrfica e da anlise do contedo das atas dos Conselhos de Classe e dos dirios escritos pela equipe pedaggica da escola. Percebe-se que o processo ensino-aprendizagem descrito pelos professores atravs de notas de prova e de julgamentos morais, no existindo uma fronteira ntida entre a cultura escolar de avaliao e a cultura de avaliao do senso comum circundante escola. Palavras-chave: Conselho de classe. Ensino-aprendizagem. Ensino mdio. Abstract: This article aims to understand the representations that teachers bring about the teaching-learning process and how these representations are related to the pedagogical project of the school. This understanding will be achieved through assumptions of ethnographic
*Psiclogo pela Universidade Federal de So Joo del-Rei (UFSJ), especialista em Docncia Superior pela Universidade Gama Filho e mestrando em Educao pela UFSJ.
81
research and analysis of the contents recorded during teachers meetings and boards and during the schedules written by the teaching team from the researched school. It is perceived that the teaching-learning process is evaluated by teachers through credits (grades) obtained in formal tests and through moral judgments, what means that there is not a clear boundary between the school culture of evaluating the students and the culture of evaluating presented in the common sense surrounding the school. Keywords: Teachers meetings and boards. Teaching-learning process. High School.
Introduo
s prticas docentes imersas no cotidiano escolar so ricas em elementos que revelam a lgica das prticas ali desenvolvidas. O Conselho de Classe, de modo especial, um dos ambientes mais ricos de concepes, representaes e prticas que configuram um retrato da vida escolar, com toda sua riqueza e complexidade. Mais que identificar problemas no cotidiano, os processos envolvidos nos momentos que um professor avalia um aluno no Conselho de Classe ultrapassam os momentos das avaliaes formais, caracterizadas por exames e testes de conhecimento. Desse modo, o objetivo deste artigo compreender as representaes que os professores possuem acerca do processo ensino-aprendizagem e como tais representaes se relacionam com o projeto pedaggico da escola. Tal compreenso ser realizada atravs de pressupostos da pesquisa etnogrfica e da anlise do contedo das atas dos Conselhos de Classe e dos dirios escritos pela equipe pedaggica da escola. Conselho de Classe: limites e possibilidades Na escola brasileira, o Conselho de Classe considerado como um espao no qual se oportuniza a reunio de professores para a reflexo sobre a aprendizagem dos alunos. De acordo com Gama (1993), uma instituio que se legitima no contexto escolar a partir da lei n 5.692/71, tendo como objetivos
82
orientar o professor na avaliao permanente de cada aluno, analisar as causas do baixo e alto rendimento das turmas, criar condies de assistir os alunos com baixo rendimento e aperfeioar o trabalho cotidiano do professor. Porm, de acordo com os estudos de Gama (1993), Ldke e Mediano (1994) e Hoffmann (2006), as aes dos Conselhos de Classe tm sido frequentemente reduzidas, na prtica, a apresentao de resultados, a discusso sobre o perfil de um aluno ideal e a reclamaes sobre atitudes dos alunos, em detrimento dos aspectos que envolvem o processo ensino-aprendizagem. Para Hoffmann (2006), os Conselhos tendem seriamente a explicar e a justificar resultados obtidos do que a elaborar estratgias de superao. Os estudos contemporneos em relao avaliao da aprendizagem apontam a necessidade de se construir coletivamente um modelo interativo e intersubjetivo dos processos avaliativos, que esteja desligado das prticas avaliativas classificatrias, competitivas, individualistas e fundamentadas na arbitrariedade (HOFFMANN, 2006). Em relao aos processos avaliativos da aprendizagem, Gama (1993) destaca trs etapas no processo: 1) a coleta de informaes sobre o aluno, ocorrida no cotidiano das aulas, dentro das possibilidades e estilo de trabalho do professor e que servem de base para a tomada de decises; 2) a expresso de um juzo valorativo por parte do professor, que representa o reconhecimento, apoiado nas distintas impresses sobre os alunos, de uma conduta como aprovvel ou reprovvel, com vista a dirigir ou disciplinar tal conduta, e; 3) a tomada de deciso do professor, que se apresenta na atribuio de uma nota numrica ou um conceito ao aluno, determinando-lhe uma situao que ser de aprovao, recuperao ou reprovao. Tais constataes dos autores supracitados nos remetem s reflexes realizadas por Mattos (2005), que situam o Conselho de Classe como uma instituio dentro da escola que produz o fracasso escolar. medida que os processos de avaliao no so reflexivos e possuem sua base em juzos morais dos professores, carecendo de critrios objetivos, os alunos ficam merc de tais julgamentos. Este movimento pode levar reprovao e ao abandono do sistema escolar. Procedimentos metodolgicos A pesquisa foi desenvolvida em uma escola confessional catlica do municpio de So Joo Del Rei, em Minas Gerais. A instituio possui 53 anos de funcionamento, contando atualmente com 65 professores, 20 auxiliares de servios gerais, oito tcnico-administrativos, cinco cargos de chefia,
83
a diretora geral e a diretora financeira. A escola possui 850 alunos matriculados do maternal ao Ensino Mdio e na Educao de Jovens e Adultos, que funciona no perodo noturno. O calendrio letivo anual dividido em trs trimestres, sendo que ao final de cada trimestre realizado um Conselho de Classe. Para efeitos de anlise, foi selecionada a reunio ocorrida em junho de 2009, sobre as terceiras sries do ensino mdio, ao final do primeiro trimestre. A terceira srie A composta por 37 alunos e a terceira srie B, por 27 alunos. Tal recorte no universo da pesquisa justifica-se pela possibilidade de realizao de uma anlise minuciosa das representaes do processo ensino-aprendizagem dos professores, uma vez que esses alunos encontram-se no final do processo de escolarizao. Em termos metodolgicos, vrias alternativas se configurariam condizentes com a pesquisa que aqui se apresenta. No entanto, os pressupostos etnogrficos se apresentam como os mais ricos, principalmente por conseguirem tecer as lgicas de funcionamento do Conselho de Classe e sua relao com as representaes sobre o processo ensino-aprendizagem. Desse modo, alm do registro das representaes dos pesquisadores sobre o processo de avaliao dos professores, recorremos Ata do Conselho de Classe, na qual est redigido o documento final da reunio e as respectivas intervenes propostas. Em termos de anlise, tratando-se de pesquisa com pressupostos etnogrficos, Brando (1982; 2002) defende que todo estudo que implique a investigao da cultura deve partir dos seguintes orientaes: 1) recuperar a capacidade de compreender a cultura a partir de seu contexto de realizao e por meio da decifrao de sua prpria lgica; 2) analisar de maneira integrada a sociedade e a cultura, considerando ambos sistemas de relaes sociais e simblicas e que devem ser explicados a partir do lugar que ocupam e no conjunto que desempenham na estrutura de realizao da vida social. Para o autor, no recomendvel envolver-se com o outro para conhec-lo, mas este envolvimento a prpria condio do conhecimento (p. 172). Tratando-se de pesquisas realizadas na escola com o intuito de captar elementos para descrever e analisar representaes docentes, utilizamos o termo vida cotidiana, cunhado por Ezpeleta e Rockwell (1989). O conceito recupera a heterogeneidade da realidade escolar e pode ser definido como algo que: Delimita e, ao mesmo tempo, recupera conjuntos de atividades caracteristicamente heterogneas, empreendidas e articuladas por sujeitos individuais (...) Quando
84
integramos o cotidiano na qualidade de nvel analtico da realidade escolar, pensamos em poder abordar de modo geral as formas de existncia material da escola e dar relevo ao mbito preciso em que os sujeitos individuais, engajados na educao, experimentam, reproduzem, conhecem e transformam a realidade escolar. (p. 22-23). Em termos especficos, a anlise do funcionamento do Conselho de Classe explicita lgicas prprias de funcionamento da instituio escolar e concepes de ensino-aprendizagem que possuem uma relao tnue com a cultura circundante. Como veremos nos resultados a seguir. Conselho de Classe: um nicho de representaes A apresentao dos resultados ser feita em duas categorias: a primeira referente s representaes docentes sobre cada aluno e a segunda, s representaes docentes sobre o coletivo da turma. Ambas relacionam-se com uma lgica mais ampla de representao do processo ensino-aprendizagem presente nas diversas prticas realizadas no cotidiano escolar. A primeira sistematizao de resultados refere-se s representaes dos professores sobre os processos individuais de aprendizagem. No momento do Conselho de Classe, cada docente convidado a emitir um parecer sobre o aluno durante o trimestre letivo. Abaixo, temos a representao retirada da ata do conselho de classe, lida e corrigida pelos docentes e pela equipe pedaggica. notvel, na apresentao do quadro, as emisses de pareceres negativos sobre os alunos. O fato das representaes sobre os alunos sem problema de rendimento e problema de comportamento serem omitidas das atas finais das reunies do Conselho de Classe se configura como um enaltecimento da cultura de punio. medida que os alunos ditos ruins e problemticos so os principais motivadores das reunies, h uma pedagogia propositiva como ncleo de base do projeto pedaggico (PROJETO PEDAGGICO, 2005), tornando-se clara uma contradio entre a prtica docente e o documento oficial a respeito dela. No obstante, as palavras mais citadas no quadro de anlise so desmotivado, dificuldade, grave e srio, reforando o enaltecimento da cultura de punio em contraposio a cultura do xito. Os poucos que conseguiram melhorar o rendimento so os alunos B, da terceira srie A e o aluno R da terceira srie B. Para o aluno A, o Conselho de Classe redigiu que esforou-se e recuperou muito bem em Matemtica. Mas ainda apresenta-se
85
desmotivada. J para o aluno R, o Conselho redigiu que foi o destaque da sala na recuperao. Ambas as argumentaes criam um perfil de aluno ideal, visivelmente inalcansvel, sob o qual todos os outros so referenciados. Trata-se, alm de uma forma unilateral de avaliao, de uma falta de reconhecimento dos progressos daqueles alunos em situao de dificuldade de aprendizagem. Outro ponto evidente na anlise do Quadro 1 a insistncia em culpabilizar os alunos. Em nenhum momento os professores disseram que as intervenes pedaggicas poderiam sofrer de alguma limitao. Alm disso, Quadro 1: representaes docentes sobre os alunos das terceiras sries A e B
Representaes individuais da turma A A : caso srio. Desmotivado com os estudos. Al: preocupa. An : fraco em Histria. B: esforou-se e recuperou muito bem em Matemtica. Mas ainda apresenta-se desmotivada. C: muita conversa em sala, desmotivado e tem prejudicado a aula. Ca: caso grave. Influencia negativamente toda a turma. Todos os alunos em seu entorno conversam. F: problema de disciplina. O baixo rendimento pode ser explicado pelo desinteresse em responder adequadamente s exigncias. Deixa tudo para a ltima hora. G: problema cognitivo. Esfora-se, mas no consegue render. Cola durante as provas. Sugerese encaminh-la para reforo. Gu: fraco em Exatas. H: conversa demasiadamente em sala de aula. Hu: mesmo caso do F. J: caso grave. Muito desmotivado e no se prepara para as provas. No recuperou em nenhuma matria. L: recuperou. Li: seu rendimento caiu. Lu: dificuldade em estudar e se preparar para provas. M: dificuldade em articular argumentos nas provas. Esfora-se, mas no consegue resultado positivo. P: caso grave. Sua escrita preocupa. R: dificuldade em Exatas. T: conversa demais na aula. Prejudica a turma. Ta: fraca em muitas matrias. Th: desmotivado. Ficou em recuperao em apenas uma matria. Representaes individuais da turma B An: problema crnico. No apresenta os prrequisitos bsicos. B: recuperou parcialmente. C: malandragem. D: mesmo caso da An. Problemas de escrita e interpretao. Chamar a famlia e sugerir mudar de escola. M: conversa demasiadamente e prejudica a turma. Fe: deixa tudo para ltima hora. I: caso grave. O mesmo caso da D. K: problemas de rendimento. Ka: caso grave. O mesmo caso da D. L: tem sado com muita frequncia de sala durante as aulas. Lu: tem perturbado a aula e tem baixo rendimento. Ma: aparenta estar sempre desmotivado e avoado durante as aulas. Mar: caso srio. Dificuldade de escrita. Mat: caso grave. No estuda, se aproveita dos outros alunos para conseguir realizar as atividades. Mesmo caso da Ka. P: caso de chamar a famlia e sugerir a retirada da escola. No dar conta de passar de ano. R: destaque da sala na recuperao. S: dificuldade de aprendizagem em Exatas. T: resolver se fica ou se sai da escola. Th: sem problemas.
86
fica claro que o processo de avaliao baseia-se, sobretudo, nas notas dos alunos. Quanto a isso, o projeto pedaggico da escola deixa claro que as avaliaes servem como lente para avaliao do progresso dos alunos e no como instrumentos de punio. A nica referncia sobre a aluna Th, da terceira srie B, a de que est sem problema. O que significa tal afirmao seno que o caminho de construo do conhecimento que esta aluna seguiu ao longo do trimestre foi desconsiderado? Tal ausncia de classificao limita a possibilidade de reconhecimento dos esforos dessa aluna em corresponder as atividades propostas. Desse modo, possumos um dualismo claro nas formas de avaliao dos alunos: de um lado, as prticas de avaliao que levam mais em conta a moral pessoal, as noes de certo e errado dos professores, bem como suas crenas, as notas dos alunos e sua idealizao; de outro lado, observamos o projeto pedaggico, flexvel e otimista, porm distante. Tal constatao converge com os comentrios de Gama (1993), Ldke e Mediano (1994) e Hoffmann (2006). O Quadro 2 apresenta um panorama de representaes que os professores possuem sobre o coletivo da turma. As representaes do coletivo dos alunos so gerais e imprecisas no que tange aos aspectos pedaggicos. Observamos que a dificuldade de leitura e escrita atribuda terceira srie A compromete todo o trabalho pedaggico realizado ao longo dos anos, muitas vezes pelos mesmos professores que fazem tal referncia. Cobrar que os primeiros e segundos anos aprimorem as habilidades de leitura e escrita significa que os mesmos professores devero providenciar intervenes para que o problema seja sanado. Em referncia retirada dos alunos da sala de aula, ainda na terceira srie A, apontamos uma contradio: ao mesmo tempo em que os professoQuadro 2: representaes docentes sobre o coletivo das turmas
Representaes coletivas da turma A Falta maturidade turma. Maior dificuldade encontrada em leitura e escrita. Cobrar dos 1s e 2 anos. Evitar que o Servio de Psicologia e a Assessoria Pedaggica retirem demasiadamente os alunos de sala durante a aula. A volta dos alunos dos 3s anos para as turmas originais prejudicou consideravelmente. Representaes coletivas da turma B A volta dos alunos dos 3s anos para as turmas originais prejudicou consideravelmente. O fundo de formatura e a prenda tm prejudicado consideravelmente a qualidade da aula. Em relao recuperao, elaborar um calendrio e utilizar duas semanas em vez de uma para realizao das provas. No permitir que as provas sejam feitas fora do dia previsto. As decises na escola no podem ser revogadas. Desvaloriza os professores e d poder aos alunos.
87
res reclamam a presena dos alunos em suas aulas, eles os encaminham com frequncia para as intervenes psicopedaggicas, como se pode notar com presena deste relato no Quadro 1. Nas terceiras sries A e B h uma referncia sobre a volta dos alunos para as turmas originais. No incio do ano, a coordenao props que os alunos fossem redistribudos nas salas de acordo com as mdias, desfazendo uma formao de turma constituda h seis anos. Por queixa dos alunos, o pedido de revogao foi atendido pela coordenao e apontado como uma das causas do baixo rendimento das turmas. As outras referncias (prenda dos alunos e data de avaliaes) so eventos externos ao processo ensino-aprendizagem e comuns no Ensino Mdio da escola. H uma cultura entre os alunos de fantasiarem-se s sextasfeiras, de acordo com um cronograma elaborado por eles e autorizado pela coordenao. Caso algum aluno no siga o cronograma de fantasia, paga um valor X para o fundo de formatura. Quanto s datas das avaliaes de recuperao, trata-se de um problema de ordem burocrtica, no sendo um elemento de maior importncia nos resultados dos alunos. Um ltimo elemento referente turma B o pedido docente de no revogao das regras institucionais. Tais regras so mais relacionadas a problemas de comportamento que a problemas do processo ensino-aprendizagem. H, assim, a criao e reforo do dualismo professor-aluno como categorias separadas e distantes. Em termos pedaggicos, o que significaria dar poder aos alunos? A revogao de regras no seria uma oportunidade para o ensino da autonomia e do desenvolvimento coletivo de princpios de comportamento? Esta atitude seria corroborada pelo projeto pedaggico, que prev a construo de uma cidadania ativa e responsvel e por Perrenoud (2005), que aponta a negociao coletiva como um caminho para a construo da cidadania. Tal processo, no entanto, exige que os atores escolares dialoguem com maior regularidade. Consideraes finais De acordo com os dados apresentados, observamos que os princpios e finalidades do Conselho de Classe no so refletidos pelos docentes da escola estudada. Em seu lugar, encontramos juzos valorativos dos alunos e pouca atitude reflexiva frente possibilidade de alterar as estratgias de ensino-aprendizagem propostas pelo projeto pedaggico da escola. A avaliao permanente de cada aluno, as causas do baixo e alto rendimento das turmas, a assistncia aos alunos com baixo rendimento e o
88
aprimoramento do trabalho cotidiano do professor carecem de indicadores slidos, cedendo lugar s apreciaes subjetivas e s representaes do senso comum circundantes escola. Tais questes so mais profundas quando refletimos que a cultura escolar est carregada de elementos da sociedade, que em seu cotidiano no refletem sobre as prticas desenvolvidas. Dessa maneira, h necessidade de aprimoramento de prticas docentes reflexivas. No se trata de tecer um caminho ideal da escola. Por outro lado, pretendemos que a escola se avalie e busque alternativas para o atendimento das necessidades educativas mais bsicas, principalmente a de reconhecer o progresso dos alunos na construo do conhecimento. Caso contrrio, contribuiramos para a possibilidade de construo do fracasso escolar e da reproduo de um modelo escolar ineficaz socialmente. Referncias Bibliogrficas BRANDO, C.R. Dirio de campo: a antropologia como alegoria. So Paulo: Brasiliense, 1982. EZPELETA, J.; ROCKWELL, E. Pesquisa participante. 2. ed. So Paulo: Cortez, 1989. GAMA, Z.J. Avaliao na escola de 2 grau. Campinas: Papirus, 1993. HOFFMANN, J. Avaliar para promover: as setas do caminho. 9. ed. Porto Alegre: Mediao, 2006. LDKE, M.; MEDIANO, Z (Coord.). Avaliao na escola de 1 grau: uma anlise sociolgica. 2. ed. Campinas: Papirus, 1994. PROJETO PEDAGGICO. Marco Referencial da rede Salesiana de Escolas. Braslia: Salesiana, 2005. MATTOS, C.L.G. O conselho de classe e a construo do fracasso escolar. Educao e Pesquisa, So Paulo, v. 31, n. 2, p. 215-228, maio/ago. 2005. PERRENOUD, P. Escola e cidadania: o papel da escola na formao para a democracia. Porto Alegre: Artmed, 2005.
89
Artigo
MISSO INSTITUCIONAL: UMA PROPOSTA AVALIATIVA
Sandra Acosta*
Resumo: O texto trata do processo de autoavaliao da misso da universidade. Foram utilizados processamentos (SPSS e ALCESTE) que possibilitaram a leitura da realidade por meio de anlises: 1) dos documentos que expressam finalidades e compromissos da instituio; 2) das manifestaes da comunidade interna para a compreenso de como os propsitos so vividos, e 3) das manifestaes da comunidade em geral para analisar a imagem da instituio. O trabalho teve como eixos a participao partilhada e o carter formativo do processo avaliativo, e fundamentou-se na compreenso da avaliao como instrumento para a tomada de deciso. Assim, a avaliao analisou os compromissos socioeducacionais declarados e vivenciados, bem como a imagem que a universidade reflete nas comunidades interna e externa. Os dados revelaram que a instituio apresenta coerncia entre o declarado e o vivido, considerando-se a imagem associada ao forte compromisso com a responsabilidade social e a excelncia do ensino. Palavras-chave: Educao superior. Avaliao institucional. Misso institucional.
*Doutora em Educao (Psicologia da Educao) pela Pontifcia Universidade Catlica de So Paulo (PUC-SP).
91
Abstract: The text addresses the self-evaluation process of the University Mission. Processing methods were used (SPSS and ALCESTE) that made it possible to read the reality through analysis: 1) of documents that express the purposes and commitments of the institution; of manifestations of the internal community in order to understand how the purposes are experienced, and 3) of manifestations of the community in general in order to analyze the image of the institution. The work had as its axes the shared participation and the educational nature of the evaluative process, and was based on the understanding of the evaluation as a decision-making instrument. Thus, the evaluation analyzed the socio-educational commitments stated and experienced, as well as the image that the university reflects on the internal and external communities. Data revealed that the institution presents consistency between what it states and experiences, taking into account the image associated with the strong commitment with the social responsibility and the teaching excellence. Keywords: Higher education. Institutional evaluation. Institutional mission. Introduo
autoavaliao institucional um processo que tem como objetivo o conhecimento, pela comunidade e por seus gestores, das possibilidades e limitaes de uma instituio. Esta talvez seja a razo pela qual, na Pontifcia Universidade Catlica de So Paulo (PUC-SP), tais processos tm sido acolhidos com grande interesse. Uma instituio que tem sua histria ligada busca constante de superao de problemas polticos, financeiros e de preservao de sua qualidade, compreende a autoavaliao como uma aliada na iluminao de caminhos a serem trilhados. Para compreenso da realidade institucional, foram delineadas trs etapas avaliativas que, apesar de distintas, se integraram: construo coletiva do projeto, desvelamento coletivo da realidade e comunicao negociada. No texto aqui apresentado, indica-se o desenvolvimento dessas etapas na anlise da dimenso Misso Institucional. A avaliao da Misso Institucional, considerada dimenso nuclear do processo de autoavaliao institucional, pretendeu analisar os compromissos socioeducacionais declarados e vivenciados pela instituio. 1 - A construo coletiva da avaliao da dimenso: Misso Institucional Analisar a viso que a instituio projeta de si mesma, procurando identificar em que termos esta projeo se articula com as aes realizadas,
92
com poltica institucional, com a gesto administrativa e acadmica, exigiu da Comisso Prpria de Avaliao (CPA) orientar a comunidade na deciso dos focos de anlise que caracterizam a Matriz de Avaliao da Misso Institucional. Assim, o processo de construo coletiva da avaliao, envolveu trs focos de anlise. Primeiramente, definiu-se que a Matriz de Avaliao deveria incorporar indicadores que permitissem analisar o Estatuto da universidade, o Plano de Desenvolvimento Institucional (PDI) e o Plano de Pedaggico da Institucional (PPI) documentos nos quais a instituio declara sua compreenso de universidade e sua funo social e afirma sua identidade institucional. O segundo foco de anlise estabeleceu indicadores que permitissem compreender como os propsitos norteadores so vividos no cotidiano das relaes funcionais, nos processos de ensino, nas decises e nos processos de organizao e gesto institucionais. Entendeu-se que no dia-a-dia que se constroem padres de interao, que se operacionalizam modelos de gesto que definiro efetivamente os resultados da ao institucional. Nestes termos, analisar a misso vivida pela instituio seria, na viso da comunidade, compreender a construo de universidade que vem sendo tecida historicamente. O terceiro foco de anlise definiu indicadores que permitissem analisar os reflexos da Misso Institucional na comunidade externa, na sociedade. Entende-se que a compreenso da misso envolve a anlise da imagem que ela reflete na comunidade externa e que, de certo modo, tambm define sua imagem interna. Nestes termos, os indicadores previstos implicaram dar voz aos representantes da sociedade civil, da Igreja e do Estado, indagando sobre como a misso da instituio vem sendo percebida por esses representantes. Considerando ainda que os alunos egressos da universidade poderiam tambm oferecer uma anlise mais distanciada da misso, foram propostos indicadores que permitissem ouvir os egressos sobre como descrevem hoje a misso da instituio. Foram tambm definidas as questes avaliativas relativas Misso Institucional - As finalidades, objetivos e compromissos da instituio atendem s expectativas da comunidade e do contexto social e econmico no qual a instituio est inserida? O que dizem os documentos oficiais e como vivenciada a Misso Institucional? 2 - O desvelamento coletivo da realidade: Misso Institucional A etapa de desvelamento coletivo da realidade se desenvolveu com participaes diferenciadas. Em um primeiro momento, coube a CPA orgaRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
93
nizar e sistematizar as intenes propostas nas Matrizes de Avaliao, definidas na primeira etapa, para, em seguida, elaborar os procedimentos metodolgicos desta segunda etapa. Este momento, portanto, requereu um esforo para envolver setores especficos da comunidade que pudessem participar: na construo de ferramentas tecnolgicas para coleta e processamento de dados, na superviso da coleta de informaes ou na motivao de outros participantes a responderem os instrumentos avaliativos e, sobretudo, para garantir que setores produzissem dados especficos de sua rea. O desvelamento da realidade se mostrou mais ampliado, exigindo tambm um dilogo com grupos operacionais, de infraestrutura, de setores de informtica, de superviso de secretarias, de professores interessados na avaliao de seus cursos, entre outros. Nesta etapa, os procedimentos metodolgicos seguidos para leitura da realidade podem ser assim sistematizados: realizao de grupo focal; elaborao e aplicao de questionrios e de roteiros de anlise documental; construo de ferramentas tecnolgicas para organizao de dados; utilizao de ferramentas tecnolgicas, como os softwares SPSS e ALCEST; construo de categorias de anlise; sntese dos dados; e produo de relatrios. 3 A comunicao negociada: Misso Institucional A etapa da comunicao negociada se caracterizou pela busca de ajustes de significados e sentidos a partir dos dados coletados e das pr-anlises efetuadas na fase anterior, visando tomada de deciso. A comunicao dos resultados da avaliao voltou-se, inicialmente, para interlocutores privilegiados, como gestores e coordenadores de reas especficas, e, num segundo momento, para os rgos colegiados superiores dos quais fazem parte professores, funcionrios e alunos, eleitos por seus pares como representantes de cursos, centros universitrios e faculdades. Embora haja grande representatividade da comunidade nestes conselhos, o desenvolvimento desta etapa previu ainda a discusso dos dados com os setores e unidades acadmicas da instituio. Nestes termos, o trabalho de avaliao institucional no prope apenas a comunicao dos resultados, mas, tambm, coerentemente, o reforo a princpios formativos da avaliao. Respostas s questes avaliativas: principais resultados Para responder ao conjunto das questes avaliativas relativas Misso Institucional, os dados foram organizados e sistematizados observando-
94
se os trs focos de anlise j descritos: as intenes da instituio declaradas nos documentos oficiais; as manifestaes dos atores da comunidade universitria que vivenciam seu cotidiano e, ento, tecem uma instituio imaginria; e, finalmente, a manifestao do pblico externo incluindo os egressos, que refletem a imagem projetada da instituio na comunidade. 1 As intenes da instituio declaradas nos documentos oficiais A leitura dos documentos oficiais indicou claramente orientao baseada em princpios da doutrina moral crist, assegurando por coerncia e tendo como consequncia, a liberdade de investigao, de ensino, de manifestao de pensamento, (...) objetivando sempre a realizao de sua funo social, considerada a natureza e o interesse pblico de suas atividades (Art. 3 - Estatuto da PUC-SP). Esse compromisso est em consonncia com a misso de universidade catlica, definida pelas Diretrizes e Normas para as Universidades Catlicas da CNBB, que a de servir humanidade e Igreja, segundo valores revelados na mensagem salvfica do Cristo, fomentando o dilogo entre razo e f, Evangelho e cultura. Nesse sentido, ela deve fornecer o encontro da Igreja com a comunidade cientfica e acadmica, ajudando a responder aos graves problemas de nosso tempo. luz da Revelao e guiada pelo esforo da inteligncia, deve consagrar-se sem reservas investigao livre, responsvel, corajosa e alegre da verdade sobre o universo, em todos os seus aspectos e em seu nexo essencial com a Verdade suprema, Deus (Art. 5 das Diretrizes e Normas para as Universidades Catlicas da CNBB, pg.3). Por uma dedicao incansvel, aprofundar o conhecimento do significado e valor da pessoa humana, por meio do ensino, pesquisa e extenso e proclamao da verdade. Valor fundamental, sem o qual se extingue a liberdade, a justia e a dignidade. Tais princpios provocaram trs eixos organizadores na estruturao PDI: democratizao das decises, preservao da autonomia universitria, interesse pblico. Assim, tambm os trs eixos foram tomados como critrio da qualidade de suas atividades e se constituram em princpios nucleares que articularam a estruturao do seu PPI e de seu Plano de Gesto. Esses eixos orientaram a realizao dos objetivos institucionais da instituio: a) oferecer cursos nas vrias reas de conhecimento de graduao, de ps-graduao stricto sensu e lato sensu, sequencial, de extenso universitria e outros, da mais alta qualificao, de acordo com os princpios e pressupostos estatutrios, o Projeto Pedaggico Institucional e as propostas dos projetos pedaggicos de cada curso da universidade; b) realizar a pesquisa cientfica na sua vinculao social e na formao e requalificao de pesquisadores;
95
c) promover a extenso, bem como uma cultura extensionista; d) contribuir para a construo de uma sociedade justa e igualitria e para a superao dos problemas sociais; e) manter intercmbio e cooperao com outras instituies cientficas e culturais, nacionais, estrangeiras e internacionais. Manter tal coerncia na declarao de seus princpios tem feito a PUC-SP sofrer presses financeiras, polticas e policiais de diferentes setores de poder, em tempos passados e presentes. Exemplo disso pode ser lembrado quando a instituio procurou, em 1971, resistir a uma adequao direta do seu Estatuto lei n 5.540/68 e s demais legislaes repressoras da poca. A manuteno destes princpios e objetivos exigiu a construo de um Plano de Gesto que oferecesse sustentao administrativa e financeira s atividades a serem desenvolvidas. 2 A Misso vivida na instituio A Misso declarada de uma instituio traduz-se em princpios norteadores da ao, que, no entanto, somente podero ser analisados e referendados como tais se, de fato, so vivenciados no cotidiano. Em outros termos, um processo avaliativo tem que averiguar se os princpios declarados da Misso se refletem em sua prtica, se so vividos no cotidiano das relaes funcionais, nos processos de ensino, nas decises e nos processos de organizao e gesto administrativa e pedaggica da instituio. Com este propsito, professores, alunos e funcionrios foram ouvidos por meio dos instrumentos avaliativos contendo questes comuns e especficas, considerando os diferentes segmentos. Todas as questes, no entanto, tiveram como propsito o acesso a elementos indicativos da caracterizao da imagem da universidade para a comunidade. Duas perguntas do questionrio foram essenciais para possibilitar essa anlise: 1) Para voc, o que caracteriza PUC-SP?; 2) Para voc, o que significa afirmar que a PUC-SP uma instituio privada de vocao pblica? As anlises das respostas possibilitaram a explorao de elementos referentes imagem da instituio para os diferentes segmentos da comunidade universitria. Para alcanar tal objetivo, os dados foram submetidos ao processamento realizado por meio do software ALCESTE1, que permite a
Esse programa faz uso do mtodo de Classificao Hierrquica Descendente (CHD), que consiste em organizar as Unidades de Contexto Elementar (UCE) pequenos recortes das narrativas escritas em classes, manuseando o vocabulrio que as compe, de modo que se obtenha o maior valor possvel numa prova de associao (qui-quadrado).
1
96
classificao dos discursos dos sujeitos. As manifestaes puderam ser assim organizadas e so apresentadas no Quadro 1, a seguir: Quadro 1 Blocos de sentido organizados a partir das respostas dos diferentes segmentos da universidade funcionrios, professores e alunos
Questes avaliativas Para voc, o que caracteriza a PUC-SP? 1) Universidade integra alunos, professores e funcionrios; 2) universidade com valores humanistas; 3) universidade que oferece boas condies de trabalho; 4) universidade de imagens positivas; e 5) universidade com excelncia acadmica. 1) Espao de tradio democrtica; 2) formao tica e humanista; 3) instituio de ensino voltada para a formao intelectual; 4) autonomia e liberdade de expresso; e 5) universidade com excelncia acadmica. 1) Espao tradicional de formao profissional; 2) universidade com diversidade cultural e liberdade de expresso; 3) dinamicidade no cotidiano universitrio; e 4) infraestrutura crtica. Funcionrios Para voc, o que significa afirmar que a PUC-SP uma instituio privada de vocao pblica? 1) Universidade solidria; 2) universidade com caractersticas conflitivas; 3) universidade com responsabilidade social; e 4) universidade que oferece oportunidades.
1) Responsabilidade social: acesso para alunos carentes de recursos econmicos; 2) responsabilidade social: incluso; 3) responsabilidade social: filantropia; 4) responsabilidade social: oferecer bolsas de estudo; e 5) responsabilidade social: promoo do bem comum. 1) Responsabilidade social: acesso para todos; 2) aproximao com as polticas sociais; 3) ampla distribuio de bolsas de estudo; e 4) inexistncia da vocao pblica.
A anlise do Quadro 1 indica a responsabilidade social como o atributo mais significativo para os diferentes segmentos da comunidade universitria. O carter comunitrio da instituio a distingue da maioria das universidades pblicas e privadas brasileiras. Tal caracterstica implica um modo prprio de administrar, ensinar, pesquisar, conviver e comprometer-se com a realidade social. Por ser uma universidade catlica, tambm presta servio a toda a comunidade acadmica, interagindo com os mais diversos segmentos, pretendendo valorizar todas as foras vivas que j atuam e desejam atuar na universidade, por meio de um dilogo constante entre f e razo, luz da mensagem crist. A gesto dessas diferentes formas de conhecimentos produzidos uma temtica intrinsecamente ligada capacidade que a universidade tem em utilizar e combinar, permanentemente, as vrias fontes e tipos de conhecimentos para desenvolver competncias especficas e capacidades inovadoras para o surgimento de novos conhecimentos e o apoio a iniciativas de responsabilidade social.
Alunos
Professores
97
Neste sentido, o compromisso com a responsabilidade social uma das marcas que personalizam a instituio que pode ser constatada pelas parcerias estabelecidas entre a sociedade e as distintas esferas governamentais na realizao de atividades desenvolvidas por professores, estudantes e funcionrios em projetos de diferentes naturezas incluso social, de desenvolvimento econmico social, ligados ao meio ambiente e aqueles que investem na preservao da memria e do patrimnio cultural, integrados pelo princpio da educao como um bem pblico. 3 - A Misso compreendida pela comunidade externa Com o objetivo de compreender a viso da comunidade externa sobre a instituio, foi utilizado o grupo focal. O convite aos representantes da comunidade externa obedeceu a dois critrios fundamentais: 1) a heterogeneidade quanto representao da sociedade, ou seja, integrantes da sociedade civil, de rgos governamentais, das igrejas ou entidades representativas da cidade de So Paulo; e 2) que o participante no fizesse parte dos quadros da instituio. Os dilogos ocorridos no grupo focal, a partir das questes propostas, foram transcritos na ntegra, constituindo-se como dados para anlise da manifestao da comunidade externa. Orientado pelos pressupostos de Bardin (1977), procurou-se interpretar o contedo manifesto, classificando as convergncias e respeitando as divergncias, de modo a buscar a identificao de categorias analticas. Tal procedimento possibilitou o levantamento de aspectos de interesse para a anlise da questo avaliativa sobre a misso institucional. Para um aprofundamento do estudo, e buscando um distanciamento dos dados, foi utilizado software ALCESTE, que organizou as unidades de contexto elementar (UCE) em cinco classes ou categorias de sentido. Tais categorias expressaram a imagem da universidade para a comunidade externa: 1) histria de resistncia poltica e compromisso com a democracia; 2) relaes e vnculos afetivo-culturais; 3) vivncia efetiva de incluso; 4) comprometimento com a integrao latino-americana; e 5) apoio instituio de excelncia com carter pblico. Com o propsito de ampliar a voz da comunidade externa, foi ouvido um conjunto de ex-alunos por meio dos instrumentos avaliativos. As perguntas relativas imagem da instituio, formuladas aos professores, alunos e funcionrios, foram tambm solicitadas aos egressos. Os dados foram submetidos aos mesmos tratamentos de anlises j apresentados, e as manifestaes puderam ser assim organizadas:
98
Quadro 2 Blocos de sentido organizados a partir das respostas dos egressos

Questes avaliativas Para voc, o que caracteriza a PUC-SP? Para voc, o que significa afirmar que a PUCSP uma instituio privada de vocao pblica? 1) Universidade com caractersticas conflitivas: pblico/privado; 2) universidade com responsabilidade social; 3) universidade para todos; e 4) universidade com projetos sociais, polticos e culturais.
1) Universidade com excelentes professores; 2) universidade que oferece qualidade ao ensino; 3) universidade privada com excelncia acadmica reconhecida nacionalmente; 4) PUC-SP uma marca de excelncia; e 5) espao de formao.
A anlise dos dados constatou que o dilogo favorecido pelo grupo focal e a possibilidade de manifestao dos egressos permitiu ouvir a comunidade externa sobre a instituio e identificar contribuies para o aperfeioamento da mesma. Para concluir, pode-se afirmar que a utilizao da sistemtica de avaliao da Misso Institucional possibilitou, por um lado, investigar a dimenso, trazendo elementos importantes para a reflexo da comunidade e possveis encaminhamentos para a tomada de decises. Por outro lado, enquanto proposta metodolgica, constituiu-se como um conjunto integrado de instrumentos e procedimentos que propiciaram compartilhar o planejamento das aes da CPA na dimenso, principalmente com aqueles que desenvolvem trabalhos avaliativos em instituies de grande porte, abrindo espaos de reflexo para a reviso e aperfeioamento do trabalho de autoavaliao institucional. Referncias Bibliogrficas ARDOINO, J.; BERGER, G. Dune valuation en miettes : une evaluation en actes. Paris: Andsha-Matrice, 1989. BARDIN, L. Anlise de contedos. Lisboa: Setenta, 1977. BARICHELLO, E.M.M.R. Universidade e comunicao: identidade institucional, legitimidade e territorialidade na cena da nova ordem tecnocultural. Tese (Doutorado em Comunicao) Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2000. BARRIGA, A.C. Evaluacion de lo academico: nuevas reglas y desafos. Revista do Programa de Estudos Ps-Graduados Psicologia da Educao. So Paulo PUC. in 2, p. 57-82, jun. 1996. BRASIL. Lei n 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de
Egressos
99
Avaliao da Educao Superior - SINAES e d outras providncias. Braslia, 5 abr. 2004 p.3. DIAS SOBRINHO, J. Funcionamento e modos sociais da avaliao institucional. Avaliao: Revista da Rede de Avaliao Institucional da Educao Superior - R AIES. Campinas, v.3, n.2, p. 55-76, jun. 1998. _____. Avaliao: polticas educacionais e reformas da educao superior. So Paulo: Cortez, 2003. DIAS SOBRINHO, J. RISTOFF D. (Org.) Universidade desconstruda. Florianpolis: Insular, 2000. FIGARI, G. Avaliar : que referencial? Porto: Porto Editora, 1996. FREITAS, L.C. (Org.) Avaliao: construindo o campo e a crtica. Florianpolis: Insular, 2002. GORGEN, P.A. Avaliao como prtica emancipatria: subsdios para uma teoria da avaliao institucional. Revista do Programa de Estudos Ps-Graduados Psicologia da Educao. So Paulo - PUC. n. 2, p. 25-42, jun. 1996. LEITE, D. Avaliao Institucional, Reformas e Redesenho Capitalista das Universidades. Avaliao: Rede de Avaliao Institucional da Educao Superior RAIES. Campinas, v. 7, n. 2, p. 29-48, jun.2002. LINCOLN, Y. Tracks toward a postmodern politics of evaluation. Evaluation Pratice, v. 15, n. 3, 1994. MEC - MINISTRIO DE EDUCAO Portaria n 2.051, de 9 de julho de 2004. Regulamenta os procedimentos de avaliao do Sistema Nacional de Avaliao da Educao Superior (SINAES), institudo na Lei n 10.861, de 14 de abril de 2004. 12 abr. 2004; Seo I, p. 10. MEC/CONAES - MINISTRIO DA EDUCAO. COMISSO NACIONAL DE AVALIAO DA EDUCAO SUPERIOR. 2004. Diretrizes para a autoavaliao das instituies. Braslia, 26 ago 2004. NEELY, A. The performance measurement revolution: why now and what next? International Journal of Operations and Production Management, v. 19, n. 2, 1999. p. 205-228. PRADO SOUSA, C. Avaliao institucional no ensino superior: autoavaliao e avaliao externa. In: RODRIGUES, M.L.; FRANCO, Maria M.L. (Org.). Novos rumos do ensino superior. So Paulo: PUC/SP-NEMESS, 1999. p. 33-53. RISTOFF, D. A trplice crise da universidade. In: TRINDADE, H. (Org.). Universidade em runas na repblica dos professores. Petrpolis: Vozes, 1999. p. 201210. SANTOS, B.S. Pela mo de Alice: o social e o poltico na ps-modernidade. So Paulo: Cortez, 1999.
100
SOUSA, S.M.Z.L.; AMORIM, A. Avaliao institucional da universidade brasileira: questes polarizadoras. Estudos em Avaliao Educacional. So Paulo, Fundao Carlos Chagas, n. 10, p.103-136, jul-dez. 1994. STAKE, R.E. Evaluating the Arts in education: a responsive approach. Columbus: Charles E. Merrill, 1975. TRINDADE, H. (Org.). Universidade em runas : na repblica dos professores. Petrpolis, RJ: Vozes/RS: CIPEDES, 1999. UNESCO. Proyecto marco de accin prioritaria para el cambio y el desarrollo de la educacin superior. 1998
101
Artigo
REFERENCIAIS TICO-VALORATIVOS PARA A AVALIAO DO ENSINORELIGIOSO
Jos Braga Ribeiro Neto*
Resumo: Este artigo analisa contedos e a prtica avaliativa da disciplina de Ensino Religioso (ER) a partir de uma escola confessional da rede particular da cidade de Natal (RN). A investigao se deu por meio do acompanhamento da produo terica e procedimentos dos professores de Ensino Religioso da referida escola ao longo de um semestre letivo. Buscamos enfocar a reflexo proporcionada pelos docentes a partir da nova configurao dessa rea de conhecimento, com especial ateno s intenes curriculares de sua dimenso tico-valorativa, estabelecendo um dilogo com estudiosos da rea de avaliao como Targelia Albuquerque e Jussara Hoffmann. Por fim, procuramos oferecer reflexes bsicas sobre diferentes possibilidades de metodologias avaliativas adequadas a tal disciplina. Basicamente, conclumos que a avaliao de ER no pode se alinhar s demandas tecnicistas do mercado sob pena de perder sua identidade emancipatria. Palavras-chave: Ensino religioso. Avaliao. tica. Valores.
*Graduao em Teologia pelo Instituto de Cincias Religiosas; Especializao em Ensino Religioso pela Universidade Catlica de Braslia; Coordenador de Pastoral da Unio Norte-Brasileira de Educao e Cultura (Unbec).
103
Introduo
nquieta-nos o modelo de proposta pedaggica, cada vez mais disseminado entre as escolas particulares, de carter tecnicista. A corrida pela formatao de bons cursinhos ou bons fazedores de provas de vestibular e/ou concursos colocam em xeque a preocupao pela excelncia tica tanto de alunos quanto dos prprios educadores. O presente artigo pretende refletir sobre os modelos de avaliao que lanam sombras sobre todo esse processo de ensino-aprendizagem que as precede, que privilegiam muitas vezes a quase pura reteno de informao e que comprometem a misso da escola como espao de formao cidad integral. Paralelamente, intenciona sublinhar referenciais avaliativos bsicos para o Ensino Religioso (ER) como ferramenta privilegiada para garantir o mnus tico-valorativo de todo e qualquer projeto poltico-pedaggico. A recente transformao pela qual vem passando o ER no Brasil, a partir da lei n 9.475/97, vem, pouco a pouco, evoluindo para o aprofundamento de dimenses dessa rea de conhecimento que ainda se encontram em fase de maturao. No cerne dessas se encontra o aspecto avaliativo do ER. Tivemos a possibilidade de acercar-nos a uma escola particular confessional da cidade de Natal (RN), referncia inconteste no plano nacional dos novos processos gerais do ER, e lanamos um olhar especial sobre as prticas de avaliao ali levadas a cabo. Alguns se alinhavam numa perspectiva mais conteudista, enquanto outros levantavam a bandeira da avaliao qualitativa. Samos em defesa de um ER que proporcione como se propem as disciplinas humanas pensar a finalidade e a qualidade da existncia humana, para alm do simples alongamento de sua durao ou do bem-estar baseado no consumo e nas metas do sistema financeiro mundial. Um ER que no confunda formar com treinar para responder adequadamente s demandas aceleradas postas pela atual forma de acumulao do capital (NORONHA, 2006, p. 49). Por outro lado, tambm samos em defesa de um ER que superou sua identidade de aula de religio, catequese escolar ou que simplesmente tinha seus horrios tomados quando as demandas dos eventos escolares necessitavam de reforo nos ensaios das festas juninas, por exemplo. Argumento pela intuio de superao da dicotomia entre avaliao quantitativa e qualitativa, entre tradicionais e progressistas, respectivamente. Claro est que as opes poltico-pedaggicas se relacionam diretamente com os tipos de avaliao propostos e que, por sua vez, numa curiosa dinmica, os tipos de avaliao aplicados lanam suas sombras e determinam sobre todo o anterior processo que se d entre os interlocutores da educao.
104
(...) pesquisas realizadas indicam, com insistncia, que a avaliao um processo importante e que, em muitos casos, determina at mesmo a forma como o aluno estuda uma matria e, tambm, o contedo que ele escolhe para estudar. Sem falar dos danos motivacionais como, por exemplo, a quebra de auto-estima e a produo de uma auto-imagem negativa que conduzem evaso escolar. Um instrumento com tal poder merece mais ateno ou continuar sendo um problema para todos. (FREITAS, 2009) O mergulho que faremos no tema da avaliao, porm, no se desprender do enfoque principal que desejamos: o ER e sua dimenso ticovalorativa. Para tanto, recorreremos bastante s geniais reflexes de Jussara Hoffmann (2005) e Targelia de Souza Albuquerque (2008). Reflexes e prticas de avaliao do Ensino Religioso A escola confessional particular da cidade de Natal, nosso principal local de pesquisa, nos proporcionou ao longo de um semestre letivo observar que a prtica avaliativa do Ensino Religioso parece ainda em fase de maturao. Em reunio com professores da referida rea de conhecimento, ao iniciar o ano letivo de 2009, demorou-se considervel tempo com a discusso acerca do estabelecimento ou no de notas objetivas (de zero a dez) que permitissem ao professor de ER qualificar seus educandos. Em determinados momentos, porm, se captava certa insegurana para dar passos nessa direo. Todos, efetivamente, porm, reconheceram lacunas de sua prtica avaliativa. Ficava claro que a mudana era necessria e iminente. Todos estariam envolvidos nas novas iniciativas de metodologia avaliativa do ER e deveriam tentar descobrir novas possibilidades, s vezes acertando, s vezes errando, mas traando novos caminhos. A avaliao, sendo assim, revela-se como atividade intencional, produto determinado da sociedade, que colabora com mecanismos de construo de um tipo de ser humano especfico, sintonizado com a postura ideolgica dessa sociedade. A avaliao passa a exercer um papel de controle social e distribuio de contingncias. Uma experincia de conquista do ER Trabalhar a percepo da invisvel mo do mercado, que atinge at os processos de avaliao de ER no meio educacional, at tarefa simples. Mas tentamos estabelecer que no precisamos nos mover cegamente de acordo s indicaes do sistema. A resistncia a trabalhar tal disciplina no EnsiRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
105
no Mdio s diminui quando se joga a partir das argumentaes do prprio iderio tecnicista. Para ilustrar, trazemos a experincia do professor de ER do terceiro ano (pr-universitrio) da referida escola particular, nosso ambiente de pesquisa. O desafio se iniciou para o espirituoso professor a partir do momento em que os alunos dessa srie se deram conta da carga horria e de contedos aos quais teriam que se submeter nesse perodo letivo para lograr xito em concursos vestibulares. A comear da, os questionamentos sobre perder tempo com aulas de ER foram se aprofundando. Estrategicamente, ao professor pouco ou nada adiantaria enveredar pelo discurso ideolgico, junto aos alunos, do questionamento aos parmetros de avaliao tecnicista, de crtica ao sistema de vestibulares e de imposio do Ensino Religioso como ferramenta humanizadora. Tudo isso, ainda que verdade, no possibilitaria ao professor, em sua percepo, atingir satisfatoriamente os objetivos do ER para aquela srie e faixa etria. Foi da que o perspicaz docente tratou de fazer um levantamento exaustivo de questes de vestibulares que trouxessem contedos de ER. Notadamente, provas de histria e geografia traziam elementos afins. Tais questes foram inteligentemente trabalhadas em sala de aula de maneira a convencer aos alunos de que contedos de ER possibilitariam melhor desempenho em concursos vestibulares, alm de uma interpretao mais profunda da realidade scio-poltico-cultural do nosso mundo cada vez mais to complexo. Logrou-se, com xito, convencer a estudantes pr-universitrios que analisar e interpretar o mundo hodierno sem considerar o elemento religioso uma falcia. A Religio como experincia do Sagrado na profundidade e na totalidade do ser humano e que perpassa toda a histria da humanidade; a Religio que se traduz por relaes entre os humanos e destes com todos os seres histricos e com o transcendente; a Religio como manancial do sentido da vida; a Religio como dimenso antropolgica e como instituio religiosocultural; a Religio como dinamismo de crescimento, superao e transformao; enfim, so algumas das afirmaes de autores, como Ruedell (2007), que corroboram a Religio como cultura por excelncia e, por conseguinte, digna de uma prtica avaliativa reflexiva e bem sistematizada no ambiente escolar: lugar de construo cultural por excelncia. Limites da abordagem vestibulante vlido que nos perguntemos: at que ponto essa abordagem gerou uma nova compreenso sobre o fenmeno religioso e a religiosidade nos es-
106
tudantes? A nova percepo dos alunos pr-universitrios sobre o ER era realmente mais adequada? O respeito e valorizao das diversas experincias religiosas realmente se deram? No h a uma viso instrumental do ER a servio do vestibular e, por conseguinte, do sistema? A resposta intrigante, mas certeira: sim! A concepo de ER, trabalhada numa abordagem como a acima descrita, revela-nos uma disciplina alinhada aos tecnicismos, capacidade de reteno de informaes e, por conseguinte, de pouca ou nenhuma incidncia tica. indubitvel que iniciativas como essas avanam na configurao do ER como rea de conhecimento com identidade prpria e que se remete a um arcabouo terico prprio. No obstante, reproduz muito mais uma lgica questionada por seus prprios objetivos fundamentais. Alinhar-se-ia aos processos de excluso, com evidente ausncia de direo social. Avaliao no Ensino Religioso e tica A avaliao para a tica uma pulso vital; e a tica para a avaliao seu fundamento e finalidade, lembra-nos, em linhas gerais, professora Targelia Albuquerque (2008). A avaliao do ER no encontraria seu lcus prprio se no se orientasse por essa assertiva. Como vimos anteriormente, at disciplinas com grande lastro experimental-avaliativo e com intenes emancipadoras como Histria, Geografia e Literatura, podem transgredir a perspectiva tica. Basta que se orientem pela dinmica do sistema. A diferena que, como rea de conhecimento, o ER ainda d seus primeiros passos e seria mais propenso a precipitaes na nsia de garantir sua identidade, enquanto as demais disciplinas j tm considervel lastro. Existem mltiplos olhares sobre avaliao. Dependendo dos interesses em jogo, das foras sociais que a movem, ela pode ser construda para reafirmar o compromisso com a produo da vida humana, com projetos democrticos para a qualidade social ou servir para implementar um projeto que negue parcial ou radicalmente esta tica, transformando-se em mais um mecanismo seletivo ou em uma estratgia de gesto de polticas excludentes, classificatrias, nas mos da globalizao de mercado. (ALBUQUERQUE, 2008, p. 7) preciso clareza acerca da avaliao como ao poltica. Para uma adequada avaliao no ER, necessrio que o docente delineie, desde seu substrato ideolgico, o estar comprometida com a qualidade social, desdobrada em uma prtica educativa batizada por Paulo Freire como libertadora, isto :
107
combativa na excluso do sofrimento, dos preconceitos, das discriminaes de raa, classe, gnero, religio, entre outras, e a favor dos que foram colocados margem da sociedade. Alinhada a Paulo Freire, Albuquerque entende que: Construir uma perspectiva democrtica de avaliao com vistas qualidade social anunciar uma perspectiva de educao e de escola calcada em princpios democrticos e emancipatrios. Explicitar essa viso torna-se indispensvel para se poder compreender e tornar prxis uma avaliao que supere a regulao e se afirme como emancipao. (2008, p. 8). A questo que, como atividade cotidiana do professor, a avaliao tem se diludo, como tudo aquilo que rotineiro, no ritmo ideolgico do sistema. Ocorre ento a cristalizao dos pensamentos e a quase inexorabilidade das representaes do senso comum. O problema, para os educadores-emancipadores, que o senso comum tem caminhado na perspectiva da tcnica. Isso ocorre pela predominncia da mentalidade econmico-liberal no meio social que, ignorando ou simplesmente negando o aspecto polticolibertador, reproduz situaes (des)humanizantes. Todo docente, no s o de ER, deve estar atento quanto a suas opes ideolgicas. absolutamente natural que sua viso de ser humano, de mundo, viso de futuro e interpretao da realidade desemboque nas entrelinhas de suas propostas de avaliao. Claro est que no h neutralidade ideolgica absoluta, nem isso que se deseja. Importa, porm, que se proponham alternativas de avaliao baseadas na construo de elos pedaggicos em defesa da vida. (...) a avaliao deve promover aprendizagens que gerem vida nas sociedades, nas comunidades, nas famlias, nas escolas, nos mais diversos recantos deste planeta; deve ativar as prticas educativas que gerem conhecimento do mundo, que produzam um bem-querer ao outro, a alegria da convivncia, da participao, do brincar, da curiosidade epistemolgica, da investigao, do falar e ser ouvido, do avaliar sem medo de ser punido; e aprendizagens que tornem plena a vida de dignidade, justia e solidariedade. (ALBUQUERQUE, 2008, p. 15) Seis reflexes fundamentais sobre a aplicao da avaliao no Ensino Religioso Trabalhar na linha terico-reflexiva fundamental, principalmente quando estamos tratando de pautas que exigem o re-pensar de aes e condutas. Trata-se tambm de um exerccio avaliativo por excelncia. Nessa
108
seo, entretanto, consideramos particularmente oportuno sinalizar alguns desdobramentos prticos que facilitem a visualizao do discurso e que desemboquem em atitudes concretas de transformao do mbito escolar e, por conseguinte, do meio social. Eis abaixo nossas sugestes: Disposio necessria ao avaliar Saber acolher requisito fundamental para todo e qualquer educador que se proponha colocar-se a servio dos educandos e da melhor qualidade formativa possvel quando da avaliao. Seja a realidade-situao boa ou ruim, satisfatria ou insatisfatria, bonita ou feia, agradvel ou desagradvel. O fato que avaliar um educando implica, antes de tudo, acolh-lo no seu ser e no seu modo de ser, como est, para, a partir da, decidir o que fazer (LUCKESI, 2009). Percebemos, assim, que o ponto de partida da avaliao no propriamente o contedo ou os esquemas de exames pr-estabelecidos, mas a realidade do educando e aquilo que ele apresenta. Sem essa disposio no h avaliao. impossvel julgar aquilo sobre o qual j estabelecemos um rtulo. Paralelamente, vale salientar que a disposio para acolher no nasce, exatamente, conosco. necessrio estar atento a essa atitude, policiar-se de verdade. Aprender a acolher. S assim conseguimos desenvolver essa caracterstica. Uma avaliao formativa-mediadora-inclusiva Seguindo de perto a educadora Jussara Hoffmann, entendemos que, ainda que trabalhe com muitos alunos, o educador estabelecer em suas relaes avaliativas de formas distintas (2005, p. 14). Dessa maneira, o processo avaliativo sempre de carter singular. Pretender constituir a avaliao da aprendizagem num processo objetivo, normativo e padronizado deturp-la em seu significado essencial de humanidade. A relao educador/educando exige o processo avaliativo mediador, que, por sua vez, s sobrevive por meio do resgate sensibilidade, do respeito ao outro, da convivncia e de procedimentos dialgicos e significativos (...). O sentido da avaliao o de promover uma diferena sensvel, o que no se coaduna com a objetividade, com a padronizao. (HOFFMANN, 2005, p. 15) As atitudes que determinam uma avaliao formativo-mediadorainclusiva so: observar, refletir e agir. So como os trs tempos da avaliao; no lineares, j que ocorrem de maneira paralela ou simultnea. esse movimento cheio de interfaces que faz a diferena. A espontaneidade de cada relao, a multiplicidade de dilogos estabelecidos com os educandos, com
109
flexibilidade, inteligncia e perspiccia, junto a diferentes alunos de um mesmo grupo. Para Hoffmann, isso significa diversificar, sem rotular, excluir ou faltar com respeito. O que nos permite, junto a ela, estabelecer dois princpios de um processo avaliativo mediador: a) o princpio formativo-mediadorinclusivo: a inteno de desenvolver desafios diferentes a cada educando e a todos os educandos sempre partindo da observao-reflexo das manifestaes individuais de aprendizagem; b) o princpio tico: dedicar mais tempo e cuidar mais de quem precisa mais, avaliando sempre em benefcio ao educando, quer dizer, valorizando diferenas, preservando liberdades e dignidades e, por fim, refletindo acerca de aes educativas pertinentes a interesses e necessidades ao grupo e aos indivduos. A essncia da concepo formativa est no envolvimento do professor com os alunos e na tomada de conscincia acerca do seu comprometimento com o progresso deles em termos de aprendizagens na importncia e natureza da interveno pedaggica. A viso formativa parte do pressuposto de que, sem orientao de algum que tenha maturidade para tal, sem desafios cognitivos adequados, altamente improvvel que os alunos venham a adquirir (...) os conhecimentos necessrios ao seu desenvolvimento, isto , sem que ocorra o processo de mediao. (HOFFMANN, 2005, p. 20-21) Uma avaliao de qualidade e aprendizagem Uma avaliao formativa-mediadora-inclusiva exige do educador que este registre elementos de natureza qualitativa ao largo do itinerrio letivo. No h outro modo de garantir um adequado acompanhamento individual de um educando pelo professor que o bom hbito de descrever, explicitar com clareza a intensidade e graus de aprendizagem de cada indivduo no processo de construo do conhecimento, registrando-se sempre o que observado. Hoffmann (2005) nos ensina que essas anotaes se transformam no principal mediador do replanejamento da ao educativa, tanto em relao ao grupo quanto em relao aos indivduos. Para a estudiosa, se h a mediao acima idealizada na aprendizagem do educando, seja qual for o tema, seu conhecimento evoluir sempre no sentido de uma maior riqueza de informaes e/ou argumentos; maior coerncia e entendimento sobre o que aprende; e maior preciso de vocabulrio, clculos, dados, informaes e outros. Tais iniciativas do bastante consistncia s decises tomadas no horizonte do estabelecimento de estratgias pedaggicas diversas, que promovam e alavanquem os estudantes nas direes que lhes so necessrias e prprias.
110
Uma avaliao a partir dos eixos estruturantes do ER Passos significativos j foram dados na formulao dos elementos fundamentais que do identidade do ER no mbito de sua matriz curricular. Alguns como objetivo, objeto de estudo e princpios curriculares, inclusive, alcanaram um patamar de comunicao, socializao e compreenso bastante significativo. O que nos propomos agora traar, de maneira indicativa, os eixos estruturantes de estudo do ER, acompanhados de alguns comentrios. Eis que so: fundamentos referem-se aos elementos terico-prticos que compem o fenmeno religioso e religiosidade das diversas experincias espirituais. Contemplam-se nesse eixo, basicamente, teologias, culturas e tradies religiosas e textos sagrados; linguagem religiosa sendo a linguagem representao da realidade, dos sentimentos, das experincias sensoriais e produtora de significados, esto presentes neste eixo: discursos, enunciados, textos escritos ou orais, smbolos, ritos, mitos, entre outros. Aqui esto as preocupaes pela decodificao e interpretao do fato religioso, no apenas para decifrar, mas para novas reflexes e posicionamentos frente a esses fatos hodiernamente; e relaes religiosas eixo que se preocupa em concatenar a apreenso de uma tica a partir dos valores da religiosidade. Neste sentido, as relaes religiosas evidenciam a diversidade e as possibilidades de respostas religiosas para os tempos atuais. Essa viso ampliada auxilia na busca de novas significaes para a prpria existncia, desenvolvendo as mais variadas formas de relacionamento com a diferena religiosa, na tentativa de superao dos preconceitos e a favor da alteridade, com ampliao dos pertencimentos e da conscincia planetria (KUNG, 2003, p. 145). Uma avaliao fiel s competncias e aprendizagens do ER As competncias e aprendizagens do ER no se podem dar sem que estejam intimamente relacionadas aos eixos estruturantes supracitados. Sendo assim, sugerimos o seguinte quadro:
Fundamentos Releitura e interpretao do fenmeno religioso; Compreenso do conhecimento religioso para a busca de respostas s questes existenciais do ser humano e para a busca do sentido da vida; Compreenso das tradies e culturas religiosas como construo scio-histrica; Leitura e interpretao de textos e smbolos sagrados. Linguagem religiosa Decodificao da linguagem religiosa e dos elementos que a constituem; Domnio da linguagem religiosa para compreenso dos fenmenos, das manifestaes religiosas e textos sagrados; Problematizao das situaes sociorreligiosas contemporneas. Relaes religiosas Compreenso das relaes religiosas nos processos sociais, polticos, ticos e culturais; Alteridade nas relaes religiosas; Ressignificao do papel das comunidades humanas como lugar de manifestaes de interculturalidade e de ampliao de pertencimentos; Convivncia com as diferenas; Compreenso das linguagens religiosas como instncia de poder.
111
papel tambm dos coordenadores de rea e assessores pedaggicos zelarem para que o que se trabalhe em sala de aula no se dilua em meros exerccios de autoconhecimento, anlise superficial de filmes-mensagem e dinmicas de integrao, sob pena de no avanarmos na nova proposta do ER e, assim, privarmos nossos educandos de um universo maravilhoso e fundamental para compreenso, interpretao e transformao do cenrio mundial, sob a batuta da solidariedade. Autoavaliao Muito se fala em autoavaliao nas escolas. Pouco, porm, se leva a cabo na perspectiva da formao-mediao-incluso que pretendemos estabelecer aqui. Unindo-nos a Jussara Hoffmann, entendemos que: O sentido desse processo o da tomada de conscincia do aluno sobre seu processo de aprendizagem, de se perceber aprendendo e de querer aprender mais. Para isso, ele no pode aprender para algum ou para alguma coisa, mas aprender pelo prazer da curiosidade, da superao intelectual, aprender para si prprio. Significa responsabilizar-se pela prpria aprendizagem, buscando superar-se a cada dia, construindo novos conhecimentos. (HOFFMANN, 2005, p. 36) Muito mais no mbito do ER, o estudante deve exercitar a tomada de conscincia sobre sua vida, o sentido de sua existncia, suas opes ideolgicas, valorativas, religiosas e, salutarmente, sobre a dinmica na qual se insere dentro espao escolar, inclusive os de ensino-aprendizagem. Como isso se d? Fazendo-o participar, desde o primeiro dia de aula, dos processos educacionais, a partir do dilogo, de desafios cognitivos, apontando-lhe avanos, escutando com ateno as perguntas que faz, vibrando com ele, tornando-o mais curioso acerca de tudo (HOFFMANN, 2005, p. 36). Nessa perspectiva, muito mais agudo perguntar algumas vezes sobre: o que voc pensa sobre isso? O que voc est aprendendo com isso? Quais as atividades mais difceis de fazer? Voc est gostando do trabalho que propomos? Por que voc tem se comportado assim? No vislumbramos outro caminho capaz de fazer com que a autoavaliao escape da institucionalizao burocrtica, sem real benefcio ao estudante, que no seja esse. Concluso de se esperar que nossos esforos queiram resultar em material de referncia para construo pessoal e coletiva dos diferentes mapas acadmi-
112
cos que so continuamente renovados, aprofundados e atualizados. Parecenos oportuno, alm de ter oferecido as reflexes anteriormente explanadas, tambm estabelecer pontos fundamentais para uma avaliao do ER mais adequada possvel. Longe de querer intuir receitas ou frmulas mgicas, o que trazemos fruto de um considervel esforo de pesquisa e reflexo. No obstante a singularidade do local que serviu como espao pesquisa, acreditamos que as experincias e reflexes partilhadas fornecem subsdios a serem considerados em qualquer outra realidade. Por fim, reiteramos nosso alerta quanto aos riscos tecnicistas que correm principalmente as disciplinas de Humanas, e acreditamos que a discusso que trazemos, acerca da dimenso avaliativa do ER, conseguiu estabelecer novas possibilidades de maturao para essa rea de conhecimento ainda to recente. Referncias Bibliogrficas Albuquerque, T.S. tica e avaliao: elos pedaggicos em defesa da vida na escola. Revista Construir Notcias, ano 7, n. 43, nov/dez. 2008. p. 5-19. BOFF, L. Ethos mundial, um consenso mnimo entre os humanos. Braslia: Letraviva, 2000. FREIRE, P. Pedagogia do oprimido. 25. ed. Rio de Janeiro: Paz e Terra, 1987. Freitas, L.C. Avaliao, um problema para todos. Disponvel em: <http://66.102.1.104/scholar?hl=ptBR&lr=&q=cache:YBCXLbM2PmgJ:w ww.uniesc.com.br/esp/etext/Avaliasao.rtf+Concep%C3%A7%C3%A3o+d e+avalia%C3%A7%C3%A3o+e+tecnicismo>. Acesso em: 2 mar. 2009. HOFFMANN, J. O jogo do contrrio em avaliao. Porto Alegre: Mediao, 2005. KUNG, H. Projeto de tica mundial: uma moral ecumnica em vista da sobrevivncia humana. 4. ed. So Paulo: Paulinas, 2003. Luckesi, C.C. O que mesmo o ato de avaliar a aprendizagem? Disponvel em: <http://www.faculdadesalesiana.edu.br/media/AVALIAR_LUCKESI. doc>. Acesso em: 27 mai. 2009. _____. Rumo a uma avaliao inclusiva. Disponvel em: <http://66.102.1.104/sc holar?hl=ptBR&lr=&q=cache:YBCXLbM2PmgJ:www.uniesc.com.br/esp/ etext/Avaliasao.rtf+Concep%C3%A7%C3%A3o+de+avalia%C3%A7%C3 %A3o+e+tecnicismo> Acesso em: 2 mar 2009. NORONHA, O.M. Polticas neoliberais, conhecimento e educao. 2. ed. Campinas: Editora Alnea, 2006. Perrone-Moiss, L. Para que servem as humanidades? 2002. Disponvel em: <http://firgoa.usc.es/drupal/node/4394> Acesso em: 7 jun. 2009.
113
RAPHAEL, H.S. Avaliao: questo tcnica ou poltica? 1997. Disponvel em: <http://66.102.1.104/scholar?hl=ptBR&lr=&q=cache:YBCXLbM2Pm gJ:www.uniesc.com.br/esp/etext/Avaliasao.rtf+Concep%C3%A7%C3%A3 o+de+avalia%C3%A7%C3%A3o+e+tecnicismo> Acesso em: 2 mar. 2009. Ruedell, P. Educao religiosa, fundamentao antropolgico-cultural da religio em Paul Tillich. So Paulo: Paulinas, 2007.
114
Artigo
APLICAO DA TEORIA DE RESPOSTA AO ITEM NA INTERPRETAO DAS NOTAS DO ENADE DE PSICOLOGIA1
Ricardo Primi*, Carlos Henrique Sancineto da Silva Nunes**, Marjorie Cristina Rocha da Silva***, Daniel Bartholomeu****, Lucas de Francisco Carvalho*****, Fabiano Koich Miguel******, Claudette Maria Medeiros Vendramini*******
Resumo: O Enade um sistema de avaliao educacional em larga escala destinado a verificar o desempenho de estudantes universitrios ingressantes e concluintes. Nesta pesquisa, utilizou-se a Teoria de Resposta ao Item para a determinao de pontos de corte, formando grupos de competncias requeridas para a resoluo de itens. Foi utilizado um banco de dados contendo 26.613 estudantes que realizaram a prova de Psicologia em 2006. Foram analisadas somente as questes referentes ao contedo
*Doutor em Psicologia Escolar e do Desenvolvimento Humano pela Universidade de So Paulo (USP); professor-associado da Universidade So Francisco (USF). **Ps-Doutorado pela Universidade Federal do Rio Grande do Sul (UFRGS); professor adjunto da Universidade Federal de Santa Catarina (UFSC). ***Doutoranda em Psicologia, rea de concentrao em Avaliao Psicolgica pela USF. ****Doutorando em Psicologia, rea de concentrao em Avaliao Psicolgica pela USF; professor do Centro Universitrio Salesiano de So Paulo. *****Doutorando em Psicologia, rea de concentrao em Avaliao Psicolgica pela USF. ******Doutorando em Psicologia, rea de concentrao em Avaliao Psicolgica pela USF; professor universitrio das Faculdades Integradas Einstein de Limeira. *******Doutora em Educao pela Universidade Estadual de Campinas (Unicamp), professor-associado da USF. 1 Apoio financeiro: Capes (Edital Observatrio da Educao) e CNPq.
115
especfico. A escala de habilidades dos estudantes foi dividida em quatro nveis: insuficiente, fraca, competncia mnima e competncia superiora. Os resultados demonstraram que, de maneira geral, os estudantes concluintes concentram-se na competncia mnima, enquanto que os ingressantes distribuem-se, em sua maioria, em fraca e competncia mnima. Tambm foram analisadas as distribuies de acordo com o conceito da instituio. Considera-se que esse o Enade auxilia em outros procedimentos de anlise da prova e dos estudantes. Palavras-chave: Teoria de Resposta ao Item. Interpretao referenciada ao item. Avaliao educacional. Abstract: The ENADE is a large-scale assessment system designed to study the performance of students entering and leaving the university. In this study, we used the Item Response Theory to study the use of cut-off points, forming groups of ability. We used a database containing 26,613 students who had the Psychology test in 2006. The questions were related only to specific content. The students abilities scale was divided into four levels: unsatisfactory, poor, minimal and superior competence. The results showed that, in general, leaving students concentrate on minimum competence, while the freshmen are mostly distributed in poor and minimal competence. Distributions were also analyzed according to the institution level. It is considered that the ENADE helps in other analysis proceedings for the test and students. Keywords: Item response theory. Item referenced meaning. Educational assessment.
Introduo
U
116
m dos sistemas de avaliao educacional em larga escala brasileiro o Exame Nacional de Desempenho do Estudante (Enade), formulado com o objetivo de verificar as competncias e habilidades bsicas das reas contempladas, os conhecimentos sobre contedos bsicos e profissionalizantes e verificar o desempenho em questes transdisciplinares, envolvendo conhecimento geral. Nesse sistema examinado o desempenho de estudantes ingressantes e concluintes porque
se pretende analisar as mudanas, ou seja, os ganhos do estudante ao longo de sua trajetria na instituio de ensino (MEC/INEP, 2004). Uma das questes debatidas atualmente em relao ao Enade a validade das interpretaes realizadas a partir das pontuaes dos estudantes, que so utilizadas como um dos indicadores para qualificar os diferentes cursos em nveis. Como ressaltado por Urbina (2007), a anlise final do significado dos escores de um exame deriva dos referenciais utilizados para interpret-los e do contexto no qual eles so obtidos. A interpretao dos escores de um exame tradicionalmente conferida por meio de trs procedimentos: referncia norma, referncia ao critrio e referncia ao contedo. A referncia norma compara os escores obtidos por um indivduo com os escores obtidos por um grupo de referncia (grupo normativo) e indica a posio relativa desse escore frente ao grupo. A referncia ao critrio confere significado ao escore relacionando-o a alguma outra medida que se queira prever, chamada critrio externo. E a referncia ao contedo utilizada quando o conjunto de problemas presente no instrumento pode ser considerado uma amostra representativa do universo de problemas de um determinado contedo ou domnio (CRONBACH, 1996; PRIMI, 2004; URBINA, 2007). Dos trs procedimentos, um dos mais empregados a interpretao referenciada no desempenho de um grupo normativo, frequentemente denominado normatizao (AERA, APA, NCME, 1999; CRONBACH, 1996). Embora seja um procedimento adequado quando se deseja comparar o desempenho de uma pessoa com o desempenho de outras pessoas, ele no possibilita afirmar exatamente o que a pessoa capaz em testes cognitivos (PRIMI, 2004). Nesse sentido, o referenciado ao domnio, ou ao critrio como s vezes chamado, comparara o desempenho dos alunos em relao a um conjunto de contedos bsicos indicando o domnio desses contedos diretamente, no se preocupando com a posio relativa dos alunos. Basicamente, o procedimento de referncia norma estabelece como parmetro de comparao o desempenho do prprio do grupo, seja ele adequado ou no; j no procedimento de referncia ao critrio, o parmetro de comparao o prprio contedo, que se espera que os alunos tenham adquirido ao longo do curso. Este segundo sistema faz muito mais sentido em avaliaes educacionais, j que muito mais relevante comparar o que os estudantes sabem em relao a um conjunto pr-definido de conhecimentos que deveriam ter sido adquiridos ao longo da formao, do que saber se um determinado curso tem em mdia desempenho melhor que de outros cursos. Ainda, na busca por informaes qualitativas acerca do significado de pontuaes mais altas ou mais baixas dos respondentes s questes de
117
uma prova, um procedimento mais atual e que viabiliza essa anlise o de referncia ao item (EMBRETSON, 2006). Esse procedimento obtido a partir do uso da Teoria de Resposta ao Item (TRI), no qual as questes de um exame so disponibilizadas em um mapa de itens de acordo com o desempenho dos respondentes nos mesmos (SMITH JR, 2004). Nesse sentido, o presente estudo teve como objetivo estabelecer critrios de desempenho com base na anlise dos itens da prova de Psicologia do Enade 2006, por meio do procedimento de referncia ao item. Mtodo Participantes O banco de dados analisado contou com 26.613 estudantes que responderam aos 30 itens do componente especfico (26 questes de mltipla escolha e 4 questes dissertativas). Todos os que compuseram a amostra do Enade 2006 eram estudantes de Psicologia ingressantes e concluintes provenientes de instituies de ensino superior de todas as regies do pas. Instrumento Provas do Exame Nacional do Desempenho do Estudante (ENADE) O Enade apresenta 40 questes que avaliam conhecimentos, competncias profissionais e habilidades acadmicas de estudantes do ensino superior. Dessas questes, 10 so relativas ao componente de formao geral, e as 30 restantes so itens especficos da rea do curso em avaliao. Para este estudo, cada questo respondida corretamente recebeu 1 ponto e cada questo discursiva recebeu uma nota decimal entre 0 a 1. Os resultados dos estudantes foram calculados com o uso do modelo de Rasch, em uma escala theta, com mdia igual a zero e desvio padro igual a um. Ao final, essa escala foi transformada para uma nota de 0 a 100, conforme a porcentagem de pontos corretos alcanados pelos estudantes (como ningum na amostra alcanou 100, a nota mxima ficou em 85). Resultados Procurou-se investigar a adequao dos itens da prova de Psicologia do Enade 2006 por meio do modelo de Rasch com o uso do software Winsteps (LI-
118
NACRE, WRIGHT, 1991). A preciso das pessoas foi de 0,76 e dos itens 1, o que favorece a interpretao de que as pessoas informaram mais sobre os itens do que esses sobre sua habilidade. Tambm, o erro mdio foi 0,28 (DP=0,07) para as pessoas e 0,01 (DP=0) para os itens. De fato, essa informao da preciso das pessoas indica a replicabilidade esperada das respostas das mesmas, caso a amostra fosse submetida a outros itens equivalentes. Essa medida melhorada por um erro pequeno nas estimativas das habilidades das pessoas, como foi o caso. No caso dos itens, a preciso aponta a replicabilidade desses, caso fosse submetido outra amostra com nveis similares de habilidade (BOND, FOX, 2001). O Winsteps adota ainda duas medidas de ajuste do modelo aos dados observados. O ndice infit informa sobre discrepncias do dado terico esperado e emprico em regies centrais da curva caracterstica do item (CCI), e outfit, que informa sobre esse tipo de diferena nas extremidades da CCI. Analisando-se os itens do Enade de Psicologia, identificou-se valores mdios de infit igual a 1 (DP=0,07) e de outfit igual a 1,01 (DP=0,13), indicando um bom ajuste de modo geral. Nenhum item superou o valor de referncia estabelecido por Linacre (2002) de 1,5, tanto em infit como em outfit (que obtiveram valores mximos iguais a 1,12 e 1,24, respectivamente). No caso das pessoas, os valores mdios de infit e outfit foram 0,94 (DP=0,50) e 1,01 (DP=0,31), respectivamente, sugerindo um bom ajuste geral das pessoas aos itens da escala. Isso sugere que no houve tantos acertos ou erros inesperados aos itens. Em outras palavras, no houve tantos casos em que as pessoas pouco habilidosas acertaram itens muito difceis e vice-versa. Esses dados indicam um bom ajuste dos itens, a despeito de alguns possurem baixa correlao item-total (itens 13, 15, 27 e 30). Esses itens tambm foram os que apresentaram os ndices outfit mais elevados. Apesar disso, houve algumas pessoas em que isso foi observado excedendo o limite de infit e outfit esperado (infit mximo igual a 6,30; outfit mximo igual a 9,90). A mdia das habilidades das pessoas foi de -0,09 (DP=0,64) e variou de 1,89 a -3,78. A dificuldade mdia dos itens foi de 0 (DP=0,97) com intervalo entre 1,58 e -2,40. O ndice de separao para a medida dos estudantes foi de 1,79, sugerindo a possibilidade de dois a trs estratos de escores significativamente diferentes entre os estudantes. O ndice de separao calculado pela razo da varincia verdadeira (corrigida pela estimativa de varincia de erro), dividida pelo erro de medida, indicando, portanto, a disperso das medidas dos estudantes em unidades de erro padro, isto , quantas vezes a disperso verdadeira entre as medidas supera o erro padro da medida. Em relao aos pontos de corte, dentre os mtodos para seu estabelecimento, no modelo de Rasch, o procedimento que possibilita esse tipo
119
de interpretao denominado Rasch Item Mapping Method, que segue os pressupostos tais quais sinalizados por Embretson (2006). Esse modelo uma maneira de se analisar o que na literatura denominado de standard setting, e considera o nvel de dificuldade dos itens e as habilidades necessrias para acert-los em cada um dos nveis. A partir desses mapas possvel verificar para nveis crescentes de habilidade quais os itens que os estudantes tendem a acertar e por meio da anlise desses itens quais competncias, contedos e habilidades que o estudante dominou. A partir dessa anlise possvel definir pontos na escala que diferenciam reas distintas de competncias. Em um estudo em andamento que est sendo preparado pela Comisso da rea de Psicologia, foi feita uma anlise do mapa de itens definindo-se trs pontos na escala (quatro nveis distintos), como apresentado na Figura 1.
Figura 1. Mapa de itens e pontos de corte para as questes do Enade Psicologia 2006
120
Nessa figura, os nmeros 0:1 na escala indicam os escores esperados nos itens associados aos nveis de competncia, sendo que os : indicam o ponto em que o prximo escore passa a ser mais provvel. Em itens dicotmicos, encontram-se os escores 0 e 1 e nas questes dissertativas, 0 a 9. Os itens esto ordenados de baixo para cima, em ordem crescente de dificuldade. Pode-se observar, por exemplo, que no item mais fcil (na parte inferior da Figura), o acerto passa a ser mais provvel a partir do nvel de habilidade -2,4. Analisando-se o contedo de cada uma das questes, pode-se compreender o significado de cada nvel em termos de contedos, competncias e habilidades. Essa anlise procura identificar pontos de corte que apresentem mudanas significativas quanto competncia exigida nas questes. A anlise efetuada sugeriu quatro grupos. A Figura 1 apresenta converses da escala de habilidade para NGCE (nota geral do componente especfico), que varia de 0-85. Nessa escala, os pontos de corte foram 42, 54 e 70, constituindo quatro faixas de desempenho. Na Faixa 1 (na parte inferior da Figura 1), o estudante tende a acertar os itens 12, 20 e 21. Trata-se de itens que requerem habilidade de compreenso de textos e tratam sobre conhecimentos genricos da importncia da expanso das prticas psicolgicas e a considerao de aspectos socioculturais e desenvolvimentais. Tal faixa caracteriza competncia insuficiente para o concluinte. J na Faixa 2, alm dos itens anteriores, deve superar itens cujos contedos so mais especficos, abrangendo processos bsicos, sistema de classificao diagnstica, representao social, elementos da prtica profissional como grupos e organizaes. Aqui, no possvel descobrir a resposta certa pela simples interpretao dos textos, mas deve-se ter conhecimentos adquiridos no curso. Todavia, apesar de tais conhecimentos serem bsicos na prtica profissional, so considerados ainda insuficientes ao concluinte. A Faixa 3 caracteriza o nvel mnimo esperado de competncia para um concluinte. Apesar de no ser um nvel alto de maestria, as questes sugerem um domnio mais elevado de conhecimentos especficos. Em termos de contedo, caracteriza-se por uma juno de diferentes subreas da psicologia como, por exemplo, psicodiagnstico jurdico, diagnstico psiquitrico, psicanlise e neurocincias, organizaes e organizao de dados estatsticos. Nas questes dissertativas, essa faixa implica em desempenho mais alto, englobando ainda respostas com pontuaes parciais. Finalmente, a Faixa 4 (mais acima na Figura 1) caracteriza conhecimentos mais diversificados e especficos, com maior complexidade, requerendo interpretao de dados e raciocnio sobre hipteses explicativas dos mesmos, desviando-se de explicaes mais simples do senso comum. O nvel de desempenho nas dissertativas
121
indica a mobilizao adequada e a redao de propostas satisfatrias de atuao, sendo definido como um nvel de competncia superior. A diferena entre os escores NGCE entre ingressantes e concluintes foi altamente significativa (t=-75,84; p<0,0001; Eta2=0,204; D=0,909). A Tabela 1 apresenta a proporo de estudantes ingressantes e concluintes em cada uma das quatro faixas. Conforme se constata, a maior diferena observada nos nveis 2 e 3, sendo que entre os concluintes diminui-se a proporo de estudantes no nvel 2 e aumenta-se o nvel 3. O Inep divide os cursos em cinco conceitos (de 1 a 5). A Tabela 2 apresenta a distribuio de estudantes ingressantes e concluintes nas quatro faixas de competncia, de acordo com o conceito do curso. Como pode ser observado, h uma associao entre os dois sistemas, especialmente em grupos de estudantes de cursos 4 e 5, em que a faixa superior aumenta para 11,3% e 28,9%. Consideraes finais De acordo com as anlises realizadas a partir do modelo de Rasch, verificaram-se medidas de ajuste adequadas aos itens. No que se refere s pessoas, foram observadas poucas discrepncias no acerto aos itens. A partir das anlises dos pontos de corte da prova de Psicologia do Enade 2006 por meio de quatro faixas de desempenho, verificou-se que tanto os estudantes ingressantes quanto concluintes encontram-se em sua maioria na faixa de competncia fraca e mnima, ambas consideradas insuficientes para o exerccio competente da psicologia. Ao analisar o desempenho segundo os conceitos do curso, nota-se que, a tendncia de aumento gradativo da competncia dos estudantes de acordo com o conceito (especialmente notado nos cursos com conceito 4 e 5). Assim, nos cursos 4 e 5, nota-se, respectivamente, 11,3% e Tabela 1. Distribuio dos estudantes ingressantes e concluintes nos quatro nveis de competncia
Estudante Ingressantes Concluintes Total N % N % N % 1. Insuficiente 1.534 12,4% 248 2,5% 1.782 8% Nveis de Competncia NGCE 2. Fraco 3. Compreenso 4. Compreenso mnima superiora 5.674 5.056 77 46% 41% 0,6% 1.685 7.324 784 16,8% 72,9% 7,8% 7.359 12.380 861 32,9% 55,3% 3,8% Total 12.341 10.041 22.382
122
Tabela 2. Distribuio dos estudantes ingressantes e concluintes nos quatro nveis de competncia de acordo com o conceito do curso
Conceito Estudante Ingressante 1 Concluinte Ingressante 2 Concluinte Ingressante 3 Concluinte Ingressante 4 Concluinte Ingressante 5 Concluinte Ingressantes Concluintes N % N % N % f % f % N % N % N % N % N % N % N % 1. Insuficiente 5 4,8 12 7,9 172 16,8 70 6 737 14,7 132 2,4 253 9,5 30 1 4 1,5 1 0,3 1.171 12,9 245 2,5 Nveis de Competncia NGCE 2.Fraco 3. Compreenso 4. Compreenso Total mnima superiora 44 52 3 104 42,3 50 2,9 100 47 76 17 152 30,9 50 11,2% 100 536 315 1 1.024 52,3 30,8 0,1 100 315 700 86 1.171 26,9 59,8 7,3 100 2.502 1.743 23 5.005 50 34,8 0,5 100 1.002 4.019 248 5.401 18,6 74,4 4,6 100 1.118 1.280 16 2.667 41,9 48 0,6 100 275 2.267 328 2.900 9,5 78,2 11,3 100 44 206 15 269 16,4 76,6 5,6 100 27 208 96 332 8,1 62,7 28,9 100 4.244 3.596 58 9.069 46,8 39,7 0,6 100 1.666 7.270 775 9.956 16,7 73 7,8 100
28,9% de estudantes concluintes formados com nvel de competncia superior. Grande maioria est localizada no nvel mnimo. Esse resultado mostrase abaixo do que se espera de um profissional formado em Psicologia. Nessa perspectiva, ressalta-se a relevncia de estudos como esse que se props a aprofundar a anlise do desempenho de modo mais qualitativo. Com essa metodologia possvel construir referncias mais concretas sobre o que significam as notas e, com isso, diagnosticar melhor o desempenho dos estudantes. Assim, tem-se a possibilidade de criticar e reformular sistemas avaliativos tanto com base nos itens propostos quanto em referncia aos nveis variados de competncias. Alm disso, de posse de tais anlises e a partir da anlise de contedo realizada por meio de especialistas da rea, torna-se possvel inferir de maneira mais adequada sobre as diferenas entre os estudantes, e os possveis fatores associados.
123
Referncias Bibliogrficas AERA/APA/NCME - AMERICAN EDUCATIONAL RESEARCH ASSOCIATION, AMERICAN PSYCHOLOGICAL ASSOCIATION, NACIONAL, COUNCIL ON MEASUREMENT IN EDUCATION Standards for educational and psychological testing. Washington, DC: Author, 1999. BOND, T.G.; FOX, C.M. Applying the Rash Model: fundamental measurement in the human sciences. Londres: Lawrence Erlbaum Associates Publishers, 2001. CRONBACH, L.J. Fundamentos da testagem psicolgica. 5. ed. Porto Alegre: Artes Mdicas, 1996. LINACRE, J.M. What do infit and outfit, mean-squared and standardized mean? 2002. Disponvel em: <http://209.238.26.90/rmt/rmt82a.htm>. Acesso em: 10 jun 2006. LINACRE, J.M.; WRIGHT, B.D. Winsteps: Rasch-Model Computer Programs. Chicago: MESA Press, 1991. MEC/INEP - MINISTRIO DA EDUCAO E CULTURA; INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANSIO TEIXEIRA. Lei n 10.861, de 14 de Abril de 2004. Disponvel em: <www.inep.gov.br/superior/enade>. Acesso em: 2004. PRIMI, R. Avanos na interpretao de escalas com a aplicao da Teoria de Resposta ao Item. Avaliao Psicolgica, v. 3, n. 1, p. 53-58, 2004. SMITH JR, E.V. Evidence of the reliability of measures and validity of measure interpretation: a Rasch measurement perspective. In: SMITH JR, E.V.; SMITH, R.M. (Eds.). Introduction to Rasch Measurement : theory, models, and applications. Maple Grove: JAM Press, 2004. URBINA, S. Fundamentos da testagem psicolgica. Porto Alegre: Artes Mdicas, 2007.
124
Artigo
Questes metodolgicas referentes ao exame nacional de desempenho dos estudantes (ENADE)1
Ricardo Primi*, Marjorie Cristina Rocha da Silva**, Daniel Bartholomeu***, Claudette Maria Medeiros Vendramini****, Carlos Henrique Sancineto da Silva Nunes*****, Andria da Silva Mata******
Resumo: O objetivo deste estudo apresentar algumas consideraes sobre a avaliao do ensino superior no pas, tecendo algumas consideraes a partir do que proposto pelo ENADE. Tal exame pretende verificar o desempenho dos estudantes, o desenvolvimento de habilidades e competncias e, principalmente, as influncias das instituies de ensino superior sobre a formao (valor agregado). No entanto, existem limitaes nessas medidas. Uma delas como medir a qualidade de um curso atravs do desempenho de seus estudantes. Alm disso, diferentes alunos so avaliados em momentos distintos
Apoio Financeiro: Capes (Edital Observatrio da Educao) e CNPq. *Doutor em Psicologia Escolar e do Desenvolvimento Humano pela Universidade de So Paulo (USP); professor-associado da Universidade So Francisco (USF). **Doutoranda em Psicologia, rea de concentrao em Avaliao Psicolgica pela USF. ***Doutorando em Psicologia, rea de concentrao em Avaliao Psicolgica pela USF; professor do Centro Universitrio Salesiano de So Paulo. ****Doutora em Educao pela Universidade Estadual de Campinas (Unicamp), professor-associado da USF *****Ps-Doutorado pela Universidade Federal do Rio Grande do Sul (UFRGS); professor adjunto da Universidade Federal de Santa Catarina (UFSC). ******Mestranda em Avaliao Psicolgica pela USF.
1
125
da trajetria acadmica. Entende-se que grande parte dos problemas tratados diz respeito ao tipo de delineamento de pesquisa estabelecido para o ENADE. Portanto, o presente texto trata de algumas crticas aos delineamentos metodolgicos desse exame e apresenta sugestes para o desenvolvimento de pesquisas futuras. Palavras-chave: Psicometria. Avaliao educacional. Validade de testes. Abstract: The aim of this study was to present some considerations on the Brazilian Higher Education Evaluation Exam, proposing some comments on the proposed methodology. This exam aims to verify the student achievement, theirs developed skills and competencies and mainly the influences of higher education institutions on the development of this competencies (value added). However, there are limitations in these measures. One is how to measure the quality of the institution through the performance of students. Moreover, different students are evaluated at different times of the academic track. It is understood that most problems dealt with concerns the type of research design established for the ENADE. Therefore, this paper addresses some criticisms of the methodological design and makes suggestions for the development of future research. Keywords: Psychometrics. Educational assessment. Test validity.
O
126
Ministrio da Educao e Cultura (MEC) tem lanado sistemas de avaliao para aferir a qualidade do ensino no pas, desde o ensino fundamental at os cursos de ps-graduao. Na avaliao do ensino superior, o MEC criou o Sistema Nacional de Avaliao da Educao Superior (SINAES) e foram elaborados trs eixos de avaliao: ensino, gesto da instituio e desempenho dos alunos. O eixo do ensino trata da avaliao da quantidade e a qualidade da pesquisa desenvolvida pela Instituio de Ensino Superior (IES), a oferta de cursos de extenso e se as IES apresentam medidas que incluam a responsabilidade social. Quanto gesto da instituio, o que se pretende medir a qualidade do corpo docente, das instalaes fsicas com nfase no acervo bibliogrfico e laboratrios de informtica alm de outros aspectos desta natureza. E no eixo do desempenho dos alunos instituiu-se o ENADE, foco do presente
trabalho, que objetiva avaliar o desempenho dos universitrios em relao aos programas curriculares, avaliando o desenvolvimento de competncias, habilidades e contedos trabalhados pelos estudantes conforme as definies da Lei de Diretrizes e Bases do Ensino Superior (MEC, 2004A, 2004B). Desta maneira, pretende-se verificar se as instituies de ensino superior contribuem de modo positivo e significativo na cristalizao dessas competncias e habilidades, necessrias formao geral e profissional dos estudantes em cada um dos cursos ofertados. Para aferir esses objetivos, o ENADE possui quatro instrumentos: uma prova, um questionrio de impresses dos estudantes sobre a prova, um questionrio socioeconmico do aluno e um questionrio para o coordenador do curso. Assim, aps avaliao e integrao dos resultados, os cursos so avaliados em uma escala com cinco nveis de qualidade, tomando por base a mdia de desempenho dos estudantes no ENADE, que contm questes que procuram abranger os contedos mnimos definidos nas diretrizes estabelecidas por especialistas das diferentes reas do conhecimento. Um outro indicador de desempenho dos estudantes o IDD, um Indicador de Diferena entre os Desempenhos observados e esperados dos estudantes no ENADE. Tal indicador prope fornecer para a instituio de ensino superior as informaes comparativas dos desempenhos de seus estudantes concluintes em relao aos resultados obtidos, em mdia, pelas demais instituies cujos perfis de seus estudantes ingressantes so semelhantes. Este conceito se aproxima do efeito do curso (INEP, 2009). Alm do efeito do curso, das informaes obtidas a partir do ENADE, do questionrio socioeconmico e dos instrumentos de avaliao interna e externa, o IDD tambm um indicador de qualidade das IES. O ENADE, deste modo, estabelecido com o objetivo de verificar as competncias e habilidades bsicas das reas, os conhecimentos sobre contedos fundamentais e profissionalizantes e, ainda, verificar o desempenho em questes transdisciplinares que abrangem conhecimentos mais gerais. At o ano de 2008, o exame era aplicado trienalmente em amostras aleatrias de estudantes do primeiro e do ltimo ano dos cursos avaliados por grupos de reas, com o objetivo de avaliar as IES. O objetivo de tal delineamento verificar as mudanas, os ganhos do estudante ao longo de sua trajetria na instituio. Porm, considera-se necessrio levantar algumas limitaes dessas medidas (MEC, 2008). Embora o ENADE avalie o desempenho dos estudantes, quando integrado a outros indicadores do SINAES, traz informaes sobre a qualidade dos cursos. Isso configura a principal questo sobre a validade do
127
ENADE, isto , quanto da qualidade de um curso realmente pode ser medido por intermdio do desempenho de seus estudantes? importante lembrar que a nota dos estudantes no ENADE no representa a nota final do curso, mas, como prev a legislao, uma parte desta. Alm disso, vale ressaltar que nenhuma deciso regulatria (reconhecimento ou renovao de reconhecimento) tomada exclusivamente em funo do desempenho dos estudantes no ENADE e que a nota do curso obtida aps a avaliao in loco, feita periodicamente por comisses de especialistas nas diversas reas do conhecimento. Apesar disso, o ENADE, assim como o antigo Provo, tomou uma importncia central como indicador da qualidade do curso se considerarmos a opinio pblica e mesmo alguns comunicados oficiais do INEP. Por isso, justifica-se aqui avaliarmos mais detalhadamente as possveis limitaes da interpretao dos resultados do ENADE e quais possveis explicaes alternativas. Idealmente, para que as informaes provindas de uma avaliao em larga escala, como o ENADE, sejam consideradas vlidas, so necessrios delineamentos complexos investigando as relaes entre os escores com outras variveis, especialmente o momento do percurso acadmico (ingressante e concluinte) e outras variveis ligadas ao perfil dos estudantes (socioeconmico e cognitivo), conhecidas como variveis estranhas porque influenciam as notas no teste (indicador de qualidade) e, simultaneamente, se confundem com os cursos (efeito que est sendo testado) ofuscando as interpretaes que se quer fazer (RUBIN, 1974; RUBIN; STUART; ZANUTTO, 2004). Assim, surgem interpretaes alternativas plausveis para os mesmos resultados, como, por exemplo, a explicao que enfatiza que as diferenas de qualidade refletem diferenas no perfil dos estudantes prvio a entrada do curso e que, portanto, no seriam reflexo da qualidade do que ocorreu na formao que os alunos tiveram no curso. Diante de tais consideraes, possvel ressaltar que a limitao central concerne ao tipo de delineamento estabelecido para o ENADE. De fato, para se avaliar a mudana ocorrida nos alunos ao longo do curso (valor agregado ao aluno pelo curso) seria necessrio mensurar as habilidades dos mesmos alunos na entrada (ingressante) e na sada do curso (concluinte); e, sobretudo, para poder inferir que as mudanas ocorreram em razo das aes formativas do curso (efeito escola) seria necessrio um delineamento experimental que, evidentemente, impraticvel nessa situao (FERRO, 2003; JESUS; LAROS, 2004; RAUDENBUSH, 2004; RUBIN; STUART; ZANUTTO, 2004; SOARES; RIBEIRO; CASTRO, 2001). Assim, dada as limitaes metodolgicas inerentes nessa situao e suas implicaes para as
128
interpretaes dadas a partir dos resultados do ENADE, considerou-se importante explor-las mais detalhadamente a partir dos conceitos propostos por Trochim (2006). De acordo com esse autor, h dois tipos de delineamentos possveis quando se fala de pesquisas com um nico grupo.2 O primeiro consiste em administrar uma interveno e um teste ao final para avaliar seu efeito. Nesse caso, no se estabelece uma linha de base, pois se acredita que as pessoas so semelhantes no incio, isto , no apresentavam nenhum conhecimento especfico naquilo antes da interveno. O antigo Exame Nacional de Cursos, popularmente conhecido como Provo tinha esse formato, que foi seriamente criticado. Algumas dessas crticas foram incorporadas no ENADE. Outro tipo de delineamento refere-se ao pr e ps-teste com interveno, em que, embora se acredite que os avaliados no tenham algum conhecimento prvio, inclui-se o pr-teste para verificar qual o nvel que os estudantes apresentam ao incio do processo de interveno. Assim, pode-se hipotetizar que a mudana ou ganho do pr para o ps-teste ocorreu no intervalo em que a interveno era feita e, assim, mais provvel de ser atribuda a ela (TROCHIM, 2006). Esse o tipo de delineamento analisado como ideal para aferir o valor agregado, conforme j mencionado, e seria o recomendado no caso do ENADE, j que o indicador de qualidade dos cursos deveria ser constitudo com base em uma medida indicativa do que o curso agregou ao estudante. De qualquer maneira, qualquer que seja o caso de pesquisas com um nico grupo, como no se constituem em delineamentos experimentais, os quais implicariam em grupo controle (sem a interveno) e distribuio randomizada dos sujeitos aos diversos grupos de interveno e controle (cursos), as concluses sobre a qualidade da interveno (efeito do curso) obtidas so mais frgeis, pois no se pode eliminar explicaes alternativas plausveis para as eventuais mudanas ocorridas que no tem a ver diretamente com o efeito do curso. Trochim (2006) sugere algumas explicaes alternativas de fatores externos que podem causar mudanas entre o pr e o ps-teste que no tm relao com o fator principal ao qual se quer imputar a causa. DeEmbora no ENADE se tenham vrios grupos, um correspondente a cada curso, pode-se entender que, em um primeiro momento, no cerne do levantamento, busca-se saber o efeito de um determinado curso sobre os alunos, portanto, um nico grupo. Em um segundo momento, tenta-se estudar a variabilidade desses efeitos entre os cursos, classificando-a em nveis de qualidade. Assim, do ponto de vista metodolgico, o problema se resume aos conceitos referentes a pesquisas com um nico grupo que, em essncia, classifica os delineamentos que no possuem grupo controle.
2
129
nomina essas explicaes como ameaas validade interna em estudos sobre efeitos de interveno. A primeira classe alternativa de fatores explicativos denominada por Trochim (2006) como ameaa histrica e consiste em algum evento que ocorre simultaneamente ao momento da interveno e que produz a mudana observada, no podendo ser atribuda interveno em causa que examinada. No ENADE, isso poderia ser verificado quando, por exemplo, certos alunos que, possuindo melhores condies socioeconmicas e recursos, tm mais dedicao s atividades de estudo, consequentemente maior crescimento intelectual no perodo do curso. Por sua vez, podem estar inseridos em ambientes culturalmente enriquecedores, podem participar de outras atividades extracurriculares, o que tambm poderia provocar maior desenvolvimento. importante notar que esses alunos apresentam mudanas e os testes podem indicar legitimamente essa mudana, entretanto, o motivo desta no pode ser atribudo s intervenes de um determinado curso, mas sim por um fator extraescolar que ocorre. Ser que esses mesmos alunos no se desenvolveriam do mesmo jeito se estivessem em um ouro curso aparentemente com menos qualidade? Mas como h diferenas socioeconmicas marcantes entre os alunos de variados cursos e essas esto associadas ao desempenho, tais diferenas refletem no desempenho no ENADE e, assim, correm o risco de serem interpretadas desavisadamente como diferenas de qualidade entre cursos. Tais exemplos indicam possveis fatores causais alternativos que podem estar operando e produzindo as mudanas observadas, questionando a atribuio dos resultados obtidos aps o perodo da faculdade somente ao processo de ensino-aprendizagem de base e especfica de cada curso e instituio de ensino. Outra classe de fatores alternativos destacada por Trochim (2006) composta por ameaas maturacionais. Nessa, a explicao da mudana ocorrida a decorrncia dos processos subjacentes ao curso normal de maturao, isto , s mudanas que ocorreriam independentemente da interveno, porque esto sendo causadas por processos maturacionais j em curso durante o momento da interveno e das medidas de pr e ps-teste. Em uma primeira anlise, esse tipo de ameaa no proporia uma explicao muito condizente com os dados colhidos no ENADE, considerando-se que o desempenho dos alunos nessa prova est, em parte, vinculado com suas capacidades intelectuais e o seu desenvolvimento teria um plat nessa poca da vida, no aumentando por conta da maturidade (GUSTAFSSON; UNDHEIM, 1992). Apesar disso, as capacidades que se estabilizam nessa etapa so basicamente fludas, sendo que a inteligncia cristalizada (Gc) e, especial-
130
mente os conhecimentos especficos (Gkn), tende a aumentar em razo do processo de aprendizagem, alm do que, a relao existente entre inteligncia fluda e cristalizada mediada pela aprendizagem (HUNT, 2000; SCHWEIZER; KOCH, 2002). Entretanto, considera-se que o processo de aquisio de competncias, habilidades e contedos complexos (como os que se espera que sejam desenvolvidos no ensino superior) so edificados em uma estrutura hierrquica de conhecimentos anteriores e que, portanto, dependem de elementos basais prvios. Alm disso, considerando-se tambm que a existncia ou no desses pr-requisitos pode tanto acelerar quanto atrasar o processo de aquisio de novos conhecimentos, pode-se pensar em uma explicao alternativa que afirma que o nvel educacional prvio pode condicionar a velocidade com que os alunos aprendem ao longo do ensino superior. Assim, as diferenas observadas no ENADE poderiam ser reflexo desse processo maturacional associado ao perfil prvio entrada no curso e, consequentemente, no seriam efeito do curso. Como a formao prvia est associada ao nvel socioeconmico que, por sua vez, est desigualmente distribudo nos cursos, tais diferenas tambm poderiam produzir as diferenas que se observam nos resultados do ENADE. Outro tipo de fator externo associado s mudanas observadas, e que desafia a interpretao do efeito do curso como causa das mudanas, denominado ameaa de mortalidade. Essa tem a ver com a evaso no-aleatria de alunos entre as avaliaes do pr e ps-teste. Assim, por exemplo, em um curso muito exigente pode haver uma evaso de alunos com baixos desempenhos e muitas reprovaes, o que pode inflar a diferena entre pr e ps-teste, fazendo parecer efeito do curso quando, na verdade, no se trata de um efeito genuno de aprendizagem. Existem ainda outros fatores discutidos por Trochim (2006), como a ameaa de teste (especfica do delineamento pr-ps-teste), ocorrendo quando as pessoas, ao realizarem a avaliao no pr-teste, j ficam atentas aos tipos de problemas propostos, mais do que se no houvessem sido testados, podendo predispor um desempenho melhor no ps-teste. De fato, isso pode ocorrer no ENADE, na medida em que tanto as avaliaes feitas no pr-teste como a livre divulgao das provas anteriores fornecem de algum modo informaes sobre a forma de avaliao realizada, e possveis tentativas de treino que podem vir a contaminar as administraes posteriores. Tambm nessa direo, caso o instrumento de avaliao do ps-teste no seja o mesmo do pr (o que resolveria o problema da ameaa do teste), outro problema surge e denominado ameaa do instrumento. Essa ameaa advm ao
131
se considerar que os testes devem ser formas paralelas, o que demanda apresentarem mesmo nvel de dificuldade e tipos de questes, alm de avaliarem domnios de conhecimentos semelhantes. Caso isso no ocorra, as mudanas observadas no ps-teste podem ser o reflexo de diferenas nos instrumentos de medida empregados no pr e ps-teste. Esse tipo de ameaa ocorrer quando se desejar comparar o desempenho de alunos que fizeram o ENADE como ingressantes e concluintes, j que as provas do pr e ps-teste do ENADE no so as mesmas, nem equalizadas. E, mesmo os mtodos avanados de anlises de itens, como os modelos propostos pela Teoria de Resposta ao Item, permitem equalizar provas tanto por itens comuns como por pessoas que respondem a testes diferentes que avaliam o mesmo construto. Consideraes finais O ENADE pretende levantar dados sobre as mudanas no estudante, causadas, principalmente, pela influncia dos cursos nos quais eles esto inseridos, ocorridas ao longo de sua trajetria acadmica, ou seja, o efeito escola no valor agregado que o curso propicia ao aluno. Porm, uma das limitaes metodolgicas, como a inexistncia de medidas longitudinais e a noequivalncia dos grupos ao iniciarem os cursos, coloca uma srie de desafios validade da interpretao dos resultados do ENADE (agregados por curso) como um indicador direto da qualidade dos cursos. O que se pretendeu com esse artigo foi fornecer ao leitor uma reflexo das possveis explicaes alternativas aos dados do ENADE que no teriam relao com o efeito do curso. Essas variveis externas podem exercer sua influncia gerando o que Messick (1995) denomina de varincia confivel de constructo irrelevante, desafiando a validade das interpretaes pretendidas. No se quer propor aqui que os fatores alternativos so as verdadeiras causas das mudanas observadas, mas ampliar as possibilidades de interpretao para que se possa pensar em controles mais adequados e sistemas mais eficientes. Provavelmente todas as influncias discutidas podem ocorrer em maior ou menor grau juntamente com a efeito do curso que se quer medir. Assim, essas reflexes so o passo inicial para se tentar controlar as variveis em estudos que busquem medidas de valor agregado mais puras e tambm para se pensar em delineamentos alternativos nas futuras edies do exame, tentando superar as limitaes apontadas e indicar algumas possibilidades metodolgicas para se melhorar tal sistema. De fato, no se possui ainda um delineamento que seja ideal para a avaliao do que se pretende com o ENADE, e mesmo esse deve ser pensa-
132
do com cautela. No se deve perder de vista que a avaliao do valor agregado s uma pequena parte do SINAES e um dos critrios para a anlise da qualidade das instituies, que o fim maior desse sistema. Vale ressaltar que algumas das crticas foram apresentadas como sugestes de cuidados que se deve ter em pesquisas futuras com o ENADE. A anlise do valor agregado perpassa por vrias limitaes ainda quando se pensa no ENADE, desde a mtrica das provas, at o controle de variveis de construto irrelevante ou o delineamento metodolgico inadequado e, nesses pontos, a psicometria pode fornecer instrumentais importantes para solucionar tais problemas que so tratados, nessa perspectiva, como questes tpicas de validade e normatizao das provas. Algumas possibilidades levantadas envolvem aplicaes da Teoria de Resposta ao Item para equalizar as mtricas das provas, anlises de regresso multinvel em que se estabelea como varivel dependente as notas dos concluintes no ENADE e independentes variveis socioeconmicas e institucionais, visando ao controle de variveis externas que podem afetar o desempenho dos alunos, entre outros procedimentos para normatizao e validao dessa prova. Por fim, h que se considerar a necessidade de uma interpretao psicolgica para os resultados obtidos pelos estudantes no ENADE, no sentido de enriquecer as discusses acerca dos processos cognitivos atrelados ao valor agregado pelos cursos. O desempenho acadmico , tradicionalmente, um dos critrios empregados para se estabelecer a validade de testes de inteligncia. Assim, pode-se pensar nessas medidas como formas de refinar uma medida de um critrio, alm de a avaliao da inteligncia em adultos perpassar por uma considerao dos conhecimentos que foi capaz de cristalizar, o que tambm est associado s suas habilidades de raciocnio fludo. Nesse contexto, as provas do ENADE estariam tambm associadas s caractersticas do raciocnio cristalizado dos alunos, mobilizando esse tipo de estrutura cognitiva por parte dos alunos ao responderem prova. Referncias Bibliogrficas FERRO, M.E. Introduo aos modelos de regresso multinvel em educao. Campinas: Komedi, 2003. GUSTAFSSON, J.E.; UNDHEIM, J.O. Stability and change in broad and narrow factors of intelligence from ages 12 to 15 years. Journal of Educational Psycholog y, v. 84, n. 2, p. 141-149, 1992. HUNT, E. Lets hear it for crystallized intelligence. Learning and Individual Differences, v. 12, n. 1, p. 123-129, 2000.
133
INEP - INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANSIO TEIXEIRA. Disponvel em: <http://www.inep.gov. br>. Acesso em: 25 fev. 2009. JESUS, G.R.; LAROS, J.A. Eficcia escolar: regresso multinvel com dados de avaliao em larga escala. Avaliao Psicolgica, v. 3, n. 2, p. 93-106, 2004. MEC - MINISTRIO DA EDUCAO. Instrumento de avaliao dos cursos de graduao. Braslia. Disponvel em: < http://www.mec.gov.br>. Acesso em: 02 mar, 2004A. _____. SINAES - Sistema Nacional de Avaliao da Educao Superior. Da concepo regulao 2 edio ampliada. Braslia: Disponvel em: < http:// www.mec.gov.br>. Acesso em: 02 mar. 2004B. _____.Instrumento de avaliao dos cursos de graduao. Braslia: Disponvel em: < http://www.mec.gov.br>. Acesso em: 02 mar. 2008. MESSICK, S. Validity of psychological assessment: validation inferences from persons responses and performances as Scientific inquiry into score meaning. American Psychologist, v. 50, n. 9, p. 741-749, 1995. RAUDENBUSH, S.W. What are value-added models of estimating and what does this imply for statistical practice. Journal of Educational and Behavioral Statistics, v. 29, n. 1, p. 121-129, 2004. RUBIN, D.B. Estimating causal effects of treatments in randomized and nonrandomized studies. Journal of Educational Psycholog y, v. 66, n. 5, p. 688-701, 1974. RUBIN, D.B.; STUART, E.A.; ZANUTTO, E.L. A potential outcomes view of value-added assessment in education. Journal of Educational and Behavioral Statistics, v. 29, n. p. 103-116, 2004. SCHWEIZER, K.; KOCH, W. A revision of Cattells investment theory: cognitive properties influencing learning. v. 13, n. p. 57-82, 2002. SOARES, J.F.; RIBEIRO, L.; CASTRO, C.M. Valor agregado de instituies de ensino superior em Minas Gerais para os cursos de Direito, Administrao e Engenharia Civil. Dados, v. 44, n. 2, 2001. TROCHIM, W.M. The research methods knowledge base. Disponvel em: <http:// www.socialresearchmethods.net/>. Acesso em: 26 jun. 2006.
134
Artigo
AVALIAO SUMATIVA: UMA UTOPIA POSSVEL?
Ana Lcia Souza de Freitas*
Resumo: O texto reflete uma experincia de avaliao da aprendizagem no ensino superior. Tem como objetivo problematizar as prticas tradicionais e suas consequncias, entre elas, a cultura das relaes reguladas pela expectativa da obteno de notas. Para tanto, operacionaliza a experincia da avaliao como prtica de investigao por meio de diversos procedimentos e instrumentos e prope que a expresso dos resultados considere um olhar sumativo sobre o desenvolvimento da aprendizagem. Em que pese as dificuldades inerentes ousadia desta proposio, a maior participao dos educandos no processo avaliativo resulta numa experincia potencialmente geradora de alegrias que transcendem as relaes interpessoais. Resulta a compreenso de que estabelecer novas relaes entre educadores, educandos e o conhecimento implica assumir a proximidade e a emoo como elementos presentes. possvel a expresso quantitativa dos resultados da avaliao levar em conta uma viso sumativa da aprendizagem? o questionamento que orienta a continuidade da investigao.
*Doutora em Educao pela Pontifcia Universidade do Rio Grande do Sul (PUC-RS); professora do Curso de Pedagogia e do Programa de Ps-Graduao da Faculdade de Educao da PUC-RS; Assessora pedaggica da Pr-reitoria de graduao da PUC-RS (PROGRAD).
135
Palavras-chave: Avaliao sumativa. Ensino superior. Utopia. Alegria de conhecer. Abstract: This paper aims to discuss traditional practices of assessing learning in higher education, as well as their consequences, including the culture of relations oriented by the expectation of obtaining grades. It makes use of the experience of assessment as a research practice through several procedures and tools, proposing that the expression of results must include a summative view about learning development. Despite the difficulties inherent in this bold proposition, more participation by learners in the assessment process has as a consequence an experience that can result in happiness that goes beyond interpersonal relations. It also results in an understanding that establishing new relations among educators, learners and knowledge implies in recognizing the closeness and emotion as existing elements. This research is oriented by questioning if it is possible to express the results of assessment in quantitative terms without taking into consideration a summative view of learning. Keywords: Summative assessment. Higher education. Utopia. Happiness of knowing.
Primeiras consideraes
D
136
uas consideraes so necessrias para introduzir a reflexo a que se prope o ttulo deste artigo. A primeira diz respeito ratificao do termo sumativa como uma qualidade almejada no processo avaliativo da aprendizagem, visto que, em um primeiro momento, o inusitado pode sugerir tratar-se de um neologismo. A segunda considerao refere-se perspectiva utpica em que se inscreve esta proposio. O termo avaliao sumativa diz respeito a uma modalidade de avaliao complementar formativa e se prope a maximizar o potencial emancipatrio das prticas avaliativas na realizao de suas funes diagnstica, prognstica e investigativa. Na modalidade formativa, a avaliao tem como objetivo diagnosticar e acompanhar, contnua e sistematicamente, o procesRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
so da aprendizagem, de modo a favorecer o desenvolvimento daquele que aprende (...) sua virtude informativa que seu carter essencial (HADJI, 2001, p. 20). De modo complementar, a avaliao sumativa utiliza-se dos dados fornecidos pela avaliao formativa para expressar um juzo globalizante sobre o desenvolvimento da aprendizagem do educando, seus avanos e dificuldades, apontando o modo de progresso (PMPA/SMED, 1996, p. 53). Ou seja, o termo sumativa diz respeito ao ato de sumariar um percurso realizado, destacando aspectos significativos, apontando desafios e propondo aes para a continuidade do ensino e da aprendizagem. A segunda considerao relaciona-se argumentao em torno da avaliao sumativa como uma proposta utpica. Tal afirmao requer um esclarecimento sobre a compreenso de utopia a que se refere. Inversamente ao senso comum, que emprega o termo como sinnimo de algo inalcanvel, trata-se de compreender a utopia como um sonho possvel (FREIRE, 1983). Trata-se de perceber a necessidade da utopia como fora dinamizadora das aes do presente, tendo em vista um horizonte de possibilidade a ser realizado. Associada ao princpio da esperana, essa perspectiva de futuridade possvel se anuncia na expresso ainda no e se revela como condio ontolgica, concretizada pela dialtica da existncia simultnea de um ser e de um no ser. Enfim, essa noo de utopia concreta implica compreender que o mundo no um sistema fechado ou um processo acabado, mas um horizonte aberto e cheio de possibilidades. Tudo no mundo movimento e gestao. O mundo um vasto campo de possibilidades ilimitadas. Da a noo de devir em que se inscreve o princpio da esperana enquanto convico acerca da potncia e das possibilidades humanas (BLOCH, 2005). nesta perspectiva que se apresenta a reflexo a que se prope este artigo, ao compartilhar compreenses e questionamentos gerados na experincia da gesto da aula de graduao. O mtuo conhecimento que resulta desta partilha fortalece a ousadia de construir o novo, assumindo o risco da ausncia de respostas para muitas questes que merecem continuar sendo investigadas, tendo em vista a realizao de prticas avaliativas emancipatrias como uma utopia possvel. Sobre os limites da quantificao da avaliao Por definio, a aprendizagem no quantificvel. Todavia, no mbito das prticas avaliativas institucionais, frequentemente nos deparamos com a necessidade de expressar a aprendizagem por meio de conceitos, notas e mdias. Tal exigncia nos coloca diante de situaes mobilizadoras da reRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
137
flexo em torno dos limites da perspectiva quantificadora da avaliao, bem como nos desafia a criar alternativas para que a expresso dos resultados por meio de uma nota/conceito possa ser representativa da experincia da aprendizagem como um processo. As ambiguidades e tenses inerentes a tais prticas so aqui problematizadas a partir de duas situaes exemplares. As situaes apresentadas, entre outras tantas vivenciadas cotidianamente, so tomadas como ponto de partida para a reflexo em torno de alguns limites que desafiam a coerncia entre os discursos e as prticas avaliativas orientadas por uma perspectiva emancipatria. Primeira situao: uma aluna tirou nota dez num trabalho de grupo e nota quatro numa produo textual elaborada individualmente. Do ponto de vista quantitativo, a mdia sete e a aluna est aprovada. Este resultado representativo do ponto de vista da expresso de sua aprendizagem? Segunda situao: uma disciplina props duas provas, sendo a primeira parcial e a segunda envolvendo todo o contedo de um semestre. Uma aluna tirou zero na primeira e dez na segunda prova; e outra, tirou dez na primeira e zero na segunda. Do ponto de vista quantitativo, a mdia cinco para cada uma das alunas e as duas esto reprovadas. Do ponto de vista da expresso da aprendizagem, este resultado representativo do percurso que cada uma das alunas realizou? Uma reao comum, diante da reflexo sobre tais situaes, a argumentao em torno da necessidade/possibilidade de atribuio de pesos diferenciados aos resultados parciais, como modo de equilibrar o valor de cada atividade avaliada e tornar mais justo o resultado final. Todavia, tal proposio ainda no representa uma alternativa para expressar a natureza processual da construo da aprendizagem, visto que se mantm presa aos limites do paradigma da objetividade e da quantificao. De fato, os questionamentos que problematizam cada uma das referidas situaes encontramse igualmente limitados pelo paradigma da quantificao, no qual o processo avaliativo reduz a expresso dos resultados a um somatrio de notas. A este respeito, importa considerar que esta cultura da avaliao como sinnimo de atribuio de notas denuncia a herana cultural das prticas educativas de natureza bancria (FREIRE, 1987), que, na atualidade, ainda evidenciam uma predominncia de situaes em que as relaes reguladas pela expectativa da obteno de notas contribuem para a passividade dos educandos. O questionamento vale nota, professora? serve frequentemente de parmetro para o modo como os educandos se relacionam com as atividades propostas pelos educadores. Tais atitudes, reveladoras da heteronomia dos educandos em suas relaes com o conhecimento, representam um desafio constituio de experincias alternativas em que a avaliao recupere seu carter formativo,
138
colocando-se a servio da promoo da aprendizagem e do fortalecimento da autonomia intelectual dos educandos. Nesse sentido, importa ampliar a perspectiva de anlise das situaes anteriormente apresentadas. A avaliao do grupo ou de cada um? um questionamento que emerge como preocupao imediata relacionada primeira situao, diante da necessidade de calcular a quantificao da aprendizagem dos educandos. Ainda que relevante, o questionamento oculta questes fundamentais a serem consideradas, tais como: quais as contribuies do grupo para a promoo da aprendizagem de cada educando?; possvel estabelecer medidas de comparao entre dois processos distintos, como a aprendizagem grupal e a aprendizagem individual? De igual modo, a segunda situao nos coloca diante de um questionamento imediato que oculta questes relevantes no que se refere compreenso dos limites das prticas quantificadoras. A prevalncia entre o processo ou seus resultados uma resposta necessria para quantificar as relaes estabelecidas entre os dois aspectos e calcular a expresso do resultado final. Todavia, a polarizao entre processo e resultado desconsidera questes como: o que significa uma aprendizagem nota dez?; do ponto de vista quantitativo, a expresso final dez s possvel para quem tem a nota mxima em todas as atividades e em todos os momentos; nessas condies, a nota dez representativa da qualidade das aprendizagens construdas durante determinado perodo?; possvel uma nota final expressar o crescimento das aprendizagens de um educando? Enfim, trata-se de perceber que a expresso quantitativa, resultante de um somatrio de resultados parciais, desconsidera a necessria complementaridade entre o processo e seus resultados na realizao de uma anlise qualitativa da aprendizagem. No mbito desta reflexo, emerge o questionamento possvel a expresso dos resultados da avaliao, por meio de uma meno quantitativa, levar em conta uma viso sumativa do processo de aprendizagem? A busca desta compreenso orienta a continuidade da investigao-ao. Nos limites deste artigo, compartilhar questionamentos de uma prtica em construo tem o intuito de ampliar o dilogo com outros pesquisadores, parceiros em potencial, tendo em vista a criao de novas alternativas para os limites que ora se apresentam. Avaliao para a promoo da aprendizagem Qualquer experincia de avaliao deflagra processos de mtuas aprendizagens entre educadores e educandos. Todavia, um dos caminhos
139
para ampliar a qualidade emancipatria de tais aprendizagens uma maior participao dos educandos no processo avaliativo. Problematizar a concepo tradicional da avaliao como uma ao do educador sobre os educandos e desenvolver a cultura da corresponsabilidade uma perspectiva que se anuncia como possibilidade de que o ensino e a aprendizagem, assumidos como prticas relacionais, fortaleam o desenvolvimento da autonomia. A experincia da avaliao participativa na aula de graduao (FREITAS, 2004) vem contribuindo para o desenvolvimento da corresponsabilidade sobre a qualidade do processo vivido e de seus resultados, bem como para gestar a cultura da avaliao como prtica de investigao. O trabalho prope uma viso sumativa sobre o percurso da aprendizagem, com o intuito de minimizar a expectativa em relao obteno de notas, considerando ser este um aspecto essencial na criao de condies para que a mobilizao para o conhecimento construa a promoo da heteronomia autonomia. Essa viso sumativa requer um acompanhamento sistemtico que auxilie o educando a resgatar o percurso realizado, tomar conscincia de suas aprendizagens, bem como a assumir a responsabilidade por sua autoformao. Para tanto, a avaliao exercida como prtica de investigao (ESTEBAN, 2001) e se operacionaliza por meio de diversos procedimentos e instrumentos. O acompanhamento de sala de aula mediante o uso de dirios de aula, tanto pelos educandos como pelo educador -, a escrita processual do trabalho de concluso da disciplina e a autoavaliao, entre outros, so referncias para viabilizar o olhar sumativo como perspectiva da anlise do desenvolvimento do processo e da expresso de seus resultados. No que se refere expresso final dos resultados, a alternativa tem sido tomar como referncia a autoavaliao do educando, cuja expresso pode ser ratificada ou retificada mediante dois elementos fundamentais: as expresses parciais dos resultados obtidos e os apontamentos referentes ao acompanhamento de sala de aula. O dilogo para a definio do resultado do desempenho individual, ao pr em relao o olhar do educador e o olhar do educando, tem se revelado um momento potencialmente transformador. Em sntese, a proposio da avaliao participativa se fundamenta em trs princpios: (1) o educando parmetro de si mesmo; (2) a avaliao no um momento estanque; (3) a expresso dos resultados da avaliao uma responsabilidade compartilhada. A clareza de tais princpios permite dialogar com os educandos de modo a construir alternativas s dificuldades que se apresentam na experincia desta proposio. Para alm dos limites institucionais, a cultura bancria (FREIRE, 1987) internalizada pelos prprios educandos um grande desafio neste processo. Entre outros, um dos aspectos a serem con-
140
siderados a necessidade de consolidar a compreenso de que avaliar muito mais do que atribuir notas. A funo da avaliao contribuir para a promoo da aprendizagem, desafiando educadores e educandos, permanentemente, aventura de realizar a sua vocao ontolgica para ser mais. Merece ainda ser enfatizada uma considerao quanto divergncia do somatrio de notas como exclusivo procedimento para obteno da expresso final dos resultados. A argumentao se fundamenta na percepo dos limites da objetividade e da quantificao diante da complexidade inerente avaliao da aprendizagem. Todavia, assumir a subjetividade como um componente do processo avaliativo no significa trabalhar na perspectiva da arbitrariedade. A operacionalizao do olhar sumativo sobre o processo se fundamenta no estabelecimento de critrios que orientam o dilogo problematizador e viabiliza a expresso numrica final, de modo a privilegiar a reflexo sobre as efetivas aprendizagens, bem como sobre o prprio sentido de aprender. Na experincia de cada perodo letivo, o dilogo com os educandos tem contribudo para que os critrios se tornem mais claros em sua inteno e mais adequados para orientar a operacionalizao da expresso dos resultados da avaliao. Em sua elaborao atual, so eles: (1) a expresso final da avaliao do desempenho individual resultado da anlise quantitativa e qualitativa do percurso delineado no semestre, sendo os resultados parciais uma referncia; (2) o educando parmetro de si mesmo para a avaliao de suas aprendizagens atuais; (3) o desempenho do grupo um elemento de apoio ao desenvolvimento de cada educando, mas no suficiente para expressar as aprendizagens individuais; (4) a autoavaliao um indicativo da autoconscincia do educando acerca do percurso de suas aprendizagens; (5) a expresso final resulta da interpretao dos dados e requer uma responsabilidade compartilhada entre o olhar do educador e o olhar dos educandos para a anlise do processo e de seus resultados. Por fim, vale referir que ainda so m uitas as questes que inquietam a experincia da avaliao sumativa na realizao de sua intencionalidade emancipatria: como superar a cultura das relaes reguladas pela nota?; como usar a nota para promover a autoconscincia dos saberes constitudos e dos saberes em construo?; como a avaliao pode proporcionar a experincia de reconstruo da aprendizagem?; como a autoavaliao pode ser realmente exercida como experincia de metacognio1?; possvel que as prconsiste numa atitude reflexiva sobre os prprios processos mentais (GRILLO; GESSINGER, 2008, p.83)
1
141
ticas avaliativas possam contribuir para ampliar o desejo de aprender? Com certeza, tais respostas no sero encontradas somente no dilogo com outros educadores/pesquisadores. A continuidade da interlocuo com os educandos fundamental para avanar, para alm de seus limites, na realizao de seu potencial para a superao da passividade, em direo construo de sua autonomia nas relaes com o conhecimento. Apesar das dificuldades encontradas, alguns dos retornos avaliativos anunciam possibilidades de que o trabalho de formao se realize como uma experincia de mtuas transformaes, bem como fortalecem a convico de que tamanho enfrentamento vale a pena ser perseguido. Sobretudo, permanece como um sonho possvel a expectativa de que a experincia da aula de graduao possa ser assumida como uma construo coletiva, considerando ser este um caminho fecundo para maximizar o potencial emancipatrio das relaes de ensinar e de aprender. Consideraes finais Para a continuidade da investigao, merece ainda ser registrada uma reflexo a respeito da funo do educador. Trata-se de considerar as tenses que dela decorrem, visto que, em muitos momentos, a ao do educador ser a de incomodar os educandos, ou seja, problematizar o lugar do cmodo. Significa mobilizar a conscincia dos saberes j constitudos, mas tambm dos ainda no conhecidos, de modo a encorajar a aventura do dilogo com o novo e o diferente. Sem dvida, este um processo de mtuas e fecundas aprendizagens, em que no estamos imunes ao enfrentamento do medo, do difcil e da incerteza. So estes ingredientes inevitveis quando ousamos experimentar a radicalidade das proposies que, orientadas pela concepo de um paradigma emergente (SANTOS, 1997), no dissociam cognio e emoo. Significa assumir os limites e as potencialidades do entendimento de que aprendemos, ensinamos, conhecemos com o nosso corpo inteiro. Com os sentimentos, com as emoes, com os desejos, com os medos, com as dvidas, com a paixo e tambm com a razo crtica. Jamais com esta apenas. (FREIRE, 1993, p. 10). Nesse sentido, relevante a reflexo de Diligenti (2003) sobre os limites do processo pedaggico tradicional, ao considerar que as relaes entre educadores e educandos, marcadas pela imposio, geralmente acobertam
142
profundas inseguranas em relao aproximao com os alunos (p. 64). Na continuidade de sua reflexo, prope: Escutar a angstia de seu aluno, seus problemas, suas dificuldades no curso e fora dele so fundamentos da prtica de um educador que procura um relacionamento de maior profundidade com seus educandos. Pensar a avaliao nessa outra forma subverter sua lgica antecipatria de competncias; caminhar para um desconhecido, que muitas vezes gera insegurana. Partir para esse caminho de aproximar aluno/professor aproximar seres humanos; suas dificuldades e desafios so inerentes importncia desta tarefa, mas, talvez, seu reconhecimento e mtua gratificao sejam justificadores desta nova postura. De fato, a alterao das prticas avaliativas requer disposio para a mudana e implica mais trabalho, tanto para o educador quanto para os educandos. Todavia, esta pode ser tambm uma experincia gratificante, porque potencialmente geradora de alegrias que no decorrem unicamente das relaes interpessoais. Entre elas, a alegria de vencer o medo do difcil, a alegria de superar os prprios limites e a alegria de sentir-se capaz de aprender e de ensinar (SNYDERS 1993; 1995). Para tanto, merece ser ampliada a compreenso de que o estabelecimento de novas relaes entre educadores, educandos e o conhecimento implica, necessariamente, assumir a proximidade e a emoo como elementos presentes nos processos de ensinar e de aprender. O reconhecimento da subjetividade presente no processo de conhecer representa tanto um desafio continuidade da pesquisa quanto uma contribuio para qualificar o ensino na perspectiva do desenvolvimento da autonomia na aprendizagem. Ressalta-se ainda que reencantar o conhecimento (ASSMANN, 1998; 2001) e viver a alegria de conhecer no depende unicamente dos educadores, mas, especialmente, do modo como os educandos assumem para si o desafio de viver a experincia da aprendizagem, para alm da obteno de notas, como um processo de autoconhecimento. A proposio da avaliao sumativa na gesto da aula de graduao representa, pois, um convite para que possamos construir relaes em que os processos de ensinar e de aprender se configurem como experincias marcadas pela alegria de conhecer. A experincia de cada semestre, por meio do dilogo com diversas turmas, contribui para a renovao da compreenso-ao acerca das condies para que essa utopia se realize. o que anima a continuidade do trabalho, sobretudo porque essa experincia de investigao-ao se insere num projeto mais amplo, de quem busca a compreenso do conhecimento como uma atitude perante a vida.
143
Referncias Bibliogrficas ASSMANN, H. Curiosidade e prazer de aprender : o papel da curiosidade na aprendizagem criativa. Petrpolis: Vozes, 2001. _____. Reencantar a educao: rumo sociedade aprendente. Petrpolis: Vozes, 1998. BLOCH, E. O princpio da esperana. Rio de Janeiro: EdUERJ: Contraponto, 2005. DILIGENTI, M.P. Avaliao participativa no ensino superior e profissionalizante. Porto Alegre: Mediao, 2003. ESTEBAN, M.T. O que sabe quem erra? Reflexes sobre avaliao e fracasso escolar. Rio de Janeiro: DP&A, 2001. FREIRE, P. Professora, sim; tia, no: cartas a quem ousa ensinar. So Paulo: Olho Dgua, 1993. _____. Pedagogia do oprimido. 22. ed. Rio de Janeiro: Paz e Terra, 1987. _____ . Educao: o sonho possvel. In: BRANDO, C.R. (org.). O educador : vida e morte. 3 ed. Rio de Janeiro: Edies Graal, 1983. FREITAS, A.L.S. Pedagogia do indito-vivel: contribuies da participao pesquisante em favor de uma poltica pblica e inclusiva de formao com educadores e educadoras. Porto Alegre: PPGE/PUCRS, 2004. GRILLO, M.C., GESSINGER, R.M. Auto-avaliao como metacognio. In: LIMA, V.M. R.; FREITAS, A.L.; GRILLO, M C.; GESSINGER, R.M. A gesto da aula universitria na PUCRS. Porto Alegre: EDIPUCRS, 2008. HADJI, C. Avaliao desmistificada. Porto Alegre: Artmed, 2001. PMPA/SMED - Prefeitura Municipal de Porto Alegre; Secretaria Municipal de Educao. Ciclos de Formao Proposta Poltico-Pedaggica da Escola Cidad. Cadernos Pedaggicos. n. 9, dez. 1996. SANTOS, B.S. Um discurso sobre as cincias. 9. ed. Portugal: Afrontamento, 1997. SNYDERS, G. Feliz na universidade. Estudo a partir de algumas biografias. Rio de Janeiro: Paz e Terra, 1995 _____. Alunos felizes : reflexo sobre a alegria na escola a partir de textos literrios. Rio de Janeiro: Paz e Terra, 1993.
144
Artigo
METODOLOGIA PARA AVALIAO DO DESEMPENHO ACADMICO NA MODALIDADE EDUCAO A DISTNCIA
Ronei Ximenes Martins*
Resumo: Este artigo relata experincia na adoo de metodologia para avaliao do desempenho acadmico em disciplinas da graduao e ps-graduao lato sensu oferecidas na modalidade Educao a Distncia. Pretende-se com a metodologia oferecer formas de avaliar que rompam com a verificao pela medida de quantidade e reteno de informaes e que viabilizem a identificao e qualificao do processo de construo dos conhecimentos, o que auxilia os alunos a regularem seu progresso. So apresentados os principais aspectos de organizao das atividades avaliativas, critrios e formas de mensurao das tarefas desenvolvidas nos ambientes virtuais de aprendizagem. Os desafios enfrentados para a adoo da metodologia relacionam-se necessidade de mudana da maneira como a avaliao escolar abordada na regulamentao interna das instituies, a necessidade de adaptao dos alunos ao novo modelo e a elevao do tempo destinado s tarefas docentes. Palavras-chave: Avaliao escolar. Aprendizagem. Instrumentos de avaliao. Educao a distncia.
*Doutor em Psicologia pela Universidade So Francisco (USF); professor e coordenador de Educao a Distncia na USF.
145
Abstract: This article reports experience in adopting a methodology to assessment of students in disciplines of graduate or postgraduate offered in the Distance Learning mode. It is intended to provide methodology to assess ways that allow the identification and qualification of the construction of knowledge, which helps students to monitor their progress. The main aspects of the organization of assessment activities, criteria and forms of measurement of work in Learning Management Systems are presented. The challenges to the adoption of the methodology related to the need to change the way the assessment is addressed in the internal rules of the institutions, the need for students to adapt the new model and increase the time for teachers to tasks. Keywords: Academic performance. Education. Distance learning. Tools for assessment. Introduo
a educao a distncia (EaD), a separao de ordem geogrfica ou temporal das pessoas e a necessidade de mediao da comunicao por tecnologia gera alterao na maneira com que alunos e professores se relacionam uns com os outros e com o contedo (PALLOF, PRATT, 2002; PETERS, 2004). Essas peculiaridades geram modelos instrucionais diferenciados entre si e tambm em relao aos adotados nos cursos presenciais (MOORE, KEARSLEY, 2007; PETERS, 2004; entre outros). Em cursos presenciais, os alunos se beneficiam da convivncia rotineira em grupo, alm de atuarem de modo sncrono sobre o contedo e as tarefas, sempre acompanhados pelo professor e utilizando comunicao direta, face a face. Nos cursos a distncia, eles tm menores chances dessa natureza e dependem de meios tecnolgicos para terem acesso ao contedo e para se comunicarem (MOORE, KEARSLEY, 2007), o que induz ao questionamento quanto ao efeito que tais diferenas geram sobre o desempenho acadmico. O desempenho acadmico nos cursos presenciais normalmente obtido por sistemticas de avaliao que possuem critrios fundamentados nos objetivos estabelecidos para curso ou programa de ensino (BLOOM et al., 1983; DEPRESBITERES, 1989) e de valorao da aprendizagem, sendo realizado por meio de instrumentos especficos. Em relao ao processo de avaliao do desempenho acadmico em EaD, este se sustenta em princpios anlogos aos da educao presencial, mas
146
requer tratamento diferenciado em considerao s especificidades do modelo, principalmente no que diz respeito autonomia e ao controle da aprendizagem (DEMO, 1998; NEDER, 2006). Tambm preciso ressaltar que o aluno no conta com a presena fsica do professor em muitos dos momentos de avaliao e normalmente so utilizados recursos tecnolgicos na aplicao de instrumentos avaliativos. Nessa perspectiva, esse relato apresenta metodologia implementada na avaliao do desempenho acadmico de disciplinas de graduao e psgraduao lato sensu oferecidos na modalidade EaD, desenvolvidos na Universidade So Francisco (USF) e no Centro Universitrio Franciscano do Paran (FAE). So discutidos os principais aspectos da organizao das atividades avaliativas, critrios e forma de mensurao. Caractersticas da avaliao em cursos a distncia Quando consideradas as especificidades da EaD, torna-se necessrio desenvolver mtodo avaliativo que oportunize ao aluno vivenciar a elaborao de seus prprios juzos e tambm o desenvolvimento de sua capacidade de analis-los. Demo (1998) considera que um dos desafios da educao a distncia utilizar mtodos de avaliao que rompam com a verificao pela medida de reteno de informaes ou em que quantidade isto se deu, possibilitando a identificao da construo e elaborao dos conhecimentos. Assim, a avaliao em EaD deve proporcionar momentos de anlise da capacidade de reflexo crtica dos alunos frente a suas prprias experincias, a fim de que possam atuar dentro de seus limites e sobre o que os impede de avanar (NEDER, 2006). Tal proposta aponta para processos que envolvam autoavaliao e coavaliao nas dimenses individual e coletiva (SANTOS, 2006), com o uso das ferramentas disponveis nos ambientes de aprendizagem ( por exemplo, blog/wiki, que um espao de produo multimdia e permite elaborao de relatrios e apresentaes de maneira individual ou em grupo; chat e frum, que so espaos de comunicao sncrona e assncrona onde possvel que alunos debatam sobre questes do contedo; geradores de questionrios e sistema de controle de entrega de arquivos) (MDRITSCHER, SPIEL, GARCIA-BARRIOS, 2006; OLIVEIRA, 2006). Do ponto de vista da mensurao, necessrio pensar em processos continuados, com controle compartilhado entre professor e aluno, no apenas pela concepo pedaggica da avaliao, mas porque na EaD o aprendiz o maior responsvel pela conduo do processo de aprendizagem, detenRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
147
do o controle sobre o tempo de estudo e sobre a execuo de tarefas. Neste sentido, natural que a avaliao seja incorporada como elemento de feedback que permita ao aluno verificar seu progresso. Por outro lado, a legislao que regulamenta o funcionamento de cursos a distncia no Brasil (MEC, 2007) determina que na avaliao da aprendizagem sejam previstas etapas presenciais e que estas prevaleam do ponto de vista de mensurao, sobre as formas de avaliao executadas a distncia. Ento, usual que nos cursos a distncia se adote sistemtica que mescla eventos avaliativos presenciais, na forma de provas oferecidas em perodos determinados, com avaliao contnua a distncia, mensurada pela anlise de execuo de tarefas como entrega de relatrios ou outros produtos, participao do aluno em atividades de interao ( por exemplo, debates, sesses de chat ), resposta a questionrios e outros testes on-line. Portanto, uma das maneiras de dar mais efetividade ao EaD planejar uma sistemtica de avaliao que v alm dos momentos presenciais e seja compatvel com os diferenciais inerentes separao geogrfica e/ou temporal de professores e alunos, utilizando a consequente necessidade de mediao por tecnologias de informao e comunicao (TIC) em favor de processos avaliativos continuados. Nessa perspectiva, e considerando que a avaliao sempre est intimamente relacionada ao projeto instrucional do curso e s caractersticas do contedo educacional, apresentado a seguir relato da experincia de adoo da proposta metodolgica de avaliao adotada na disciplina Educao e Tecnologias, ofertada na modalidade EaD, componente curricular do curso presencial de graduao de Pedagogia da USF. Proposta metodolgica de avaliao na disciplina Educao e Tecnologias Projeto instrucional da disciplina Para descrever a metodologia de avaliao adotada, necessrio contextualizar a oferta bem como os elementos do projeto instrucional que a sustentam. Considerando que a legislao brasileira permite que se adote, em cursos presenciais, tanto parte da carga horria quanto disciplinas oferecidas integralmente a distncia, a disciplina Educao e Tecnologia, com carga horria de 68 horas, passou a ser oferecida de modo semipresencial em 2007 e vem recebendo aprimoramentos no projeto instrucional desde ento. Ela obrigatria para o curso de Pedagogia da USF, sua execuo se d em um semestre e seu principal objetivo instrumentalizar o futuro professor para trabalhar com as novas tecnologias em contextos de ensino-aprendizagem.
148
O projeto instrucional baseou-se no modelo de rede cooperativa, onde a cooperao entre os alunos a base sobre a qual so propostas as tarefas, desafios e problemas a superar. Nesse modelo, um ambiente interativo fornece as ferramentas e recursos necessrios para que alunos e professores trabalhem juntos e realizem as aes planejadas. Existem vrios ambientes virtuais de aprendizagem preparados para a cooperao. No caso, o ambiente utilizado foi o Moodle. A metodologia adotada previa que o aluno desenvolvesse atividades de estudo, cuja periodicidade era semanal, e que geravam produtos publicados no ambiente virtual de aprendizagem. Alm disso, foram estabelecidos encontros presenciais mensais para atividades em um laboratrio de informtica, com 2 horas de durao, no horrio de aulas reservado para a disciplina no calendrio escolar. A tutoria, executada pelo professor da disciplina, foi pr-ativa e utilizou comunicao sncrona ( por exemplo, sesses de batepapo e audioconferncias) e assncrona (correio eletrnico, fruns de discusso) para acompanhar a atuao dos alunos. Metodologia de avaliao Como a disciplina componente curricular de um curso de graduao, o processo de avaliao do aluno teve que se nortear pelos critrios de aprovao constantes no regimento geral da instituio de ensino. Por ele, era necessrio que fossem executadas duas etapas avaliativas valoradas em 10 pontos cada. Dessa pontuao, pelo menos 50% deveria se originar de instrumentos do tipo testes (provas) de aplicao individual. Para aprovao, necessrio atingir a mdia mnima de 6, consideradas as duas etapas. Surgiu, ento, uma dificuldade em relao adoo do que preconiza a literatura em relao avaliao na modalidade EaD (DEMO, 1998; NEDER, 2006; SANTOS, 2006), quebrar a cultura de avaliao por eventos para transform-la em um processo continuado e elemento de feedback que permita ao aluno verificar seu progresso, a tempo de redirecionar suas tarefas de aprendizagem. A maneira de super-la foi conciliar as necessidades metodolgicas com os requisitos definidos em regimento, transformando as atividades de estudo desenvolvidas semanalmente pelo aluno em instrumentos de avaliao. Com base nessa estratgia, ficou caracterizada uma sistemtica de avaliao que se baseou na aplicao de instrumentos avaliativos presenciais e a distncia e constituiu-se de duas fases para cada etapa avaliativa prevista
149
pelo regimento da instituio, a saber: fase 1 - a distncia, valorada em 4,5 pontos e fase 2 - presencial, com valor de 5,5 pontos. A distribuio de pontos com predominncia de valorao na etapa presencial visou atender aos dispositivos legais que regulam a oferta de educao a distncia. Nos instrumentos avaliativos da fase presencial, foi valorizada a aplicao dos conceitos e problematizao baseada nos contedos por meio da aplicao de atividades desenvolvidas em laboratrio de informtica, individualmente, e cujos produtos receberam avaliao pelos pares e pelo professor. Nos instrumentos de avaliao da fase EaD, foi considerado o desenvolvimento das atividades orientadas bem como o nvel de participao nas interaes, no valor de 3,5 pontos. Tambm foi utilizado instrumento de autoavaliao da aprendizagem no valor de 1 ponto. A viabilidade da execuo das atividades a distncia se deu pelo uso das ferramentas Wiki, que serviu como plataforma para produo colaborativa de resumos, relatrios e estudo de casos; chat e frum, espaos de comunicao sncrona e assncrona utilizados para debates sobre questes do contedo; glossrio, que foi construdo e revisado pelos prprios alunos; e um sistema de controle de entrega de arquivos, utilizado para receber os textos de autoavaliao, tal como preconizado por Mdritscher, Spiel e Garcia-Barrios (2006) e Oliveira (2006), entre outros. Para avaliar a participao do aluno em cada atividade desenvolvida a distncia e fornecer feedback ao aluno de forma simplificada e rpida, foram criadas escalas de julgamento (Quadro 1) para atividades de interao, de execuo de tarefas e de autoavaliao. Uma vez atribudo o julgamento, o aluno recebia tempo para reelaborar sua produo ou podia optar por manter a pontuao. Quando havia necessidade de orientao adicional para reelaborao, isso era informado ao aluno por meio de devolutivas no frum ou por mensagens individuais, dependendo de cada situao. Consideraes finais Dos desafios enfrentados para a adoo da metodologia apresentada, destacam-se a necessidade de mudana da forma como a avaliao escolar abordada na regulamentao interna das instituies onde os projetos esto em execuo e a necessidade de adaptao dos alunos ao novo modelo proposto visto que, por um lado, no entendimento da maioria, avaliao equivale prova estabelecida em calendrio escolar e, por outro, as prticas de autoavaliao e coavaliao so mal interpretadas. Destaca-se,
150
Quadro 1 Escalas de julgamento utilizadas para avaliao das atividades desenvolvidas a distncia.
Tipo de atividade: Execuo de tarefas 0 1 No executou. No encontra respaldo nas orientaes/instrues ou em outras referncias pesquisadas. Produo desvinculada dos contedos. 2 Contm recorte/cpia de materiais pesquisados/estudados. coerente com a atividade, mas no apresenta elaborao pessoal. 3 coerente com o que prope a atividade, apresenta elaborao pessoal, mas no responde totalmente ao que solicitado. 4 coerente com a proposta da atividade, est bem elaborado e articulado com o que foi estudado. Tipo de atividade: Participao em interaes 0 No participou. 1 Participao burocrtica, realizou o mnimo necessrio e no interagiu com os colegas. 2 Participao colaborativa, com elaborao e sntese baseadas nas prprias reflexes e nas contribuies dos colegas. 3 Participao inovadora que, alm das caractersticas de 2, trouxe elementos novos atividade. Tipo de atividade: Autoavaliao 0 No participao. 1 Desempenho mnimo - aprendizagem de alguns conceitos e uso do ambiente virtual. 2 Desempenho mediano (aprendizagem dos conceitos, do uso do ambiente, alm de participao e comunicao com os colegas). 3 Alto desempenho (alm das caractersticas de 2, buscou novos elementos para aprofundar os estudos dos temas, abriu debates, interagiu com colegas, analisou e criticou os contedos).
tambm, que a atividade docente, seja na elaborao/produo das atividades, seja para o correto acompanhamento da produo dos alunos e oferecimento de feedback em tempo hbil, se eleva consideravelmente em tempo e nmero de tarefas. Por outro lado, verificou-se que, uma vez compreendida a proposta metodolgica, a maioria dos alunos aderiu plenamente ao modelo, passando, eles prprios, a estabelecerem seus cronogramas de estudo, adaptando-os ao tempo disponvel; realizando avaliao prvia de sua produo, segundo as escalas de julgamento; e tambm interagindo, solicitando que seus pares auxiliassem na avaliao das atividades em que tinham maior dificuldade. Como as atividades avaliativas presenciais deixaram de exibir o carter de prova e se aproximaram do que os alunos realizavam no ambiente virtual de aprendizagem, o nervosismo comum a este momento da rotina escolar diminuiu consideravelmente. A experincia aqui relatada contribuiu para a implantao da modalidade EaD na instituio e servir de base para a reorganizao e aprimoramento de projetos pedaggicos dos cursos de graduao que passarem a adotar carga horria semipresencial.
151
Referncias Bibliogrficas BLOOM, B.S.; HASTINGS, J.T.; MANDAUS, J.F. Manual de avaliao formativa e somativa do aprendizado escolar. So Paulo: Pioneira Editora, 1983. DEMO, P. Questes para a teleducao. Petrpolis: Vozes, 1998. DEPRESBITERIS, L. O desafio da avaliao da aprendizagem: dos fundamentos a uma proposta inovadora. So Paulo: EPU, 1989. MEC Ministrio de Educao. Regulamentao da EAD no Brasil. Disponvel em: <http.//www.portal.mec.gov.br/seed/2007> Acesso em 27 fev. 2007 MDRITSCHER, F.; SPIEL, S.D.; GARCIA-BARRIOS, V.M. Assessment in e-learning environments: a comparison of three methods. In: CRAWFORD, C.M. et al. (Eds.). Proceedings of Society for Information Technolog y and Teacher Education International Conference (pp. 108-113). Chesapeake, VA. [Online]. Disponvel em: <http://www.moedritscher.com/papers/2006>. Acesso em: 12 abr 2007 MOORE, M.; KEARSLEY, G. Educao a distncia: uma viso integrada. Trad. R. Galman. So Paulo: Thomson, 2007. NEDER, M.L.C. Avaliao na educao a distncia, significaes para definio de percursos. [On-line]. Disponvel: <http://www.nead.ufmt.br/NEAD2006/publicacao/download/AVALIArtf.rtf>. Acesso em: 12 abr 2007. OLIVEIRA, R.M.C. Aprendizagem mediada e avaliada por computador: a insero dos blogs como interface na educao. In: SILVA, M.; SANTOS, E. (Eds.). Avaliao da aprendizagem em educao online. So Paulo: Loyola, 2006. PALLOF, R.M.; PRATT, K. Construindo comunidades de aprendizagem no ciberespao. Porto Alegre: Artmed, 2002. PETERS, O. A educao a distncia em transio. So Leopoldo: Unisinos, 2004. SANTOS, N. Desafios da web como avaliar alunos online. In: SILVA, M.; SANTOS, E. (Eds.) Avaliao da aprendizagem em educao online. So Paulo: Loyola, 2006.
152
Artigo
ANLISE FATORIAL BASEADA NA TRI DO COMPONENTE DE FORMAO GERAL DO ENADE
Claudette Maria Medeiros Vendramini*
Resumo: O objetivo deste estudo foi verificar a dimensionalidade do componente de formao geral que compe o Exame Nacional de Desempenho do Estudante (ENADE), pela Anlise Fatorial com Informao Completa baseada na Teoria de Resposta ao Item (TRI). O banco de dados utilizado nesta pesquisa contm os resultados de todos os estudantes submetidos ao ENADE de 2004 a 2006. O componente de formao geral continha dez questes comuns s diferentes carreiras avaliadas. Em 2004 e 2006, oito questes eram objetivas de mltipla escolha e duas discursivas; em 2005, sete de mltipla escolha e trs discursivas. A anlise fatorial dos itens de mltipla escolha indicou que as provas de 2004 e 2005 so unidimensionais, compostas de trs fatores correlacionados entre si, que possibilita admitir a existncia de uma nica habilidade geral subjacente a esses fatores. A prova de 2006 bidimensional com fatores no correlacionados entre si. Palavras-chave: Avaliao da educao superior. Desempenho de estudante. Teoria de Resposta ao Item.
*Doutora em Educao, rea de concentrao Educao Matemtica, pela Universidade Estadual de Campinas (Unicamp); Professora pesquisadora da graduao e ps-graduao em Psicologia da Universidade So Francisco (USF).
153
Abstract: The aim of this study was to verify the dimensionality of the General Formation component of the National Student Performance Exam ENADE, by Full Information Factorial Analysis based on the Item Response Theory. The data file used in this research contains the results of all students who participated in the ENADE 2004, 2005, 2006. The General Formation component consisted of ten questions common to all different evaluated areas. In 2004 and 2006, eight questions were elaborated as multiple-choice and two as open-ended; in 2005, seven were elaborated as multiple-choice and three as open-ended. The factorial analysis of the multiple choice items indicated that tests applied in 2004 and 2005 were unidimensional, that they are composed by three correlated factors, thus it is possible to assume that exists a single general ability underlying these factors. In 2006, the test was bidimentional and composed by two non-correlated factors. Keywords: Higher Education Evaluation; Academic performance; Item Response Theory.
Introduo
O
154
uso de tcnicas estatsticas multivariadas tem sido cada vez mais frequente em Psicologia e Educao devido ao grande nmero de variveis envolvidas nas anlises de dados e da necessidade de se conhecer a estrutura e as inter-relaes entre essas variveis. Uma das tcnicas multivariadas adequada para analisar os padres de respostas encontrados em pesquisas empricas a Anlise Fatorial (AF). Esta anlise tem como propsito principal definir a estrutura subjacente a um conjunto de dados, e pode ser utilizada para resumir os dados ou para verificar se as relaes latentes de um grande nmero de variveis podem ser resumidas a um conjunto menor de fatores (HAIR et al., 2005). Em Psicologia, a AF uma tcnica muito utilizada para analisar a validade de construto de instrumentos de medida psicolgica, a partir da anlise das inter-relaes entre os itens desses instrumentos, definindo o conjunto de dimenses latentes comuns, ou fatores. Estas dimenses podem ser obtidas pela atribuio de escores que substituem as variveis originais, e que devem ser bem interpretadas e compreendidas. uma tcnica de interdepenRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
dncia em que todas as variveis, no caso da validade de construto os itens do instrumento de medida, so simultaneamente consideradas. A identificao da estrutura do instrumento avaliada a partir de uma combinao linear das variveis (itens) que maximiza o poder de explicao do conjunto todo de variveis, com uma perda mnima de informao. Em educao, os pesquisadores tm usado essa tcnica para avaliar a dimensionalidade de provas e testes de desempenho e de habilidades, como o caso de avaliaes em larga escala SAEB, ENEM e ENADE (DIAS; VENDRAMINI, 2008; LAROS; PASQUALI; RODRIGUES, 2000; NOGUEIRA, 2008; PRIMI et al., 2000; RAUTER; LAROS; JESUS, 2007; RODRIGUES, 2006), entre outros. Para a anlise da dimensionalidade de instrumentos compostos de itens dicotmicos, tais como os itens de mltipla escolha corrigidos como certos ou errados, recomendada a aplicao da tcnica estatstica que, diferentemente da anlise fatorial comum, considera as correlaes tetracricas em vez da matriz de correlaes de momento de Pearson. Esta tcnica conhecida por Anlise Fatorial de Informao Completa ou Full Information Factor Analysis (FIFA). Para verificar a dimensionalidade das provas, avaliada a mudana do valor da estatstica Qui-quadrado obtida para os ajustes dos modelos uni e bidimensionais, embora esse valor seja sensvel ao tamanho da amostra. Outro critrio utilizado para identificao do fator dominante o estudo da porcentagem de varincia explicada, ou seja, o primeiro fator deve apresentar uma explicao da varincia muito superior do segundo fator. A importncia de se verificar a dimensionalidade dos instrumentos utilizados em uma avaliao deve-se ao atendimento de um dos critrios para a utilizao da TRI, a unidimensionalidade, que diz respeito homogeneidade dos itens que compem o instrumento (ANDRIOLA, 1998; PASQUALI, 2003). Para esta anlise, com o auxlio do TESTFACT, as respostas dicotmicas (certo/errado) so agrupadas em fatores, progressivamente, e a contribuio de cada fator para a explicao das correlaes entre os itens avaliada, possibilitando que as respostas dos participantes sejam previstas a partir de modelos matemticos ajustados aos itens. Diferentes padres de respostas podem ser esperados quando os itens so completamente independentes, quando medem um nico fator ou quando medem mais de um fator (OLIVEIRA, 2006). No presente trabalho, como exemplo de aplicao da FIFA, so utilizados os bancos de dados do Exame Nacional de Desempenho do Estudante (ENADE). A dimensionalidade das provas aplicadas pelo Instituto Nacional de Pesquisas Educacionais Ansio Teixeira (INEP), no perodo de 2004 a 2006, analisada por meio do programa computacional TESTFACT. Esta anlise visa buscar informaes de qualidade psicomtrica do instruRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
155
mento utilizado pelo INEP para avaliar o desempenho acadmico de estudantes do ensino superior, considerando que o interesse pela implementao de mtodos de avaliao de qualidade da educao superior tem sido foco de ateno dos rgos governamentais. Desde o incio do sculo 21, a preocupao com a qualidade do ensino superior tem ganhado destaque, sendo cada vez maior o nmero de pases no Hemisfrio Norte e Sul a realizarem reformas em seus sistemas de educao superior (HORTALE; MORA, 2005). De acordo com estes autores, a implementao de sistemas de qualidade da educao ocorreu no contexto europeu e brasileiro. Na Europa, diversos estudos constatam que a reforma da educao superior faz parte de mudanas sociais demandadas pela globalizao e que, ao passar-se de uma poltica centrada nos insumos para a centrada nos resultados, a avaliao torna-se crucial. No Brasil, de acordo com a nova Lei de Diretrizes e Bases (BRASIL, 1996), os cursos so ministrados em instituies de ensino superior (IES), pblicas ou privadas, com variados graus de abrangncia e especializao. Devido ao relevante crescimento de instituies, bem como quantidade de estudantes matriculados, a avaliao educacional ganhou uma ateno especial do governo brasileiro, desencadeando, a partir de 1980, vrios projetos elaborados pelo Ministrio da Educao (MEC) e que acumularam esforos no sentido de avaliar a educao. A partir de 1995, no governo Fernando Henrique Cardoso, o Exame Nacional de Cursos (ENC) objetivava orientar as aes do MEC para estimular a melhoria da qualidade de ensino e apoiar as decises da Secretaria de Educao Superior (SESU) quanto ao reconhecimento e renovao de cursos de graduao. No ano de 2003, o governo de Luis Incio Lula da Silva designou os membros da Comisso Especial de Avaliao da Educao Superior (CEA), com a finalidade de analisar e propor critrios e estratgias para a reformulao dos processos e polticas de avaliao da Educao Superior, alm de avaliar instrumentos, metodologias e critrios utilizados nesse processo (MEC, 2004A, p. 83), o que gerou o Sistema Nacional de Avaliao da Educao Superior (SINAES), cuja proposta baseia-se na concepo de avaliao como um processo que vincule a dimenso formativa a um projeto de sociedade comprometido com a igualdade e justia social (MEC, 2004B). Um dos instrumentos utilizado pelo SINAES como parte do processo de avaliao da educao superior o Exame Nacional de Desempenho dos Estudantes (ENADE), que veio substituir o ENC, conforme a lei n 10.861, no art. 5 do MEC (2004C). O ENADE tem como objetivo verificar, a partir do desempenho em uma prova, o conhecimento dos estudantes
156
em relao aos contedos programticos estabelecidos nas Diretrizes Curriculares Nacionais (DCN), estabelecidas para cada um dos cursos de graduao, suas habilidades decorrentes da evoluo do conhecimento e suas competncias para compreender temas ligados realidade brasileira e mundial e a outras reas do conhecimento. Para isso, ele tem sido aplicado desde 2004 aos estudantes de todos os cursos de graduao, ao final do primeiro e do ltimo ano de curso. Em sua formulao, o ENADE elaborado com a finalidade de verificar as competncias e habilidades bsicas das reas, os conhecimentos sobre contedos bsicos e profissionalizantes, por meio do desempenho dos estudantes em questes transdisciplinares e que envolve o conhecimento mais geral. O diferencial do ENADE examinar o desempenho de estudantes ingressantes e concluintes, pretendendo analisar as mudanas, os ganhos do estudante ao longo de sua trajetria na instituio (MEC, 2004D). Nessa perspectiva, o ENADE tem como meta principal acompanhar o processo de aprendizagem e o prprio desempenho do estudante frente aos contedos que compem os currculos dos cursos, bem como suas habilidades e competncias, esperando que no final o nvel de habilidade dos estudantes atinja patamares mais elevados que no incio, sinalizando ganhos para o estudante, curso e instituio. Desta maneira, o bom desempenho no ENADE indica o que o estudante capaz de fazer com o conhecimento adquirido na universidade e no apenas o qu e o quanto ele aprendeu (VENDRAMINI, 2002). O componente de formao geral que compem o ENADE, comum s provas das diferentes reas, investiga competncias, habilidades e conhecimentos gerais que possam facilitar a compreenso de temas exteriores aos especficos de sua profisso e realidade brasileira e mundial. O componente de formao especfica contempla o domnio especfico de conhecimentos de cada rea e as habilidades esperadas para o perfil profissional. Cabe destacar que, para que esse processo de avaliao seja preciso e permita generalizaes confiveis de resultados amostrais, fundamental que sejam utilizados instrumentos vlidos e fidedignos. Os instrumentos devem ser submetidos a estudos que comprovem qualidades, tais como padronizao, preciso e validade, conceitos propostos pela abordagem psicomtrica denominada Teoria Clssica dos Testes (PASQUALI, 1997; ANASTASI; URBINA, 2000), cujo rigor metodolgico vem sendo utilizado na construo de exames escolares, tornando o processo de avaliao educacional mais objetivo. Embora provas ou testes educacionais no tenham o mesmo significado que testes psicolgicos (medidas objetivas e padronizadas para medir aspectos do comportamento humano), vrias tcnicas de consRevista de Educao, Braslia n. 150, ano 38, jan./jun. 2009
157
truo de testes so utilizadas na construo de exames escolares, visando a tornar o processo de avaliao educacional mais objetivo. Uma das metodologias utilizadas para analisar dados obtidos em avaliaes de testes fundamenta-se em dois modelos matemticos mais conhecidos: a Teoria Clssica dos testes (TCT) e a Teoria de Resposta ao Item (TRI) (ANDRIOLI, 1998; ANDRADE; TAVARES; VALLE, 2000). A aplicao da TRI na avaliao educacional permite que sejam feitas anlises qualitativas mais precisas do desempenho do estudante e da qualidade das questes que compem as provas (VENDRAMINI, 2005). Como citado pela autora, a TRI, como modelo matemtico, segundo Fletcher (1994), reproduz a interao entre sujeito e item a partir da probabilidade do indivduo acertar o item considerando o processo de sua soluo, a dificuldade do item e o fato de que um item no depende do outro. Assim, este trabalho tem o objetivo de analisar a fidedignidade e evidncias de validade, propriedades psicomtricas que instrumentos de medida devem possuir, por meio da anlise fatorial com informao completa baseada na Teoria de Resposta ao Item, com a finalidade de fornecer bases para possveis interpretaes dos diferentes nveis de desempenho de universitrios nas diferentes reas de conhecimento avaliadas pelo INEP. Mtodo Fonte de dados Foi utilizado um banco de dados contendo os resultados de 135.008 estudantes (80.500 ingressantes e 54.508 concluintes) que participaram do ENADE no ano de 2004 e que responderam a pelo menos uma das questes de Formao Geral de forma no nula. So considerados ingressantes os estudantes que, at a data inicial do perodo de inscrio, cumpriram de 7 a 22% da carga didtica mnima do currculo do curso da IES, e concluintes, os que cumpriram pelo menos 80% da carga mnima da grade curricular do curso da IES. Os estudantes foram selecionados pelo INEP, por procedimentos de amostragem aleatria estratificada das seguintes carreiras: Agronomia, Educao Fsica, Enfermagem, Farmcia, Fisioterapia, Fonoaudiologia, Medicina, Medicina Veterinria, Nutrio, Odontologia, Servio social, Terapia Ocupacional e Zootecnia. Em 2005, responderam a pelo menos uma das questes de Formao Geral de forma no nula 268.448 estudantes (142.898 ingressantes e 125.550 concluintes), selecionados por amostragem aleatria estratificada
158
das seguintes carreiras: Arquitetura e Urbanismo, Biologia, Cincias Sociais, Computao, Engenharias organizadas em oito grupos (Grupo I a Grupo VIII) , Filosofia, Fsica, Geografia, Histria, Letras, Matemtica, Pedagogia e Qumica. Em 2006, o total de estudantes foi 401.117, sendo 214.579 ingressantes e 186.538 concluintes, extrados por amostragem das seguintes carreiras: Administrao, Arquivologia, Biblioteconomia, Biomedicina, Cincias Contbeis, Cincias Econmicas, Comunicao Social, Design, Direito, Msica, Normal Superior, Psicologia, Secretariado Executivo, Teatro e Turismo. Material A prova do ENADE composta de 40 questes, das quais 10 so de avaliao da formao geral, sendo oito objetivas de mltipla escolha e duas discursivas, comuns aos cursos de todas as carreiras (reas). As outras 30 questes so especficas de cada rea, distribudas em quantidades diferentes, para cada carreira, em questes discursivas e objetivas de mltipla escolha. A prova de formao geral aborda situaes-problema, estudos de caso, simulaes e interpretao de textos e imagens. As questes visam avaliar as habilidades do estudante em analisar, sintetizar, criticar, deduzir, construir hipteses, estabelecer relaes, fazer comparaes, detectar contradies, decidir, organizar, trabalhar em equipe e administrar conflitos. Em relao dificuldade, as questes distribuem-se entre as categorias: baixo, mdio e elevado graus de dificuldade. Metodologia de anlise de dados Todo instrumento de medida deve atender aos objetivos que nortearam a sua construo e possuir alguns requisitos psicomtricos. O que se pretende verificar empiricamente a consistncia interna das provas e a estrutura das inter-relaes (correlaes) dos itens que compem as provas do ENADE, isto , quais as dimenses latentes comuns denominadas fatores que cada prova mede. A FIFA um mtodo estatisticamente satisfatrio para se proceder a anlise fatorial de itens de um instrumento; conceitualmente similar ao modelo logstico (ou da curva normal) da TRI, cujos parmetros so estimados pela mxima verossimilhana marginal e pelo algoritmo EM. O ajuste do modelo, verificado pelo teste Qui-quadrado, feito considerando-se as informaes dos padres de respostas dadas aos itens.
159
Resultados Em 2004, o nmero mdio de acertos foi igual a 3,5 (DP=1,6), correspondente a uma proporo mdia de 43,8% de questes certas. Em 2005, o nmero de mdio de acertos foi superior aos anos de 2004 e 2006 (M=4,8; DP=1,4), correspondente a uma proporo mdia de 68,5% de questes certas. Em 2006, o nmero mdio de acertos foi praticamente o mesmo de 2004 (M=3,6; DP=1,4) e correspondente a uma proporo mdia de 44,9% de questes certas. Esses resultados revelam que os estudantes de 2005 tiveram desempenho melhor que os dos outros anos, nas respectivas provas aplicadas, embora no seja possvel concluir que os estudantes de um determinado ano sejam melhores ou piores que de outros anos, pois as provas foram diferentes e precisariam ser equalizadas para que esta concluso fosse possvel. Quanto consistncia interna das provas, foram observados valores baixos dos coeficientes de Kuder-Richardson KR20, iguais a 0,353, 0,393 e 0,255, respectivamente para as provas de 2004, 2005 e 2006. Essa baixa consistncia interna j era esperada, considerando que a prova de formao geral e aborda diferentes temas, que exigem diferentes habilidades acadmicas dos estudantes. Para os itens de Formao Geral (FG), os resultados da anlise fatorial com informao completa pelo mtodo de rotao PROMAX, buscando obter uma varincia explicada maior possvel, indicou uma estrutura fatorial de cinco fatores no correlacionados entre si para o ano 2004, que explica 45,5% da varincia total dos dados; uma estrutura fatorial de quatro fatores para 2005, que explica 37,9% da varincia total; e uma estrutura mxima de dois fatores para 2006, com apenas 18,1% de varincia explicada pelos dois fatores no correlacionados entre si (r13=-0,01). Considerando que para 2006 no foi possvel encontrar uma estrutura fatorial com um nmero maior que dois fatores, e com o objetivo de comparar uma mesma estrutura fatorial entre os trs anos, foi forada a estrutura fatorial de dois fatores para 2004 e 2005. Os resultados dessa anlise esto apresentados na Tabela 1. Para 2004, alcanada uma varincia explicada igual a um total de 17,5% pelos dois fatores correlacionados entre si (r13=0,35) e, para 2005, uma estrutura fatorial com 23,3% de varincia explicada pelos dois fatores correlacionados entre si (r13=0,32). Embora as porcentagens de varincia explicada sejam baixas, observa-se que o valor encontrado para 2006 ligeiramente superior aos anos de 2004 e 2005. Considerando que para esses dois ltimos os fatores so cor-
160
relacionados entre si, possvel supor que existe uma nica dimenso subjacente a esses fatores. Os dados apresentados na Tabela 1 sugerem que outros estudos devem ser realizados, eliminando-se os itens com comunalidade baixa, inferior a 0,10 e, portanto, com cargas fatoriais muito pequenas nos fatores. A prova de 2006 foi a que apresentou menor consistncia e com poucos itens correlacionados entre si, dificultando a composio de uma estrutura fatorial adequada. Tabela 1 Cargas rotacionadas pelo mtodo PROMAX e porcentagem de varincia explicada pelo modelo de dois fatores
Item 1 2 3 4 5 6 7 8 2004 2005 2006 Fator Fator Fator Fator Fator Fator Comunalidade Comunalidade Comunalidade 1 2 1 2 1 2 0,20 0,25 0,33 0,06 0,14 0,05 0,04 0,34 0,46 -0,05 0,49 0,20 0,34 0,06 0,18 -0,12 12,8 0,01 0,09 0,09 0,19 0,01 0,61 4,7 0,60 -0,08 0,30 0,20 0,23 0,30 0,42 0,08 0,10 0,56 -0,02 0,44 0,45 0,01 0,03 0,06 0,64 0,05 -0,07 0,17 0,05 0,02 0,24 0,51 0,36 0,21 0,26 0,41 0,22 -0,07 0,06 0,01 -0,06
0,55 -0,01 0,30 -0,07 0,32 -0,02 18,2 5,1
-0,05 -0,02 0,48 -0,04 -0,04 -0,71 0,60 11,6 0,04 6,5
% Varincia explicada
Consideraes finais O objetivo geral do estudo foi ampliar as anlises acerca do desempenho dos estudantes nas questes estatsticas do componente de Formao Geral do ENADE de 2004 e 2005, bem como tambm como verificar se possvel assumir a unidimensionalidade dessas provas, considerando que este um critrio imperativo para a utilizao da TRI (ALMEIDA; PRIMI, 2001; ANDRIOLA, 1998). Assumindo que as provas so unidimensionais, compreende-se que a probabilidade de acertar as questes depende do valor dominante de um trao latente (PASQUILI, 2003), tendo em vista que o desempenho em instrumentos de medida, sejam eles testes ou provas, pode sofrer a interferncia de vrios fatores, como os cognitivos e os afetivos. Frente a esta suscetibilidade, Hambleton e Swaminathan (1985) defendem que a unidimensionalidade no pode ser completamente conseguida e pontuam que este no deve ser um objetivo
161
principal, devendo-se, sobretudo, priorizar em que medida as dimenses adicionais geram distores na medida principal do fator dominante. Referncias Bibliogrficas ALMEIDA, L.S.; PRIMI, R. Teoria de Resposta ao Item. In: FERNANDES, E.M.; ALMEIDA, L.S. (Org.). Mtodos e tcnicas de avaliao: contribuindo para a prtica e investigao psicolgicas. Braga, Portugal: Centro de Estudos em Educao e Psicologia, Universidade do Minho, 2001. p. 205-232. ANASTASI, A.; URBINA, S. Testagem psicolgica. Porto Alegre: Artes Mdicas, 2000. ANDRADE, D.F.; TAVARES, H.R., VALLE, R.C. Teoria da Resposta ao Item: conceitos e aplicaes. So Paulo: Associao Brasileira de Estatstica, 2000. ANDRIOLA, W.B. Utilizao da Teoria de Resposta ao Item (TRI) para a organizao de um banco de itens destinados a avaliao do raciocnio verbal. Psicologia: Reflexo e Crtica, v. 11, n. 2, p. 295-308, 1998. BRASIL. Lei de Diretrizes e Bases da Educao Nacional. Lei no 9394, de 20 de dezembro de 1996. DIAS, A.S.; VENDRAMINI, C.M.M. Anlise fatorial com informao completa de uma prova de compreenso em leitura em estatstica. Psicologia Escolar e Educacional, v. 12, p. 357-367, 2008. FLETCHER, P.R. A Teoria da Resposta ao Item: medidas invariantes do desempenho escolar. Ensaio, v. 2, n. 1, p. 21-28, 1994. HAMBLETON, R.K.; SWAMINATHAN, H. Item response theory: principles and applications. Boston: Kluwer-Nijhoff, 1985. HAIR, J.J.F.; ANDERSON, R.E.; TATHAM, R.L.; BLACK, W.C. Anlise multivariada de dados. 5. ed. Porto Alegre: Bookman, 2005. HORTALE, V.A.; MORA, J.G. As experincias da Espanha e Brasil na implementao de sistemas de avaliao de qualidade da educao superior. Revista de Avaliao Institucional, v. 10, n. 3, p. 9-25, 2005. LAROS, J.A.; PASQUALI, L.; RODRIGUES, M.M.M. Anlise da unidimensionalidade das provas do SAEB. Braslia: Centro de Pesquisa em Avaliao Educacional (CPAE), UnB, 2000. MINISTRIO DA EDUCAO. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP). Portaria n 2.051, de 9 de julho de 2004. Disponvel em: <www.inep.gov.br/superior/enade>. Acesso em: 31 ago. 20092004A. _____. Diretrizes para a Avaliao das Instituies de Educao Superior. Braslia: Instituto Nacional de Estudos e pesquisas Educacionais Ansio Teixeira, 2004B. 48 p.
162
_____. SINAES Sistema Nacional de Avaliao da Educao Superior : da concepo regulamentao. 2. ed. Braslia: Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira, 2004C. 155 p. _____. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP). Lei n 10.861, de 14 de abril de 2004D. Disponvel em: <www. inep.gov.br/superior/enade>, Acesso em: 31 ago. 2009. NOGUEIRA, S.O. ENADE: Anlise de itens de formao geral e de estatstica pela TRI. Dissertao (Mestrado em Psicologia). Universidade So Francisco, Itatiba, So Paulo, 2008. OLIVEIRA, K.S. Avaliao do Exame Nacional de Desempenho do Estudante pela Teoria da Resposta ao Item. Dissertao (Mestrado) - Universidade So Francisco, Itatiba, So Paulo, 2006. PASQUALI, L. Psicometria: teoria dos testes na psicologia e na educao. Petrpolis: Vozes, 2003. _____. Psicometria: teoria e aplicaes. A teoria clssica dos testes psicolgicos. Braslia: Editora UnB, 1997. PRIMI, R.; SANTOS, A.A.A.; VENDRAMINI, C.M.M.; TAXA, F.; FRANZ, A.M.; LUKJANENKO, M.F.; SAMPAIO, I.S. Competncias e habilidades cognitivas: diferentes definies dos mesmos construtos. Psicologia: Teoria e Pesquisa, v. 17, n. 2,p. 1-9, 2001. RAUTER, R.; LAROS, J.A.; JESUS, G.R. Questionrios contextuais do SAEB: anlise qualitativa baseada nos resultados da anlise fatorial. REICE: Revista Electrnica Iberoamericana sobre Calidad, Eficacia y Cambio en Educacin, v. 5, n. 2e, p. 56-68, 2007. RODRIGUES, M.M.M. Proposta de anlise de itens das provas do SAEB sob a perspectiva pedaggica e a psicomtrica. Estudos em Avaliao Educacional, v. 17, n. 34, p. 43-777, 2006. VENDRAMINI, C.M.M. O uso de um modelo multidimensional para anlise do ENADE. Revista de Avaliao Institucional, v. 10, n. 3, p. 27-40, 2005. _____. Aplicao da Teoria de Resposta ao Item na avaliao educacional. In: PRIMI, R. (Org). Temas em avaliao psicolgica. Campinas: Instituto Brasileiro de Avaliao Psicolgica, 2002. p. 116-130.
163
Nmeros Anteriores
1971 1972 1973 1974 1975 1976 1977 1978 1979 1980 1 Palavras aos educadores cristos 2 Teologia da educao 3 Experincia na implantao da lei 5.692 4 Comunidade educativa 5/6 Pressupostos filosficos e teolgicos da lei 5.692 7 Juventude latino-americana 8 Avaliao em educao 9 Profissionalizao 10 Orientao educacional 11 O Religioso educador 12 Linguagem e evangelizao hoje 13 Igreja-educao-escola 14 Ensino supletivo 15 Planejamento educacional 16 Educao libertadora 17 Mulher hoje 18 Formao profissional: Novas tendncias 19 Escola crist: Mundo em transformao 20 Criana, educador de si mesma 21 O educador cristo 22 Administrao de escola 23 Escola e processo de planejamento 24 A escola e seu marco doutrinal 25 Educao, novos enfoques 26 Educar para a justia 27 Educao e participao 28 Escola em pastoral 29 Educao e criatividade 30 Educao e criana 31 Puebla: Igreja na educao na Amrica Latina 32 Orientao educacional e pedaggica 33 Democratizao da educao 34 Educao brasileira anlise crtica 35 Educao e justia 36 Valores, justia e poltica social 37 Educao para uma Sociedade Justa 38 Projeto educativo Escola crist
164
1981 39 Educao e sade 40 Educao popular 41 Educao sexual e escola 42 Educao e fraternidade 1982 43 Educao poltica 44 Comunicao e educao 45 Valores e educao 46 Educao e violncia 1983 47 Opo pelos pobres: desafios e prospectivas para a educao catlica 48 Transformao curricular para uma educao nova 49 Democratizao do ensino 50 O educador e a opo pelos pobres 1984 51 Educao religiosa e opo pelos pobres 52 Educao: autoridade e poder 53 Escolas em busca 54 Planejamento e participao 1985 55 Um espao para a juventude 56 Educar-se para a cidadania 57 Superviso educacional: sim ou no? 58 Educando o educador 1986 59 Educao, sociedade e participao 60 Avaliando a avaliao 61 Alm da escola 62 Infncia: um direito roubado 1987 63 Contedos escolares 64 Orientao educacional hoje e amanh 65 Escola: tenses e conflitos 66 Mediaes educativas da sociedade 1988 67 Educao libertadora 68 Cidado da terra 69 Comunicao, meios, mitos e medos 70 LDB: letras mortas? 1989 71 Educao, compromisso social 72 Matrias escolares: mais do que contedo? 73 Trabalho e educao 1990 74 A construo do sujeito coletivo grmios APM Associao de professores 75 Planejamento: educao para a participao
165
76 (An) Alfabetizao 77 Educao e direitos humanos 1991 78 Educao e movimentos populares 79 Formao permanente 80 Vinte anos oitenta nmeros 81 Educao para o respeito e a valorizao da vida 1992 82 Educao na Amrica: conflitos e caminhos 83 Metodologia e interdisciplinaridade 84 Escola catlica: interrogaes e rumos 85 A imagem social do professor 1993 86 tica-educao, crise recriao 87 Educao libertadora, participao e justia 88 Ensino Religioso Escolar 89 Ps-modernidade na escola? 1994 90 Metodologias ativas e participativas 91 Leituras psicolgicas da Construo do conhecimento 92 Qualidade em educao 93 Famlia e escola 1995 94 Avaliao: novos paradigmas 95 AEC 50 anos educao: compromisso social 96 Planejamento participativo como metodologia libertadora 97 O Currculo para alm das grades 1996 98 Leituras do mundo: olhando a realidade em busca de caminhos 99 Educao e informtica: treinamento ou criao 100 Neoliberalismo e educao 101 Matrias escolares: histria e sentidos 1997 102 Epistemologia e Educao 103 Disciplina e Liberdade 104 O Papel Poltico Social do Professor 105 Educao Libertadora Participando da Luta Social 1998 106 Paulo Freire 107 Para onde vai a escola? 108 Um balano educacional brasileiro 109 Foras mobilizadoras na Educao 1999 110 Paixo e Educao 111 E Agora 2000? 112 Comunicao e Educao: Pontos e Contrapontos 113 O Lugar do Ensino Mdio na Educao Bsica
166
2000 114 Senhor e Escravo: Uma Metfora para a Educao 115 Formao dos Profissionais da Mltiplos Olhares 116 Ensinar e Aprender: os lugares do aluno 117 Cotidiano e escola: razes para fazer e para sonhar 2001 118 Educao: Crise e Sentido 119 Pedaggico e Administrativo: Conflitos e Alternativas 120 Trinta Anos! 121 Prtica Docente: Desafios e Esperanas 2002 122 Um Paradigma para a Escola do Sculo XXI!?... 123 Um Paradigma para a Escola do Sculo XXI!?... Dimenso Epistemolgica 124 Um Paradigma para a Escola do Sculo XXI!?... Dimenso Poltica 125 Um Paradigma para a Escola do Sculo XXI!?... Dimenso tica 2003 126 Linguagem e Constituio da Identidade - Prticas Pedaggicas, Cultura e Linguagens 127 Linguagem e Constituio da Identidade - A lngua e a aprendizagem 128 Prticas Pedaggicas e Prticas de Linguagem Prticas pedaggicas, cultura e linguagens 129 Linguagem, Cultura e Gesto Prticas Pedaggicas, Cultura e Linguagens 2004 130 Processos Pedaggicos para uma tica Planetria 131 Processos Pedaggicos: Desafios do Cotidiano Escolar 132 Planejamento no Cotidiano da Escolar 133 Possibilidades Metodolgicas na Escola e a Pesquisa como Prtica de Educao 2005 134 Des-construir e Re-construir 135 Re-construir para Transformar 136 Ensino Religioso / Reconstruir para Transcender 137 Incluso e Excluso 2006 138 Educao e Religiosidade 139 Aspectos do cotidiano escolar 140 A atualidade do comeo 141 Cultura e cotidiano: sentidos das prticas escolares 2007 142 Olhando o caleidoscpio: a escola em movimento 143 Uma prxis de educao indita vivel: referenciando Paulo Freire
167
144 Gesto escolar, processo em movimento 145 O cotidiano que faz diferena na escola 2008 146 Tenses, rupturas e possibilidades no processo da docncia 147 A construo social do sujeito: Dos castigos corporais ao projeto poltico pedaggico 148 Avaliando a avaliao: Velhas e novas questes 149 Mudana ou permanncia: Para onde, vai a escola? 2009 150 A Avaliao Qualifica a Educao?
168

Avaliação Sumativa Ana Lúcia de Souza Freitas

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Avaliação Sumativa Ana Lúcia de Souza Freitas

Uploaded by

Copyright:

Available Formats

A Avaliao Qualifica a Educao?

Publicao Trimestral Associao Nacional de Educao Catlica do Brasil

Associao Nacional de Educao Catlica do Brasil

A Avaliao Qualifica a Educao?

Braslia, n. 150, ano 38, jan./jun. 2009

Revista de Educao ANEC

Editorao Eletrnica, Reviso, Impresso e Acabamento

Revista de Educao, Braslia n. 150, a. 38, jan./jun. 2009

EDUCAO SUPERIOR E AVALIAO: O DESAFIO DA INCLUSO COM QUALIDADE

Maria Isabel da Cunha* e Marialva Moog Pinto**

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Ensinar e Aprender com a Metodologia Syllabus

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Aprendizagens por Meio da Avaliao Formativa

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

AVALIAO DO DESEMPENHO EM TECNOLOGIAS DE UNIVERSITRIOS EM FUNO DA MODALIDADE DE ENSINO

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Modalidade de ensino Curso

*p significativo; gl= grau de liberdade.

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

AVALIAO: RAZO INSTRUMENTAL, RAZO CRTICA E SUBJETIVIDADE

Maria Luiza Andreozzi*

As contradies no discurso do ENEM

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Srgio Roberto Kieling Franco*

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Caractersticas da formao andraggica

As faixas etrias constituem-se por: Tabela 2 - Faixa etria dos entrevistados

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Tabela 3 Descreva sua vida escolar

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Tabela 6 Para voc, como se desenvolve o processo de aprender?

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Ligao jurdica de um clrigo a uma Diocese ou Igreja em particular.

REPRESENTAES DOCENTES SOBRE O PROCESSO ENSINO-APRENDIZAGEM DE ALUNOS DO ENSINO MDIO

Heron Laiber Bonadiman*

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009

Revista de Educao, Braslia n. 150, ano 38, jan./jun. 2009