Revista Electrnica de Enseanza de las Ciencias Vol.

9, N 2, 418-434 (2010)

Avaliar a avaliao: um estudo efectuado com testes do 6. ano de escolaridade de Cincias da Natureza
Cludia Rodrigues e Jos Precioso
Instituto de Educao, Universidade do Minho, Braga, Portugal. E-mails: claudia79@iol.pt; precioso@iep.uminho.pt

Resumo: Vrios autores afirmam que os testes constituem o instrumento dominante e, por vezes, quase exclusivo da avaliao dos alunos. fundamental que os professores elaborem estes instrumentos com qualidade, pois da sua aplicao depende, muitas vezes, a classificao atribuda aos alunos e, consequentemente, o seu futuro. Foi a importncia dos testes, como instrumento (ainda) privilegiado no processo de avaliao, que nos levou a desenvolver esta investigao. Objectivos: 1) Determinar se os testes elaborados pelos professores so construdos de forma a avaliar as competncias especficas para a literacia cientfica; 2) Determinar se os testes avaliam a consecuo dos objectivos educacionais propostos na taxonomia de Bloom. Metodologia: Por um processo de amostragem de convenincia, recolhemos uma amostra de 24 fichas de avaliao sumativa relativas unidade programtica Reproduo humana e crescimento e fizemos uma anlise de contedo. Resultados: Os dados do estudo revelam que a maior percentagem (90%) das questes dos testes se situa na categoria das competncias do saber substantivo; 90% do conjunto das questes dos testes situam-se nos domnios do conhecimento (50%) e da compreenso (40%). Concluso: as prticas avaliativas quase se reduzem, a meros exerccios de recordao. necessrio melhorar o processo de formao de professores em avaliao. Palavras-chave: avaliao, educao em cincias, educao. Title: Evaluating the evaluation: a study done on 6th grade Natural Sciences written tests Abstract: Several authors say that tests are the main, and sometimes the sole mean of evaluating students. If these instruments are frequently used during the evaluation process, it is essential that the teachers formulate them with technical quality, as on its application often depends the students obtained grade and, consequently, their future. It was the importance of tests as a privileged tool in the evaluation process and the chance to know its quality that took us to develop this thesis. Objectives:1) To conclude if the teacher-formulated tests evaluate the specific skills required for scientific literacy; 2) To conclude whether those tests evaluate the achievement of the educational goals proposed by Blooms taxonomy. Methods: Recurring to a process of convenience showing, we used a sample of 24 summative evaluation sheets concerning the Human Reproduction and growth unit and did a content analysis. Results: The data shows that the largest percentage (90%) of items contained in the tests refer to substantive knowledge skills. Items that evaluate other skills are almost

418

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

non-existent in the tests; 90% of all of the tests questions concern the domains of knowledge (50%) and understanding (40%). Conclusion, the evaluation practices are often reduced to mere memory exercises. Keywords: evaluation, science education, education. Introduo A Reorganizao Curricular de Ensino Bsico introduziu vrias modificaes no sistema de ensino em Portugal. Todas estas alteraes apontam no sentido de estabelecer como misso principal do professor e da escola, no o ensino de contedos disciplinares, mas sim o desenvolvimento das competncias pessoais (Machado, 2002, in Perrenoud et al, 2002, p.137). Entendido, pelo Currculo Nacional do saber em aco ou saber em uso, o conhecimentos, capacidades, atitudes mobilizao racional do saber com vista do dia-a-dia (DGEB, 2001). Ensino Bsico de 2001, como um conceito de competncia integra e valores, e exprime-se numa resoluo de problemas comuns

Segundo Allessandrini (in Perrenoud et al, 2002, p. 164), o termo competncia significa capacidade de compreender uma determinada situao e reagir adequadamente frente a ela. O termo competncia no se refere a contedos acumulados com os quais no sabemos fazer qualquer operao mental ou resolver qualquer situao, nem pensar com eles (Roldo, 2003, p. 20). Pelo contrrio, trata-se da seleco, mobilizao (intelectual, verbal ou prtica) e adequao de um saber significativo a uma determinada situao prtica, ou, como diz Le Boterf in Pires (2005, p. 294), de um saber-agir, que se baseia em saber-integrar e saber-transferir recursos to diversos como conhecimentos, capacidades, atitudes, etc.. Roldo (2003), partindo da expresso de Perrenoud (1995) saber em uso, define competncia como um saber que se traduz na capacidade efectiva de utilizao e manejo intelectual, verbal ou prtico. O termo competncia, apesar de ter sido recentemente introduzido no sistema educativo portugus, no constitui uma novidade, pois j nos anos 70 surgia associado a skill. A novidade reside na sua referncia e valorizao no Currculo Nacional, de 2001, como estratgia de resposta s exigncias actuais de uma sociedade em constante desenvolvimento e transformao e a um mercado de trabalho altamente concorrido e competitivo, ao qual acedem os cidados com mais habilitaes literrias e, obviamente, mais competentes (DGEB, 2001). O documento referido anteriormente engloba as competncias num grande conjunto que designa por competncias essenciais, na medida em que so indispensveis ao crescimento do aluno como indivduo crtico, autnomo, reflexivo e social, que necessita de integrar uma sociedade em constante transformao e evoluo (DGEB, 2001). Estas competncias essenciais englobam dez competncias gerais, que os alunos devero desenvolver ao longo do ensino bsico em todas as reas

419

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

curriculares disciplinares e no disciplinares, e competncias especficas a desenvolver por cada uma dessas reas, ao longo dos trs ciclos do ensino bsico em todas as reas curriculares e as de carcter especfico, caractersticas de cada uma dessas reas (disciplinares e no disciplinares) (Figura 1).

Competncias essenciais

Gerais (comuns a todas as reas)

Especficas (especficas de cada uma das reas)

Figura 1.- Organizao das competncias essenciais.

As dez competncias gerais (comuns a todas as reas de ensino) a alcanar no final da educao bsica so as seguintes: Mobilizar saberes culturais, cientficos e tecnolgicos para compreender a realidade e abordar situaes e problemas do quotidiano; Usar adequadamente linguagens das diferentes reas do saber cultural, cientfico e tecnolgico, para se expressar; Usar correctamente a lngua portuguesa para comunicar de forma adequada e para estruturar pensamento prprio; Usar lnguas estrangeiras para comunicar adequadamente em situaes do quotidiano e para apropriao de informao; Adoptar metodologias personalizadas de trabalho e de aprendizagem adequadas a objectivos visados; Pesquisar, seleccionar e organizar informao para transformar em conhecimento mobilizvel; Adoptar estratgias adequadas resoluo de problemas e tomada de decises; Realizar actividades de forma autnoma, responsvel e criativa; Cooperar com os outros em tarefas e projectos comuns; Relacionar harmoniosamente o corpo com o espao, numa perspectiva pessoal e interpessoal promotora da sade e da qualidade de vida (extrado de Currculo Nacional do Ensino Bsico, 2001). O currculo nacional sugere, para cada uma destas competncias gerais, os procedimentos a adoptar para uma operacionalizao transversal, as aces a desenvolver por cada professor e d a indicao de que a operacionalizao especfica ser feita na perspectiva de cada disciplina ou rea curricular, tendo em conta os saberes, procedimentos, instrumentos e

420

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

tcnicas essenciais de cada rea do saber e visando o desenvolvimento pelo aluno destas competncias. As competncias essenciais especficas so caractersticas de uma determinada rea curricular (disciplinar ou no disciplinar). Naturalmente que, atendendo aos objectivos deste estudo, teremos de centrar a nossa anlise no Currculo Nacional das Cincias Fsicas e Naturais. Este currculo define as competncias essenciais especficas a desenvolver ao longo do ensino bsico, nas disciplinas de Estudo do Meio (1. ciclo), Cincias da Natureza (2. ciclo) e Cincias Naturais e Cincias Fsico-Qumicas (3. ciclo) organizadas em quatro temas gerais (Terra no Espao, Terra em transformao, Sustentabilidade na Terra e Viver melhor na Terra). O currculo supracitado preconiza o desenvolvimento de competncias especficas para a literacia cientfica nos seus diferentes domnios: conhecimento (substantivo, processual e epistemolgico), raciocnio, comunicao e atitudes, caracterizados do seguinte modo: Conhecimento substantivo - sugere-se a anlise e discusso de evidncias, situaes problemticas, que permitam ao aluno adquirir conhecimento cientfico apropriado, de modo a interpretar e compreender leis e modelos cientficos, reconhecendo as limitaes da Cincia e da Tecnologia na resoluo de problemas, pessoais, sociais e ambientais. Conhecimento processual - pode ser vivenciado atravs da realizao de pesquisa bibliogrfica, observao, execuo de experincias, individualmente ou em equipa, avaliao dos resultados obtidos, planeamento e realizao de investigaes, elaborao e interpretao de representaes grficas onde os alunos utilizem dados estatsticos e matemticos. Conhecimento epistemolgico - prope-se a anlise e debate de relatos de descobertas cientficas, nos quais se evidenciem xitos e fracassos, persistncia e modos de trabalho de diferentes cientistas, influncias da sociedade sobre a Cincia, possibilitando ao aluno confrontar, por um lado, as explicaes cientficas com as do senso comum, por outro, a cincia, a arte e a religio. Raciocnio - sugerem-se, sempre que possvel, situaes de aprendizagem centradas na resoluo de problemas, com interpretao de dados, formulao de problemas e de hipteses, planeamento de investigaes, previso e avaliao de resultados, estabelecimento de comparaes, realizao de inferncias, generalizao e deduo. Tais situaes devem promover o pensamento de uma forma criativa e crtica, relacionando evidncias e explicaes, confrontando diferentes perspectivas de interpretao cientfica, construindo e /ou analisando situaes alternativas que exijam a proposta e a utilizao de estratgias cognitivas diversificadas. Comunicao - propem-se experincias educativas que incluem uso da linguagem cientfica, mediante a interpretao de fontes de informao diversas com distino entre o essencial e o acessrio, a utilizao de modos diferentes de representar essa informao, a vivncia de situaes de debate que permitam o desenvolvimento das capacidades de exposio de ideias, defesa e argumentao, o poder de anlise e de sntese e a

421

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

produo de textos escritos e/ou orais onde se evidencie a estrutura lgica do texto em funo da abordagem do assunto. Sugere-se que estas experincias educativas contemplem tambm a cooperao na partilha de informao, a apresentao dos resultados de pesquisa, utilizando, para o efeito, meios diversos, incluindo as novas tecnologias de informao e comunicao. Atitudes - apela-se para a implementao de experincias educativas onde o aluno desenvolva atitudes inerentes ao trabalho em Cincia, como sejam a curiosidade, a perseverana e a seriedade no trabalho, respeitando e questionando os resultados obtidos, a reflexo crtica sobre o trabalho efectuado, a flexibilidade para aceitar o erro e a incerteza, a reformulao do seu trabalho, o desenvolvimento do sentido esttico, de modo a apreciar a beleza dos objectos e dos fenmenos fsico-naturais, respeitando a tica e a sensibilidade para trabalhar em Cincia, avaliando o seu impacte na sociedade e no ambiente (Currculo Nacional do Ensino Bsico, 2001). A taxonomia de Bloom Foram vrios os estudiosos dos problemas de desenvolvimento humano, da aprendizagem e da educao que conceberam sistemas de classificao do desenvolvimento cognitivo, afectivo ou psicomotor sendo a taxonomia de (Bloom, 1956) uma das mais conhecidas. Na perspectiva da taxonomia de Bloom, o domnio cognitivo refere-se essencialmente a actividades de natureza intelectual ou racional; o domnio scio-afectivo diz respeito a interesses e atitudes; no domnio psicomotor so englobados aspectos de coordenao e destreza motora (mais adequados a aulas prticas do que tericas). Liderado por Benjamim S. Bloom, o trabalho de caracterizao e hierarquizao de actividades mentais do domnio cognitivo, foi concludo em 1956, e normalmente referenciado como Blooms Taxonomy of Cognitive Domain. No que ao domnio cognitivo diz respeito, esta taxonomia descreve uma sequncia de operaes mentais de grau de abstraco cada vez mais elevado agrupados em seis nveis de aprendizagem. Estes seis nveis no representam compartimentos estanques, pois difcil determinar exactamente a fronteira entre actividades cognitivas de nveis sucessivos. Na realidade representam um continuum e so eles, por ordem crescente de complexidade: o conhecimento ou memorizao, a compreenso, a aplicao, a anlise, a sntese e a avaliao. O nvel de conhecimento caracterizado pela capacidade de recordar factos especficos ou gerais, mtodos e processos, esquemas, estruturas, etc. O nvel que se segue ao do conhecimento, em termos evolutivos de raciocnio, o da compreenso j que o que caracteriza esta categoria a capacidade de perceber o significado do que foi aprendido. O nvel da aplicao diz respeito ao uso de conhecimentos gerais e abstractos na interpretao de novas situaes e na resoluo de questes particulares e concretas algo diferentes das j aprendidas.

422

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

A anlise a categoria que pressupe que o aluno divida o todo nas partes que o constituem e encontre relaes entre essas partes e entre as partes e o todo para, assim, compreender a sua estrutura organizativa. Segue-se a sntese que se define como o processo que consiste na agregao criativa de diversos elementos a um todo. Finalmente, o ltimo e mais complexo nvel cognitivo da taxonomia de Bloom respeita a avaliao que consiste na emisso de juzos de valor. A ideia central da taxonomia a de que aquilo que os professores querem que os alunos saibam pode ser organizado numa hierarquia de nveis sucessivos de complexidade. Ainda que constituindo objecto de crtica, por no se tratar de um instrumento perfeito de classificao, a sua correcta utilizao faz da taxonomia um valioso instrumento de reflexo sobre o processo de ensino-aprendizagem, por fornecer pontos de referncia teis aos professores e constituir pistas potenciais de desenvolvimento para os alunos (Ribeiro, 1999, p. 52). O professor, pela autonomia que lhe dada para seleccionar contedos e formular objectivos, dever ter presente, no momento da planificao da aula, as competncias gerais e especficas a desenvolver, os objectivos educacionais e as caractersticas da turma, de modo a criar situaes que ajudem a desenvolver, se possvel, todos os nveis do domnio cognitivo. Do mesmo modo, durante a concepo das fichas de avaliao, o professor dever ter a preocupao de integrar no teste questes de diferentes graus de complexidade e, portanto, questes que aludam ao conhecimento, outras compreenso, aplicao, anlise, sntese e avaliao. A avaliao escolar A avaliao o aspecto mais complexo e controverso das prticas pedaggicas (Jordo, in Leite, 1995, p. 59), sobretudo quando se tenta avaliar algo que naturalmente complexo, multifacetado o comportamento humano (Corteso & Torres, 1994, p. 158). Entendida pelo Despacho Normativo n. 1/2005 (despacho que institui o mais recente sistema de avaliao dos alunos do ensino bsico) como um instrumento regulador das aprendizagens, orientador do percurso escolar [funes de diagnstico e formativa] e certificador das diversas aquisies realizadas pelo aluno ao longo do ensino bsico [funo sumativa], a avaliao indissocivel do processo de ensino e aprendizagem, possibilitando a recolha sistemtica de informaes que () apoiam a tomada de decises adequadas promoo da qualidade das aprendizagens. Esta noo (diferente da noo de classificao, com a qual , por vezes, confundida) perfilhada por numerosos autores que vem a avaliao como um importante recurso aprendizagem do aluno. para o aperfeioamento do ensino e da

Tradicionalmente, a avaliao escolar assumia uma funo essencialmente sumativa, na medida em que classificava, certificava competncias e seleccionava alunos (Valadares e Graa, 1998).

423

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

Actualmente, o despacho supracitado confere avaliao as funes de interpretao, reflexo, informao e deciso dos processos de ensino aprendizagem, de forma a melhorar a formao dos alunos. Ainda que estas funes geralmente se fundam e confundam, os normativos organizam-nas em trs modalidades, em funo do momento recomendado para a sua ocorrncia, tal como nos apresenta o quadro 1.
MOMENTO RECOMENDADO PARA A SUA OCORRNCIA Em qualquer altura, com incidncia no incio do ano lectivo.

MODALIDADES

FUNES Determinar o nvel inicial de um dado processo didctico; Planificar, definir e reformular estratgias pedaggicas. Recolher sistemtica e continuadamente informaes para regular o processo de ensinoaprendizagem; Explorar e gerir pedagogicamente os erros; Corrigir erros cometidos durante o processo de ensino aprendizagem e/ou agir preventivamente. Promover a auto-reflexo. Classificar os instrumentos de avaliao; Ajuizar o desenvolvimento das aprendizagens e competncias; Certificar e decidir sobre a progresso ou reteno.

Diagnstica

Formativa

Ao longo do ano lectivo.

Sumativa

Sobretudo a meio, nos finais de cada perodo, e no final de ano lectivo e/ou ciclo.

Quadro 1.- Tipos de avaliao: funes e timing.

Destas trs modalidades de avaliao, centrar-nos-emos na avaliao sumativa, j que o que nos interessa nesta investigao essencialmente averiguar em que medida as fichas de avaliao sumativa (vulgo testes) contemplam as competncias consideradas fundamentais para a formao de um cidado adaptado e interveniente numa sociedade em constante transformao e, por conseguinte, necessariamente crtico, autnomo, activo e reflexivo. A avaliao de competncias Conforme foi dito anteriormente, as exigncias educativas actuais visam o desenvolvimento de competncias essenciais (transversais) e especficas devidamente organizadas por reas disciplinares e, dentro destas, por blocos temticos, na publicao - Currculo Nacional do Ensino Bsico (DGEB, 2001). Apesar de recomendar algumas metodologias e estratgias a adoptar no desenvolvimento dessas competncias, a referida publicao no contempla, contudo, o processo de avaliao das competncias e, consequentemente, os instrumentos a utilizar.

424

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

Existe uma vasta gama de instrumentos que os professores utilizam na avaliao dos seus alunos, designadamente: relatrios, portfolios, grelhas de observao, listas de verificao, questionrios, entrevistas, registos de incidentes crticos, entre outros. Apesar desta vasta gama de instrumentos de avaliao a utilizao dos testes ainda predomina sobre todos os outros instrumentos (Pais & Monteiro, 2002). A fama da utilizao dos testes como quase nico e exclusivo instrumento formal de avaliao generalizou-se, tal como constatam Valadares e Graa (1998) quando afirmam que o teste constitui o instrumento dominante e, por vezes quase exclusivo, da avaliao dos alunos (Valadares & Graa, 1998, p. 69). Se os testes so determinantes no processo de avaliao, ento fundamental que os professores os elaborem com qualidade tcnica, pois da sua aplicao depende, muitas vezes, a classificao atribuda aos alunos e, consequentemente, o seu futuro. A primeira fase do processo de avaliao consiste na planificao da avaliao. Esta ocorre simultaneamente planificao do processo de ensino-aprendizagem. Na planificao das actividades lectivas, destaca-se a importncia da definio dos objectivos que, segundo Valadares e Graa (1998), servem para orientar o processo educativo, sugerir estratgias de aprendizagem, e para comunicar as intenes do ensino aos alunos, pais dos alunos e outros intervenientes na escola e no processo educativo (Valadares & Graa,1998, p. 203). Nesta perspectiva, a definio de objectivos desempenha um importante papel em qualquer processo de ensino-aprendizagem, pois clarifica o que se pretende que os alunos aprendam e ajudam a preparar o processo de avaliao, ou seja, contribuem a construo/seleco dos instrumentos e das tcnicas a utilizar no processo de avaliao das aprendizagens. A operacionalizao dos objectivos dever partir da anlise das competncias presentes nas orientaes curriculares, da anlise do programa disciplinar, ter em conta os contextos escola e da turma em que decorrer o processo ensino-aprendizagem. Depois desta anlise global, estamos em condies de definir objectivos de aprendizagem. Devemos evitar a produo de grandes listagens de objectivos comportamentais e formular os objectivos em termos de capacidades, habilidades ou resultados de aprendizagem avaliveis o mais objectivamente que for possvel, sem cairmos na simplificao descabida ou na banalizao nefasta (Valadares & Graa, 1998). Sempre que possvel, devemos formular objectivos dos diferentes nveis de cognio, como sugere a taxonomia de Benjamim Bloom (Valadares & Graa, 1998). As fichas de avaliao devero, portanto, contemplar as competncias que se definiram como prioritrias relativamente a determinado contedo programtico, que, simultaneamente, fomentem o exerccio de operaes com diferentes graus de exigncia cognitiva. Segundo Cardoso (in Estrela & Nvoa, 1999), se os testes () so preparados para avaliar () o que ensinado e o que aprendido, ento ser possvel inferir, via observao dos testes efectivamente aplicados, os objectivos que efectivamente guiaram os professores e alunos. Com base nestes pressupostos, considermos pertinente proceder sua anlise, ou

425

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

seja, averiguar se os testes elaborados pelos professores avaliam as competncias especficas para a literacia cientfica e a consecuo dos objectivos educacionais de Bloom, a ponto de assegurar o cumprimento de um dos princpios gerais da educao formar cidados capazes de julgarem com esprito crtico e criativo o meio social em que integram e de se empenharem na sua transformao progressiva (LBSE, art. 2, ponto 5). Objectivos do estudo Determinar se os testes elaborados pelos professores esto construdos de forma avaliar as competncias especficas para a literacia cientfica, preconizadas pelo Currculo das Cincias Fsicas e Naturais nos seus diferentes domnios; Determinar se os testes elaborados pelos professores avaliam a consecuo dos objectivos educacionais propostos pela taxonomia de Bloom. Metodologia Amostra A amostra constituda por um conjunto de 24 testes de avaliao sumativa relativos unidade programtica Reproduo humana e crescimento, do 6 ano de escolaridade, aplicados em Escolas de Vila Nova de Gaia e do Porto. A seleco dos testes foi realizada com base num sistema de amostragem do tipo no probabilstico, e de convenincia (tambm conhecida como amostragem no intencional ou acidental). Recolhida e seleccionada a amostra de testes, foi feita uma anlise de contedo, tendo esta consistido no seguinte: 1) elaborao de grelhas de anlise constitudas por tabelas de duas entradas. Na primeira coluna foram colocados os nmeros dos testes e nas restantes as competncias para a literacia cientfica (conhecimento substantivo, conhecimento processual e conhecimento epistemolgico, raciocnio, comunicao e atitudes). Na segunda grelha, as colunas tinham os objectivos da categoria taxonmica de Bloom (conhecimento, compreenso, aplicao, anlise, sntese e avaliao); 2) atribuio, aleatria, a cada um dos testes, de uma letra do alfabeto, anlise individual das questes de cada um e registo, em cada categoria das grelhas, das questes dos testes que nela se enquadram; 3) determinao da prevalncia absoluta e relativa de cada categoria. A categorizao das questes/itens dos testes no pode ser assumida como rigorosa e inflexvel, nem to pouco constituiu uma tarefa fcil, na medida em que desconhecemos o contexto em que tero decorrido as aulas e, consequentemente, o grau de profundidade com que cada sub-tema foi explorado. O desconhecimento do tipo de abordagem com que um determinado sub-tema foi abordado, poder conduzir-nos incorrecta classificao de um item. A figura 1 apresenta uma questo de um dos testes. A categorizao deste item, tal como aconteceu com alguns outros, constituiu um enorme desafio. Se o professor no tiver leccionado este

426

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

tpico, a questo podia ser considerada de raciocnio e colocada na grelha de competncias, na coluna respectiva s competncias de raciocnio. Se o professor tivesse explicado este tema, a questo podia ser colocada na coluna do saber substantivo (grelha questo/competncias). Na segunda grelha, (grelha questo/objectivos), se o professor tivesse leccionado o tema da formao dos gmeos, este item podia ser colocado na coluna de compreenso ou quando muito aplicao (na grelha de objectivos da taxonomia de Bloom); se no tivesse desenvolvido este tema podia ser colocada na coluna dos objectivos de anlise.

Figura 2.- Questo colocada num dos testes da amostra.

Resultados Composio dos testes relativamente avaliao das competncias para a literacia cientfica Pela anlise do anexo 1, podemos constatar que das 365 questes (correspondentes ao somatrio do nmero de questes de todos os testes): 332 so de conhecimento substantivo; 0 de conhecimento processual; 1 de conhecimento epistemolgico; 12 de raciocnio; 20 de comunicao e 0 de atitudes. So exemplos de questes do domnio do conhecimento substantivo presentes nos testes avaliados, as seguintes: Faz a legenda das figuras 1 e 2 (sistemas reprodutores feminino e masculino); Qual o rgo comum ao sistema reprodutor masculino e ao sistema excretor?; Diz como se designa este processo (ovulao); Ordena as frases de modo a obteres a sequncia das etapas do parto. Constituem exemplos de questes de raciocnio, as seguintes: Relaciona fecundao com menstruao; Por que razo se aconselha a mulher grvida a praticar exerccios fsicos?; A Senhora Berta teve dois gmeos, uma menina e um menino. Sero gmeos verdadeiros ou falsos? Justifica a resposta; Comenta a seguinte afirmao: Mesmo antes de nascer a Me j deve tomar conta do seu beb.

427

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

Um exemplo de questo que visa avaliar as competncias de comunicao colocada nos testes a seguinte: Procura descrever como que, a partir de uma clula apenas, ns nos tornamos seres constitudos por milhes e milhes de clulas. Conforme podemos constatar no grfico 1, 90,96% das 332 pertencem ao domnio da competncia do conhecimento substantivo, o que significa que a quase totalidades das questes dos testes tm como objectivo avaliar os alunos quanto aquisio de saberes cientficos e interpretao de conceitos e leis. A promoo de conhecimentos processuais (planificar e realizar trabalho experimental), de conhecimentos epistemolgicos (questionar a Cincia), do raciocnio, da comunicao e das atitudes pouco significativa, correspondendo, respectivamente, a 0,00%, 0,27%, 3,29%, 5,48% e 0,00%, como o grfico 1 evidencia claramente:
raciocnio 5,48% atitudes 0,00%

conhecimento epistemolgico 0,27%

comunicao 3,29%

conhecimento processual 0,00% conhecimento substantivo 90,96%

Grfico 1.- Percentagem de questes (itens) da amostra dos testes, por competncias especficas para o ensino das cincias.

Composio dos testes quanto aos objectivos educacionais da taxonomia de Bloom Analisando o anexo 2, podemos constatar que do total de questes presentes nos testes: 191 so de conhecimento; 146 so de compreenso; 5 so de aplicao; 2 so de anlise; 20 so de sntese; 1 de avaliao. So exemplos de questes do domnio do conhecimento, as seguintes: D dois exemplos de doenas sexualmente transmissveis; Das afirmaes anteriores, indica as que dizem respeito: a) A caracteres sexuais primrios; b) A caracteres sexuais secundrios do homem; c) A caracteres sexuais secundrios na mulher. Seguem-se exemplos de questes do domnio da compreenso: Faz a correspondncia entre os termos da coluna A e as expresses da coluna B. (rgos dos sistemas reprodutores e respectivas funes); Relaciona fecundao com a menstruao.; Durante a gravidez a me no deve fumar, consumir bebidas alcolicas nem deve tomar drogas. Justifica esta

428

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

afirmao.; Explica para que serve o cordo umbilical.; Explica o que entendes por doenas sexualmente transmissveis.; As vesculas seminais e a prstata produzem lquidos muito importantes aos espermatozides. Para que servem esses lquidos?; Indica qual o trajecto do espermatozide at encontrar o vulo (coloca o nmero dos rgos por ordem, nos quadrados). Entre as questes do domnio da aplicao, destacamos as seguintes: Supondo que o espermatozide representado no esquema A, era portador do cromossoma Y. Qual ser o sexo dos bebs?; Indica quais as figuras que representam comportamentos de risco de transmisso da Sida. Como exemplos de questes do domnio da anlise, seleccionamos as seguintes: Indica duas diferenas entre eles. (gmetas). So exemplos de questes do domnio da sntese, as seguintes: Explica qual a importncia da reproduo para o ser humano.; Explica a diferena entre a formao dos gmeos verdadeiros e dos gmeos falsos.; Com base no quadro, indica o nutriente que deve ser aumentado durante o aleitamento. Justifica a resposta. So exemplos de questes do domnio da avaliao, as seguintes: Comenta a seguinte afirmao: Mesmo antes de nascer a me j deve tomar conta do seu beb. Em termos percentuais, 52,33% (191), das questes presentes nos testes so do domnio do conhecimento, o que significa que mais de metade das questes dos testes tm como objectivo avaliar os alunos quanto aquisio de saberes cientficos. Os testes so igualmente concebidos para avaliar a compreenso de fenmenos, conceitos e leis. Podemos ver pela anlise do grfico 2, que 40,00% das questes correspondem ao domnio da compreenso. A avaliao da aplicao dos conhecimentos em novas situaes, da anlise, sntese e avaliao pouco significativa, correspondendo, respectivamente, a 1,37%, 0,55%, 5,48% e 0,27%, das questes presentes no conjunto dos testes, como o grfico 2 evidencia.
anlise 0,55% aplicao 1,37% sntese 5,48% avaliao 0,27%

compreenso 40,00%

conhecimento 52,33%

Grfico 2.- Percentagem de questes (itens) da amostra dos testes, por objectivos do domnio cognitivo, segundo a taxonomia de Bloom.

429

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

Concluses/implicaes A partir deste estudo no podem ser feitas generalizaes sobre as prticas avaliativas a nvel nacional (sobretudo sobre a qualidade dos testes), e no podem ser feitas inferncias sobre os testes de outras matrias e disciplinas. Apesar das dificuldades de generalizao, os resultados deste estudo parecem demonstrar que os testes de avaliao apresentam uma clara predominncia de questes que visam avaliar o conhecimento substantivo, sendo raras as perguntas que avaliam as restantes competncias. No so colocadas questes relacionadas com o saber processual e epistemolgico, e de raciocnio. Podemos admitir, que questionar a Cincia e avaliar atitudes so desempenhos que os professores que realizaram os testes da amostra, ainda no introduziram nas suas prticas avaliativas. Apesar dos normativos em vigor defenderem um ensino centrado no desenvolvimento de competncias (mobilizao dos saberes para as situaes concretas da vida real), o certo que, a anlise das prticas avaliativas permite inferir que os professores no atendem ao desenvolvimento e avaliao de algumas importantes competncias, como o conhecimento processual e o raciocnio. Predominam questes dos domnios do conhecimento e da compreenso, sendo bastante inferior a prevalncia de questes relacionadas com a consecuo de objectivos de domnios cognitivos mais elevados. Da anlise dos testes da amostra utilizada neste estudo, podemos igualmente admitir que os professores de Cincias da Natureza continuam a privilegiar os aspectos reprodutores, e menos o esprito crtico (Pacheco, 1994, p. 68), deixando quase cair no esquecimento, exerccios que requerem a aplicao de conhecimentos em diferentes situaes, anlise, sntese e avaliao/reflexo, isto , que envolvem operaes mentais de grau de abstraco superior. A maioria das questes colocadas nos testes revela uma preocupao com a consecuo de objectivos de baixo nvel cognitivo (conhecimento), deixando, para um plano secundrio, a compreenso dos assuntos, e ainda para mais longe, as preocupaes com objectivos situados em nveis superiores como a anlise, a sntese e a avaliao. Estes dados revelam que os testes e as prticas avaliativas se reduzem muitas vezes a meros exerccios de recordao ou memorizao (at porque a categoria conhecimento tambm designada por memorizao) e de compreenso de conceitos (compreenso), sem a exigncia de os aplicar em diferentes contextos (aplicao) de analisar a sua organizao, elementos e relaes (anlise), de colocar hipteses, reflectir, planear (sntese) e de criticar e avaliar o conhecimento (avaliao). Por outro lado, os testes avaliam tpicos e objectivos, que na maioria dos casos, parecem no ter interesse para a vida dos alunos e esto fundamentalmente relacionadas com a memorizao de contedos. Prevse que aps a elaborao do teste, sero esquecidos, porque no tiveram para o aluno qualquer interesse prtico. Este factor poder constituir uma das causas do insucesso escolar. A aprendizagem de contedos desprovidos de significado, algumas vezes inteis para a vida, poder conduzir ao desinteresse e, logicamente, ao referido insucesso escolar.

430

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

Este trabalho parece fornecer dados que apoiam a tese do senso comum, que estamos a formar alunos, alguns dos quais com notas exemplares, mas incapazes de responder aos desafios que a sociedade lhes coloca. Os resultados deste estudo revelam, ainda, a importncia da formao inicial e contnua de professores, no que se refere avaliao. Defendemos a integrao da temtica das competncias e sua avaliao em qualquer nvel de formao: inicial, contnua e ps-graduada. Esta formao dever ser assumida como uma necessidade pois, como diz Jordo (in Leite, 1995, p. 62), sem um corpo docente sensibilizado, informado e motivado no h mudana possvel!. Sublinhamos que a avaliao deve ser integrada no plano de estudos dos cursos de formao de professores, pois os resultados permitem inferir que esta constitui uma profunda lacuna nas licenciaturas e ps-graduaes. Pretendemos com este trabalho encorajar os professores a analisarem criticamente os seus instrumentos de avaliao e a reformularem ou conceberem outro tipo de testes, que avaliem os conhecimentos adquiridos mas tambm a capacidade de resoluo de problemas, a criatividades, etc. Queremos, no entanto, deixar claro que a avaliao dos alunos no se deve materializar s em testes, porque estes instrumentos, por si s, no avaliam o aluno em todas as suas vertentes. Sublinhamos a necessidade de se utilizarem outros instrumentos de avaliao capazes de avaliar aspectos que se tornam difceis com a utilizao exclusiva dos testes. Compete ao professor definir estratgias, diversificar e ajustar diferentes instrumentos s caractersticas dos alunos com quem (re)constri o conhecimento e desenvolve atitudes e valores. Considerar e valorizar a participao do aluno, o seu interesse, esprito de iniciativa e autonomia, relacionamento com os outros e com os seus materiais, o trabalho de aula (elaborao de relatrios, de composies, de fichas de trabalho, autoavaliaes ) e de casa, a assiduidade e pontualidade, o seu sentido crtico e as suas atitudes, comportamentos, e mesmo reflexes: uma reflexo feita pelo aluno no final de um dia de trabalho e o seu registo no caderno pode ser rico de contedo (Pacheco & Moreira, in Leite et al, 1995, p. 39), so apenas alguns exemplos do universo de aspectos que devemos medir e que dificilmente podemos fazer com recurso a um teste. Assim, sugerimos que o professor desenvolva uma metodologia que envolva uma participao activa nas tarefas, isto , que trabalhe por projectos e problemas e que promova a realizao de portfolios, o que, segundo Freire (2006), consiste num instrumento que desenvolve inmeras competncias, desde a organizao de ideias, sistematizao, problematizao, argumentao e auto-reflexo e avaliao. Para alm dos portfolios, aconselhamos a que os professores se sirvam de grelhas de observao e registos de incidentes crticos para avaliar o empenho, interesse e desempenho dos alunos. Referncias bibliogrficas Bloom, B. (Ed.) (1956). Taxonomy of Educational Objectives: The Classification of Educational Goals. New York: David McKay Company, Inc.

431

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010)

Corteso, L. e M.A. Torres (1994). Avaliao pedaggica II. Mudana na escola, mudana na avaliao. Porto: Porto Editora. Direco Geral Ensino Bsico (DGEB) (2001). Currculo Nacional das Cincias Fsicas e Naturais de 2001. Competncias Essenciais do Ensino Bsico). Em: http://nautilus.fis.uc.pt/spf/DTE/pdfs/competencias essenciais_em_ciencias_fisicas_e_naturais.pdf Estrela, A. e A. Nvoa (Orgs.) (1999). Avaliaes em Educao: Novas perspectivas. Porto: Porto Editora. Freire, L. (2006). Portflios. Instrumentos que melhoram aprendizagens e o ensino. A Pgina da Educao, volume/n. 43, 43. as

LBSE - Lei n. 46/86, de 14 de Outubro (LBSE). Em: http://www.sg.minedu.pt/leis/lei_46_86.pdf Leite, C. (org.). (1995). Avaliar a avaliao. Porto: Edies Asa. Machado, N.J. (2002). Sobre a ideia de competncia. In P. Perrenoud et al, As competncias para ensinar no sculo XXI. Porto Alegre: Artmed. Pacheco, J. (1994). A avaliao dos alunos na perspectiva da reforma. Propostas de trabalho. Porto: Porto Editora. Perrenoud, P. (1999). Construir competncias virar as costas aos saberes? Ptio. Revista pedaggica (Brasil), 11, 1519. Em: http://www.unige.ch/fapse/SSE/teachers/perrenoud/php_main/php_1999/1 999_39.html. Perrenoud, P. (2002). O que fazer da ambiguidade dos programas escolares orientados para as competncias? Ptio. Revista pedaggica (Porto Alegre, Brasil), 23, 8-11. Em: http://www.unige.ch/fapse/SSE/teachers/perrenoud/php_main/php_2002/2 002_28.html. Pires, A. (2005). Educao e Formao ao Longo da Vida: Anlise Crtica dos Sistemas e Dispositivos de Reconhecimento e Validao de Aprendizagens e de Competncias. Textos Universitrios de Cincias Sociais e Humanas. Fundao Calouste Gulbenkian. Ribeiro, L. (1999). Avaliao da Aprendizagem. (7. ed.). Lisboa: Texto Editora. Roldo, M. (2003). Gesto do Currculo e Avaliao de Competncias. As questes dos professores. (1. ed.). Lisboa: Editorial Presena. Valadares, J. e M. Graa (1998). Avaliando aprendizagem. Lisboa: Editora Pltano Universitria. para melhorar a

432

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010) Anexo 1.- Frequncias absoluta e relativa dos itens dos testes, segundo os domnios das competncias para a literacia cientfica.
COMPETNCIAS TESTES
C. substantivo C. C. Raciocnio Comunicao Atitudes processual epistemolgico

% 14 18 24 13 14 14 10 15 13 16 12 16 12 14 11 17 17 17 9 16 10 7 14 9 100 90 96 100 88 100 86 100 100 89 86 89 100 74 79 81 85 94 90 94 100 78 100 90

F 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0,00

% 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

F 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0,27

% 0 0 0 0 0 0 0 0 0 0 7 0 0 0 0 0 0 0 0 0 0 0 0 0

F 0 1 0 0 1 0 1 0 0 2 0 0 0 1 2 1 1 1 0 0 0 1 0 0 12 3,29

% 0 5 0 0 6 0 7 0 0 11 0 0 0 5 14 5 5 6 0 0 0 11 0 0

F 0 1 1 0 1 0 1 0 0 0 1 2 0 3 1 3 2 0 1 1 0 1 0 1 20 5,48

% 0 5 4 0 6 0 7 0 0 0 7 11 0 16 7 14 10 0 10 6 0 11 0 10

F 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0,00

% 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

An= 14 Bn= 20 Cn= 25 Dn= 13 En= 16 Fn= 10 Gn=15 Hn=15 In= 13 Jn= 18 Kn=14 Ln= 18 Mn= 12 Nn= 19 On= 14 Pn= 21 Qn= 20 Rn=18 Sn=10 Tn=17 Un= 10 Vn=9 Xn= 14 Zn= 10 TOTAL n = 365 %

332 90,96

433

Revista Electrnica de Enseanza de las Ciencias Vol. 9, N 2, 418-434 (2010) Anexo 2.- Frequncias absolutas e relativas dos itens dos testes, segundo os objectivos educacionais da taxonomia de Bloom. OBJECTIVOS TESTES
Conhecimento Compreenso Aplicao Anlise Sntese Avaliao

F An= 14 Bn= 20 Cn= 25 Dn= 13 En= 16 F n= 10 G n=15 Hn=15 In= 13 Jn= 18 Kn=14 Ln= 18 Mn= 12 Nn= 19 On= 14 Pn= 21 Qn= 20 Rn=18 Sn=10 Tn=17 Un= 10 Vn=9 Xn= 14 Zn= 10 TOTAL n= 365 MDIA X 11 10 11 6 6 6 7 10 10 10 10 13 10 7 5 7 10 12 6 5 3 5 7 4 191 52,33

% 79 50 44 46 38 60 46 67 77 56 71 72 83 37 36 33 50 67 60 29 30 56 50 40

F 3 9 12 6 5 4 6 5 3 7 3 5 2 10 7 8 8 6 3 12 7 3 7 5 146 40,00

% 21 45 48 46 31 40 40 33 23 39 22 28 17 53 50 38 40 33 30 71 70 33 50 50

F 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 2 0 1 0 0 0 0 0 5 1,37

% 0 5 8 0 6 0 0 0 0 0 0 0 0 0 0 0 10 0 10 0 0 0 0 0

F 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 2 0,55

% 0 0 0 0 0 0 7 0 0 0 0 0 0 5 0 0 0 0 0 0 0 0 0 0

F 0 0 2 1 4 0 1 0 0 1 1 0 0 1 1 6 0 0 0 0 0 1 0 1 20 5,48

% 0 0 0 8 25 0 7 0 0 5 7 0 0 5 7 29 0 0 0 0 0 11 0 10

F 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0,2 7

% 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7 0 0 0 0 0 0 0 0 0

434