PISA: Programme for International Student Assessment - Programa Internacional de Avaliao de Alunos O que ?

O Pisa, sigla do Programme for International Student Assessment , que em portugus, foi traduzido como Programa Internacional de Avaliao de Alunos um programa internacional de avaliao comparada, aplicado a estudantes da 7 srie em diante, na faixa dos 15 anos, idade em que se pressupe o trmino da escolaridade bsica obrigatria na maioria dos pases. Esse programa desenvolvido e coordenado internacionalmente pela Organizao para Cooperao e Desenvolvimento Econmico (OCDE), havendo em cada pas participante uma coordenao nacional. No Brasil, o Pisa coordenado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep). As avaliaes do Pisa acontecem a cada trs anos e abrangem trs reas do conhecimento: Leitura, Matemtica e Cincias, havendo, a cada edio do programa, maior nfase em cada uma dessas reas. Em 2000, o foco era na Leitura; em 2003, Matemtica; e em 2006, Cincias. O Pisa 2009 inicia um novo ciclo do programa, com a nfase novamente recaindo sobre o domnio de Leitura; em 2012 a nfase ser Matemtica e em 2015, novamente Cincias. Para conhecer melhor o Pisa no mbito internacional, consulte: http://www.pisa.oecd.org Objetivos O objetivo principal do Pisa produzir indicadores que contribuam para a discusso da qualidade da educao ministrada nos pases participantes, de modo a subsidiar polticas de melhoria da educao. A avaliao procura verificar at que ponto as escolas de cada pas participante esto preparando seus jovens para exercerem o papel de cidados na sociedade contempornea. Alm de avaliar as competncias dos estudantes em Leitura, Matemtica e Cincias, o Pisa coleta informaes bsicas para a elaborao de indicadores contextuais, os quais possibilitam relacionar o desempenho dos alunos a variveis demogrficas, socioeconmicas e educacionais. Essas informaes so coletadas por meio da aplicao de questionrios especficos para os alunos e para as escolas. Os resultados desse estudo podem ser utilizados pelos governos dos vrios pases envolvidos, como instrumento de trabalho na definio e/ou refinamento de polticas educativas tendentes a tornar mais efetiva a formao dos jovens para a vida futura e para a participao ativa na sociedade. O que avalia? O Pisa desenhado a partir de um modelo dinmico de aprendizagem, no qual novos conhecimentos e habilidades devem ser continuamente adquiridos para uma adaptao bem sucedida em um mundo em constante transformao. Para serem aprendizes efetivos por toda a vida, os jovens precisam de uma base slida em domnios-chave, e devem ser capazes de organizar e gerir seu aprendizado, o que requer conscincia da prpria capacidade de raciocnio e de estratgias e mtodos de aprendizado. A avaliao aborda mltiplos aspectos dos resultados educacionais, buscando verificar o que chamamos de letramento em Leitura, Matemtica e Cincias.

O termo letramento pretende refletir a amplitude dos conhecimentos e competncias que esto sendo avaliadas. O Pisa procura ir alm do conhecimento escolar, examinando a capacidade dos alunos de analisar, raciocinar e refletir ativamente sobre seus conhecimentos e experincias, enfocando competncias que sero relevantes para suas vidas futuras, na soluo de problemas do dia-a-dia. Assim, o Pisa procura verificar a operacionalizao de esquemas cognitivos em termos de: 1 contedos ou estruturas do conhecimento que os alunos precisam adquirir em cada rea; 2 competncias para aplicao desses conhecimentos; 3 contextos em que conhecimentos e competncias so aplicados. Para avaliar o letramento em Leitura, os alunos so levados a realizar uma ampla gama de tarefas com diferentes tipos de textos, abrangendo desde a recuperao de informaes especficas at a demonstrao de compreenso geral, interpretao de texto e reflexo sobre seu contedo e suas caractersticas. Os textos utilizados incluem no somente passagens em prosa ou verso, mas tambm vrios tipos de documentos, como listas, formulrios, tabelas, grficos e diagramas. A avaliao do letramento matemtico demanda o uso de competncias matemticas em vrios nveis, abrangendo desde a realizao de operaes bsicas at o raciocnio e as descobertas matemticas. Requer o conhecimento e a aplicao de uma variedade de contedos matemticos extrados de reas como: estimativa, mudana e crescimento, espao e forma, raciocnio quantitativo, incerteza, dependncias e relaes. J o letramento cientfico envolve o uso de conceitos cientficos necessrios para compreender e ajudar a tomar decises sobre o mundo natural, bem como a capacidade de reconhecer e explicar questes cientficas, fazer uso de evidncias, tirar concluses com base cientfica e comunicar essas concluses. Marcos referenciais O quadro abaixo apresenta um resumo dos marcos referenciais do PISA, em termos do letramento nas trs reas que o programa avalia. Aspectos / Cincias Leitura Matemtica reas O grau em que um indivduo: Possui conhecimento cientfico e o emprega para Definio e identificar caractersticas perguntas, adquirir novos conhecimentos, explicar fenmenos cientificamente e extrair concluses sobre evidncias cientficas; A capacidade de um indivduo de entender, empregar, refletir sobre textos escritos, para alcanar objetivos, desenvolver conhecimentos e participar da sociedade. A capacidade de um indivduo de identificar e compreender o papel que a matemtica desempenha no mundo, para sustentar juzos fundamentados.

O letramento Mais do que matemtico decodificao e relaciona-se com o compreenso uso amplo e

Entende as caractersticas que diferenciam a cincia como uma forma de conhecimento e investigao; - Demonstra saber como a cincia e a tecnologia influenciam nosso ambiente material, intelectual e cultural; Demonstra interesse por temas cientficos.

literal, o letramento em Leitura implica a interpretao e reflexo, bem como a capacidade de utilizar a leitura para alcanar os prprios objetivos na vida.

funcional da matemtica; inclui a capacidade de reconhecer e formular problemas matemticos em situaes diversas.

O enfoque do PISA [UTF8?]ler para [UTF8?]aprender e no [UTFO letramento 8?]aprender a cientfico refere-se [UTF-8?]ler . tanto compreenso de conceitos cientficos como capacidade de aplicar esses conceitos e pensar sob uma perspectiva cientfica. Conhecimento de Cincia como: - Sistemas fsicos; Domnio de - Sistemas vivos; conhecimento - Terra e sistemas espaciais; Sistemas tecnolgicos. Conhecimento sobre Cincia como: Investigao cientfica; Explicaes cientficas. Tipos de tarefas ou processos Competncias cientficos: Identificar questes cientficas; Explicar fenmenos Formato dos materiais de leitura: - Textos contnuos de diferentes tipos, como narrao, exposio e argumentao; Textos descontnuos, que incluem grficos, tabelas, listas, etc. Conjunto de reas e conceitos matemticos: Quantidade; - Espao e forma; Mudana e relaes; - Probabilidade.

Tipos de tarefa: Localizar informaes; - Interpretar textos; - Avaliar e refletir sobre textos.

Processos que definem as competncias necessrias na matemtica: Reproduo; Conexes;

cientificamente; - Utilizar evidncia cientfica. A rea de aplicao da cincia, centrada e em seu emprego em relao a contextos pessoais e globais, como: Sade; - Recursos naturais; - Meio ambiente; Fenmenos naturais; - Limites da cincia e da tecnologia. Contextos em que se produz o texto: Privado; Pblico; Ocupacional; - Educativo.

- Reflexo.

Contexto situao

rea de aplicao da matemtica, de acordo com seu uso em contextos pessoais e globais, tais como: Pessoal; Educativo e ocupacional; Pblico; - Cientfico.

Nveis de proficincia Para facilitar a interpretao dos resultados, o Pisa estabeleceu em cada domnio ou rea de avaliao vrios nveis de desempenho, baseados na classificao da pontuao associada s habilidades que os estudantes devem possuir para alcanar a pontuao correspondente. A classificao possui dois objetivos: permite catalogar o desempenho dos estudantes e descrever o que so capazes de fazer. importante observar, no entanto, que o Projeto Pisa no qualifica ou classifica indivduos, mas produz pontuaes agregadas dos estudantes que se convertem na pontuao de um pas. A ideia principal da avaliao no Pisa saber como est o sistema educacional de um pas e no avaliar indivduos em particular. Apresenta-se adiante as escalas com a pontuao que delimita os nveis de proficincia definidos pelo Pisa em cada um dos trs domnios avaliados. Os nveis vo de 1 a 6, em Cincias e Matemtica, e de 1 a 5, em Leitura. Para cada nvel tem-se a descrio do que os alunos que o atingem so capazes. Dizer que um item classificado em mais de seiscentos pontos significa dizer que ele muito difcil, e, ao contrrio, se um item tem classificao inferior a quatrocentos pontos, ele tende a ser fcil. Em avaliaes de larga escala, como o caso do Pisa, previsvel que poucos alunos atinjam os nveis mais altos. O esperado que a maioria dos alunos consiga alcanar os nveis 3 ou 2 da escala de proficincia. Por outro lado, em qualquer das trs reas, considera-se que os estudantes abaixo do nvel 1 de proficincia no so capazes de executar as tarefas mais simples que a avaliao solicita. Isso no significa, obviamente, que eles sejam completamente incapazes de executar qualquer tarefa. Nos pases com mdias mais baixas no Pisa, muitos estudantes situamse nessa zona abaixo do nvel 1 de proficincia. Por esse motivo, o Pisa 2009 adotou medidas que possibilitam descrever o que esses estudantes conseguem, em geral, fazer. Os resultados de 2009 sero divulgados em dezembro de 2010. Leitura

Nvel

Limite Inferior

O que os estudantes em geral podem fazer em cada nvel No Nvel 5, os estudantes so capazes de completar itens de leitura sofisticados, tais como os relacionados com a utilizao de informaes difceis de encontrar em textos com os que no esto familiarizados; mostrar uma compreenso detalhada destes textos e inferir qual informao do texto relevante para o item; avaliar criticamente e estabelecer hipteses, recorrer ao conhecimento especializado e incluir conceitos que podem ser contrrios s expectativas. No Nvel 4, os estudantes so capazes de responder itens de leitura difceis, tais como situar informaes agregadas, interpretar significados a partir de sutilezas de linguagem e avaliar criticamente um texto. No Nvel 3, os estudantes so capazes de manipular itens de leitura de complexidade moderada, tais como situar fragmentos mltiplos de informao, vincular partes distintas de um texto e relacion-lo com conhecimentos cotidianos familiares. No Nvel 2, os estudantes so capazes de responder itens bsicos de leitura, tais como situar informaes diretas, realizar inferncias fceis de vrios tipos, determinar o que significa uma parte bem definida de um texto e empregar certo nvel de conhecimentos externos para compreend-lo. No Nvel 1, os estudantes so capazes apenas de responder os itens de leitura menos complexos desenvolvidos para o PISA, como situar um fragmento de informao, identificar o tema principal de um texto ou estabelecer uma conexo simples com o conhecimento cotidiano.

625,6

552,9

480,2

407,5

334,8

Matemtica Limite Nvel O que os estudantes em geral podem fazer em cada nvel Inferior No Nvel 6, os estudantes so capazes de conceituar, generalizar e utilizar informaes baseadas em suas investigaes e na modelagem de problemas complexos. Podem relacionar diferentes fontes de informao e representao e traduzi-las entre si de maneira flexvel. So capazes de demonstrar pensamento e raciocnio matemtico avanado. Alm disso, podem aplicar essa compreenso e conhecimento juntamente com a destreza para as operaes matemticas formais e simblicas para desenvolver novos enfoques e estratgias para enfrentar situaes novas. Podem formular e comunicar com preciso suas aes e reflexes RESPECTO de descobertas, interpretaes e argumentaes, e adequ-las a novas situaes. No Nvel 5, os estudantes podem desenvolver e trabalhar com

669,3

607,0

modelos de situaes complexas; identificar limites e especificar suposies. Podem selecionar, comparar e avaliar estratgias apropriadas de soluo de problemas para abordar problemas complexos relacionados com esses modelos. Podem trabalhar de maneira estratgica ao utilizar amplamente capacidades de pensamento e raciocnio bem desenvolvidas; representaes por associao; caracterizaes simblicas e formais; e a compreenso dessas situaes. Podem formular e comunicar suas interpretaes e raciocnios. No Nvel 4, os estudantes so capazes de trabalhar efetivamente com modelos explcitos para situaes concretas complexas que podem implicar em limitaes ou exigir a realizao de suposies. Podem selecionar e integrar diferentes representaes, incluindo smbolos ou associ-los diretamente a situaes do mundo real. Podem usar habilidades bem desenvolvidas e raciocinar com certa compreenso nesses contextos. Podem construir e comunicar explicaes e argumentos baseados em suas interpretaes e aes. No Nvel 3, os estudantes so capazes de efetuar procedimentos descritos claramente, incluindo aqueles que requerem decises seqenciais. Podem selecionar e aplicar estratgias simples de soluo de problemas. Os estudantes neste nvel podem interpretar e utilizar representaes baseadas em diferentes fontes de informaes, assim como raciocinar diretamente a partir delas. Podem gerar comunicaes breves reportando suas interpretaes, resultados e raciocnios. No Nvel 2, os estudantes podem interpretar e reconhecer situaes em contextos que exigem apenas inferncias diretas. Podem extrair informaes relevantes de uma nica fonte e fazer uso de apenas um tipo de representao. Podem empregar algoritmos, frmulas, convenes ou procedimentos bsicos. So capazes de raciocinar diretamente e fazer interpretaes literais dos resultados. No Nvel 1, os estudantes so capazes apenas de responder perguntas que apresentem contextos familiares na qual toda a informao relevante est presente e as perguntas esto claramente definidas. So capazes de identificar informaes e desenvolver procedimentos rotineiros conforme instrues diretas em situaes explcitas. Podem realizar aes que sejam bvias e segui-las imediatamente a partir de uma estmulo dado.

544,7

482,4

420,1

357,8

Cincias Limite Nvel Inferior 707,9

O que os estudantes em geral podem fazer em cada nvel No Nvel 6, os estudantes podem identificar com segurana,

explicar e aplicar conhecimentos cientficos e conhecimento sobre Cincias em uma grande variedade de situaes complexas de vida. Eles so capazes de relacionar diferentes fontes de informao e de usar evidncia retirada de tais fontes para justificar decises. Eles demonstram claramente e de forma consistente uma capacidade de reflexo cientfica avanada, e demonstram vontade de usar seu conhecimento cientfico para resolver questes cientficas e tecnolgicas novas. Os estudantes neste nvel podem, ainda, usar o conhecimento cientfico e desenvolver argumentos para embasar recomendaes e decises centradas em situaes pessoais, sociais e globais. No Nvel 5, os estudantes so capazes de identificar componentes cientficos em muitas situaes complexas da vida, de aplicar tanto conceitos cientficos como conhecimento sobre Cincias a essas situaes, e conseguem comparar, selecionar e avaliar evidncias cientficas apropriadas para responder a situaes da vida. Os estudantes neste nvel podem utilizar habilidades de pesquisa bem-desenvolvidas, de relacionar apropriadamente conhecimentos e de refletir criticamente sobre as situaes. So capazes, tambm, de construir explicaes baseadas em evidncias e argumentos baseados em sua anlise crtica. No Nvel 4, os estudantes so capazes de trabalhar efetivamente com situaes e questes que envolvam fenmenos explcitos que requerem deles a capacidade de fazer inferncias sobre o papel da Cincia e da Tecnologia. Eles so capazes de selecionar e integrar explicaes de diferentes disciplinas de Cincia ou Tecnologia e relacionlas diretamente a aspectos de situaes da vida. Podem refletir sobre suas aes e comunicar decises usando conhecimento e evidncia cientfica. No Nvel 3, os estudantes so capazes de identificar questes cientficas claramente definidas em uma srie de contextos. Podem selecionar fatos e conhecimentos para explicar fenmenos e aplicar modelos simples e estratgias de pesquisa. Podem interpretar e usar conceitos cientficos de diferentes disciplinas e aplic-los diretamente. Podem, ainda, dissertar sobre os fatos e tomar decises baseadas em conhecimento cientfico. No Nvel 2, os estudantes tm conhecimentos cientficos razoveis para fornecer explicaes cientficas em contextos familiares ou para tirar concluses baseadas em investigaes simples. So capazes de refletir de forma direta e de fazer interpretaes literais de resultados de pesquisas cientficas ou de solues de problemas tecnolgicos.

633,3

558,7

484,1

409,5

334,9

No Nvel 1, os estudantes tm limitado conhecimento cientfico, de forma tal que s conseguem aplic-lo em algumas poucas situaes familiares. Eles so capazes de apresentar explicaes cientficas bvias e tirar concluses de evidncias explicitamente apresentadas.

Pases participantes Quem participa do Pisa so os pases membros da OCDE e pases convidados. Em 2006, participaram do Pisa os seguintes pases: Argentina, Alemanha, Austrlia, ustria, Azerbaijo, Blgica, Brasil, Bulgria, Canad, Chile, Colmbia, Coreia, Crocia, Dinamarca, Eslovnia, Eslovquia, Espanha, Estados Unidos da Amrica, Estnia, Federao Russa, Finlndia, Frana, Grcia, Hong Kong - China, Hungria, Indonsia, Islndia, Irlanda, Israel, Itlia, Japo, Jordnia, Letnia, Liechtenstein, Litunia, Luxemburgo, Macau - China, Mxico, Montenegro, Noruega, Nova Zelndia, Pases Baixos, Polnia, Portugal, Catar, Quirguisto, Reino Unido, Repblica Tcheca, Romnia, Srvia, Sucia, Sua, Tailndia, Taipei - China, Tunsia, Turquia, Uruguai. Para o PISA 2009, mais nove pases aderiram ao programa, totalizando 66 participantes. Alm desses, outros nove pases vo participar do Pisa 2009 Plus. So pases que aderiram tardiamente ao programa e iro aplicar os instrumentos de avaliao somente no princpio de 2010. Entre os novos participantes do Pisa 2009 encontram-se: Albnia, Cazaquisto, Cingapura, Dubai (Emirados rabes Unidos), Panam, Peru, Trinidad e Tobago e Xangai China. Frisa-se que, j em 2006, os pases participantes do Pisa englobavam mais de 90% da economia mundial. Universo avaliado O Pisa aplicado de forma amostral, segundo critrios definidos pelo Consrcio Internacional contratado pela OCDE para administrar o programa. Caracterizam-se como alunos elegveis para o Pisa todos aqueles na faixa dos 15 anos de idade, matriculados da 7 srie em diante, at o final do Ensino Mdio. No ano 2000, o Brasil avaliou 4.893 alunos no Pisa; em 2003, 4.452 alunos; e em 2006, a amostra brasileira foi ampliada para 9.295 alunos. Em 2000 e 2003, a nossa amostra considerava como estratos principais as regies do pas e, como substratos, a dependncia administrativa (pblica ou privada) e a localizao da escola (rural ou urbana). Em 2006, visando a uma representatividade mais significativa do universo de nossas escolas, a amostra brasileira do Pisa compreendeu 27 estratos principais (as 27 unidades da federao) e teve como substratos a organizao administrativa da escola (pblica ou privada), a localizao (rural ou urbana, incluindo todas as capitais e cidades do interior de cada estado) e o IDH do estado (cidades com IDH acima ou abaixo da mdia do estado). Dessa forma, a amostra englobou 630 escolas, sendo pelo menos 20 em cada estado. Essa amostra, no entanto, produziu mdias estaduais com erro-padro elevado. Em 2009, com o objetivo de produzir mdias mais confiveis para os estados brasileiros no Pisa, a amostra compreendeu os mesmos estratos e substratos, mas abrangeu um nmero maior de escolas e de alunos em cada estado. No total, foram 950 escolas e 20.013 (vinte mil e treze) alunos.

Alm de ampliar a amostra brasileira no Pisa 2009, o Inep aplicou essa avaliao a uma amostra de alunos matriculados no 1 ano do Ensino Mdio, independentemente da idade. O Pisa avalia alunos de qualquer srie a partir da 7, mas os alunos da faixa etria avaliada, normalmente, deveriam estar cursando o 1 ano do Ensino Mdio. Como h um grande nmero de estudantes brasileiros abaixo da srie ideal, essa avaliao paralela permitir comparar os resultados e verificar at que ponto a defasagem idade-srie afeta o desempenho brasileiro. Foram avaliados, assim, 15.145 alunos do 1 ano do Ensino Mdio, com idade diferente daquela da populao-alvo do Pisa, totalizando 35.158 alunos brasileiros participantes da avaliao. Participao do Brasil O Brasil o nico pas sul-americano que participa do Pisa desde a sua primeira aplicao, tendo iniciado os trabalhos com esse programa em 1998. Alguns pases sul-americanos participaram, em 2002, de uma experincia com o Pisa chamada de Pisa Plus. No entanto, em 2003, somente Brasil e Uruguai participaram do programa. Apenas no Pisa 2006 houve adeso de um nmero maior de pases da Amrica do Sul a esse programa de avaliao, com a entrada de Argentina, Chile e Colmbia, alm do Brasil e do Uruguai. Em 2009, participa, tambm, o Peru. O PISA e o Ideb O Ideb (ndice de Desenvolvimento da Educao Bsica) o indicador objetivo para a verificao do cumprimento das metas fixadas no Termo de Adeso ao Compromisso [UTF-8?]Todos pela [UTF-8?]Educao , eixo do Plano de Desenvolvimento da Educao, do Ministrio da Educao, que trata da educao bsica. nesse mbito que se enquadra a ideia das metas intermedirias para o Ideb. A lgica a de que, para que o Brasil chegue mdia 6,0 em 2021, perodo estipulado tendo como base a simbologia do bicentenrio da Independncia em 2022, cada sistema deve evoluir segundo pontos de partida distintos, e com esforo maior daqueles que partem em pior situao, com um objetivo implcito de reduo da desigualdade educacional. A definio de uma meta nacional para o Ideb em 6,0 significa dizer que o pas deve atingir em 2021, considerando os anos iniciais do ensino fundamental, o nvel de qualidade educacional, em termos de proficincia e rendimento (taxa de aprovao), da mdia dos pases desenvolvidos (mdia dos pases membros da OCDE) observada atualmente. Essa comparao internacional foi possvel devido a uma tcnica de compatibilizao entre a distribuio das proficincias observadas no PISA e no Saeb. A meta nacional norteia todo o clculo das trajetrias intermedirias individuais do Ideb para o Brasil, unidades da Federao, municpios e escolas, a partir do compartilhamento do esforo necessrio em cada esfera para que o Pas atinja a mdia almejada no perodo definido. Dessa forma, as metas intermedirias do Ideb, com incio em 2007, foram calculadas nos mbitos nacional, estadual, municipal e para cada escola, a cada dois anos. Resultados Em sua terceira participao no Pisa (em 2006), o Brasil mostrou desempenho similar aos anos anteriores em Cincias (390 pontos), uma ligeira queda em Leitura (393 pontos) e um aumento significativo em Matemtica (370 pontos), que valeu destaque por parte da OCDE. De 2003 para 2006, o Brasil subiu 14 pontos em Matemtica, s superado pela Indonsia (31 pontos) e pelo Mxico (20 pontos).

Merece destaque, tambm, o fato de que os estudantes brasileiros alcanaram, em contedos ligados a Biologia, resultados bem acima da mdia nacional. Quadro comparativo das trs aplicaes do Pisa no Brasil: Etapas/Modalidades Educao Bsica Nmero de participantes Cincias Leitura de

Pisa 2000 4.893 375 396

Pisa 2003 4.452 390 403

Pisa 2006 9.295 390 393

alunos

Matemtica 334 356 370 A partir de dezembro de 2010 podero ser encontrados, tambm, resultados do PISA 2009.