Avaliação Investimento

A relevncia da avaliao para o investimento social privado
Organizao
Fundao Ita Social Fundao Roberto Marinho Move
Seminrio Internacional A Relevncia da Avaliao para o Investimento Social Privado So Paulo, 4 de julho de 2012. Organizao Fundao Ita Social Fundao Roberto Marinho Parceria Move Avaliao e Estratgia em Desenvolvimento Social (Rogrio Silva) Apoio Fundao Santillana
Organizao
Fundao Ita Social Fundao Roberto Marinho Move
A Relevncia da Avaliao para o Investimento Social Privado 2012 Fundao Santillana Organizao Fundao Ita Social (Antonio Bara Bresolin Fundao Roberto Marinho (Rosalina Maria Soares) Move Avaliao e Estratgia em Desenvolvimento Social (Rogrio Silva) Traduo Vera Torres (Bem Traduz) / Fundao Roberto Marinho Reviso tcnica das tradues Rogrio Silva Thomaz K. Chianca (Tornar as avaliaes estrategicamente prticas e relevantes) Produo editorial Fundao Santillana Diretoria de Relaes Institucionais Luciano Monteiro Lucia Jurema Figueira Edio Ana Luisa Astiz Projeto Grfico Paula Astiz Editorao Eletrnica e Grficos Laura Lotufo / Paula Astiz Design Reviso Juliana Caldas
Dados Internacionais de Catalogao na Publicao (CIP) (Cmara Brasileira do Livro, SP, Brasil) A Relevncia da avaliao para o investimento social privado / organizao Fundao Ita Social, Fundao Roberto Marinho, Move. -So Paulo : Fundao Santillana, 2012. Vrios autores. ISBN 978-85-63489-12-8 11. Ao social 2. Desenvolvimento social 3. Empresas - Aspectos sociais 4. Participao social 5. Projetos sociais 6. Seminrio Internacional A Relevncia da Avaliao para o Investimento Social Privado (2012: So Paulo) I. Fundao Ita Social. II. Fundao Roberto Marinho. III. Move. 12-14703 CDD-361.760981 ndices para catlogo sistemtico: 1. Brasil : Avaliao para o investimento social privado : Bem-estar social 361.760981
7 Apresentao
Valria Veiga Riccomini e Mnica Dias Pinto
Para fazer avaliaes relevantes

Rogrio Silva
17

Tornar as avaliaes estrategicamente prticas e relevantes

E. Jane Davidson
43

Avaliao, relevncia e dinmica de poder

Fiona Cram
75

A avaliao no contexto de programas e projetos sociais brasileiros

Ana Lima, Antonio Bara Bresolin e Martina Rillo Otero
87

Avaliao da iniciativa gua e clima, uma parceria HSBC-WWF

Rogrio de Paula Barbosa e Glauco Kimura de Freitas
97

A construo da capacidade avaliativa do Instituto Sou da Paz

Ligia Rechenberg
103

A avaliao do programa Excelncia em Gesto Educacional

Maria Carolina Nogueira Dias
113
Seminrio Internacional A Relevncia da Avaliao para o Investimento Social Privado
Apresentao
Valria Veiga Riccomini
Superintendente Fundao Ita Social
Mnica Dias Pinto

Gerente de desenvolvimento institucional Fundao Roberto Marinho
Este livro sintetiza o conjunto de reflexes produzidas no Seminrio Internacional A Relevncia da Avaliao para o Investimento Social Privado, realizado em 4 de julho de 2012, em So Paulo, pela Fundao Ita Social e pela Fundao Roberto Marinho, em parceria com a Move Avaliao e Estratgia em Desenvolvimento Social e a Fundao Santillana. Cada vez mais se reconhece que para realizar uma boa gesto de recursos privados de interesse pblico preciso fazer avaliaes relevantes, que gerem informaes sobre a qualidade, a eficcia e a efetividade dos projetos e programas realizados. No entanto, ainda so recentes no Brasil a reflexo e o debate sobre avaliaes no mbito do Investimento Social Privado. As fundaes e institutos vm estudando o impacto de suas iniciativas, mas so muitas as inquietaes emergentes ao longo do processo de definio de modelos de avaliao, formulao de perguntas, escolha de metodologias, elaborao de relatrios, apresentao de resultados e, posteriormente, utilizao das informaes em benefcio dos projetos. A parceria entre a Fundao Ita Social, a Fundao Roberto Marinho, a Move e a Fundao Santillana para a organizao do seminrio A Relevncia da Avaliao para o Investimento Social Privado consagra um movimento de mobilizao do setor social para pensar, em conjunto, a importncia do tema. Esperamos que
7
a relevncia da avaliao para o investimento social privado
esta obra d corpo s reflexes e seja mais um passo para sistemticos, intensos e produtivos debates. O texto que inaugura os contedos deste livro, escrito por Rogrio Silva, diretor de pesquisa e desenvolvimento da Move, procura fazer uma leitura introdutria sobre as diferentes variveis que influenciam de maneira determinante a relevncia dos processos avaliativos. Essas variveis, em seus desdobramentos particulares conforme percebido pelos diferentes autores, so exploradas nos textos posteriores, todos perfazendo uma boa articulao entre teoria e prtica. Em seguida, vm os artigos resultantes das conferncias ministradas pelas especialistas internacionais convidadas: E. Jane Davidson, doutora em Psicologia Organizacional com nfase em Avaliao pela Claremont Graduate University (Califrnia, Estados Unidos) e vencedora do prmio American Evaluation Association (edio 2005); e Fiona Cram, doutora em Desenvolvimento Psicolgico e Social pela Universidade de Otago (Dunedin, Nova Zelndia). Ambas trazem contribuies sobre como estruturar avaliaes relevantes para a qualificao de projetos e aes sociais. Gestores do Instituto Sou da Paz, da WWF Brasil, da Fundao Maria Ceclia Souto Vidigal e da Fundao Ita Social tambm apresentaram suas experincias de avaliao no seminrio. Compartilharam, com os participantes, prticas que demonstraram como usar resultados para orientar escolhas e fazer mudanas, aprimorando, assim, as aes desenvolvidas. Trs desses casos esto reunidos aqui, a demonstrar suas construes e os resultados alcanados nos esforos que empreenderam. O captulo final um panorama da prtica de avaliao no Brasil a partir de elementos apurados em duas pesquisas recentes da Fundao Ita Social e do Instituto Fonte para o Desenvolvimento Social, em parceria com o Instituto Paulo Montenegro e o IBOPE Inteligncia. O texto revela diferentes aspectos da percepo das ONGs (Organizaes no Governamentais) e de profissionais da rea, sobre a importncia das prticas de avaliao. Aos leitores e leitoras, desejamos que o mergulho neste material seja o mais prazeroso e proveitoso possvel.
Para fazer avaliaes relevantes

Rogrio Silva
Diretor de pesquisa e desenvolvimento da Move
J se vo algumas dcadas desde que o Investimento Social Privado ocupa importante posio nos processos de desenvolvimento da sociedade brasileira. Ao amadurecer uma agenda tico-poltica que guinou da caridade para a garantia de direitos, e de aes insulares para o dilogo com as polticas pblicas sociais, institutos, fundaes e empresas portam agora importantes bandeiras nas esferas da inovao tcnico-assistencial e na gesto de iniciativas sociais. Em boa medida, vivemos um perodo de aproximaes, colaboraes e convergncias. No restam dvidas de que o trabalho realizado na avaliao de programas e projetos um componente expressivo desse jovem e espirituoso legado. Entre cursos de formao, eventos nacionais e internacionais, pesquisas, publicaes e experincias reais, h um acmulo tcnico consistente e uma comunidade de prticas de fazer inveja a outros setores e ptrias. Em razo do profcuo cenrio de produo avaliativa que por aqui soubemos armar, possvel afirmar com tranquilidade que o Brasil est dotado de um aparelho avaliativo de grande envergadura e evidente pluralismo. Neste breve ensaio, cujo propsito iluminar particularidades que sero tratadas pelos diferentes autores em seus respectivos captulos, tomo como objeto aquele que tem sido um dos principais desafios com os quais as organizaes e os profissionais se deparam nas avaliaes: o risco de se produzir estudos frouxos em sua gnese e sentido, desconexos dos contextos organizacionais
9
e dos atores com os quais se relacionam, incapazes de produzir reflexes e aprendizagem, e frgeis em sua capacidade de inspirar e respaldar decises. Ao observar tais fenmenos com a devida proximidade, possvel reconhecer um conjunto de variveis que influenciam quo relevante , ou pode ser, um processo de avaliao. Antes de reconhec-las, contudo, cabe destacar a polissemia do prprio conceito avaliaes relevantes. Sem lograr consensos, mas buscando certo reconhecimento, tais avaliaes tm sido reconhecidas como aquelas capazes de cumprir ao menos trs critrios: 1. ter impacto na dinmica do programa ou projeto que avaliam, sendo capazes de exercer influncias mais ou menos sutis em seus destinos; 2. inspirar confiana tcnica e compromisso poltico nos principais atores interessados, ou stakeholders, apoiando dilogos, descobertas, reflexes e produo de saberes; 3. respeitar e zelar pela integridade cultural, tica e moral dos sujeitos e organizaes envolvidos na avaliao, sem com isso se furtarem a apontar bons e maus resultados, acertos e erros, falhas, acidentes e limites. A quem pertence a avaliao A primeira varivel que quero destacar diz respeito a definir quais atores so proprietrios da avaliao, vendo-se a ela vinculados e sentindo-se responsveis e curiosos pela sua produo. Frente a essa questo, h forte tendncia a tomar aquele que financia a avaliao ou o prprio programa - geralmente o mesmo ator, como seu nico dono, supondo que a avaliao deva responder apenas a suas perguntas. Na contramo desse pensamento, que no exageramos ao nomear como patrimonialista, o que a dinmica social nos revela, em particular as dinmicas organizacionais, que sempre h mais de um interesse em questo nos ecossistemas que so as organizaes, os programas e as comunidades. Sujeitos e grupos exercem diferentes graus de influncia sobre os processos e possuem diferentes desejos e demandas, mui10
para fazer avaliaes relevantes
tas vezes contraditrias, sobre o objeto avaliado e sobre a prpria avaliao. Quanto mais surdez se faz a esse complexo conjunto de reivindicaes e expectativas, ao que est em disputa em cada cenrio em que habita uma coletividade, mais se aumenta o risco de que a avaliao no seja considerada nos processos reflexivos e decisrios, ou que seja desacreditada por esses atores, tornando-se ora relatrio de gaveta, ora instrumento coercitivo. Com extrema velocidade, o processo poltico mastiga e elimina toda avaliao que no o levou em conta em sua gnese. A centralidade das perguntas Nessa direo, a segunda varivel diz respeito a quo vivas so as perguntas avaliativas que serviro de guia a uma avaliao. luz das expectativas de diferentes atores, espera-se que as perguntas de avaliao necessariamente se ancorem em dois elementos-chave para criar raiz e frutificar em descobertas, anlises e aprendizagem. Primeiro, as indagaes devem ser capazes de traduzir aquilo que os atores querem e precisam compreender melhor, vertendo interesses e desconfianas, em perguntas. Segundo, devem ser capazes de apontar para direes que possam agregar valor ao objeto avaliado, seja por iluminar suas limitaes, seja por reconhecer seus resultados. na associao entre os interesses dos atores e a potncia da investigao que as perguntas avaliativas ganham vida e orientam o trabalho. As perguntas traro mais sentido ao processo medida que se ocuparem de investigar, de maneira articulada, tanto a relevncia quanto o mrito do objeto avaliado. Nesse caso, a relevncia est definida pelo sentido que uma determinada interveno tem no contexto social em que realizada. Tomemos como exemplo um programa de formao de educadores cuja avaliao dirigi h alguns anos. Tal iniciativa lanava mo de uma estratgia exclusivamente pautada em educao distncia, com o uso de uma plataforma virtual, para contribuir para a formao de professoras do Ensino Fundamental I. Em vrios municpios de pequeno porte, cujo acesso internet era quase inexistente, e nos quais o corpo docente demandava espaos de dilogo e superviso pedaggica,
11
o programa no conseguia encontrar lastro para operar, levando os financiadores a reconhecer a irrelevncia e a impropriedade da interveno. Em complemento, mrito diz respeito aos resultados alcanados em um determinado programa ou projeto, sejam eles esperados ou no. Naquele mesmo caso, o mrito do programa de formao no estava no preparo do corpo docente para as atividades junto s crianas, propsito central do programa. Estava no fato de ter levado tanto o secretrio de Educao a mobilizar recursos para dar s escolas acesso internet, abrindo uma nova agenda de oportunidades para professores, alunos e gestores escolares. Estava tambm na descoberta da importncia da atividade de superviso para os professores, levando a secretaria a ampliar os contratos de trabalho, para que semanalmente as professoras se reunissem em grupos de superviso coordenados por pedagogos de uma universidade situada no municpio polo daquela microrregio um bom exemplo de resultado inesperado. medida que se reconhece na agenda do Investimento Social Privado crescente interesse em convergir com as principais polticas pblicas sociais brasileiras, em ampliar sua capacidade de produzir experincias capazes de influenciar gestores pblicos e de destinar recursos a intervenes que possam ganhar potncia e escala em razo de sua capacidade inovadora, parece fundamental que relevncia e mrito sejam componentes explcitos dos processos de avaliao. Os indicadores e o desafio de comparar A terceira varivel diz respeito ao uso de indicadores com seus respectivos critrios de comparao. Assim como as perguntas avaliativas, os indicadores devem dialogar de maneira explcita com as demandas e expectativas dos atores interessados na avaliao. Muitas vezes, ao construir indicadores que um grupo se depara com suas divergncias em relao a um projeto, prtica ou realidade, abrindo boa oportunidade para construir compreenses mais equilibradas a respeito desses elementos. tambm na construo de indicadores que os grupos costumam se deparar com a sin12
gularidade da Teoria da mudana que sustenta sua interveno. Esta troca, to cheia de contradies, quanto de oportunidades de esclarecimento e pactuao, um dos maiores ativos que acompanham os indicadores, antes mesmo que esses sejam tomados como parmetro de medio. No caso dos indicadores de natureza quantitativa, ainda que mais fceis de compreender em razo da lgica matemtica expressa em uma unidade de medida tal como coeficiente, frequn cia etc., h sempre o desafio de se definir o que se ir considerar como bom resultado, como muito ou pouco, baixo ou alto, e assim por diante. Tomemos o exemplo do ndice de Desenvolvimento da Educao Bsica (Ideb). H metas fixadas para as diferentes unidades da federao, e isso ajuda a sociedade a construir um julgamento a respeito da mudana nos nmeros a cada dois anos, o que j serve como parmetro. Ao mesmo tempo, podemos observar duas escolas localizadas em contextos socioculturais diferentes, e supor que a mesma variao percentual nas duas instituies suponhamos, de 20% signifique avanos muito diferentes em cada uma, e inspire seus gestores a desenvolverem aes bastante distintas para o prximo binio. A fixao de um nvel desejado, de uma meta ou de um patamar mnimo de variao torna-se fundamental para que um indicador esteja acompanhado de um critrio de anlise. Sem critrio de comparao, qualquer resultado vlido e qualquer julgamento cabvel. Para os indicadores qualitativos, o desafio de estabelecer critrios torna-se ainda maior. Se nmeros como a Frequncia escolar ou o Coeficiente de mortalidade infantil j abrigam grandes discusses, que se dir de indicadores como Qualidade do vnculo professor-aluno, Autonomia dos gestores ou Participao das famlias no cotidiano escolar. Mergulhar na produo de descritores ou rubricas, ou seja, de definies que explicitem as caractersticas que se deseja observar, ou que se espera encontrar em uma dada realidade, elementar para alcanar indicadores qualitativos consistentes e confiveis. Em uma avaliao que dirigi h cerca de oito anos, de um programa de formao tcnico-profissional para jovens de baixssima renda dentro de fbricas de diferentes setores econmicos, a discusso sobre o que era autoestima
13
foi das mais surpreendentes para a equipe do projeto. Enquanto alguns entraram no dilogo com uma posio higienista, definindo autoestima com base nas roupas utilizadas pelos jovens, ou de seu asseio na escola, outros trouxeram a discusso para um plano subjetivo, valorizando as maneiras como os alunos definiam a si mesmos e as suas origens culturais, o quanto se arriscavam a falar ao grupo e a mostrar suas ideias, bem como a maneira como articulavam suas perspectivas de futuro. Aps muito esclarecimento e ponderao, o grupo construiu uma definio de autoestima que lhe parecia eticamente equilibrada, e que abrigava as diferentes nuances que coexistiam na equipe agora de maneira mais explcita e orientadora do cotidiano da formao. Diferentes linguagens, diferentes produtos A quarta varivel diz respeito aos diferentes produtos que um processo de avaliao pode gerar. Inspiradas pelas melhores tradies acadmicas, boa parte das avaliaes conduzidas atualmente apostam na produo de um relatrio final extenso, detalhado e que apresente o conjunto de anlises e recomendaes depois de meses de trabalho avaliativo. O que as organizaes tm nos ensinado que, em muitos casos, a espera por um documento final no combina com as oportunidades de aprendizagem e deciso que costumam emergir da dinmica de sua produo. Nesse sentido, fundamental que as avaliaes sejam marcadas com produtos parciais, e que tais produtos se organizem em linguagens estticas que melhor sentido tenham para os atores interessados. Apresentaes parciais, relatrios preliminares (draft reports), relatos de campo, sumrios ou releases (one page reports) e reunies de atualizao, entre outros, so possveis desdobramentos de uma avaliao inspirados pelos princpios da boa comunicao empresarial. As apresentaes parciais contribuem tambm para que um estudo possa ser corrigido antes de ser finalizado; ou para que certos elementos sejam includos ou retirados de forma a manter a avaliao conectada com as demandas dos atores interessados. H um apelo para que a produo de informaes seja mais rpida, recortada e sumarizada, e que peas mais simples, acom14
panhadas de diferentes formas de dilogos, favoream os processos de reflexo e aprendizagem que acompanham a avaliao. A dimenso econmica A quinta e ltima varivel diz respeito dimenso econmica dos programas e projetos avaliados. Historicamente ausente nos processos avaliativos do Investimento Social Privado brasileiro, tal aspecto tem galgado degraus importantes nos julgamentos de relevncia e mrito. Sem que os custos sejam bem apurados, e sem que os resultados alcanados por um programa sejam adicionados de clculos que tambm compreendam e explicitem sua eficincia e viabilidade para futuras edies, torna-se difcil produzir influncia sobre outros atores, e mais ainda pensar a replicao de certas experincias em territrios maiores ou diferentes. Tomando como exemplo outra avaliao cujo time de especialistas integrei em 2007: tnhamos ali um programa de desenvolvimento local que injetava montantes to grandes de recursos financeiros em pequenos municpios da regio Nordeste do Brasil que produzia um tipo de prefeitura paralela, com subcomisses cuidando de Educao, Empreendedorismo, Sade, Turismo etc. Com base nessa atitude, o projeto passou a operar como um opositor ao poder local institudo, encerrando qualquer possibilidade de sinergia e sustentando uma estrutura oramentria que no teria qualquer condio de funcionar depois de finalizada a experincia. Tanto em razo do volume do oramento quanto da estratgia de interveno, o programa consumiu alguns milhes de reais, para no deixar mais do que remotas marcas de sua existncia nas regies em que atuou. Naquele caso, a dimenso e o sentido econmico da interveno foram completamente desconsiderados. Concluses So essas as variveis que tm concorrido de maneira mais determinante para conferir relevncia a um processo de avaliao. Cada uma delas em particular ou suas diversas combinaes influenciam as relaes entre avaliao e processos decisrios,
15
aproximando ou afastando a produo avaliativa das decises e formulaes estratgicas de um programa ou organizao. O que se pode depreender das diversas experincias das quais tenho participado, supervisionado ou simplesmente observado que as chaves para que as avaliaes se sustentem em um campo instituinte de saberes e de decises favorveis ao desenvolvimento de um determinado objeto esto na malha tcnico-poltica formada pelas variveis aqui elencadas. Ao longo da histria das prticas avaliativas, no Brasil e em tantos outros cenrios culturais, contemplamos e vivenciamos extraordinrias disputas. Entre rigidez e criatividade, controle e disfuno, produo e burocracia, responsabilidade e alienao, propriedade e simplismo, rogamos que as disposies para avaliar sejam pautadas pelo investimento em dispositivos capazes de produzir dilogos, descobertas e formulaes que incluam e equilibrem uma sociedade marcada por tantas diferenas. Avaliar sempre implica escolhas ticas e posicionamentos polticos para cada um dos envolvidos, sejam financiadores, equipes, beneficirios e profissionais avaliadores. Caminhar margem deste debate sustentar caminhos de alienao que apenas reforam os padres de inequidade e excluso enraizados na estrutura social brasileira. Organizamos esta publicao a fim de evitar que nossas prticas sejam capturadas por pensamentos mecnicos e pginas de manuais, e que apostemos nas avaliaes como atos ticos, polticos e tcnicos relevantes aos projetos e programas, aos atores interessados e sociedade como um todo. Como podero constatar leitores e leitoras, os textos que compem este livro dialogam frontal ou tangencialmente com as cinco variveis apresentadas neste artigo. Eles avanam tambm em outros componentes e direes particulares, a partir das distintas experincias e referenciais tericos, polticos e culturais de cada um dos autores convidados. A inteno proporcionar ao campo da avaliao no Brasil uma obra que enriquea a plural gramtica avaliativa brasileira, e contribuir para a formao de quadros nesse tema. A oportunidade de traz-lo luz como produto que sistematiza o seminrio internacional que o inspirou, algo que no poderia se perder. Esperamos que a leitura seja to oportuna quanto foi enriquecedor o seu preparo.
16
Tornar as avaliaes estrategicamente prticas e relevantes

E. Jane Davidson1
Doutora em psicologia organizacional pela Claremont Graduate University (Califrnia, Estados Unidos) e vencedora do prmio American Evaluation Association (edio 2005)
Este artigo trata inicialmente dos aspectos que tornam uma avaliao relevante ou irrelevante. Depois, destaca os seis principais elementos que potencializam o valor da avaliao tanto no nvel estratgico quanto no ttico-operacional. Finalmente, discute detalhadamente trs temas de extrema importncia para a rea:
Pensamento lgico x mtodos: porque muito fcil perder-se nos mtodos e medies. Uma avaliao, contudo, no se restringe a indicadores, mtricas ou mtodos de anlise; visa obter respostas claras e bem fundamentadas para suas perguntas avaliativas mais importantes. Mensurvel x importante: porque fcil deixar-se atrair por resultados facilmente mensurveis, que permitem visualizar os efeitos de uma iniciativa com muita rapidez. Porm, ser que estes so os resultados mais importantes?
1. Meus agradecimentos Fundao Ita Social, Fundao Roberto Marinho, Move e Fundao Santillana pelo convite para o Seminrio Internacional A Relevncia da Avaliao para o Investimento Social Privado. Agradeo tambm a Daniel Brando e a Mariana Aloe pela organizao, aos intrpretes pela colaborao, e,especialmente, ao grande amigo e colega Dr. Thomaz Chianca pela traduo dos slides da apresentao para o portugus e pela cuidadosa reviso deste artigo.
17
Simplicidade x simplificao: porque uma boa avaliao deve apresentar concluses de maneira simples, mas no simplista. A apresentao deve ser clara e direta, apontando o que realmente importa, mas sem simplificaes exageradas ou enganosas.
O que relevncia e o que ela significa para a avaliao Uma avaliao muito relevante tem as seguintes caractersticas: (i) nitidamente pertinente, ou seja, est relacionada aos resultados que se quer obter; (ii) aponta o que realmente importa, sem se perder em trivialidades; (iii) til nos nveis prtico e estratgico; (iv) esclarece ideias e influencia decises; e (v) gera formulaes que ajudam a decidir aes. Por outro lado, uma avaliao com pouca relevncia tende a comear na mensurao ou coleta de dados, sem definir claramente a quem ou para o que servir ou seja, sem determinar seu propsito. Alm disso, ela no envolve as pessoas certas, ou as envolve no momento errado ou de forma equivocada; contm perguntas limitadas, demasiadamente detalhadas ou sem importncia; ignora o E da?, ou seja, mostra um sumrio da evidncia quantitativa e/ou qualitativa como se essa fosse a resposta; perde-se em detalhes que obrigam o leitor a interpretar os dados em busca de respostas; produz resultados e concluses que deixam dvidas sobre quais aes empreender. Elementos-chave de uma avaliao relevante Quais seriam, portanto, os elementos-chave para tornar uma avaliao efetivamente relevante? Com base na minha experincia, afirmo que preciso contar com os seguintes elementos: (1) um propsito claro para a avaliao; (2) uma estratgia que envolva as pessoas certas; (3) perguntas importantes e abrangentes para nortear todo o processo; (4) respostas claras para as perguntas abrangentes, sustentadas por uma combinao convincente de evidncias; (5) um relatrio sucinto e direto que no se perca em
18
tornar as avaliaes estrategicamente prticas e relevantes
detalhes; (6) respostas e ideias que levam ao, ou seja, que permitem realizar algo concreto. Cada um dos seis tpicos acima ser desenvolvido a seguir. 1. Clareza de propsito Na avaliao, preciso perguntar quem precisa de qual informao, com que propsito, at quando e com que nvel de preciso. Observe-se que, nesse momento, no se deve passar diretamente para a fase de mensurao, como muitas vezes acontece. necessrio concentrar-se nas decises ou aes mais importantes, e em como a avaliao poder contribuir para inform-las. Que tipos de aes ou decises a avaliao pode ajudar a informar? Normalmente, inclui dois ou trs dos seguintes aspectos: 1. decises estratgicas sobre quais programas ampliar, reduzir, investir mais ou desativar; 2. aperfeioamento de programas ou a maneira como eles esto sendo implementados; 3. orientao do desenho, conceitualizao ou desenvolvimento de novos programas ou abordagens; e 4. aumento da capacidade dentro da organizao ou da comunidade em estratgias baseadas em resultados, desenho de programas, monitoramento e/ou avaliao. 2. Estratgia para engajar as pessoas certas O prximo passo decidir quem deve ser envolvido no processo de avaliao, em quais atividades e qual a melhor maneira de fazer isso. As pessoas podem participar na elaborao da modelagem lgica; na formulao das perguntas avaliativas; no processo de definio da qualidade e do valor; na coleta de evidncias; na interpretao dos dados; na preparao de relatrios; no planejamento de aes.
19
2.1 Quem deve ser envolvido em cada uma dessas atividades
Quais especialistas precisam ser envolvidos para que a avaliao consiga gerar informaes corretas? Contar com a ajuda de stakeholders que possuam conhecimento especfico sobre diferentes reas relacionadas ao que est sendo avaliado contribui significativamente para garantir a validade da avaliao. Quem precisamos envolver para garantir credibilidade avaliao? O quem e o como do envolvimento dos stakeholders so to importantes quanto o que para a credibilidade da avaliao e de seus resultados. Para maximizar a utilidade da avaliao, quem so as pessoas-chave a serem envolvidas? A participao destas pessoas influencia a utilizao no s dos resultados, mas tambm do conhecimento, do know-how e das capacidades que a avaliao capaz de desenvolver. Finalmente, o envolvimento dos stakeholders se d mediante custos de tempo e monetrio que precisam ser levados em considerao. Embora s vezes tais custos sejam elevados no presente, assegurar que as pessoas realmente entendam o que funciona bem ou no, frequentemente gera forte adeso e compromisso com mudanas no futuro. Como pode ser notado, a estratgia de envolvimento das pessoas certas influencia a validade, a credibilidade, a utilizao e o custo da avaliao.
2.2 Envolvimento no assegura validade
Uma armadilha comum na avaliao colaborativa imaginar que trabalhando com todas as pessoas envolvidas ou afetadas pelo que est sendo avaliado, a validade est garantida, uma vez que todas as opinies relevantes sero ouvidas. Infelizmente, a avaliao no to simples assim. No apenas sobre quem estava envolvido na avaliao, mas em que medida os achados da avaliao esto corretos. Um envolvimento verdadeiramente til conduz, de forma inteligente, a todos num processo que, apioado por ferramentas e estruturas de trabalho, consegue formular as perguntas certas,
20
respond-las de forma vlida, apresentar os resultados com credibilidade e confiabilidade, e formular planos de ao bem fundamentados. Uma boa avaliao colaborativa no apenas facilitadora um processo srio e bem mais desafiador do que parece.
2.3 Perguntas importantes
Uma avaliao verdadeiramente relevante depende das perguntas certas. Muitas avaliaes se perdem em detalhes por falta de noo clara sobre o que realmente importante saber sobre o que est sendo avaliado. Uma boa maneira de assegurar a relevncia criar uma lista de perguntas abrangentes para nortear todo o trabalho. Muitas vezes, parte-se diretamente para a coleta ou mensurao de informaes, ou as perguntas so limitadas demais, impedindo a obteno de dados indicativos. Isso ocorre porque se pensa O que se vai mensurar?, em vez de se pensar O que realmente preciso saber?. John Tukey (1915-200), conhecido estatstico norte-americano, afirmou: muito melhor ter uma resposta aproximada para a pergunta certa que muitas vezes vaga , do que uma resposta precisa para a pergunta errada que pode sempre ser feita de forma precisa.
2.3.1 Questes explicitamente avaliativas
Na avaliao, as questes certas so perguntas explicitamente avaliativas. A seguir, alguns exemplos: a. Exemplo 1 Quando se questiona sobre implementao, por exemplo, esta seria uma pergunta descritiva: O programa foi implementado conforme previsto? ou O programa foi implementado conforme as especificaes?. Em contrapartida, uma pergunta avaliativa questionaria se o programa foi bem implementado: O programa foi implementado de forma completa, justa, tica, culturalmente adequada, eficiente, profissional, compatvel com os padres profissionais e legais relevantes etc.?.
21
b. Exemplo 2 Ao examinar a abrangncia e o alcance de um programa, uma pergunta descritiva questionaria quantas pessoas foram atendidas e/ou como foram atendidas. Uma pergunta avaliativa questionaria se a abrangncia do programa foi adequada, ou seja, no indagaria apenas sobre a quantidade de pessoas atendidas, mas se o nmero de pessoas atendidas foi suficiente; no questionaria apenas como, mas quo bem foram atendidas: Ser que as pessoas certas foram atendidas? Ser que os melhores mtodos e opes disponveis foram adotados? Ser que as populaes de difcil acesso foram atendidas? Ser que os mais necessitados foram atendidos? c. Exemplo 3 Ao questionarmos sobre os resultados, no queremos apenas saber o que mudou ou se as metas e os objetivos foram atingidos. Precisamos saber quo significativos e valiosos foram os resultados obtidos: Ser que conseguimos suprir as principais necessidades e ajudamos a concretizar as aspiraes mais importantes? Os resultados foram realmente impressionantes, medocres ou totalmente inaceitveis? Os resultados so significativos no s do ponto de vista estatstico, mas tambm nos aspectos educacional, social, econmico e prtico? Ser que as aes realmente fizeram diferena na vida das pessoas? Ser que os resultados obtidos compensam os esforos e recursos investidos?
2.3.2 O que incluir na lista de perguntas abrangentes
Em qualquer avaliao, sempre se questiona a necessidade da iniciativa e se ela realmente aborda as verdadeiras causas de um problema. Por exemplo: isto era (e ainda ) necessrio? Ser que a ao identifica e aborda as principais causas de um problema? Esta ainda a soluo ideal? Percebe-se aqui a diferena fundamental entre monitoramento e avaliao. A necessidade de um programa geralmente considerada no monitoramento, que basicamente examina o cumpri22
mento do prazo, do objetivo e do oramento do programa. Mas a maioria das avaliaes tambm exige uma pergunta de avaliao. Por exemplo: o programa foi bem elaborado e implementado? Esse tipo de pergunta pode ser subdividido em questionamentos sobre, por exemplo, qualidade do contedo, do projeto e da disponibilizao/implementao do programa, considerando inclusive resultados importantes como fornecimento, abrangncia e alcance dos produtos e servios, e assim por diante. Na avaliao, o questionamento parte da funo do avaliador. Afinal, um programa que cumpre as metas, mas que no mais necessrio, no adequado e nem vale a pena. Por isso, praticamente toda avaliao exige uma pergunta de avaliao do resultado. Por exemplo: os resultados obtidos foram satisfatrios? Esse tipo de indagao questiona se houve mudana na vida das pessoas, e, se houve, se tal mudana foi significativa e rpida o suficiente para atender s necessidades, s aspiraes e s oportunidades identificadas. Se o objetivo da avaliao for conceitualizar, criar ou desenvolver programas, ser preciso no s determinar se o programa funciona. Ser necessrio colher informaes fundamentais para decidir, inclusive, aonde e para quais comunidades e beneficirios o programa deve ser estendido. Por exemplo: Onde, para que e por que determinada iniciativa funciona melhor? Para decidir estrategicamente onde investir mais, preciso ter noo se os resultados compensam o tempo, o esforo e outros recursos investidos. Por exemplo: De forma geral, valeu o investimento? Quais foram as iniciativas que geraram os resultados mais satisfatrios? Se a prioridade for a sustentabilidade de longo prazo de uma mudana positiva, a pergunta outra. Por exemplo: At que ponto o impacto sustentvel? At que ponto o programa sobreviveria a uma mudana de liderana ou a um corte no investimento, agora que no se encontra mais na fase inicial?
23
2.4 Respostas baseadas em evidncias e argumentos slidos
Talvez se pense que, formuladas as perguntas certas, as respostas surjam automaticamente. Infelizmente, no bem assim que ocorre. Vejamos:
2.4.1 Respostas inadequadas a perguntas avaliativas
A seguir so apresentados dois exemplos de formas inadequadas de responder boas perguntas avaliativas. Algum deles ou ambos podem lhe parecer familiar.
Exemplo 1: O teste de Rorschach ou Voc decide O teste de Rorschach uma ferramenta usada por psiquiatras na psicanlise, em que se pede aos pacientes para dizer o que veem em determinada imagem. Evidentemente, cada um enxerga algo diferente. Esse exemplo aponta que, quando o relatrio de avaliao vago e no apresenta respostas claras, o avaliador est negligenciando seu trabalho que o de efetivamente responder s perguntas avaliativas. Se ele no o fizer, est dizendo ao cliente, implicitamente: Voc decide como interpretar estas informaes e determinar quo bom, valioso ou importante o programa ou o que quer que esteja sendo avaliado.
Exemplo 2: O julgamento divino s vezes, obtm-se respostas diretas para perguntas avaliativas, mas o raciocnio fica escondido. como se o avaliador dissesse: Examinei-o bem e vi que ele bom o que uma espcie de julgamento divino. So tipos de relatrio com concluses e recomendaes radicais aparentemente surgidas do nada. A avaliao parece bem subjetiva ou opinativa, e, nesses casos, o cliente acaba pensando: Quem este avaliador pensa que ?.
24
2.4.2 Pensamento avaliativo
O que necessrio para chegar a respostas diretas, bem fundamentadas e comprovadas, de forma sistemtica e transparente? Michael Quinn Patton, consultor em avaliao e ex-presidente da American Evaluation Association, comentou o seguinte sobre a contribuio de Michael Scriven, renomado professor da Claremont Graduate University (Califria, Estados Unidos), para conceituar o que efetivamente a avaliao:
... isto extremamente importante: [Scriven] mostra que a avaliao fundamentalmente raciocnio e pensamento crtico. uma rea que se tornou uma mania obsessiva por metodologias. Muitos de ns, e os que nos contratam, acreditam que ela tem tudo a ver com mtodos. No assim. Ela tem tudo a ver com raciocnio. (New directions for evaluation, vol. 133, p. 105)
Pensamento avaliativo o que basicamente diferencia a avaliao da pesquisa aplicada. Avaliaes geram no s evidncias, mas concluses avaliativas. Tais concluses dizem no apenas O qu? (por exemplo: Quais so os resultados?); dizem tambm E da? (Quo bons, valiosos ou convenientes so esses resultados?). Essa ltima uma pergunta difcil de responder, mas de essencial importncia em uma avaliao para que decises possam ser tomadas, de fato, com boa fundamentao. A ilustrao explica esse tipo de pensamento avaliativo: pensamento avaliativo
Define qualidade & valor Critrio Evidncia
Quo bom bom
Concluses 25
Para comear, preciso definir o significado de qualidade e valor para determinado programa, poltica, iniciativa ou qualquer ao que seja o objeto da avaliao. Evidentemente, isso exige muito trabalho de base, como avaliao das necessidades e dos pontos fortes do que est sendo avaliado. Esse processo gera: (A) critrios de mrito, que so aspectos do desenho, da implementao, dos resultados, e do custo-efetividade do programa que so examinados para determinar se a performance observada adequada ou no; e (B) definies de quo bom bom, ou seja, qual a melhor combinao de evidncias que pode nos convencer de que aquele um programa de alta qualidade, com uma implementao excelente, resultados extremamente valiosos e um valor excepcional em relao ao investimento geral. Esse raciocnio inicial para determinar o significado de excelente comparado a bom, apenas aceitvel ou inaceitvel crucial para se obter concluses avaliativas. Os critrios indicam as evidncias que precisam ser buscadas, e a definio de quo bom bom permite interpret-las.
2.4.3 Que ferramentas utilizar para determinar quo bom bom
Examinemos agora as ferramentas ou estruturas de trabalho que podem ser usadas na tarefa fundamental de definir quo bom bom. Um recurso muito til, j utilizado no Brasil por alguns poucos profissionais, so as rubricas avaliativas, que mostram um panorama de como as evidncias devem aparecer nos diferentes nveis de performance. a. Exemplo 1 de rubricas avaliativas Escolas politcnicas, institutos de tecnologia e outras organizaes educacionais da Nova Zelndia realizam uma autoanlise em que respondem perguntas avaliativas sobre, por exemplo, o valor dos resultados para os alunos, a adequao do contedo programtico s necessidades deles e demais atores impactados pela ao da instituio, e a qualidade do ensino. Exemplos de perguntas avaliativas que podem ser levantadas incluem: Quo valiosos so os resultados e impactos
26
do programa para os alunos? Quo bem o programa atende s necessidades dos alunos, empregadores, comunidade etc., ou seja, os demais atores impactados pela ao da instituio? Quo boa a qualidade do ensino? Cada uma das perguntas acima deve ser respondida em relao a uma rubrica genrica como as que constam da tabela a seguir:
Avaliao
Descritores de performance para responder s perguntas avaliativas A performance claramente superior em relao pergunta. No h omisses/ problemas significativos e os menos significativos so todos resolvidos de maneira efetiva. Em geral, a performance slida em relao pergunta. No h omisses/problemas significativos e os problemas/omisses menos significativos so todos resolvidos de maneira efetiva, na maioria dos casos. A performance inconsistente em relao pergunta. H alguns problemas/ omisses. Atinge minimamente as expectativas/requerimentos, at onde possvel dizer. A performance inaceitavelmente ruim em relao pergunta. No atinge as expectativas/requerimentos de maneira alguma.
Excelente
Bom
Adequado
Ruim
Fonte: NZOAs External Evaluation & Review framework.
Suponhamos que uma performance tenha sido considerada boa em uma das perguntas. Nessa estrutura, como se justificaria essa concluso? Examinemos a definio por partes. Primeiro, em geral, a performance slida em relao pergunta. Segundo, no h omisses ou problemas. Terceiro, as omisses ou os problemas tm certo impacto, mas so resolvidos de maneira efetiva, na maioria dos casos. Rubricas demandam o uso sistemtico de inferncia avaliativa para se chegar a concluses. Por exemplo, quando se determina que o programa foi bom neste critrio, preciso demonstrar especificamente quais foram as evidncias que levaram a crer que a performance , no geral, slida em vez de claramente su27
perior (excelente) ou inconsistente (adequada)? Quais so os problemas/omisses existentes e por que devem ser considerados numericamente poucos? Qual o impacto dos problemas/omisses? O que, especificamente, a organizao est fazendo para dar conta dos problemas/omisses e por que se considera que a organizao est gerenciando bem estes problemas/omisses?
RUBRICAS DEMANDAM O USO SISTEMTICO DE inferncia avaliativa para se chegar a concluses Pontos essenciais dos descritores de performance considerada boa na avaliao Em geral, a performance slida em relao pergunta preciso demonstrar... ... especificamente, quais evidncias levaram a crer que a performance , no geral, slida em vez de claramente superior(excelente) ou inconsistente(adequada)?; incluir exemplos mais importantes tanto de evidncias positivas quanto de negativas. ... quais so os problemas/omisses existentes?; por que devem ser considerados no significativos?; com que base se justifica no significativos? O que, especificamente, a organizao est fazendo para dar conta das omisses/problemas, e porque voc considera o que ela faz efetivo na maioria dos casos?
No h omisses/problemas significativos
Os problemas/omisses menos significativos so resolvidos de maneira efetiva, na maioria dos casos
b. Exemplo 2 de rubricas avaliativas A estrutura a seguir foi extrada de uma interveno que visava acelerar a realizao acadmica de estudantes indgenas, pertencentes a minorias, e os com necessidades educacionais especiais.
28
2. Forte conexo com os pais e familiares
3. Capacidade instrucional
1. Incluso e responsividade cultural e lingustica
4. Capacidade avaliativa
5. Capacidade organizacional
A acelerao da capacidade de aprendizado dos estudantes foi obtida por meio do trabalho de consultores que orientaram uma equipe formada para introduzir mudanas na escola em relao a como diagnosticar problemas, gerenciar mudanas e avaliar o que funcionava. As escolas aprenderam a: diagnosticar em quais dessas cinco reas precisavam aumentar sua capacidade institucional; selecionar o conjunto ideal de intervenes; e conduzir e monitorar todo o processo de mudana at atingir os resultados esperados. Para cada uma das cinco capacidades citadas acima existe uma pergunta avaliativa especfica e uma definio sobre o que ela cobre. Por exemplo, ao investigar os nveis de capacidade avaliativa, a pergunta seria: Com que nvel de eficcia a escola consegue obter e utilizar as evidncias necessrias para tomar decises slidas que ajudem a acelerar o progresso e garantir a obteno de resultados valiosos para todos os estudantes?
29
Para definir melhor o que precisa ser obtido dentro do domnio capacidade avaliativa preciso: (a) conhecer as principais causas subliminares e selecionar a combinao ideal de fatores motivadores de mudanas; (b) acompanhar as mudanas; (c) questionar as evidncias e promover um dilogo na escola como um todo sobre efetividade; e (d) desenvolver a capacidade avaliativa entre os professores. Ao contrrio do primeiro exemplo de rubrica genrica, neste caso cada capacidade conta com uma rubrica bem detalhada que descreve como deve ser a evidncia nos diferentes nveis de capacidade baixa capacidade, capacidade bsica, capacidade em desenvolvimento, capacidade em consolidao e alta capacidade. No se entrar em detalhes aqui sobre o contedo de cada uma, apenas adiantamos que as rubricas utilizam uma sofisticada combinao de evidncias qualitativas e quantitativas e julgamento profissional fundamentado.
monitorando o aumento das capacidades de escolas
Alta capacidade Incluso e responsividade cultural e lingustica Forte conexo educativa com pais e familiares
Capacidade em consolidao
Capacidade em desenvolvimento
Capacidade bsica
Baixa capacidade
Bimestre 1
Bimestre 2
Bimestre 3
Bimestre 4
Interveno 30
Progresso adicional
Outro aspecto realmente importante da rubrica que, embora cada uma seja incrivelmente rica em detalhes, pode ser resumida de maneira simples para criar uma representao visual do progresso. Nesse caso, apresentam-se os dados bsicos ao incio da interveno, o progresso ao final dela e a evoluo aps o trmino da iniciativa. A representao a seguir bem diferente de um grfico de um nico indicador, porque cada um dos pontos representa um sofisticado conjunto de evidncias que captura praticamente tudo o que capacidade significa. Em outras palavras, usando a rubrica para classificar os resultados, obtm-se uma representao do progresso que simples, mas no simplista.
2.4.4 Por que usar rubricas? Por que no usar apenas indicadores?
A maioria dos resultados que, possivelmente, interessam abrange um domnio bem amplo definimos o domnio dos resultados com uma lista de conceitos que cobrem o espao , como a lista dos itens que compem a capacidade avaliativa.
o abrangente campo dos resultados
Domnio dos resultados
31
O termo indicadores geralmente usado para referir-se a mensuraes quantitativas bem especficas, que representam uma amostra do domnio. Cada indicador cobre apenas um espao bem pequeno e alguns, efetivamente, sequer fazem parte do domnio, mas esto relacionados a ele. Em geral, indicadores so fceis de medir: so precisos, limitados e, principalmente, passveis de manipulao. Isso significa que, s vezes, um programa pode parecer bom com base nos indicadores que utiliza, mas no ter efetivamente grande valor. Em compensao, um programa que realmente tem alto valor e qualidade pode parecer fraco luz dos indicadores que utiliza, porque estes no cobrem os aspectos mais importantes de seu desempenho. Os indicadores e o domnio dos resultados
Indicadores
Domnio dos resultados
Em contrapartida, critrios verdadeiros (no sentido a que se faz referncia aqui) so definies mais amplas e complexas do desempenho em um determinado conjunto de resultados. Critrios so mais difceis de medir: so aproximados, amplos e relativamente difceis de manipular. Us-los significa que, se a rubrica for bem construda e se a equipe responsvel pelo programa tentar ajustar o desempenho do programa para que ele parea bom luz das suas rubricas, o desempenho do programa realmente ter sido bom.
32
Indicadores, critrios e o abrangente campo dos resultados

Indicadores
Domnio dos resultados Critrio
Indicadores
Critrios verdadeiros
Fceis de medir Precisos Limitados Passveis de manipulao
Difceis de medir Aproximados Amplos No manipulveis
Com as rubricas procura-se criar algo bem semelhante a um desses critrios abrangentes, que cobrem tudo aquilo que h de mais importante no domnio dos resultados. O que estamos buscando uma resposta aproximada que seja capaz de envolver seus braos nas perguntas mais importantes, em vez de almejar preciso em aspectos de interesse limitado.
2.5 Relatrio sucinto
O relatrio pode determinar ou anular a relevncia da avaliao para diferentes pblicos-alvo. Inicialmente, sero abordados aqui alguns problemas comuns observados nos relatrios. Depois, sero elencadas as principais caractersticas de um bom relatrio, inclusive com sugestes concretas para a elaborao de um documento timo.
33
2.5.1 Caractersticas de relatrios inadequados
Estes so alguns dos principais problemas observados em relatrios:
documento excessivamente longo e prolixo; uso de linguagem acadmica, que se assemelha a uma tese de mestrado ou artigo acadmico; assim como um artigo acadmico, ele conduz o leitor l-e-n-t-a-m-e-n-t-e por meio dos detalhes, enquanto os pontos-chave esto depositados apenas no ltimo captulo; na maioria das vezes, eles perdem-se nos detalhes e os pontos-chave sequer aparecem; h sempre um relatrio extenso, semelhante a um catlogo telefnico, que algum da equipe do programa dever sintetizar para seus gestores ou conselheiros, quando isso acontece, grupos inteiros de interessados centrais na avaliao no colocam sequer um olho sobre o trabalho, restando-lhes apenas interpretaes de segunda mo.
2.5.2 Caractersticas de um bom relatrio de avaliao
Bons relatrios so sucintos, concisos, no desnecessariamente redundantes e nunca so mais longos do que a disposio de leitura das pessoas2. So tambm simples, redigidos em linguagem e formato interessantes para quem o ler. A redao deve ser direta e os termos compreensveis para os no avaliadores. No deve parecer um trabalho acadmico nem uma apresentao. No deve exigir grande esforo para sua leitura. So tambm relatrios que chegam rapidamente a pontos-chave da avaliao. O leitor deve identificar com facilidade os tpicos principais, sem se perder na tentativa de desvendar as palavras. Os tpicos principais devem ser apresentados no incio
2. Trs conselhos muito teis que recebi quando estudava psicologia organizacional e industrial: relatrios para gerentes devem ter no mximo duas pginas, organizadas em tpicos; para diretores, no mximo uma pgina, tambm apresentada em tpicos; e, para presidentes, prepare no mais que uma tira de histria em quadrinhos.
34
no apenas para facilitar a compreenso, mas principalmente para indicar que a equipe de avaliao sabe exatamente o que mais importante. O bom relatrio no se perde em detalhes, mas concentra-se no panorama geral. Esses existem para fundamentar as concluses, sendo que sempre h possibilidade de se fazer uma sntese das informaes e uma retomada do panorama geral. Muitas vezes, so relatrios que dividem seus contedos em razo de seus diferentes pblicos-alvo. Nesse aspecto, existem algumas variaes, mas, no geral, o documento deve conter: 1. um sumrio executivo de duas a trs pginas, em tpicos ou pequenos pargrafos, com linguagem direta (voltam-se alta direo e, por isso, devem ser preparados para apresentarem questes realmente estratgicas); 2. contedo geral de vinte a trinta pginas (com espaos em branco bem utilizados, grficos e figuras) para a gerncia e suas equipes, contendo as respostas para as perguntas de avaliao e um resumo (sem detalhes) das evidncias; 3. nos apndices onde se espera ler maiores detalhes sobre as evidncias encontradas no caminho metodolgico escolhido, inclusive todas as etapas utilizadas nas definies da qualidade e do valor.
2.5.3 Estruturas de um bom relatrio de avaliao
J se discutiu anteriormente a necessidade de se chegar a concluses avaliativas para que a avaliao gere uma ao. A estrutura do relatrio tambm facilita a ao com base na avaliao. A seguir, apresentamos uma maneira de estruturar os relatrios para que eles demandem respostas que levem ao.
35
Estrutura de relatrios que demandam respostas e conduzem ao Sumrio executivo Duas pginas Cinco a nove ttulos Cada ttulo uma das perguntas-chave da avaliao Um a dois pargrafos sob cada ttulo Pargrafos respondem a pergunta avaliativa de forma sucinta Introduo Metodologia e porqus Valores e contexto Perguntas-chave da avaliao Achados Cada ttulo de seo uma pergunta avaliativa Resposta sucinta seguida de evidncias
Inicialmente, deve-se produzir um sumrio executivo em, no mximo, duas pginas, com cerca de sete ttulos (mais ou menos dois), sendo cada um deles uma das perguntas-chave da avaliao. Sob cada ttulo, redigir de um a dois pargrafos que respondam a pergunta de forma direta e sucinta. O corpo principal do relatrio deve conter: uma introduo que explique em que consiste a avaliao, quem a solicitou e qual o seu objetivo; uma seo onde se explicite a metodologia utilizada, bem como as razes que resultaram em sua escolha em detrimento de outras opes; uma explicao do contexto da avaliao, incluindo os valores tomados como base na avaliao; e uma relao das perguntas-chave da avaliao. A seo de concluses deve conter cerca de sete subttulos (mais ou menos dois), sendo que cada um uma das perguntas da avaliao. O incio do texto de cada subttulo deve apresentar uma resposta sucinta quela pergunta normalmente, a mesma verso constante do sumrio executivo, acompanhada de um resumo das evidncias e da fundamentao da concluso.
2.6 Ideias que disparam aes
Um aspecto importante das avaliaes relevantes sua possibilidade de disparar aes. Buscam-se respostas e ideias que promo36
vam movimentos, que permitam agir o que no implica, necessariamente, apresentar uma lista de recomendaes.
2.6.1 Por que nem sempre as recomendaes so a melhor opo?
Recomendaes especficas de ao geralmente no so recomendadas, principalmente por avaliadores externos, por trs razes: uma oramentria, uma poltica e uma psicolgica. a. A razo oramentria No caso de um avaliador externo ou mesmo interno, mas distante da gerncia geral , muitas vezes existem implicaes oramentrias e organizacionais significativas, em especial no caso de recomendaes importantes, das quais simplesmente o avaliador nada sabe. s vezes, recursos financeiros ou humanos precisam ser transferidos para outro programa ou outra atividade, por exemplo. Portanto, o avaliador corre o risco de sugerir algo totalmente impraticvel. b. A razo poltica Do mesmo modo, podem existir questes relacionadas poltica organizacional ou estrutura de poder que eventualmente inviabilizam a ao. Um avaliador externo, portanto, pode acabar dando sugestes inviveis para um determinado contexto poltico. c. A razo psicolgica No entanto, a principal razo para se evitar as recomendaes realmente a psicolgica. Se a equipe de avaliao sugerir alguma linha de ao, psicologicamente a informao ser interpretada como sendo ideia da equipe externa, que pode ou no ser adotada pela organizao. Com base nos modelos participativos de avaliao, pode-se afirmar que existe algo bastante potente em se tomar parte da escolha de uma linha de ao. Tais processos atribuem s pessoas pertencimento e responsabilidade pelas decises, alm de compromisso em v-las se concretizando.
37
2.6.2 Perguntas avaliativas
Perguntas descritivas (e as respectivas respostas) fazem o pblico-alvo questionar se as concluses so realmente vlidas. Perguntas explicitamente avaliativas questionam no apenas o E agora?, mas tambm evidenciam o E da?. Elas mostram quais concluses so realmente extraordinrias, quais so apenas adequadas, bem como quais so fracas. UMA CADEIA DE VALOR
descrITIVO O que ? avaliaTIVO E da? ao E agora?
Quando se tem respostas para as perguntas avaliativas, muito mais fcil visualizar onde a ao necessria e quo urgente ela . Evidentemente, o avaliador, de fato, deve questionar E agora?, mas a verdadeira essncia da avaliao dar um passo a mais e perguntar E da? sendo capaz de formular contedos explcitos sobre a qualidade, o valor e a importncia do objeto avaliado. Simplesmente no vlido passar de uma descrio incapaz de tornar evidente o valor das concluses, para as decises sobre que aes realizar agora. Sempre necessrio determinar quais so as concluses mais importantes, quo boas so e quo graves seus pontos fracos. Em outras palavras: sem o E da? no se chega ao E agora?.
2.6.3 O que faz uma avaliao disparar aes?
Em primeiro lugar, como j foi destacado, uma avaliao dispara aes quando formula perguntas avaliativas questionamentos
38
do tipo E da? e obtm respostas explcitas. Essa a base necessria para se determinar as aes que devem ser adotadas. Em segundo lugar, preciso envolver os responsveis pelas decises e pelo oramento e, quando necessrio, incluir membros da comunidade na discusso das concluses e no desenvolvimento da melhor linha de ao. A equipe de avaliao, ou outro profissional especializado nesse tipo de trabalho, pode facilitar o processo de planejamento da ao. Para a organizao que procura algo mais concreto para orientar suas escolhas, uma alternativa a equipe de avaliao sugerir duas ou trs linhas gerais de ao, especificando o custo-benefcio de cada uma. Isso pode ajudar a clarear as alternativas de ao e ao mesmo tempo permitir que a prpria organizao, em colaborao com a comunidade, determine a melhor alternativa. Concluses Retomemos uma vez mais os seis elementos-chave necessrios para tornar a avaliao relevante: 1. Transparncia quanto ao propsito e ao uso que se pretende fazer da avaliao quem precisa saber o que, por que e com que propsito. 2. Envolvimento dos interessados certos no momento correto, principalmente na definio das perguntas e no desenvolvimento das recomendaes e aes. 3. Elaborao de perguntas gerais para nortear todo o processo de avaliao, direcionadas qualidade e ao valor do trabalho e das realizaes (em contraposio a perguntas descritivas que levantam apenas o que est sendo feito). 4. Articulao de uma combinao convincente de evidncias para dar respostas verdadeiras a perguntas abrangentes, no apenas mediante livre associao de dados. 5. Produo de um relatrio sucinto e direto que no se perde em detalhes. 6. Formulao de respostas e elaborao de ideias que produzam aes, em razo de sua clareza, qualidade, valor e importncia,
39
envolvendo as pessoas certas da organizao para determinar a linha de ao (em contraposio a oferecer recomendaes externas que tendem a no ser validadas). Se os elementos corretos estiverem presentes, a avaliao ser altamente relevante, ou seja, pertinente, importante, influente, til e produtora de aes. A seguir, h trs temas que devem nortear o pensamento ao se planejar uma avaliao. 1. Enfatizar o raciocnio, no os mtodos muito fcil se perder em mtodos e mensuraes. O que preciso reter deste artigo que a avaliao no envolve apenas indicadores ou mtricas. Avaliao significa produzir respostas claras e bem fundamentadas para os seus principais questionamentos. Trata-se de usar esse pensamento para tomar decises corretas quanto s reas em que os esforos devem ser concentrados. 2. Mensurvel no sinnimo de importante fcil sucumbir atrao por aspectos facilmente mensurveis, por meio dos quais se obtm resultados rpidos mas ser que eles so realmente importantes? Enfatizar o que fcil de medir traz o risco de negligenciar e perder o foco o que realmente importante para se obter uma mudana sustentvel. 3. preciso ser simples, mas no simplista Uma boa avaliao apresenta as concluses de forma simples, no simplista. So raciocnios fceis de entender e apresentados com simplicidade, que destacam claramente os aspectos de fato importantes. Uma boa avaliao proporciona uma viso geral sucinta e estratgica do desempenho do programa, ao capturar seus aspectos mais importantes. Como afirma Michael Scriven, uma das grandes qualidades de uma avaliao
40
extrair o contedo de cinquenta pginas e condens-lo em duas, sem perder nenhuma informao importante. RECURSOS E MAIS INFORMAES Para obter mais informaes sobre algumas das ideias e conceitos apresentados neste artigo, existem inmeros recursos disponveis. Informaes sobre a teoria e metodologia das rubricas avaliativas podem ser estudadas no livro de E. Jane Davidson, autora deste artigo, intitulado Evaluation Methodology Basics (Sage Publications), e acompanhadas na discusso do blog Genuine evaluation, tambm da autora, em parceria com Patricia Rogers: <http:// GenuineEvaluation.com>. O site da autora <http://RealEvaluation.com> tambm traz contedo adicional palestra ministrada no Seminrio Internacional A Relevncia da Avaliao para o Investimento Social Privado, realizado em julho de 2012, inclusive guias e orientaes prticas e treinamento on-line. Tambm possvel participar de discusses por meio do acompanhamento do blog de avaliao genuna no Twitter @ejanedavidson e no LinkedIn ou Facebook.
41
Avaliao, relevncia e dinmica de poder

Fiona Cram1
Doutora em desenvolvimento psicolgico e social pela Universidade de Otago (Dunedin, Nova Zelndia)
Avaliadores interessados na erradicao da desigualdade social devem questionar qualquer interveno (poltica, assistncia, programa) que estejam incumbidos de avaliar. Devem questionar, por exemplo: Quem identificou a necessidade da interveno?; Quem est envolvido no desenvolvimento da interveno?; Quem definiu os critrios para considerar a interveno bem-sucedida ou no?. So questionamentos que examinam a dinmica de poder existente por trs de uma interveno, a quem se destina a ajuda e por que, e para quem os resultados da avaliao so relevantes. Metodologias de avaliao que efetivamente envolvem vrias partes interessadas e que permitem a expresso do ponto de vista de cada uma delas, contribuem para a capacidade do avaliador responder tais questionamentos. So metodologias que facilitam, inclusive, o dilogo entre as partes interessadas e promovem a compreenso dos problemas e das solues.
1. Agradeo aos patrocinadores do Seminrio Internacional A Relevncia da Avaliao para o Investimento Social Privado e especialmente a Daniel Brando, da Move, e colegas. Meus agradecimentos tambm a JR McKenzie Trust, ASB Community Trust (especialmente - ori Health Business Unit, Ministrio da Sade, Nova Zelndia, Womens a Moi Becroft), Ma - mare Ma - ori Health Research Centre, Universidade de Otago, Health Research Centre, Eru Po Wellington, todos na Nova Zelndia. Agradeo aos colegas Vivienne Kennedy, Kirimatao Paipa, dr. Adreanne Ormond e professor Ross Conner.
43
Nesse sentido, o prprio processo de avaliao pode servir de agente potencial de mudanas dentro de uma comunidade, medida que rene pessoas com o propsito de partilhar suas experincias. Este artigo explora a aplicao da metodologia de avalia- ori (por Maoris, para Maoris), na Nova Zelndia, o Kaupapa Ma em busca desses objetivos. A desigualdade existente entre Maoris (povo nativo neozelands) e no Maoris motiva a utilizao de uma metodologia de avaliao inclusiva que promove compreenses compartilhadas entre os atores, assim como transformao social. Tcnicas narrativas como, por exemplo, o mtodo Draw the Path (desenho do caminho) podem ser usadas em contextos de avaliao para gerar e fortalecer consensos entre os atores interessados e promover aes, alm de contribuir para cenrios frteis em transparncia e responsabilidade. 1. VISO GERAL Este artigo comea com uma breve introduo sobre a colonizao britnica na Nova Zelndia e a redistribuio de terras e de outros recursos dos Maoris (povo nativo neozelands) imposta pelos colonizadores. No fcil entender o presente e o futuro sem conhecer o passado e sua contribuio para a desigualdade social e econmica atualmente existente entre Maoris e no Maoris. Em seguida, o trabalho descreve a metodologia de avaliao - ori (por Maoris, para Maoris, com Maoris). A metodoKaupapa Ma logia visa interpretar como e por que as intervenes contribuem para (i) a extino da desigualdade e da marginalizao dos Maoris e (ii) a promoo do bem-estar dos Maoris. Essa metodologia se enquadra no amplo paradigma da transformao promovido por Mertens e Wilson (2012), com vrios aspectos em comum com outras metodologias relacionadas justia e incluso social. Sero levantados ao longo do trabalho trs questionamentos: 1. Quem identificou a necessidade da interveno? 2. Quem est envolvido no desenvolvimento da interveno? 3. Quem definiu os critrios para considerar a interveno bem-sucedida ou no?
44
avaliao, relevncia e dinmica de poder
So descritos mtodos de avaliao em que as partes interessadas buscam respostas para esses questionamentos. So mtodos - ori, usados no contexto da metodologia de avaliao Kaupapa Ma mas facilmente adaptveis a outros contextos em que o avaliador queira responder a um ou mais desses questionamentos, promovendo um dilogo entre os interessados. Na sequncia, so apresentados comentrios conclusivos sobre a importncia do processo de avaliao e sua contribuio para a transformao social. 2. A COLONIZAO NA NOVA ZELNDIA Quando os primeiros colonizadores brancos pisaram na Nova Zelndia no final do sculo XVII, os habitantes Maoris consideravam-se normais e acreditavam que os colonizadores eram diferentes. A percepo de normalidade e de diferena do ponto de vista Maori foi incorporada ao seu sistema de crenas, ao seu conhecimento e sua viso de mundo. Muitos relatos do conta das primeiras interaes ocorridas entre os Maoris e os primeiros colonizadores britnicos, inclusive da percepo dos nativos quanto s oportunidades de novas tecnologias e sistemas de conhecimento trazidos pelos colonizadores (Walker, 2004). A segurana do local e a normalidade dos Maoris na Nova Zelndia deveriam ter sido asseguradas pelo Tratado de Waitangi, assinado entre os chefes Maoris e a coroa britnica em 1860. Contudo, mesmo antes da assinatura do documento, a ocupao das terras pelos colonizadores era frentica. Quando as doenas contagiosas e um grande nmero de colonizadores no decretavam o extermnio da populao Maori, as guerras e o confisco contnuo de terras impediam o acesso dos Maoris economia, poltica, cultura e assistncia social. A normalidade dos Maoris transformou-se em diferena e incapacidade dentro do sistema de crenas e da viso de mundo dos colonizadores. Os Maoris acabaram se tornando estranhos no seu prprio pas. O processo de colonizao virou o povo Maori, tanto no sentido metafrico quanto no literal, de cabea para baixo. Um dos mais claros exemplos de redistribuio dos recursos da Nova Zelndia entre os colonizadores britnicos fica evidente
45
na diminuio da posse de terras entre os Maoris, base econmica fundamental (ver tabela 1). Em virtude do contato com os exploradores, mercadores e caadores de baleia no incio do sculo XVIII, os Maoris vivenciaram um perodo de desenvolvimento significativo. Na poca da assinatura do Tratado de Waitangi, em 1860, a terra era a base da economia Maori. Os Maoris plantavam e distribuam a produo pelo pas em embarcaes prprias, alm de export-la (Durie, 1994; Gardiner, 1994). No entanto, anos aps a assinatura do tratado, terras Maoris foram alienadas por meio de intervenes legais e polticas, e de guerras e confiscos (Orange, 1987). Em 1910, apenas 10% das terras Maoris permaneciam nas mos dos nativos. A populao Maori no foi extinta como se imaginava na dcada de 1860, mas foi reduzida em mais de dois teros, restando um indivduo Maori para cada 18 indivduos no Maori. Alm de ser a base da economia, a terra era a origem da identidade do povo Maori (Durie, 1994).
Tabela 1: Tendncias da populao e propriedade de terras Maoris Ano 1800 1840 1852 1860 1874 1878 1881 1886 1891 1896 1901
Fonte: Durie, 1994, p. 37, tabela 7.
Estimativa da populao Maori 150.000 100.000 59.700 49.800 47.800 46.750 43.927 44.177 42.113 43.143
Populao no Maori 2.000 55.762 79.000 295.184 410.280 487.280 576.524 624.474 701.101 772.719
Terras em posse dos Maoris (em hectares) 26.709.342 13.770.000 8.667.000
4.487.000 2.890.000 (1911)
A formao da base da marginalizao dos Maoris foi o legado da poca (Cram, 2011). Sen (2000, p. 5) argumenta que a excluso social pode constituir parte da perda de capacidade e servir de ins46
trumento das diversas incapacidades. A excluso dos Maoris dos recursos econmicos do prprio pas gerou fome, pobreza, falta de sade, separaes familiares e drsticas transformaes socioculturais, devido necessidade de busca de trabalho fora dos seus territrios tribais (King, 1996; Kunitz, 1994). Sendo assim, a excluso social tambm contribuiu para a incapacitao em vrios sentidos, inclusive com a perda da lngua e a deteriorao das prticas familiares tradicionais (Cram, 2012; Cram & Pitama, 1998). Hoje, a excluso social dos Maoris se reflete na desigualdade observada, por exemplo, em termos de justia, renda, emprego e sade (Robson, Cormack & Cram, 2007; Taskforce on Whanau-Centred Initiatives, 2010). Essa desigualdade mostra que os servios comuns, ou seja, universais, no so adequados para os Maoris. Muitas das necessidades deles no so adequadamente supridas, como, por exemplo, na sade (Curtis, Harwood, Riddell, 2007); ou os Maoris esto excludos ou no concluem satisfatoriamente os programas educacionais (Cram, Oakden & Wehipeihana, 2011). Como afirmam os autores em Taskforce on Whanau-Centred Initiatives (2010, p. 15), o fato de ser Maori introduz um fator de risco que no pode ser considerado totalmente responsvel pela desvantagem social ou econmica. No Frum Permanente das Naes Unidas para as Questes Indgenas2 (2009, p. 141), foi ressaltada, especificamente, a vulnerabilidade das crianas indgenas expostas desde o nascimento aos efeitos da marginalizao. A marginalidade e a incapacidade so, portanto, prontamente transmitidas de uma gerao para outra (Families Commission, 2011). Na dcada de 1990, reformas legislativas acompanhadas do reconhecimento da limitao de acesso das pessoas aos servios gerais resultaram na formao de vrias organizaes Maoris contratadas por rgos governamentais e autoridades tribais para criar servios e programas especficos para os Maoris (Pipi, et al., 2003; Taskforce on Whanau-Centred Initiatives, 2010). Muitos desses - ori servios e programas podem ser descritos como Kaupapa Ma (por Maoris, para Maoris) por incorporarem valores e protoco-
2. United Nations Permanent Forum on Indigenous Issues (UNPFII).
47
los culturais dos Maoris e serem disponibilizados na lngua Maori (Smith G., 1997). Isso ocorre no apenas na Nova Zelndia. Em todo o mundo, povos indgenas tm exigido maior controle da Educao, da Sade e de outros servios para que sejam mais adequados s suas necessidades e aspiraes (UNPFII, 2009). ORI 3. A METODOLOGIA DE AVALIAO KAUPAPA MA - ori. A primeira Existem duas vertentes no conceito de Kaupapa Ma refere-se disseminao da validade e legitimidade do fato de o Maori ser Maori, contrastando com a presso sofrida pelos Maoris para assimilar a sociedade colonial comum (porque o fato de ser Maori , aos olhos do colonizador, no ser suficientemente capaz). No Waitangi Day (data comemorativa da assinatura do Tratado de Waitangi), em 1990, o bispo Maori Whakahuihui Vercoe resumiu assim a viso do indivduo no Maori neste pas: Desde 1840, eu que fui o parceiro (do Tratado de Waitangi) marginalizado a lngua nesta terra sua, os costumes so seus, os meios de comunicao que usamos para mostrar ao mundo quem somos so seus. (Abel, 1997, p. 1). A conceituao desse senso comum colonial pode ser contestada como sendo apenas uma viso de mundo. Essa conceituao, e a descentralizao desse senso comum, abre espao para outras vises de mundo incluindo aquela em que os Maoris so normais (Myers, 2004). - ori uma afirmao dos vaNa segunda vertente, Kaupapa Ma lores culturais, da lngua e dos costumes Maoris. a afirmao da soberania que consiste em uma questo de bem-estar e sobrevivncia (Smith G., 1997). A disponibilizao de servios e programas por Maoris, para Maoris, por exemplo, envolve o conhecimento Maori em ao e a valorizao da cultura e dos protocolos Maoris. -ori uma reivindicao do direito de ser O conceito de Kaupapa Ma Maori dentro da sociedade neozelandesa como um todo. Consiste, portanto, em uma agenda explcita de transformao social. - ori demanda mecaA metodologia de avaliao Kaupapa Ma nismos para gerao de conhecimentos que possibilitem uma avaliao baseada em anlise estrutural da posio do indivduo Maori dentro da sociedade neozelandesa e acabem com a viso
48
dos Maoris como indivduos incapazes. A metodologia Kaupapa - ori tenta entender e procurar as causas da marginalizao dos Ma Maoris; gera uma base de conhecimento com modelos de prticas de divulgao de programas e servios Maoris; e desenvolve teorias sobre os processos e as causas, o rumo e a durao das mudanas positivas promovidas na vida dos Maoris pelos programas e servios. Muitos dos princpios bsicos dos servios e - ori so iguais. Ambos visam transformada avaliao Kaupapa Ma es positivas na vida e na posio dos Maoris. Aliado a isso, vem o reconhecimento da validade e legitimidade do conhecimento e dos mtodos de aquisio do conhecimento dos Maoris. Kaupapa - ori envolve o direito dos Maoris de atuar dentro deste contexMa to, dentro da Aotearoa (nome da Nova Zelndia em Maori). O conhecimento , portanto, extrado dos valores e das crenas Maoris (Smith L. T., 1999). - ori, o mais importante so as Na metodologia Kaupapa Ma pessoas. O conhecimento e a aquisio do conhecimento so estabelecidos dentro do contexto das relaes entre as pessoas, e das relaes entre as pessoas e o seu meio ambiente. A tica da ava- ori trata fundamentalmente da responsabilidaliao Kaupapa Ma de nessas relaes (Cram, Ormond & Carter, 2006). Os avaliadores tm cincia de que a avaliao pode ser descolonizada para atender melhor s necessidades dos Maoris; de que a avaliao deve reservar espaos para ouvir os depoimentos dos Maoris; e de que ela deve ser usada para desestabilizar a estrutura de poder colonial que mantm a marginalizao dos Maoris (Smith L. T., 2006). Esses so os aspectos que norteiam nosso trabalho de avaliao quando examinamos como um problema foi definido, uma soluo foi proposta e/ou considerada bem-sucedida.
3.1 Mtodos de compartilhamento mtuo
Patton (2002, p. 341) afirma que entrevistamos para descobrir o que se passa e o que est dentro da mente de algum para extrair sua histria. A entrevista pode ter um entrevistador perguntando e entrevistados respondendo. Ou os avaliadores podem adotar mtodos participativos para obteno de depoimentos, que propor49
cionem oportunidades de compartilhamento de relatos entre os participantes e de envolvimento em tarefas analticas e avaliativas. Conversas e narrativas tm papel fundamental dentro da sociedade Maori (Walker, 1992). So oportunidades para compartilhar ideias e conhecimento que transformam e do poder (Jackson, 1987-88; Mutu, 1998). Jenny Lee tem adotado e teorizado um - ra - kau, para pesquisar relatos mtodo de narrao, denominado pu de professores Maoris. Ela conta que a elaborao e a narrao repetida de relatos constitui parte comum da divulgao da vida cotidiana e da construo da realidade social. Faz parte, inclusive, da histria e da tradio Maori (Lee, 1996, p.95). Lee (2003) cunhou trs caractersticas da validade na sua teoria: a narrativa deve ser envolvente, autntica e provocadora. Linda Smith (1999) descreve 21 projetos de pesquisa qualitativa que sustentam uma agenda de pesquisa indgena visando o saneamento, a descolonizao, a mobilizao e a transformao. Exemplos de mtodos qualitativos usados em nosso trabalho de avaliao sero descritos a seguir. Os mtodos facilitam a narrao de histrias e o compartilhamento do conhecimento entre as pessoas envolvidas na avaliao. Isso atende a uma agenda dupla de coleta e compartilhamento mtuo de conhecimento dentro de - ori. uma metodologia de avaliao Kaupapa Ma
3.2 Quem identificou a necessidade de interveno?
Para que o nosso trabalho como avaliadores seja relevante, precisamos separar quaisquer problemas que faam parte da anlise racional da iniciativa que est sendo avaliada. Os problemas devem ser contextualizados no geral, incluindo invariavelmente a interpretao dos relatos e dos vrios fatores determinantes da sade e do bem-estar das pessoas. preciso entender por que as comunidades e as diferentes populaes chegam a ser marginalizadas ou privilegiadas dentro da sociedade; e como elas prprias enxergam a natureza da excluso ou da incluso e de seus determinantes. No podemos pensar em dialogar com as autoridades e os privilegiados se a nossa viso est voltada a intervenes destinadas aos necessitados. No entanto, os privilegiados dentro da nossa so50
ciedade so dotados de poder para promover reformas estruturais e a participao deles imprescindvel. Se conhecermos melhor como as pessoas percebem suas prprias vidas e como definem e priorizam seus problemas, teremos uma base mais firme para entender as suas necessidades, prioridades e aspiraes, e como uma iniciativa pode ou no supri-las. So perguntas que questionam sobre o problema em si: Quem identificou o problema?; Para quem isto um problema?; Quem estabeleceu o problema como sendo uma prioridade que efetivamente necessita de interveno?. Essas perguntas podem ser ignoradas se uma interveno tiver como justificativa inicial um problema definitivo (ou seja, inquestionvel) e que exige uma soluo (ver quadro 1).
QUADRO 1: UM PROBLEMA DE GRAFITAGEM Se uma autoridade municipal for questionada sobre algum problema, por exemplo, sobre grafitagem, provavelmente passar a discutir como buscar uma soluo. Contudo, primeiro, deveria avaliar o porqu da existncia da grafitagem e se, quando e por que ela um problema (por exemplo: explorando a diferena entre vandalismo e a arte do grafite). Desse modo, provavelmente chegar a um consenso quanto posio dos jovens na comunidade e ao papel do grafite dentro de um modelo ecolgico de determinantes do bem-estar do jovem. Imagine uma soluo para o problema, que coloque em situao constrangedora o jovem pego grafitando, fazendo-o apagar o grafite, caracterizado, ou vestido, como jovem infrator. uma soluo que cobre apenas superficialmente o grafite, mas no resolve o problema. Compare essa soluo com outra trabalhada junto com o jovem para criar atividades sociais dentro de sua comunidade. A ltima seria descrita como uma soluo que ataca a raiz do problema, ou seja, do jovem marginalizado dentro de sua prpria comunidade por falta de atividades legtimas dedicadas a ele.
Na Nova Zelndia, os Maoris historicamente so vistos como um problema. Por exemplo, no incio da dcada de 1900, quando a taxa de mortalidade infantil entre os Maoris chegava a 50%, o problema no foi justificado como falta de cobertura do servio de sade, mas como negligncia materna. A soluo foi oferecer um curso de artesanato para as jovens Maoris (Simon, Smith, Cram, Hohepa, McNaughton, Stephenson, 2001). Como se pode perceber, a falta de discernimento resultou na oferta de servios inadequa51
dos para os Maoris. O comportamento dos pacientes Maoris quanto ao cuidado com a prpria sade era considerado inadequado e negligente (Penney, Moewaka Barnes, McCreanor, 2011). Estudantes Maoris eram descritos como academicamente insatisfatrios e muitos deixavam a escola com pouca qualificao e com a imagem de estupidez (Smith G. H., 1990). Problemas desse tipo exigem um conhecimento mais estrutural e detalhado, que abranja a identificao e a explorao dos seus fatores determinantes: social, econmico e poltico. Existem duas ferramentas que podem auxiliar nesse sentido: a participao da comunidade e o levantamento de impactos na sade (Health Impact Assessment - HIA).
3.2.1 Participao da comunidade: problemas, solues e aspiraes
A participao da comunidade busca o envolvimento das pessoas nas decises que afetam seus prprios interesses.
Especialmente a participao efetiva do povo local crucial para a regenerao das nossas comunidades mais carentes. S ouvindo as experincias e ideias dos moradores dessas comunidades que conseguiremos encontrar solues que gerem mudanas definitivas. (Scottish Centre for Regeneration, 2007)
So vrias as ferramentas que promovem a participao da comunidade e que podem ser usadas pelos que planejam as intervenes (por exemplo: consultas, diagnsticos de necessidades, investigao apreciativa (Cram, 2010), ferramenta de planejamento PATH3 (Pipi, 2010)). Um avaliador que queira separar um pressuposto inquestionvel de uma interveno tambm pode usar essas ferramentas. Ele pode us-las antes ou como parte da avaliao de
3. Nota do organizador: a ferramenta de planejamento PATH (Planning Alternative Tomorrows with Hope, em livre traduo, Planejando Futuros Alternativos com Esperana) apresentada por Kataraina Pipi em artigo datado de 2010 como ferramenta que se destaca pela produo de aspiraes e projetos de vida inspiradores, com base em facilitao com nfase dialgica, emocional, biogrfica e carregada de produo de imagens.
52
uma interveno, acessando pressupostos considerados inquestionveis sobre problemas, solues e sucesso. Samuel (2009) lista seis pilares que sustentam uma participao satisfatria da comunidade: o recrutamento de pessoas, a comunicao, o processo de ouvir, o compromisso, o trabalho, a produo e a comemorao. No quadro 2, so apresentadas lies de um exerccio de participao da comunidade conduzido por uma organizao filantrpica neozelandesa. As lies buscam um processo de participao baseado na confiana que daria incio ao compromisso com uma relao duradoura.
ORI AND PACIFIC EDUCATION INITIATIVE (MPEI), ASB COMMUNITY TRUST QUADRO 2: MA Na Nova Zelndia, estudantes Maoris e da regio do Pacfico no apresentam bom desempenho escolar. Muitos terminam o Ensino Mdio com pouca ou quase nenhuma qualificao formal. So estudantes que deveriam estar aptos a concluir com xito nosso sistema educacional como Maoris e como crianas e jovens da regio do Pacfico. Para isso, o prprio sistema educacional tornou-se mais receptivo e culturalmente relevante. S h pouco tempo, o Ministrio da Educao modificou suas anlises para que o sistema educacional, e no os estudantes Maoris e da regio do Pacfico, que seja visto como o problema (Ministry of Education, 2011). Em 2005, a ASB Community Trust, uma grande fundao filantrpica de Auckland, decidiu comprometer uma parte significativa de seus investimentos para sustentar as iniciativas educacionais voltadas aos estudantes Maoris e da regio do Pacfico. O que ela fez, ento, depois de firmar esse compromisso, foi realizar uma ampla consulta entre as partes interessadas sobre o que elas viam como problemtico, como possveis solues e, no sentido geral, o que esperavam e aspiravam para que as crianas Maoris e do Pacfico fossem bem-sucedidas no sistema educacional. Vrias lies foram aprendidas, por exemplo, comeando com o trabalho a partir de em uma consulta inicial, at investir em algumas poucas iniciativas. Quando a comunidade consultada, normal haver conflito de interesses entre os que so consultados, os que prestam consultoria, os que decidem quais so prioridades e os que financiam os programas. Somos um pas pequeno e os Maoris e os povos do Pacfico que ocupam posies de liderana exercem muitas funes e invariavelmente mantm relaes com outras pessoas que prestam servios na prpria comunidade. O contragolpe para o conflito de interesses foi uma lio sobre integridade e tica profissional das pessoas envolvidas. Na dcada de 1990, houve inmeras consultas falsas em nossa comunidade, e foi importante a Trust realizar uma verdadeira consulta em que as pessoas sabiam que realmente estavam sendo ouvidas. Tambm fez parte do processo controlar as expectativas dos envolvidos quanto aos resultados da consulta. O resultado foi o compromisso da Trust de aprender fazendo que inovao na Educao exatamente isso, inovador. A Trust tambm surgiu com o desejo de um compromisso permanente com as organizaes financiadas.
Fonte: MPEI Contributors & F. Hancock, 2012.
53
3.2.2 Levantamento de Impactos na Sade: identificao dos problemas, das causas e da trajetria
Uma anlise dos fatores determinantes da sade justifica a utilidade dos Levantamentos de Impactos na Sade para melhor compreender os problemas. Alguns fatores determinantes esto prximos ao indivduo (por exemplo, fatores biolgicos e estilo de vida), outros esto mais distantes (fatores social, cultural e econmico) e seus efeitos so mediados por fatores mais prximos (Public Health Advisory Committee, 2005, p. 15). Por exemplo, o risco de infeco respiratria maior nas pessoas que moram em casas frias e midas; estradas podem unir ou separar comunidades, prejudicando o acesso assistncia social e, por sua vez, sade e ao bem-estar da populao; e a estabilidade no emprego afeta a sade mental (Public Health Advisory Committe, 2007). O desenho de um arco-ris representa bem a distribuio dos fatores determinantes em vrios nveis (Dahlgren & Whitehead, 1991), como mostra a figura 1. FIGURA 1: FATORES DETERMINANTES DA SADE
n Co
s gerai es di
socioeconmica, cultur al e a
mb ien
Condies de vida e de trabalho Ambiente de trabalho Educao
tal
Desemprego
social e comunit des ri a Re

s re
de
gua e esgoto
d estilo e vida i
nd iv
l ua id
Agricultura e produo de alimentos
Servios de sade
Fat o
Idade, sexo e constituio fsica e mental
Moradia
54
Nos ltimos 20 a 30 anos, muitos pases tm registrado um aumento da desigualdade no campo da sade. As justificativas para essa desigualdade esto concentradas em grande parte nos fatores determinantes da sade e na relao entre a distribuio dos fatores e a sade e o bem-estar das diferentes populaes dentro da sociedade (por exemplo: populaes definidas por raa, sexo, incapacidade, rea [rural x urbana]) (Dahlgren & Whitehead, 2006). Por exemplo, um relatrio recente da Organizao Mundial de Sade (CSDH, 2008, p. 1) mostra que:
A sade debilitada da populao pobre[] resultado da desigualdade na distribuio de poder, renda, bens e servios, no mundo e em cada pas, da consequente injustia nas circunstncias imediatas e visveis na vida das pessoas da falta de acesso ao sistema de sade, escolar e educacional, das suas condies de trabalho e lazer, de suas casas, comunidades, bairros ou cidades e das suas chances de conduzir uma vida prspera.
Ferramentas como a HIA (Levantamento de Impactos na Sade ) promovem discusses a respeito dos problemas e da trajetria das causas entre as vrias pessoas envolvidas (Ministry of Health, 2007; Public Health Advisory Committe, 2007). A avaliao examina a trajetria dos fatores determinantes at atingirem o estado de sade da populao, por meio de pensamento conjunto e trabalho intersetorial (World Health Organization, 2010, p. 1). Assim como outros processos de investigao de impacto na sade, a HIA depende da disponibilidade de dados cientficos, de relatos pblicos e da criao de modelos preditivos do impacto potencial das iniciativas planejadas para o campo da sade (AITC Center for Health Impact Asssessment, 2007). Alm dessa base cientfica, o foco voltado igualdade muitas vezes sinaliza uma forte dimen4
4. Nota do organizador: Levantamento de Impactos na Sade foi a traduo escolhida para Health Impact Assessment (HIA), que se diferencia do conceito de Avaliao de Impacto (Impact Evaluation) ao se definir mais como tcnica de investigao (Assessment) do que como modelo avaliativo.
55
so poltica da avaliao. O Public Health Advisory Committee (2005) descreveu o trabalho como sendo de um cenrio poltico e administrativo de alta complexidade. Os profissionais usurios do HIA antecipam, portanto, a necessidade de negociar vises e ideologias polticas (Taylor, Gowman & Quigley, 2003). Em suma, a participao da comunidade e o Levantamento de Impactos na Sade so mecanismos que promovem o compromisso das vrias partes interessadas na discusso dos problemas, das causas e das possveis solues. As discusses, por sua vez, propiciam o consenso muitas vezes inexistente na concepo e no desenvolvimento das intervenes. No mnimo, um exame de complexidade dos problemas pode ajudar a posicionar qualquer interveno como sendo apenas uma parte de um pacote de solues necessrias para enfrentar problemas multifatoriais. Sendo assim, a compreenso do problema pode ajudar a controlar as expectativas quanto s possveis realizaes obtidas com a interveno.
3.2.3 Quem foi envolvido no desenho da interveno?
Uma interveno pode ser a soluo ideal quando bem alinhada com a conscientizao da comunidade quanto a si mesma, aos problemas e s suas aspiraes. Esse cenrio ocorre quando o financiador da interveno e a comunidade beneficiada formam um crculo virtuoso de fortalecimento (ver figura 2). Nesse crculo, o financiador/doador desempenha o papel de suporte no desenvolvimento externo (ou seja, conduzido internamente) dos beneficiados. Em outras circunstncias, a comunidade pode perceber a interveno como imposta de fora (isto , externamente) e pouco relacionada realidade vivida pela comunidade. Nessa circunstncia, no seria surpreendente o avaliador ter de justificar como e por que uma interveno no foi implementada fielmente por ter sido ajustada para atender s necessidades da comunidade beneficiada. O avaliador tem como desafio identificar como a interveno vista pela comunidade beneficiada e pelas pessoas envolvidas.
56
FIGURA 2: CRCULO VIRTUOSO DO FORTALECIMENTO

DOADORES ... percebem a crescente afirmao e o desenvolvimento da capacidade
... ajudam a elevar os padres de avaliao
... percebem os padres aceitos como relevantes e extraem lies ... desenvolvem padres de avaliao; parceria crescente e confiana
... reivindicam a autoria e assumem a responsabilidade ... reformam o sistema para promover o desenvolvimento ... exercem respeito, se contm e ouvem
BENEFICIRIOS
... se expem a certo risco, e oferecem apoio quando solicitado
... controlam a implementao, a equipe e as compras
... concebem, redigem e apresentam o plano
... apoiam os esforos, as prioridades, os sistemas e os processos nacionais
... fazem crtica construtiva e tm compromisso de longo prazo, com base nas condies acordadas
Fonte: Lopes & Theisohn, 2003, pg. 42, figura 1.4.2.
Esta seo descreve a ferramenta conhecida como Desenho do caminho, que o avaliador pode usar para continuar promovendo a compreenso colaborativa, desta vez em relao s iniciativas vistas como solues para os problemas. Com essa ferramenta, as pessoas envolvidas descrevem o contexto de uma iniciativa (por exemplo: como era a situao antes da iniciativa implementada) e falam sobre os resultados reais e previstos. Em seguida, so discutidos alguns modelos lgicos.
57
Desenho do caminho
O professor Ross Conner da University of California, Irvine, Estados Unidos, desenvolveu o mtodo Desenho do caminho (Draw the path ou DTP) para realizar um estudo colaborativo. Ele constatou que o mtodo envolve os participantes e proporciona uma viso complexa de um programa. Conner (2010) tem usado esse mtodo para anlise e avaliao estratgicas e descreve quatro importantes benefcios: 1. Os participantes so envolvidos em um exerccio divertido e estimulante. 2. O resultado uma viso geral complexa do programa descrito. 3. O mtodo recomendado para praticamente todos os programas, principalmente para os que apresentam resultados satisfatrios. 4. O mtodo adequado quando aplicado em grupos minoritrios. Nos Estados Unidos, por exemplo, tem sido utilizado com participantes hispnicos, laosianos da etnia hmong, birmaneses e chineses. No exerccio, os participantes so reunidos e cada um recebe um pincel atmico. Trs folhas de papel so coladas uma na outra e uma linha curva desenhada, sendo marcado em uma extremidade Incio ou Comeo e na outra Agora ou Fim. No contexto Maori, os termos eram Timata (incio) e Mutunga (agora/fim). Poucas instrues so passadas para o grupo; os participantes so orientados a descrever seu programa ou sua atividade ao longo da linha curva. Na descrio, so incentivados a incluir processos e fatos importantes (inclusive as dificuldades e os sucessos obtidos) e os pontos positivos e negativos do processo. O facilitador est presente para esclarecer dvidas, mas no participa das discusses e da elaborao do desenho. O exerccio permite a participao de vrias pessoas e dura mais ou menos uma hora. Terminado o exerccio, o grupo deve conduzir o facilitador ao longo do percurso desenhado. Uma quarta folha pode ser acrescentada e o grupo deve falar sobre a durao do projeto e os xitos e impactos previstos para o futuro.
58
Cram e Paipa (2010) usaram o mtodo para desenvolver estruturas de avaliao de trs componentes do Programa de Assistncia Social Whanau (famlias Maoris), como mostra o quadro 3. O objetivo do programa, implementado nas comunidades Maoris, promover o bem-estar das famlias Maoris (whanau ora) entre os vulnerveis. Essas famlias Maoris vulnerveis so descritas como as que no ascenderam social, econmica e culturalmente na ltima dcada. Tambm usaram o mtodo em programas de assistncia social, pedindo aos profissionais que fazem o primeiro contato que descrevessem a jornada tpica de um cliente ou de uma famlia como ocorre o primeiro contato com o servio, quais so as primeiras providncias tomadas, quais so os momentos crticos e os de comemorao do xito, e se ou quando a jornada se encerra.
QUADRO 3: MTODO desenho do caminho: INICIATIVA PARA A AGRICULTURA MAORI Uma das iniciativas do Programa de Assistncia Social Wha nau (famlias Maoris) consistia em um pequeno investimento (US$ 2.000) na agricultura Maori. O programa tinha como objetivo promover a autossuficincia, o bem-estar, o compartilhamento de conhecimento sobre a agricultura e a cooperao da comunidade. Para estabelecer uma estrutura de avaliao para essa iniciativa, inmeros beneficirios do investimento foram questionados sobre os objetivos e os resultados previstos em relao a seus esforos na agricultura. O mtodo Draw the Path (DTP, Desenho do caminho, em portugus) foi usado para facilitar o feedback de um grupo de jovens rapazes Maoris que estava aprendendo agricultura em um esquema de emprego na comunidade em um centro comunitrio urbano Maori (marae). Os recursos investidos sustentavam o desenvolvimento da agricultura marae e a produo era usada na culinria marae em eventos e visitas na comunidade. Os jovens comearam a desenhar e, quando terminaram, apresentaram o trabalho para os facilitadores e os profissionais marae, inclusive para o supervisor do curso. A trajetria desenhada (veja abaixo) representava o aprendizado deles sobre a agricultura, comeando com a preparao do solo e a semeadura, passando pela colheita e, finalmente, chegando diviso da produo entre as famlias. O mtodo DTP permitiu que os jovens desenhassem o que queriam desenhar, com pouca interveno especfica dos facilitadores. Quando nos apresentaram o resultado, pudemos identificar o novo conhecimento que estavam adquirindo, o encantamento deles com o ciclo da natureza e a satisfao de estarem envolvidos com o marae e a contribuio para a culinria marae.
Fonte: Draw the Path, Te Mahurehure Marae (uso autorizado), Cram & Paipa, 2010.
Achamos importante deixar os participantes desenharem sua prpria linha porque na cultura Maori a linha pode indicar caractersticas importantes da trajetria que o grupo deseja descrever. Portanto, o facilitador no deve definir o formato dessa linha.
59
Tambm fundamental incentivar os participantes a usarem figuras e/ou palavras porque as pessoas pensam de forma diferente. Quando existem vrios participantes, pode haver muita discusso antes de a ideia ser colocada no papel, mesmo que todos tenham recebido um pincel atmico. No geral, o mtodo nos proporciona o privilgio de atuarmos como discretos observadores, porque as pessoas pensam, falam e desenham sua prpria verso negociada da prpria experincia. Alm de nos proporcionar informaes, o mtodo permite inclusive que os participantes explicitamente confirmem e/ou cheguem a uma interpretao compartilhada.
3.2.4 Modelos lgicos
O desenvolvimento das estruturas de avaliao do Programa de Assistncia Social Whanau contou com a participao da comunidade em geral, com grupos de participantes especficos e entrevistas, com o uso do mtodo Desenho do caminho. Um dos resultados obtidos desse processo foi o desenvolvimento de modelos lgicos para descrever as diferentes iniciativas do programa. Uma lgica de interveno de alto nvel para a iniciativa Maara Kai (agricultura Maori) foi desenvolvida com base na descrio feita pelo financiador do programa (ver figura 3). A lgica motivou a participao da comunidade por proporcionar uma descrio visual de como seria a estrutura da avaliao quando os objetivos da iniciativa se transformassem em resultados e uma descrio dos objetivos/resultados como prticas culturais Maoris (por exemplo: rangatiratanga - autossuficincia). Foi importante tambm que os passos iniciais dados pela comunidade para ter acesso ao financiamento fossem percebidos como resultados imediatos (isto , identificando as pessoas da comunidade que pudessem conduzir a iniciativa e se candidatar ao financiamento). A relao circular entre os dois quadros de resultados de curto prazo da figura 3 confirma a atividade de agricultura como promotora da autossuficincia, do bem-estar, das relaes, do cuidado e do compartilhamento do conhecimento. Foi previsto que somente com o ciclo perfeitamente definido que as prticas de agricultura seriam disseminadas dentro da comunidade.
60
FIGURA 3: LGICA DA INTERVENO DE ALTO NVEL: AGRICULTURA MAORI (MAARA KAI)
Aplicaes comunitrias para o investimento em agricultura Maori (Maara Kai) Liderana envolvida
Desenvolvimento da agricultura Maori baseada na comunidade Participao da comunidade na agricultura Maori Plantio Produo da agricultura Maori
Autossuficincia (Rangatiratanga) Bem-estar (Oranga) Relaes (Whanaungatanga) Cuidado e compartilhamento (Kaitiakitanga e manaakitanga ) Disseminao do conhecimento e da prtica da agricultura Maori (Maara Kai) na comunidade em geral
Resultados imediatos
Resultados no curto prazo
Resultados no longo prazo
Dezenas de organizaes beneficiadas com o financiamento para a agricultura Maori foram entrevistadas para o desenvolvimento da estrutura de avaliao. Com base no feedback dessas entrevistas, uma lgica de interveno mais detalhada foi desenvolvida (tabela 2), qual foram associados indicadores e mtodos de avaliao. Embora no tenha sido um trabalho efetivamente colaborativo, j que os avaliadores desenvolveram o modelo lgico aps e no durante as visitas comunidade, o processo permitiu o desenvolvimento transparente da estrutura de avaliao com as informaes extradas do feedback.
61
62 Resultados imediatos Resultados de curto prazo Rangatiratanga (autossuficincia) Rangatiratanga Resultados de longo prazo Surgimento do planejamento pelas Satisfao com a agricultura famlias de sua prpria agricultura Surgimento de liderana comunitria e Incentivo liderana na agricultura em planejamento da sucesso toda a comunidade Relao entre as pessoas com problemas Conscientizao crtica da rangatiratanga mais abrangentes em termos de rangatiratanga Oranga Oranga (bem-estar) Melhoria do bem-estar e da satisfao Melhoria das relaes sociais Aumento do consumo de vegetais Melhoria dos nveis de atividade fsica Kaitiakitanga e Manaakitanga (cuidado e compartilhamento) Aprimoramento do conhecimento sobre agricultura Aprimoramento do conhecimento da relao entre a agricultura e os protocolos culturais Aumento da conscientizao quanto aos sistemas de conhecimento Maori e s relaes com a terra Whanaungatanga (relaes) A agricultura atende s necessidades e aspiraes da comunidade A atividade agrcola mais comunitria Compreenso maior das relaes comunitrias de vida Melhoria das relaes sociais Distribuio da produo entre os membros da comunidade Melhoria dos nveis de atividade fsica Kaitiakitanga e Manaakitanga Aumento da participao dos membros da comunidade nas atividades educacionais de agricultura Aprimoramento do conhecimento sobre os mtodos de agricultura Maori Aprendizes tornando-se instrutores Whanaungatanga Aumento da participao dos membros da comunidade na agricultura Orgulho e responsabilidade da comunidade em relao agricultura Melhoria das relaes comunitrias Nmero de pessoas participantes do plantio Promoo de iniciativas educacionais
TABELA 2: LGICA DA INTERVENO DA INICIATIVA DE AGRICULTURA MAORI
Recursos
Atividades
Concesso de pequeno financiamento total (at US$ 2.000) s comunidades Maoris para os custos iniciais de um novo plantio
Orientaes e recomendaes
Desenvolvimento Orientaes e de novos plantios recomendaes pedidas e/ou ampliao dos existentes Disseminao numrica e geogrfica Cuidado com de novos plantios a agricultura desenvolvidos Colheita da Tipos de atividades produo realizadas
Ferramentas Maara Kai
Pacote de comunicaes
Comunidades Maoris e organizaes de assistncia social tm criticado o uso da lgica de interveno nos projetos de avaliao por causa da linearidade observada. Nossa resposta aos crticos: a lgica de interveno apenas uma representao visual da interveno e no a total realidade, e essa representao concebida para que os financiadores e as organizaes beneficiadas/provedoras possam estabelecer um dilogo sobre a iniciativa utilizando uma linguagem de avaliao mutuamente compreendida. Tambm temos cincia de que a lgica de interveno no deve ser desenhada de forma linear (W.K. Kellogg Foundation, 2004). Em suma, os avaliadores muitas vezes questionam a implementao de iniciativas com a participao de vrias pessoas. Buscamos ferramentas que promovam um processo de investigao que permita um entendimento compartilhado entre as pessoas envolvidas, os avaliadores e os financiadores do programa. Dentro de um contexto de relaes ou de avaliao orientada pela comunidade, a discusso sobre como produzir a iniciativa tambm deve contribuir para o desenvolvimento indutivo da teoria do programa (Funnell & Rogers, 2011).
3.2.5 Quem definiu os critrios para considerar a interveno bem-sucedida ou no?
Acordos de financiamento firmados sem o perfeito conhecimento de uma comunidade podem superestimar a capacidade dos beneficirios do programa e subestimar o tempo necessrio para que eles obtenham os benefcios previstos (ver quadro 4). Eleger histrias de sucesso a partir das equipes responsveis pela realizao dos programas, ou da prpria populao beneficiria, pode proporcionar uma inspiradora leitura a respeito da linha de base de onde a populao partiu, do tamanho dos passos que este grupo foi capaz de dar, e dos elementos que apoiaram as pessoas a dar esses passos dentro do marco temporal da iniciativa. Na nossa prtica de avaliao, a tcnica da Mudana Mais Significativa (Most Significant Change ou MSC) nos possibilitou ouvir relatos sobre as mudanas mais valorizadas pelos beneficirios dos servios de uma iniciativa. O mtodo extremamente vlido
63
em contextos em que os atores interessados divergem quanto ao significado dos resultados alcanados, bem como quanto aos resultados no esperados (Davies & Dart, 2005).
QUADRO 4: UMA INTERVENO PRONTA PARA A COMUNIDADE H alguns anos tive o privilgio de entrevistar irms de uma ordem religiosa sobre o trabalho realizado por elas em um bairro pobre de um centro urbano da Nova Zelndia (Cram & Te Marino, 2000). Uma excelente lio que aprendi a partir do trabalho delas foi que os ganhos obtidos pelas pessoas daquela comunidade foram pequenos, mas extremamente importantes. Por exemplo: depois de uma das irms ter passado meses visitando uma mulher na casa dela, esta decidiu frequentar um programa de costura promovido pela ordem. Quando o curso terminou, a mulher trouxe a prima e ambas participaram do curso de costura seguinte. Esses pequenos passos foram o incio da trajetria das mulheres at chegar a outras oportunidades, como, por exemplo, um curso para aperfeioar a capacidade de leitura e escrita, aprimorar a qualificao profissional e aumentar as oportunidades de emprego. Essa trajetria foi mais envolvente, mais intensamente apoiada e mais longa do que a prevista por um investidor disposto a financiar essa mulher apenas se ela participasse de um programa pronto de seis meses, para obter um emprego aps a concluso do curso.
3.2.6 Relatos sobre as mudanas mais significativas
O mtodo MSC envolve a coleta de relatos sobre o que as pessoas consideram ser uma histria de sucesso em um programa em que esto envolvidas. MSC um mtodo no qual pessoas importantes relatam a sua histria e so incentivadas a falar sobre os aspectos positivos e negativos da sua trajetria. O mtodo MSC:
respeita o julgamento das pessoas; uma forma de monitoramento e avaliao participativa; concentra-se no aprendizado e no na responsabilidade; envolve a coleta de relatos de mudanas significativas, seguida da escolha da histria mais significativa (Davies & Dart, 2005).
O mtodo incentiva o monitoramento e a avaliao participativa. Os atores interessados participam da deciso sobre o tipo de mudanas que deve ser registrado e da anlise dos dados. A escolha de uma histria ou das histrias mais significativas est relacionada ao que as pessoas ou as organizaes valorizam em termos de mudana e tambm visa inform-las sobre o ritmo
64
das mudanas e a trajetria de cada pessoa. O interesse no treinamento de Maoris nesse mtodo estava na ideia dos relatos e na explicao dos modelos prticos e das avaliaes. Havia, no entanto, muita resistncia e hesitao na escolha de quantas histrias de mudanas seriam mais significativas, porque cada pessoa se identificava com as histrias de forma diferente. Vrias vezes, duas ou mais histrias mais significativas eram escolhidas, cada qual por razes diferentes e perfeitamente justificveis. As pessoas viam efetivamente a possibilidade de usar a histria no monitoramento, que ocorre por todo um ciclo do programa, e na obteno de dados de avaliao dos resultados (e no desenvolvimento indutivo de uma teoria de mudanas). Uma ONG de assistncia a jovens foi perspicaz ao compartilhar suas histrias de mudanas significativas para que eles tambm pudessem compartilhar e refletir sobre o caminho trilhado durante a participao no programa. Exemplos de histrias de mudana significativa tambm ajudam no planejamento de futuras diretrizes para programas de assistncia social. O quadro 5 apresenta uma breve histria de mudana significativa. O relato foi obtido como parte da avaliao de uma iniciativa baseada na comunidade visando conscientizao sobre o abuso infantil.
QUADRO 5: UMA HISTRIA DE MUDANA MAIS SIGNIFICATIVA [A iniciativa] abriu meus olhos para vrios aspectos positivos que voc no v na rua, apenas ao observar as pessoas passando, sobre todo o suporte que dado para as crianas. Voc sabe que, no final da sua rua, pode morar uma famlia com a qual voc no conversa nem interage. Mas, as crianas dessa famlia, se ela estiver envolvida nesses programas comunitrios, se aproximam e, consequentemente, os pais se aproximam tambm. Assim, as pessoas acabam se conhecendo muito mais do que no ambiente do dia a dia.
Fonte: Cram, Taupo & Kennedy, 2006, p. 23.
Em suma, as histrias de mudanas mais significativas podem revelar os resultados mais valorizados e ressaltar os temas mais recorrentes na trajetria de clientes durante a participao
65
de programas de assistncia social. Os relatos sensibilizam as pessoas. Usar essas histrias para obter uma compreenso compartilhada uma experincia muito positiva para as partes envolvidas. Dilogos e decises tomadas (e a histria mais significativa) entre vrias pessoas aumentam a autoestima e a compreenso. Sendo assim, um mtodo de avaliao pode afetar a vida das pessoas e ser um agente potencial de mudanas se elas aplicarem as novas percepes e a compreenso no seu prprio trabalho e nas decises. 4. COMENTRIOS finais A avaliao exerce a importante funo de determinar e avaliar a trajetria percorrida pelas pessoas quando envolvidas em uma iniciativa. um privilgio observar as muitas dificuldades enfrentadas pelas pessoas no incio da trajetria, o caminho percorrido, os fatores que as motivam a continuar e que as mantm seguras, o destino previsto e a confirmao da chegada ao objetivo final. Na metodolo- ori, o avaliador deve desenvolver relagia de avaliao Kaupapa Ma es respeitosas com todas as pessoas envolvidas; o conhecimento e o modo de aprendizado dos Maoris so valorizados; e nossa maior responsabilidade para com as nossas relaes, para com os vulnerveis e marginalizados dentro da sociedade colonizada. A disponibilizao de programas e servios que acabem com a vulnerabilidade dos Maoris e que lhes permitam sonhar e aspirar contribui para a sobrevivncia cultural dos Maoris como um povo. Nossa tarefa como avaliadores de programas e servios dedicados aos Maoris , portanto, uma realizao sria. Se usarmos mtodos de avaliao que facilitem o compartilhamento mtuo entre as vrias pessoas interessadas nos programas e servios, promoveremos o entendimento e a defesa dos Maoris, e o sucesso deles como Maoris. Neste trabalho, foram apresentados trs questionamentos e foram descritos mtodos usados pelos avaliadores para obter respostas das partes interessadas. Relatos e conversas fazem parte das ferramentas dos avaliadores e ajudam os participantes a entenderem a complexidade e os fatores determinantes do problema tratado na iniciativa, como a iniciativa foi desenvolvida e como definir o sucesso. Somente quando as vrias opinies so ouvi66
das ao responder a essas perguntas que temos certeza de que as respostas refletem a natureza nociva dos problemas enfrentados pelos grupos que sofrem com a desigualdade no campo da Sade, Educao, renda, moradia, emprego etc. Nesse contexto, nocividade no significa grau de dificuldade Um problema nocivo tem inmeras causas, difcil de descrever e no tem uma resposta certa (Camillus, 2008). tambm extremamente poltico, porque atenuar um problema nocivo muitas vezes significa redistribuir bens e servios entre os que podem ser vistos pela maioria da sociedade como menos merecedores. Mtodos de avaliao e pesquisa que examinam intervenes para melhorar a vida de povos indgenas (por exemplo, as Pesquisas Participativas de Base Comunitria) tendem a se dedicar diminuio da desigualdade. De fato, em recentes consultas para o planejamento na rea da sade, os Maoris puderam falar sobre os problemas que afetam sua comunidade. A maior dificuldade para eles foi descrever a sade familiar (whanau ora) e suas aspiraes em termos de bem-estar (e no apenas a falta de sade). Um desafio para os avaliadores , portanto, facilitar a anlise estrutural dos problemas e fazer as pessoas enxergarem que podem reduzir a desigualdade e que podem realizar muito mais. Isso exige conhecimento e valorizao da cultura e das prticas das pessoas marginalizadas, porque as aspiraes a que devemos atentar so os sonhos delas de bem-estar e prosperidade. As ferramentas de avaliao descritas neste trabalho podem ser facilitadas se j houver uma relao estabelecida entre o avaliador e a comunidade. Se ainda no houver relao estabelecida, o uso das ferramentas pode ser visto como sinalizao de um desejo do avaliador por uma abordagem de avaliao centrada na comunidade. Abordagens desse tipo so evidentes em avaIiaes e pesquisas participativas (Wallerstein & Duran, 2006), Avaliaes Transformadoras (Mertens, 2009), Empowerment Evaluation5
5. Nota do organizador: ainda que alguns autores tenham optado pela livre traduo de Empowerment Evaluation como Avaliao Empoderadora, optamos pela manuteno do original em ingls, em razo da impreciso do termo empoderador no portugus. Por orientaes informais do prprio autor do termo, David Fetterman, um bom sinnimo para empowerment seria autodeterminao.
67
(Fetterman & Wandersman, 2005) e Avaliaes para Desenvolvimento (Patton, 2010). Se essas ferramentas tornam a avaliao mais relevante, elas tambm aproximam o avaliador das comuni- ori dades em que atuam. A metodologia de avaliao Kaupapa Ma envolve relaes e responsabilidades duradouras. Supomos que o trabalho de avaliao em outras comunidades marginalizadas tenha o mesmo grau de suscetibilidade. Enfim, quando avaliamos iniciativas que tentam transformar a sociedade, precisamos envolver todos os atores interessados e acompanh-los em uma trajetria que os coloque em contato com as diversas maneiras de enxergar o mundo, com os problemas vivenciados pelas pessoas, com as solues que possivelmente funcionem. Mtodos de avaliao que propiciem isso dentro de um ambiente seguro para todos pode, no mnimo, gerar entendimento mtuo, e at mesmo, potencialmente, gerar defensores e agentes de mudanas. Vivemos todos juntos neste planeta e, como avaliadores, temos certas obrigaes, ainda que simples, de incentivar os privilegiados a dar espao e permitir que os demais vivenciem a incluso social, a igualdade e a justia. Referncias bibliogrficas Abel, S. (1997). Shaping the news - Waitangi Day on television. Auckland: Auckland University Press. AITC Center for Health Impact Asssessment. (2007). AITC Center for Health Impact Assessment. Acessado em 22 de maro de 2010 do Alaska Inter-Tribal Council: Advocating for Alaska Tribal Governments: <http://www.aitc.org/node/3>. Camillus, J. C. (2008). Strategy as a wicked problem. Harvard Business Review, Acessado em 4 de agosto de 2012: <http://hbr. org/2008/05/strategy-as-a-wicked-problem/ar/1>. Conner, R. (2010). Draw the Path: A technique for evaluation and planning. Based on presentations at Australasian Evaluation Society conference and workshops, Melbourne, Canberra and Perth, September 2007; International Program Evaluation Network Conference, Moscow, September 2007; American Evaluation Association conferences 2007-2009.
68
Cram, F. (2010). Appreciative Inquiry. MAI Review (3), Artigo 4. Cram, F. (2011). Poverty. In T. McIntosh & M. Mulholland (Eds.), Maori and social issues. Wellington: Huia. -ori children and wha -Cram, F. (2012). Safety of subsequent children - Ma nau. A review of selected literature. Wellington: Families Commission (Disponvel em: <http://www.familiescommission. org.nz/publications/research-reports/safety-of-subsequent- ori-children-and-wha - nau>.). children--ma Cram, F. & Paipa, K. (2010). Whanau Social Assistance Programme: -nau, Oranga Evaluation framework Maara Kai, Kaitoko Wha - kiri. -nau. Wellington: Te Puni Ko Wha - ku wha -nau, ko to - ku mana. In V. Cram, F. & Pitama, S. (1998). Ko to Adair &; R. Dixon (Eds.), The family in Aotearoa New Zealand (pp. 130-157). Auckland: Addison Wesley Longman. -ori principles, proCram, F. & Te Marino, L. (2000). Kaupapa Ma -ori Research cedures and practices - Provider interviews. A Ma ment Report prepared for Te Puni Kokiri. Auckland: IRI. Develop Cram, F., Oakden, J. & Wehipeihana, N. (2011). Future directions for a -ori dental therapy workforce. Wellington: Ministry of Health. Ma Cram, F., Ormond, A. & Carter, L. (2006). Researching our relations: Reflections on ethics. Alternative: An international Journal of Indigenous Scholarship, Special Supplement 2006 - Marginalisation, 280-198. Cram, F., Taupo, K. & Kennedy, V. (2006). Everyday Communities Te Taitokerau - Evaluation report prepared for the Department of Child, Youth and Family and Amokura. Wellington: Katoa Ltd. CSDH. (2008). Closing the gap in a generation: health equity through action on the social determinants of health. Final report of the Commission on Social Determinants of Health. Geneva: World Health Organization. Curtis, E., Harwood, M. &; Riddell, T. (2007). Cardiovascular dis-ori stanease. In B. Robson &; R. Harris (Eds.), Hauora: Ma dards of health IV (pp. 141-158). Wellington: Te Ropu Rangahau - ori a Eru Po - mare, University of Otago. Hauora Ma Dahlgren, G. & Whitehead, M. (2006). European strategies for tack ling social inequities in health: Levelling up Part 2. Copenhagen: World Health Organisation.
69
Dahlgren, G. & Whitehead, M. (1991). Policies and strategies to promote social equality and health. Stockholm: Institute of Future Studies. Davies, R. & Dart, J. (2005). The Most Significant Change (MSC) technique. A guide to its use. <www.mande.co.uk/docs/MSCGuide.pdf>. Durie, M. (1994). Whaiora: Maori health development. Auckland: Oxford University Press. Families Commission. (2011). Submission by the Families Commis-ori Affairs Select Committee on the Determinants sion to the Ma -ori children. Wellington: Families Comof the wellbeing of Ma mission. Fetterman, D. M. & Wandersman, A. (Eds.). (2005). Empowerment evaluation principles in practice. New York: Guilford Press. Funnell, S. C. & Rogers, P. J. (2011). Purposeful program theory: Effective use of theories of change and logic models. San Francisco: John Wiley &; Sons. - ori Gardiner, W. (1994). Marae to global village 1000 years of Ma - mau Tonu. Proceedings of the Hui Whakadevelopment. Kia Pu - mau Ma -ori Development Conference (p. 68). Palmerston pu - ori Studies Department. North: Massey University Ma -ori and the criminal justice system: A Jackson, M. (1987-88). The Ma new perspective: He whaipaanga hou. Wellington: Department of Justice. -ori - A photographic and social history. Auckland: King, M. (1996). Ma Reed. Kunitz, S. (1994). Disease and social diversity: The European impact on the health of non-Europeans. New York: Oxford University Press. - kau approach to Ma -ori teacher Lee, J. B. (2003). Nga tohutohu: A pura narratives. In D. Fraser & R. Openshaw (Eds.), Informing our practice: Special volume. Selections form the TEFANZ Conference. Palmerston North: Kanuka Grove Press. Lopes, C. & Theisohn, T. (2003). Ownership, leadership and transformation: Can we do better for capacity development? London &; New York: Earthscan; United Nations Development Programme, United Nations.
70
Mertens, D. M. (2009). Transformative research and evaluation. New York: Guilford Press. Mertens, D. M. & Wilson, A. T. (2012). Program evaluation theory and practice. A comprehensive guide. New York: The Guilford Press. Ministry of Education. (2011). Briefing to the Incoming Minister. Wellington: Ministry of Education. Ministry of Health. (2007). Whanau Ora Health Impact Assessment. Wellington: Ministry of Health. MPEI Contributors & F. Hancock. (2012). He Akoranga He Arotohu: -ori and Pacific Education Initiative. Lessons to guide innovative Ma philanthropic & social practice. Auckland: ASB Community Trust. Mutu, M. (1998). Barriers to research: The constraints of imposed -ori Reframeworks.A Keynote Address to Te Oru Rangahau Ma search and Development Conference, 7-9 July. Palmerston North: Massey University. Myers, C. (2004). Differences from somewhere. The normativity of whiteness in bioethics in the United States. American Journal of Bioethics, 3 (2), 1-11. Orange, C. (1987). The Treaty of Waitangi. Wellington: Allen and Unwin. Patton, M. Q. (2010). Developmental evaluation. Applying complexity concepts to enhance innovation and use. New York: Guilford Press. Patton, M. Q. (2002). Qualitative research and evaluation methods (3rd Edition ed.). Thousand Oaks, California: Sage. Penney, L., Moewaka Barnes, H. & McCreanor, T. (2011). The blame game: Constructions of Maori medical compliance. AlterNative: An International Journal of Indigenous Scholarship, 7 (2), 73-86. -Pipi, K. (2010). The PATH Planning Tool and its potential for wha nau research. MAI Review, 3. Pipi, K., Cram, F., Hawke, R., Hawke, S., Huriwai, T. M., Keefe, V., et -ori and Iwi provider success: A research report of inal. (2003). Ma -ori providers and government terviews with successful Iwi and Ma agencies. Wellington: Te Puni Kokiri.
71
Public Health Advisory Committe. (2007). An idea whose time has come. New opportunities for Health Impact Assessment in New Zealand public policy and planning. Wellington: Public Health Advisory Committee. Public Health Advisory Committee. (2005). A guide to Health Impact Assessment: A policy tool for New Zealand. 2nd Edition. Wellington: Public Health Advisory Committee. Robson, B., Cormack, D. & Cram, F. (2007). Social and economic in-ori standicators. In B. Robson &; R. Harris (Eds.), Hauora: Ma dards of health IV: A study of the years 2000-2005. Wellington: - pu - Rangahau Hauora a Eru Po - mare. Te Ro Samuel, J. (2009 2009-August). Six steps to community engagement. Retrieved 2012 4-August from Transition towns New Zealand Aotearoa: <http://www.transitiontowns.org.nz/node/1901>. Scottish Centre for Regeneration. (2007). Community engagement how to guide. Retrieved 2012 4-August from Communities Scotland: <http://www.communitiesscotland.gov.uk/stellent/groups/ public/documents/webpages/scrcs_006876.hcsp#TopOfPage>. Sen, A. (2000). Social exclusion: Concept, application, and scrutiny. Social Development Papers No. 1. . Manila, Phillipines: Office of Environment and Social Development, Asian Development Bank. Simon, J., Smith, L., Cram, F., Hohepa, M., McNaughton, S. & Stephenson, M. (2001). A civilising mission? Perceptions and representations of the Native Schools systems. Auckland: Auckland University Press. -ori education: The Smith, G. H. (1990). The politics of reforming Ma - ori. In H. Lauder transforming potential of Kura Kaupapa Ma & C. Wylie (Eds.), Towards successful schooling (Vol. 185, pp. 7388). London: The Falmer Press. -ori: Theory and Smith, G. (1997). The development of Kaupapa Ma praxis. Unpublished PhD Thesis. Auckland: University of Auck land. Smith, L. T. (1999). Decolonising methodologies: Research and indigenous peoples. New York & Dunedin: Zed Books & Otago University Press.
72
- ori Smith, L. T. (2006). Researching in the margins: Issues for Ma researchers - A discussion paper. Alternative: An International Journal of Indigenous Peoples, 2 (1), 4-27. -nau-Centred Initiatives. (2010). Whanau Ora: Taskforce on Wha -nau-Centred Initiatives, to Hon. Report of the Taskforce on Wha Tariana Turia, Minister for the Community and Voluntary Sector. -nau-Centred Initiatives. Wellington: Taskforce on Wha Taylor, L., Gowman, N. & Quigley, R. (2003). Wetherby, Yorkshire: Health Development Agency. UNPFII. (2009). State of the Worlds Indigenous Peoples. New York: United Nations. W.K. Kellogg Foundation. (2004). Logic model development guide. Michigan: W.K. Kellogg Foundation. Walker, R. (2004). Ka whawhai tonu: Struggle without end (Revised Edition ed.). Auckland: Penguin. Walker, R. (1992). Marae: A place to stand. In M. King (Ed.), Te Ao Hurihui. Aspects of Maoritanga. Auckland: Reed (Reprinted 2003). Wallerstein, N. B. & Duran, B. (2006). Using Community-Based Participatory Research to address health disparities. Health Promotion Practice, 7 (3), 312-323. World Health Organization. (2010). Health Impact Assessment. Retrieved 2010 21-March from World Health Organization: <http://www.who.int/hia/en/>. RECURSOS E MAIS INFORMAES Fiona Cram: fionac@katoa.net.nz. Muitos dos artigos escritos pela autora em coautoria podem ser baixados em www.katoa.net.nz.
73
A avaliao no contexto de programas e projetos sociais brasileiros

Ana Lima
Diretora executiva do Instituto Paulo Montenegro
Antonio Bara Bresolin

Especialista da Fundao Ita Social
Martina Rillo Otero

Consultora associada ao Instituto Fonte
INTRODUO Conhecer e compreender cada vez mais a prtica da avaliao de programas e projetos sociais no Brasil necessrio para que se possa contribuir com o fortalecimento da disciplina nesse contexto. Com o intuito de contribuir para a melhoria dos projetos e potencializar o papel da avaliao nesse processo, a Fundao Ita Social, o Instituto Fonte, o Instituto Paulo Montenegro e o IBOPE Inteligncia realizaram em parceria duas pesquisas sobre a rea no Pas. Os estudos se orientaram para a anlise da prtica e buscaram conhecer mais sobre a realidade da avaliao no campo social. A primeira pesquisa, intitulada A avaliao de programas e projetos sociais de ONGs no Brasil, foi feita em 2009. A segunda, chamada As abordagens e prticas de avaliao de iniciativas sociais no Brasil: a perspectiva dos profissionais que atuam na rea, foi iniciada em 2011 e ainda est em andamento, mas tem seus resultados parciais discutidos neste artigo.
75
Os dois estudos apresentam vises complementares, a do cliente-demandante e a do profissional-executor. Busca-se aqui aprofundar uma anlise a partir do dilogo entre os dois, caracterizar crenas e prticas da avaliao de uma maneira ampla e investigar a relevncia da disciplina na perspectiva desses distintos pblicos. Dessa discusso, quer-se trazer leituras sobre caractersticas, tendncias e desafios para o desenvolvimento do setor da avaliao no Brasil. Os dados que embasaram as anlises esto disponveis nos sites da Fundao Ita Social e do Instituto Fonte1. Detalhes metodolgicos de cada pesquisa no sero discutidos neste artigo, mas os quadros a seguir apresentam uma breve descrio sobre a lgica de cada estudo:
QUADRO 1: A avaliao de programas e projetos sociais de ONGs no Brasil Ano 2009/2010 Foco Organizaes da sociedade civil sem fins lucrativos Objetivos Mapear quanto e como as ONGs brasileiras avaliam seus projetos e programas sociais. Conhecer motivaes, desafios e tendncias da avaliao de projetos e programas sociais no Brasil. Participantes 363 organizaes respondentes com representatividade nacional (RAIS1 e FASFIL2) Metodologia Coleta de dados via web, com questionrio de autopreenchimento on-line Destaques A avaliao est presente na pauta das organizaes. O sentido e a prtica da avaliao variam bastante. H desafios para potencializar as contribuies e a utilidade da avaliao.
1. Relao Anual de Informaes Sociais. 2. Pesquisa sobre Fundaes e Associaes Privadas Sem Fins Lucrativos no Brasil, desenvolvida a partir da parceria entre Instituto Brasileiro de Geografia e Estatstica (IBGE), Instituto de Pesquisa Econmica Aplicada (Ipea), Associao Brasileira de Organizaes No Governamentais (Abong) e Grupo de Institutos e Fundaes Empresariais (Gife). Fonte: Instituto Fonte. A avaliao de projetos e programas sociais de ONGs no Brasil. Relatrio de pesquisa produzida em parceria com Fundao Ita Social, Instituto Paulo Montenegro IBOPE Inteligncia. So Paulo: Instituto Fonte, 2009.
1. <www.fonte.org.br>. ltimo acesso: outubro 2012.
76
a avaliao no contexto de programas e projetos sociais brasileiros
QUADRO 2: As abordagens e prticas de avaliao de iniciativas sociais no Brasil: a perspectiva dos profissionais que atuam na rea Ano 2011/2012 Foco Profissionais que atuam em avaliao de projetos sociais Objetivos Aprofundar o conhecimento sobre as prticas predominantes. Identificar as principais influncias e abordagens. Primeira fase Levantamento do perfil dos profissionais que atuam em avaliao de projetos e da articulao entre eles (anlise de rede social). Participantes 133 avaliadores entrevistados entre 279 nomes indicados Metodologia Questionrio, entrevista telefnica e levantamento de indicaes atravs da metodologia de bola de neve1 Segunda fase Aprofundamento sobre as concepes, abordagens e prticas. As anlises preliminares ainda se encontram em processo de finalizao2. Participantes 16 avaliadores selecionados conforme critrios para identificao de atores-chave na rede, atravs de indicadores derivados da anlise de rede (centralidade de intermediao, centralidade de grau e prestgio), complementados por critrios que garantiram heterogeneidade de grupos. Metodologia Entrevistas em profundidade
1. A tcnica denominada como snowball sampling (bola de neve) uma forma de amostra no probabilstica utilizada em pesquisas, na qual participantes iniciais do estudo indicam novos participantes, que, por sua vez, indicam novos participantes, sempre segundo critrios explcitos, e assim sucessivamente, at que seja alcanado um determinado ponto de saturao. 2. Em julho de 2012, ms de realizao do Seminrio Internacional A Relevncia da Avaliao para o Investimento Social Privado. Fonte: Instituto Fonte. Avaliao de programas e projetos sociais: a perspectiva dos profissionais que atuam na rea. Relatrio de pesquisa produzida em parceria com Fundao Ita Social, Instituto Paulo Montenegro IBOPE Inteligncia. So Paulo: Instituto Fonte, 2012. INDITO.
1. A IMPORTNCIA ATRIBUDA AVALIAO Se h alguns anos parecia necessrio advogar junto s organizaes da sociedade civil sobre a necessidade e a importncia de avaliarem suas iniciativas, essa j no a realidade atual. Tanto as informaes colhidas nas organizaes, quanto as identificadas a partir dos profissionais demonstram isso.
77
No estudo realizado com as organizaes que implementam programas e projetos sociais, a avaliao considerada muito importante (mdia de 9,4 em escala 0-10). Com efeito, 91% delas afirmaram ter realizado pelo menos uma avaliao de programa ou projeto nos ltimos cinco anos e 96% tm a inteno de realizar avaliaes em projetos futuros. O estudo indica ainda que as organizaes participam ativamente da deciso de avaliar suas iniciativas (em 89% dos casos a organizao participou da deciso de avaliar, sendo que em 54% a deciso foi exclusivamente dela), contrapondo uma compreenso do senso comum de que eram as financiadoras que tomavam essa deciso. As organizaes tambm participam ativamente do processo de avaliao. As avaliaes so conduzidas por equipes internas (85%) e por avaliadores externos (22%). Como a soma dos dados ultrapassa 100%, entende-se que em alguns casos houve trabalho de equipes mistas (interna e externa), sendo que 55% das organizaes afirmam ja ter participado de formacoes especficas em avaliacao. O segundo estudo mapeou e identificou 279 profissionais que atuam no campo da avaliao, indicados diretamente pelas ONGs como pessoas que realizaram avaliaes de seus projetos ou por pares que atuam no setor. A partir desse universo possivelmente ainda mais extenso foi possvel traar um perfil dos profissionais ativos na rea. A alta qualificao confirma a relevncia do setor: os avaliadores de programas e projetos sociais no Brasil so profissionais com alto nvel de escolaridade (cerca de 90% com graduao completa, 65% ps-graduados) e amplo conjunto de formaes, no havendo um padro de curso universitrio especfico. Os avaliadores atuam em diversas reas temticas, conforme a demanda do cliente, e trabalham com temas abrangentes e distintos dentro do campo da avaliao. So profissionais versteis sem necessariamente apresentarem especializao em uma rea temtica. Para complementar essa caracterizao, as 133 entrevistas destacaram trs fatores importantes que qualificam adicionalmente os profissionais: atuao em pesquisa, trabalho como gestor de organizaes sociais privadas ou pblicas e histrico como militante na rea social. A experincia dentro desses trs segmentos con78
tribui para o desenvolvimento das competncias complementares para os avaliadores, caracterizando o trip academia-gesto-sensibilidade social como o conjunto de competncias formadoras. Essas competncias cobrem aspectos tcnicos, rigor metodolgico, conhecimento sobre o setor social e suas dinmicas, motivao e identificao com a rea de atuao.
QUADRO 3: Perfil dos avaliadores 133 entrevistados 68% mulheres 42 anos em mdia (com concentrao entre 36 e 55 anos) Alto nvel de escolaridade 65% com ps-graduao em nvel de mestrado ou doutorado 26% com ensino superior completo Multiplicidade de reas de formao 39% em pedagogia, sociologia, psicologia, servio social 16% em economia e administrao 9% em comunicao e jornalismo 36% restantes de reas variadas, com diversas formaes acadmicas Localizao 75% na Regio Sudeste 11% na Regio Nordeste 8% na Regio Sul Alto envolvimento nas atividades de planejamento e anlise. Menor envolvimento em formaes de outros avaliadores ou estudos no campo.
Fonte: Instituto Fonte. Avaliao de programas e projetos sociais: a perspectiva dos profissionais que atuam na rea. Relatrio de pesquisa produzida em parceria com Fundao Ita Social, Instituto Paulo Montenegro IBOPE Inteligncia. So Paulo: Instituto Fonte, 2012. INDITO.
2. A REDE DE AVALIADORES COMO METFORA DE UM CAMPO DE ATUAO Apesar de terem formaes acadmicas em diversas reas, os profissionais parecem apresentar um olhar pouco orientado para a disciplina enquanto rea especfica. Mesmo reconhecendo a importncia da multidimensionalidade em termos de competncias essenciais para um avaliador, o estudo e o amadurecimento
79
em relao a questes que colocam a avaliao como um saber em si ainda so pouco explorados. Dessa forma, as discusses sobre a tica, a histria, a comparao entre abordagens e a inovao so pouqussimo tratadas pelo conjunto destes profissionais. Os dados indicam um conjunto de pessoas que aprendem a fazer avaliao a partir da prtica, com pouca formao especfica o que, por sua vez, reflete tambm a escassez de especializaes no Pas. Nesse sentido, a anlise de redes mostrou que os profissionais se articulam pouco com seus pares e se relacionam em uma rede de baixa densidade e elevada fragmentao. Com efeito, tal anlise identificou a presena de um nico grupo maior e mais articulado e de uma srie de grupos menores, articulados internamente, mas no com outros grupos da rede. Rede dos profissionais que atuam em avaliao no Brasil
Componentes de alta complexidade Componentes de mdia complexidade Componentes de baixa complexidade 80
Os dados sobre a anlise da rede sugerem algumas questes que orientam tambm as observaes sobre as prticas e abordagens presentes, assim como as leituras estratgicas sobre o campo da avaliao:
A rede de avaliadores no Brasil , de fato, fragmentada? O que contribui para que exista essa fragmentao? O que uma suposta fragmentao implica para os clientes ou demandantes de avaliaes? Quais as implicaes dessa fragmentao como caracterstica de um campo de atuao profissional e de construo de conhecimento?
Uma anlise superficial dos grupos mostrou a existncia de um conjunto maior e mais articulado de profissionais atuantes no Rio de Janeiro e em So Paulo, um universo composto por muitos consultores ou instituies especializados no apoio a organizaes da sociedade civil e investidores privados. As entrevistas em profundidade com 16 pessoas pertencentes a esse grupo revelaram trajetrias semelhantes, que frequentemente incluam formao nos Estados Unidos, filiao American Evaluation Association ou participao nos congressos anuais dessa entidade. Os conjuntos menores, articulados internamente, mas no com outros grupos da rede, se formam por afinidade de abordagem ou, ainda, por filiao institucional. Alguns so ncleos de professores universitrios e seus prprios estudantes e orientandos. O dilogo ocorre internamente, porm no com outros grupos de profissionais que atuam em avaliao. 3. O SENTIDO DA AVALIAO: PARA QUE AVALIAR? Ao comparar as percepes de quem demanda avaliaes com as daqueles que as realizam, foi identificada uma grande coincidncia conceitual em relao a diversos aspectos. Entre os atributos positivos, potencialmente responsveis por se gerar um processo avaliativo relevante, recebe destaque a elevada concordncia em considerar a atividade como uma parte essencial do planejamento
81
estratgico e que contribui para melhorar a qualidade dos servios prestados pelos projetos ou iniciativas sociais. Com relao a atributos negativos, o alinhamento de percepo permanece com forte discordncia em relao a caracterizar a avaliao como perda de tempo e dinheiro, ou mera formalidade caractersticas responsveis pela produo de uma ao irrelevante. O alinhamento entre os grupos se mantm a respeito da viso que apresentam sobre o papel dos avaliadores, percebidos como profissionais que devem gerar reflexo e aprendizagem. Para isso, so valorizadas diversas competncias, principalmente a qualidade tcnica e a metodolgica, mas no existe uma expectativa to forte de que se emitam julgamentos sobre os projetos. Por ocuparem lugares distintos nestes processos, as organizaes apontam aspectos tcnicos entre os itens de maior dificuldade, enquanto os avaliadores identificam variveis relacionadas gesto do processo avaliativo. Os profissionais envolvidos diretamente na avaliao reportam mais desafios quando comparamos seus depoimentos com as declaraes fornecidas pelas organizaes. Se para ser compreendida como relevante uma avaliao deve ser til e superar desafios, preciso aprofundar o entendimento desses aspectos pela perspectiva dos dois grupos pesquisados. Algo deve acontecer para que a avaliao efetivamente realize seu grande potencial de ajuda s iniciativas sociais e para que sua prtica se desenvolva ainda mais. H uma tendncia geral valorizao da avaliao em diversas formas, de acordo com o que foi apresentado at o momento. Porm, ao refinar as informaes gerais, agrupando respostas em categorias analticas que permitam investigar aspectos especficos de maneira mais aprofundada, o cenrio apresenta-se com uma configurao diferente. Ao sair dos aspectos conceituais, nos quais foi identificado um forte alinhamento entre demanda e oferta de avaliao, e passar a analisar questes prticas, cotidianas, processuais, comeam a ser identificadas algumas divergncias. E mais do que essas divergncias, outras tendncias comeam a aparecer. Na pesquisa com as organizaes e a partir de anlises estatsticas que permitem identificar grupos (clusters) com vises e
82
atitudes comuns e, ao mesmo tempo, diferenciados foi possvel criar quatro segmentos diferentes com relao prtica das organizaes com as avaliaes:
18% Avaliao como obrigao formal e burocrtica: uma prtica imposta pelos financiadores. Mera formalidade, no consegue refletir os resultados do trabalho realizado. 33% Avaliao como ferramenta de promoo dos projetos sociais: feita para que as organizaes e iniciativas se promovam positivamente. Resultados so utilizados para atrair financiadores e recursos.
23% Avaliao como desperdcio de tempo e recursos: no h conhecimento ou competncia para realizar avaliaes de qualidade. Recursos investidos desviam o projeto de seu foco principal.
26% Avaliao como ferramenta estratgica: ajuda a melhorar a qualidade dos servios e a fazer escolhas estratgicas. Resultados devem ser utilizados para tomar decises e auxiliar nos processos de planejamento estratgico.
Como se v, o grupo mais expressivo considera a avaliao como ferramenta para promoo dos projetos (33%). Uma boa parte das organizaes da sociedade civil v a avaliao pelo menos da forma em que vem sendo vivenciada na prtica como formalidade (18%) ou desperdcio de tempo e recursos (23%). Esses grupos enxergam a avaliao com certo ceticismo, no sentido de que embora seja importante avaliar, especialmente para a promoo dos projetos, tambm pode ser desperdcio de recursos, ou, s vezes, mera formalidade. Pouco mais de um em cada quatro avaliadores (26%) percebem a avaliao como ferramenta estratgica para a to83
mada de decises. Percebe-se que atuar para fortalecer o sentido e a utilidade da avaliao junto a essas organizaes importante para ampliar a potncia dessa atividade na gesto estratgica do campo social. A mesma anlise, feita a partir das respostas dadas pelos profissionais que atuam no campo, apresenta outra configurao:
23% Avaliao como obrigao formal e burocrtica. Vista como desperdcio de tempo e recursos. 27% Avaliao ferramenta de promoo dos projetos.
24% Avaliao um ideal ainda no alcanado: uma parte essencial dos processos de planejamento estratgico, mas no h conhecimento ou competncia para se realizar avaliaes de projetos com qualidade.
26% Avaliao ferramenta estratgica.
Entre os profissionais que atuam no campo, o grupo que tambm mais expressivo o que ressalta o papel das avaliaes nas quais vem atuando como ferramenta de promoo dos projetos (27%). Boa parte considera as avaliaes como uma obrigao formal ou desperdcio de recursos (23%), e 24% que, embora reconheam sua importncia estratgica, ressalta a complexidade e a dificuldade de implementar processos avaliativos ideais. Os dados tanto das organizaes quanto dos profissionais sinalizam que a avaliao tem sido valorizada, porm resta questionar: Mas para qu?. A avaliao mantm relao com todas essas crenas, porm o pleno uso dessa atividade na gesto, na aprendizagem e na tomada de deciso da organizao (finalidades que se voltam mais para dentro desta) parece estar enfraquecido frente s finalidades orientadas para fora.
84
4. DESAFIOS PARA O DESENVOLVIMENTO DA AVALIAO NO BRASIL A partir dos dados e das anlises apresentados anteriormente, possvel elaborar algumas reflexes sobre caminhos e desafios para o desenvolvimento do setor da avaliao. A articulao e colaborao entre profissionais que atuam na rea so apontadas como desafios. Os avaliadores declararam ter pouco espao de articulao e colaborao entre pares, para alm de um crculo restrito. Reconhece-se a baixa frequncia de produo escrita ou acadmica dos profissionais, apesar de a maioria ter algum vnculo com a universidade. H um baixo investimento na construo do campo em relao a publicaes e outros mecanismos formais de troca de conhecimento. A pouca articulao e os limitados momentos de troca entre os profissionais, associados escassez das formaes que enfocam a avaliao como disciplina, tambm retratam um segmento com pouca clareza em relao a sua identidade e s diferentes abordagens que o constituem, alm de pouca reflexo acumulada sobre aspectos j citados anteriormente, como a histria, a tica e a inovao na rea da avaliao de iniciativas sociais. possvel afirmar, a partir das pesquisas sobre a prtica brasileira, que acontecem no setor muitos encontros, mas tambm alguns desencontros de diferentes naturezas e graduaes entre a oferta e a demanda. Existem situaes de frustrao ou por parte do contratante ou por parte do avaliador com o que acontece durante o processo, com o caminho e a direo dada a uma avaliao, ou com o uso final do estudo realizado. Nesse sentido, as entrevistas em profundidade com os profissionais trazem indicaes de que a dificuldade de caracterizar o campo da avaliao tambm se reflete na clareza com que chegam as demandas e so realizadas as escolhas de abordagens e equipes pelos clientes. Do ponto de vista dos entrevistados, muitas vezes tais escolhas so feitas a partir de conhecimento de uma ou outra pessoa, sem que o cliente tenha um panorama mais abrangente de escolha. Como se mostra neste artigo, apesar do alinhamento entre avaliadores e avaliados em termos de crenas sobre o papel da ava85
liao, nem sempre se chega ao resultado esperado ao final do processo. Algumas vezes a avaliao no oferece exatamente o que as organizaes procuram ou precisam o que sugere a necessidade de se compreender como as mesmas constroem as demandas e como buscam apoio de avaliadores. Cabe uma pergunta: Como as organizaes, os financiadores e os prprios especialistas ponderam sobre a demanda e a adequao da oferta da proposta de trabalho a ser construda e executada? Ganha importncia na atuao do profissional sua capacidade para ajudar o cliente a esclarecer a sua demanda e a escolher uma abordagem metodolgica adequada. Um claro desafio tornar a comunicao da avaliao de fato compreensvel para os diferentes pblicos com os quais o cliente se relaciona, a fim de gui-lo na tomada de decises. Por vezes, as avaliaes podem no contribuir efetivamente para transformar as iniciativas sociais. preciso reconhecer que decises so tomadas partindo-se de outros pontos que no s a avaliao questes polticas, decises institucionais e situaes inesperadas, entre outras variveis, tambm so fontes de tomada de deciso que esto presentes nas rotinas das iniciativas sociais. Nesse contexto, promover os projetos pode ser a melhor e mais til contribuio das avaliaes, apesar de no ser exatamente o uso pleno que a disciplina pode oferecer. A utilidade da avaliao ser aquela que for desejada ou a que as condies presentes no processo de sua realizao permitirem. Se se busca uma avaliao cuja finalidade a de gerar mudanas, torna-se necessrio compreender que processos tomam tempo, demandam conhecimento e exigem disponibilidade. Tais recursos so escassos e nem sempre esto presentes, nem na realidade das iniciativas sociais, nem na dos profissionais responsveis pela conduo da avaliao. De uma forma ou de outra, passada a etapa da promoo da importncia da avaliao, parece ser fundamental que um salto seja dado pelas partes que integram o campo brasileiro (demandantes, profissionais e financiadores) na direo da realizao de avaliaes mais estratgicas, mais inovadoras e mais conscientes.
86
Avaliao da iniciativa gua e clima, uma parceria HSBC-WWF

Rogrio de Paula Barbosa
Coordenador de gesto, desenho e impacto de projetos e programas do WWF Brasil
Glauco Kimura de Freitas

Coordenador do programa gua para a Vida do WWF Brasil
O WWF uma organizao conservacionista sem fins lucrativos com mais de 50 anos de existncia e atuao em mais de 100 pases. A atuao do WWF forma a maior rede mundial de conservao do planeta, com mais de 8 milhes de associados no mundo. Nossa responsabilidade , portanto, gigantesca, j que defendemos o interesse desse grande nmero de associados. No Brasil, o WWF comeou a atuar ainda na dcada de 1970 e em 1996 foi reconhecido como organizao 100% brasileira, convertendo-se no WWF Brasil, uma organizao nacional autnoma. Hoje, temos projetos de conservao nos principais biomas brasileiros. A estrutura do WWF Brasil dividida em programas regionais e temticos. Os regionais so Amaznia, Cerrado-Pantanal e Mata Atlntica. Os temticos so gua para a Vida, Mudanas Climticas e Energia, Agricultura Sustentvel, Cincias para a Conservao e Educao para Sociedades Sustentveis. O gua para a Vida tem o privilgio de manter uma parceria global de longo prazo com o grupo HSBC. Iniciada em 2002 com o programa Investindo na Natureza, que alcanou resultados significativos, teve continuidade em 2007 por mais cinco anos com o
87
programa HSBC Climate Partnership (HCP) e foco nas mudanas climticas. Em 2012, comeou um novo ciclo de mais quatro anos, agora direcionado especificamente para a gua, chamado HSBC Water Partnership. Nesses anos de parceria com o WWF, o HSBC investiu cerca de US$ 150 milhes em cinco pases: Brasil, China, ndia, Inglaterra e Estados Unidos. O investimento de longo prazo um excelente reconhecimento, por parte de uma empresa privada, de que os resultados de conservao e as grandes transformaes que queremos ver na natureza levam muito tempo para se concretizarem e, portanto, demandam esforos e investimentos contnuos e crescentes. Em termos de resultados, o programa: (i) apoiou a criao de comits de bacia hidrogrfica em reas prioritrias como Pantanal e Mata Atlntica, cobrindo quase 80 mil km do territrio brasileiro, alm de ter beneficiado diretamente 70% da populao da Regio dos Lagos (RJ), em funo do tratamento de esgoto; (ii) conscientizou 17 milhes de brasileiros por meio de campanhas educativas para a conservao da gua; (iii) ajudou a desenvolver instrumentos e polticas pblicas inditos no Brasil, como o Plano Nacional de Recursos Hdricos (primeiro da Amrica Latina), a Poltica das guas, Florestas e Solos junto ao Conselho Nacional de Recursos Hdricos (CNRH) e o Plano Estadual de Recursos Hdricos do Acre (primeiro da Amaznia); (iv) est desenvolvendo mtodos e instrumentos para a avaliao dos impactos das mudanas climticas nos ecossistemas aquticos. Os recursos oriundos de uma parceria dessa natureza devem ter um grande potencial de transformao e gerao de resultados. As avaliaes so, portanto, instrumentos que colaboram diretamente com a melhoria das abordagens e estratgias usadas, conferindo legitimidade e transparncia s atividades. So meios de se avaliar aprendizados e fornecer evidncias das transformaes ocorridas na ponta. No caso de uma associao de escala global como esta, o processo de avaliao torna possvel a comparao de resultados entre vrios lugares do mundo onde aes semelhantes so executadas, uma vez que para a avaliao do programa em cinco pases utilizou-se uma base metodolgica comum.
88
avaliao da iniciativa gua e clima, uma parceria hsbc-wwf
Assim, buscou-se seguir os seguintes critrios comuns em todos os pases em que a iniciativa aconteceu. A qualidade e relevncia do desenho do programa, a eficincia do planejamento e da implementao, a efetividade e o impacto, o potencial para a sustentabilidade. Alm deles, procuramos analisar com maior ateno o valor agregado pela equipe global do programa HSBC Climate Partnership (HCP), bem como o grau de sucesso e alcance do processo de comunicao. No Brasil, houve um grande esforo para garantir a participao da alta diretoria do WWF-Brasil no processo de avaliao, o que se tornou um elemento-chave para a formulao de recomendaes que pudessem ter o necessrio apoio organizacional, de modo a serem passveis de adoo. Outro aspecto importante foi a formao de um Grupo de Referncia de Avaliao, cuja misso foi garantir a relevncia da avaliao, a qualidade da metodologia, a confiabilidade dos resultados e o nvel tcnico dos insumos e contedos analisados (ver quadro a seguir).
Quadro 1: Principais atores e seus papis no processo de avaliao Secretria geral: Representante Institucional do WWF. Responsvel geral pela direo e promoo das mudanas organizacionais sugeridas pelos avaliadores. GRUPO DE REFERNCIA Gerente do WWF-Inglaterra: responsvel pelo projeto HSBC para a Amrica Latina. Principal articulador entre pases e guardio da parceria estratgica global. Superintendente de Conservao WWF-Brasil: firmou a parceria inicial e iniciou o processo de avaliao. Guardio da relevncia estratgica da avaliao para a gesto executiva do Programa no Brasil Coordenador Programa gua para a Vida: cliente da avaliao e guardio da relevncia da avaliao, do nvel tcnico do contedo e de sua relevncia para o processo de gesto adaptativa do Programma em sua nova fase. Coordenador de Gesto, Desenho e Impacto WWF-Brasil: teve papel duplo foi cliente dos avaliadores externo e ao mesmo tempo foi o prestador de servio interno do WWF-Brasil, responsvel por garantir um processo de seleo de avaliadores transparente e econmico, garantir a qualidade tcnica da metodologia, das concluses e das recomendaes. AVALIADORES EXTERNOS Instituto Fonte
89
importante notar que a avaliao apenas uma etapa de um ciclo mais amplo de gesto de projetos e programas (ver figura a seguir). O sucesso do processo depende muito de como as diferentes etapas dele so gerenciadas. De fato, se os passos anteriores no tiverem sido bem conduzidos, a avaliao poder tornar-se invivel. Por exemplo: se os objetivos no tiverem sido bem desenhados, os avaliadores no tero como prover evidncias de que o projeto atingiu os resultados e as mudanas a que se props.
1. Definio Equipe inicial Escopo e viso Alvos Contexto e atores interessados
5. Compartilhamento Lies Produtos formais Retroalimentao e avaliao Cultura de aprendizagem
Ciclo de Gesto de Projetos e Programas
2. Desenho Plano de ao, metas, objetivos e atividades Plano de monitoramento Plano operacional
4. Anlise e adaptao Produo de dados e informaes Resultados e pressupostos Funes operacionais Planos e oramentos
3. Implantao P lanos de trabalho e oramentos M obilizao de recursos C onstruo de capacidades P arcerias
90
Assim, um dos primeiros passos de uma avaliao resgatar o desenho inicial do projeto, seus objetivos e seus resultados, bem como suas metas com os respectivos indicadores e linhas de base estabelecidas no incio do projeto. A fase inicial de preparao da avaliao tambm envolve lidar com alguns riscos e mitos comuns a muitos processos de avaliao. Entre eles, que avaliao auditoria, que um processo que toma muito tempo e complicado, que cara e retira recursos da execuo do projeto, de que encerrar o programa, de que no possvel avaliar-se um objeto to complexo, de que a avaliao apenas um assunto para os consultores externos e de que a avaliao corresponde a um relatrio final. Participar do processo de avaliao to ou mais importante do que simplesmente ler as concluses finais do relatrio. Na verdade, o documento apenas um meio. O que a avaliao busca estimular a reflexo e a discusso entre diferentes atores, e um bom processo faz com que eles reflitam e aprendam entre si mesmo se nunca chegarem a ler o relatrio final. Neste sentido, trabalhamos para evitar produzir uma avaliao de gaveta, ou um processo que se relacionaria com os interessados apenas para receber crticas ou para estimular discursos defensivos. Um dos riscos acreditar que se pode copiar e colar termos de referncia de outra avaliao. Na verdade, pode existir uma mesma base metodolgica, mas cada avaliao nica, e por isso necessita da elaborao de termos de referncia que permitam destilar os elementos essenciais que sero teis aos gestores do projeto/programa que est sendo avaliado. Tambm preciso considerar que uma avaliao um processo poltico. Requer ateno com muitos atores que no participaro diretamente, mas que precisam ser informados sobre o andamento. Finalmente, destacamos que o trabalho termina com o relatrio, mas na verdade esse o passo inicial da gesto adaptativa. Antes de passar ao prximo tpico, vale ressaltar que, ao desenhar o processo de avaliao, alguns princpios foram seguidos:
91
a. buscar independncia dos avaliadores (equipe externa ao projeto); b. avaliar com transparncia, tica, imparcialidade e rigor metodolgico; c. ter custos compatveis com os benefcios esperados; d. ocorrer no momento certo (avaliao tardia no seria utilizada); e. favorecer aprendizagens para a equipe do programa; f. ter firme compromisso em utilizar os resultados. Planejada para trs grandes momentos de interao, a fase de coleta de dados e anlise conjunta, por circunstncias fora do nosso controle, ocorreu em apenas duas ocasies: a. em um seminrio de apresentao dos achados e recomendaes, em 12 de maio de 2012; b. em um seminrio de avaliao das recomendaes e respostas de gesto em 23 de maio de 2012. O primeiro momento teve como atores principais a equipe central do programa gua para a Vida do WWF-Brasil. J o segundo ocorreu com a participao de outros programas do WWF-Brasil e do WWF-Inglaterra, aportando uma viso mais global ao processo de discusso conjunta dos achados. Para ns, os seguintes aspectos foram diferenciais para a execuo desta avaliao:
o planejamento detalhado das etapas iniciais (figura a seguir); a metodologia de ao-aprendizagem aplicada pelo Instituto Fonte; o foco no engajamento da alta direo do WWF; o carter internacional e colaborativo da avaliao, com a participao do WWF-Inglaterra e outros escritrios da rede do WWF; o nvel de participao da equipe do programa gua para a Vida no processo de aprendizagem.
92
Etapas iniciais do processo de avaliao
Estudo de documentos e fontes secundrias de dados
Processo de seleo
Clarificando a demanda
Termos de referncia
Matriz de avaliao
Contratao
Em razo do caminho que percorremos, a avaliao foi extremamente til e relevante para o programa. medida que pudemos estar atentos aos movimentos organizacionais sob os quais a avaliao se assentava, algumas circunstncias foram bastante proveitosas ao trabalho. Em primeiro lugar, a troca do coordenador do programa gua para a Vida, favorecendo a imerso do novo gestor no programa. Em segundo lugar, mudanas no comando do WWF-Brasil tambm foram tomadas como favorveis a se olhar de maneira mais crtica para o histrico do programa. Por fim, porque procuramos realizar o processo de avaliao entre dois ciclos de parceria com o HSBC, o que permitiu que a avaliao potencializasse o novo plano estratgico e um novo programa de cooperao. Dentre os vrios resultados e benefcios atingidos pela avaliao, devemos listar aqueles que nos parecem fundamentais:
reconhecimento formal do mrito da avaliao pelo principal parceiro do WWF Brasil no projeto; gerao de novas demandas pelo apoio na utilizao de mtodos e prticas de avaliao dentro do WWF Brasil; processos de trabalho em equipe fortalecidos;
93
Entrevistas e anlises
Grupo de referncia
oportunidades de cooperao entre diferentes programas do WWF Brasil; oportunidades de engajamento com a alta direo da organizao; alimentar o planejamento da Fase 3 do programa; contribuio ao processo de mudana de gesto do WWF Brasil.
Para concluir este relato de experincia, partilhamos a seguir algumas construes que nos ajudaram a reposicionar nossa prtica avaliativa a partir desta rica experincia.
a. O olhar no espelho A avaliao reflete a organizao e no apenas o projeto avaliado. Isso permite que uma nica avaliao traga benefcios para vrios projetos e programas da organizao.
b. Flexibilidade O processo avaliativo no linear. Muito do que planejado nas fases iniciais precisa ser revisitado na medida em que novos achados apontam para aspectos que no foram considerados. Ao mesmo tempo, circunstncias fora do controle da equipe demandam muita flexibilidade e serenidade por parte dos avaliadores. Um time rgido, muito apegado s atividades inicialmente planejadas, ter dificuldades em realizar uma avaliao com consequncias prticas.
c. Liderana A avaliao descolada da liderana organizacional tem poucas chances de ser til. No nosso caso, foi necessrio interromper o processo de avaliao em vrias ocasies para permitir que nossas lideranas pudessem participar de forma efetiva.
94
d. Sair da zona de conforto A avaliao tem o potencial de surpreender, muitas vezes de uma forma no desejada. necessrio que os diversos atores e lideranas estejam bem informados e preparados para que o processo possa ser finalizado de forma independente e transparente.
e. Valorizar muito o fazer, mas no menosprezar o saber fazer Em linhas gerais, os envolvidos em projetos e programas tm uma tendncia natural a valorizar a execuo de atividades e estratgias. O processo de avaliao demanda muitos momentos de reflexo e paradas onde o no fazer nada significa fazer muita coisa para que o resultado seja til. Fazer as coisas o meio, no o resultado em si.
f.
Valorizar o investimento
Investir em avaliao investir em atividades programticas e na execuo do projeto. No valorizar tal investimento como dirigir o carro em uma estrada desconhecida sem o painel de instrumentos ou sem parar para perguntar se o caminho est correto.
g. Nada ser como antes Se for, provavelmente sinal de que o processo de avaliao no ocorreu at a sua finalizao. Do conhecimento transformao, o primeiro grande desafio ser incorporar as transformaes necessrias na Fase 3 da parceria com o HSBC. Isso exigir no apenas a aceitao formal de uma nova maneira de trabalhar, mas tambm um processo interno de criao de capacidades para que certas prticas preestabelecidas possam ser modificadas.
95
No nvel poltico-institucional, resultados e recomendaes tero de ser discutidos em um frum mais amplo, envolvendo todos os membros da Coordenao Executiva do WWF Brasil. Um processo de mudana organizacional j foi iniciado (projeto Semear) e compete ao Grupo de Referncia de Avaliao trabalhar para que as recomendaes da avaliao sejam incorporadas gradualmente ao dia a dia da organizao. Uma externalidade positiva ao processo de avaliao refere-se prpria institucionalizao de novas metodologias e prticas avaliativas dentro do WWF Brasil. Assim, nos prximos meses concretizaremos um banco de dados com recomendaes das avaliaes, responsveis e prazos de execuo, publicaremos um guia de referncia para a avaliao e realizaremos cursos de capacitao em monitoramento e avaliao.
96
A construo da capacidade avaliativa do Instituto Sou da Paz

Ligia Rechenberg
Coordenadora do departamento de gesto do conhecimento do Instituto Sou da Paz
apresentao Pretende-se compartilhar neste artigo como o Instituto Sou da Paz vem construindo sua capacidade avaliativa, apontar dilemas e desafios com os quais nos defrontamos e evidenciar os aprendizados dessa trajetria que j soma uma dcada. Desde 2001, quando comeamos a implementar projetos, a avaliao esteve na agenda da instituio, mas o envolvimento com o tema mudou ao longo do tempo. Para comear a histria, importante apresentar brevemente o Instituto Sou da Paz, pois a nossa natureza explica o sentido que atribumos avaliao e que baliza as decises nessa rea. O Instituto Sou da Paz uma OSCIP1 de So Paulo, que nasceu em 1997 como uma campanha pelo desarmamento e em 1999 ampliou suas temticas de atuao, a partir do entendimento de que a violncia urbana um fenmeno complexo que exige respostas em diversas frentes.
1. Organizao da Sociedade Civil de Interesse Pblico.
97
A misso do Instituto contribuir para a efetivao de polticas pblicas de segurana e preveno da violncia, pautadas pelos valores da democracia, da justia social e dos direitos humanos. Procuramos influenciar a agenda de segurana pblica superando o modelo que defende unicamente mais represso mais polcia nas ruas, leis penais mais duras e encarceramento em massa. Nossa bandeira a de que preciso investir tambm em estratgias preventivas, que dialoguem com condies sociais e culturais que influenciam o envolvimento de determinados grupos com a violncia. a experincia no centro da conversa Para dar concretude misso organizacional e oferecer aos gestores possibilidades prticas de interveno, desenvolvemos e testamos metodologias que possam ser replicadas ou que inspirem outras iniciativas. neste sentido que a avaliao assume um papel to relevante na vida da organizao: precisamos comprovar que os princpios que valorizamos e que vo na contramo do que tem sido defendido para a segurana pblica podem ser traduzidos em estratgias que reduzem a violncia. A avaliao, alm de ser uma ferramenta de gesto identificando resultados, possibilitando que as metodologias sejam aperfeioadas e gerando aprendizagem tem um sentido poltico. Ao atribuir tantos sentidos prtica da avaliao, depositamos muitas expectativas em relao aos processos avaliativos e que nem sempre foram cumpridas. Considerando o que j vivemos na instituio, percebemos o quanto as avaliaes nos ajudaram na gesto e aperfeioamento dos projetos e o quanto pudemos aprender sobre nossas prticas. No entanto, no podemos dizer que a avaliao tem cumprido um papel poltico. claro que os bons resultados demonstrados em alguns projetos contribuem para fortalecer nosso discurso, mas precisamos redimensionar nossas expectativas em relao ao que a avaliao pode ajudar a comprovar. preciso considerar tambm que h limites epistemolgicos na busca por relaes de causalidade no campo da preveno da violncia, fenmeno reconhecidamente complexo e multicausal.
98
a construo da capacidade avaliativa do instituto sou da paz
Acreditamos que importante tratar de expectativas em relao avaliao porque, ao longo de dez anos, elas mudaram de acordo com o que fomos aprendendo. O amadurecimento da instituio e o fortalecimento da capacidade de gesto tambm influenciaram a forma de vermos e nos envolvermos com prticas avaliativas. Quando, por volta de 2001, comeamos a implementar projetos em comunidades de So Paulo, havia uma diretriz institucional para que tais empreendimentos fossem avaliados. Isso gerou dois movimentos: os primeiros projetos j contaram com uma avaliao externa e, quase concomitantemente, foi desenhada uma poltica institucional de avaliao, determinando quem participaria das decises sobre o processo avaliativo, quais seriam os produtos resultantes e quais as formas de disseminar os achados. Nesses dois casos, aconteceram frustraes. Se por um lado os processos de avaliao foram reflexivos e trouxeram aprendizados importantes, e a construo coletiva das diretrizes para avaliar os projetos ampliou o conhecimento da equipe sobre avaliao, por outro ficamos com a sensao de que as avaliaes no responderam o que gostaramos de saber. A poltica de avaliao que construmos mostrou-se pouco exequvel, por prever a participao de muitos atores na tomada de decises e ser ambiciosa demais considerando o tempo e os recursos disponveis. Neste caminho, foi se tornando claro que no valia a pena realizar avaliaes externas, mais estruturadas, no caso de intervenes que estavam sendo implementadas pela primeira vez. Havia muitas indefinies e inquietaes em relao a esses projetos e, por isso, optamos por incorporar momentos de reflexo sobre as prticas no mbito da superviso (tambm responsvel por seu monitoramento). Tambm passamos a priorizar o registro do que estvamos fazendo e comeamos a caminhar em direo sistematizao. Alis, o dilema entre sistematizar e avaliar sempre esteve presente. Sabamos que o ideal era investir nesses dois processos que so complementares. Mas, quando h poucos recursos, preciso fazer escolhas. interessante ressaltar que optamos pela avaliao e, alguns anos depois, decidimos investir em sistematizao. Em 2006, foi criada uma rea com a responsabilidade de disseminar a cultura
99
do registro das prticas e de apoiar a realizao de sistematizaes que seriam transmitidas para o pblico externo. Esse investimento da instituio foi um marco. Sempre trabalhamos com a estrutura de reas-meio para dar suporte execuo de projetos: comunicao, departamento financeiro, captao de recursos, voluntariado. Ao criar a rea de sistematizao, a instituio sinalizou a importncia que estava atribuindo a essa prtica e gerou mudanas na forma como os projetos lidavam com a memria institucional. Para isso, tambm definimos qual era o nosso entendimento sobre sistematizao: mais do que ser uma extensa reflexo sobre a prtica, seria o processo de registrar o que, por que e como estvamos atuando, assim como os desafios e os aprendizados. Esse investimento aconteceu quando nos demos conta de que perdamos conhecimentos importantes sobre a implementao dos projetos porque as equipes no registravam o que faziam. Ao mesmo tempo, havia uma demanda interna e externa por esse conhecimento. A rea de sistematizao passou a se reunir com as equipes para entender o que e como poderia ser registrado. As caractersticas de cada uma maior ou menor facilidade de escrita, disponibilidade de tempo, tamanho do projeto, por exemplo foram levadas em conta para criar estratgias diferentes e mais adequadas, como rodas de conversa, formulrios e entrevistas individuais. o que aprendemos at aqui Percebemos, com a experincia de sistematizao, que no basta haver uma diretriz institucional clara para que as pessoas incorporem a prtica de registro. preciso que a instituio tenha pernas para dar conta desse desafio e, no nosso caso, isso significou designar um lder para o trabalho. Tambm importante que as pessoas percebam que o que elas sabem e fazem tem valor que outras instituies querem saber como traduzir determinados princpios em prticas. Isso motivador e promove um maior engajamento. Foi o que aconteceu, por exemplo, em um projeto nosso, o Praas da Paz SulAmrica, que consistia na revitalizao de praas com a participao da comunidade para o desenho da reforma e o planejamento da ocupao dos espaos.
100
a construo da capacidade avaliativa do instituto sou da paz
Quando a Secretaria Municipal de Habitao de So Paulo procurou o Instituto Sou da Paz para conhecer a metodologia do projeto Praas da Paz SulAmrica e dissemin-la entre seus tcnicos, a sistematizao adquiriu outro sentido para a equipe, assim como a avaliao do projeto anlise que j estava em uma segunda edio. Dada a dimenso da iniciativa, havamos contratado uma consultoria externa eram trs praas de distritos distintos, com estratgias diversas, como a mobilizao dos moradores e articulao com poder pblico local. Com a perspectiva de disseminao da metodologia, foi visvel o aumento do envolvimento de toda a equipe do projeto com o processo avaliativo, participando da construo de questionrios, acompanhando todas as etapas e realizando encontros para analisar os resultados. No entanto, no basta haver um cenrio favorvel e motivador se no houver respaldo da organizao para que a avaliao acontea. Por isso, quando realizamos nosso planejamento de cinco anos, em 2011, ficou definido que a rea de sistematizao tambm teria como atribuies dar suporte aos projetos para realizar avaliaes. Para isso, seria necessrio aprender sobre o tema, conhecer experincias, organizaes e pessoas envolvidas com o tema, e disseminar mtodos e maneiras de identificar resultados. A rea tambm ficou com a perspectiva de definir uma nova poltica de avaliao para o Instituto Sou da Paz, mas a ideia construir essa poltica depois que j tivermos testado algumas formas de avaliar. Hoje, a maioria dos projetos avaliados est atrelada rea de juventude; outro desafio fazer com que projetos ligados a outras reas, como controle de armas, polcia e justia criminal, tambm sejam avaliados. Para concluir, importante ressaltar que a nossa trajetria e as decises que tomamos no devem ser consideradas como receita a ser replicada por outras instituies. O que pode ficar como recomendao que as organizaes considerem suas possibilidades e limitaes ao tomar as decises. Quanto mais a organizao estiver aberta e disposta a fazer essa reflexo, tanto melhor.
101
A avaliao do programa Excelncia em Gesto Educacional

Maria Carolina Nogueira Dias
Especialista da Fundao Ita Social
Este artigo tem como objetivo sintetizar a apresentao do processo de avaliao do programa Excelncia em Gesto Educacional da Fundao Ita Social, procurando estabelecer as relaes existentes entre a gesto do projeto e os resultados trazidos pela avaliao, durante e aps o seu trmino. A avaliao pode ser uma ferramenta fundamental para a gesto e o aprimoramento de um projeto. Quando esse feito em parceria com o setor pblico, dentro da complexidade de um sistema educacional, ganha mais um papel estratgico: pode oferecer aprendizados fundamentais para a formulao de polticas pblicas. Essa foi a experincia de avaliao do programa Excelncia em Gesto Educacional, aqui detalhada. O programa Excelncia em Gesto Educacional uma iniciativa da Fundao Ita Social em parceria com a Secretaria de Educao do Estado de So Paulo. Entre os anos de 2009 e 2011, foi desenvolvido um projeto-piloto, com coordenao tcnica do Instituto Fernand Braudel, em dez escolas de Ensino Fundamental II e Ensino Mdio pertencentes Diretoria Regional de Ensino Leste 3, na cidade de So Paulo. A iniciativa foi inspirada na reforma de
103
ensino implementada na cidade de Nova York1 e a interveno de campo teve dois objetivos norteadores: (i) fortalecer as prticas da coordenao escolar e do corpo docente na oferta de uma aprendizagem de qualidade, criando mecanismos de gesto e superviso do trabalho pedaggico; (ii) intensificar a participao dos pais nos esforos de melhoria do aprendizado, desenvolvendo estratgias que auxiliassem professores e gestores na aproximao famlia-escola, a partir da criao da funo de coordenador de pais.2 Esses objetivos desdobraram-se em duas estratgias complementares (ver diagrama a seguir). A primeira delas, denominada tutoria, caracterizou-se pela oferta de formao continuada customizada, de carter prtico e modelar, realizada no cotidiano da escola, especialmente na sala de aula, por um par avanado (professor ou professora) tambm atuante na rede pblica de ensino, chamado aqui de tutor. O foco da tutoria foi trabalhar com professores coordenadores e professores de lngua portuguesa e matemtica, com base em sua adeso voluntria. A segunda estratgia implicou na insero de um novo profissional na escola, o coordenador de pais. Lanando mo de visitas domiciliares para alunos com risco de evaso escolar, organizando atividades para pais e alunos, mobilizando voluntrios, organizando o espao escolar e atendendo a pais em espaos formais e informais, a inteno foi favorecer aproximaes e vnculos entre famlia e escola. O trabalho foi realizado por um profissional por escola, dedicado exclusivamente s atividades descritas e com grande conhecimento da comunidade.
1. Ver publicao GALL, N. e GUEDES, P. A reforma educacional de Nova York: possibilidades para o Brasil. So Paulo: Instituto Fernand Braudel e Fundao Ita Social, 2009. Disponvel no site: <www.fundacaoitausocial.org.br>. ltimo acesso: outubro de 2012. 2. Profissional responsvel pela gesto pedaggica da escola, mais comumente denominado como coordenador pedaggico.
104
a avaliao do programa excelncia em gesto educacional
Estratgias e atores envolvidos
Formao do aluno Tutoria para professores Tutoria para PCs Coordenao de pais Desempenho do professor Gesto pedaggica Relao famlia-escola
Uma matriz de avaliao foi elaborada no segundo ano do projeto-piloto a partir do mapeamento das reas impactadas pelas intervenes de tutoria e coordenao de pais. A matriz foi construda de forma coletiva e envolveu diferentes atores participantes da iniciativa. Fruto desta construo, quatro grandes questes avaliativas foram produzidas, correspondentes s dimenses abrangidas pelo projeto e suas respectivas variveis crticas.
1. Em que medida o programa contribuiu com o desempenho dos professores?

Desempenho do professor
Planejamento
Gesto da sala de aula
Avaliao
105
2. Em que medida o programa contribuiu com a gesto pedaggica das escolas?

Gesto pedaggica
Liderana pedaggica
Horas de Trabalho Pedaggico Coletivo (HTPC)
3. Em que medida o programa contribuiu com a relao famlia-escola?

Relao famlia-escola
Participao
Atendimento
4. Em que medida o programa contribuiu com a formao dos alunos?

Formao do aluno
Relao entre alunos
Relao com o conhecimento
Participao na vida escolar
Desempenho escolar
Considerando a diversidade de atores-foco da interveno do programa e a prpria complexidade do campo, foi necessrio empregar diferentes abordagens avaliativas complementares. Em uma Avaliao de Processo, procurou-se monitorar as ativida106
des cotidianas desenvolvidas pela equipe com vistas a alimentar o processo de gesto do programa e a produo de relatrios de acompanhamento. Com uma Avaliao de Resultados com Mtodos Mistos, lanou-se mo de metodologias quantitativas e qualitativas com foco nas quatro dimenses ilustradas anteriormente. Os dados quantitativos e qualitativos foram alcanados a partir da aplicao de questionrios, realizao de grupos focais e de entrevistas em profundidade, conforme o quadro a seguir:
Pblico Professores de Lngua Portuguesa tutorados Professores de Matemtica tutorados Professores no Tutorados Tutores de Lngua Portuguesa Tutores de Matemtica Alunos Alunos de 6 ano (5 srie) Ensino Fundamental Alunos de 3 ano do Ensino Mdio Jovens Lideranas Professores coordenadores Diretores Coordenadores de pais Famlias Tutora de Coordenadores de pais Tutores de professores coordenadores
Questionrios* X X X X X X
Grupos focais X X X X X X
Entrevistas em profundidade
X X X X X X X
*Observao: foram realizadas duas aplicaes de questionrios em 2011, com intervalo de 6 meses.
Fonte: Fundao Ita Social. Relatrio final de avaliao do programa Excelncia em Gesto Educacional.
Com base ainda num modelo de Avaliao Econmico, procurou-se identificar o impacto do programa no desempenho dos alunos nas notas de lngua portuguesa e matemtica (Saresp3) e realizar um clculo do retorno econmico com base nestes resul-
3. Sistema de Avaliao do Rendimento Escolar do Estado de So Paulo.
107
tados. Foram previstas duas tomadas de anlise de dados, uma parcial, com dois anos de exposio ao programa, e a final, ainda em execuo4. A linha de base pr-tratamento utiliza os dados do Saresp de 2007 e 2008. Foi definido grupo controle com pareamento a partir da semelhana com os alunos tratados entre escolas estaduais da regio metropolitana de So Paulo.
Perodo pr-piloto 2007 Coorte 3 Coorte 4 Coorte 5 9 ano EF (8 srie) 2008 7 ano EF (6 srie) 5 ano EF (4 srie) Programa piloto (2 anos de interveno) 2009 2010 3 ano EM 9 ano EF (8 srie) 7 ano EF (6 srie)
Fonte: Fundao Ita Social. Relatrio de avaliao do programa Excelncia em Gesto Educacional.
Avaliao pressupe a gerao de resultados que, a princpio, devem colaborar com as tomadas de deciso de um programa. Entretanto, vale ressaltar que o prprio processo traz elementos importantes que colaboram com a gesto da iniciativa. Nesse sentido, antes de pontuarmos alguns resultados parciais da avaliao, destacaremos etapas que colaboraram com o desenvolvimento do projeto durante a sua execuo. A primeira etapa que merece destaque foi a elaborao da matriz de avaliao, seguida da definio de indicadores e a elaborao dos instrumentos de avaliao. Tal construo envolveu diferentes atores do programa em todo processo, possibilitando um alinhamento estratgico da equipe para a integrao das frentes de tutoria e de coordenao de pais. A construo da matriz favoreceu a consolidao de uma grande imagem dos campos impactados pela iniciativa, dando maior objetividade comunicao do programa para os diferentes pblicos em especial no processo de comunicao com as escolas
4. Em julho de 2012, ms de realizao do Seminrio Internacional A Relevncia da Avaliao para o Investimento Social Privado.
108
sobre a prpria avaliao e a entrada da equipe de avaliao em campo, proporcionando maior receptividade. Por fim, a elaborao dos instrumentos de coleta de dados primrios em parceria com a equipe de avaliao adensou a qualidade tcnica dos mesmos, uma vez que a troca para afinamento dos questionrios e roteiros trouxe maior segurana para gestor e avaliadores do que se estava buscando, e a melhor maneira de alcanar esse contedo. Quanto avaliao economtrica, foi possvel constatar que a obteno de dados secundrios oficiais facilitada quando h uma relao de parceria entre a instituio responsvel pelo programa e a secretaria onde o mesmo desenvolvido. No caso do programa Excelncia em Gesto Educacional, desde 2008 foi estabelecido um canal de dilogo constante com a Secretaria de Educao do Estado de So Paulo para a implementao do projeto e a realizao da avaliao de impacto, item colocado desde o incio como um compromisso da parceria. Nesse sentido, todo o processo de desenho da avaliao economtrica, definio do grupo controle e constatao da necessidade de ampliar as metodologias de avaliao que poderiam contribuir com a verificao dos resultados do projeto foi debatido conjuntamente. Para isso, contou-se com um conselho de acompanhamento trimestral com representantes das instituies envolvidas. Em certa medida, todos os itens destacados anteriormente reforam a relevncia da parceria entre avaliadores e gestor do programa. Restringir a avaliao encomenda de um produto final que diga se o programa deu certo ou no perder a grande riqueza que este processo possui. Em primeiro lugar por que dificilmente uma avaliao na rea social consegue ter respostas exatas sobre o processo; sempre h indicadores e anlises que geram hipteses que precisam ser balanceadas com uma srie de outros elementos. Em segundo lugar, uma efetiva parceria entre avaliador e gestor permite que o dilogo travado ao longo deste percurso traga insumos para a gesto do programa e, tambm, maior acuidade nos instrumentos de avaliao e anlise do avaliador sobre os dados coletados. claro que essa relao demanda ateno, pois esta parceria tambm exige o cuidado com o distanciamento estratgico dos avaliadores na sua relao com o campo.
109
Os resultados parciais da avaliao Para discutir alguns resultados parciais de avaliao, daremos destaque para duas dimenses complementares: o desempenho do professor e o desempenho do aluno. Os indicadores Planejamento, Gesto e Avaliao, que avaliam os resultados do desempenho do professor, mostram que houve avanos nesses trs itens. Eles passaram a planejar melhor suas aulas, com maior compreenso sobre o significado das competncias e habilidades desejadas para os alunos. Consequentemente, passaram a ter uma gesto de sala de aula mais eficiente e participativa, atentando para o tempo de uso de fala, para a circulao fsica pela classe e para a configurao de dinmicas que colocassem o estudante no centro da relao de ensino-aprendizagem. O desenvolvimento de diferentes estratgias de avaliao foi entendido como parte fundamental desse processo. Por sua vez, na dimenso Desempenho do aluno verificamos desempenhos crescentes, positivos e significativos entre as duas coletas de dados primrios nos indicadores de Relao entre alunos e Relao com conhecimento. Alm disso, h inquietao dos jovens para serem melhor percebidos e cuidados na escola e professores de portugus e matemtica so indicados como exemplares em sua prtica. Em termos de gesto do programa e anlise dos resultados da avaliao, verificamos que h uma convergncia entre a percepo das expectativas dos alunos em relao a seus professores e a transformao da prtica destes. No campo da avaliao economtrica, a primeira tomada de resultados mostra impacto positivo e estatisticamente significativo no desempenho de lngua portuguesa (4,5) e matemtica (3,3) para alunos do 7 ano do Ensino Fundamental, mas nenhum impacto significativo para alunos do 9 ano do Ensino Fundamental ou do 3 ano do Ensino Mdio. Algumas hipteses podem ser levantadas a partir desses resultados: a primeira que alunos que esto iniciando o segundo seguimento do Ensino Fundamental so mais sensveis s mudanas de prticas docentes e, portanto, apresentam melhores resultados de aprendizagem diversos estudos mostram os gargalos enfrentados nos dois ltimos anos desse segmento. A ausncia de resultados no Ensino Mdio pode
110
ser explicada, em uma primeira anlise, pela baixa intensidade de tutoria no perodo noturno e pela alta concentrao de terceiros anos nesse perodo, refletindo uma opo de atuao do programa. Entretanto, esses so resultados parciais para dois anos do programa e a segunda avaliao de impacto considerar os trs anos de interveno. O grande desafio que permanece aps o trmino dessas avaliaes a integrao dos resultados. Antes de qualquer tomada de deciso, os dados precisam ser analisados em sua complementaridade e em dilogo com o processo de gesto estabelecido ao longo da interveno, o que trar ao gestor maior segurana nos encaminhamentos dados. Na medida em que estratgias de tutoria e de coordenadores de pais despertam interesse de outros sistemas educacionais, a avaliao do programa Excelncia em Gesto Educacional oferece aprendizados importantes para os prximos processos de planejamento, implantao e avaliao das novas parcerias com o setor pblico nessa rea.
111
Seminrio Internacional A Relevncia da Avaliao para o Investimento Social Privado 4 de julho de 2012, So Paulo Realizao Fundao Ita Social A Fundao Ita Social, brao do Investimento Social do Ita, tem como atividades centrais a formulao, a implantao e a disseminao de metodologias voltadas melhoria de polticas pblicas na rea educacional e avaliao econmica de projetos sociais. Sua atuao acontece em todo o territrio brasileiro, em parceria com governos, setor privado e organizaes da sociedade civil. Nossa atuao orientada pelo foco em resultados e busca, com isto, uma contribuio efetiva para a transformao social. Acreditamos que a avaliao um instrumento fundamental para qualificar e aprimorar o investimento social realizado pelas organizaes privadas e tambm por governos. Por isso, desenvolvemos um Programa de Avaliao Econmica de Projetos Sociais que dissemina, por meio de cursos, seminrios e avaliaes, a metodologia de avaliao de impacto e clculo do retorno econmico. Assim, trabalhamos tambm pela ampliao da prtica de avaliao econmica no campo social. Com o intuito de contribuir para o fortalecimento desta rea, acreditamos na importncia de entender cada vez mais a prtica da avaliao no Pas. Nesse contexto, realizamos pesquisas sobre o campo da avaliao de projetos sociais no Brasil, organizamos dilogos para discusso do tema e produzimos conhecimentos sobre a realidade da avaliao no campo social que podem contribuir com a melhoria dos projetos, potencializando o papel da avaliao.
Fundao Roberto Marinho A Fundao Roberto Marinho tem como misso a mobilizao de pessoas e comunidades por meio da comunicao, de redes da sociedade e de parcerias em torno de iniciativas educacionais que contribuam para a melhoria da qualidade de vida da populao brasileira. A prtica avaliativa est presente no cotidiano de trabalho dos profissionais da Fundao, perpassando o planejamento de aes e permitindo constante reflexo sobre o alcance dos objetivos dos projetos educacionais e sociais que realiza. Os projetos realizados pela Fundao Roberto Marinho nas reas de Educao, Cultura e Patrimnio, Meio Ambiente e Comunicao contam com monitoramento interno e avaliao externa de resultados. Realizamos seminrios internos, nos quais dialogamos sobre a relevncia e a utilidade da avaliao nas atividades do Terceiro Setor; socializamos processos e resultados de avaliaes de projetos da Fundao; e convidamos especialistas da rea de avaliao para debater e/ou apresentar pesquisas e avaliaes correlatas aos projetos que desenvolvemos. Tambm promovemos seminrios externos em parceria com outros institutos e fundaes para ampliar a discusso sobre o tema e para estabelecer intercmbio entre profissionais e entidades interessadas em compartilhar experincias, visando o aprimoramento da prtica avaliativa.
Parceria Move Avaliao e Estratgia em Desenvolvimento Social A Move uma empresa brasileira comprometida a apoiar seus clientes a alcanarem novos e mais profundos estgios de desenvolvimento organizacional, por meio da avaliao de programas sociais e do planejamento estratgico. Associando sensibilidade e pragmatismo em uma perspectiva ad hoc, a Move procura trabalhar de forma responsiva s demandas de seus clientes, a fim de apoi-los a descobrir e formular solues originais, eficientes e efetivas para seus desafios organizacionais. Com inteligncia aplicada a cada caso particular, a Move faz das prticas de avaliao e de planejamento vias privilegiadas para a tomada de decises estratgicas: justas em suas leituras, arrojadas em suas escolhas e responsveis em suas consequncias. A Move atua principalmente por meio da consultoria em planejamento, avaliao de programas, polticas pblicas e negcios sociais. Estudos, pesquisas e formaes in company compem um portfolio organizacional marcado por pluralidade metodolgica, forward thinking e equipes transdisciplinares.
APOIO Fundao Santillana A Fundao Santillana responsvel pelas aes sociais do Grupo Santillana, referncia no mercado editorial em 22 pases de lnguas espanhola e portuguesa. Atuando no Brasil desde 2001, a Fundao implementa sua filosofia por meio de iniciativas que integram Educao e Cultura, em busca de uma melhor qualidade de ensino. As atividades tm como pblico-alvo estudantes, educadores e instituies educacionais e, como parceiros, entidades pblicas e privadas, nacionais e internacionais. Refletindo a misso do Grupo Santillana ao qual pertencem as editoras Moderna, Salamandra e Objetiva , a Fundao visa contribuir com iniciativas para o desenvolvimento educacional do Pas. Por meio de convnios com organizaes pblicas e privadas, promove seminrios e cursos de formao para professores e gestores escolares. Tambm estabelece parcerias para a edio, publicao e divulgao de obras de referncia para polticas pblicas educacionais. Na rea de avaliao, suas contribuies esto alinhadas com a atuao da Avalia Educacional, empresa do Grupo Santillana especializada na avaliao de escolas e diversas instituies, que j analisou o desempenho de milhes de estudantes da Educao Bsica, norteando aes de melhoria da qualidade do ensino.
Este livro foi composto nas fontes Milo e Milo Serif e impresso em novembro de 2012.
Parceria Apoio
Os elementos-chave de uma avaliao relevante so: (1) propsito claro; (2) estratgia que envolva as pessoas certas; (3) perguntas abrangentes para nortear o processo; (4) respostas claras sustentadas por evidncias convincentes; (5) relatrio sucinto e direto; e (6) ideias que permitam realizar algo concreto. Se esses elementos estiverem presentes, a avaliao ser pertinente, importante, influente e til para direcionar as aes das organizaes.
E. Jane Davidson
Doutora em Psicologia Organizacional,Claremont Graduate University, Estados Unidos
Organizao
Avaliadores interessados na erradicao da desigualdade social devem questionar qualquer projeto que estejam incumbidos de analisar: Quem identificou a necessidade da interveno?; Quem so os envolvidos; Quem definiu os critrios de sucesso ou falha?. Metodologias que permitem a expresso dos vrios interessados contribuem para que o processo de avaliao possa servir como agente potencial de mudanas em uma comunidade.
Fiona Cram
Doutora em Desenvolvimento Psicolgico e Social, Universidade de Otago, Nova Zelndia

Avaliação Investimento

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Avaliação Investimento

Uploaded by

Copyright:

Available Formats

A relevncia da avaliao para o investimento social privado

Fundao Ita Social Fundao Roberto Marinho Move

A relevncia da avaliao para o investimento social privado

A relevncia da avaliao para o investimento social privado

Fundao Ita Social Fundao Roberto Marinho Move

Para fazer avaliaes relevantes

Tornar as avaliaes estrategicamente prticas e relevantes

Avaliao, relevncia e dinmica de poder

A avaliao no contexto de programas e projetos sociais brasileiros

Avaliao da iniciativa gua e clima, uma parceria HSBC-WWF

A construo da capacidade avaliativa do Instituto Sou da Paz

A avaliao do programa Excelncia em Gesto Educacional

Seminrio Internacional A Relevncia da Avaliao para o Investimento Social Privado

Mnica Dias Pinto

a relevncia da avaliao para o investimento social privado

Para fazer avaliaes relevantes

a relevncia da avaliao para o investimento social privado

para fazer avaliaes relevantes

a relevncia da avaliao para o investimento social privado

para fazer avaliaes relevantes

a relevncia da avaliao para o investimento social privado

para fazer avaliaes relevantes

a relevncia da avaliao para o investimento social privado

Tornar as avaliaes estrategicamente prticas e relevantes

a relevncia da avaliao para o investimento social privado

tornar as avaliaes estrategicamente prticas e relevantes

a relevncia da avaliao para o investimento social privado

2.1 Quem deve ser envolvido em cada uma dessas atividades

tornar as avaliaes estrategicamente prticas e relevantes

a relevncia da avaliao para o investimento social privado

tornar as avaliaes estrategicamente prticas e relevantes

a relevncia da avaliao para o investimento social privado

2.4 Respostas baseadas em evidncias e argumentos slidos

tornar as avaliaes estrategicamente prticas e relevantes

2.4.2 Pensamento avaliativo

Quo bom bom

a relevncia da avaliao para o investimento social privado

tornar as avaliaes estrategicamente prticas e relevantes

Fonte: NZOAs External Evaluation & Review framework.

a relevncia da avaliao para o investimento social privado

Os problemas/omisses menos significativos so resolvidos de maneira efetiva, na maioria dos casos

tornar as avaliaes estrategicamente prticas e relevantes

2. Forte conexo com os pais e familiares

1. Incluso e responsividade cultural e lingustica

a relevncia da avaliao para o investimento social privado

monitorando o aumento das capacidades de escolas

tornar as avaliaes estrategicamente prticas e relevantes

o abrangente campo dos resultados

Domnio dos resultados

a relevncia da avaliao para o investimento social privado

Domnio dos resultados

tornar as avaliaes estrategicamente prticas e relevantes

Indicadores, critrios e o abrangente campo dos resultados

Domnio dos resultados Critrio

Fceis de medir Precisos Limitados Passveis de manipulao

Difceis de medir Aproximados Amplos No manipulveis

a relevncia da avaliao para o investimento social privado

2.5.1 Caractersticas de relatrios inadequados

Estes so alguns dos principais problemas observados em relatrios:

2.5.2 Caractersticas de um bom relatrio de avaliao

tornar as avaliaes estrategicamente prticas e relevantes

a relevncia da avaliao para o investimento social privado

tornar as avaliaes estrategicamente prticas e relevantes