ANLISE DAS POTENCIALIDADES DO SISTEMA DE MONITORAMENTO E AVALIAO DA REDE DE TECNOLOGIA SOCIAL

Vanessa Maria Brito de Jesus. Programa de Ps-Graduao em Poltica Cientfica e Tecnolgica do Instituto de Geocincias da Universidade Estadual de Campinas (UNICAMP). Rua Victor Manuel de Souza Lima, 297, So Carlos-SP/Brasil, fone: (55) 16- 3116-9588. vmbjesus@yahoo.com.br. Eixo Temtico 10. Las tecnociencias emergentes

Palavras-chave: Tecnologia Social, Rede Social, Monitoramento e Avaliao.

1. INTRODUO

O presente artigo apresenta o caso da Rede de Tecnologia Social (RTS), por meio da anlise da potencialidade de seu sistema de monitoramento e avaliao, desenvolvido via projeto de extenso intitulado Monitoramento & Avaliao da RTS: um processo de construo coletiva, sob responsabilidade do Frum de Pr-Reitores das Universidades Pblicas (FORPROEX) e em parceria com a RTS. Tal projeto se props a desenvolver uma ferramenta de gesto que contribua, por meio de monitoramento, para a coleta e sistematizao das aes estratgicas da rede, gerando informaes que permitam diferentes tipos de avaliao. A RTS pode ser considerada como uma das formas de organizao social do movimento de tecnologia social no pas. De acordo com seu Documento Constitutivo, se prope a reunir, organizar, articular e integrar um conjunto de instituies com o propsito de promover o desenvolvimento sustentvel mediante a difuso e a reaplicao em escala de tecnologias sociais (2005, p.1). Em outubro de 2009, existiam 782 organizaes filiadas rede. Seu surgimento deu-se da articulao entre diferentes atores sociais em busca de sinergias e de aperfeioamentos de suas atuaes atravs do uso de tecnologia, hoje qualificada como social (RTS, 2004, p.4). Declara ter o intento de estimular a apropriao tecnolgica por comunidades que passam por processos de reaplicao desse tipo de tecnologia e/ou a criao de novas tecnologias sociais, alm de instigar a configurao da tecnologia social enquanto poltica pblica.

Importa destacar que o debate sobre TS tem aflorado no campo dos estudos sobre Cincia, Tecnologia e Sociedade (CTS) e de acordo com a consulta bibliografia especializada, composta principalmente por autores latino-americanos, possibilitou perceber que o conceito de tecnologia social ainda est em definio, em debate por diferentes atores sociais. Embora sua sistematizao venha ocorrendo no mbito da academia, prticas lideradas por comunidades populares e organizaes no-governamentais (ONGs) tm delineado o que vem a ser essa outra tecnologia. Nesse sentido, foram verificadas vrias possibilidades explicativas, porm, identificadas duas tendncias predominantes que buscam elucidar o conceito de tecnologia social. A primeira tende a explicar a tecnologia social como forma de oposio tecnologia convencional (TC) e a segunda tende a apresent-la e conceitu-la como minimizadora dos efeitos do modo de produo capitalista. A opo por discorrer sobre essas possibilidades explicativas deve-se percepo de que essas duas tendncias oferecem maiores possibilidades de identificao das caractersticas da tecnologia social do que outros universos explicativos, aumentando a compreenso acerca do termo e no restringindo o conceito em si. Diante de tal debate, e tendo o conhecimento de que o conceito de tecnologia social no est definido, para o Frum de Discusso sobre Tecnologia Social o objetivo da RTS promover o desenvolvimento local e sustentvel mediante tcnicas e metodologias transformadoras, desenvolvidas na interao com a populao, que representem solues para incluso social (2004, p. 211). Acreditam nos esforos empregados por organizaes governamentais, empresas, universidades, organizaes no governamentais, movimentos sociais e demais atores sociais interessados na questo da tecnologia social. Sua organizao em formato de rede potencializa o alcance do objetivo, uma vez que esses diferentes atores empreendem esforos convergentes buscando a soluo de problemas sociais, implementando mecanismos de difuso e aperfeioamento de tecnologias j desenvolvidas ou buscando novas solues para demandas no atendidas (id). Nesse sentido, as organizaes, sejam oriundas da iniciativa privada ou terceiro setor, tm buscado aprimorar seus mecanismos e ferramentas de gesto como forma de garantir ou potencializar seus resultados. Considerando uma perspectiva integral, buscam compatibilizar processos de planejamento, monitoramento e avaliao de forma sistmica, como meio de facilitar processos de tomada de deciso e readequao de aes. A RTS no est isentada de tal cenrio. Reconhece necessitar de mecanismos de gesto que lhe permita evidenciar a potencialidade da tecnologia social de modo que consiga subsidiar a formulao de polticas pblicas de estmulo ao desenvolvimento preferencialmente sustentvel por meio da tecnologia social. O sistema de monitoramento e avaliao foi projetado de modo que contribua para a permanente qualificao das aes em prol da transformao social, por meio da construo de indicadores quanti-qualitativos que

possibilitem a avaliao dos resultados alcanados pelas aes empreendidas (PROJETO MARTS, 2007). A busca por verificar a racionalidade de uma ao converge com os interesses da RTS, especialmente quando se pensa em enriquecer o debate sobre tecnologia social no pas. Em seu caso, o desenvolvimento de um sistema de monitoramento e avaliao dever no s preocupar em captar a complexidade do conceito de tecnologia social, mas considerar as quase novecentas instituies credenciadas, que esto reaplicando e difundindo tecnologia social. Conforme supracitado, o projeto de extenso gerenciado pela equipe do FORPROEX em conjunto com a RTS, continha a solicitao para o desenvolvimento de uma ferramenta de gesto que lhe permitisse averiguar o alcance dos projetos de reaplicao financiados pela RTS e a prpria dinmica da rede, que cresce expressivamente. Expressava, ainda, o desejo de que o processo ocorresse de forma coletiva, isto , envolvendo os atores sociais implicados rede. De posse dessa informao, a equipe do FORPROEX desenvolveu um sistema, que em muito se assemelha a um software, para gerenciar as aes da RTS, permitindo a sistematizao de dados e a gerao de informaes consolidadas. Diante de tal cenrio, questiona-se qual a potencialidade do SMARTS, se observado luz de critrios como segurana das informaes coletadas, capacidade de comportar comparaes entre dados, representao de valores, capacidade de coleta de dados e navegabilidade. 2. Mtodos e Materiais

Para realizar a anlise foi adotado como mtodo de pesquisa o estudo de caso ancorado em pesquisa bibliogrfica e documental, o que resultou no desenvolvimento de arcabouos tericos sobre tecnologia social e monitoramento e avaliao, utilizados para compor matrizes analticas aplicveis ao objeto de estudo. Como supracitado, foram identificadas duas tendncias predominantes que buscam elucidar o conceito de tecnologia social. A primeira tende a explicar a tecnologia social como forma de oposio tecnologia gerada pelo sistema capitalista e a segunda tende a apresent-la e conceitu-la como minimizadora dos efeitos do modo de produo capitalista. A opo por discorrer sobre essas duas possibilidades explicativas deve-se percepo de que essas duas tendncias oferecem maiores possibilidades de identificao das caractersticas da tecnologia social do que outros universos explicativos, aumentando a compreenso acerca do termo e no restringindo o conceito em si. A primeira possibilidade explicativa tem seus argumentos centrados na crtica tecnologia convencional, dado que esta ltima criada pela grande corporao e para a

grande corporao capitalista e aos valores que ela traz embutida (NOVAES, DIAS, 2009, p.17); nessa perspectiva, o contexto que permite o surgimento da TS seria o ambiente de excluso social que o capitalismo gera. A tecnologia gerada em seu mbito resguarda aspectos como poupar mo-de-obra; garantir que o controle sobre a produo no esteja nas mos do produtor direto; alienar o trabalhador para garantir passividade criativa; hierarquizar as relaes sociais de produo, garantindo o controle do processo produtivo quele/a que possui os meios de produo; maximizar a produtividade para acumular capital (Ibid, p.18). Os autores colocam que essas caractersticas somam-se ao fato da tecnologia convencional ser, ainda, irradiada pelas empresas dos pases do norte e absorvidas de forma acrtica pelas empresas dos pases subdesenvolvidos (...) o que leva a uma perpetuao e ampliao das assimetrias de poder dentro das relaes sociais e polticas (IBID, p. 18). Para Dagnino, a questo do controle elemento primordial para distinguir uma tecnologia capitalista da tecnologia social. Define controle como habilidade relativa ao uso de conhecimento intangvel ou incorporado a artefatos tecnolgicos (DAGNINO, 2009, p.76). Resgatando a perspectiva dos estudos sobre CTS, sugere que a tecnologia seja compreendida enquanto o resultado da ao de um ator social sobre um processo de trabalho no qual, em geral, atuam tambm outros atores sociais que se relacionam com artefatos tecnolgicos visando produo (ibid). J a segunda possibilidade explicativa percebida por designar a tecnologia social como forma de gerar a incluso social e melhoria de condies de vida a partir de contextos especficos, diminuindo as desigualdades econmico-sociais, sem explicitar, no entanto, qual o projeto poltico que a permeia. A conceituao defendida por pesquisadores que entendem a TS como um conjunto de tcnicas, metodologias transformadoras, desenvolvidas e/ou aplicadas na interao com a populao e apropriadas por ela, que representam solues para incluso social e melhoria de condies de vida (ITS, 2004, p. 130) contribui para a descrio e caracterizao dos aspectos que compem o universo da TS, auxiliando a traar limites que podem distinguir uma tecnologia convencional da tecnologia social. Entretanto, possvel notar, nessa perspectiva explicativa, que no anunciado que tipo de transformao social se espera com a adoo da TS. Dentre essas possibilidades explicativas, um atributo merece destaque. Percebe-se que a participao social no desenvolvimento da tecnologia social pode ser considerada sua principal caracterstica, e, ao mesmo tempo, aquela que a diferencia da tecnologia convencional. Infere-se que a opo pela tecnologia social implica no somente na adoo do conjunto de princpios inerentes sua proposta, mas na opo por caminhos /

estratgias que permitam que esses princpios sejam praticados. Nesse sentido, o conceito de TS impe tanto uma dimenso terica quanto uma dimenso metodolgica. O conceito adotado pela Rede de Tecnologia Social, enunciado como produtos, tcnicas e metodologias de carter reaplicvel que so desenvolvidas por meio de um processo interativo com as comunidades e podem propiciar transformaes sociais (2005, p 1), circunscreve-se melhor no tipo de explicao que entende a tecnologia social como uma minimizadora dos efeitos do capitalismo. O enquadramento de seu conceito no uma tentativa de estigmatiz-lo, mas compreender em qual campo terico se situa. Assim, possvel que os indicadores elaborados por seu sistema de monitoramento e avaliao reflitam tal conceituao. J a base terica do sistema de monitoramento e avaliao foi formada a partir da reviso bibliogrfica sobre avaliao de polticas pblicas de cunho social, programas e projetos sociais. Uma das definies mais emblemticas a proposta por Silva, que apresenta o seguinte significado para a palavra avaliao: valor, esforo de apreciar efeitos reais, determinando o que bom ou ruim (SILVA, 2001, p.48). Afirma tratar-se de um julgamento valorativo, no qual no existe neutralidade: no um ato neutro nem exterior s relaes de poder, mas um ato eminentemente poltico (id, p.48). Entretanto, para a autora, quando esse significado circunscrito no que chama de campo profissional, perde o contedo considerado de senso comum e passa a abrigar dimenses, uma tcnicometodolgica, orientada pelo mtodo cientfico, e outra poltica, que diz respeito participao dos sujeitos e a socializao dos resultados da avaliao. Worthen, Sanders e Fitzpatrick consideram avaliao como a identificao, esclarecimento e aplicao de critrios defensveis para determinar o valor (valor ou mrito), a qualidade, a utilidade, a eficcia ou a importncia do objeto avaliado em relao a esses critrios (2004, p.35). Afirmam que a avaliao que ocorre em nvel profissional pode ser denominada de avaliao formal, a qual (...) j era evidente desde 2000 a.C., quando as autoridades chinesas faziam provas para os servidores pblicos a fim de ter uma estimativa de seu desempenho (ibid, p. 61). Cohen e Franco afirmam que a avaliao no deve ser concebida como uma atividade independente e auto-suficiente, mas como parte do processo de planejamento. Colocam que se planejar introduzir organizao e racionalidade na ao para consecuo de determinadas metas e objetivos, a avaliao um modo de verificar essa racionalidade, medindo o cumprimento ou a perspectiva de cumprimento dos objetivos e metas previamente estabelecidos e capacidade para alcan-los (ANDER-EGG,1984, apud COHEN E FRANCO, 1993, p.73). No entendimento dos autores, diante de problemas na vida cotidiana as avaliaes costumam ter colocao subjetiva, realizadas com informaes insuficientes e mediante

reflexo assistemtica, entretanto, nos processo de avaliao planejada, as informaes devem ser suficientes e utilizar mtodos rigorosos para chegar a resultados vlidos e confiveis (COHEN E FRANCO, 1993, p. 72). Este tipo de resultado pode ser alcanado quando se garante que a informao passe pelo crivo da objetividade, validade, confiabilidade e estabilidade. A questo da validade, por exemplo, busca garantir que os instrumentos adotados cumpram a funo de medir exatamente o que se pretende avaliar. Outro elemento, confiabilidade, remete preocupao com a qualidade da informao que ser coletada, dado que possui influncia direta nos resultados que sero obtidos. Apresentam, tambm, a questo da estabilidade, ou seja, a importncia da adoo de procedimentos nicos no momento da avaliao, de modo que os resultados no variem com o avaliador, com o modo em que efetuada a avaliao, ou com o instrumento utilizado (id, p.72). J Aguilar e Ander-Egg apontam um conjunto de exigncias que um indicador deve cumprir para que exera sua funo em um processo de avaliao. Afirmam que os indicadores devem permitir comparaes do tipo sincrnicas e diacrnicas. Considerando o conceito de sincrnico, definido como aquilo que ocorre, existe ou se apresenta precisamente ao mesmo tempo; que indicam fatos concomitantes ou contemporneos passados em lugares diferentes entende-se que essa exigncia normatiza a padronizao das informaes para que haja comparao entre os diferentes fenmenos coletados. De maneira distinta, as comparaes diacrnicas apontam para a elaborao de prognsticos, pois indica tudo o que relativo ao estudo ou compreenso de um fato ou de um conjunto de fatos em sua evoluo no tempo. Para os autores, tambm importante que os indicadores representem valores sobre os quais exista um grau de consenso entre as partes envolvidas na avaliao. Apontamentos sobre a questo do processo de coleta de dados tambm so problematizados pelos autores, que a associam rigorosidade proposta pelos mtodos cientficos, pois a consideram como uma forma de pesquisa social aplicada (AGUILAR, ANDER-EGG, 1994). J Cohen e Franco colocam que as relaes existentes entre

avaliao e pesquisa so estreitas, j que aquela supe a utilizao do conjunto de modelos, instrumentos e tcnicas que constituem a chamada metodologia da pesquisa em cincias sociais (COHEN E FRANCO, 1993, p. 78).

3. Objeto de Estudo: sistema de monitoramento e avaliao da RTS

O sistema de monitoramento e avaliao da RTS foi projetado de modo que contribua para a permanente qualificao das aes em prol da transformao social, por

meio da construo de indicadores quanti-qualitativos que possibilitem a avaliao dos resultados alcanados pelas aes empreendidas ( PROJETO MARTS, 2007). De acordo com os documentos do projeto, o SMARTS foi desenvolvido para ser uma ferramenta de gesto que tem como objetivos secundrios registrar e integrar informaes referentes s tecnologias sociais; difundir e articular as tecnologias sociais financiadas e no financiadas pela RTS, monitorar e avaliar o desenvolvimento e o alcance das TS apoiadas pela RTS, para, com isso, legitimar, consolidar e ampliar a rede de TS. A pesquisa documental indicou que o sistema est arquitetado para utilizar a rede pblica de computadores (internet), tendo sido desenvolvido com base em tecnologias de software no-proprietrio, software livre, obedecendo aos termos da licena GPL e usando linguagem PHP 5.0 juntamente com o sistema de construo de pginas Smarty. Para armazenar os dados, optou por utilizar o MySQL 5.0 , reconhecido sistema de banco de dados de elevado desempenho e robustez . Em relao ao sistema de informao do SMARTS, verifica-se a presena de componentes inter-relacionados que coletam (entrada), manipulam e armazenam (processo), disseminam (sada) os dados e informaes, fornecendo um mecanismo de feedback. O fluxo de entrada e sada das informaes foi organizado de forma a respeitar o prprio conceito de sistema estabelecido pela equipe executora do projeto. Foi arquitetado para coletar dados e transform-los em informaes na forma de indicadores. Para tal, desenvolveu uma estrutura de organizao do fluxo do dado no sistema, de forma que, ao final, todo dado coletado seja atrelado a uma varivel, que por sua vez, compe um indicador, como mostra a Figura 1.
Eixo Estruturante Relatrios Analticos Objetivo do eixo

Conjunto de informaes

Indicador

Questo verificadora

Varivel

Figura 1. Organizao dos dados no SMARTS. O eixo estruturante abriga temas que, de acordo com objetivos especficos, gera um ou mais indicadores. Cada indicador desdobra-se em variveis, as quais requerem questes para averigu-las. O conjunto de respostas torna-se informaes sobre o eixo, reunidos em

relatrios analticos, ou seja, relatrios que conseguem estabelecer relao ou cruzamento entre algumas variveis ou mesmo indicadores. Com isso, so geradas informaes sobre os temas, permitindo RTS conhecer os resultados de suas aes. Esmiuando a questo dos eixos estruturantes, verificou-se a existncia de trs eixos: A) reaplicao de tecnologia social apoiada por organizaes mantenedoras; B) difuso de tecnologia social e C) dinmica de rede, sendo que cada eixo possui um indicadores distintos, como mostra o Quadro 1. Quadro 1. Eixos e Indicadores Eixo Eixo Estruturante A

Indicador Tecnologia Social Gerao de Trabalho e Renda Mobilizao e Participao Comunitria Difuso e Articulao Monitoramento e Avaliao

Eixo Estruturante B

Difuso Articulao

Eixo Estruturante C Fonte: Documento interno do Projeto MARTS.

Dinmica de Rede

O Eixo Estruturante A, cujo objetivo fornecer informaes que possibilitem avaliaes de processo e de resultado acerca dos projetos que so selecionados e apoiados no mbito da RTS por meio das organizaes mantenedoras. Contm cinco indicadores: Tecnologia Social (TS), Gerao de Trabalho e Renda (GTR), Mobilizao e Participao Comunitria (MPC), Monitoramento e Avaliao (MA) e Difuso, Articulao e Dinmica de Rede (DAD). Cada indicador possui um conjunto de variveis como mostra o Quadro 2. Quadro 2. Indicadores e variveis do eixo estruturante A. Indicador Varivel (eis) TS Elementos da TS, Apropriao da TS, Desenvolvimento da TS, Envolvimento no processo, Produo de conhecimento, Processo produtivo, Inovao, Efeitos da TS Viabilidade econmica da TS, Capacitao para o negcio, Efeito da atividade econmica, Estratgias de comercializao, Capacitao para o negcio, Inovao na produo, Organizao social da TS, Engajamento da comunidade, Origem da TS Gesto do projeto de reaplicao Articulao inter-institucional, Meios de difuso

GTS

MPC MA DAD

Fonte: Documento interno do Projeto SMARTS Para que cada indicador e conjunto de variveis sejam compostos, elaborou-se um conjunto de 102 questes verificadoras. Considerando o total de questes do eixo,

averiguou-se que grande parte das questes de natureza quantitativa, com 67 perguntas fechadas contrastando com 19 perguntas abertas, existindo, tambm, questes que mesclam essas duas naturezas de resposta. Segundo os documentos analisados, a

estruturao do eixo A, dever permitir que sejam gerados subsdios para identificao e/ou anlises de: (i) Processos de implantao e reaplicao da TS, (ii) Processos de inovao e adaptao da TS, (iii) Relao entre TS e TC, (iv) Potencialidades e fragilidades da TS, (v) processos produtivos desencadeados pela implantao/reaplicao de TSs, (ii) estratgias de sustentabilidade do projeto, (iii) dinmica de gerao de trabalho e renda, (vi) estratgias e inovaes de gesto, e (v) processos de qualificao para o trabalho, (vii) nveis de mobilizao e participao comunitria alcanados pelo projeto, (viii) nveis de

empoderamento alcanados no projeto, (iii) estratgias de mobilizao, (ix) formas de participao, (i) Nveis e formas de difuso dos projetos, (x) Intercmbios e parcerias entre projetos e/ou organizaes no mbito regional e local, (xi) Formas de articulao com a RTS, (i) Modalidades adotadas para o monitoramento e avaliao J o eixo estruturante B tem como foco somente os processos de difuso e articulao praticados pelas organizaes filiadas RTS. Composto por dois indicadores, Difuso e Articulao em Rede, formado por 12 questes sobre difuso e 14 questes sobre articulao, e busca coletar informaes sobre canais de difuso, formas de difuso via internet, frequncia de acesso ao portal da RTS, navegabilidade do portal da rede, contedo do portal, forma para recebimento de informaes, difuso via RTS e articulao interinstitucional. Sua alimentao ser anual, quando a rede habilitar o sistema para a coleta dos dados para que as organizaes filiadas o acessem e respondam ao formulrio. O mesmo mecanismo de gerao de relatrio ser aplicado a esse eixo estruturante, de modo que as respostas sejam compiladas em um nico relatrio. Suas respostas devem gerar subsdios para identificao e/ou anlise de (i) formas de difuso, (ii) formas de articulao com a RTS, (iii) formas de interao entre organizaes, (iv) nvel de identificao (pertencimento) com a rede, (v) avaliao da rede, (vi) Intercmbios e parcerias entre projetos e/ou organizaes no mbito regional e local . O ltimo eixo estruturante, que coleta informaes sobre dinmica de rede, possui uma caracterstica que o distingue dos demais eixos. A pesquisa documental indicou que, ao buscar atender s demandas de informao da RTS em relao s aes que configuram sua dinmica, elencaram-se questes que, em seu conjunto, retratam o cotidiano da rede. Dessa perspectiva, possvel consider-lo muito mais uma ferramenta de

monitoramento do que uma ferramenta de avaliao. Obviamente, monitorando um conjunto de aes ser possvel tecer anlises e, em decorrncia, avaliaes ao final de um perodo, entretanto, o acompanhamento das aes uma caracterstica mais presente nesse ltimo eixo. Possui somente um indicador, Dinmica de Rede, que contm nove variveis, que se desdobram em 75 questes, todas quantitativas. Verificou-se que foi programado para ter alimentao diria, gerando listagens mensais. Segundo os documentos consultados, a programao tambm prev que, na impossibilidade de inserir dados em um dado ms, o sistema dever deixar em aberto os campos de coleta, no os desabilitando, de modo que as informaes sobre o ms anterior possam ser inseridas. Ao final de um perodo de tempo poder compor o indicador completamente, por meio de relatrios que seguiro o mesmo padro de organizao dos relatrios dos dois outros eixos, em termos de estatstica. A pesquisa documental permitiu verificar que os trs eixos temticos que formam o sistema de monitoramento e avaliao da RTS so estruturas complexas, cada qual com sua especificidade. possvel perceber que a delimitao do eixo temtico A buscou superar a complexidade do prprio conceito de reaplicao de tecnologia social, visto que a caracterizao dos projetos financiados no mbito da rede em 2007 indicou que cada reaplicao pode ser considerada como um fenmeno distinto, de naturezas e dinmicas diferentes. Com isso, infere-se que a padronizao do tipo de informao coletada por este eixo parece ser algo mais difcil de ser realizado, se comparado com o segundo eixo temtico. O conceito de difuso de tecnologia social permite criar categorias de anlise quase de forma intuitiva, enquanto que tal intuitividade no aplicvel ao caso da reaplicao de tecnologia social. O eixo temtico dinmica de rede igualmente complexo tanto pela quantidade de aspectos que busca registrar quanto pela periodicidade de coleta. O no registro sistemtico de cada ao pode comprometer a composio do indicador. No entanto, esse fator pode parecer pequeno diante da promessa oferecida por essa funcionalidade do sistema. Para uma organizao, independente de sua natureza, importante ter suas aes das mais prioritrias s mais ordinrias mapeadas, organizadas sistematicamente e, principalmente, processadas. Arrisca-se a afirmar que grande o ganho organizacional com uma ferramenta deste tipo, seja em termos de aprendizagem sobre seus processos, quanto possibilidade de dispor de informaes em um alto grau de mincia. 4. Potencialidade do sistema de monitoramento e avaliao da RTS

Para o desenvolvimento de parmetros de anlise partiu-se da definio do que potencialidade, cuja definio oferecida pelo dicionrio de lngua portuguesa a define como a capacidade de trabalho em relao aos fatores que facilitam ou dificultam a ao. Tal

definio aplicvel ao trabalho proposto, pois abarca tanto os elementos positivos quanto negativos que podem influenciar uma ao. Portanto, foram empregados esforos para verificar quais desses elementos so mais presentes no objeto de estudo, a partir de alguns critrios retirados do referencial terico desenvolvido sobre tecnologia social e

monitoramento e avaliao. Partindo das consideraes de Cohen e Franco, percebe-se como um critrio a questo da segurana do sistema. Esse aspecto verificvel quando h presena ou ausncia de 1) objetividade, isto , a captura da realidade evitando influncia de ideias preconcebidas e interesses particulares; 2) validade, enquanto a mensurao do que realmente se tenta medir; 3) confiabilidade como o grau de ocorrncia de uma mesma informao em sua exatido; e 4) estabilidade, ou seja, a constncia da informao, com a garantia que no variem em relao ao avaliador, ao modo como efetuada a avaliao ou com o instrumental utilizado. Se observado componentes do sistema de monitoramento e avaliao da RTS tmse que, se analisado os eixos estruturantes (eixo-indicador-varivel-questo), alta a questo da objetividade, da validade e da confiabilidade, enquanto que nula a questo da estabilidade dos dados. A pesquisa documental verificou que o sistema no havia sofrido testes repetidos e, por esse motivo, no foi possvel garantir a estabilidade dos dados gerados. O Quadro 3 mostra as anlises tecidas para cada um dos eixos.

Quadro 3. Analise do SMARTS na perspectiva de Cohen e Franco Critrio Aspecto Eixo Reaplicao de TS Financiada por Mantenedora Objetividade Validade Confiabilidade Mdia Embora sem o teste seja difcil estabelecer a relao proposta, possvel inferir que o grau de confiabilidade deste eixo compromete-se em relao s questes qualitativas, que talvez no possibilitem que haja um grau de ocorrncia das respostas Alta O carter quantitativo do eixo permitir a contagem das ocorrncias de resposta, visto que parte so questes de mltipla escolha e parte so de nica escolha Estabilidade No se aplica Sem os testes, no possvel perceber se as questes geraro dados e informaes estveis, pois o sistema no possui governabilidade sob quem ir aliment-lo nem sob quem ir manipul-los para consolid-los.. No se aplica Sem os testes, no possvel perceber se as questes geraro dados e informaes estveis, pois o sistema no possui governabilidade sob quem ir aliment-lo nem sob quem ir manipul-los para consolid-los. Mdia No caso deste eixo, possvel prever que ser mdia a

Mdia A partir do produto gerado na primeira fase, buscou-se Baixa categorizar as grandes aes O nmero alto de questes comuns aos projetos analisados, qualitativas aumenta as no entanto, o fato das aes de possibilidades de reaplicao ser to distintas e enviesamento dos dados. nicas compromete a validade dos dados e informaes que sero obtidos.

Eixo Difuso

Alta Sendo formado majoritariamente por questes quantitativas, diminui possibilidade de enviesamento

Alta Devido ao fato do conceito de difuso permitir caracteriz-lo com mais propriedade, permitindo a construo de questes quantitativas e que retratam bem o conceito, aumenta a probabilidade de coletar informaes que correspondam ao que se pretende coletar com este eixo

Eixo Dinmica de Rede

Alta Alta Alta Tendo 100% de questes Dado que das questes que O carter quantitativo quantitativas e buscando caracterizam esse eixo retratam do eixo permitir a coletar o dado bruto, de fonte com preciso o cotidiano da contagem das

primria (secretaria executiva rede, elevada a probabilidade da RTS), so mnimas as de validade dos dados e das chances de enviesamento. informaes corresponderem exatamente ao que se pretende monitorar e avaliar. Fonte: Elaborado pela pesquisadora.

ocorrncias de resposta, aps determinado perodo de coleta.

estabilidade do dado, pois existe governabilidade sob quem ir aliment-lo e manipul-lo.

Outro critrio passvel de anlise o conjunto de exigncias que Aguilar e Ander-Egg indicam que um indicador deve cumprir para que exera sua funo em um processo de avaliao. Nesse sentido, se pensado a questo das comparaes possveis e a representao de valores, possvel destacar que, em relao ao Eixo A, o indicador Tecnologia Social pauta os demais indicadores, ou seja, esse indicador que abriga as caractersticas especficas de cada tecnologia social e o contexto onde est inserida. Com isso, elementos comuns somente podem ser estabelecidos a partir deste indicador, o que, consequentemente, compromete a possibilidade de comparao entre tecnologias sociais. O grau de comparao sincrnica e mesmo diacrnica somente ser alto quando a tecnologia social estiver na mesma atividade econmica ou dentro de uma mesma problemtica social. provvel que, aps anos de coleta, seja possvel tecer correlao ou comparao interrea, porm, somente aps minucioso estudo. O eixo B somente permitir processar informaes comparativas, efetivamente, aps dois anos de coleta. A primeira coleta apresentar um retrato do perodo da coleta por meio dos indicadores, mas, a visualizao da evoluo do processo ocorrer quando for possvel comparar os relatrios consolidados. Tal fator evidencia o tipo de avaliao que o sistema permitir, isto , de resultado e de processo; entretanto, no que diz respeito aos elementos que envolvem a avaliao de resultado, nesse eixo no ser possvel aferir pontos como eficcia, eficincia e efetividade, pois so conceitos que no se aplicam difuso, ao menos no da forma como abordam os autores utilizados no segundo captulo. A mesma lgica de comparao se aplica ao eixo Dinmica de Rede, mas com ressalva. Visto que a coleta ser mensal, ser possvel, ao final de um perodo, por exemplo, um ano, realizar comparaes entre os dados mensais (avaliao de resultado). Ao longo dos anos, as comparaes diacrnicas sero mais aplicveis, possibilitando RTS observar a evoluo das prticas da rede social por meio de um detalhamento considervel que considerado pela SECEX o fator que torna inovadora a proposta do SMARTS. A esta declarao cabe uma considerao: a pesquisa documental mostrou que o desenvolvimento deste eixo pode ser considerado mais endgeno do que os outros dois eixos, percepo que se comprova pela mincia das questes. Somente quem est imerso na realidade que se deseja retratar aponta com propriedade o que quer que o retrato retrate. O Quadro 4 apresenta os pormenores da anlise.

Quadro 04. Analise do SMARTS na perspectiva de Aguilar e Ander-Egg Critrio Indicador Representao literria Comparaes sincrnicas Comparaes diacrnicas Realizvel por meio dos relatrios consolidados, que compilaro somente as questes comuns aos projetos de reaplicao. Ser difcil realizar esse tipo de comparao entre TS. Realizvel por meio dos relatrios consolidados, que compilaro somente as questes comuns aos projetos de reaplicao. Representa valores consensuados Sim Os indicadores e as questes foram legitimados pelo GT de M&A da RTS, em conjunto com a SECEX e a equipe executora do projeto. Sim Os indicadores e as questes foram legitimados pelo GT de M&A da RTS, em conjunto com a SECEX e a equipe executora do projeto. Sim Os indicadores e as questes foram legitimados pelo GT de M&A da RTS, em conjunto com a SECEX e a equipe executora do projeto.

Tecnologia Social

Realizvel por meio das questes abertas que Reflete base terica captam a dinmica da TS, As questes abertas mas ser possvel realizar coletaram os elementos que comparaes somente remetem ao conceito de TS a entre algumas questes, RTS. diante da singularidade das experincias Reflete base terica As questes refletem todas as definies da Dimenso 2 da Base Terica, embora no em profundidade. No reflete a base terica Tal definio no consta na base terica gerada pelo produto1, mas aparece na caracterizao dos projetos e nas falas dos participantes da Fase 4, de modo que atende, em algum grau, as demandas por informao nesse aspecto. Reflete parcialmente base terica Questes como eficcia, eficincia e efetividade so Realizvel por meio das questes fechadas comuns aos diferentes projetos de TS, mediante cruzamento com os resultados do primeiro indicador.

Gerao de Trabalho e Renda (GTR) EIXO A

Mobilizao e Participao Comunitria

Realizvel por meio das questes fechadas comuns aos diferentes projetos de TS, mediante cruzamento com os resultados do primeiro e segundo indicadores. Realizvel por meio das questes fechadas comuns aos diferentes projetos de TS, mediante

Realizvel por meio dos relatrios consolidados, que compilaro somente as questes comuns aos projetos de reaplicao.

Monitoramento e avaliao

Realizvel por meio dos Sim relatrios consolidados, Os indicadores e as que compilaro somente questes foram as questes comuns aos legitimados pelo GT de

brevemente abordados pelo cruzamento com os projetos de reaplicao. sistema e no contemplam resultados do primeiro todas as definies da indicador. Dimenso 3 da Base. Reflete base terica As questes fechadas Realizvel independente coletaram elementos que dos resultados dos remetem ao conceito de demais indicadores. difuso. Realizvel por meio dos relatrios consolidados, que compilaro somente as questes comuns aos projetos de reaplicao.

Difuso e Articulao

M&A da RTS, em conjunto com a SECEX e a equipe executora do projeto. Sim Os indicadores e as questes foram legitimados pelo GT de M&A da RTS, em conjunto com a SECEX e a equipe executora do projeto.

Critrio Indicador

Difuso

Representa valores consensuados Sim Os indicadores e as Reflete base terica questes foram As questes fechadas Realizvel aps dois anos Realizvel aps cinco legitimados pelo GT de coletaram elementos que de coleta de dados. anos de coleta de dados. M&A da RTS, em remetem ao conceito de conjunto com a SECEX e difuso. a equipe executora do projeto. Representao literria Comparaes sincrnicas Comparaes diacrnicas Sim Os indicadores e as Reflete base terica questes foram As questes fechadas Realizvel aps dois anos Realizvel aps cinco legitimados pelo GT de coletaram elementos que de coleta de dados. anos de coleta de dados. M&A da RTS, em remetem ao conceito de conjunto com a SECEX e difuso. a equipe executora do projeto.

EIXO B Articulao

Critrio Indicador

Representao literria

Comparaes sincrnicas

Comparaes diacrnicas

Representa valores consensuados

Reflete parcialmente base terica O termo dinmica de rede no foi tratado como um conceito e, portanto, no foi contemplada pela Base Realizvel aps dois anos Realizvel aps cinco Dinmica de Rede anos de coleta de dados. Terica, refletindo apenas a de coleta de dados. prtica da SECEX. Por inferncia entende-se que remete s aes de articulao e difuso executadas pela secretaria. Fonte: Elaborado pela pesquisadora.

EIXO C

Sim

A coleta dos dados tambm um critrio importante para analisar a potencialidade do sistema. O SMARTS foi projetado para ser uma ferramenta de gesto informatizada, disponvel aos usurios via internet. No entanto, quais as implicaes da adoo desse tipo de estratgia de coleta? A princpio, destaca-se a baixa governabilidade que se ter sobre quem insere informao no sistema. A orientao ser para que cada organizao designe uma pessoa para se incumbir de tal ao. Mas, qual o perfil desejado dentro do que j foi estabelecido? A tecnologia social tem sua vivncia em grupos sociais excludos, comunidades pobres, mas quem retratar a realidade dos processos de reaplicao de TS sero as organizaes/entidades de fomento e/ou de pesquisa. No caso da coleta de informaes sobre difuso, ser o mesmo tipo de organizao. O quanto tal perfil enviesa a resposta? Retrata a realidade ou torna-a um engodo para garantir que a RTS, que financia tecnologia social por meio de suas mantenedoras, tenha uma boa imagem da organizao? Essas so questes que no possuem resposta no momento. O que possvel afirmar que, sob esta perspectiva, o processo de coleta pode ser tornar um problema na dinmica do sistema. Os autores chamam ateno para rigorosidade do processo avaliativo, vinculando-o ao ato de pesquisar cientificamente, pois entendem que o mtodo cientfico resguarda a avaliao. Esse entendimento questionvel, mas compreensvel. O apoio oferecido pelo mtodo cientfico em termos instrumental grande, pois so instrumentos de pesquisa consolidados, teorizados e testados. Alguns mtodos de pesquisa social, se utilizados em sua integridade terico-metodolgica, podem auxiliar a minimizar os efeitos do problema do enviesamento da coleta, porque orientam e convidam para o ato tanto o/a sujeito/a da pesquisa quanto o/a prprio/a pesquisador/a. Nesse sentido, sugere-se que o SMARTS se apie em outras ferramentas para conseguir avaliar efetivamente aes que envolvam tecnologia social, dada a complexidade de seu conceito. Os mtodos cientficos participativos podem atuar como ferramentas adicionais de avaliao, por meio da promoo de pesquisas avaliativas no mbito da rede, que englobem, por exemplo, os mesmos temas contidos no sistema informatizado ou que ampliem o fenmeno avaliado. A afirmao de que necessrio adotar outras formas de avaliar as aes da RTS no foi tecida como uma forma de menospreza o SMARTS. um avano organizacional ter um stio que rena dados e informaes de forma sistematizada e que seja de fcil acesso. Em uma organizao em formato de rede, no recorrer internet para desenvolver aes pode inviabilizar a participao e a interao entre as organizaes envolvidas, comprometendo a prpria existncia da rede. Ainda que em algumas regies do pas o acesso internet seja difcil, o meio de comunicao que amplia o acesso e a posse de informao.

Entende-se que as interfaces do sistema exprimem um esforo para contribuir para uma boa navegabilidade pelo SMARTS. Embora a ferramenta no esteja integralmente finalizada, foi possvel depreender que, em termos de identidade visual da organizao, houve a preocupao em cuidar da recepo visual que a organizao usuria ter. Verificou-se que o projeto buscou contratar a profissional de web designer que desenvolveu a comunicao visual de outros aplicativos da RTS, de modo que o usurio possa se reconhecer em um ambiente da rede. A disposio e tamanho dos cones tambm contribuem para que uma pessoa, habituada ou no com o ambiente da internet, consiga identificar com relativa facilidade as principais funcionalidades do sistema. 4. Consideraes Finais

Diante das anlises realizadas, a potencialidade do SMARTS reside no fato de ser uma ferramenta de gesto que auxiliar na tomada de decises acerca de suas aes estratgicas, visto que poder dispor de um conjunto de informaes que lhe indicar acertos e equvocos e, se trabalhadas, podero subsidiar debates sobre a formulao de polticas pblicas para o fomente de tecnologia social. Retomando a definio de potencialidade, o Quadro 5 apresenta os fatores que podem facilitar e/ou dificultar o manuseio da ferramenta. Quadro 5. Fatores que podem influenciar a utilizao do SMARTS Fatores Facilitadores Fatores Dificultosos Gerar informaes sobre reaplicao de tecnologia social, difuso e dinmica de rede Ser uma ferramenta de gesto informatizada e disponvel via internet Ter interface visual integrada com a comunicao visual da RTS Nmero de questes quantitativas Gerar indicadores Disponibilizar informaes pontuais via relatrios sobre os eixos logo aps alimentao Socializar os resultados obtidos em rea pblica Fonte: Elaborado pela pesquisadora. O presente artigo foi o esforo de contribuir no mbito acadmico para reflexo, mesmo que minimamente sobre desenvolvimentos de ferramenta de gesto. Respaldada Baixa governabilidade sobre a fonte de coleta Acesso a internet Questes quantitativas aplicadas a contextos diversos No compor o indicador por problemas tcnicos Tempo de processamento das informaes para fins comparativos Processar a soma dos resultados das alimentaes em material para ser publicizado em rea pblica

pelo entrosamento entre as teorias aplicveis ao estudo de caso e o prprio caso estudado, buscou apontar os fatores que podem se mostrar como facilitadores e dificultosos em termos de potencialidade do SMARTS. Objetivou, tambm, contribuir minimante para o debate sobre tecnologia social, termo que torna complexo seu processo de aferio de resultados. Percebe-se que a consolidao do SMARTS depende, em algum grau, da sua normatizao. necessrio que a RTS no compreenda o sistema somente como um aplicativo disponvel, mas o integre s prticas organizacionais da rede. Sugere-se que seja pensada uma srie de normas e procedimentos que configurem a poltica de avaliao da RTS, de modo que, a partir de seu lanamento oficial junto s organizaes filiadas, o SMARTS possa ser compreendido tal como foi concebido. A prpria equipe executora do projeto, em alguns momentos de planejamento de suas aes, apontou alguns requisitos para que o sistema tenha um bom funcionamento: Planejamento bem delineado; Equipe qualificada, comprometida, com uma boa comunicao entre seus membros; Postura rigorosa, e no rgida, em relao construo e execuo do processo; Flexibilidade, sem abrir mo de um direcionamento tico-poltico; Ser um processo pedaggico e participativo. importante destacar o ltimo requisito. Para que o SMARTS no se torne uma ferramenta de tortura organizacional, nem perpetue o sentido negativo que os processos de avaliao costumam ter, imprescindvel que todas as organizaes filiadas percebam o sistema como uma oportunidade de reflexo e aprendizado interno, aproveitando os momentos de insero de dados como um tempo de olhar para sua prpria prtica e perceb-la no s internamente, mas em interao com a rede social. Considerando um cenrio perfeito, a ao ideal que a organizao filiada coloque o SMARTS em sua agenda organizacional. Caso no tenha um processo de avaliao internalizado, seria papel da RTS estimular esse tipo de prtica, ressaltando a importncia dessa ao no s para a organizao, mas para os contextos em que se insere. Outros aspectos podem ser somados aos requisitos propostos pela equipe, como Realizao de eventos de sensibilizao da funo e importncia do sistema com lideranas da rede,

Reviso

peridica da

ferramenta por

diferentes

profissionais,

como

estatsticos, analistas de sistema e a SECEX; Disponibilizao dos dados, por meio de convites especficos, para que grupos de pesquisas ou organizaes possam realizar estudos e auxiliar na interpretao e consolidao dos dados; Realizao de eventos especficos para socializar e refletir sobre os resultados; Realizao de uma avaliao de impacto aps um perodo no menor que cinco anos da implantao da ferramenta. preciso pensar, ainda, em como proceder no caso de no haver alimentao do sistema. Espera-se que as organizaes filiadas colaborem com o sistema, mas preciso delinear estratgias de ao para essa possibilidade, pois sem alimentao o SMARTS deixa de ter funo. Certamente, mais aspectos surgiro a partir do planejamento da ferramenta e contribuiro para a conformao da poltica de avaliao da RTS.

5. REFERNCIAS BIBLIOGRFICAS

AGULIAR, M. J; ANDER-EGG, E. Avaliao de servios e programa sociais. Petrpolis, RJ: Vozes, 1994. COHEN, E., FRANCO, R. Avaliao de projetos sociais. 5.ed. Petrpolis, Rio de Janeiro: Vozes, 1993. DAGNINO, R. P. (org). Tecnologia social: ferramenta para construir outra sociedade. Campinas, SP: IG/UNICAMP, 2009. HOUAISS, A. Dicionrio Houaiss da Lngua Portuguesa. Rio de Janeiro, Ed. Objetiva, 2001. ITS. Reflexes sobre a construo do conceito de tecnologia social. In: RTS. Tecnologia Social uma estratgia para o desenvolvimento. FBB: Rio de Janeiro, 2004.

NOVAES, H.T. DIAS, R. Contribuies ao marco analtico-conceitual da tecnologia social. DAGNINO, R. P. (org). Tecnologia social: ferramenta para construir outra sociedade. Campinas, SP: IG/UNICAMP, 2009.

PROJETO MARTS. Relatrio Parcial. Perodo 2007-2009.

__________________. Documentos Internos. Apresentao em PowerPoint. Elaborada em 19.02.2008. __________________. Documento Base Conceitual RTS. Elaborado em maro de 2007.

________________. Documento Caracterizao das Aes da RTS. Elaborada em 16.08.2007. __________________. Documentos Internos. Apresentao em PowerPoint. Elaborada em 05.10.2007. _______________. Projeto Monitoramento e Avaliao RTS: um processo coletivo. Frum de Pr-Reitores das Universidades Pblicas Brasileiras, 2006. RTS. Tecnologia Social uma estratgia para o desenvolvimento. FBB: Rio de Janeiro, 2004.

___. Documento Constitutivo. Braslia, 2005. Disponvel em: <http://www.rts.org.br>. Acesso em: 15 jan. 2007. ___. Anais do 1 Frum Nacional da RTS. Salvador, 2006. Disponvel em: <http://www.rts.org.br>. Acesso em: 10 set. 2009. ___. Relatrio Bienal 2005 2007. Braslia, 2007. Disponvel em: <http://www.rts.org.br>. Acesso em: 10 set. 2009.

SILVA, M. O. S. Avaliao de Polticas e Programas Sociais: teoria e prtica. So Paulo, Veras Editora, 2001. WORTHEN, B. R., SANDERS, J. R., FITZPATRICK, J. L. Avaliao de programas: concepes e prticas. So Paulo: Editora Gente, 2004.