Seguimiento y Evaluación de Las Habilidades para La Vida Orientadas Al Desarrollo de La Juventud

SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LA JUVENTUD
Vo lu m e n 1: D i r e c t r i c e s
B |
F U N DAC IN JAC O B S
Di r e c t r ic e s De l a F u n Dac in J ac ob s s obr e
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LA JUVENTUD

Volu m e n 1: Di r e c t r ic e s De s a r rol l a Da s e n c ol a b or ac in c on c l a r e H a n bu ry y t i n a m a lt i
DIreCtrICeS
AGRADECIMIENTOS
estas directrices de seguimiento y evaluacin han sido elaboradas por la Fundacin Jacobs, sus organizaciones asociadas y dos especialistas en el tema de seguimiento y evaluacin (S&e) de las habilidades para la vida y desarrollo de la juventud. Queremos mostrar nuestro sincero agradecimiento a las especialistas Clare Hanbury-Leu y tina Malti, as como a los representantes de las organizaciones asociadas: Gideon Arulmani, the Promise Foundation, India; Simon Bailey, Aflatoun (una red global), Pases Bajos; Jeff DeCelles, Grass root Soccer/Streetfootball world, ee.UU., frica del Sur; Marta Freire, Deutsche Kinder und Jugendstiftung (DKJ), Alemania; enyo Gbedemah, Save the Children Suecia, Senegal; Gustavo Genuso, Gente Nueva, Argentina; estefania Montoya, Ftbol con Corazn, Colombia; Gabriela Pinheiro, Luta pela Paz, Brasil; Amsatou Salambere, Swiss Contact, Burkina Faso, y Olga Vsquez, Stiftung Kinderdorf Pestalozzi, el Salvador, por su gran contribucin a la publicacin de estas directrices. en el anexo se facilitar ms informacin sobre estos colaboradores.
PUBLISHER Jacobs Foundation Seefeldquai 17 P.O. Box CH-8034 Zurich Switzerland Phone +41 44 388 61 23 Fax +41 44 388 61 37 jf@jacobsfoundation.org www.jacobsfoundation.org 2011 Jacobs Foundation LAYOUT/PREPRESS/PRINTING Linkgroup, Zurich www.linkgroup.ch
2 |
DIreCtrICeS
TABLA DE CONTENIDO
AGRADECIMIENTOS GLOSARIO DE TRMINOS CLAVE PRLOGO
2 4 6
CAPTULO 1: EL DESARROLLO DE HABILIDADES PARA LA VIDA ORIENTADAS A LOS JVENES

INTRODUCCIN EL DESARROLLO DE HABILIDADES PARA LA VIDA EN LA JUVENTUD QU SON HABILIDADES PARA LA VIDA? PONDERACIN DE LA EVIDENCIA LECCIONES APRENDIDAS: IMPLICACIONES SOBRE SEGUIMIENTO Y EVALUACIN RESUMEN Y FUTURAS DIRECCIONES REFERENCIAS
9
9 9 10 22 22 23 25
MARCOS DE HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES 16
CAPTULO 2: SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
INTRODUCCIN UNA DEFINICIN QU SIGNIFICA HABILIDADES PARA LA VIDA EN TU PROYECTO? SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA LOS 12 PASOS PARA PLANIFICAR E IMPLEMENTAR EL SEGUIMIENTO Y LA EVALUACIN DE UN PROYECTO SOBRE HABILIDADES PARA LA VIDA ANEXO ANEXO 1 ASPECTOS TICOS A CONSIDERAR CUANDO HAY JVENES IMPLICADOS EN LA EVALUACIN DE PROYECTOS SOBRE HABILIDADES PARA LA VIDA ANEXO 2 OTROS RECURSOS: LISTADO COMENTADO ANEXO 3 DETALLES SOBRE EL TRABAJO DE LOS SOCIOS QUE COLABORARON EN EL DESARROLLO DE ESTAS DIRECTRICES
27
27 27 30 32 39 58 58 61 64
CAPTULO III: EVALUACIN DE IMPACTO DE LOS PROGRAMAS SOBRE HABILIDADES PARA LA VIDA ORIENTADOS A LOS JVENES: UN EXAMEN SELECTIVO 71
INTRODUCCIN QU ES UNA EVALUACIN DE IMPACTO? CUNDO Y POR QU SE LLEVA A CABO UNA EVALUACIN DE IMPACTO? AMENAZAS PARA LA VALIDEZ DE LA EVALUACIN DISEOS DE ESTUDIO APLICABILIDAD DE LAS EVALUACIONES DE IMPACTO A PROYECTOS DE LOS SOCIOS DE INTERVENCIN DE LA FUNDACIN JACOBS REFERENCIAS LIST OF TEMPLATES 71 72 73 74 75 85 86 88
| 3
DIreCtrICeS
GLOSARIO DE TRMINOS CLAVE
Casos y ejemplos de la vida real aportados por nuestros socios
GLOSARIO DE TRMINOS CLAVE1

Grupo de control. Grupo de adolescentes con unas caractersticas similares a los que van a recibir la intervencin de recursos prcticos en el grupo experimental. en contraste con el grupo experimental, el grupo de control no participa en el programa de intervencin. Los participantes tanto en el grupo experimental como en el grupo de control son distribuidos de forma aleatoria. Contrafactual. Consecuencias ante la ausencia de intervencin. es necesario para comparar los resultados reales con aquellos que se habran obtenido sin una intervencin, es decir, con versus. Eficaz. Los evaluadores miden la calidad de los objetivos alcanzados o la capacidad del programa de producir los efectos deseados. Eficiente. Los evaluadores explican resumidamente la relacin entre los beneficios y los costes del programa (relacin coste-beneficio). Evaluacin. Valoracin sistemtica de un proyecto que se est llevando a cabo o se ha finalizado, en relacin con su diseo, puesta en marcha y resultados. Su objetivo consiste en determinar el cumplimiento de objetivos, su eficiencia, efectividad, impacto y sostenibilidad. Debe ofrecer informacin verosmil, que facilite la incorporacin de los conocimientos adquiridos al proceso de toma de decisiones de destinatarios y donantes. el concepto evaluacin tambin hace referencia al proceso de determinar el valor de un programa. Una valoracin, lo ms sistemtica y objetiva posible de una intervencin sobre habilidades para la vida planificada, en marcha o finalizada.
1)
Plantillas de apoyo que pueden descargarse a travs de nuestra pgina web www.jacobsfoundation.org para ser usadas directamente
Definicin de los principales conceptos, informacin y recomendaciones importantes
ejemplos y citas de nuestros colaboradores
http://www.oecd.org/dataoecd/29/21/2754804.pdf
4 |
DIreCtrICeS
GLOSARIO DE TRMINOS CLAVE
Diseo experimental. Para poder establecer comparaciones, un diseo experimental divide de forma aleatoria a los participantes entre el grupo de intervencin y el grupo de control. Validez externa. este trmino hace referencia al grado en que los resultados de la intervencin pueden ser aplicados a otros programas y/o contextos. Impacto. efectos positivos o negativos, primarios y secundarios producidos por la intervencin ya sea de forma directa, indirecta, intencionada o no intencionada. Validez interna. existe una relacin causal entre la intervencin y los resultados: la intervencin contribuye directamente a alcanzar los resultados deseados. Grupo correspondiente por comparacin. Grupo seleccionado de forma no aleatoria, sino tras identificar similitudes bsicas entre el grupo de intervencin y el de comparacin. Lo ideal es que ambos grupos sean lo ms similares posible, especialmente, en lo que respecta a las caractersticas que se sabe tienen efectos potenciales sobre los resultados del estudio. Diseo no-experimental. Programas que no utilizan un grupo de control o de comparacin para evaluar sus resultados. Producto. efectos probables u obtenidos a corto y medio plazo por los resultados de la intervencin. Resultados. Productos, bienes y servicios resultantes del desarrollo de la intervencin. Pueden incluir aquellos cambios resultantes de la intervencin que sean relevantes para la obtencin del producto.
Estudio piloto. Prctica o estudio a pequea escala que se lleva a cabo con la finalidad de preparar el estudio principal. Normalmente, implica probar los procedimientos y mtodos que se encuentran detrs de la idea del proyecto. Cualitativo. Informacin que describe las propiedades que posee un objeto. estas propiedades se clasifican en diferentes tipos, a los que se les pueden asignar valores numricos. Sin embargo, los nmeros en s no son relevantes (UNeCe, 2000). Cuantitativo. Informacin que expresa una cantidad o valor numrico exacto. Por lo general, se asocian determinadas unidades de medida a la informacin (UNeCe, 2000). Diseo cuasi-experimental. Diseos de investigacin similares a los diseos experimentales con la salvedad de que el grupo de comparacin no se elige de forma aleatoria, sino por similitud (ver grupo correspondiente por comparacin). Muestra. Seleccin de un subconjunto de observaciones o casos de todas las observaciones o casos de la poblacin. Evaluacin sumatoria. estudio llevado a cabo al final de una intervencin para determinar la extensin en la que se obtuvieron los resultados previstos. La evaluacin sumatoria pretende aportar informacin sobre el valor del programa. Teora del cambio. Supuestos que relacionan las aportaciones y actividades de un programa con la obtencin de los resultados deseados. Validez. extensin en la que las estrategias e instrumentos de recopilacin de datos miden lo que pretenden medir.
| 5
DIreCtrICeS
PRLOGO
LA FUNDACIN JACOBS Y SU ENFOQUE EN HABILIDADES PARA LA VIDA

La misin de la Fundacin Jacobs consiste en fomentar el desarrollo de nios y jvenes. Para ello, ofrece su apoyo a instituciones y proyectos que contribuyen al bienestar, a la productividad y la inclusin social de los jvenes de las generaciones presentes y futuras, mediante la comprensin y la promocin de su desarrollo personal y laboral, su respeto por la naturaleza y la cultura e integracin en las mismas, y atendiendo a los desafos que plantean los cambios sociales, econmicos o tecnolgicos. La Fundacin Jacobs trabaja en este objetivo a travs de dos vas: mediante la financiacin de la investigacin de excelencia y a travs de intervenciones sociales. Gran parte de nuestras organizaciones contraparte del rea de Intervencin Social estn centradas en el desarrollo de una preparacin para la vida activa a travs de potenciar la confianza en s mismos, el liderazgo, la eficacia, la toma de decisiones, la responsabilidad de nios y jvenes. Muchos de nuestros socios en el rea de Intervencin Social se concentran en el desarrollo de las habilidades para la vida de nios y jvenes, como la autoestima o confianza en s mismo/a, el liderazgo, la autoeficacia, la toma de decisiones y la responsabilidad. Frecuentemente nuestros socios tienen dificultades para comprender con claridad, definir, seguir y medir el desarrollo de habilidades para la vida en sus proyectos, especialmente en entornos donde el aprendizaje es menos formal.
EL OBJETIVO DE ESTAS DIRECTRICES

Inspirados en la voluntad de las organizaciones asociadas para asumir el reto del monitoreo y de la evaluacin a nivel de proyecto, hemos desarrollado las siguientes Directrices sobre Seguimiento y evaluacin de las Habilidades para la Vida orientadas al Desarrollo de la Juventud. el primer volumen de estas directrices pretende facilitar la comprensin de lo qu significan las habilidades para la vida y por qu creemos que son tan importantes para el desarrollo de nios y jvenes, al igual que ofrecer una gua prctica a nuestros socios operacionales sobre cmo hacer seguimiento y evaluacin (S&e) del desarrollo y adquisicin de habilidades para la vida. el segundo volumen pretende ofrecer un conjunto de herramientas para hacer S&e de habilidades para la vida en terreno. Las directrices fueron desarrolladas en estrecha colaboracin con representantes de nuestros socios operacionales y con el valioso apoyo de dos expertas en el mbito de S&e y de habilidades para la vida.
EL RETO DE HACER SEGUIMIENTO Y EVALUACIN

Muchas personas y entidades le tienen miedo a la evaluacin, especialmente aquellos que trabajan a nivel de proyecto. tienen sus motivos. Un objetivo clave de la evaluacin es el de comprobar que los proyectos se estn llevando a cabo correctamente. Como resultado de la evaluacin, los donantes pueden parar o modificar los proyectos que estn financiando y pueden prescindir de empleados o pedirles que cambien de funciones. Para aquellos que se encuentran en el epicentro de los cambios, esto puede resultar espantoso. Sin embargo, un objetivo an ms significativo de la evaluacin es el de aprender. el objetivo final de los buenos proyectos para el desarrollo de nios y jvenes consiste en que los individuos u organizaciones reflexionen sobre s mismos, tengan xito con su trabajo, inviertan su dinero adecuadamente y ayuden a los jvenes a llevar a cabo un cambio positivo en sus vidas. resulta complicado definir con precisin las arenas movedizas del desarrollo, por lo cual evaluar proyectos para el desarrollo resulta siendo ms un arte que una ciencia. estas directrices pretenden orientar a los lectores y sobre todo, facilitarles que agudicen su instinto, aumenten
6 |
DIreCtrICeS
PRLOGO
confianza y mejoren sus recursos para poner en prctica y compartir su habilidad para pensar de forma evaluativa.
Qu es eso que no sabes y que si supieses, supondra un gran avance?

edward Pauly, Director de Investigacin y evaluacin, Wallace Foundation, septiembre 2010 2
CMO SE ELABORARON ESTAS DIRECTRICES

estas pautas de seguimiento y evaluacin son el resultado de una colaboracin entre la Fundacin Jacobs, sus organizaciones contraparte, y dos expertas en S&e de habilidades para la vida y desarrollo de jvenes. el proceso de elaboracin de estas pautas incluy: Investigacin sobre mtodos y herramientas eficaces existentes para el seguimiento y la evaluacin del desarrollo; recopilacin de herramientas que estn utilizando los colaboradores; elaboracin de un folleto de herramientas de seguimiento y evaluacin; Ponderacin de algunas de ellas en diferentes pases y entornos; reunin en un taller de trabajo para discutir sobre el mejor marco para las pautas, los conceptos clave para la inclusin y las herramientas y mtodos de anlisis de datos; redaccin del borrador de las directrices para su revisin; Inspeccin en terreno de proyectos en 10 pases; y Finalizacin de la primera edicin.
ESTRUCTURA DE LAS DIRECTRICES

Las directrices comprenden dos volmenes. el primer volumen incluye tres captulos tericos, a saber: el primer captulo hace referencia a las habilidades para la vida y pretende ofrecer a todos nuestros socios de investigacin e intervencin, una introduccin a las mismas, una explicacin sobre por qu nos parecen importantes y una propuesta de definicin. el segundo captulo sobre el seguimiento y la evaluacin de las habilidades para la vida pretende ofrecer a nuestros socios de intervencin prctica y que son responsables del diseo, la gestin y el seguimiento de proyectos en terreno, pautas sobre cmo disear e implementar procesos de seguimiento y evaluacin para llevar a cabo un seguimiento y medir el nivel de desarrollo de los recursos de seguimiento y evaluacin de habilidades para la vida. el tercer captulo que se centra en las evaluaciones del impacto de los programas sobre habilidades para la vida orientados a la juventud, pretende ofrecer a nuestros socios de la prctica y que son responsables del diseo y la gestin de proyectos, una visin sobre lo que supone una evaluacin de impacto, en contraposicin con evaluaciones internas o externas simples. El segundo volumen comprende un conjunto de herramientas practicas sobre S&e.
2) http://philanthropyjournal.org//special-reports/corporate-giving/ wallace-aims-%E2%80%98harvest%E2%80%99-know-how
| 7
DIreCtrICeS
PRLOGO
FORMATOS
Las directrices estn disponibles en varios formatos, en ingls, francs y espaol: Una versin impresa de las Directrices de la Fundacin Jacobs sobre Seguimiento y evaluacin de las Habilidades para la Vida orientadas a la Juventud; Una versin resumida; Una versin online actualizada de forma regular (las actualizaciones estarn disponibles en la lengua local). esperamos que estas directrices le resulten tiles y le deseamos un gran xito en su trabajo con programas de habilidades para la vida orientados al desarrollo infantil y juvenil.
Dr. Bernd ebersold, Director
8 |
CA P tULO 1 | eL DeS A rrOLLO De H A B ILIDA DeS PA r A L A V IDA OrIeN tA DAS A LOS JV eNeS
INTRODUCCIN / EL DESARROLLO DE HABILIDADES PARA LA VIDA EN LA JUVENTUD
CAPtULO 1 EL DESARROLLO DE HABILIDADES PARA LA VIDA ORIENTADAS A LOS JVENES

p o r T i n a M a lT i , ph D, D e pa r Ta M e n T o D e p s ic o l o g a , U n i v e r s i Da D D e T o ro n T o, c e n T ro J ac o b s pa r a e l D e s a r ro l l o D e U n a J U v e n T U D p r o D U c T i va , U n i v e r s i D a D D e Z r i c h
I NTRODUCCIN
Las habilidades para la vida ayudan a los jvenes a navegar entre los retos de la vida cotidiana. Les permiten convertirse en adultos sanos, responsables y productivos. Las habilidades para la vida orientadas a adolescentes son el foco principal de teoras psicolgicas que pretenden comprender cmo se desarrollan los recursos y las competencias. Desde un punto de vista prctico, la promocin de las habilidades para la vida ha sido identificada como un recurso clave para mejorar el desarrollo positivo y productivo de los jvenes. este captulo ofrece una introduccin al desarrollo de habilidades para la vida orientadas a los jvenes. tras proponer una definicin actual sobre habilidades para la vida, se identifican cuatro dimensiones principales de las habilidades para la vida y se ofrecen ejemplos en relacin con cada dimensin. A continuacin, se resaltan los principales marcos de habilidades para la vida orientadas a los jvenes. estos marcos incluyen el marco del Desarrollo Positivo de los Jvenes y el marco riesgo de Desarrollo. Finalmente, se desarrollan las implicaciones del seguimiento y la evaluacin de programas de intervencin.
E L DE SAR ROLLO DE HAB I LI DADE S PARA LA VI DA E N LA J UVE NTU D

Debido a que las sociedades actuales se diversifican rpidamente tanto en lo que respecta tanto a la demografa como a la poltica nuestros jvenes y adolescentes se enfrentan a retos que comprenden mltiples aspectos. Cmo influyen las demandas de la sociedad sobre los habilidades clave que los jvenes tienen que adquirir? La respuesta a esta pregunta no slo es importante para mantener la calidad de la cohesin civil y social, sino tambin para permitir que los nios y adolescentes se conviertan en adultos sanos, productivos y autnomos. La definicin de dichos recursos puede ayudarnos a mejorar la evaluacin sobre que tan bien preparados estn los jvenes para enfrentarse a los retos de la vida y tambin a identificar objetivos generales para llevar a cabo un seguimiento y evaluar las actividades de educacin e intervencin. tanto acadmicos como profesionales y administradores institucionales estn de acuerdo en que el hecho de disponer de habilidades para la vida ayuda a los jvenes a enfrentar los retos que plantea la sociedad y por lo tanto, contribuyen a su desarrollo saludable, positivo y productivo. Pero, qu son las habilidades para la vida, y cmo se desarrollan? el objetivo de este captulo es definir las habilidades para la vida orientadas a los jvenes, identificar sus principales mbitos
| 9
eL DeSA rrOLLO De H A B ILIDA DeS PA r A L A V IDA OrIeN tA DAS A LOS JV eNeS | CA P t ULO 1
QU SON LAS HABILIDADES PARA LA VIDA?
y revisar las teoras y resultados empricos que hacen referencia a los mismos y a su proceso de adquisicin. Destaca la necesidad de elaborar una perspectiva sobre el desarrollo (es decir, cmo se desarrollan estos recursos durante el proceso de desarrollo del individuo) y se debate sobre las implicaciones de un marco de habilidades para la vida en el seguimiento y la evaluacin de prcticas educacionales y de intervencin.
QU SON LAS HAB I LIDADE S PARA LA VI DA?

en un intento por identificar los recursos necesarios para mantener la calidad de la vida urbana, el xito y el valor de la vida personal y unas relaciones sociales positivas, los autores proponen diversas definiciones y conceptos de habilidades para la vida. este captulo se centra en el desarrollo de habilidades para la vida orientadas a los jvenes. La Organizacin Mundial de la Salud (OMS) (1997) define a los jvenes como personas de entre 15 y 24 aos, y a los adolescentes como personas de entre 10 y 19 aos. el trmino joven puede hacer referencia a la combinacin de ambos grupos (con edades entre los 10 y los 24). estas definiciones han sido adoptadas en todo el captulo. en general, por habilidades para la vida se entiende aquellas habilidades que ayudan a promover el bienestar, unos resultados de salud positivos y un desarrollo productivo. estas habilidades comprenden un conjunto de recursos principales que confieren a los jvenes la capacidad de avanzar en la promocin de la salud, de relaciones sociales positivas y de contribuciones positivas a la sociedad. La cuestin radica, en definitiva, en saber qu es lo que tienen que tener los jvenes para encajar bien en la sociedad. Las habilidades para la vida son importantes a la hora de ayudarles a dar forma al mundo, no se trata slo de hacerle frente. De este
modo, el concepto de habilidades para la vida sobrepasa los conceptos previos relacionados con el saber hacer frente y adaptarse a las circunstancias, implica una postura activa, autnoma y responsable de uno mismo frente a la sociedad (rychen y Salganik, 2003). De acuerdo con la Organizacin Mundial de la Salud (1997), las habilidades para la vida implican unas habilidades para mostrar un comportamiento de adaptacin positivo que permita a los individuos enfrentarse de forma efectiva a las necesidades y a los retos de la vida cotidiana. Al enfatizar en la adaptacin y una orientacin positiva, esta definicin utilizada comnmente concuerda con el enfoque positivo del desarrollo de los jvenes basado en habilidades (p. ej.: Benson, 2007). La Organizacin Panamericana de la Salud define las habilidades para la vida como recursos sociales e interpersonales (que incluyen la comunicacin, las habilidades de rechazo, la autoafirmacin y la empata), recursos cognitivos (que incluyen la toma de decisiones, el pensamiento crtico y la autoevaluacin) y recursos emocionales (que incluyen el manejo del estrs y el aumento del autocontrol; ver Mangrulkar, Vince Whitman y Posner, 2001). UNICeF (2002) define las habilidades para la vida como recursos psicosociales e interpersonales que ayudan a la gente a tomar decisiones con conocimiento de causa, comunicarse de forma efectiva y desarrollar unos recursos para manejar y autogestionar una vida saludable y productiva. Las habilidades para la vida pueden aplicarse a acciones dirigidas hacia uno mismo, hacia otras personas, o hacia el entorno local. Su objetivo consiste en favorecer la salud y el bienestar en todos estos niveles. La Organizacin para la Cooperacin y el Desarrollo econmico (OCDe) tambin resalta la necesidad de adquirir habilidades para la vida para alcanzar los objetivos deseados tanto por
10 |
la sociedad, como por sus miembros, que tienen que hacer frente a grandes exigencias sociales en un gran abanico de contextos. Las habilidades para la vida son importantes para todos (rychen y Salganik, 2003). en contraste con las definiciones mencionadas anteriormente, la definicin de la OCDe destaca la competencia ms que las habilidades. esto implica que la competencia es ms que una serie de habilidades; es tambin la habilidad de hacer frente a complejas exigencias haciendo uso y poniendo en prctica todos nuestros recursos psicosociales (incluyendo las habilidades), en un contexto determinado. De este modo, las habilidades para la vida no solo incluyen comportamiento, sino tambin actitud y conocimiento. La OCDe hace referencia a tres competencias clave: La primera es la capacidad para utilizar un amplio abanico de herramientas para interactuar de forma constructiva con el contexto social. Las herramientas pueden ser fsicas (p. ej.: aplicacin de tecnologas de la informacin) o socioculturales (p. ej.: la lengua). Para adaptar dichas herramientas a la obtencin de los objetivos deseados, la gente tiene que entender cmo funcionan y saber utilizarlas de forma interactiva. La segunda competencia es la capacidad para comprometerse con otros en un mundo cada vez ms interdependiente. Dado que los individuos tropiezan con otras personas procedentes de muy diversos entornos, la capacidad para interactuar en grupos heterogneos resulta especialmente importante. La tercera competencia es la capacidad para asumir la responsabilidad de gestionar su propia vida, situarla en un contexto social amplio y actuar de forma autnoma y responsable. La necesidad de pensar y actuar de forma reflexiva es fundamental para estas
competencias. La autorreflexin implica la capacidad no slo de aplicar una frmula de manera rutinaria, sino de enfrentarse a los retos y cambios, aprender de la experiencia y pensar y actuar de forma crtica. Otras definiciones de habilidades para la vida son bastante similares a la definicin que propone la OCDe y resaltan la capacidad de mantener un equilibrio entre los diferentes tipos de habilidades, que incluyen el comportamiento, la cognicin, los valores, las actitudes y las emociones. Por ello, estas definiciones abarcan toda la coleccin de habilidades que los individuos necesitan para su bienestar y desarrollo productivo. Por ejemplo, UNICeF (2001) define las habilidades para la vida como un enfoque del desarrollo del comportamiento diseado para lograr un equilibrio entre tres reas: conocimiento, actitud y habilidades. La capacidad de coordinar esta interaccin de diferentes capacidades intrapersonales (es decir, dentro de la misma persona) e interpersonales (es decir, entre personas) supone la diferencia entre el xito y el riesgo de hacer frente a los retos de la vida cotidiana. en resumen, estas definiciones abarcan un gran abanico de habilidades intrapersonales e interpersonales que los jvenes pueden utilizar para integrar sus conocimientos, emociones, valores y acciones con el fin de alcanzar determinados objetivos sociales o acadmicos y contribuir a la sociedad. Algunas definiciones tambin resaltan la necesidad de tener en cuenta la espiritualidad como un rea importante en la que las habilidades para la vida se encuentran arraigadas (Wikipedia, 2010). en los estados Unidos de Norteamrica, la cuestin sobre cules habilidades para la vida necesitan los jvenes ha sido tratada en el marco del siglo XXI. este contexto no slo define las habilidades intra e interpersonales necesarias para asumir los retos del mundo actual,
| 11
sino tambin la poltica educacional que identifique las habilidades principales, un grupo de objetivos especficos y los sistemas de apoyo que necesitan los jvenes para alcanzar un desarrollo positivo (Partnership for 21st Century Skills, 2009). La mayora de las definiciones de habilidades para la vida son bastante amplias y generales; con frecuencia, incluyen el trmino habilidades vitales, que hacen referencia a las capacidades bsicas necesarias para perseguir objetivos econmicos individuales y familiares (p. ej.: habilidades tcnicas/vocacionales, recursos para la bsqueda de empleo y habilidades empresariales). A pesar de que no tendra sentido tratar las habilidades para la vida sin tener en cuenta lo que uno gana durante su vida, las habilidades vitales por s mismas no son suficientes para provocar cambios a largo plazo; los jvenes, por lo tanto, necesitan habilidades superiores o habilidades intra e interpersonales mencionadas anteriormente. Dado que se pretende aplicar las definiciones anteriores a la poblacin en general, puede decirse que no estn orientadas hacia el desarrollo. Si lo que interesa son los jvenes, la adaptacin y los resultados positivos deben estar orientados hacia el desarrollo. esto significa que el nivel de una habilidad para la vida determinada tiene que ser considerado en relacin con la edad del joven y con su desarrollo biolgico, cognitivo, emocional y social general (es decir, habilidades para la vida apropiadas para su edad). Por ejemplo, se han definido las habilidades para la vida como competencias que permiten a los jvenes hacer frente a los retos que se presentan en la vida de forma adecuada a su edad, que le permiten desarrollarse de una forma sana y positiva (p. ej.: Malti y Noam, 2008). Qu significa la adaptacin positiva durante los sucesivos perodos de la adolescencia y la juventud? en general, se considera que la
gente tiene habilidades si dominan las tareas que la sociedad considera apropiadas para su edad (Havighurst, 1972) y que son inherentes al desarrollo humano (erikson, 1968). La OMS (1997) define las habilidades para la vida como aquellas habilidades y competencias que permiten que los nios y los adolescentes se enfrenten adecuadamente a los retos diarios y tareas de desarrollo. Con base en este material, proponemos la siguiente definicin sobre habilidades para la vida en los jvenes:
DEFINICIN DE HABILIDADES PARA LA VIDA EN LOS JVENES

Para los jvenes, las habilidades para la vida son las aptitudes que les permiten hacer frente a los retos que les presenta la vida de forma adecuada a su edad y a su experiencia. Favorecen un desarrollo personal sano, positivo y productivo y hacen posible importantes contribuciones a la sociedad. estas aptitudes intra e interpersonales estn relacionadas y en conjunto, ofrecen una base para identificar habilidades principales.* estas habilidades pueden ser aplicadas en relacin con uno mismo o con otros. Lo principal es la necesidad que tienen los jvenes de demostrar madurez moral y cognitiva pensando por s mismos, asumiendo la responsabilidad de sus acciones y su desarrollo social y emocional. Las habilidades para la vida van ms all del conocimiento y de las habilidades adquiridas a travs de otras personas.
* Mientras que el trmino aptitud hace referencia a una capacidad ms estable, el trmino habilidades describe una capacidad adquirida. Competencia es un trmino que engloba un grupo de habilidades.
12 |
LAS PRINCIPALES DIMENSIONES DE LAS HABILIDADES PARA LA VIDA

Los jvenes necesitan una gran variedad de habilidades intra e interpersonales para enfrentarse a los complejos retos del mundo actual, pero resultara poco prctico realizar una lista con todas las habilidades que seran necesarias en diversos contextos y a lo largo de la vida. La mejor opcin consiste en tener en cuenta slo las habilidades que resultan ms tiles a los jvenes para manejar situaciones de una forma adecuada a su edad. La anterior definicin de habilidades para la vida deja claro que las principales habilidades no pueden ser escogidas de forma arbitraria. en realidad, su seleccin debe ser el resultado de un estudio individual y psicosocial de los prerrequisitos de una vida individual sana y productiva y de una sociedad que funciona adecuadamente. en conjunto, estas habilidades principales pueden ser consideradas un sistema flexible formado por diferentes aspectos de capacidades especficas. Su unidad subyacente est representada por una continuidad estructural de cambios del desarrollo. este marco implica que en cualquier individuo, algunas habilidades estn ms desarrolladas que otras. Adems, las variables contextuales (p. ej.: el nivel de apoyo social) pueden influir en el desarrollo de las habilidades. La complejidad es inherente en los marcos que son tan amplios y comprensivos como las habilidades para la vida, y esta complejidad tiene implicaciones a la hora de medir, hacer un seguimiento y evaluar las habilidades para la vida. Para dar respuesta a la pregunta de qu habilidades necesitan los jvenes para enfrentarse a los cambios que se producen en la sociedad moderna, debemos empezar por definir en qu consisten las habilidades principales. el marco debe estar compuesto por un grupo de capacidades especficas que se encuentran ligadas de forma integral en un todo. Para poder adaptarse
y obtener un resultado positivo, es necesario alcanzar un equilibrio entre las diferentes habilidades cognitivas, emocionales y de comportamiento, al igual que las capacidades creativas y psicolgicas, como actitudes, motivos y valores. esta capacidad para integrar diferentes habilidades para la vida depende de cmo construyen los jvenes sus experiencias sociales, incluyendo sus pensamientos, emociones y relaciones con los otros y de cmo las integran dentro del concepto que tienen de s mismos (Keller, 2004). esta tarea requiere alcanzar un nivel de madurez social que les permita distanciarse de cualquier presin social, adoptar perspectivas diferentes (sintiendo lo que otros sienten como si se tratase de sus propios sentimientos), hacer juicios independientes y asumir la responsabilidad por sus acciones (rychen y Sarganik, 2003). La adopcin de este marco de integracin ha permitido reconocer entre 10 y 12 habilidades especficas para la vida intra e interpersonales que los jvenes deben adquirir para enfrentarse de forma efectiva y adecuada a su edad, a los retos que les presenta en la vida. estas habilidades principales incluyen la capacidad de toma de decisiones, de resolver conflictos y problemas de manera constructiva, pensar de forma creativa y crtica, comunicarse de forma efectiva, autoconocerse, manejar el estrs, controlar las propias emociones, tener empata con los dems, y establecer y mantener buenas relaciones sociales (p. ej.: Wenzel, Weichold y Silbereisen, 2009; OMS, 1997). estas habilidades principales pueden clasificarse en cuatro dimensiones generales: (a) pensamiento crtico y habilidades cognitivas, (b), habilidades sobre el manejo y el autocontrol, (c) habilidades sociales y morales y (d) habilidades de comunicacin (tabla 1).
| 13
La tabla 1 presenta ejemplos clave sobre diversas dimensiones de las habilidades para la vida, pero la lista no es exhaustiva. Lgicamente, es posible e importante separar los niveles intra e interpersonales. Sin embargo, en la vida cotidiana, lo que sucede a una persona en su interior y a las personas con las que se relaciona, se conecta e intercambia continuamente (Mead, 1934; Sullivan, 1953). Por ejemplo, un dilogo entre dos amigos que hablan sobre su relacin: muchos de los puntos desencadenarn el autorreflejo, que a su vez, tendr forma de respuesta. Dado que la lista refleja una visin positiva sobre el desarrollo de los jvenes basada en elementos fundamentales, concuerda con el concepto del desarrollo de los jvenes como marco de riesgo y resistencia (Masten, Cutuli, Herbers y Gabrielle-reed, 2009; Malti y Noam, 2008) y con la perspectiva positiva sobre el desarrollo de los jvenes, que considera que todos los adolescentes tienen fortalezas y potencial (ver Apartado III a continuacin). Los cientficos que se dedican a estudiar el desarrollo de los adoles-
centes (eccles y Gootman, 2002; roth y BrooksGunn, 2003) proponen las Seis C del desarrollo (competencia, confianza, conexin, carcter, cuidado y contribucin). Son una forma de conceptualizar el desarrollo positivo de los jvenes y de integrar sus diferentes indicadores, incluyendo la autoestima, la empata y el control de las emociones (Lerner, 2004). Del mismo modo, el modelo basado en los elementos fundamentales del desarrollo incorpora una serie de elementos internos que favorecen el desarrollo positivo de los jvenes. Incluyen el compromiso con el aprendizaje, valores positivos (p. ej.: responsabilidad y cuidado), capacidad social e identidad positiva (Benson y Scales, 2009). en particular, en la literatura especializada se le ha dado muy poca importancia a la contribucin a la sociedad y a los componentes de las habilidades para la vida, a pesar de la importancia que tienen, considerando que las habilidades para la vida se conciben incluyendo la capacidad para asumir responsabilidades con respecto a uno mismo y a los dems (ver tabla 1; y Latzko y Malti, 2010). tabla 1
PRINCIPALES DIMENSIONES Y EJEMPLOS DE HABILIDADES PARA LA VIDA

Nivel Intrapersonal Dimensin Pensamiento crtico y habilidades cognitivas Habilidades para la vida*
Autoreflexin; pensamiento autnomo, flexible y creativo; solucin de problemas; toma de decisiones Autoconocimiento, confianza en s mismo, autoestima, control de las emociones, manejo del estrs responsabilidad social y cooperacin; empata y preocupacin por los dems, establecimiento y mantenimiento de relaciones, respeto y aprecio por los dems expresin adecuada de los pensamientos, emociones, motivos y valores; asertividad o autoafirmacin
Bsqueda de soluciones y autocontrol
Interpersonal
Habilidades sociales y morales
Comunicacin
* La calidad de cada una de estas habilidades depende del nivel de desarrollo.
14 |
Cualquier marco de habilidades para la vida debe estar sujeto a una perspectiva que haga hincapi en la interaccin mutua y dinmica entre los individuos y la sociedad. Por ejemplo, que resaltar los valores democrticos implica que los adolescentes deben ser capaces de alcanzar su potencial de desarrollo y contribuir al buen funcionamiento de la sociedad (edelstein, 2010). este sistema de complementar las metas individuales con las de la sociedad tiene que quedar reflejado en un marco de habilidades que reconozca tanto el desarrollo autnomo del individuo, como su interaccin competente y responsable con otros individuos. el marco de habilidades para la vida exige a los jvenes varios requisitos en diferentes contextos y situaciones. especifica que las habilidades para la vida claves tienen que (a) tener un valor particular, (b) tener mltiples reas de aplicacin y (c) ser necesarias para cualquiera. el primero de ellos, que implica que la habilidad tenga que ser valorada como recurso fundamental de capital humano, significa que la aplicacin de la habilidad tiene que ofrecer resultados sociales tangibles (rychen y Salganik, 2003). Un estudio reciente apoya la postura de que el capital humano ofrece beneficios individuales y sociales clave tales como una mejor salud, un incremento de la sensacin de bienestar y un aumento del compromiso social. La segunda condicin, que implica que las habilidades tienen que producir beneficios y apoyo en diversos contextos, significa que tienen que ser aplicadas en mltiples reas de la vida. Por ejemplo, algunas habilidades son necesarias en la vida profesional, personal o social de los individuos, al igual que para favorecer su salud. Se trata de unas habilidades tan universales que cumplen los criterios para ser consideradas principales. La tercera condicin, que implica que las habilidades principales deben ser importantes para todos los jvenes resta impor-
tancia a aquellas habilidades que slo son empleadas en determinadas ocupaciones o dentro de un grupo especfico. Finalmente, tanto la doctrina como los profesionales estn de acuerdo en que las principales habilidades para la vida son aplicadas en una gran variedad de contextos sociales y reas de contenido acadmico. tambin son crticos con intervenciones como el abuso del consumo de medicamentos y la prevencin del VIH/SIDA, el aumento de la resistencia, la promocin de la paz, la prevencin de agresiones y problemas de desarrollo y la orientacin profesional, entre otros. es preciso tener en cuenta que las definiciones de habilidades para la vida presentadas anteriormente no incluyen sistemas de apoyo externo. realmente, se centran en las competencias y capacidades internas, junto con sus valores y actitudes. ello contrasta con otras teoras tradicionales sobre el desarrollo positivo de los jvenes, que tienen en cuenta determinadas dimensiones de sistemas de apoyo externo como una serie de elementos, tales como las relaciones de apoyo (p. ej.: Benson, 2007). De este modo, esta ltima aproximacin resalta la importancia del contexto social en el desarrollo. en el contexto de proyectos de socios de la Fundacin Jacobs, el componente del contexto social resulta, con frecuencia, fundamental ya que muchos de estos programas para jvenes pretenden mitigar factores adversos del contexto social.
| 15
MARCOS DE HABILIDADES PARA LA VIDA ORIENTADOS AL DESARROLLO DE LA JUVENTUD
MARCOS DE HAB I LIDADE S PARA LA VI DA OR I E NTADOS AL DE SAR ROLLO DE LA J UVE NTU D

La respuesta a la pregunta de qu habilidades necesitan los jvenes para enfrentarse a los retos del mundo actual debe estar basada en un marco de desarrollo. Dicho marco contribuye a entender los conocimientos sociales, las emociones y los motivos que los jvenes aplican a la hora de construir su realidad en determinado momento. Adems, ayuda a los profesionales a comunicarse con los jvenes de una forma que corresponda con su concepcin del mundo social y de ese modo, les permite apoyarles durante su crecimiento y desarrollo. Las principales teoras sobre el desarrollo de los adolescentes con frecuencia han estado influenciadas por las teoras cognitivas y psicosociales tradicionales. estas teoras suelen describir el desarrollo en trminos de secuencias de niveles de complejidad, madurez y diferenciacin crecientes (p. ej.: Piaget, 1955). Por ejemplo, la teora psicosocial de erikson describe el desarrollo de la identidad a lo largo de la vida en trminos socio-histricos (erikson, 1968). La identidad hace referencia a los sentimientos de autoconfianza que se desarrollan durante nuestras interacciones diarias con el apoyo de los otros. en cada etapa, las personas experimentan los conflictos tpicos de esa etapa, lo que supone un momento crucial en su desarrollo. el hecho de resolver con xito este conflicto, al igual que el refinamiento de la identidad durante la adolescencia, ayuda a aumentar las fortalezas. Por el contrario, las crisis no resueltas provocan resultados de desafeccin y de inadaptacin. Gran parte de las primeras teoras sobre el desarrollo observaban el desarrollo de los adolescentes a travs del prisma de un modelo ba-
sado en carencias. Durante las ltimas fases del desarrollo de las teoras y con apoyo en un nmero cada vez mayor de estudios empricos, las teoras se han visto cada vez ms influidas por la idea de que la adolescencia se caracteriza por la diversidad (diferencias entre individuos), una secuencia sistemtica de cambio y estabilidad en el desarrollo (diferencias intra-individuales) y una dependencia del contexto. Algunas perspectivas recientes sugieren que el aumento del bienestar, el desarrollo y las contribuciones sociales estn al alcance de todos los adolescentes si se acompaan sus fortalezas con un apoyo social adecuado. en los siguientes apartados hablaremos de forma sinttica sobre los dos marcos principales que destacan que las habilidades para la vida son la base conceptual para el desarrollo de los adolescentes y la prevencin: (a) marco de desarrollo positivo de los jvenes y (b) marco de riesgo de desarrollo y capacidad de recuperacin.
MARCO DE DESARROLLO POSITIVO DE LOS JVENES

el marco de desarrollo positivo de los jvenes surgi a partir de conceptos basados en la ciencia del desarrollo como el estudio sistemtico de procesos que provocan continuidad y cambios en las caractersticas biopsicolgicas del ser humano a lo largo del tiempo (Cairns, 2006; Gottlieb, 1997; Lerner, 2002; Lerner y Steinberg, 2004; Overton, 2006). esta aproximacin pretende investigar y prevenir los comportamientos de riesgo (p. ej.: comportamiento antisocial) a travs del incremento de las habilidades para la vida, relaciones de apoyo y condiciones sociales positivas. Adems, pretende favorecer el comportamiento de desarrollo (p. ej.: compromiso social) (Benson y Scales, 2009; Zeldin, 2000) a travs de la integracin llevada a cabo por los jvenes para unir sus sistemas de apoyo. La investigacin sostiene la
16 |

MARCO I: DESARROLLO POSITIVO DE LOS JVENES
Principios bsicos todos los jvenes poseen la capacidad de desarrollarse de forma positiva en el desarrollo, las fortalezas son ms importantes que las debilidades Modelo de ejemplo Modelo Basado en los elementos Fundamentales del Desarrollo: Cuarenta elementos fundamentales del desarrollo que hacen posible comportamientos de desarrollo y reducen los comportamientos de riesgo: elementos internos (es decir, habilidades para la vida) elementos externos (es decir, rasgos de promocin del desarrollo del contexto social) tabla 2 Implicaciones para las intervenciones Numerosos contextos de apoyo hacen posible el desarrollo positivo todos los jvenes se pueden beneficiar de relaciones de apoyo Las estrategias para promover las habilidades para la vida dependen del contexto social
relacin entre, por un lado, el desarrollo positivo y por otro los comportamientos de riesgo y la capacidad de resistencia (para una perspectiva sistemtica, ver Benson, Scales, Hamilton y Sesma, Jr., 2006). recientemente, el debate ha pasado de cmo incrementar los resultados positivos y reducir los resultados no funcionales a nivel individual, a cmo mejorar los marcos y los contextos en la vida diaria de los jvenes en donde se producen estos resultados (Shinn y Yoshikawa, 2008). Se han desarrollado varios marcos para describir los elementos del desarrollo positivo de los jvenes (p. ej.: Lerner, 2004; roth y Brooks-Gunn, 2000; Connell, Gambone y Smith, 2000). existe el consenso de que el desarrollo positivo de los jvenes se puede aplicar a todos los jvenes. Cada uno de ellos tiene una capacidad inherente para llevar a cabo un desarrollo positivo y puede beneficiarse de relaciones de apoyo. esto es cierto si no tenemos en cuenta el contexto, por ejemplo gnero, grupos de edad y etnias (Hamilton, Hamilton, y Pittman, 2004). Por el contrario, la aplicacin del desarrollo positivo de los jvenes puede variar de un contexto a otro. Por ejemplo, la atribucin de poder es considerado por los jvenes como un elemento
de desarrollo, pero las estrategias para fomentar este elemento pueden variar considerablemente en funcin del contexto social (Benson y Scales, 2009). Los jvenes son considerados los mayores agentes en su propio entorno, lo que significa que tienen la capacidad de crear las relaciones de apoyo y comunidades que necesitan para crecer y desarrollarse (Larson, 2006). Por ello, el enfoque del desarrollo positivo de los jvenes resulta holstico en el sentido de que considera a la comunidad en relacin con el joven en su conjunto y al joven como un colaborador pleno en esta relacin (Damon, 2004). el conjunto de habilidades clave en el que est incluido no hace referencia slo al desarrollo de la propia identidad personal (habilidades intrapersonales), sino tambin a las contribuciones y a la relacin que uno mismo establece con la sociedad civil (habilidades interpersonales y morales; Youniss y Yates, 1997; Damon, 2004). Adems, el desarrollo positivo de los jvenes es un proceso que ocurre de forma inherente durante los continuos intercambios que se producen entre individuos y un contexto social que les apoye. Se establece una trayectoria de desarrollo positivo cuando los jvenes participan en mltiples
| 17

relaciones, programas e instituciones que favorecen un desarrollo sano y productivo. Un gran nmero de estudios empricos apoya las diversas y complejas relaciones entre diferentes habilidades para la vida, resultados de desarrollo positivo y comportamientos problemticos (para consultar literatura al respecto, ver Benson et al. 2006; Malti y Perren, en prensa). Una investigacin reciente se ha centrado especialmente en las trayectorias de desarrollo positivo y negativo y sus interrelaciones (p. ej.: Lewin-Binzan et al., 2010). Las futuras investigaciones que relacionan las trayectorias de desarrollo positivo y desrdenes de desarrollo con procesos de desarrollo y desarrollo por interaccin del contexto provocarn que el campo de las ciencias del desarrollo revisen sus conceptos de riqueza en el desarrollo de los jvenes. El modelo de elementos fundamentales del desarrollo el modelo de elementos fundamentales del desarrollo, desarrollado por investigadores del Search Institute, se basa en un marco de desarrollo positivo de los jvenes (Benson, 2007). este modelo identifica 40 elementos fundamentales agrupados en 20 elementos externos (caractersticas del contexto social que favorecen el desarrollo) y 20 elementos internos (habilidades, valores y capacidades; Scales y Leffert, 2004). Los elementos estn distribuidos en cuatro categoras superiores. Las categoras externas son (a) apoyo, (b) fortalecimiento, (c) lmites y expectativas y (d) uso constructivo del tiempo. el desarrollo sano se incrementa cuando la experiencia de los jvenes abarca mltiples marcos, cada uno de los cuales proporciona soporte. Las cuatro categoras internas reflejan las habilidades globales para la vida: (a) aprendizaje, (b) valores positivos, (c) competencias sociales y (d) identidad positiva (Benson y Scales, 2009). el modelo de elementos fundamentales del desarrollo refleja el marco del desarrollo positivo de los jvenes, al resaltar que las fortalezas son ms importantes que las debilidades en el desarrollo y que el desarrollo positivo es posible gracias a los mltiples contextos que ofrecen su apoyo. Ambos marcos se refieren al desarrollo de unas habilidades adecuadas para la vida en la juventud, la importancia de los mentores y el apoyo, y el reflejo de las experiencias comunales, que tienen lugar independientemente de las diferencias nacionales, geogrficas, tnicas o de gnero (ver Study Group on Adolescence in the 21st Century; Larson, Bradford Brown y Mortimer, 2002). A pesar de que los marcos en la tradicin del desarrollo positivo de los jvenes, incluyendo el modelo de elementos fundamentales del desarrollo, tienen importantes implicaciones sobre el desarrollo, suelen no estar completamente seguros sobre qu tipos de desarrollo tienen lugar y cundo se producen. La perspectiva de comprensin del desarrollo debe ir ms all de la mejora del desarrollo positivo y la prevencin de sntomas emocionales y de comportamiento. Con todo, an quedan muchas preguntas conceptuales por responder. Por ejemplo, cmo evolucionan las principales habilidades para la vida a lo largo del tiempo? Son diferentes, segn la poca, o permanecen estables? Cmo podemos distinguir campos positivos y negativos que se encuentran en la base del desarrollo? estas preguntas definen las lneas de las prximas investigaciones en el campo del desarrollo.
EL MARCO DEL RIESGO DE DESARROLLO Y LA CAPACIDAD DE RESILIENCIA

Qu significa el desarrollo y cmo ayudan las habilidades para la vida a fomentarlo? La perspectiva del riesgo de desarrollo y capacidad de resiliencia es un marco global que implica la interaccin dinmica entre las habilidades para la
18 |

MARCO II: EL DESARROLLO DE RIESGOS Y CAPACIDAD DE RESILIENCIA
Principios bsicos Las asociaciones de resultados positivos (es decir, capacidad de resistencia) y negativos (es decir, riesgo) y las habilidades para la vida estn entrelazadas Dependen de las diferencias a la hora de acentuar procesos de desarrollo Modelo de ejemplo Modelo trbol: Cuatro tipos diferentes de desarrollo en la adolescencia: accin, asertividad, pertenencia y reflexin Cada tipo incluye fortalezas tpicas (capacidad de resistencia) y riesgos (sntomas) Cada adolescente necesita alcanzar un equilibrio en cada una de estas necesidades de desarrollo tabla 3
Implicaciones para las intervenciones Las intervenciones tienen que estar fundadas en el conocimiento y la valoracin del desarrollo Deben implementarse diferentes intervenciones de desarrollo
vida, el contexto social y los factores biolgicos y neuronales. Los cientficos que se dedican a estudiar el desarrollo han investigado en qu sentido las habilidades, los valores y las capacidades se desarrollan y qu significa eso tanto para una teora del desarrollo e intervencin en un marco de riesgo de desarrollo como para la teora de sistemas (Cicchetti y Cohen, 2006). este enfoque tambin ha sido puesto de relieve en la sanidad pblica como un modo de disear polticas sociales exitosas (Jenson y Fraser, 2006). Implica que los riesgos sean considerados desrdenes del desarrollo, que surgen en la historia del desarrollo de los adolescentes. esta historia incluye las experiencias vitales de los adolescentes, la evolucin de las estructuras ms significativas que se encuentran en sus contextos sociales y sus predisposiciones heredadas. Por ejemplo, el desarrollo de un comportamiento agresivo est asociado con cogniciones sociales y emociones particulares que los individuos extraen durante cada fase del desarrollo para construir su crculo social. tambin es fundamental para esta perspectiva, que la capacidad del ser humano para cambiar y recu-
perarse, al igual que para desarrollar resistencia, sea tratada como una capacidad para desarrollarse apoyada por la adopcin de un enfoque diferenciado del desarrollo. A pesar de que los riesgos se puedan convertir en problemas, tambin pueden estimular la evolucin de las fortalezas, el desarrollo y la resiliencia. La capacidad de resiliencia ha sido definida como la capacidad de un individuo para desarrollarse y tener xito a pesar de la adversidad (Masten et al., 2009). No es estable sino que evoluciona continuamente cuando los individuos interactan con su entorno social. Dado que los jvenes son activos creadores de significados, que construyen e inventan su mundo, pueden superar traumas anteriores dndole un nuevo significado a eventos pasados, a travs de la autoreflexin y explorando pensamientos y acciones alternativos. Los cientficos que estudian el desarrollo han identificado dos resultados fundamentales del desarrollo, que son aplicados en mltiples situaciones y campos del desarrollo. el primero es la competencia ampliada (es decir, la capacidad de resistencia, que se demuestra con la adquisicin y el posterior desarrollo de conoci-
| 19

mientos o habilidades que son necesarias para guiar el propio comportamiento). el segundo es la disfuncin ampliada (es decir, el riesgo), o la manifestacin recurrente de dificultades para mantener el control e integrar las propias acciones (Bronfenbrenner y Morris, 1998). Comnmente se acepta que la asociacin de resultados positivos (es decir, capacidad de resistencia) y negativos (es decir, riesgo) y las habilidades que tienen sus orgenes en el desarrollo estn interrelacionadas y dependen de las diferencias a la hora de acentuar procesos de desarrollo. La pregunta principal de esta investigacin es cmo entender los procesos de desarrollo que dan lugar a competencias o capacidad de resistencia en oposicin a la disfuncin o el riesgo. el curso del desarrollo depende de la exposicin, es decir, del contacto entre la persona en desarrollo y los procesos de los que dicha persona forma parte. estos, a su vez, tienen sus orgenes en los continuos intercambios entre la persona, el entorno de la persona y los sucesivos perodos de estabilidad social y cambio (Bronfenbrenner y evans, 2000). en resumen, los resultados del desarrollo tienen que ser entendidos como un resultado de una interaccin dinmica entre sistemas biolgicos, el desarrollo humano y el contexto social. El Modelo Trbol el modelo trbol (p. ej.: Malti y Noam, 2008, 2009) es un intento por conceptualizar las relaciones especficas de desarrollo con los riesgos y la capacidad de resistencia (es decir, las capacidades). este modelo se ha elaborado a partir de la investigacin, las prcticas de prevencin y el objetivo de crear una teora firme sobre el desarrollo. Incluye diferentes niveles de funcionamiento socio-cognitivo, emocional y social, as como vulnerabilidades clave, riesgos y sntomas que aparecen a cada nivel de desarrollo durante la adolescencia. Cada nivel de desarrollo hace que surjan nuevas fortalezas y ofrece oportunidades para volver a tratar las vulnerabilidades del pasado. Por otro lado, cada uno de estos sistemas puede conducir tambin a nuevas debilidades o a versiones ms complejas de antiguas disfunciones. Por ejemplo, el incremento de la capacidad de empata y ponerse en la situacin de otros incrementa de forma simultnea el riesgo de depresin. estudios apoyan la opinin de que el desarrollo de la cognicin social y la empata va acompaado de riesgos. Por ejemplo, se ha detectado que la empata puede estar relacionada negativamente con un comportamiento agresivo de los adolescentes, mientras que el desarrollo socio-cognitivo y de la identidad est, en parte, asociado positivamente con sntomas de depresin (Noam, Jilnina y Young, 2006). el modelo trbol tambin sugiere que los adolescentes manifiestan continuamente cada uno de los diferentes niveles de desarrollo y tienen que encontrar formas de alcanzar su equilibrio. el modelo trbol, al igual que otros marcos de desarrollo de riesgo y capacidad de resistencia, representa un enfoque holstico del desarrollo de jvenes que puede ser utilizado para planificar intervenciones basadas en el desarrollo.
Por ello, en un marco de habilidades para la vida basado en el desarrollo, la clave del xito de un programa para adolescentes est en ayudar en la creacin de ambientes y fomentar las habilidades que facilitan su desarrollo y capacidad de resiliencia.
20 |

RESUMEN
Las tablas 2 y 3 resumen los marcos tericos y los ejemplos de modelos de desarrollo de habilidades para la vida en la juventud. Ha quedado claro que, a pesar de las diferencias conceptuales, los marcos de habilidades para la vida orientadas al desarrollo de los jvenes sugieren que todas las intervenciones tienen que ofrecer formas adaptadas a la edad para que los jvenes cumplan su potencial de crecimiento mejorando su salud mental, su capadicad de aprender y sus relaciones tanto con los adultos, como con sus amigos. Por otro lado, esta visin resumida tambin ha demostrado que los marcos ofrecen un trasfondo conceptual tanto para la investigacin como para la aplicacin. Aseguran una gran colaboracin entre investigadores y profesionales, al igual que mejoras en programas de intervencin para jvenes basados en materia de desarrollo. resalta el potencial de una nueva era de intervenciones sobre habilidades para la vida orientadas a los jvenes y basadas en el desarrollo. Una intervencin coherente, racional y sostenible basada en una perspectiva del desarrollo de los jvenes y que incorpore los principios de riesgo y capacidad de resistencia tiene un tremendo potencial para guiar el desarrollo de intervenciones eficaces (Masten, Burt y Coatsworth, 2006; Scheithauer, Mati y Noam, 2009). A pesar de que podemos recurrir a un gran nmero de estudios sobre el desarrollo de los adolescentes publicados en diversas revistas internacionales, al igual que a los recursos que ofrece la Sociedad para la Investigacin de la Adolescencia (en ingls, Society for research in Adolescence), todava queda por investigar una integracin sistemtica de la teora del desarrollo con la prctica de intervenciones, al igual que la construccin de modelos psicomtricos y formas de medir cmo se utiliza la informacin diagnstica (Knight y Zerr, 2010).
| 21
PONDERACIN DE LA EVIDENCIA
PONDERACIN DE LA EVIDENCIA
el desarrollo y la aplicacin de estrategias de intervencin efectivas implica comprender las habilidades para la vida que son objeto de la intervencin. tambin es necesario comprender cundo y cmo se manifiestan dichas habilidades, al igual que cundo y por qu tiene lugar determinado problema, comportamiento o disfuncin durante el proceso de desarrollo. Cul es la forma de desarrollo adecuada para fomentar en los adolescentes la salud mental, la productividad y la contribucin a la sociedad? tras el debate anterior, queda claro que la intervencin debe estar hecha a medida del nivel de desarrollo del adolescente. es este nivel de habilidad o competencia el que ofrece informacin clave sobre las fortalezas del adolescente y los sistemas de apoyo social que son necesarios para su crecimiento y desarrollo. Un desequilibrio entre las capacidades de desarrollo del adolescente y la percepcin que un profesional o creador de un programa tiene de dichas capacidades puede tener un efecto adverso sobre la intervencin y/o los programas de seguimiento (Noam y Malti, en prensa).
LECCION E S APR E N DIDAS: I M PLICACION E S SOB R E S EG U I M I E NTO Y EVALUACIN

Cmo tratar el tema de las habilidades para la vida en el seguimiento y evaluacin de programas de intervencin? en primer lugar, cualquier programa eficaz que adopte una perspectiva de desarrollo para fomentar las habilidades para la vida tiene que estar diseado cuidadosamente y de forma sistemtica. Qu habilidad(es) para la vida escoger y qu estrategias seguir en el diseo de la intervencin son dos cuestiones clave a las que hay que dar res-
puesta si queremos que el programa tenga xito. Por ello, es importante identificar y describir las habilidades para la vida que son fundamentales en determinado contexto y relevantes para el/los tema(s) que queremos abordar. resulta til que los marcos de las habilidades para la vida que hemos tratado anteriormente en este captulo tengan suficiente alcance para tratar con xito un gran abanico de aspectos, incluyendo, por ejemplo, la prevencin del VIH/ SIDA, la prevencin de la violencia y la exclusin social. Diferentes temas y contextos requieren diferentes habilidades para la vida. Las cuestiones sobre la fase de diseo de la estrategia incluyen, por ejemplo, qu grupos de edades se van a admitir y en qu contexto se va a llevar a cabo el programa. Si queremos que una intervencin de habilidades para la vida sea eficaz, tiene que tener un diseo enfocado a la aplicacin y que ofrezca mtodos razonables y concisos para su seguimiento y aplicacin. Normalmente, los programas de intervencin aseguran que todos los entornos en los que se produzca el desarrollo de los jvenes (escuelas, familias, compaeros y comunidad) estn implicados en el proceso. es necesario demostrar que el programa puede funcionar en las condiciones previas propuestas. el programa tiene que poder obtener unos resultados especficos de forma viable, sostenible y asequible en entornos reales (Jensen, Hoagwood y trickett 1999). Los captulos 2 y 3 tratan con ms profundidad los pasos que estn implicados en el seguimiento, la evaluacin y la medida de los resultados de los programas de habilidades para la vida orientados al desarrollo de los jvenes.
22 |
RESUMEN Y FUTURAS DIRECCIONES
R E S U M E N Y FUTU RAS DI R ECCION E S

en este captulo, hemos explicado de forma resumida un conjunto integrado y especfico de capacidades adecuadas de desarrollo que hemos denominado habilidades para la vida orientadas a los jvenes. estas habilidades, que todo el mundo necesita, son tiles en mltiples mbitos y siempre actan en un contexto social. estn incorporadas a marcos de desarrollo tales como el desarrollo positivo de los jvenes y el riesgo y la resistencia al desarrollo. estn realmente orientadas a las fortalezas y conceptualizan el papel de un nio como compaero de adultos. Destacan no slo las habilidades de comportamiento positivo, sino tambin la cognicin, las emociones, las actitudes y los valores que afloran en diferentes entornos del desarrollo (es decir, intrapersonal e interpersonal). Lo ms importante de esta conexin es que reconoce que determinados mtodos e intervenciones son ms eficaces a determinadas edades y niveles de desarrollo. La laguna entre la teora del desarrollo y los programas de intervencin basados en resultados, sin embargo, no se ha resuelto por completo. Una meta importante de cara al futuro es la rigurosa aplicacin de conceptos integradores que relacionen de forma sistemtica la teora del desarrollo con prcticas de prevencin orientadas a los jvenes. Cules son los retos para futuras investigaciones e intervenciones en el rea de las habilidades para la vida orientadas al desarrollo de los jvenes? Lo principal es el aumento de la fragmentacin social a la que tienen que enfrentarse
los jvenes independientemente del lugar del mundo en el que se encuentren. el contexto social no slo presenta sus propios retos, tales como la prdida de una estructura familiar o la extensin del acoso en las escuelas, tambin existe una falta de coordinacin entre los sistemas sociales (familia, escuela, grupo de amigos) y cmo estos se relacionan entre s (p. ej.: la familia con la escuela). esta falta de coordinacin ha dado lugar a un aumento de la fragmentacin, tambin denominada caos (Bronfenbrenner y evans, 2000). A pesar de los esfuerzos de los programas de intervencin, las investigaciones de las ltimas cuatro dcadas revelan un descenso progresivo en la preocupacin por el bienestar de los otros, expresado no con palabras, sino con acciones (Bronfenbrenner y evans, 2000, pg. 121). esto ha hecho que los autores concluyan que los mayores retos de desarrollo que plantea la sociedad contempornea se encuentran en el mbito del desarrollo social (Bronfenbrenner y evans, 2000). Las habilidades para la vida incluyen un gran abanico de competencias en el mbito del desarrollo social. Desde un punto de vista cientfico, la integracin sistemtica de la teora del desarrollo con las prcticas de intervencin en el mbito del desarrollo social es necesaria para hacer frente a este reto. en la planificacin, aplicacin, seguimiento y evaluacin de adecuados programas de habilidades para la vida orientados al desarrollo que fomentan la salud, la productividad y las contribuciones a la sociedad, hay que tratar diversas cuestiones conceptuales, metodolgicas y prcticas: Qu habilidades para la vida pretende fomentar el programa? esta cuestin parte de la tradicional pregunta de si todas, alguna o slo una de las cuatro dimensiones de las habilidades para la vida tratadas anteriormente en este captulo (es decir, el pensamiento crtico y la toma de decisio-
| 23
RESUMEN Y FUTURAS DIRECCIONES
nes, el autocontrol, las habilidades y contribuciones interpersonales y la comunicacin) deberan ser consideradas en cualquier programa de intervencin. De igual manera, considera la pregunta de si existen otras habilidades para la vida diferentes de las propuestas anteriormente, que tengan que ser incluidas en el diseo de investigaciones. Qu caractersticas particulares (p. ej.: edad, trasfondo socioeconmico, contextos nacionales, gnero) debera(n) poseer el/ los grupo(s) de jvenes en el que debemos centrarnos? Cules son las mejores aproximaciones para crear diseos de investigaciones orientadas al desarrollo que sean sensibles culturalmente y que adems encuentren equivalentes dimensiones entre grupos y entornos (Knight y Zerr, 2010)? Cmo podemos desarrollar conceptos y mtodos de intervencin integradores que proporcionen a los jvenes las habilidades para la vida que necesitan para mejorar su salud mental, su productividad y sus contribuciones a la sociedad? Cmo se pueden reproducir y difundir de forma eficaz las prcticas de intervencin en entornos reales?
estas cuestiones son asuntos prioritarios para investigadores, profesionales y responsables de disear polticas relacionadas con el desarrollo de habilidades para la vida orientadas al desarrollo de los jvenes. es necesario encontrar respuesta a estas cuestiones para poder maximizar el potencial de nuestros jvenes y garantizar la cohesin social, la productividad y una buena salud mental de las futuras generaciones. tal y como afirm el ex-Secretario General de las Naciones Unidas, Kofi Annan: Una sociedad que se asla de sus jvenes, corta su cuerda salvavidas.
24 |
REFERENCIAS
REFERENCIAS
Benson, P. L. (2007). Developmental assets: An overview of theory, research, and practice. In r. K. Silbereisen & r. M. Lerner (eds.), Approaches to positive youth development (pp. 3358). thousand Oaks, CA: Sage. Benson, P. L., & Scales, P. C. (2009). Positive youth development and the prevention of youth aggression and violence. european Journal of Developmental Science, 3, 218234. Benson, P. L., Scales, P. C., Hamilton, S. F., & Semsa, A., Jr. (2006). Positive youth development: theory, research, and applications. In r. M. Lerner (ed.), Handbook of Child Psychology: Vol. 1: theoretical models of human development (pp. 894941). Hoboken, NJ: Wiley. Bronfenbrenner, U., & Evans, G. W. (2000). Developmental science in the 21st century: emerging theoretical models, research designs, and empirical findings. Social Development, 9, 115125. Bronfenbrenner, U., & Morris, P. A. (1998). the ecology of developmental processes. In W. Damon & r. M. Lerner (eds), Handbook of child psychology: Vol. 1: theoretical models of human development (pp. 9931028). New York: Wiley. Cicchetti, D., & Cohen, D. (eds.). (2006). Developmental psychopathology: risk, disorder, and adaptation (Vol. 3, 2nd ed.). New York: Wiley. Cairns, R. B. (2006). the making of developmental psychology. In r. M. Lerner (ed.), Handbook of child psychology: Vol. 1: theoretical models of human development (6th ed., pp. 89165). Hoboken, NJ: Wiley. Connell, J. P., Gambone, M. A., & Smith, T. J. (2000). Youth development in community settings: Challenges to our field and our approach. Youth Development: Issues, Challenges and Directions (pp. 281300). Philadelphia: Public/Private Ventures. Damon, W. (2004). What is positive youth development? the Annals of the American Academy of Political and Social Science, 591, 1324. Eccles, J. S., & Gootman, J. A. (eds.). (2002). Community programs to promote youth development/committee on community level programs for youth. Washington DC: National Academy Press. Edelstein, W. (2010). Werte und Kompetenzen fr eine Schule der Demokratie. In B. Latzko & t. Malti (eds.), Moralische entwicklung und erziehung in Kindheit und Adoleszenz (Moral development and moral education in childhood and adolescence). Gttingen, Germany: Hogrefe. Erikson, E. H. (1968). Identity, youth, and crisis. New York: Norton. Gottlieb, G. (1997). Synthesizing nature/nurture. Mahwah, NJ: Lawrence erlbaum. Hamilton, S.F., Hamilton, M. A., & Pittman, K. (2004). Principles for youth development. In S. F. Hamilton, & M. A. Hamilton, (eds.), the youth development handbook: Coming of age in American communities (pp. 322). thousand Oaks, CA: Sage. Havisghurst, R. (1972). Developmental tasks and education. (3rd ed.). New York: D. McKay Co. Jenson, J. M., & Fraser, M. W. (2006). Social policy for children and families: A risk and resilience perspective. thousand Oaks, CA: Sage Publications. Jensen, P., Hoagwood, K., & Trickett, E. (1999). Ivory towers or earthen trenches? Community collaborations to foster real world research. Applied Developmental Science, 3 (4), 206212. Keller, M. (2004). Self in relationship. In D. K. Lapsley & D. Narvaez (eds.), Morality, self, and identity (pp. 269300). Mahwah, NJ: Lawrence erlbaum.
| 25
REFERENCIAS
Knight, G. P., & Zerr, A. A. (2010). Informed theory and measurement equivalence in child development research. Child Development Perspectives, 4 (1), 2530. Latzko, B., & Malti, T. (eds.) (2010). Moralische entwicklung und erziehung in Kindheit und Adoleszenz (Moral development and moral education in childhood and adolescence). Gttingen, Germany: Hogrefe. Larson, R. (2006). Positive youth development, willful adolescents, and mentoring. Journal of Community Psychology, 34, 677689. Larson, R., Bradford Brown, B., & Mortimer, J. (eds.) (2002). Adolescents preparation for the future: Perils and promise. New York: Blackwell. Lerner, R. M. (2002). Concepts and theories of human development (3rd ed.). Mahwah, NJ: Lawrence erlbaum Associates. Lerner, R. M. (2004). Liberty: thriving and civic engagement among American youth. thousand Oaks, CA: Sage. Lerner, R. M., & Steinberg, L. (eds.) (2004). Handbook of adolescent psychology (2nd edition). Hoboken, NJ: John Wiley & Son. Lewin-Bizan, S., Doyle Lynch, A., Fay, K., Schmid, K., McPherran, C., Lerner, J. V., & Lerner, R. M. (2010). trajectories of positive and negative behaviours from early- to middle-adolescence. Journal of Youth and Adolescence, 39 (7), 751763. Malti, T., & Noam, G. G. (eds.) (2008). Where youth development meets mental health and education: the rALLY approach. New Directions for Youth Development, No. 120. Malti, T., & Noam, G. G. (2009). A developmental approach to the prevention of adolescents aggressive behaviour and the promotion of resilience. european Journal of Developmental Science 3, 235246. Malti, T., & Perren, S. (in press). Social competence. In B. Brown & M. Prinstein (eds.), encyclopedia of adolescence. elsevier. Mangrulkar, L., Vince Whitman, C., & Posner, M. (2001). Life skills approach to child and adolescent healthy human development. Pan-American Health Organization. http://www.paho. org/english/HPP/HPF/ADOL/Lifeskills.pdf Masten, A. S., Cutuli, J. J., Herbers, J. E., & GabrielleReed, M. J. (2009). resilience in development. In Snyder, C. r., & Lopez, S. J. (eds.), the handbook of positive psychology (2nd ed.; pp. 117131). New York: Oxford University Press. Masten, A. S., Burt, K. B., & Coatsworth, J. D. (2006). Competence and psychopathology in development. In D. Cicchetti & D. J. Cohen (eds.), Developmental psychopathology, Vol. 3: risk, disorder, and adaptation (2nd ed., pp. 696738). New York: Wiley. Mead, G. H. (1934). Mind, self and society. Chicago, IL: University of Chicago Press. Noam, G. G., Jilnina, J., & Young, C. H. (2006). Social cognition, psychological symptoms, and mental health: the model, evidence, and contribution to ego development. In D. Cicchetti, D. J. Cohen (eds.), Developmental psychopathology: Vol 1. theory and method (pp. 750794). Hoboken, NJ: Wiley Noam, G. G., & Malti, T. (in press). Mentoring relationships in developmental perspective. In D. DuBois & M. J. Karcher (eds.), Handbook of youth monitoring. thousand Oaks, CA: Sage. Overton, W. F. (2006). Developmental psychology: Philosophy, concepts, methodology. In r. M. Lerner (ed.) In W. Damon & r. M. Lerner (eds.), Handbook of child psychology: Vol. 1: theoretical models of human development (6th ed, pp. 1888). New York: Wiley.
Partnership for 21st Century Skills (2009). P21 framework definitions. report, http://www.p21.org/index. php?option= com_content&task=view&id=504&Itemid=185#re ports. Piaget, J. (1955). the childs construction of reality. London: routledge and Kegan Paul. Roth, J., & Brooks-Gunn, J. (2000). What do adolescents need for healthy development?: Implications for youth policy. Social Policy report, 14, 319. Roth, J. L., & Brooks-Gunn, J. (2003). Youth development programs and healthy development: A review and next steps. In D. romer (ed.), reducing adolescent risk: toward an integrated approach (pp. 355365). thousand Oaks, CA: Sage Publications. Rychen, D. S., & Salganik, L. H. (eds.) (2003). Key competencies for a successful life and a well-functioning society. Gttingen, Germany: Hogrefe. Scales, P. C., & Leffert, N. (2004). Developmental assets: A synthesis of the scientific research on adolescent development, 2nd edition. Minneapolis: Search Institute. Scheithauer, H., Malti, T., & Noam, G. G. (eds.) (2009). Developmentally appropriate preventions of aggression developmental science as an integrative framework. european Journal of Developmental Science, No. 3 (3). Shinn, M., & Yoshikawa, H. (2008). toward positive youth development: transforming schools and community programs. New York, NY: Oxford University Press. Sullivan, H. S. (1953). the interpersonal theory of psychiatry. New York: Norton. The United Nations Childrens Fund (2001). http://www. unicef.org/teachers/ The United Nations Childrens Fund (2002). Adolescence: A time that matters. New York: UNICeF. Wenzel, V., Weichold, K., & Silbereisen, R. K. (2009). the life skills program IPSY: Positive influences on school bonding and prevention of substance misuse. Journal of Adolescence, 32, 13911401. Wikipedia (2010). http://en.wikipedia.org/wiki/Life_skills World Health Organization. (1997). Life skills education in schools. Geneva: WHO. Youniss, J., & Yates, M. (1997). Community service and social responsibility in youth. University of Chicago Press: Chicago. Zeldin, S. (2000). Integrating research and practice to understand and strengthen communities for adolescent development: An introduction to the special issue and current issues. Applied Developmental Science, 4 (Supplement 1), 210.
26 |
CAPtULO 2 | SeGUIMIeNtO Y eVALUACIN De LAS HABILIDADeS PArA LA VIDA OrIeNtADAS AL DeSArrOLLO De LOS JVeNeS
INTRODUCCIN/UNA DEFINICIN
CAPtULO 2 SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
por cl a r e h a nbUry
I NTR ODUCCIN
este captulo est dirigido a aquellos profesionales que no cuentan con formacin cientfica en materia de evaluacin. estas pautas pretenden proporcionarles recursos y confianza para evaluar su trabajo de forma efectiva y eficiente. Son un trabajo de colaboracin en progreso, ya que nuestros conocimientos se desarrollan con su uso.
Sugerir una lista de indicadores para evaluar las habilidades para la vida; e Indicar otras herramientas, enlaces online y recursos gratuitos para profundizacin. en el Volumen 2 se ofrecen un conjunto de actividades para evaluar las habilidades para la vida con ideas y estudios para registrar y analizar la informacin generada a partir del uso de estas herramientas.
U NA DE F I N ICIN
este apartado recoge diferentes opiniones sobre las habilidades para la vida y expone la definicin y el enfoque que se emplean en estas directrices. Un grupo de educadores cre esta lista en un taller como respuesta a la pregunta qu son las habilidades para la vida? Muchas de estas habilidades pueden dividirse en: habilidades tcnicas (p. ej.: cmo cruzar una carretera de forma segura); habilidades de salud (p. ej.: cmo lavarte los dientes); y habilidades vitales (p. ej.: gestin del tiempo).
Los objetivos de este captulo son: Aclarar lo que significan las habilidades para la vida; Definir y distinguir las actividades de seguimiento y evaluacin; Presentar el plan de evaluacin en 12 Pasos;
| 27
SeGUIMIeNtO Y eVALUACIN De LAS HABILIDADeS PArA LA VIDA OrIeNtADAS AL DeSArrOLLO De LOS JVeNeS | CAPtULO 2
UNA DEFINICIN
estas habilidades son tiles en la vida, pero no es a lo que nos referimos a lo largo de estas directrices cuando hacemos referencia a habilidades para la vida. en este caso, nuestra definicin de habilidades para la vida sera:
en estas directrices, establecemos catorce habilidades para la vida diferentes, divididas en cuatro categoras:
DIMENSIONES DE LAS HABILIDADES PARA LA VIDA

Dimensin Pensamiento crtico y habilidades cognitivas Manejo y autocontrol Habilidades sociales y morales Habilidades para la vida*
tabla 5 tabla 4 aquellas habilidades que permiten a los jvenes enfrentarse a su vida de forma apropiada a su edad y experiencia. estas habilidades ayudan a los jvenes a pensar por s mismos, asumir responsabilidad y les permiten contribuir a la sociedad de forma significativa.
Autorreflexin; autonoma; pensamiento flexible y creativo; solucin de problemas; toma de decisiones. Conocimiento de uno mismo y autoestima; control de las emociones; manejo del estrs. responsabilidad social y cooperacin; empata y preocupacin por los dems; establecimiento y mantenimiento de relaciones; respeto y aprecio por los dems. expresin adecuada de pensamientos y emociones, motivos y valores; asertividad.
Comunicacin
* ver Captulo 1, pgina 14.
Para obtener informacin ms extensa sobre esta y otras definiciones, consultar el Captulo 1.
28 |
UNA DEFINICIN
OTRAS DEFINICIONES
Naciones Unidas
Habilidades para la vida: este concepto se refiere a un amplio conjunto de aptitudes psicosociales e interpersonales que pueden ayudar a las personas a tomar decisiones con conocimiento de causa, comunicarse de manera eficaz y adquirir habilidades de manejo y autocontrol que los ayude a vivir una existencia sana y productiva. Las habilidades para la vida pueden ser orientadas hacia las acciones personales y hacia la manera en que las personas se comportan con respecto a los dems, as como a las acciones destinadas a modificar el medio ambiente, de manera que fomente el buen estado de salud.
http://www.unicef.org/spanish/ lifeskills/index_7308.html
Organizacin Panamericana de la Salud

Habilidades para la vida: 1) habilidades sociales e interpersonales (incluyendo comunicacin, habilidades de rechazo, asertividad y empata); 2) habilidades cognitivas (incluyendo toma de decisiones, pensamiento crtico y autoevaluacin) y 3) habilidades para manejar emociones (incluyendo el estrs y progresivo dominio de control interno).
Wikipedia
Habilidades para la vida: Habilidades necesarias para tener xito en la vida. Pueden dividirse en seis reas: individuo, familia, trabajo, comunidad, placer y espiritualidad. Las habilidades para la vida esenciales incluyen la capacidad de reconocer y describir los propios sentimientos, dar y recibir opiniones, reconocer supuestos, establecer objetivos realistas y alcanzables y utilizar estrategias de solucin de problemas.
International Youth Foundation (IYF)

Habilidades para la vida: Habilidades cognitivas, emocionales y sociales que son necesarias para superar con xito la transicin de nio a adulto. estas habilidades influyen sobre las decisiones de los jvenes y les ayudan a convertirse en adultos comprensivos, seguros y responsables.*
http://www.paho.org/Spanish/HPP/ HPF/ADOL/Habilidades.pdf
http://en.wikipedia.org/wiki/Life_skills
http://www.iyfnet.org/document/1139
* La IYF incluye las habilidades para la vida dentro de su proyecto entra21. Hay numerosos documentos online sobre este proyecto. esta es una evaluacin de la fase uno del proyecto entra21 realizado en 13 pases de Centro- y Sudamrica. http://www.iyfnet.org/document/1139
| 29
QU SIGNIFICA HABILIDADES PARA LA VIDA EN TU PROYECTO?

Cada organizacin que trabaja en el mbito de desarrollo de las habilidades para la vida en los jvenes tendr su propia definicin y su ma-
nera de clasificarlas. es importante adaptar y utilizar en cada proyecto lo que mejor funciona en cada cultura, contexto y lengua. A continuacin, exponemos dos ejemplos de prioridades de habilidades para la vida adicionales de dos socios operacionales de la Fundacin Jacobs:
CASO DE ESTUDIO
Luta Pela Paz (LPP): Cuando se trabaja en una favela, en ro de Janeiro, el contexto lo significa todo. Luta Pela Paz (LPP) trabaja en el Complejo de Mar, llamado as porque est formado por 17 comunidades con bajos ingresos que son el hogar de cerca de 135 mil personas, de las cuales la mitad tiene entre 0 y 25 aos. La realidad a la que se enfrenta esta poblacin es similar a realidad a la que se enfrentan muchos de los jvenes que participan en proyectos que conocemos o en los que trabajamos, pero se agrava por la presencia de tres facciones de narcotraficantes que estn presentes en la regin, as como de violencia policial. Las oportunidades para acceder a la educacin o a una profesin son muy limitadas y muchos de ellos no terminan sus estudios ya sea por tener que buscar un empleo remunerado cuando todava son muy jvenes, o porque fracasaron en un sistema de educacin que no se adaptaba a su realidad o necesidades. Con el proyecto Novos Caminhos, LPP ha intentado retornar a estos jvenes a las aulas, darles un ttulo de educacin bsica y secundaria y prepararles para introducirlos en el mercado de trabajo. No importa lo riguroso que sea el proyecto, lo importante es que debe contar con una habilidad para la vida que en otro contexto se podra dar por sentado: la perseverancia. el programa puede, como es deseable, y de forma bastante explcita mostrar a sus participantes tcnicas de comunicacin y solucin de problemas, slo por nombrar algunas de las habilidades bsicas para la vida, pero para los jvenes que ya han fracasado una vez en la escuela y que han estado fuera de ella hasta cinco aos, la perseverancia es la clave. La elaboracin de indicadores para medir la capacidad de los jvenes para permanecer en el programa, continuar avanzando por los diferentes niveles hasta conseguir entrar en mercado laboral, resulta fundamental, en un contexto en que los aspectos ms bsicos de la supervivencia se les presentan constantemente con preguntas tan fundamentales como: Seguir vivo el ao que viene? en nuestro proyecto, es fundamental que los jvenes perseveren con el programa y continen avanzando por los diferentes niveles hasta alcanzar el mercado de trabajo. esto resulta clave en un contexto en el que la violencia es una amenaza constante.
Gabriela Pinheiro, Luta Pela Paz
en contextos en los que la poltica es sinnimo de corrupcin, es necesario recuperar una forma de comprender la poltica que se centre en el servicio y el bienestar pblico. No slo en relacin con los profesionales involucrados en poltica, sino en el caso de cada ciudadano.
Participantes en el taller, Zrich 2010
30 |
CASO DE ESTUDIO
Save the Children, Regin de frica Occidental y Swiss Contact en Burkina Faso, trabajan con nios y jvenes marginados que son susceptibles de emigrar o estn de un lado para otro. La principal prioridad de este programa es desarrollar una Affirmation de Soi (autoafirmacin). esta habilidad para la vida incluye elementos de otras descritas anteriormente. Cuando se mudan, los nios y los jvenes se enfrentan a varios riesgos como explotacin, trfico, abusos, etc. en la fase de reintegracin se enfrentan a dificultades como: falta de conocimiento del mercado de trabajo local, falta de recursos y cualificacin. Intentamos desarrollar en ellos las habilidades de Affirmation de Soi (autoafirmacin). Consideramos que esto: les ayuda a protegerse del abuso, desarrolla su capacidad para soportar presiones por parte de sus compaeros para que abandonen el proyecto y para defender sus opiniones, por ejemplo, su decisin de seguir en el proyecto o de escoger un camino profesional, les ayuda a mostrar confianza en s mismos con respecto a las opciones que asumen para protegerse y a ser capaz de mantener una decisin, significa que esta habilidad va ms all de la autoestima y la autoconfianza. esto muestra elementos de determinacin, valor y perseverancia.
enyo Gbedemah, Save the Children Suecia, Senegal, y Amsatou Salambere, Swiss Contact, Burkina Faso
SU DEFINICIN
Antes de planificar la evaluacin de las habilidades para la vida, hay que asegurarse de que todos los que participan en el proyecto entienden lo que son las habilidades para la vida y lo que se est desarrollando con un proyecto sobre habilidades para la vida. esto ayudar a comprender con ms claridad los objetivos de la evaluacin. La definicin puede variar de un contexto a otro y puede depender tambin de la lengua. Por ejemplo, en el taller realizado con colaboradores de campo de la Fundacin Jacobs, un grupo subray la responsabilidad poltica como una habilidad para la vida diferente, mientras que otros la consideraron un resultado del desarrollo de varias habilidades para la vida como la habilidad para la vida n.9 mencionada en la lista anterior: responsabilidad social y cooperacin. esto es lo que el grupo entendi que incluye la responsabilidad poltica:
recuperar la dimensin poltica/colectiva de uno mismo y su papel en la sociedad; y reconocer la propia relacin con organizaciones e instituciones responsables del bienestar pblico. Llegaron a la conclusin de que la habilidad responsabilidad Social y Cooperacin no recoga la intencin y la necesidad de cuestionar el status quo en determinados contextos polticos. Otros resultados de proyectos sobre habilidades para la vida orientados a los jvenes mencionados por el grupo incluyeron: Ser menos violento; Adquirir una educacin formal; Incorporarse al mercado de trabajo; Protegerse y proteger a sus semejantes; tomar decisiones seguras con respecto a la salud, y Ayudar a los jvenes a cambiar su realidad.
| 31
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA

este apartado pretende aclarar qu es el seguimiento, la evaluacin y los indicadores de habilidades para la vida. Presenta un proceso de 12 pasos para planificar el seguimiento y la evaluacin de un proyecto sobre habilidades para la vida. Incluye ejemplos relevantes para cada paso y termina con un ejemplo de planificacin del seguimiento y la evaluacin.
SEGUIMIENTO
el seguimiento consiste en supervisar durante el desarrollo de un proyecto, la trayectoria de los objetivos alcanzados en un tiempo determinado y los resultados finales (momentos cruciales). Se trata de recopilar informacin durante el desarrollo del mismo, por lo que constituye una parte importante para la evaluacin. Al principio del proyecto es preciso preguntarse: Qu quiero conseguir? Cundo? Sobre qu aspectos quiero hacer un seguimiento y por qu? Despus, hay que preguntarse cmo, quin y cundo lo har. Por ejemplo, el seguimiento ms sencillo consistira en llevar un registro de los asistentes a una sesin sobre habilidades para la vida. Algo un poco ms avanzado, sera proponer a los participantes una o varias preguntas antes y despus de la sesin y recopilar sus respuestas o plantearles una votacin sobre qu (o cmo) han aprendido. esto nos dar una idea sobre si se han entendido los mensajes clave. en esto consiste el seguimiento. el seguimiento se realiza durante el desarrollo de un proyecto. Por ejemplo, puede que haya un proyecto que se lleve a cabo durante un ao acompaado de sesiones semanales sobre habilidades para la vida. el seguimiento consiste en entender qu sucede en esas sesiones semanales y cmo sucede. La recopilacin de esta informacin es til para y alimenta la evaluacin. Por lo tanto, el seguimiento es una parte de la actividad bsica del proyecto y normalmente, es llevado a cabo por las personas que trabajan en el proyecto. Un seguimiento regular permite que las personas que trabajan en el proyecto aprendan y apliquen de forma continua este aprendizaje a sus aproximaciones y actividades sobre una base de continuidad. Para informacin ms detallada sobre la actividad de seguimiento, ver Anexo 2 Otros recursos, pginas 6163.
SEGUMIENTO Y EVALUACIN DURANTE LA PLANIFICACIN DEL PROYECTO

A veces, la evaluacin se lleva a cabo al final, o es considerada algo que aadir al final del proyecto. Sin embargo, las buenas evaluaciones son elementos muy valiosos en las primeras fases de la planificacin y diseo de un proyecto. Permiten asignar el tiempo y los recursos adecuados. La actividad de evaluacin debe empezar justo al principio del proyecto para establecer una lnea de base para medir el cambio. La evaluacin necesita recopilar informacin a travs del seguimiento del proyecto. Por eso, hay que dedicar tiempo y recursos a las actividades de seguimiento que se llevarn a cabo durante el transcurso del proyecto. en vez de considerar las actividades de seguimiento y la evaluacin como parte de la planificacin del proyecto, hay que considerarlas el ncleo de la planificacin y del proceso de planificacin. Para ms informacin, ver las directrices de la Fundacin Jacobs sobre planificacin de proyectos (www.jacobsfoundation.org).
32 |
EVALUACIN
La evaluacin tambin consiste en hacer preguntas y detectar determinados aspectos del avance del proyecto, sus xitos y resultados. Hay cinco criterios especficos que se suelen emplear en este mbito: ver Captulo 3, pgina 73. relevancia (nuestro proyecto es lo que necesita la gente con la que trabajamos) eficiencia (estamos empleando todos los recursos y capacidades disponibles. Por ejemplo: tiempo, habilidades, financiacin, etc.) eficacia (estamos haciendo lo que dijimos que haramos) Sostenibilidad (lo que estamos haciendo, se puede mantener); e Impacto (el proyecto est aportando cambios)
Una importante tarea para la mediacin en este mbito es la de pensar en qu queremos centrarnos (pueden ser uno o ms criterios) y reflexionar sobre el tipo de preguntas que es preciso realizar. A continuacin, se presentan algunos ejemplos de preguntas a plantear para calcular la eficiencia y la eficacia. La evaluacin siempre es una actividad intensa dentro del proyecto y que requiere planificacin minuciosa, reflexin y tiempo. Puede ser realizada por personal interno o por consultores externos. existen diferentes niveles de evaluacin y es importante decidir qu nivel es el adecuado. ello depender de lo que se quiera alcanzar y del tiempo y los recursos que se puedan destinar al proyecto. A nivel interno, y cuando el personal est aprendiendo a llevar a cabo una evaluacin, es importante no hacer demasiado. es necesario seleccionar minuciosamente aquello en lo que se quiere centrar la evaluacin. es mejor centrar la atencin en una pregunta, en vez de enfrentarse a demasiadas. Cuando nos centramos en una cuestin en concreto, con frecuencia resolvemos otras cuestiones. estas directrices han sido diseadas para apoyar las actividades internas de seguimiento y evaluacin y el objetivo de este nivel de evaluacin debera ser sencillo: Ayudarte y ayudar a tu proyecto! el proceso requiere definir claramente las preguntas, escoger los indicadores y las herramientas adecuadas y analizar los datos resultantes. La evaluacin del proyecto debe tener caractersticas comunes con evaluaciones e investigaciones externas. Sin embargo, las evaluaciones internas del proyecto tendrn que centrarse en algo concreto, llevar menos tiempo y tener un diseo ms sencillo. estas evaluaciones ofrecen la oportunidad de conocer las particularidades especficas de nuestro propio proyecto. Los resultados e incluso los mtodos pueden ser emplea-
EFICAZ
est alcanzando el proyecto sus metas y objetivos? est teniendo los efectos esperados sobre el comportamiento? Dnde hemos mejorado/necesitamos mejorar? Podemos esperar lograr cambios similares en un proyecto de mayor dimensin?
EFICIENTE
Lo que estamos consiguiendo, se est llevando a cabo de la mejor manera posible? Le gusta el programa a las personas que forman parte del mismo? Por qu? Por qu no? encaja con el tiempo, el presupuesto y la gente disponible?
| 33
dos en trabajos posteriores del proyecto o programa conjunto por evaluadores e investigadores externos. Podr encontrar informacin ms extensa sobre los objetivos de una evaluacin fiable y un anlisis ms profundo sobre evaluaciones de impacto rigurosas de los programas sobre habilidades para la vida orientados a los jvenes en el Captulo 3. Normalmente, las evaluaciones se disean al principio del proyecto para ofrecer una lnea de partida o base. Se trata de recopilar datos que posteriormente sern evaluados. Slo recopilando informacin al principio, podemos asegurar que el proyecto est surtiendo un mayor efecto de lo esperado en relacin con el desarrollo o con otras cuestiones. el reconocimiento de una buena lnea de base refuerza considerablemente el poder de la evaluacin. Las evaluaciones se llevan a cabo en medio de la marcha del proyecto (evaluacin parcial) y al final (evaluacin final). tambin resulta til llevar a cabo algunas actividades de evaluacin en el intervalo de tiempo que va desde la planificacin del proyecto hasta su comienzo real. esto nos permite saber si debemos cambiar algo del plan.
INDICADORES DE HABILIDADES PARA LA VIDA

Los indicadores de habilidades para la vida son las caractersticas de la habilidad que examinaremos en las actividades de seguimiento y evaluacin. Antes de hacer un seguimiento y evaluar una habilidad para la vida, es importante aclarar qu significan y comprobar que este significado es comn para todas las personas involucradas en la realizacin de actividades sobre las habilidades para la vida, incluyendo a aquellos que se encargan de llevar a cabo su seguimiento y evaluacin. el hecho de tener claros estos indicadores tambin ayuda a identificar las mejores herramientas que se deben utilizar. en las prximas pginas, haremos sugerencias sobre indicadores para cada una de las 14 habilidades universales para la vida. estos listados aclaran qu significa cada habilidad para la vida. Pretendemos que los lectores adopten, adapten y encuentren inspiracin para nuevos indicadores.
34 |
IDEAS SOBRE INDICADORES DE HABILIDADES PARA LA VIDA PENSAMIENTO CRTICO Y TOMA DE DECISIONES
1 Autorreflexin
INDICADORES
Piensa sobre cmo realizar una tarea reflexiona sobre autoconfianza y competencia reflexiona sobre fortalezas y cualidades propias es capaz de pararse y pensar antes de llevar a cabo una accin Piensa antes de culpar a otros por cosas que no han salido bien toma decisiones fundadas que son especialmente relevantes para su propia situacin y que pueden ir en contra de la mayora es capaz de tomar decisiones sin depender de los adultos La decisin correcta para uno mismo es automtica Muestra un pensamiento diferente al de la mayora tiene ideas inesperadas/originales/nuevas para solucionar problemas es capaz de crear una nueva visin y proyectarse hacia el futuro encuentra rpidamente una solucin sensata y justa Sugiere opciones est abierto a nuevas ideas Puede distinguir necesidades y deseos toma en consideracin diferentes posturas frente a un problema (pros y contras) Mantiene el equilibrio entre riesgos/beneficios durante el transcurso de una accin Apoya su decisin con pruebas y argumentos contundentes escucha con atencin
Autonoma
Pensamiento flexible y creativo (La capacidad de desarrollar nuevas ideas y/o soluciones) Solucin de problemas
toma de decisiones (La capacidad de recopilar informacin y valorar opciones para realizar elecciones fundadas)
MANEJO Y AUTOCONTROL
6 Conocimiento de s mismo y autoestima (para creer en sus propias capacidades, aceptar sus debilidades y respetar sus propios orgenes)
INDICADORES
Puede describirse a s mismo en trminos positivos Puede identificar y describir xitos positivos Puede describir cosas que, de forma realista, podra cambiar de s mismo, como por ejemplo, aptitudes, aprender cosas nuevas, desarrollar ms sus habilidades interpersonales, etc.) Puede establecer y alcanzar objetivos y mostrar responsabilidad frente a sus acciones es capaz de reaccionar de forma positiva cuando algo sale bien/mal es capaz de entender sus propias emociones y las de los dems Se puede tranquilizar rpidamente tras una experiencia/situacin emocionalmente intensa es consciente de cmo respondemos fsicamente ante el estrs tiene ideas sobre cmo manejar el estrs Sabe lo que es el estrs
Control de las emociones (manejo de los propios sentimientos y habilidad para expresarlos de forma responsable) Manejo del estrs
| 35
HABILIDADES INTERPERSONALES Y CONTRIBUCIONES

9 responsabilidad social y cooperacin
INDICADORES
realiza acciones para ayudar a la comunidad Ayuda a los dems a su costa (tiempo, dinero, renuncias) es capaz de dar y aceptar regalos de otros (incluso tiempo) Colabora con otras personas para alcanzar objetivos comunes y comprometerse cuando sea necesario es capaz de entender los sentimientos y las ideas de los dems Siente a travs de los sentimientos de los dems es capaz de explicar por qu es importante ayudar a los dems Siente satisfaccin ayudando a los dems tiene y puede describir una red de relaciones importantes es capaz de realizar una lista/constelacin coherente de relaciones Puede expresar lo que es una relacin Puede describir caractersticas de diferentes tipos de relaciones Puede describir lo que se necesita para mantener una relacin Puede apreciar los cambios en las relaciones Puede describir la importancia de los dems en su vida y por qu ellos son importantes es capaz de responder con sensibilidad y consideracin a una historia de un amigo que est enfermo respeta las opiniones de los dems aunque sean diferentes a la suya
10
empata
11
establecimiento y mantenimiento de relaciones
12
respeto y aprecio por los dems
COMUNICACIN (la capacidad de expresarse de forma eficaz, entender a los dems y responder a diferentes personas en situaciones diferentes) 13 expresin de ideas, emociones y motivos/valores
INDICADORES
tiene un vocabulario de sentimientos e ideas Puede expresarse de diversas maneras (arte, msica, poesa, etc.) Coopera cuando est en grupo Formula preguntas que hacen pensar es capaz de hablar de los roles, las responsabilidades y los inconvenientes de su propio gnero con fuerza y orgullo responde a una pregunta provocadora dando su propia opinin e ideas, y con seguridad es capaz de expresar sus propias ideas y perspectivas incluso cuando difieren de las de los dems
14
Asertividad o autoafirmacin
36 |
DESARROLLO DE NUEVAS HABILIDADES PARA LA VIDA E INDICADORES

Durante la planificacin del seguimiento y/o evaluacin de una habilidad para la vida (o grupo de habilidades), hay que seleccionar los indicadores relevantes y/o adaptar y/o desarrollar otros nuevos. es importante desarrollar indicadores de habilidades para la vida que sean especiales y relevantes para un proyecto, cultura, contexto y lengua especficos. Por ejemplo, la habilidad del pensamiento crtico, en algunos proyectos tiene que relacionarse con: 1. Las capacidades de los jvenes para transformar un contexto que est marcado por la desigualdad y la exclusin; y 2. La capacidad de los jvenes para crear nuevos conocimientos sobre la base de los datos que nos ofrece la realidad y proponer formas para transformarla.
Por lo tanto, los indicadores clave para estos programas estarn relacionados con estos dos puntos y ser necesario aclarar a nivel local lo que significa el trmino transformacin. Algunas sugerencias para indicadores del pensamiento crtico de un joven en este contexto pueden incluir: La capacidad de analizar un problema desde diferentes perspectivas; La capacidad de distinguir entre las causas que dan lugar a un problema y las que no, y La capacidad de relacionar un problema con otro que tenga las mismas causas.
En nuestros contextos, no sera suficiente con desarrollar en los jvenes las capacidades de reflexin, autonoma o creatividad. Es necesario que estas habilidades tengan un impacto en la transformacin de las condiciones de vida de aquellos que participan en determinada intervencin. Para que esto sea posible, los jvenes tienen que ser capaces de analizar la realidad de sus vidas desde diferentes perspectivas.
Un grupo de directores de proyecto de pases de Latinoamrica, taller, Zrich. Julio de 2010
| 37
Los proyectos sobre habilidades para la vida que se centran en el desarrollo de responsabilidad poltica, pueden tener en cuenta los siguientes indicadores que son relevantes para su evaluacin: Los jvenes tienen un sentimiento de pertenencia a la comunidad; Los jvenes conocen los servicios y organizaciones que ayudan a su comunidad; Los jvenes son capaces de analizar e identificar las relaciones de poder que existen en su comunidad; y Los jvenes son capaces de planificar acciones que contribuyen a cambiar su comunidad.
Los proyectos comprueban que el proceso de desarrollo de indicadores ayuda a aquellos que estn involucrados a entender mejor y a desarrollar una idea comn en relacin con los objetivos que se quieren alcanzar con un proyecto o intervencin determinados. La siguiente tabla recoge otras ideas sobre habilidades relevantes para la vida, y algunas sugerencias sobre indicadores:
INDICADORES DE HABILIDADES PARA LA VIDA COMO BASE DE PROYECTOS HABILIDAD PARA LA VIDA DE BASE EN UN PROYECTO
1 Autoafirmacin
INDICADORES
resiste la presin a participar en comportamientos de riesgo tales como el consumo de alcohol o drogas y la prostitucin es capaz de defender/mantener su punto de vista, al igual que su decisin de quedarse o marcharse Progreso acadmico en clase Capacidad para superar obstculos Permanencia en el proyecto hasta alcanzar un objetivo expresa y acta segn los planes para construir un futuro mejor Inters en formacin profesional/tcnica tiene y puede describir modelos de conducta o patrones positivos
Perseverancia
Capacidad para verse ms all de la situacin actual
38 |
LOS 12 PASOS
LOS 12 PASOS PARA P LAN I F ICAR E L S EG U I M I E NTO Y LA E VALUACIN DE U N P R OYECTO SOB R E HAB I LI DADE S PARA LA VI DA
el seguimiento y la evaluacin tienen varios niveles de complejidad, pero las buenas evaluaciones de proyectos comparten caractersticas similares. en estas directrices hemos establecido 12 pasos para planificar e implementar la evaluacin de un proyecto. en la prctica, los pasos no tienen por qu seguir siempre el orden
propuesto. Puede haber movimientos hacia atrs o hacia adelante e incluso puede que haga falta aadir otros pasos, eliminar algunos o cambiar el orden. Cada evaluacin funciona de manera diferente y cada proyecto tiene un objetivo nico. Lo fundamental es planificar las evaluaciones de forma til, divertida y realista en funcin del tiempo y los recursos disponibles y de la experiencia de las personas que forman parte del proyecto. en los casos en los que puede resultar de ayuda hemos incluido ejemplos para cada paso en recuadros sombreados debajo de los puntos generales.
PASO UNO OBJ ETIVO

Una evaluacin tiene que tener unos objetivos claros. Qu y para qu se hace una evaluacin? es decir, Cul es el OBJETIVO de la evaluacin? tenemos que plantearnos los objetivos generales del propio proyecto y reflexionar sobre los aspectos del proyecto que deben ser evaluados. es fundamental entender y aclarar el objetivo de la evaluacin con respecto al proyecto en su conjunto. A veces, podemos querer abarcar temas amplios y otras veces temas de menor dimensin o ms limitados. La eleccin debe estar basada en lo que necesitamos aprender.
PASO DOS P R EG U NTAS CLAVE

el objetivo general de la evaluacin dar lugar a PREGUNTAS CLAVE a las que habr que dar respuesta para alcanzar el/los objetivo(s) de la evaluacin.
EJEMPLO
est nuestro programa creando lderes comunitarios? Cules son los aspectos ms importantes de nuestro programa sobre liderazgo y por qu son eficaces? estn los participantes en nuestro programa sobre liderazgo asumiendo roles de liderazgo en su comunidad? estas preguntas se centran en los QUs, los CMOs y en el IMPACtO respectivamente.
EJEMPLO
el objetivo de la evaluacin es descubrir si y cmo nuestro programa de un ao sobre liderazgo en la comunidad orientado a los jvenes ha aportado el conocimiento, las habilidades y las actitudes necesarias para convertirse en un eficaz joven lder comunitario.
| 39
LOS 12 PASOS
PASO treS S E LECCIN DE LOS I N DICADOR E S

Para dar respuesta a estas preguntas de la evaluacin tenemos que entender qu caracteriza a un buen lder comunitario o que hace que un programa de liderazgo sea eficaz. es probable que las respuestas a estas preguntas se encuentren en los documentos originales de planificacin. Se llaman INDICADOreS, es decir, la x que demuestra o es capaz de medir que y es el caso. (Para obtener ms informacin sobre indicadores, consultar la pgina 34).
EJEMPLO
He aprendido que el hecho de definir los indicadores en la fase de planificacin supone una mayor coherencia en el diseo del enfoque pedaggico a utilizar en la implementacin de las actividades sobre habilidades para la vida y en el diseo de la evaluacin. Las actividades de evaluacin tienen que centrarse en comprobar el rendimiento de los indicadores y esto incluye cualquier pregunta que exija a los participantes una reflexin. tambin es importante comprender y crear una matriz que te ayude a identificar en qu punto se encuentran los jvenes, ya que no todos estarn en el mismo nivel. tienes que ser capaz de entender esto y entender su progreso. es importante informar a los jvenes sobre cmo y cundo se llevar a cabo la evaluacin, ya que esta motiva durante el proceso de aprendizaje. La evaluacin por si misma les har ms conscientes sobre el progreso que hacen.
Olga Vazquez, Stiftung Kinderdorf Pestalozzi, el Salvador
EJEMPLO
La temperatura corporal es un indicador de salud Las horas y los minutos son indicadores de tiempo Los resultados de un examen son un indicador del progreso en el colegio Ser capaz de hablar de forma clara y centrada en nombre de otros puede ser un indicador de liderazgo es importante que los indicadores estn directamente relacionados con las actividades de tu proyecto. en las pginas 35/36 hemos sugerido algunos indicadores para cada una de las 14 habilidades universales para la vida. Definir los indicadores puede ayudar a aclarar tambin otros aspectos del proyecto, tal y como se seala en el siguiente ejemplo.
40 |
LOS 12 PASOS
el diseo y el uso de los indicadores varan en funcin del objetivo de la evaluacin. Cuando se lleva a cabo una evaluacin con jvenes, puede ser importante implicarlos en la seleccin y el desarrollo de los indicadores. Puede encontrar un ejemplo sobre este tema en el estudio Ftbol con Corazn, en la pgina 8, volumen 2. Algunas herramientas no necesitan un grupo de indicadores predeterminado, tales como el mtodo de la historia ms significativa, en la pgina 38, volumen 2. Sin embargo, esta herramienta requiere una idea clara sobre una pregunta clave. Puede resultarle til clasificar los indicadores en aquellos que se pueden contar fcilmente (indicadores cuantitativos) y aquellos que requieren una interpretacin (cualitativos), como en el caso del siguiente estudio de Aflatoun.
Hay que tener en cuenta que en este ejemplo, los indicadores cualitativos incluyen habilidades para la vida. Durante el diseo de la evaluacin para comprobar este indicador, puede ser til separar estos indicadores para establecer un conocimiento comn sobre lo que significa solucin de problemas y toma de decisiones.
EJEMPLO
Los indicadores para hacer seguimiento y evaluacin del liderazgo podran incluir: Un joven muestra capacidad para hablar de forma clara y centrada en nombre de otros. Un joven es capaz de articular, planificar y organizar a otros para ayudarles a alcanzar determinada meta. Un joven es considerado como un lder por sus amigos y familia. estos indicadores se pueden tanto contar como describir. Uno de nuestros socios, Aflatoun, cre un resumen visual sobre estos tres primeros pasos. Objetivo eficiencia; aprendizaje eficacia Preguntas establecen lo que quieres aprender. te dan indicaciones sobre la evaluacin. Ayudan a tomar decisiones sobre otros aspectos de la evaluacin. tienen que poder medirse de forma realista. Indicadores Una variable (algo que se puede medir) que demuestra que se est produciendo una actividad especial o un cambio. tienen que estar directamente relacionados con la pregunta formulada.
CASO DE ESTUDIO
Los indicadores sobre la iniciativa social y financiera de los jvenes incluyen (Aflatoun*) Indicadores cuantitativos (cuantificables): Ingresos generados a partir de los proyectos por clase/escuela Nmero de proyectos sociales y financieros que se han llevado con xito a la prctica Nmero de actividades en las que participan nios Nmero de nios que participan en proyectos y actividades sociales y comunales Indicadores cualitativos (interpretados): Deseo y capacidad de colaborar/trabajar en equipo Capacidad de los nios para planificar y poner en prctica un proyecto Nios entusiasmados por participar en la comunidad Habilidades para tomar decisiones y solucionar problemas
* http://www.aflatoun.org/downloads/aflatounevaluationmanual.pdf
| 41
LOS 12 PASOS
PASO CUAtrO H E R RAM I E NTAS

Una vez seleccionados los indicadores (elegidos, adaptados o ampliados), la siguiente decisin que hay que tomar consiste en elegir cmo comprobar o medir el indicador y cundo hacerlo. Para ello, utilizaremos las herramientas de seguimiento y evaluacin HerrAMIeNtA(S). Para obtener ms informacin sobre tipos de herramientas, ejemplos de evaluacin y casos de estudios que muestran cmo proyectos han empleado estas herramientas para evaluar determinados proyectos sobre habilidades para la vida, ver volumen 2/Herramientas. A continuacin, presentamos un resumen sobre la finalidad de comprender cmo encaja esta parte del proceso de planificacin con los otros pasos. Los tipos de informacin que hemos recogido pertenecen a tres categoras, que cuentan con diferentes tipos de herramientas: Informacin que LeeMOS: registros de asistencia, respuestas de una encuesta o cuestionario. DOCUMENTOS (Do). Informacin que OMOS: preguntas que proponemos en diferentes tipos de entrevistas y debates. DISCUSIONES (Di); e Informacin que VeMOS: observamos cambios. OBSERVACIONES (O). Si tiene la posibilidad, pruebe el indicador (o grupo de indicadores) utilizando ms de un tipo de herramientas. Cuando cada herramienta genera resultados similares, podemos confiar en nuestras conclusiones. el hecho de utilizar tres herramientas para probar un indicador, se llama trIANGULACIN. No implica necesariamente que se genere informacin en tres categoras separadas. el empleo del esquema ODD puede suponer un gran avance en el mbito de la planificacin.
DI
AC
SC
RV
US
SE
I N
OB
DOCUMENTOS
Las HerrAMIeNtAS de cada una de las tres categoras (ODD) pueden estar: altamente estructuradas y la informacin recogida se puede contar o medir fcilmente. Por ejemplo, la informacin generada a partir de documentos como registros, cuestionarios, programas de observacin e incluso algunas entrevistas. La informacin que se puede contar o medir fcilmente se denomina CUANtItAtIVA. Cuando las herramientas estn menos estructuradas, hay que recopilar, limpiar, organizar y analizar cuidadosamente los datos generados. Normalmente, hace falta llevar a cabo una interpretacin, y la persona que lleva a cabo el anlisis tiene que usar su intuicin. estos tipos de herramientas suelen denominarse CUALItAtIVAS. en la evaluacin, es importante usar tanto herramientas CUANtItAtIVAS como CUALItAtIVAS. existen numerosas formas de combinar ambos tipos de herramientas. Como lo importante es el diseo especfico de una herramienta de evaluacin, resulta til probar la herramienta para asegurarse que genera el tipo de informacin que esperamos y deseamos. esto se llama PrUeBA PILOtO. es especialmente importante llevar a cabo una prueba piloto sobre un cuestionario que tenga que ser llevado a la prctica. Merece la pena que te tomes el tiempo necesario para disear bien tu herramienta, ya que ms adelante, te ahorrar tiempo. Sin embargo, un fallo en la seleccin de las preguntas a realizar y en cmo
42 |
LOS 12 PASOS
realizarlas es algo bastante comn y forma parte del proceso de aprendizaje. Merece la pena siempre reservar tiempo para realizar pruebas, cometer errores y aprender.
mente llevarlo a la prctica, la actividad puede consistir simplemente en elaborar un plan. (O, Di) B ) Probar el indicador: Un joven demuestra capacidad para hablar de forma clara y centrada en nombre de otros. Para ello se puede pedir a los jvenes que realicen un informe oral sobre su actividad de liderazgo (o los avances que hayan hecho). (O, Di) C ) Probar el indicador: Un joven se describe a s mismo y/o a otros como un lder entre amigos y familia. Utilizando un cuestionario de dos preguntas (oral o escrito), que sea aplicado a un grupo de jvenes escogido de forma aleatoria y a sus familias y en el que se les pida que escojan entre 13 palabras que mejor describan al joven. entre estas palabras puede haber opciones como: lder, persona que toma decisiones, colaborador, diseador, pensador, trabajador, estudiante, etc. La segunda pregunta ser que expliquen por qu escogieron esta(s) palabra(s). (O, Do, Di) Hay que tener en cuenta que si esta es la primera vez que el equipo se ve involucrado en la evaluacin, habr que disear actividades que se adapten a lo que se quiere averiguar, a las habilidades del equipo y al tiempo disponible para planificar, poner en prctica, analizar e investigar. Incluso formulando algunas preguntas cerradas, se obtendr informacin.
EJEMPLO
Podemos utilizar una gran variedad de actividades de seguimiento y evaluacin para aplicar el esquema de planificacin basado en las herramientas ODD a nuestro ejemplo sobre liderazgo: Las actividades de seguimiento pueden incluir: registro de la asistencia anotando los nombres y las sesiones a las que se asiste/ falta. (Do) Un programa de observacin que utilice una escala de 15 en funcin de las contribuciones realizadas al grupo siendo 5 el valor mximo/mejor. (O) Notas del diario sobre cosas que han dicho los jvenes de manera informal acerca del desarrollo del proyecto/de esta fase del proyecto. (Di) Las actividades de evaluacin pueden incluir: A ) Probar el indicador: Un joven es capaz de articular, planificar y organizar a otros para ayudarles a alcanzar una meta determinada. Proponiendo a los jvenes una actividad especfica y empleando un sistema de registro para observar cmo se manejan ante dicha tarea en un intervalo determinado de tiempo. esto nos permite saber quin asume qu papel. Un ejemplo de una actividad podra ser: Identificar un problema relacionado con la salud que afecte a tu familia o comunidad. Busca una solucin que entre t y tus amigos podis asumir o apoyar en los prximos 6 meses. Desarrolla un plan y empieza tu proyecto. Si es demasiado complejo logstica-
| 43
LOS 12 PASOS
PASO CINCO R EG I STR O

el siguiente paso consiste en cmo REGISTRAR la informacin para llevar a cabo la evaluacin y el seguimiento. Para los cuestionarios, esto es parte del diseo y los que participan en la evaluacin aportan informacin al realizar elecciones o establecer prioridades, o al dar una o ms respuestas previsibles. esto puede ser fcilmente registrado utilizando un programa como excel o con un registro en el que se recogen, cuentan y analizan las respuestas. A veces, en el diseo del cuestionario cabe la posibilidad de formular ms preguntas abiertas. Cuando se lleva a cabo una discusin o actividad en la cual se examinan, observan o articulan habilidades para la vida, hay que planificar minuciosamente cmo registrar la informacin. Hay que registrarla inmediatamente. Los encargados del cuestionario no deben confiar en su memoria. Las herramientas ms cualitativas tienden a generar ms informacin de la que se necesita. es importante recordar el objetivo y registrar la informacin para cumplir con el objetivo. tambin resulta til estar abierto a lo ines-
perado e incorporar una forma de registrar e informar sobre ello. Por tanto, hay que considerar el lugar que se puede reservar en su proyecto para: La recogida y el registro de datos procedentes de encuentros informales producidos durante el desarrollo del proyecto y durante la fase de la evaluacin formal; y el uso de cualquier dato procedente de las actividades de seguimiento.
EJEMPLO
1. registro de la informacin obtenida durante las actividades de seguimiento. registro de la asistencia anotando los nombres y las sesiones a las que se asiste/falta Una plantilla de observacin basado en una escala de 15 en funcin de las contribuciones realizadas en el grupo, siendo 5 el valor mximo/mejor. Notas del diario sobre cosas que han dicho los jvenes de manera informal sobre el desarrollo del proyecto/de esta fase del proyecto.
PROBAR EL INDICADOR
Un joven es capaz de articular, planificar y organizar a otros para ayudarles a alcanzar una meta determinada Nombres/nmeros de diez jvenes elegidos de tres grupos del proyecto Descripcin de la actividad e intervalo de tiempo Papel que desempearon en el grupo Cmo llevaron a cabo la actividad. Calificacin del 15 y comentarios personales
template 1
Otros (es decir, sugerencias del joven)
44 |
LOS 12 PASOS
2. registro de la informacin obtenida durante la evaluacin de la actividad 1 sobre liderazgo. 3. registro de la informacin obtenida durante la evaluacin de la actividad 2 sobre liderazgo, prueba del indicador: Un joven muestra su habilidad para hablar de forma clara y centrada en nombre de otros registro de los datos obtenidos a partir del informe oral, elaboracin de una lista de caractersticas que consideres que demuestran liderazgo. estas pueden ser: La audiencia quiere escuchar (carisma). el orador transmite confianza (autoridad e inspiracin). La historia tiene sentido (lgica). el plan es realista y viable.
resulta til realizar comparaciones entre los jvenes, elaborar una escala del 15 en el que 1 = suficiente y 5 = sobresaliente. Se puede implicar a los jvenes en el proceso de calificacin. 4. registro de la informacin obtenida durante la actividad 3 de evaluacin del liderazgo.
PROBAR EL INDICADOR
Un joven se describe a s mismo y/u a otros como un lder entre amigos y familia Nombre: edad: Sexo:
template 2
1. Elige y enumera entre 13 palabras que mejor te describan. Lder, persona que toma decisiones, colaborador, diseador, pensador, trabajador, estudiante (o utiliza aquellas que creas que sirven para describirte) 2. Escribe o informa por qu escogiste esta(s) palabra(s). Nombre 13 palabras que mejor le describen razones para escogerlas
Nombre:
edad:
Sexo:
1. Elige y enumera entre 13 palabras que mejor describan a tu hijo/hija/amigo/amiga. Lder, persona que toma decisiones, colaborador, diseador, pensador, trabajador, estudiante (o utiliza aquellas que creas que sirven para describirlos) 2. Escribe o informa por qu escogiste esta(s) palabra(s). Nombre 13 palabras que mejor le describen razones para escogerlas
| 45
LOS 12 PASOS
PASO SeIS M U E STRA

este paso consiste en seleccionar a las personas que van a participar en la evaluacin. Puede ser que esta decisin ya haya sido tomada en el momento de tratar el objetivo de la evaluacin. Puede que est llevando a cabo actividades de seguimiento en un grupo grande de, por ejemplo, 100 jvenes que participan en el programa de liderazgo, pero que slo tenga tiempo y capacidad para llevar a cabo una evaluacin formal y profunda en un grupo ms pequeo de, por ejemplo, el 10% o con 10 lderes. en investigacin, este grupo se llama MUeStrA y se da mucha importancia al hecho de asegurarse de que los que participan en la investigacin sean una MUeStrA rePreSeNtAtIVA de los grupos a los que va dirigido el proyecto (o impacto, si los dos son diferentes). esto significa, aquellos jvenes cuyas habilidades para la vida son representativas del grupo al que va dirigido su proyecto. A no ser que exista un motivo especfico para ello, no escoja a todos aquellos jvenes que lo estn haciendo bien o a todos aquellos a los que el proyecto les parece un desafo. esto se llama SeSGO. Para evitar el sesgo, puede utilizar mtodos sencillos, como darle un nmero a cada persona del grupo que quiera evaluar y sacar nmeros de un sombrero. O pdale a alguien que utilice una secuencia para seleccionar nombres de la lista (como cada tercer nombre, hasta alcanzar el nmero que necesitas en tu muestra). Cuando necesite una muestra, busque un mtodo que se adapte a su proyecto y que asegure que no se produce un sesgo. De forma alternativa, planifique la recogida de informacin de un grupo ms grande para despus, utilizar slo la informacin de un pequeo porcentaje del grupo. esto funciona bien cuando recopilamos informacin en soporte papel, como cuestionarios o herramientas cualitativas de dibujo y escritura. (Para ms informacin, ver volumen 2/Herramientas).
Dado que la mayora de las personas cuyas habilidades para la vida va a evaluar son jvenes, existen importantes aspectos ticos adicionales que hay que tener en cuenta, como la seguridad, la franqueza y la utilidad del objetivo de la evaluacin para los jvenes, el apoyo emocional, el consentimiento informado y las relaciones con los evaluadores adultos. Antes de llevar a cabo la evaluacin, que implica a gente joven, resulta til que los adultos implicados tengan en cuenta la Poltica de Proteccin Infantil de tu organizacin. Si no existe tal poltica es necesario elaborar primero una y formar a los empleados en materia de proteccin infantil. Para ms informacin sobre consultas a nios y jvenes consultar el anexo. Otro factor importante que hay que tener en cuenta a la hora de elegir el grupo es la planificacin y la logstica tanto para los participantes que formarn parte de la MUeStrA como para aquellos que se encargarn de llevar a cabo la evaluacin.
46 |
LOS 12 PASOS
PASO SIete FOR MACIN

el prximo factor a tener en cuenta consiste en seleccionar, informar y si hace falta, FOrMAr a aquellos que se encargarn de llevar a cabo las actividades de evaluacin. A estas personas tambin se las llama eNCUeStADOr(eS). Hay que tener cuidado a la hora de emplear este trmino, ya que un encuestador puede hacer mucho ms que dirigir una encuesta. Cuando est utilizando grupos de sondeo y otros tipos de actividades creativas, el encuestador necesita unas buenas tcnicas de facilitacin. es recomendable que aquellos que estn involucrados en la recopilacin de datos no se encarguen luego de analizarlos. Las actividades de seguimiento son parte de las buenas prcticas y las llevan a cabo los empleados que forman parte del proyecto. Las actividades de evaluacin son particulares. Pueden ser llevadas a cabo por los empleados que forman parte del proyecto, pero tienen que recibir formacin como encuestadores. Hay que ser consciente del efecto que una relacin especial entre los encuestadores y aquellos que van a ser evaluados puede tener sobre los resultados, especialmente, cuando las herramientas de evaluacin incluyen discusiones abiertas. esto puede ser especialmente importante cuando un director est evaluando a sus empleados/-as o un profesor evala a sus estudiantes. Las herramientas que ofrecen anonimato y confidencialidad a los participantes o el hecho de que el encuestador garantice confidencialidad y que sea neutral pueden ser una solucin. La eleccin del encuestador depende del objetivo de la evaluacin. Si las actividades son llevadas a cabo o facilitadas por ms de una persona, el equipo necesita FOrMACIN para poder llevar a cabo la actividad de uniforme y coherente. Si un encuestador facilita las actividades de evaluacin
de forma diferente a otro, los resultados pueden no ser el resultado de las preguntas o actividades que se haban diseado, sino que pueden estar relacionadas con la forma en que se dirigi la evaluacin. Si un nmero determinado de encuestadores estn involucrados y cuentan con experiencia y recursos, puede resultar til facilitarles un guin a seguir. el significado de las preguntas puede variar en funcin del ritmo del discurso! repite estas tres frases en alto: Qu opinas de tI mismo como lder comunitario? Qu opinas de ti mismo como lder COMUNItArIO? Qu opinas de ti mismo como LDer comunitario? Hay que tener en cuenta que el nfasis en las diferentes palabras cambia el significado de la pregunta. Cada pregunta, con las mismas palabras, pero dicha de diferente manera, provoca una respuesta diferente. en la evaluacin de tu proyecto, puede ser fundamental que se formulen las preguntas empleando las mismas palabras y de la misma forma, o empleando la misma entonacin. esto requiere un aumento de la concienciacin, una formacin y prctica por parte de los encuestadores que llevan a cabo la evaluacin. Los encuestadores tienen que practicar tanto la puesta en prctica de la evaluacin, como la manera cmo se van a presentar y a explicar el objetivo de la evaluacin. tal como se seal anteriormente, all donde hay jvenes involucrados, hay que tener en cuenta determinados aspectos ticos. (Para ms informacin sobre la puesta en prctica de evaluaciones con jvenes, ver Appendix 1, pagna 58).
| 47
LOS 12 PASOS
PASO OCHO REALIZACIN DE ACTIVIDADES DE SEGUIMIENTO Y EVALUACIN

este paso est dirigido a la aplicacin de las actividades de seguimiento y evaluacin planeadas, empleando las herramientas y registrando la informacin que ha sido designada.
PASO NUeVe RECOPILACIN, LIMPIEZA Y ORGANIZACIN DE LA INFORMACIN OBTENIDA

este paso consiste en transformar la informacin que se ha recopilado durante el seguimiento y la evaluacin en DAtOS a modo de preparacin para el ANLISIS De DAtOS. tendremos que reCOPILAr, LIMPIAr y posteriormente, OrGANIZAr la informacin. reCOPILAr consiste en juntar toda la informacin obtenida de las diferentes fuentes durante la evaluacin y el seguimiento, leerla, examinarla, escucharla y hacerse una idea de lo que se tiene. resulta til hacerlo con otra persona para poder contrastar opiniones. LIMPIAr la informacin consiste en eliminar informacin o grupos de informacin. Por ejemplo, puede que una pregunta no haya sido traducida correctamente, o que un grupo de los que est siendo evaluado haya llevado a cabo una actividad de forma diferente a la mayora de los grupos, y que los resultados de este grupo parezcan errneos. OrGANIZAr la informacin consiste en volver a formatear la informacin y/o agruparla para poder compararla o contabilizarla posteriormente. La informacin recopilada puede probar ms de un indicador o ms de un aspecto de este indicador. La informacin puede ser registrada de formas diferentes y en diferentes lugares. estos pueden ser: Notas o casillas marcadas en una plantilla de observacin; Notas o grabacin de audio de notas tomadas en un grupo de discusin; Fotos o vdeos; Informacin de diferentes secciones de un cuestionario; Informacin de diferentes cuestionarios, o Notas tomadas en una entrevista.
48 |
LOS 12 PASOS
Puede ser recomendable (dependiendo del objetivo) organizar toda la informacin sobre un indicador o grupos de indicadores en un mismo lugar. Simplemente bastara con un corta y pega de informacin o con dividir las partes de un cuestionario en dos o ms. Si la evaluacin se realiza al principio o en la mitad del proyecto y se va a repetir, vale la pena plantearse si se necesita identificar claramente los datos de determinados individuos o grupos para poder detectar y verificar los cambios cuando se vuelva a realizar la evaluacin. Si necesita identificar los diferentes trozos de informacin, hgalo mientras la organiza. Puede utilizar un nombre o un CDIGO. Los CDIGOS son tiles en el caso de que el anonimato sea importante o til a efectos de la confidencialidad. Si va a separar diferentes trozos de informacin, acurdese de identificarlos posteriormente, para poder volver a recopilar y a utilizar la informacin. No olvide incluir la informacin relevante generada por las personas que se encargan de hacer el seguimiento del proyecto.
Los motivos alegados incluyeron: enfermedad (16 veces), trabajo (10), enfermedad familiar (20 veces), el programa es aburrido (3 veces) Contribucin a las discusiones (plantillas de observacin): 30 jvenes con una media de 4.5 26 jvenes con una media de 3 40 jvenes con una media de 2.5 4 jvenes con una media de 1 ejemplos de notas importantes del seguimiento sobre el programa de liderazgo extradas del diario del facilitador: P quera que el programa se llevase a cabo otro da, ya que coincida con un evento familiar al que tiene que asistir X dijo que el programa le estaba ayudando a comunicarse mejor con su hermano mayor Y dijo que ayud a su madre a relajarse despus de una discusin con un vecino y antes del programa no habra sido capaz de hacerlo Datos seleccionados de la evaluacin de la actividad 1 (una actividad de liderazgo) Diez nombres relacionados con nmeros codificados para que los nmeros puedan volver a relacionarse con los individuos) Descripcin de la actividad de liderazgo y del tiempo que le dedicaron Grupo 1: recaudacin de fondos para 22 camisetas de deporte para el club. Un mes. Grupo 2: Ayuda a la clnica organizando una campaa para encontrar 100 jvenes que vayan a vacunarse a la clnica. Un mes y jornada completa para el da de vacunacin. Grupo 3: Creacin y direccin de un club de ftbol para jvenes durante las vacaciones escolares.
EJEMPLO
en nuestro proyecto para evaluar el liderazgo, la informacin se puede recopilar de la siguiente manera: Datos de las actividades de seguimiento: Nmero de jvenes en el programa de liderazgo = 100 registro de asistencia de cada joven: 64 jvenes asistieron a cada una de las 12 sesiones sobre liderazgo (768) 5 jvenes faltaron a 6 sesiones (30) 10 faltaron a 3 sesiones (30) 6 faltaron a 2 sesiones (12) 5 faltaron a 1 sesin (5) total de sesiones a las que se falt (77 sesiones)
3)
Los datos para la actividad de anlisis de datos sobre liderazgo han sido obtenidos a travs de diversas fuentes.
| 49
LOS 12 PASOS
Papel que desempearon en el grupo (la mayora de la gente desempeo ms de un papel) Anotadores (6) Portavoces (10) Organizadores (3) Conciliadores (5) Cmo llevaron a cabo la actividad (donde era pertinente, los nombres de los jvenes han sido sustituidos por letras). Cuatro de los diez jvenes (A, H, I y J) obtuvieron un 5 en la actividad. Demostraron su liderazgo durante el transcurso de la actividad, se organizaron bien, motivaron a los dems y se acordaron de evaluar la actividad de su grupo. H destac que la actividad le hizo ganar respeto y auto-respeto. Cinco de los jvenes obtuvieron un 3. Participaron bien, pero la mayora del tiempo seguan a sus compaeros y no actuaban como lderes. C lleg al programa comunicando muy poco y con muy poca seguridad: un 3 significa mucho para ella. B ha mostrado poco inters (1). La asistencia es positiva, pero hay que trabajar ms para detectar problemas subyacentes. Creamos una lnea de base sobre esta puntuacin antes y despus de llevar a cabo la actividad ya que algunos de los jvenes que obtuvieron una mayor puntuacin ya alcanzaron una puntuacin alta antes de empezar el programa. tres de los jvenes del programa avanzaron 3 puntos, seis avanzaron 2 puntos, uno pas de 0 a 1 punto. Otros (p. ej.: testimonios de los jvenes) (D) Voy a seguir estudiando. este proyecto me ha dado autoconfianza. Ahora quiero ser un lder y necesito prepararme para que la gente me tome en serio. (C) No voy a dejar la escuela para casarme. Continuar estudiando y me casarr ms adelante.
(e) este proyecto me ha hecho dar cuenta de que no soy un lder, soy un organizador. Datos seleccionados de la evaluacin de la actividad 2 (un informe oral sobre la actividad de liderazgo) Puntuacin y notas sobre el informe oral Carisma 3/10 Autoridad 4/10 e inspiracin 3/10 estructura lgica 7/10 Plan realista y manejable que fueron capaces de articular claramente 8/10 Datos seleccionados de la evaluacin de la actividad 3 (autoevaluacin: actividad de liderazgo palabras y sobre palabras) Las palabras que escogieron para describirse a s mismos: Lder (8), jefe (5), organizador (3), apreciado (1), amable (4), se preocupa por otros (3), responsable (6), un organizador, no un lder (3), le gusta trabajar con lderes (1). Los motivos por los que escogieron esta(s) palabra(s): tena seguidores (6), escuchaba, sus familiares confiaban en ellos para hacer cosas (3), pensaban que tenan algo que aportar al equipo (2), los miembros del equipo dijeron que eran buenos organizadores (3), tena buenos amigos (7), se llevan bien con todos los miembros de la familia (1), se siente un hombre (1). Palabras escogidas por un miembro de la familia o amigo: Servicial (10), responsable (9), mucho mejor que antes (3), cambiado (8), un modelo de conducta (4), mejor para su futuro (3), educado (7), ya no discute (2). Motivos por los que escogiste esta(s) palabra(s): Porque es lo que percib (8), me di cuenta de ello (4), ha tomado medidas (3). Casos en que las palabras estaban relacionadas: responsable y preocupado por los dems.
50 |
LOS 12 PASOS
PASO DIeZ ANLI S I S

Una vez que se ha recopilado, limpiado y organizado la informacin, sta se convierte en DAtOS. el penltimo paso en la planificacin de la evaluacin consiste en plantearse cmo ANALIZAr los datos. tiene que recordar la FINALIDAD de la evaluacin. Normalmente, durante las actividades de seguimiento y evaluacin se han obtenido ms datos de los que necesitas. tenga claro lo que necesita y case a ello. Si es posible, considere la posibilidad de que surja algo inesperado. Los mismos datos pueden ser analizados de diferentes maneras y empleando diferentes niveles de dificultad. el mtodo que utilice depender del tiempo que tenga disponible para ello y de la finalidad de la evaluacin. recuerde que si tiene buenos datos y los tiene bien organizados, puede volver a ellos ms tarde y analizarlos con mayor profundidad y con diferentes finalidades. Aqu le presentamos unos sencillos pasos que le pueden ser tiles para analizar datos. existen diversas maneras de hacerlo y este no es eL mtodo, sino UN mtodo de recopilar, entender e interpretar los datos. Si su proyecto u organizacin ya ha establecido una forma de hacerlo, utilice el mtodo que le sea ms familiar. 1. Recuerde la finalidad de la evaluacin y los objetivos de la actividad especfica que gener los datos que va a analizar. 2. Familiarcese con los datos para empezar el proceso de abstraccin y conceptualizacin: Lea documentos, examine notas de observacin, escuche casettes (segn sea oportuno), etc. elabore una lista de los temas clave y sub-temas que van saliendo. empiece a buscar consistencias, inconsistencias y otros patrones. tome nota de cualquier aspecto relevante. Por ejemplo, del humor de los participantes, el ambiente, etc.
3. Elabore una tabla (a veces llamada marco temtico) que establezca los aspectos que surgen a partir de los temas y sub-temas que ha anotado. 4. Apoyndose en los temas y sub-temas, observe otra vez los detalles de los datos. realice los siguientes tipos de actividades de anlisis de datos. Seleccione las actividades que son importantes para el tipo de datos que tiene. empiece por lo ms sencillo y vaya avanzando. Introduzca los datos que se pueden CONtAr fcilmente en una herramienta sencilla de anlisis de datos, como excel o, si los nmeros son suficientemente bajos, inserte una hoja de clculo e introduzca los datos manualmente. examine los documentos importantes, planillas de observacin y cualquier otra parte de la actividad de evaluacin que utilice un baremo y si fuese oportuno, adjntela a los datos numricos. Calcule los porcentajes, frecuencias y/o medias. A partir de las actividades basadas en discusiones, identifique las ideas, palabras o frases utilizadas con ms frecuencia. Dentro de los temas y sub-temas, pngale ttulo o etiquetas a cada categora de datos. recoja todos los datos de que dispone de acuerdo a los ttulos. elabore una conclusin o un comentario sobre cada ttulo (puede ser una mezcla de lo que se ha contado y/o lo que se ha discutido en los discusiones, lo que ha ledo en documentos y/o lo que ha observado). Si fuera oportuno, tome nota de la cantidad de datos de que dispone bajo cada ttulo, ya que podra ser significativo. Seleccione cualquier comentario importante que sea caracterstico de lo que ha descubierto o anote cualquier tipo de informacin inesperada.
| 51
LOS 12 PASOS
e inserte los datos (o anotaciones sobre los datos) en una tercera columna. Puede incluir datos cualitativos Y cuantitativos. A esto tambin se le llama Charting. 5. tome nota de la frecuencia de los datos (con qu frecuencia se repite o aparece una parte de la informacin). Puede utilizar un cdigo de co-
lores o poner un punto de un color junto a cada dato para ver de dnde procede (en caso de tener diferentes fuentes). A veces, a esta parte del proceso se le llama indexado. Aqu presentamos un ejemplo de los ttulos de una tabla sencilla que se pueden utilizar para el anlisis de datos. Pretende servir de gua y adaptarse a las necesidades de su evaluacin.
TABLA DE ACTIVIDAD DE ANLISIS DE DATOS

Tema a analizar: Finalidad de la evaluacin: Objetivos de la evaluacin: Temas clave Sub-temas Datos de todos las fuentes de sub-temas (cdigo de colores en funcin de la fuente. es decir, entrevistas, encuestas, observaciones) Frecuencia/Escala/ Qu puede ser contado en estos sub-temas
template 3
Otras notas incluyendo cosas relevantes que se hayan dicho
EJEMPLO
Para evaluar el liderazgo en su proyecto, puede analizar los resultados de la siguiente manera: Cuente el nmero de jvenes que han participado realice los porcentajes de asistencia y falta de asistencia junto con los motivos que alegaron los jvenes para justificar su falta de asistencia Calcule el alcance y la escala de la actividad realizada por los jvenes, de la que se tom muestra durante su desarrollo Cuente la puntuacin global del resultado Mida el nivel de progreso y comprelo con el dato anterior
Describa la actividad de liderazgo y el espacio de tiempo que dedicaron a la misma Haga una lista de los roles que fueron desempeados dentro de los grupos Basndose en sus propios conocimientos y observando los resultados, defina qu tan bien llevaron a cabo la actividad Anote lo que dijeron los jvenes Observe los resultados del informe oral Analice las palabras que escogieron para describirse a s mismos y las que utilizaron los dems para describirles a ellos
52 |
LOS 12 PASOS
6. el prximo paso es el ms complicado de describir: el de interpretacin de datos. este proceso consiste en buscar patrones, conexiones, relaciones y explicaciones. Busque una estructura para explicar lo que ha descubierto. No es un paso mecnico, necesita hacer uso de su intuicin e imaginacin. tendr que aclarar las actitudes, experiencias y el comportamiento de los jvenes. Debe buscar dar respuesta a la pregunta con la que comenz el proceso de evaluacin.
7. el ltimo paso del Anlisis de Datos consiste en formular las conclusiones que ha sacado y establecer estrategias especficas que favorezcan el cambio, avances, o simplemente una ampliacin de algo que cree que funciona bien. Con frecuencia, estas estrategias se expresan en los informes de evaluacin en forma de recomendaciones. Por lo tanto, puede que haya un nico bloque de informacin o citas que son importantes pero no encajan en un patrn. Inclyalas en un resumen, pero evite crear un punto general que contenga este tipo de informacin.
EJEMPLO*
La mayora de los jvenes mejor considerablemente al participar en el proyecto sobre liderazgo. Cuatro de los jvenes prometen. todos los jvenes de los grupos de muestra, excepto uno, demostraron un gran progreso. el mayor progreso fue alcanzado por una joven que presentaba pocas habilidades o seguridad al principio, a pesar de que al final no fue una de las que obtuvo mayor puntuacin en liderazgo. el comentario que hizo en el ltimo debate es muy significativo: No voy a dejar la escuela para casarme. Continuar estudiando, y me casarr ms adelante. tambin es importante destacar que algunos de los jvenes reconocen que NO son lderes por naturaleza, pero que el proyecto les aport la seguridad y las habilidades para identificar un grupo de habilidades. Como (e) que dijo: este proyecto me ha hecho darme cuenta de que no soy un lder, soy un organizador
EJEMPLO*
A continuacin se presentan tres estrategias que favorecen el cambio y los avances que han surgido a partir de esta evaluacin. Puede haber muchas ms. 1. Se necesit ms informacin de lnea de base sobre habilidades y actitudes de jvenes lderes antes de empezar con el programa. tenemos que elaborar un cuestionario o una forma de obtener informacin ms detallada y relevante sobre el perfil de cada participante. 2. tenemos que encontrar una forma de reconocer el progreso que hacen los jvenes y lo que logran al llegar al final. 3. Nuestro foco en liderazgo en este proyecto puede ser demasiado limitado, ya que muchos jvenes no se identifican como lderes, pero tienen otros grupos de habilidades que son igual de importantes, como por ejemplo planificacin, ideas creativas o trabajo en equipo.
de un conjunto seleccionado de datos
| 53
LOS 12 PASOS
PASO ONCe R E DACCIN

el hecho de desarrollar y presentar un informe de evaluacin escrito da la oportunidad a otros (agencias de financiacin, funcionarios, investigadores y otras entidades) de aprender de la evaluacin. Antes de decidirse a redactar un informe, piense sobre cmo se comunica usted en el marco de su organizacin. relacione
su estilo de informacin con esto, porque puede que no necesite un informe escrito. A continuacin presentamos un esquema sobre el tipo de informacin que se suele incluir normalmente en un informe de evaluacin escrito4. Puede ser demasiado largo para la finalidad que usted busca. Adptelo a sus necesidades.
MUESTRA DE ESQUEMA DE UN INFORME DE EVALUACIN

Pgina del ttulo Nombre del informe: Nombre y especialidad del proyecto: Perodo de tiempo cubierto por la evaluacin del proyecto: Fecha en que fue terminado el informe: Nombre de los autores del informe: Resumen
template 4
es muy importante, ya que mucha gente slo leer el resumen. es ms fcil escribir el resumen DeSPUS de redactar el informe. Normalmente contiene La finalidad de la evaluacin; Una descripcin resumida del proyecto (34 frases); Quin y cmo se llev a cabo la evaluacin; resultados importantes; Conclusiones importantes; y todas las recomendaciones. Tabla de contenido Descripcin del proyecto (historia, finalidad, objetivos, grupo al que va dirigido) Descripcin del proceso y los mtodos de evaluacin Resultados Conclusiones y recomendaciones Anexos: Una lista de las personas involucradas en la evolucin. Por ejemplo: funcionarios y jvenes (si es adecuado identificarlos); ejemplos de las herramientas y mtodos/tablas de registro utilizados; ejemplos de tablas y diagramas; y Lista de otros documentos y referencias utilizados.
4) Adaptacin del libro Monitoring and evaluation of a Street Children Project: A training Package on substance use, Sexual and reproductive Health including HIV/AIDS and StDs, Organizacin Mundial de la Salud 2002.
54 |
LOS 12 PASOS
PASO DOCe COM U N ICAR

el paso final consiste en COMUNICAr LOS reSULtADOS de la evaluacin. Puede hacerse mediante un informe, una presentacin o empleando ambos recursos. La evaluacin supone un duro trabajo y requiere el esfuerzo de muchas personas. Hay que limitar el tiempo que se dedicar a comunicar y a tratar interna y externamente los datos. Hay que reconocer y premiar los aspectos positivos de la evaluacin, tratar a conciencia los aspectos que suponen un reto y relacionar los resultados de estas discusiones con la planificacin y el diseo de nuevas actividades. es importante asegurarse de que hay suficientes recursos para comunicar los resultados y hacer el mejor uso de los resultados mientras el proyecto sigue adelante. Un grupo importante que debe ser informado es l de los jvenes que participaron en la
evaluacin. explqueles cules sern las conclusiones de los resultados, independientemente de si son positivos o no. esto demuestra su respeto hacia ellos, les da la oportunidad de comentar los resultados y maximiza las posibilidades de que colaboren en una futura evaluacin. La ausencia de una respuesta adecuada puede volverlos reticentes a participar en futuras actividades de evaluacin. en funcin del estilo de su informe, puede crear una versin especial para entregar a los jvenes.
EL PROCESO DE PLANIFICACIN
este esquema compuesto por 12 pasos puede ayudar a los encargados del proyecto a planificar las evaluaciones. Como todo el material que se encuentra en estas directrices este esquema est diseado para ser utilizado, adaptado y ampliado.
12 PASOS PARA PLANIFICAR UNA EVALUACIN: UN RESUMEN

1 2 3 4 5 6 7 8 9 entender y aclarar la FINALIDAD de la evaluacin Desarrollar las CUeStIONeS CLAVe Adoptar, adaptar o ampliar sus INDICADOreS Seleccionar sus HerrAMIeNtAS de evaluacin (trianguladas y/o mezcla de mtodos cuantitativos y cualitativos) Decidir cmo reGIStrAr la informacin que hay que registrar y disear sus propias hojas de registro Identificar el/los grupo(s) o MUeStrA que va a ser evaluada, teniendo en cuenta el tiempo y la logstica Seleccionar, instruir y FOrMAr a aquellos que van a LLeVAr A CABO la evaluacin IMPLeMeNtAr las actividades de seguimiento y evaluacin reCOPILAr y OrGANIZAr la informacin, transformndola en DAtOS FINALIDAD
tabla 6
PreGUNtAS CLAVe INDICADOreS HerrAMIeNtAS reGIStrO MUeStrA FOrMACIN IMPLeMeNtACIN reCOPILACIN, LIMPIeZA Y OrGANIZACIN ANLISIS reDACCIN COMUNICACIN Y AMPLIACIN DeL PrOYeCtO
10 11 12
ANALIZAr los datos reDACtAr los resultados COMUNICAr LOS reSULtADOS Y AMPLIAr el proyecto a partir de la finalidad de la evaluacin y los resultados
| 55
LOS 12 PASOS
A travs del siguiente ejemplo, se proponen algunas ideas sobre los aspectos que podra contener un plan.
EJEMPLO DE UN PLAN DE EVALUACIN EN 12 PASOS

1 A definir a travs del propsito de la organizacin interna y conocer mediante los tres facilitadores de habilidades para la vida, qu han aprendido del seguimiento del proyecto sobre habilidades para la vida y liderazgo en los ltimos 6 meses. Qu herramientas de seguimiento vamos a utilizar? Qu estamos aprendiendo de estas herramientas? Qu tenemos que hacer con lo que estamos aprendiendo? Indicadores para la pregunta a. Qu herramientas de seguimiento vamos a utilizar? en cada sesin, se lleva a cabo un registro de asistencia, con detalles sobre la edad y el sexo de cada uno de los participantes. Se han desarrollado y cumplido los planes de sesin sobre habilidades para la vida. Los facilitadores de habilidades para la vida mantienen anotadas las respuestas a las preguntas formuladas antes y despus de cada herramienta. Indicadores para la pregunta b. Qu estamos aprendiendo de estas herramientas? Los facilitadores de habilidades para la vida pueden establecer con precisin el nmero y el sexo de los que participan en sus sesiones. Los facilitadores de habilidades para la vida pueden describir lo que estn aprendiendo sobre del xito y los retos de las sesiones a partir de las respuestas de los participantes. Los facilitadores de habilidades para la vida son capaces de reflexionar sobre la eficacia de las herramientas de seguimiento. Qu tenemos que hacer con lo que estamos aprendiendo? Nmero de reuniones formales e informales en las que los facilitadores de habilidades para la vida han compartido sus conocimientos. Los facilitadores de habilidades para la vida pueden poner ejemplos acerca de la manera en que lo que han reflexionado ha repercutido en su trabajo. Los facilitadores de habilidades para la vida pueden describir cmo los conocimientos de los dems han repercutido en su trabajo. Para probar el indicador de la pregunta a. examine el/los registro(s), archivo(s) y notas de los facilitadores. Para probar el indicador de las preguntas b. y c. Disee y administre un breve cuestionario (de una pgina) mezclando preguntas abiertas y cerradas basadas en las tres preguntas anteriores. Modere una discusin de grupo focal con el/los facilitador(es) de habilidades para la vida, basado en las tres preguntas anteriores. Anote el nmero y el sexo de los participantes. recopile las respuestas a cada pregunta para mostrar la variedad de respuestas y el nmero de veces que se repite cada respuesta. Anote los puntos o preguntas adicionales que surjan a partir de los datos. Durante el debate en grupo, toma nota para mostrar la variedad de respuestas, el nmero de veces que se repiten los diferentes puntos y cualquier idea adicional. PrOPSItO
PreGUNtAS CLAVe INDICADOreS
HerrAMIeNtAS
reGIStrO
56 |
LOS 12 PASOS
6 7
Utilice la informacin obtenida por cada uno de los cinco encuestadores/facilitadores. Seleccione aquellos encuestadores neutrales y que respeten la confidencialidad, cuando sea necesario. Informe al encuestador sobre cada uno de los diez pasos. Cuando sea oportuno, integre al encuestador en la fase de planificacin. Los encuestadores deben emplear su expresin oral y corporal para poder presentar y dirigir la actividad de evaluacin. Implemente las actividades de evaluacin. recopile los cuatro grupos diferentes de informacin: nmero y sexo de los registros; planes de sesiones, resultados de cada sesin y reflexiones de las notas de los facilitadores, respuestas a cada una pregunta del cuestionario y respuestas a cada una de las preguntas presentadas en las discusiones de grupo focal. Compruebe la informacin para asegurarse de que se entendieron las preguntas. elimine cualquier informacin que demuestre que el participante malinterpret la pregunta. Asegrese de no eliminar la informacin slo porque le sorprende. Si fuera oportuno, copie la informacin a organizar. recuerde la finalidad de la evaluacin. Familiarcese con los datos, elabore una tabla, identifique los temas y sub-temas, introduzca los datos, indexe, examine, interprete y extraiga conclusiones sobre lo que se ha aprendido de los resultados. tome nota de cualquier resultado inesperado o recomendacin que haya hecho un individuo particular. redacte un informe, un resumen y una presentacin para el equipo interno. tambin puede hacerlo de forma verbal: utilizando notas. redacte una versin del informe de una pgina. Plantee la necesidad de modificar o aadir herramientas de seguimiento al proyecto de habilidades para la vida. renase con los jvenes que han participado. Analice con ellos los resultados y pdales que hagan comentarios. D una respuesta y comente los resultados con aquellos que han participado en la evaluacin. Analice las fortalezas y las debilidades del propio proceso de evaluacin. en el contexto de cmo de bien sali la evaluacin, analice lo que se ha aprendido y de qu manera puede repercutir en el desarrollo del proyecto.
MUeStrA FOrMACIN
8 9
IMPLeMeNtACIN reCOPILACIN, LIMPIeZA Y OrGANIZACIN
10
ANLISIS
11
reDACCIN
12
COMUNICACIN Y AMPLIACIN DeL PrOYeCtO
Las listas de acciones como la anterior pueden resultar tiles para hacer un seguimiento posterior del participante.
| 57
ANEXO 1
AN E XO 1
ASPECTOS TICOS A CONSIDERAR CUANDO HAY JVENES IMPLICADOS EN LA EVALUACIN DE PROYECTOS SOBRE HABILIDADES PARA LA VIDA
La mayora de los aspectos ticos que se aplican a los adultos se aplican tambin a los jvenes, sin embargo existan algunos asuntos adicionales que hay que tener en cuenta. Algunos proyectos tienen polticas que incluyen estos aspectos que regulan que cualquier persona relacionada o contratada por la organizacin est obligada a leer, entender y confirmar que aceptan dicha poltica. Seguridad Asegura que las actividades de evaluacin se llevan a cabo en el inters superior de los jvenes y no los perjudicar. tenga en cuenta que existe un desequilibrio de influencia entre un joven y los adultos (o incluso entre jvenes, cuando uno de ellos tiene una posicin social ms elevada). La evaluacin da al evaluador acceso privilegiado a los jvenes y a sus opiniones. Por ello el deber de protegerlos es primordial. examina cualquier posible riesgo. estos riesgos pueden incluir: abuso psicolgico; sentirse avergonzado, expuesto o asustado y abuso fsico o sexual. Claridad y franqueza Los jvenes necesitan sentir que sus ideas son valiosas y tiles. Sin embargo, las actividades no deberan crear expectativas poco realistas. est abierto a las decisiones que surgirn de la evaluacin, por ejemplo, la continuidad de la financiacin del proyecto. Permanezca abierto ante la posibilidad de tener que acortar cualquier tiempo extra de la evaluacin.
Confidencialidad y confianza Los jvenes necesitan saber si/cundo se romper la confidencialidad (por ejemplo, en caso de que se revele un caso de abuso) y cules son los parmetros. Apoyo emocional y consentimiento informado Asegrese de que los jvenes saben lo que se les est pidiendo que hagan y que pueden decir que no a cualquier cosa que no quieran hacer. Djeles escoger y sea consciente de las dificultades que algunos nios pueden tener para decir que no a un adulto. Discutir sobre algunos temas puede resultar doloroso para los nios. Piense cuidadosamente a la hora de disear la evaluacin y asegrese de que no despierta demasiados sentimientos negativos o dolorosos. Si se van a tratar temas delicados, asegrese de que hay adultos de confianza cerca que puedan ofrecerles apoyo psicolgico. Relaciones con adultos Cuando se trabaja con jvenes, hay que tener cuidado de no crear conflictos con los adultos, especialmente, en sus familias. esto es especialmente importante en actividades que impliquen tanto a jvenes como a adultos y que animen a expresar abiertamente opiniones. es fcil aceptar el punto de vista de los jvenes cuando coincide con nuestras propias ideas. Asegrese de que aquellos que estn involucrados en el proceso de evaluar a los jvenes cuentan con las habilidades necesarias para escuchar realmente y registrar el punto de vista de los jvenes. Puede ser necesario llevar a cabo actividades de instruccin y formacin.
58 |
ANEXO 1
Preguntas a formular Antes de empezar con las actividades de evaluacin de jvenes y comunidades, es importante plantearse las siguientes preguntas: Por qu se est llevando a cabo la evaluacin? entienden los jvenes y sus familias/comunidad por qu se est llevando a cabo la evaluacin? (es decir, se trata de estar abierto y ser transparente ante decisiones que haya que tomar en funcin de la evaluacin). Quin se va a beneficiar de lo que se aprenda de la evaluacin? Quin establece los trminos de referencia para la evaluacin? Por qu? Qu mtodos se usarn para recopilar informacin? Ayudarn a los jvenes a sentirse cmodos y valorados, y a ser creativos? Supone el proceso de evaluacin, una carga para los jvenes? en caso positivo, cul es nivel mnimo en que tienen que involucrarse para que su participacin sea eficaz? Cmo pueden participar los jvenes, sus familias y sus comunidades en el aprendizaje derivado de la evaluacin? Qu medios se utilizarn para permitir el acceso de los jvenes y los adultos de la comunidad a los resultados de la evaluacin? (Algunos pueden tener poca formacin). Qu pasar despus de la evaluacin? Cules son las reglas de confidencialidad? Cmo se van a proteger los intereses y la seguridad de las personas? Qu tipo de consentimiento informado se exige a los jvenes y sus padres/tutores?
Cuestiones sobre proteccin de menores Cualquier trabajo con jvenes, incluyendo las actividades de seguimiento y evaluacin, involucra asuntos de proteccin de menores, sobre todo, cuando estn por debajo de los 18 aos. tanto a las organizaciones como a las escuelas les puede resultar incmodo tratar temas de abusos, pero en vista de que se producen los encargados de los programas tienen que adoptar todas las medidas que estn a su alcance para proteger a los jvenes que participan en sus actividades. La aproximacin al tema se puede llevar a cabo de diferentes maneras en diferentes contextos. Un buen modo de empezar podra ser preguntarse: Qu ha hecho la sociedad tradicionalmente? Cmo sta protege a los nios y a los jvenes? y Qu medidas adicionales hay que tomar en vista de la situacin actual? Una poltica de proteccin de menores es una buena base para tratar los aspectos y acordar la responsabilidad y los procedimientos con el personal involucrado. Asegrese de que la organizacin cuenta con una poltica al respecto. Mientras los adultos tienen que preocuparse por sus responsabilidades, los nios y los jvenes tienen que saber que tienen derecho a ser libres y a ser protegidos de abusos. Analice estos temas con los jvenes y explqueles cmo pueden identificar los riesgos y cmo pueden intentar mantenerse a salvo. Asegrese de que identifican a un adulto de confianza con el que puedan hablar con libertad sobre sus miedos o experiencias reales de abuso. Los encargados del programa deben discutir y acordar unos principios de confidencialidad y seguridad. A continuacin presentamos posibles preguntas a tratar:
| 59
ANEXO 1
Cundo se puede dejar slo a un joven con un adulto que no es un miembro de la familia? Hasta qu edad se puede aplicar lo anterior? A quin se considera un miembro de la familia? A dnde y a quin podra acudir un nio o joven si tiene miedo o est preocupado por algo que le est pasando? Cundo es necesario el consentimiento informado de los padres y tutores para que un nio o joven pueda participar en una actividad? El trabajo con nios y jvenes en actividades de seguimiento y evaluacin que implican participacin esto requiere un enfoque especial que tiene que: Ser interesante y accesible para nios y jvenes Facilitar la reflexin y el aprendizaje entre nios y jvenes Posibilitar que los adultos escuchen y aprendan de los nios y los jvenes Ser sensible con el gnero, las discapacidades, la situacin en relacin con el VIH y otras diferencias Apoyar a nios, jvenes y comunidades en el anlisis de su situacin y en la planificacin de acciones adecuadas.
60 |
ANEXO 2
AN E XO 2
OTROS RECURSOS: LISTADO COMENTADO
A continuacin, presentamos una pequea seleccin de directrices adicionales sobre seguimiento y evaluacin que son importantes para llevar a cabo una evaluacin sobre el terreno, para trabajar con jvenes y para el seguimiento y la evaluacin de programas de habilidades para la vida. todas ellas estn disponibles de forma gratuita online. Conjunto de herramientas sobre seguimiento y evaluacin, Janet Shapiro, CIVICUS este conjunto de herramientas hace referencia a los detalles prcticos (los bsicos) relativos a la elaboracin y el uso de un sistema de seguimiento y evaluacin para un proyecto u organizacin. Aclara el concepto de seguimiento y evaluacin, cmo planearlo, cmo disear un sistema que proporcione todo esto de forma til y conjunta. explica cmo recopilar la informacin que se necesita y cmo evitar sobrecargarse de datos, analizando la informacin de una forma relativamente sencilla. Finalmente, plantea e intenta tratar algunos de los aspectos que tienen que ver con las medidas a adoptar con base en lo que se ha aprendido. CIVICUS: World Alliance for Citizen Participation (Alianza Mundial para la Participacin Ciudadana) es una asociacin internacional con miembros y socios, que trabaja desde hace ms de una dcada en el fortalecimiento de la accin ciudadana y la sociedad civil en todo el mundo, especialmente en regiones donde la democracia participativa y la libertad de asociacin ciudadana estn amenazadas.
Haga clic aqu para descargar el conjunto de herramientas: http://www.civicus.org/new/media/Monitoring%20 and%20Evaluation.pdf
AFLATOUN, conjunto de herramientas para la evaluacin de un programa, primera parte: herramientas globales de Aflatoun, segunda parte: herramientas de participacin Aflatoun es una organizacin no gubernamental internacional que anima a nios y jvenes de entre 6 y 18 aos a fortalecerse a si mismos, ofrecindoles una educacin social y financiera en el contexto de sus derechos y responsabilidades. estos conjuntos de herramientas contienen aproximaciones interesantes en materia de seguimiento y evaluacin dirigidas a aquellas personas que participan en proyectos de Aflatoun. La primera parte incluye ejemplos sobre cmo llevar a cabo una encuesta en una escuela, clase, o a nivel individual y cmo dirigir discusiones de grupos focales, observaciones, cuentos infantiles y visitas. La segunda parte incluye mtodos creativos que utilizan dibujos, juegos y actividades de clasificacin, entre otros. es una buena fuente de ideas sobre cmo dirigir, registrar y analizar actividades de evaluacin. Supone un ejemplo sobre cmo una organizacin puede adaptar las actividades de evaluacin a sus propias necesidades y crea una importante fuente de orientacin especfica para sus socios y colaboradores.
http://www.aflatoun.org/ downloads/aflatounevaluationmanual.pdf http://www.aflatoun.org/ downloads/aflateenevaluationmanual.pdf
Nios y participacin: Investigacin, seguimiento y evaluacin con nios y jvenes. Save the Children este informe explica la manera de cmo preparar a nios y jvenes para participar en la investigacin, el seguimiento y la evaluacin. Cubre los aspectos bsicos (como la tica, la proteccin de menores y la inclusin) y presenta un til abanico de mtodos y herramientas de
| 61
ANEXO 2
investigacin. Presenta casos de estudio de programas llevados a cabo en todo el mundo y una lista de textos clave por si interesa saber ms sobre aspectos especficos de la participacin.
Haga clic aqu para descargar el informe: http://www.savethechildren.org.uk/en/54_5123.htm
El mtodo de la historia ms significativa en el conjunto de herramientas de evaluacin se describe brevemente el mtodo de la historia ms significativa (ver volumen 2/Herramientas, pgina 39). este enlace conecta con recursos clave sobre estos mtodo elaborado por rick Davis y Jeff Hart.
http://mande.co.uk/special-issues/ most-significant-change-msc/
International Youth Foundation, Programa Passport to Success (pasaporte al xito) Una iniciativa de la International Youth Foundation (Fundacin Internacional para la Juventud), el programa Passport to Success (PtS) prepara a jvenes de entre 14 y 21 aos con respecto a una serie de habilidades que les ayudarn a continuar en la escuela y adquirir una educacin, habilidades profesionales, prepararse para la vida laboral y obtener la seguridad necesaria para tener xito en la vida y en el lugar de trabajo. el programa se centra en nios vulnerables que asisten a la escuela pero que tienen el riesgo de ser expulsados, al igual que aquellos que no van al colegio, que no trabajan o trabajan en un entorno peligroso. Una medida clave del progreso es el gran nmero de nios que van al colegio o trabajan seis meses despus de haber empezado el programa. este programa compuesto por 60 mdulos, disponibles actualmente en 12 lenguas, ha sido probado con xito en diferentes lugares, incluyendo escuelas de secundaria tanto pblicas como privadas, institutos de formacin profesional, institutos de formacin de profesorado y organizaciones sin nimo de lucro que trabajan para los jvenes. el programa y el modelo del programa han sido trasladados y adaptados a una gran variedad de culturas y lenguas en funcin de las necesidades locales y las exigencias del mercado.
http://www.iyfnet.org/passporttosuccess/
Herramientas tiles para trabajar con jvenes en evaluacin participativa, UNICEF este conjunto de herramientas incluye tiles descripciones de herramientas clsicas de evaluacin: cuestionarios, entrevistas con informacin clave, grupos focales. Presenta herramientas para llevar a cabo una investigacin participativa que incluya la visualizacin de tarjetas, escalas con caras sonrientes, testimonios e historias, dibujos impactantes, horarios histricos, mapas sociales y comunitarios, anlisis de tendencias y campos de fuerza. Concluye con algunas secciones sobre la evaluacin participativa de talleres, incluyendo la evaluacin cualitativa de talleres y la evaluacin de talleres sobre inventario y proceso/producto. est ilustrado con diagramas y fotos.
62 |
ANEXO 2
este conjunto de herramientas diseado por Meg Gawler fue elaborado como parte de una evaluacin formativa organizada por la Oficina regional de UNICeF para la participacin de los jvenes en el Centro y el este de europa y la Comunidad de estados Independientes (regin Cee/CIS). La evaluacin incluy investigaciones en cinco pases (Albania, Bielorrusia, Georgia, Moldavia y Macedonia). Numerosos jvenes participaron en el diseo de la investigacin, adquirieron una formacin sobre tcnicas de evaluacin y llevaron a cabo la investigacin en terreno bajo la supervisin de un investigador principal experimentado. en cada pas, los jvenes investigadores recibieron una formacin sobre mtodos de evaluacin participativos y tradicionales y emplearon durante la investigacin un primer borrador de este conjunto de herramientas a manera de manual.
http://www.artemis-services.com/ downloads/tools-for-participatory-evaluation.pdf
| 63
ANEXO 3
AN E XO 3
DETALLES SOBRE EL TRABAJO DE LOS SOCIOS QUE COLABORARON EN EL DESARROLLO DE ESTAS DIRECTRICES
Aflatoun Socios Aflatoun con organizaciones que desarrollan un programa de educacin social y financiera orientado a nios de entre 6 y 18 aos tanto en escuelas como en entornos no formales. Aflatoun ofrece programas de actividades que ensean a los nios valores y recursos, animan a ahorrar, les informan sobre sus derechos y deberes y les ayuda a crear microempresas sociales y financieras. A travs de una educacin Social y Financiera, los nios estn capacitados para realizar cambios positivos en sus vidas y en sus comunidades. A da de hoy, el programa de Aflatoun se est llevando a cabo en ms de 50 pases y con cerca de 600.000 nios.
http://www.aflatoun.org/
Los programas y proyectos de la DKJS proporcionan respuestas prcticas a cuestiones urgentes sobre aspectos relacionados con los nios y los jvenes. Se buscan soluciones en colaboracin con educadores adultos, autoridades gubernamentales, empresas, expertos acadmicos y los propios jvenes. La DKJS utiliza su estatus de organizacin polticamente independiente para juntar comunidades diferentes y para servir de puente entre las distanciadas reas de responsabilidad de la administracin pblica y los servicios de bienestar que existen en Alemania. Se asign a la DKJS la tarea de ofrecer una organizacin-paraguas que acte como defensora de los intereses de nios y jvenes. el pequeo fondo fiduciario (Childrens Hour), constituido principalmente gracias a donaciones, ofrece independencia a la fundacin y garantiza libertad para levar a cabo su poltica. Sin embargo, para poder alcanzar unos resultados sostenibles la fundacin ha creado una exitosa cultura de confianza basada en la colaboracin pblico-privada. La DKJS colabora no slo con administraciones pblicas sino tambin con empresas privadas (tanto nacionales como internacionales), fundaciones y organizaciones independientes que trabajan por el bienestar de los jvenes. La DKJS tambin es parte de la red internacional de la International Youth Foundation. Para poder analizar el impacto de los programas en la vida de los jvenes y para extraer conclusiones aplicables a futuros trabajos, la DKJS evala todos los programas (por s misma, a travs de evaluadores internos, o externamente a travs de terceros evaluadores). Durante los primeros aos, la fundacin slo actuaba en la antigua repblica Democrtica Alemana (rDA). Actualmente trabaja estrechamente con socios regionales de quince estados federales de Alemania.
Deutsche Kinder- und Jugendstiftung Desde su fundacin en 1994, la Deutsche Kinder- und Jugendstiftung (DKJS) persigue un ambicioso objetivo: mejorar las condiciones de las generaciones de jvenes que crecen en Alemania mediante la creacin de un entorno democrtico en el cual desarrollarse. Al resaltar las fortalezas y los intereses de cada individuo, la DKJS apoya a los jvenes para que jueguen un papel activo en la sociedad y para que asuman las riendas de su vida. Para alcanzar este objetivo, la DKJS trabaja con diferentes actores (padres, orientadores, institutos) en sus programas para iniciar una reforma en cada una de las fases clave en la vida de los jvenes: guardera, colegio, transicin de la escuela al trabajo, vida familiar y las polticas regionales sobre jvenes.
64 |
ANEXO 3
La DKJS centra su actividad en cuatro temas principales: reforma (Pre)escuelas Vinculacin con Socios de educacin Asuncin de responsabilidad Bsqueda de Oportunidades
Para obtener ms informacin sobre la Deutsche Kinderund Jugendstiftung y sobre los proyectos actuales, visite la pgina Web (www.dkjs.de).
Ftbol con Corazn Ftbol con Corazn (FCC) es una organizacin sin nimo de lucro fundada en el ao 2007 en Barranquilla, Colombia, cuyo objetivo consiste en proporcionar a nios y jvenes los elementos necesarios para mejorar sus condiciones de vida a travs de la enseanza de habilidades para la vida. A travs del ftbol, FCC cuenta con miles de beneficiarios que promueven un mejor estilo de vida y buscan crear un entramado social que les ofrezca una mejor calidad de vida. Los nios y los jvenes que se encuentran en las comunidades donde FCC trabaja, estn permanentemente expuestos a grandes riesgos, como abuso de las drogas, ser reclutados por bandas, delincuencia, alcoholismo, abusos sexuales, embarazos de adolescentes, abandono escolar, entre muchos otros problemas presentes en nuestra sociedad. FCC busca crear comunidades seguras y sanas a travs de un aumento de los niveles de paz, armona e igualdad. Se caracteriza por la puesta en marcha de la innovadora metodologa Ftbol por la Paz, talleres enfocados a valores y programas de alimentacin. Las habilidades para la vida se ensean a travs de los entrenamientos de ftbol y a travs de los talleres FCC fomenta un estilo de vida sano y responsable, empleando una metodologa experimentada de enseaza. FCC tambin busca el sano desarrollo del nio, proporcionndole un apoyo en la alimentacin, llevando a cabo seguimiento y organizando campaas de promocin y prevencin de la salud. Adems, la organizacin trabaja directamente con los padres a travs de talleres
y actividades en un esfuerzo por afianzar las enseanzas de FCC en casa. Debido a la fuerza persuasiva de estos programas, FCC ha podido mejorar la vida de 3.600 nios, jvenes y adultos, llevando a cabo 5 puntos de intervencin social en comunidades vulnerables y en el rea metropolitana de Barranquilla, Colombia. Gracias a su gran labor, la organizacin ha recibido el reconocimiento nacional e internacional as como el apoyo de diferentes organizaciones de todo el mundo.
Visite la pgina Web: www.futbolconcorazon.org
Fundacin Gente Nueva La Misin de la Fundacin Gente Nueva es caminar con los ms pobres, construyendo espacios de justicia y fraternidad, transformando corazones y estructuras, trabajando por la educacin, la organizacin de la comunidad tomando desde el evangelio de Jess. Los objetivos de la Fundacin Gente Nueva son: trabajar con los sectores ms desfavorecidos, escucharles, reconocer sus necesidades y aspiraciones, ensear y aprender, implementar proyectos que surjan de las necesidades de la comunidad. Como organizacin, estamos convencidos de que la realidad de injusticias que impone la pobreza slo se puede superar convirtiendo a la comunidad en protagonista principal del cambio que se pretende realizar. Por ello, buscamos estrategias de desarrollo que nos permitan transformar la comunidad, convertirla en promotora del cambio e implicando a diferentes sectores de la sociedad. Cuando hablamos de protagonismo, nos referimos a que aquellos a los que en un primer momento va dirigido el proyecto participen activamente en nuestras intervenciones aportando sus ideas, historias y exigiendo sus derechos.
| 65
ANEXO 3
La labor de la Fundacin incluye ocho reas principales: educacin: la Fundacin dirige 10 escuelas en las zonas ms desfavorecidas de Bariloche. Un instituto de formacin de profesores. Juventud, fomentando la participacin activa de los jvenes en la sociedad civil, en la poltica y su integracin socioeconmica. Derechos de la tierra: influenciando la poltica pblica relacionada con los derechos de acceso a la tierra para los ms desfavorecidos. Derechos del menor: se centra en la labor de prevencin y proteccin de menores. Ancianos: apoyando la participacin activa de las personas mayores en la sociedad civil y el dilogo entre generaciones. reas de gestin: la Fundacin Gente Nueva busca activamente establecer un dilogo entre las diferentes reas, para compartir y mantener el marco espiritual en el que la Fundacin basa su actividad. Actividades productivas: diseo de actividades que generen beneficios y oportunidades laborales a travs de la formacin, la creacin de habilidades, el empleo, el autoempleo y las microempresas.
Visite las pginas Web www.fundaciongentenueva.org.ar y www.quetodostrabajen.com.ar
Grassroot Soccer Grassroot Soccer (GrS) es una organizacin que utiliza el poder del ftbol para educar, inspirar y movilizar a las comunidades para que luchen contra la propagacin del VIH. GrS proporciona modelos de conducta a la comunidad local (jugadores profesionales de ftbol, entrenadores de deportistas jvenes, profesores, educadores de jvenes, etc.) para ensear a los jvenes cmo protegerse del VIH/SIDA. GrS conduce directamente programas en Sudfrica,
Zambia y Zimbabwe y ha trabajado con socios operadores para llevar este programa a otros 13 pases, incluyendo tanzania, Kenia, Malawi y Namibia. el programa Skillz de Grassroot Soccer se centra en la creacin de habilidades bsicas para la vida que ayudan a los jvenes a adoptar comportamientos sanos y a llevar una vida sin riesgos. Los componentes del proyecto de GrS sobre habilidades para la vida incluyen actividades interactivas y discusiones en los que los estudiantes adquieren conocimientos tangibles sobre el VIH y el SIDA y tienen la posibilidad de poner en prctica las habilidades necesarias para cambiar su comportamiento de forma sustancial. Skillz crea conexiones sencillas pero importantes entre el ftbol (deporte) y las habilidades para la vida. el enfoque de Skillz ayuda a los jvenes a involucrarse en importantes discusiones sobre la vida, a dar pequeos pasos para alcanzar sus objetivos, a ser fuertes cuando tienen que enfrentarse a un reto y a autoprotegerse y a proteger a los dems frente al VIH y al SIDA. A nivel global, y desde la creacin del programa, 361.178 jvenes se han graduado con GrS. Slo en Sudfrica, cerca de 26.000 jvenes se graduaron con el programa de GrS en el ao 2010. el programa en Sudfrica tiene como objetivo alcanzar los 50.000 graduados en el ao 2011. en el ao 2010 (octubre de 2009septiembre de 2010), GrS observ una media de cambio global relativa al conocimiento del 8.3% pasando del 63.4% en el pretest al 71.7% en el postest. Se han llevado a cabo investigaciones, desarrollos y evaluaciones exhaustivas durante los programas de GrS. este trabajo ha sido dirigido por el Consejo de Salud Infantil de la Universidad de Stanford, por asesores del Consejo de Poblacin y la escuela de Salud Pblica de Harvard y por investigadores del Instituto Dartmouth, de la Universidad Johns Hopkins y de la Universidad de Cabo Verde. Diez evaluaciones llevadas a cabo en siete pases han mostrado un
66 |
ANEXO 3
impacto positivo sobre el conocimiento, las actitudes, el estigma y la comunicacin relacionada con el VIH. el ltimo estudio ha demostrado que, en comparacin con un grupo semejante al que se observ, a largo plazo, los graduados del programa de GrS en Zimbabwe presentaban seis veces menos probabilidades de mantener relaciones sexuales a una edad temprana, 4 veces menos probabilidades de haber mantenido relaciones sexuales en el ultimo ao y 8 veces menos probabilidades de haber tenido ms de un compaero sexual.
Visite la pgina Web www.grassrootsoccer.org
Luta pela Paz, Brasil Lucha por la Paz (LPP) utiliza el boxeo y las artes marciales combinadas con la educacin y el desarrollo personal para conocer acerca del potencial de aquellos jvenes de comunidades azotadas por delincuencia y violencia. LPP fue fundada en el ao 2000 por el exboxeador aficionado ingls, Luke Dowdney, en Complejo da Mar, un complejo de favelas de ro de Janeiro, Brasil. La experiencia de Luke con el boxeo le ense que este deporte puede ser una herramienta efectiva para superar la divisin y la violencia y para fomentar el potencial de los jvenes ms necesitados. Al igual que muchas comunidades de ro de Janeiro, los altos ndices de pobreza, exclusin, y la falta de servicios sociales en Complexo da Mar han llevado a que nios y jvenes sean empleados por facciones de droga o a convertirse en soldados combatientes, espas o camellos. LPP fue fundada para prevenir que nios y adolescentes se involucren en la violencia relacionada con delitos y drogas.
www.lutapelapaz.org
dial a travs del refuerzo de las competencias y derechos de nios y adolescentes desfavorecidos. Nuestra visin consiste en crear un mundo mejor para los nios, a travs de la educacin holstica e intercultural. en el Salvador, colaboramos con la Fundacin Salvador del Mundo (FUSALMO) y la Asociacin AGAPe de el Salvador, responsables de la puesta en marcha del proyecto Habilitando Oportunidades para la Paz y el empleo juvenil (HOPe). el proyecto HOPe pretende fomentar las competencias individuales, tcnicas y sociales de jvenes y adolescentes de siete departamentos de el Salvador. Nuestra intervencin cubre dos reas principales: la educacin formal en colaboracin con FUSALMO y la educacin no formal en colaboracin con AGAPe. el objetivo de HOPe es ofrecer a los jvenes una educacin integral que les permita participar activamente en la sociedad de una forma pacfica y no discriminatoria e integrarlos en el mercado laboral a travs de una formacin tcnica en diferentes mbitos. Anualmente, este proyecto ofrece su apoyo a cerca de 1.200 jvenes que asisten a la escuela y 640 que no estn escolarizados y que proceden de reas rurales. La intervencin en las escuelas tiene una duracin de 2 aos y la que no se realiza en la escuela, dura entre tres y seis meses.
Visite la pgina Web www.pestalozzi.ch/en/who-we-are/ the-foundation/
Stiftung Kinderdorf Pestalozzi La Fundacin Infantil Pestalozzi es una organizacin benfica internacional con sede en Suiza que fomenta la convivencia pacfica a nivel mun-
Save the Children Save the Children (StC) es una de las principales organizaciones mundiales independientes para nios. La visin de StC se centra en crear un mundo en el que cada nio alcance el derecho a la supervivencia, a estar protegido, a desarrollarse y a la participacin. Su MISIN consiste en promover la mejora en la forma en que el mundo trata a los nios y provocar cambios inmediatos y duraderos en sus vidas. Los valores de Save the Children son:
| 67
ANEXO 3
reSPONSABILIDAD: Asumimos nuestra responsabilidad personal para utilizar los recursos de forma eficiente, alcanzar resultados tangibles y ser responsables con los que nos apoyan, nuestros socios y sobre todo con los nios. AMBICIN: Nos exigimos y exigimos a nuestros colegas establecer metas ambiciosas en relacin con el compromiso de mejorar la calidad de aquello que hacemos por los nios. COLABOrACIN: Nos respetamos y valoramos, nos gusta la diversidad y trabajamos con colaboradores para conseguir una fuerza global dirigida a la mejora de la situacin de los nios. CreAtIVIDAD: estamos abiertos a nuevas ideas, apoyamos el cambio y asumimos riesgos disciplinados para desarrollar soluciones sostenibles para y con los nios. INteGrIDAD: Aspiramos a vivir con los mayores estndares de honestidad y comportamiento personal, nunca comprometemos nuestra reputacin y siempre actuamos en favor del inters superior de los nios. Swisscontact Swisscontact, la organizacin para el desarrollo del sector privado suizo, ofrece apoyo a emprendedores de economas en desarrollo y transicin. A travs de su ayuda al desarrollo de programas de formacin vocacional, la asistencia al sector de las pequeas y medianas empresas (pymes) y los proyectos para mejorar el medio ambiente, Swisscontact facilita a la gente la capacidad de mejorar sus condiciones de vida y de salir de la pobreza de forma gradual. Como organizacin para el desarrollo del sector privado suizo Swisscontact apoya el desarrollo econmico en ms de 25 pases de Asia, frica, europa del este y Latinoamrica. esta actividad la lleva a cabo ayudando a la gente a crear oportunidades para s mismos y a maximi-
zar su potencial asumiendo el control de su vida y su destino. Swisscontact est convencida de que el hecho de que el sector privado se involucre en actividades que fomentan el desarrollo es un elemento fundamental para tener xito en la lucha contra la pobreza. Contar con empleados cualificados y con propietarios de pequeos negocios es fundamental para el desarrollo de una economa sostenible en cualquier pas. A travs de un asesoramiento y una formacin vocacional llevada a cabo en colaboracin directa con socios locales competentes, ayudamos a la gente a mejorar sus habilidades profesionales y los preparamos para la vida laboral, les facilitamos el acceso a mercados de entrada y de salida y les ayudamos a crear unas condiciones bsicas para un crecimiento econmico sostenible. Les ofrecemos la motivacin y las habilidades necesarias para mejorar su vida y para ayudar a los dems a ayudarse a si mismo de forma eficaz. Swisscontact fue fundada en 1959 por lderes del sector econmico, cientfico y poltico de Suiza. No est afiliada a ningn partido poltico ni religin. Ms de 500 personas trabajan para Swisscontact en todo el mundo, con el objetivo de alcanzar un desarrollo social, econmico y ambiental sostenible. Adems, 600 profesionales retirados forman parte del Senior expert Corps y aportan sus conocimientos y su experiencia a las pymes de pases en desarrollo o transicin. Con sede en Zrich, Swisscontact tambin cuenta con representacin en Stuttgart con la filial Swisscontact Germany; en Nueva York, a travs de la organizacin norteamericana sin nimo de lucro American Friends of Swisscontact y dispone de representantes locales en los pases en los que se llevan a cabo los proyectos. Los proyectos de Swisscontact se clasifican en las siguientes categoras: Fomento de la formacin vocacional y la educacin continua a travs del desarrollo de sistemas de formacin orientados a los
68 |
ANEXO 3
mercados, el desarrollo de formacin de habilidades prcticas orientadas a las necesidades, la presentacin de innovadores mtodos de formacin y la creacin de escuelas modelo. Apoyo a la pequea y mediana empresa (pymes) a travs de la mejora de la oferta de negocios de servicios de desarrollo y financieros para pymes, el desarrollo de productos, la garanta de calidad, el acceso a los mercados y a la informacin, la micro financiacin (incluyendo los servicios mviles) y los micro seguros. reduccin del impacto ambiental a travs de la mejora de la calidad del aire, la gestin de los residuos y el reciclaje, la introduccin de tecnologas sostenibles, campaas de relaciones pblicas y ofreciendo asesoramiento a los gobiernos y autoridades municipales y nacionales. Promise Foundation, India La Promise Foundation (tPF) fue creada en 1987 como fundacin benfica dedicada a ofrecer servicios relacionados con la salud mental, la educacin y el potencial de conocimiento. La fundacin cuenta con un grupo central de psiclogos, trabajadores sociales, educadores especiales y profesores, adems de una red internacional de asesores especializados. el grupo al que dirigimos nuestra actividad son los nios, adolescentes, adultos jvenes y aquellos que se encargan de su cuidado. Nos centramos en tres programas especficos: Cuidado y educacin de la primera infancia. Formacin durante los aos de educacin primaria. Asesoramiento profesional y planificacin de la subsistencia durante la adolescencia y el comienzo de la edad adulta. Nuestro trabajo se basa en el enfoque investigacin-accin. todos nuestros programas se
descansan en amplias investigaciones. empleamos los resultados de nuestras investigaciones en el desarrollo de nuevas aplicaciones. A lo largo de los aos, tPF ha establecido relaciones con importantes departamentos del Gobierno y otras agencias nodales que incluyen: Un gran abanico de ONGs locales y nacionales. empresas de la ciudad (Bangalore, Chennai, Pondicherry). Ministerio de Desarrollo de recursos Humanos (Nueva Delhi). Consejo Nacional de para la Investigacin y la Formacin educacional (Nueva Delhi). Instituto Nacional de estudios Avanzados (Bangalore). Instituto Nacional para la Cooperacin Pblica y el Desarrollo Infantil (Bangalore). Universidad Nacional para la Planificacin y la Administracin educacional (Nueva Delhi). Departamentos de Universidades de La India e Inglaterra. tPF tambin forma parte de diversos comits nacionales involucrados en el diseo de polticas, tales como el Working Group on Adolescents y el National Curriculum Framework review. Para informacin ms detallada sobre nuestro enfoque y nuestros programas, consultar nuestra pgina Web:
www.thepromisefoundation.org
tPF ha desarrollado diversos programas de orientacin profesional dirigidos a las necesidades de desarrollo profesional y a la planificacin de la subsistencia de jvenes de La India procedentes de diferentes entornos socioeconmicos. todos nuestros materiales de orientacin han sido exhaustivamente probados y aprobados. Ms de 100.000 jvenes se han beneficiado de estos programas en los ltimos 12 aos.
| 69
ANEXO 3
Nuestra investigacin y experiencia han sido publicados ampliamente, como por ejemplo: Career Counselling: A handbook (tata McGraw Hill, 2004). Cerca de 12 artculos cientficos publicados en revistas tanto de La India como internacionales. Presentaciones en conferencias nacionales e internacionales. Artculos populares, tales como columnas en peridicos y revistas. tPF se ha convertido en una institucin que cuenta a la vez con la experiencia cientfica y el conocimiento para la realizacin del potencial de nios y jvenes.
Visite la pgina Web www.thepromisefoundation.org y www.jivacareer.org
70 |
CAPtULO 3
| e VA LUACIN De IMPACtO De LOS P rOGr A M AS S OB re H A B ILIDA DeS PA r A L A V IDA OrIeNtA DOS A LOS JV eNeS: UN e X A MeN S eLeCtI VO
INTRODUCCIN
CAPtULO 3
EVALUACIN DE IMPACTO DE LOS PROGRAMAS SOBRE HABILIDADES PARA LA VIDA ORIENTADOS A LOS JVENES: UN EXAMEN SELECTIVO
p o r T i n a M a lT i , ph D, D e pa r Ta M e n T o D e p s ic o l o g a D e l a U n i v e r s i Da D D e T o ro n T o, c e n T ro J ac o b s pa r a e l De s a r rol l o proDUc T i vo De l o s Jv e n e s , U n i v e rsiDa D De Z r ich.
I NTR ODUCCIN
Las evaluaciones de programas sobre habilidades para la vida orientados a los jvenes suelen tratar la cuestin de si la intervencin produce cambios positivos o negativos en la vida de los grupos a los que van dirigidos los programas. Las evaluaciones de impacto deben proporcionar pruebas rigurosas de que los programas son eficaces o ineficaces, lo que supone un pre-requisito para su eventual xito. en otras palabras, ofrecen respuestas fiables a la pregunta de si la intervencin produce cambios positivos o negativos en la vida de los jvenes. este captulo repasa algunos aspectos conceptuales y enfoques metodolgicos a la evaluacin de impacto de los programas sobre habilidades para la vida orientados a los jvenes. Despus de proponer una definicin de evaluacin de impacto, trataremos algunas de las razones para llevar a cabo una evaluacin de impacto. A continuacin, se resumen los factores que pueden reducir la credibilidad de los cambios propuestos en los resultados. La siguiente seccin ofrece un enfoque sobre los diseos de estudios que se suelen utilizar para responder a la pregunta de si la intervencin provoc cambios en los resultados. especficamente, se resumen diseos experimentales, diseos cuasi-experimentales y no-experimentales. Finalmente, se trata el tema de la aplicabilidad
de las evaluaciones del impacto sobre proyectos de socios de la Fundacin Jacobs. Los programas de habilidades para la vida orientados a los jvenes pretenden mejorar sus capacidades para enfrentarse a los retos de la vida cotidiana de una forma apropiada para su edad y experiencia. Cuando se trata de la evaluacin de un programa, la pregunta ms importante que se puede formular sobre cualquier programa de habilidades para la vida es si la intervencin provoca cambios positivos o negativos en la vida del grupo destinatario. Por ejemplo: Han adquirido o mejorado los miembros del grupo destinatario las habilidades para la vida que pretenda fomentar el programa (por ejemplo, cogniciones, actitudes y comportamiento)? en caso de respuesta afirmativa, qu tan efectiva result la intervencin? Si fue efectiva, por qu? Si no fue efectiva, por qu no? estas preguntas son clave para saber qu funcion, cules fueron los desafos y qu conocimientos tiles para profesionales, investigadores, financiadores y polticos se obtuvieron a partir de la intervencin. en trminos generales, las evaluaciones de impacto deben ofrecer pruebas rigurosas de que los programas son eficaces o ineficaces, lo que constituye un pre-requisito para su eventual xito. Pero, cmo se generan estas pruebas?
| 71
e VA LUACIN De IMPACtO De LOS PrOGr A M AS S OB re H A B ILIDA DeS PA r A L A V IDA OrIeN tA DOS | CAPtULO 3 A LOS JV eNeS: UN e X A MeN S eLeCtI VO
QU ES UNA EVALUACIN DE IMPACTO?
este captulo ofrece una introduccin a estas preguntas describiendo aproximaciones metodolgicos especficas para evaluar el impacto de programas sobre habilidades para la vida orientados a los jvenes. estas aproximaciones se encuentran resumidas bajo el trmino evaluacin de impacto. el presente captulo pretende ayudar al lector a entender el papel de la evaluacin de impacto en este contexto ofreciendo algunas pautas generales. No pretende profundizar en cmo dirigir evaluaciones de impacto. Su principal objetivo consiste, en realidad, en presentar las aproximaciones ms comunes. el tema de la aplicabilidad de las evaluaciones de impacto a proyectos de socios de la Fundacin Jacobs ser tambin analizado5.
DEFINICIN DE EVALUACIN DE IMPACTO tabla 7

Un anlisis que (a) mide los cambios netos en resultados provocados por los programas sobre habilidades para la vida orientados a los jvenes y (b) responde adecuadamente a la pregunta de la investigacin para el correspondiente contexto. Normalmente, este anlisis utiliza complejos diseos de investigacin y los mejores mtodos para establecer si los cambios netos en los resultados pueden ser atribuidos al programa de habilidades para la vida o no. Impacto hace referencia a las consecuencias positivas y negativas a largo plazo del programa sobre habilidades para la vida, ya sean intencionadas o no intencionadas, al igual que la posible influencia de factores externos sobre el resultado.
Comisin europea, 2010; OCDe-DAC, 2002; UNICeF, 2004
QU E S U NA E VALUACIN DE I M PACTO?
A pesar de que existe un acuerdo general sobre el papel de las evaluaciones rigurosas de impacto en las prcticas de prevencin e intervencin, existe cierto desacuerdo sobre cmo definir los criterios de una evaluacin rigurosa de impacto (White, 2009). A lo largo de este captulo, se emplea la siguiente definicin de evaluacin rigurosa de impacto (International Initiative for Impact evaluation, 2010): Lo ideal es que muestre una conexin causal entre el cambio y el programa, al igual que la magnitud de dicho cambio. esto es lo que diferencia una evaluacin de impacto, de otro tipo de evaluaciones, que no suelen ser capaces de demostrar claramente que un cambio observado puede ser atribuido a la intervencin. Las evaluaciones estndares suelen centrarse en el seguimiento de los resultados y no tienen en cuenta nada que sea contrafactual. Una evaluacin de impacto, a diferencia, busca una rela-
cin causa-efecto entre las intervenciones y los resultados (es decir, un anlisis contrafactual). Algunas definiciones de evaluacin de impacto se centran especficamente en cmo se diferencian estas de otro tipo de evaluaciones. Por ejemplo, la iniciativa DIMe, del Banco Mundial, define evaluacin de impacto como una comparacin de los resultados de un programa en contraposicin con un contrafactual que muestra qu habra pasado a los que se beneficiaron del proyecto si este no se hubiese llevado a cabo. A diferencia de otros tipos de evaluacin, permiten atribuir los cambios observados a los resultados al programa que est siendo evaluado a travs de diseos experimentales y cuasi-experimentales. esta definicin deja claro que las evaluaciones de impacto efectivamente permiten a los programas de intervencin tener un papel en el cambio de habilidades para la vida y tambin aclara que la evaluacin de este papel es rigurosa en el sentido de que en el anlisis final, los cambios en los resultados pueden ser atribuidos, con gran probabilidad, a los efectos de la intervencin.
5)
For synthetic reviews of existing impact evaluations in low- and middle-income countries, see the International Initiative for Impact evaluation (2010).
72 |
CAPtULO 3 | e VA LUACIN De IMPACtO De LOS P rOGr A M AS S OB re H A B ILIDA DeS PA r A L A V IDA OrIeN tA DOS A LOS JV eNeS: UN e X A MeN S eLeCtI VO
CUNDO Y POR QU SE LLEVA A CABO UNA EVALUACIN DE IMPACTO?
CUN DO Y P OR QU S E LLE VA A CAB O U NA E VALUACIN DE I M PACTO?

Las evaluaciones de impacto de los programas de intervencin tales como los programas sobre habilidades para la vida orientados a los jvenes son importantes por diversos motivos: Ante todo, tienen el potencial de revelar con un gran nivel de credibilidad, si los cambios observados se deben o no a la intervencin. A pesar de que en ocasiones, otro tipo de enfoques de evaluacin miden los cambios, no aclaran necesariamente si el cambio medido se debe a la intervencin. Para responder a esta pregunta es necesario emplear evaluaciones de impacto rigurosas. Una evaluacin de impacto rigurosa tambin tiene la ventaja de poder controlar muchos de los factores que amenazan la validez y por ello incrementan el nivel de credibilidad de las evaluaciones ms que los diseos que no son capaces de controlar dichas amenazas (para ms informacin sobre factores que amenazan la validez de la evaluacin.
Por esta razn, las evaluaciones de impacto rigurosas tienen un gran potencial para mostrar pruebas sobre lo que funciona y lo que no. estas pruebas sirven a los profesionales, investigadores y financiadores a llevar a la prctica los programas ms eficaces (OCDe DAC, 2010). tambin presenta mejoras sobre los siguientes criterios comunes de evaluacin: relevancia, eficiencia, eficacia, sostenibilidad e impacto (OCDe DAC, 2010). La tabla 1 define brevemente estos criterios. Sin embargo, las oportunidades inherentes y las ventajas que proporcionan las evaluaciones de impacto rigurosas, descritas anteriormente, deben ser examinadas teniendo en cuenta los retos que presentan: Uno de los principales inconvenientes de las evaluaciones de impacto rigurosas es que llevarlas a la prctica requiere numerosos recursos, habilidades y tiempo. Adicionalmente, no existe un acuerdo sobre si el hecho de mostrar diferencias entre los grupos de tratamiento y control es suficiente para demostrar el impacto. en realidad, se ha propuesto un enfoque ms terico para las evaluaciones de impacto. este enfoque pretende explicar el campo causal del inicio de la intervencin a los resultados teniendo en cuenta el contexto social y econmico en el que se lleva a cabo la intervencin (Leeuw y Vaessen, 2009; Programa de las Naciones Unidas para el Desarrollo, PNUD, 2009).
CRITERIOS COMUNES DE EVALUACIN PARA INTERVENCIONES
tabla 8
Relevancia: Concuerdan los objetivos de la intervencin con las necesidades correspondientes, las polticas de los socios, las pre-condiciones contextuales, etc.? Eficiencia: Qu tan bien se utilizaron los recursos para alcanzar los resultados? Eficacia: Hasta qu punto se alcanzaron los principales objetivos de la intervencin? Sostenibilidad: Cules son a largo plazo los efectos de la intervencin? Impacto: Cules son los efectos positivos y negativos de la intervencin, tanto intencionados como no intencionados?
european Commission, 2010
| 73
AMENAZAS PARA LA VALIDEZ DE LA EVALUACIN
en resumen, el hecho de escoger el enfoque adecuado para llevar a cabo una evaluacin de impacto de un programa sobre habilidades para la vida requiere tener en cuenta diversos factores durante la fase de planificacin. Segn la OCDe (2010), las evaluaciones de impacto ms eficaces constituyen una evidencia de base fuerte para guiar a los responsables polticos. Normalmente, los contextos apropiados y beneficiosos para llevar a cabo una evaluacin de impacto incluyen: (a) programas piloto que sern ampliados de forma sustancial, (b) intervenciones para las que el contexto ofrece pocas pruebas de impacto, (c) esquemas innovadores y, de forma ocasional, (d) programas de relevancia poltica y (e) otras intervenciones seleccionadas del portafolio de una agencia (OCDe, 2010, pg. 2).
Las tpicas amenazas para la validez de los cambios constatados incluyen, por ejemplo, que durante la intervencin, tengan lugar eventos inesperados que puedan haber contribuido a producir cambios en los resultados. Por ejemplo, los adolescentes mejoran permanentemente sus habilidades para la vida durante el transcurso normal de su desarrollo (ver captulo sobre Intervenciones sobre Habilidades para la Vida). ello hace que sea posible que las habilidades para la vida de los adolescentes evolucionen durante el transcurso del programa, independientemente de la propia intervencin. A veces, los diseos experimentales son ms capaces que los no-experimentales de controlar tanto estos como otros factores. Los estudios sobre evaluaciones de impacto tienen que ser suficientemente rigurosos como para tratar las amenazas ms frecuentes para la validez, que se resumen a continuacin: Desarrollo Las habilidades que se espera que los participantes desarrollen por s mismos entre el pretest y el postest puede que sean la causa del efecto observado y no la intervencin objeto del estudio. Para minimizar esta amenaza, resulta importante controlar estos factores del desarrollo, por ejemplo, comparando los efectos en un grupo experimental que recibi la intervencin con respecto a aquellos del grupo de control que no recibieron la intervencin, durante el mismo intervalo de tiempo. Sesgo de seleccin este problema sucede cuando el grupo de control difiere de forma sistemtica del grupo experimental en determinadas variables y estas diferencias estn relacionadas con los resultados (ver Heckman, 1979). el sesgo puede reducirse ajustando los grupos en el mayor nmero posible de caractersticas relevantes.
AM E NA ZAS PARA LA VALI DE Z DE LA E VALUACIN

el diseo de cualquier evaluacin de una intervencin sobre habilidades para la vida se expone al riesgo de amenazas que afecten su validez, es decir, a factores que pueden reducir la credibilidad de los cambios propuestos en los resultados. en trminos generales, la validez implica que las herramientas midan lo que deben medir. Se suele establecer una diferencia entre validez interna y externa. La validez interna hace referencia a si la intervencin modifica los resultados especficos que son de inters (es decir, si existe una relacin causal entre la intervencin y los resultados, o si la intervencin contribuye directamente a alcanzar los resultados deseados; ver royce, thyer y Padgett, 2010). Por otro lado, la validez externa hace referencia al punto hasta el que los resultados de la intervencin pueden extenderse a otros contextos (trochim, 2006).
74 |
DISEOS DE ESTUDIO
Historia Determinados eventos que no estn relacionados con el programa de intervencin pero que afectan a sus resultados, al igual que a su proceso de evaluacin, pueden ser experimentados por algunos participantes y por otros no. Llevar a cabo un seguimiento de tales eventos puede ayudar a entender sus efectos. Sesgo de confirmacin este problema hace referencia al hecho de que la experiencia de la primera prueba realizada antes de la intervencin puede tener un impacto sobre posteriores reacciones frente al tratamiento o futuras pruebas. Un modo de controlar este problema consiste en comparar los resultados del grupo de control/comparacin y el grupo de tratamiento del pretest y del postest. Cambios de instrumento en cualquier test en que se utilicen instrumentos antes de la intervencin y tras la misma, se puede producir un sesgo en la medicin del impacto de la intervencin. Para evitar este sesgo es importante formular las preguntas previas y posteriores a la intervencin exactamente de la misma manera. Diferencias en las tasas de abandono Si los participantes que abandonan un grupo entre el pretest y el postest, difieren sistemticamente de aquellos que abandonan el otro grupo, no sabemos si los resultados se deben a la intervencin o a las diferencias en las caractersticas de las muestras finales. Por ello, debemos comparar las caractersticas clave de los participantes que completaron el programa, con aquellas de los que lo abandonaron. Heterogeneidad de impacto Si existe una diferencia en los resultados que sea atribuible a factores del contexto, no queda
claro hasta qu punto se puede extender la intervencin a otros contextos. Por ello, a pesar de que puede resultar a menudo difcil y/o inviable, es recomendable extraer las muestras a partir de un amplio abanico de contextos, tales como participantes de diferentes estratos socioeconmicos.
DI S EOS DE E STU DIO

Como no existe ningn anteproyecto de evaluaciones de impacto sobre programas de habilidades para la vida orientados a los jvenes la primera pregunta que hay que formular es cmo seleccionar el diseo apropiado para responder a la pregunta adecuada (ver OCDe, 2010). Antes de planificar una evaluacin de impacto rigurosa y su diseo, es fundamental establecer un sistema de seguimiento adecuado y manejable, al igual que un sencillo sistema interno y/o externo de evaluacin que permita asegurar que los proyectos mejoran constantemente (ver Captulo 2). es importante tener en cuenta que cualquier diseo debe aplicar los principios de evaluacin generalmente aceptados (ver, por ejemplo, los DAC evaluation Quality Standards, 2010). La mayora de evaluaciones de impacto se dirigen a las principales amenazas para la validez tal y como describimos anteriormente y emplean tanto mtodos cuantitativos como cualitativos. Adicionalmente es preciso aclarar los aspectos ticos. estos temas van unidos a la eleccin del diseo del estudio e incluyen, por ejemplo, preguntas sobre la seleccin, informacin y recopilacin de muestras y el anlisis y la publicacin de los resultados (ver eisner, Malti y ribeaud, en prensa; Grupo de evaluacin de las Naciones Unidas, 2008). Por ultimo y no menos importante, cualquier entorno de una evaluacin de impacto debe ser tratado en relacin con el ratio coste-beneficio y los retos deben ser estimados de forma realista.
| 75
DISEOS DE ESTUDIO
en general, los diseos de las evaluaciones de impacto se identifican con los tipos de mtodos utilizados para generar conocimiento sobre los resultados en ausencia de una intervencin. Se pueden distinguir tres diseos: experimental, cuasi-experimental y no experimental. La viabilidad, los costes, el nmero de personas involucradas durante el diseo de la intervencin o tras su puesta en marcha y el nivel de las amenazas a la validez de la evaluacin pueden variar. A continuacin, detallamos las caractersticas clave de cada uno de los tres diseos. estos resmenes proceden de Adamchak et al. (2000), que presentaron un enfoque global de los dise os de evaluacin para evaluar el impacto del programa. Se remite al lector a dos introducciones excelentes sobre investigacin en evaluacin, publicadas por rossi, Lipsey y Freeman (2004) y por Shadish, Cook y Campbell (2002).
control no participa en el programa de intervencin. Los grupos de control nos ayudan a observar cmo cambian los resultados a lo largo del tiempo cuando no se aplica ningn programa. Para controlar los factores que pueden influir sobre los resultados que nos interesan (por ejemplo, edad, nivel de desarrollo, entorno socioeconmico), la asignacin de los participantes a los grupos experimental y de control debe realizarse de forma aleatoria. Los experimentos aleatorios pueden ser clasificados en funcin de dos tipos de diseos: pretest y postest y slo postest. Ambos diseos asignan a los adolescentes al grupo experimental y de control de forma aleatoria, pero slo el primero mide los resultados antes y despus de la intervencin presentando el impacto correspondiente como un cambio en el resultado. Por el contrario, el diseo slo postest mide nicamente los resultados una vez haya sido implementada la intervencin. en este caso, el impacto es representado por las diferencias entre los resultados del grupo experimental y el grupo de control.
DISEOS EXPERIMENTALES
Los experimentos aleatorios, o las pruebas controladas aleatorias (rCts, por sus siglas en ingls), son mtodos de eleccin para probar la eficacia o eficiencia de los programas sobre habilidades para la vida orientados a los jvenes. tanto las pruebas de eficacia como las de efectividad son importantes formas de evaluacin en cualquier estudio de intervencin y pueden documentar su impacto. Sin embargo, las pruebas de efectividad son especialmente importantes a la hora de traducir los resultados a recomendaciones polticas (eisner et al., en prensa). el tpico diseo experimental incluye un grupo de control. en el contexto que nos atae, el grupo de control est compuesto por adolescentes que tienen caractersticas similares a aquellos que recibirn la intervencin de habilidades para la vida en el grupo experimental. A diferencia del grupo experimental, el grupo de
EFICACIA VERSUS PRUEBAS DE EFECTIVIDAD
tabla 9
Las pruebas de eficacia pretenden determinar si una intervencin es efectiva llevada a cabo bajo unas condiciones de aplicacin ptimas. Se controla exhaustivamente su aplicacin, normalmente el nmero de participantes es reducido y los resultados se suelen evaluar poco despus de haber finalizado la intervencin. Las pruebas de efectividad pretenden determinar si una intervencin es efectiva llevada a cabo bajo unas condiciones reales. estos estudios suelen requerir un gran nmero de participantes y la colaboracin entre los investigadores y un gran nmero de entidades u organismos, para producir efectos a largo plazo.
76 |
DISEOS DE ESTUDIO
UN EJEMPLO DE UN EXPERIMENTO ALEATORIO: EL PROYECTO DE ZRICH PARA EL DESARROLLO SOCIAL DE LOS NIOS
Z-Proso es una prueba aleatoria controlada (rCt) que se est llevando a cabo actualmente y que utiliza un diseo pretest y postest para evaluar los resultados antes y despus de la implementacin del programa (Z-Proso; www.z-proso.uzh.ch). Consiste en evaluar la efectividad de dos programas de prevencin que pretenden reducir las agresiones y mejorar las competencias sociales entre los nios de primaria. Un total de 1.675 alumnos de primer grado de 56 escuelas de educacin primaria de Suiza fueron asignados de forma aleatoria a una intervencin de competencia social en la escuela, a una intervencin de formacin para padres, a ambas, o al grupo de control. Para documentar el impacto, se midieron diversos resultados (antes, despus de la implementacin del programa y en un seguimiento llevado a cabo 2 aos despus), incluyendo el comportamiento agresivo y pro-social (habilidades para la vida) sealado por los nios, padres y profesores.
Para consultar una visin general del diseo del estudio, ver eisner et al., en prensa; para consultar resultados especiales, ver Malti, ribeaud y eisner, 2010). Z-Proso; www.z-proso.uzh.ch
Por lo general, estos tipos de estudios requieren una minuciosa planificacin y experiencia y suponen unos costes considerables. Debido a su complejidad, el xito de las pruebas aleatorias requiere un grupo de habilidades conceptuales y metodolgicas, al igual que unos recursos y una financiacin adecuada (eisner et al., en prensa). Cada fase clave de la rCt al igual que la recopilacin de datos y la aplicacin de la intervencin requieren una minuciosa planificacin (Boruch, 1997), especialmente, si la intervencin se lleva a cabo a gran escala y/o se realiza en un contexto que supone un reto (rohrbach, Grana, Sussman y Valente, 2006; elliot y Mihalic, 2004; Domitrovich y Greenberg, 2000; Durlak y DuPre, 2008). en resumen, las rCts bien dirigidas pueden ofrecer informacin fiable sobre lo que tiene xito y lo que no, en la mejora de las habilidades para la vida de los jvenes. Por ello, pueden servir de base para tomar decisiones prcticas sobre la implementacin de programas cuyo objetivo es mejorar estas habilidades. (Para ms informacin sobre criterios metodolgicos que deban ser aplicados en la documentacin del
impacto de rCts, ver Society of Prevention researchs standards of evidence; y Biglan, Mrazek, Carnine y Flay., 2003; Flay et al., 2005). A pesar de su enorme potencial, las rCts suponen un gran desafo. tal y como hemos mencionado anteriormente suponen un alto coste y requieren muchos recursos (Victora, Habicht y Bryce, 2004), lo que significa que hace falta llevar a cabo un anlisis detallado del coste-beneficio. Las cuestiones ticas deben ser cuidadosamente consideradas. Una de las principales preocupaciones ticas que surgen en torno a las rCts es la rectitud o exactitud en la retencin de la intervencin sobre habilidades para la vida con respecto al grupo de control. Como los recursos de los programas no suelen ser suficientes para cubrir las necesidades de la muestra al completo no es posible llevar a cabo la intervencin con todos los participantes en el tiempo adecuado. Una forma de atender a esta cuestin es crear una lista de espera para el grupo de control. Los miembros de la lista de espera del grupo de control participarn en la intervencin, pero no lo harn hasta una fase tarda del programa, normalmente despus de
| 77
DISEOS DE ESTUDIO
haber terminado el estudio. Sin embargo, con esta solucin no se puede pretender resolver completamente el problema tico. entre los desafos a los que se enfrenta el enfoque de la rCt, es que en ocasiones una rCt resulta inviable y/o poco tica. Por ejemplo, unos investigadores que estn interesados en analizar si la exposicin frecuente a la violencia conduce a una disminucin de las habilidades para la vida, obviamente, no puede utilizar un diseo de investigacin que implique que un grupo de adolescentes sea expuesto a la violencia de forma aleatoria y que otro no. Con frecuencia, lo aleatorio resulta inviable o poco tico. Por ejemplo, cuando (1) reclutar a jvenes de alto riesgo en programas sobre habilidades
para la vida supone un desafo significativo y (2) cuando no se tiene acceso a un grupo de control, quizs porque reclutarlo resultara demasiado peligroso. estos son algunos de los aspectos urgentes que resultan de gran importancia para los proyectos previstos por los socios de la Fundacin Jacobs. Antes de escoger un enfoque para evaluar las intervenciones sobre habilidades para la vida hay que buscar un equilibrio entre estos aspectos pragmticos, ticos y econmicos y la necesidad de conservar la validez cientfica y la credibilidad (Sanson-Fisher, Bonevski, Green y Deste, 2007). La tabla 10 resume algunas de las caractersticas principales de experimentos aleatorios.
VISIN GENERAL DE EXPERIMENTOS ALEATORIOS

Experimentos Aleatorios Descripcin Diseos Evaluacin de habilidades para la vida Implementacin antes y despus del programa Evaluacin de impacto Diferencias en los cambios de la puntuacin de habilidades para la vida obtenida por el grupo experimental y el grupo de control Diferencias en la puntuacin de habilidades para la vida obtenida por el grupo experimental y el grupo de control Fortalezas
tabla 10
Desafos
Asignacin aleatoria de los participantes al grupo experimental y al grupo de control
Pretest y postest
Alto nivel de fiabilidad
Asignacin aleatoria no siempre posible
Slo postest
Implementacin despus del programa
Fcil recopilacin de datos
No existen datos del pretest sobre el desarrollo de habilidades para la vida
DISEOS CUASI-EXPERIMENTALES
Los diseos de las investigaciones cuasi-experimentales son similares a los de los experimentos aleatorios: comparten muchos elementos, pero no todos (ver Cook y Campbell, 1979). La princi-
pal diferencia entre experimento y cuasi-experimento radica en que a pesar de que ambos emplean un grupo de control/comparacin, en el caso de los cuasi-experimentales el grupo de comparacin no es seleccionado de forma alea-
78 |
DISEOS DE ESTUDIO
toria (ver Shadish et al., 2002) sino por similitud. el ltimo confa primero en identificar las similitudes clave entre el grupo de intervencin y el de comparacin. Lo ideal es que ambos grupos sean lo ms similares posible, especialmente, en lo que respecta a las caractersticas sobre las que se sabe que tienen importantes efectos potenciales sobre los resultados del estudio. Por ejemplo, alguien que se dedique a estudiar los efectos de una intervencin sobre habilidades para la vida para adolescentes con problemas de comportamientos agresivos intentar encontrar para el grupo de comparacin una muestra de adolescentes de la misma regin, aproximadamente de la misma edad y que contenga aproximadamente el mismo nmero de hombres que de mujeres, etc. que el grupo de intervencin. A
veces, a este enfoque se le llama diseo de grupo no equivalente. el grupo de comparacin puede ser identificado antes de la puesta en marcha del proyecto (estudios prospectivos) o tras la aplicacin del proyecto (estudios retrospectivos). Los cuasi-experimentos utilizan los dos mismos tipos de diseos que los experimentos: pretest y postest y slo postest. La nica diferencia entre los dos tipos de diseos de pretest y postest es que en los cuasi-experimentos el grupo de comparacin se crea por similitud y no por asignacin aleatoria. Al igual que con los experimentos, en los cuasi-experimentos los diseos de slo postest miden los resultados en los grupos de intervencin y comparacin slo una vez que se ha llevado a cabo la intervencin.
UN EJEMPLO DE UN CUASI-EXPERIMENTO: EL PROGRAMA AMERICORPS

AmeriCorps es un programa de servicio en los estados Unidos. Cuenta con 75.000 participantes anuales, la mayora de ellos de entre 18 y 24 aos. Los voluntarios colaboran en una gran variedad de programas de servicio. el objetivo del estudio consista en evaluar a largo plazo el impacto del voluntariado AmeriCorps sobre las habilidades para la vida de los participantes y otros resultados. Se compar a cerca de 2.000 jvenes que participaron a tiempo completo en ms de 100 programas de AmeriCorps entre los aos 1999 y 2000 con un nmero semejante de jvenes que no particip en el programa. Para asegurar todava ms la similitud de ambos grupos, el grupo de comparacin estaba compuesto por individuos que haban demostrado conocer y estar interesados en AmeriCorps tras haber contactado con su lnea de informacin y haber solicitado informacin sobre el programa, pero que no participaron en el mismo durante el intervalo en que se llev a cabo el estudio. Se evaluaron determinadas habilidades para la vida, tales como la responsabilidad social y la participacin civil tanto antes como despus de la participacin en el programa y se compararon los cambios observados entre ambos grupos.
Mattero y Campbell-Patton, 2010
La ventaja de los diseos cuasi-experimentales es que con frecuencia (pero no necesariamente siempre) resulta ms sencillo encontrar un grupo de comparacin similar que un grupo de control asignado de forma aleatoria. La desventaja: que los diseos cuasi-experimentales pueden provocar muchos tipos de problemas relacionados con la validez. Por ejemplo, el grupo de
intervencin y el de comparacin pueden diferir en cuanto a factores que no fueron contemplados al analizar la similitud. O tambin es posible que ambos grupos cuenten con niveles diferentes de autoestima. esta variable puede repercutir en los resultados de la intervencin sobre las habilidades para la vida, pero este impacto no sera detectado porque la autoestima no fue ni
| 79
DISEOS DE ESTUDIO
controlada ni medida. en otras palabras, mientras que un diseo experimental autntico puede demostrar que los cambios en las habilidades para la vida se pueden atribuir directamente al programa, los cuasi-experimentos normalmente no pueden descartar la posibilidad de que otros factores presentes en la comunidad y en la vida de los jvenes y que no fueron medidos hayan contribuido a provocar los cambios observados en las habilidades para la vida. Para
terminar de una forma ms positiva, recientes avances metodolgicos ofrecen formas que prometen analizar los efectos causales en los estudios cuasi-experimentales (ver Haviland, Nagin y rosenbaum, 2007; rosenbaum y rubin, 1983; Heckman y robb, 1985). La tabla 11 resume algunas de las principales caractersticas de los diseos cuasi-experimentales.
VISIN GENERAL DE CUASI-EXPERIMENTOS

Estudios cuasi-experimentales Descripcin Diseo Evaluacin de habilidades para la vida Implementacin antes y despus del programa Evaluacin de impacto Diferencias en los cambios de la puntuacin de habilidades para la vida obtenida por el grupo de comparacin y el grupo de intervencin Diferencias en la puntuacin de habilidades para la vida obtenida por el grupo de comparacin y el grupo de intervencin Fortalezas
tabla 11
Desafos
Asignacin no equivalente, correspondiente de los participantes a la intervencin y al grupo de comparacin
Pretest y postest
Asignacin por similitud ms sencilla que la aleatoria
el grupo de intervencin y el de control pueden ser diferentes en factores que las similitudes no captan No existen datos del pretest sobre el desarrollo de habilidades para la vida
Slo postest
Implementacin despus del programa
Fcil recopilacin de datos
DISEOS NO-EXPERIMENTALES
Al contrario que los experimentos y cuasi-experimentos, los no experimentos no utilizan un grupo de control o comparacin para evaluar el impacto de un programa. Sin embargo, suelen utilizar tcnicas sofisticadas y modelos tericos estrictos para demostrar los efectos causales en los resultados de un programa. en otras palabras, suelen
utilizar teoras y diseos de estudio elaborados. Por ello, la diferencia entre una evaluacin simple de resultados (ver Captulo 2) y una evaluacin de impacto no-experimental radica en a) qu tipo de pregunta de investigacin presenta b) qu resulta viable y tico c) el rigor metodolgico. Se ha debatido la cuestin de si estos tipos de evaluacin son vlidos y su rigor es un tema
80 |
DISEOS DE ESTUDIO
controvertido. No resulta sorprendente que los estudios no-experimentales sobre evaluaciones de impacto suelen ser considerados menos rigurosos que sus contrapartes experimentales porque los diseos no-experimentales intentan fuertemente atribuir inequvocamente cambios en los resultados al impacto del programa. Por otra parte los diseos no experimentales son ms eficientes a la hora de captar la complejidad de los resultados de un programa, ofrecen alta flexibilidad y tienen unos costes menores. Finalmente, pueden ser aplicados en situaciones en las que las tcnicas experimentales o cuasi-experimentales no son apropiadas, resultan poco ticas y/o imposibles. Por ello, los diseos no-experimentales deben ser considerados un mtodo alternativo de
evaluacin de impacto. Se suelen utilizar ms cuando por motivos ticos no es posible utilizar un grupo de control o de comparacin, cuando no se puede identificar ningn grupo de adolescentes que no hayan participado en la intervencin sobre habilidades para la vida pero que compartan caractersticas fundamentales con aquellos que s participaron, cuando no se puede crear un grupo de control de forma aleatoria, o cuando por diversos motivos, no resulta viable o no se quiere emplear un grupo de control o de comparacin. Finalmente, no tiene sentido emplear un grupo de control en intervenciones que pretenden abarcar a toda la poblacin (por ejemplo, campaas en los medios que tienen como objetivo fomentar la responsabilidad social de los adolescentes en su comunidad).
EJEMPLO DE UN ESTUDIO NO-EXPERIMENTAL: EL PROGRAMA RALLY

el programa rALLY (responsive Advocacy for Life and Learning in Youth) es un mtodo llevado a cabo en las escuelas y despus de la escuela que centra su actividad en las habilidades para la vida, el desarrollo y la salud mental de los jvenes en las escuelas. Se basa en la teora del desarrollo y en prcticas de prevencin a travs de intervenciones tempranas orientadas a estudiantes de secundaria. recientemente, en un estudio piloto diseado para probar el componente preventivo del programa sobre una poblacin urbana de alto riesgo de los ee.UU., se utiliz un diseo no-experimental para evaluar el impacto del programa sobre las habilidades para la vida. Se midieron las habilidades para la vida antes del comienzo del ao acadmico y al final del mismo, es decir, una vez finalizado el programa. Las entrevistas con los estudiantes, los cuestionarios y las observaciones, al igual que los profesionales de salud mental, los profesores, los directores del programa y los directores de la escuela fueron empleados para evaluar el impacto del programa sobre los resultados en habilidades para la vida.
Malti y Noam, 2008
La mayor diferencia entre los diseos experimentales y no-experimentales es que los ltimos proporcionan al investigador un menor control sobre los factores externos durante las diferentes fases del proceso ver captulo 3. Lo ms importante, es que los diseos no-experimentales no permiten controlar muchos factores que pueden modificar los resultados. Por este motivo, no pueden descartar explicaciones
alternativas para estos cambios. Una relacin que se perciba entre la aplicacin del programa y los cambios en los resultados puede no ser lo que parece debido a variables que no se han tenido en cuenta. Incluso aunque se empleen mtodos estadsticos para recopilar los datos a comparar suele resultar complicado analizar los datos debido a su complejidad y a que son difcilmente generalizables.
| 81
DISEOS DE ESTUDIO
Por otra parte, los diseos no-experimentales tienen en cuenta las caractersticas individuales del programa y el contexto especfico en el que se lleva a cabo la intervencin. Por ejemplo, la evaluacin de un estudio de una intervencin en profundidad de un nmero reducido de participantes en un contexto poco comn puede ofrecer informacin importante sobre por qu algunas estrategias funcionan y otras no y as servir de base para el desarrollo del programa. Por este motivo, pueden ofrecer informacin detallada sobre los factores que pueden afectar al impacto del programa, sobre lo qu funcion y por qu funcion. Por lo tanto, se trata de algo ms que de una mera caja negra de evaluaciones de resultados. Los dos diseos no-experimentales ms comunes son, una vez ms, el pretest-postest y el slo postest. el diseo pretest-postest compara los resultados del grupo de intervencin antes y despus de la implementacin de la intervencin y analiza los cambios observados en las habilidades para la vida que sean importantes estadsticamente. Normalmente, las habilidades para la vida se miden con escalas psicolgicas con un nivel de fiabilidad apropiado, se incluyen diferentes tipos de informantes (por ejemplo, participantes, profesores, padres, observaciones) y se utiliza una combinacin de mtodos cuantitativos y cualitativos (como cuestionarios, entrevistas y
observaciones). Los cambios observados a travs del uso de este diseo no pueden ser atribuidos causalmente a la intervencin del programa. en el diseo slo postest, los resultados se miden despus de haber finalizado la intervencin sobre habilidades para la vida. Con este diseo, a diferencia de cuando se emplea en experimentos y cuasi-experimentos, no se miden los cambios en los resultados ni la diferencia entre la puntuacin obtenida por el grupo de intervencin y el grupo de comparacin. Por ello, estos diseos suelen ser recomendables slo para medir las caractersticas de un programa o para ofrecer datos para una lnea de base para informar nuevos diseos de programa. Como medidores del impacto de un programa resultan poco slidos. en resumen, los diseos no-experimentales suelen ser peores que los diseos experimentales y cuasi-experimentales a la hora de estimar el impacto total de un programa sobre habilidades para la vida porque existen muchas amenazas para su validez que resultan incontrolables. Por ello, los diseos no-experimentales tienen la carga de demostrar lo contrario de alguna manera, ante el eventual escepticismo acerca de la validez de las explicaciones alternativas sobre los resultados o los cambios en los resultados. La tabla 12 resume las principales caractersticas de los diseos no-experimentales.
VISIN GENERAL DE ESTUDIOS NO-EXPERIMENTALES

Estudios no-experimentales Descripcin Diseos Evaluacin de las habilidades para la vida Implementacin antes y despus del programa Implementacin despus del programa Evaluacin de impacto Prueba cambios en la puntuacin por su envergadura Fortalezas
tabla 12
Desafos
No existe grupo de comparacin o grupo de control
Pretest-postest
Puede detectar cambios en los resultados No presenta fortalezas para medir el impacto
resulta difcil identificar el impacto del programa No puede medir los cambios en los resultados a lo largo del tiempo
Slo postest
82 |
DISEOS DE ESTUDIO
COMENTARIOS FINALES
Se ha discutido ampliamente sobre el enfoque metodolgico ms apropiado para llevar a cabo una evaluacin de impacto. Ha quedado claro que no existe una regla de oro para evaluar el impacto de un programa de habilidades para la vida orientado a los jvenes. en cambio, se ha dejado claro que una teora del cambio convincente, el rigor y la diversidad metodolgica, un anlisis razonable de la relacin coste-beneficio y las cuestiones ticas son factores importantes que hay que tener en cuenta a la hora de escoger un enfoque para disear una evaluacin de impacto. existen dos puntos de vista diferentes sobre lo que se consideran buenas prcticas en las evaluaciones de impacto (Hawe, Shiell y riley, 2004). Un grupo argumenta que los diseos experimentales y aleatorios son los nicos mtodos fiables para determinar el impacto ya que tan slo estos procedimientos son capaces de explicar la variedad de factores que provocan los cambios en las habilidades para la vida, aparte de la propia intervencin. el otro grupo afirma que la aleatoriedad que se requiere para utilizar el primer enfoque suele ser inapropiada porque a) las intervenciones llevadas a cabo en diferentes lugares deben ser estandarizadas y/o b) la aleatoriedad no resulta viable en contextos de la vida real, especialmente, con grupos de alto riesgo y/o programas que hay que llevar a cabo en contextos que suponen un desafo. Por lo tanto, concluyen que los experimentos no son mejores que los no-experimentos en cuanto a la obtencin de conocimientos veraces (Deaton, 2009, 2010). A pesar de este debate y del hecho de que cualquier evaluacin de impacto tiene que ser diseada de forma individual y debe tener en cuenta las caractersticas especficas y contextuales de los programas sobre habilidades para
la vida y las particularidades de la poblacin objeto de estudio (Jiang, Pepler y Yao, 2010), existe el consenso de que una evaluacin de impacto satisfactoria debe demostrar causalidad. es decir, los cambios observados en las habilidades para la vida tienen que ser atribuibles al programa. Para alcanzar este objetivo hace falta una teora del cambio que cuente con supuestos demostrables (es decir, cmo pronostica la intervencin los cambios en los resultados esperados). Hay que tener en cuenta que la simple demostracin del impacto no es suficiente para los financiadores o los responsables de poltica. Lo ideal es que los ratios costeefectividad y coste-beneficio tambin sean evaluados (Cunningham, Cohan, Naudeau y McGinnis, 2008a, 2008b). La tabla 13 resume las caractersticas clave de los diferentes diseos de investigacin.
| 83
DISEOS DE ESTUDIO
RESUMEN DE LOS DISEOS DE INVESTIGACIN PARA EVALUACIONES DE IMPACTO

DISEO DE INVESTIGACIN
tabla 13
Experimental Caractersticas evaluacin del impacto (diseo pretest-postest) Grupo de control asignado de forma aleatoria Diferencias en los cambios de la puntuacin de habilidades para la vida obtenida por el grupo experimental y el grupo de control Control de muchas amenazas para la validez
Cuasi-experimental Grupo de comparacin asignado por similitud Diferencias en los cambios de la puntuacin de habilidades para la vida obtenida por el grupo experimental y el grupo de control La asignacin por similitud puede resultar ms sencilla o ms apropiada que la asignacin aleatoria La similitud no es siempre posible; puede ser muy exigente en cuanto a costes y recursos
No-experimental No existe grupo de comparacin o grupo de control Prueba cambios en la puntuacin por su envergadura
Fortalezas
Puede aplicarse en situaciones en que las tcnicas (cuasi-)experimentales no resultan apropiadas, son poco ticas y/o imposibles Limitado control de muchas amenazas para la validez
Desafos
La aleatoriedad no es siempre posible; muy exigente en cuanto a costes y recursos
84 |
APLICABILIDAD DE LAS EVALUACIONES DE IMPACTO
AP LICAB I LI DAD DE LAS E VALUACION E S DE I M PACTO A P R OYECTOS DE LOS SOCIOS DE I NTE RVE NCIN DE LA F U N DACIN JACOB S
Las evaluaciones de impacto ofrecen el potencial de generar pruebas fiables que son esenciales para comprender cmo funcionan los programas de habilidades para la vida orientados a los jvenes y cmo contribuyen a provocar cambios reales en sus habilidades para la vida. Por ello, las evaluaciones de impacto son especialmente tiles para ofrecer pruebas sobre proyectos cuyo objetivo es influir sobre las polticas pblicas y los responsables polticos y que se quieran ampliar a gran escala. No cabe ninguna duda de que las evaluaciones de impacto rigurosas como las que utilizan pruebas aleatorias controladas son clave para proporcionar la base de conocimiento necesaria que exigen los responsables polticos para escoger e implementar los proyectos que tengan ms xito y que resulten ms rentables. A pesar de que se considera que una aleatorizacin adecuada es un componente fundamental de cualquier evaluacin de impacto rigurosa que tenga el potencial de proporcionar el tipo de evidencias necesarias para avanzar en el campo de los estudios de evaluacin, estos estudios son realmente complejos y requieren mucho tiempo y una gran cantidad de recursos. esto supone que el uso de tales diseos en los proyectos de los socios de intervencin de la Fundacin Jacobs slo tiene sentido y es realista en determinados casos. Aproximaciones de evaluacin cuasi-experimental y no-experimental resultan importantes alternativas a los diseos experimentales aleatorios para estudios sobre evaluaciones de impacto y deben ser tambin tenidos en cuenta. Ha quedado claro que documentar cambios requiere un enfoque pretest-
postest de los resultados clave de habilidades para la vida y que este enfoque es recomendable para proyectos de los socios de la Fundacin Jacobs. Por otra parte, el grupo de control y el grupo de comparacin necesarios para los diseos experimentales y cuasi-experimentales suelen ser, por diversos motivos, inviables. Por lo tanto, no son especialmente recomendables para los proyectos de los colaboradores de la Fundacin Jacobs. Normalmente, los diseos no-experimentales suelen ser la mejor opcin. La mayora de las evaluaciones de impacto deben basarse en una combinacin de mtodos cuantitativos y cualitativos, que refuercen las conclusiones por triangulacin. Sin embargo, un nmero reducido de proyectos todava se basan en un nico mtodo para documentar los cambios. Los estudios sobre evaluaciones de impacto de los socios de la Fundacin Jacobs deben no slo analizar qu funciona y qu no, sino por qu funciona o por qu no. el hecho de responder a esta ltima pregunta requiere disear un seguimiento y una evaluacin sistemtica que incluya programar procedimientos lgicos, tericos, un modelo de cambio y procedimientos de seguimiento sistemtico. en resumen, los proyectos de los socios de la Fundacin Jacobs tendrn, en la mayora de los casos, que documentar que el programa objeto de estudio supone un impacto. Sin embargo, el rigor de la evaluacin de impacto podr variar en funcin de las caractersticas especficas del proyecto, al igual que en funcin de los requisitos y las circunstancias contextuales. Por ello, los socios de la Fundacin Jacobs deben analizar minuciosamente si resulta viable llevar a
| 85
REFERENCIAS
cabo una evaluacin de impacto de su programa de habilidades para la vida orientado a los jvenes. Las evaluaciones de impacto resultan tiles para evaluar modelos innovadores, intervenciones que han aportado pruebas de impacto slidas en un contexto determinado y programas piloto que se van a prolongar considerablemente (ver OCDe, 2010). Muchos de los proyectos de los socios de la Fundacin Jacobs que pretenden mejorar las habilidades para la vida cuentan con recursos limitados y son llevados a cabo en contextos que no permiten la implementacin sistemtica ni rigurosa de un diseo de evaluacin experimental. Adems, en ocasiones se plantear la cuestin de si resulta tico o no llevarla a cabo. Sin embargo, muchos ofrecen oportunidades realistas y viables para documentar el impacto. Obviamente, un diseo experimental no tiene por qu estar siempre dirigido necesariamente a medir el cambio en estos contextos. Ms bien, los diseos de estudios cuasi-experimentales y no-experimentales pueden y deben ser considerados enfoques alternativos para documentar el impacto de un programa. es decir, para documentar los cambios que se producen en los resultados de los programas sobre habilidades para la vida orientados a los jvenes. Si una evaluacin de impacto de un programa sobre habilidades para la vida resulta viable, el rigor de su diseo debe depender de los objetivos y de la lgica del proyecto, al igual que del contexto tico, pragmtico y econmico en que se lleve a cabo. Como mnimo, todos los proyectos de la Fundacin Jacobs deben ser evaluados utilizando el diseo pretest-postest.
R E F E R E NCIAS
Adamchak, S., Bond, K., MacLaren, L., Magnani, R., Nelson, K., & Seltzer, J. (2000). A guide to monitoring and evaluating adolescent reproductive health programs. retrieved from http://www.fhi.org/en/index.htm Biglan, A., Mrazek, P. J., Carnine, D., & Flay, B. R. (2003). the integration of research and practice in the prevention of youth problem behaviour. American Psychologist, 58 (67), 433440. Boruch, R. (1997). randomized experiments for planning and evaluation: A practical guide (Applied Social research Method Series, No. 44). thousand Oaks: Sage. Cook, T. D, & Campbell, D. T. (1979). Quasi-experimentation: Design and analysis for field settings. Chicago: rand McNally. Cunningham, W., Cohan, L. M., Naudeau, S., & McGinnis, L. (2008a). Supporting youth at risk: A policy toolkit for middle-income countries. the World Bank, Washington, DC, In Moving from wish list to action #3. the importance of evaluating youth interventions by Mattias K.A. Lundberg. Cunningham, W., Cohan, L. M., Naudeau, S., & McGinnis, L. (2008b). Supporting youth at risk: A policy toolkit for middle-income countries. the World Bank, Washington, DC. Moving from wish list to action #4. Selecting programs based on cost-effectiveness and cost-benefit analysis by Mattias K.A. Lundberg. DAC Evaluation Quality Standards (2010). Quality standards for development evaluation. retrieved from http:// nzaidtools.nzaid.govt.nz/evaluation-quality-standards-dacstandards Deaton, A. (2009). Instruments of development: randomization in the tropics, and the search for the elusive keys to economic development. Working Paper, National Bureau of economic research. retrieved from http://www.princeton. edu/~deaton/downloads/Instruments_of_Development.pdf Deaton, A. (2010). Instruments, randomization, and learning about development. Journal of economic Literature, 48, 424455. Domitrovich, C. E., & Greenberg, M. T. (2000). the study of implementation: Current findings from effective programs that prevent mental disorders in school-aged children. Journal of educational and Psychological Consultation, 11 (2), 193221. Durlak, J., & DuPre, E. (2008). Implementation matters: A review of research on the influence of implementation on program outcomes and the factors affecting implementation. American Journal of Community Psychology, 41 (3), 327350. Eisner, M., Malti, T., & Ribeaud, D. (in press). Large-scale criminological field experiments: the Zurich Project on the Development of Children. In S. Gadd, S. Karstedt & S. Messner (eds.), Sage Handbook of Criminological research Methods. Elliott, D.S., & Mihalic, S.F. (2004). Issues in disseminating and replicating effective prevention programs. Prevention Science, 5 (1), 4753. European Commission (2010). evaluation guidelines. retrieved from http://ec.europa.eu/europeaid/evaluation/ methodology/guidelines/gca_en.htm Flay, B.R., Biglan, A., Boruch, R., Castro, F., Gottfredson, D., Kellam, S., et al. (2005). Standards of evidence: Criteria for efficacy, effectiveness and dissemination. Prevention Science, 6 (3), 151175.
86 |
REFERENCIAS
Haviland, A. M., Nagin, D., & Rosenbaum, P. (2007). Combining propensity score matching and group-based trajectory analysis in an observational study. Psychological Methods, 12 (3), 247267. Hawe, P., Shiell, A., & Riley, T. (2004). Complex interventions: How out of control can a randomized controlled trial be? British Medical Journal, 328 (7455), 15611563. Heckman, J. (1979). Sample selection bias as a specification error. econometrica, 47, 931961. Heckman, J., & Richard Robb (1985). Alternative methods for evaluating the impact of interventions: An overview. Journal of econometrics, 30 (12), 239267. International Initiative for Impact Evaluation (2010). retrieved from http://www.3ieimpact.org/syntheticreviews/). Jiang, D., Pepler, D., & Yao, H. (2010). the effect of population heterogeneity on statistical power in the design and evaluation of interventions. International Journal of Behavioural Development, 34 (5), 473480. Leeuw, F., & Vaessen, J. (2009). Impact evaluations and development: NONIe guidance on impact evaluation. Washington, D.C.: World Bank. Malti, T., Ribeaud, D., & Eisner, D. (2010; under revision). the effects of two universal preventive interventions to reduce childrens externalizing behaviour: A cluster-randomized controlled trial. Malti, T., & Noam, G.G. (eds.) (2008). Where youth development meets mental health and education: the rALLY approach. New Directions for Youth Development, No. 120. Mattero, M., & Campbell-Patton, C. (2010). Measuring the impact of youth voluntary service programs. report. Washington, D.C.: World Bank. retrieved from http://go. worldbank.org/169GZ6W820. Rosenbaum, P., & Rubin, D. (1983). the central role of the propensity score in observational studies for causal effects. Biometrika, 70, 4155. OECD-DAC (2002). Glossary of key terms in evaluation and results-based management. OeCD: Paris. OECD (2010). Outline of principles of impact evaluation. retrieved from www.oecd.org/dataoecd/46/16/37671602.pdf Rohrbach, L. A., Grana, R., Sussman, S., & Valente, T. W. (2006). type II translation: transporting prevention interventions from research to real-world settings. evaluation and Health Professions, 29 (3), 302333. Rossi P. H., Lipsey M.W., & Freeman H.E. (2004). evaluation a systematic approach (7th ed.). thousand Oaks, CA: SAGe Publications. Royce, D., Thyer, B. A., & Padgett, D. K. (2010). Program evaluation: An introduction (5th edition). Belmont, CA: thomson. Sanson-Fisher, R. W., Bonevski, B., Green L. W., DEste, C. (2007). Limitations of the randomized controlled trial in evaluating population-based health interventions. American Journal of Preventive Medicine, 33, 155161. Shadish, W.R., Cook, T.D., & Campbell, D. T. (2002). experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton-Mifflin. Trochim, W. M. K. (2006). the research methods knowledge base. retrieved October 04, 2010 from http://www.socialresearchmethods.net/kb/index.php UNICEF (2004). UNICeF evaluation report standards. New York: UNICeF evaluation Office.
United Nations Development Program (UNDP) (2009). Handbook on planning, monitoring and evaluating for development results. retrieved from http://www.undp.org/ evaluation/handbook/Annex7.html United Nations Evaluation Group (UNeG) (2008). ethical guidelines for evaluation. retrieved from http://www.uneval.org/ search/index.jsp?q=ethical+guidelines. Victora, C. G., Habicht, J.-P., & Bryce, J. (2004). evidence-based public health: Moving beyond randomized trials. American Journal of Public Health, 94 (3), 400405. White, H. (2009). theory-based impact evaluation: Principles and practice. Working paper. New Delhi: International Initiative for Impact evaluation.
| 87
DIreCtrICeS
LISTADO DE TABLAS
LIST OF TEMPLATES
template template template template 1 2 3 4 Probar el indicador Probar el indicador tabla de actividad de anlisis de datos Muestra de esquema de un informe de evaluacin
88 |
WWW.JACOBSFOUNDATION.ORG

Seguimiento y Evaluación de Las Habilidades para La Vida Orientadas Al Desarrollo de La Juventud

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Seguimiento y Evaluación de Las Habilidades para La Vida Orientadas Al Desarrollo de La Juventud

Uploaded by

Copyright:

Available Formats

SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LA JUVENTUD

SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LA JUVENTUD

AGRADECIMIENTOS GLOSARIO DE TRMINOS CLAVE PRLOGO

CAPTULO 1: EL DESARROLLO DE HABILIDADES PARA LA VIDA ORIENTADAS A LOS JVENES

MARCOS DE HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES 16

GLOSARIO DE TRMINOS CLAVE

Casos y ejemplos de la vida real aportados por nuestros socios

GLOSARIO DE TRMINOS CLAVE1

Definicin de los principales conceptos, informacin y recomendaciones importantes

ejemplos y citas de nuestros colaboradores

GLOSARIO DE TRMINOS CLAVE

LA FUNDACIN JACOBS Y SU ENFOQUE EN HABILIDADES PARA LA VIDA

EL OBJETIVO DE ESTAS DIRECTRICES

EL RETO DE HACER SEGUIMIENTO Y EVALUACIN

Qu es eso que no sabes y que si supieses, supondra un gran avance?

CMO SE ELABORARON ESTAS DIRECTRICES

ESTRUCTURA DE LAS DIRECTRICES

Dr. Bernd ebersold, Director

INTRODUCCIN / EL DESARROLLO DE HABILIDADES PARA LA VIDA EN LA JUVENTUD

CAPtULO 1 EL DESARROLLO DE HABILIDADES PARA LA VIDA ORIENTADAS A LOS JVENES

E L DE SAR ROLLO DE HAB I LI DADE S PARA LA VI DA E N LA J UVE NTU D

QU SON LAS HABILIDADES PARA LA VIDA?

QU SON LAS HAB I LIDADE S PARA LA VI DA?

QU SON LAS HABILIDADES PARA LA VIDA?

QU SON LAS HABILIDADES PARA LA VIDA?

DEFINICIN DE HABILIDADES PARA LA VIDA EN LOS JVENES

QU SON LAS HABILIDADES PARA LA VIDA?

LAS PRINCIPALES DIMENSIONES DE LAS HABILIDADES PARA LA VIDA

QU SON LAS HABILIDADES PARA LA VIDA?

PRINCIPALES DIMENSIONES Y EJEMPLOS DE HABILIDADES PARA LA VIDA

Bsqueda de soluciones y autocontrol

Habilidades sociales y morales

* La calidad de cada una de estas habilidades depende del nivel de desarrollo.

QU SON LAS HABILIDADES PARA LA VIDA?

MARCOS DE HABILIDADES PARA LA VIDA ORIENTADOS AL DESARROLLO DE LA JUVENTUD

MARCOS DE HAB I LIDADE S PARA LA VI DA OR I E NTADOS AL DE SAR ROLLO DE LA J UVE NTU D

MARCO DE DESARROLLO POSITIVO DE LOS JVENES

MARCOS DE HABILIDADES PARA LA VIDA ORIENTADOS AL DESARROLLO DE LA JUVENTUD

MARCOS DE HABILIDADES PARA LA VIDA ORIENTADOS AL DESARROLLO DE LA JUVENTUD

EL MARCO DEL RIESGO DE DESARROLLO Y LA CAPACIDAD DE RESILIENCIA

MARCOS DE HABILIDADES PARA LA VIDA ORIENTADOS AL DESARROLLO DE LA JUVENTUD

MARCOS DE HABILIDADES PARA LA VIDA ORIENTADOS AL DESARROLLO DE LA JUVENTUD

MARCOS DE HABILIDADES PARA LA VIDA ORIENTADOS AL DESARROLLO DE LA JUVENTUD

LECCION E S APR E N DIDAS: I M PLICACION E S SOB R E S EG U I M I E NTO Y EVALUACIN

RESUMEN Y FUTURAS DIRECCIONES

R E S U M E N Y FUTU RAS DI R ECCION E S

RESUMEN Y FUTURAS DIRECCIONES

DIMENSIONES DE LAS HABILIDADES PARA LA VIDA

Organizacin Panamericana de la Salud

International Youth Foundation (IYF)

QU SIGNIFICA HABILIDADES PARA LA VIDA EN TU PROYECTO?

QU SIGNIFICA HABILIDADES PARA LA VIDA EN TU PROYECTO?

QU SIGNIFICA HABILIDADES PARA LA VIDA EN TU PROYECTO?

SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA

SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA

SEGUMIENTO Y EVALUACIN DURANTE LA PLANIFICACIN DEL PROYECTO

SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA

SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA

INDICADORES DE HABILIDADES PARA LA VIDA

SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA

SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA

HABILIDADES INTERPERSONALES Y CONTRIBUCIONES

establecimiento y mantenimiento de relaciones