Informe Final Del Estudio Piloto de Paraguay - Noviembre 2010 - Programa de Evaluación y Monitoreo de La Alfabetización - Portalguarani

www.portalguarani.
com
www.portalguarani.com
INFORME FINAL DEL ESTUDIO PILOTO DE PARAGUAY PROGRAMA DE EVALUACIN Y MONITOREO DE LA ALFABETIZACIN (LAMP)
Paraguay, Noviembre 2010
Con el apoyo de:
Ficha Tcnica EQUIPO DE ELABORACIN Ministerio de Educacin y Cultura Dalila Zarza Paredes, Directora de Estadstica Educativa (DIEE/DGPE) Graciela Sosa, Directora de Evaluacin y Calidad Educativa (DECE/DGPE) Nidia Glavinich, Jefa del Departamento de Planificacin, Investigacin, Innovacin y Evaluacin de la Direccin General de Educacin Permanente (DGEP) Ada Lina Guerrero Piris, Tcnica de la Direccin de Estadstica Educativa (DIEE/DGPE) Arnaldo Ortiz, Tcnico de la Direccin de Evaluacin de Calidad Educativa (DECE/DGPE) Edgar Osvaldo Brizuela Vera, Jefe de departamento de Diseo Curricular (DGCEO) Lidia Manuela Fabio de Garay, Jefa de departamento de apoyo a la implementacin curricular en medios comunicativos (DGCEO) Oscar Gaona, Asistente Tcnico en Investigacin (MEC-OEI) Organizacin de Estados Iberoamericanos (OEI) Instituto para el Desarrollo y la Innovacin Educativa (IDIE) Federico Barrios Sosa, Coordinador del Equipo Tcnico Nacional LAMP Nelly Briet, Asistente Tcnica en Investigacin Correccin de Estilo Mara Gilda Vzquez, Tcnica de la Direccin de Estadstica Educativa (DIEE/DGPE)
Edicin Marcela Capra, Departamento de Comunicacin (OEI) Direccin General de Estadstica, Encuestas y Censos ,Ministerio de Educacin y Cultura y Organizacin de Estados Iberoamericanos. Noviembre, 2010
AUTORIDADES Ministerio de Educacin y Cultura (MEC) Luis Alberto Riart Montaner, Ministro Diana Serafini Fernndez, Viceministra Viceministerio de Educacin para la Gestin Educativa Hctor Valdez Al, Viceministro Viceministerio de Educacin para el Desarrollo Educativo Mirna Vera Notario, Directora General Direccin General de Planificacin Educativa (DGPE) Mara de la Paz Bareiro Dorroum, Directora General Direccin General de Educacin Permanente (DGEP) Organizacin de Estados Iberoamericanos (OEI) Luis Scasso, Director General de Cooperacin y Educacin Permanente Direccin General de Estadstica, Encuestas y Censos (DGEEC) Zulma Sosa, Directora General Direccin General de Estadstica, Encuestas y Censos
ndice
Presentacin ................................................................................................. 11 RESUMEN EJECUTIVO ................................................................................... 13 INTRODUCCIN ............................................................................... 15 1. 2. 2.1. 2.2. 2.2.1. 2.2.2. 2.2.3. 2.2.4. 2.2.5. 2.3. MARCO CONCEPTUAL Y METODOLGICO DEL LAMP .......... 19 ESTUDIO PILOTO LAMP EN PARAGUAY ............................... 25 Objetivos del estudio Piloto ................................................... 25 Poblacin y Muestra .............................................................. 26 Consideraciones sobre poblacin objetivo ........................... 26 Consideraciones sobre unidades muestrales ........................ 26 Marco muestral utilizado.................................................... 27 Tamao de la muestra ...................................................... 28 Diseo de la muestra ........................................................ 28 Adaptacin y revisin de instrumentos y manuales LAMP ......... 30
2.3.1. Conformacin y capacitacin de los equipos de trabajo de adaptacin .................................................................................... 31 2.3.2. 2.3.3. 2.3.4. 2.3.5. 2.4. 2.4.1. Proceso de adaptacin de los instrumentos ......................... 31 Talleres de adaptacin ...................................................... 33 Aspectos positivos del proceso de adaptacin ...................... 36 Dificultades encontradas durante el proceso de adaptacin .. 37 Capacitacin ........................................................................ 37 Capacitacin a supervisores y encuestadores ...................... 37
2.4.1.1. Objetivos generales y organizacin de las capacitaciones a supervisores y encuestadores ............................................................... 38 2.4.1.2. 2.4.2. 2.4.3. 2.4.4. 2.5. 2.5.1. 2.5.2. Desarrollo de la capacitacin a supervisores y encuestadores 39 Capacitacin a correctores ................................................. 40 Capacitacin a digitadores ................................................. 42 Capacitacin a codificadores ............................................. 42 Recoleccin de datos ............................................................ 43 Organizacin y logstica del trabajo de campo ..................... 44 Estrategia para minimizar la tasa de no respuesta ............... 46
2.5.3. 2.5.4. 2.6. 2.6.1. 2.6.2. 2.7. 2.8. 2.8.1. 2.8.2. 2.8.3. 2.8.4. 2.8.5. 2.9. 2.9.1. Desarrollo del trabajo de campo......................................... 48 Entrevista e instrumentos .................................................. 50 Asignacin de puntajes ......................................................... 58 Procedimientos para la correccin de instrumentos .............. 59 Informes comparativos de asignacin de puntajes ............... 63 Codificacin del cuestionario de antecedentes ......................... 65 Procesamiento de datos ........................................................ 66 Recepcin y organizacin de los cuestionarios...66 Captura de datos .............................................................. 66 Descripcin de la base de datos y registros ......................... 67 Verificacin de la captura de datos ..................................... 67 Validacin y consistencia ................................................... 67 Control de calidad ................................................................. 68 Control de calidad de la adaptacin de los instrumentos ....... 68
2.9.2. Control de calidad de la capacitacin a encuestadores y supervisores ...................................................................................... 68 2.9.3. 2.9.4. 2.9.5. 2.9.5.1. 2.9.5.2. 2.10. 3. 3.1. 3.2. 3.3. 3.3.1. 3.3.2. 3.3.3. 3.3.4. 3.3.5. principal 3.3.6. 4. 4.1. 4.2. Control de calidad de la muestra ........................................ 68 Control de calidad de recoleccin de datos .......................... 69 Control de calidad del procesamiento de datos .................... 70 Correccin y codificacin ................................................... 70 Programa de consistencia de datos de los instrumentos ...... 70 Estudio etnogrfico ............................................................... 71 PRINCIPALES RESULTADOS ................................................. 72 Evaluacin del marco muestral ............................................... 72 Funcionamiento del CA y de los instrumentos cognitivos .......... 76 Capacitaciones, recoleccin y procesamiento de datos ............. 78 Capacitaciones ................................................................. 78 Recoleccin de datos ........................................................ 79 Procesamiento de los datos ............................................... 80 Aspectos relacionados al costo ........................................... 80 Capacidades nacionales para la implementacin de la encuesta .81 Difusin de los resultados de la prueba piloto ...................... 82 SUGERENCIAS ....................................................................... 83 Poblacin y muestra ............................................................. 83 Adaptacin ........................................................................... 84
4.3. 4.3.1. 4.3.2. 4.3.3. 4.4. 4.4.1. 4.4.2. 4.4.2.1. 4.4.2.2. 4.5. 4.6. Capacitacin ........................................................................ 84 Personal de campo ........................................................... 84 Correctores ...................................................................... 85 Digitadores y codificadores ................................................ 86 Recoleccin de datos ............................................................ 86 Operativo de campo.......................................................... 86 Entrevista e instrumentos .................................................. 87 Secuencia de la entrevista ................................................. 87 Instrumentos ................................................................... 87 Codificacin ......................................................................... 89 Procesamiento de datos ........................................................ 89
BIBLIOGRAFA ................................................................................. 90
ndice de tablas y anexos

TABLAS Tabla 1. Muestra del estudio piloto.30 Tabla 2. Nmero y porcentaje de consistencias e inconsistencias entre correctores..64 Tabla 3. Resultado final de la muestra por nivel educativo segn Mdulos A y B y Cuadernillos 1 y 2 ....72 Tabla 4. Cantidad de entrevistas segn cdigo de situacin final en la encuesta73 Tabla 5. Distribucin de encuestados por sexo y edad 75 ANEXOS Anexo A. Perfiles y responsabilidades de supervisores y encuestadores92 Anexo B. Tiempo de aplicacin de instrumentos segn cdigo de situacin final.96 Anexo C. Perfiles y responsabilidades de correctores..............98 Anexo D. Duracin media de la entrevista..............100
Agradecimientos
La concrecin del estudio piloto del Programa de Evaluacin y Monitoreo de la Alfabetizacin (LAMP), reflejada en el presente Informe, ha sido factible gracias al trabajo interinstitucional y multidisciplinario de los directivos, funcionarios y tcnicos de las instituciones nacionales responsables de coordinar el estudio, quienes aportaron su conocimiento, experiencia y tiempo, sumados al entusiasmo y compromiso, para llevar a cabo esta experiencia. Al apoyo y orientaciones otorgados por los Especialistas del Instituto de Estadstica de la Unesco a lo largo de todo el desarrollo del proceso. Especialmente a las personas encuestadas por brindar su mejor predisposicin y tiempo para la aplicacin de las entrevistas del LAMP en Paraguay.
LISTA DE SIGLAS Y ACRNIMOS UTILIZADOS CINE: Clasificacin Internacional Normalizada de la Educacin CIUO: Clasificacin Internacional Uniforme de Ocupaciones CIIU: Clasificacin Internacional Industrial Uniforme CMI: Comisin Mixta Interinstitucional DECE: Direccin de Evaluacin de la Calidad Educativa DGPE: Direccin General de Planificacin Educativa DGEEC: Direccin General de Estadstica, Encuestas y Censos DGEP: Direccin General de Educacin Permanente DIEE: Direccin de Estadstica Educativa EEB: Educacin Escolar Bsica EJA: Educacin de Jvenes y Adultos EPH: Encuesta Permanente de Hogares ETN: Equipo Tcnico Nacional IDIE: Instituto para el Desarrollo y la Innovacin Educativa INP: Informe Nacional de Planeacin IPG: ndice de Priorizacin Geogrfica IRL: International Record Layout, Formato Internacional de Registros LAMP: Programa de Evaluacin y Monitoreo de la Alfabetizacin MEC: Ministerio de Educacin y Cultura MoU: Memorndum de Entendimiento Mercosur: Mercado Comn del Sur NBI: Necesidades Bsicas Insatisfechas OEI: Organizacin de Estados Iberoamericanos para la Educacin, la Ciencia y la Cultura PAPI: Entrevista Papel y Lpiz PDN: Prosa, Documentos y Nmeros PIA: Plan Iberoamericano de Alfabetizacin y Educacin Bsica de Personas Jvenes y Adultas RI: Regla de Interrupcin UIS: Instituto de Estadstica de la Unesco Unesco: Organizacin de las Naciones Unidas para la Educacin, la Ciencia y la Cultura USM: Unidad Secundaria de Muestreo
Nota: En el presente documento, se utiliza el gnero masculino sin implicancias discriminatorias y con el solo propsito de facilitar la lectura.
Presentacin La cooperacin en materia educativa requiere, entre otros aspectos, conocer, valorar, registrar, evaluar y sistematizar diversas experiencias que dan respuesta a mltiples necesidades; as como tambin profundizar el estudio de los campos del conocimiento. De este modo y en cumplimiento de los objetivos Institucionales de la OEI, del Plan Iberoamericano de Alfabetizacin y en el marco de Metas Educativas 2021: La educacin que queremos para la generacin del Bicentenario, el Instituto para el Desarrollo y la Innovacin Educativa (IDIE MERCOSUR), especializado en alfabetizacin y educacin de personas jvenes y adultas, con Sede en Asuncin realiza desde 2008 estudios, investigaciones y sistematizaciones destinadas a identificar buenas prcticas, as como a favorecer el intercambio de experiencias entre los pases del Mercosur. Si bien todas las publicaciones y actividades del IDIE se encuentran en su pgina web www.oei.org.py/idie, valoramos la necesidad de establecer una lnea de publicaciones impresas Coleccin IDIE MERCOSUR que tengo el placer de presentar, cuyo tamao y diseo favoreciera su uso como elemento de estudio, trabajo o consulta. Para el desarrollo de las investigaciones y su publicacin contamos con el inestimable apoyo del Ministerio de Educacin de Paraguay y del Ministerio de Educacin de Espaa, as como con la colaboracin de los Ministerios de Educacin de los pases del Mercosur. Agradecemos a todos quienes apoyan esta iniciativa y deseamos que estos recursos sean de vuestro inters y utilidad para mejorar la educacin de nuestros jvenes y adultos. Luis Scasso
Director General Cooperacin y Educacin Permanente Organizacin de Estados Iberoamericanos
IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa
11
12
RESUMEN EJECUTIVO
El Programa de Monitoreo y Evaluacin de la Alfabetizacin (LAMP) propone una medicin directa de los niveles de alfabetismo de la poblacin joven y adulta de 15 aos y ms, y se realiza a travs de la aplicacin de un cuestionario de contexto y de pruebas cognitivas a un miembro seleccionado aleatoriamente dentro de un hogar. Las viviendas y los hogares, medios para llegar a los individuos, son tambin elegidos de forma aleatoria. La necesidad de contar con datos vlidos, confiables y pertinentes en el contexto sociocultural nacional y comparables en el plano internacional para el desarrollo, ejecucin, monitoreo y evaluacin de polticas y programas no solo educativos sino tambin intersectoriales, ha llevado al Ministerio de Educacin y Cultura (MEC) conjuntamente con la cooperacin de la Organizacin de Estados Iberoamericanos para la Educacin, la Ciencia y la Cultura y de la Direccin General de Estadstica, Encuestas y Censos, a la implementacin del LAMP. En el primer semestre del ao 2010, se realiz el Estudio Piloto LAMP en Paraguay, cuyas metas principales han sido probar en terreno las diferentes etapas de la encuesta, la batera de instrumentos proporcionados por el Instituto de Estadstica de la Unesco (UIS) y adaptados al contexto local por los equipos tcnicos nacionales, ensayar tanto el proceso de capacitacin como la capacidad operacional instalada en trminos de recursos humanos, logstica, tiempo, costo, entre otros aspectos, y analizar a lo largo del estudio piloto las modificaciones necesarias y pertinentes para garantizar la calidad de la aplicacin de la encuesta principal y consecuentemente de sus resultados. Para llevar adelante el estudio piloto, se han desarrollado procesos fundamentales como la definicin de la poblacin y de la muestra; la adaptacin y revisin de los instrumentos y manuales LAMP; la capacitacin del personal tcnico involucrado; la recoleccin de datos; la asignacin de puntajes; la crtica y codificacin del Cuestionario de Antecedentes; el procesamiento de datos; el control de calidad; y finalmente la implementacin del estudio etnogrfico. El operativo de campo se llev a cabo del 17 de marzo al 9 de abril de 2010 en los distritos de Juan de Mena, Jos Falcn, Itaugu, Limpio, Asuncin, It, San Lorenzo y Villa Elisa. Todo el trabajo de campo fue monitoreado por la Coordinacin Tcnica, con el asesoramiento de especialistas del UIS Montreal, a efectos de asegurar el cumplimiento de las normas y pautas estandarizadas y definidas en el marco del LAMP.
IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa 13
Finalmente, es preciso poner nfasis en los logros de la encuesta piloto que permitieron dimensionar los esfuerzos y ajustes necesarios para la implementacin exitosa de la encuesta principal. La implementacin de cada etapa permiti derivar los siguientes hallazgos: La tasa de no respuesta constituida por rechazos, casos incompletos, interrupciones, etc. fue mayor a la esperada, particularmente en los estratos socioeconmicos altos. Asimismo, el diseo y tamao de la muestra sern redefinidos para la implementacin del estudio principal. Los datos del estudio piloto muestran una sobrerrepresentacin de las mujeres, situacin que deber ser monitoreada sistemticamente en la encuesta principal para evitar sesgos en los resultados finales. Los instrumentos cognitivos tendrn ajustes mnimos conforme a los resultados del estudio piloto. La adaptacin del Cuestionario de Antecedentes constituye un reto para el equipo tcnico nacional que revisar su estructura as como su adecuacin al contexto local. La ampliacin de la capacitacin a todos los actores involucrados representa un desafo de primer orden por su impacto directo en la recoleccin y procesamiento de datos (acopio, codificacin, correccin, digitacin), as como el reclutamiento y seleccin de los recursos humanos para las diversas funciones. En general, la duracin promedio de la entrevista tuvo una extensin mayor a lo planificado, lo que incidi negativamente en algunos aspectos de la aplicacin de las pruebas. Algunos procedimientos puestos a prueba necesitan ser ajustados y fortalecidos para garantizar el buen desarrollo de todas las etapas y asegurar la cobertura, validez y precisin de la investigacin. El presupuesto de la Encuesta Principal necesita ser revisado y adecuado teniendo en cuenta las diversas situaciones emergentes en el trabajo de campo del estudio piloto que permiti dimensionar en su justa medida la envergadura del operativo. Se destaca como valor agregado el trabajo interinstitucional e interdisciplinario llevado a cabo durante el estudio, promoviendo el trabajo cooperativo. La experiencia piloto instal capacidades tcnicas en las instituciones involucradas en diferentes reas de investigacin, que sern aprovechadas en la aplicacin principal. Palabras claves: Estudio piloto, Paraguay, Programa de Monitoreo y Evaluacin de la Alfabetizacin (LAMP).
14
INTRODUCCIN
Antecedentes y fundamentacin de la participacin de Paraguay en el LAMP En marzo de 2007 se suscribi la Ayuda Memoria entre el Gobierno de la Repblica del Paraguay y la Unesco, destacndose principalmente la necesidad de contar con la cooperacin de ese organismo para dotar al pas de sistemas de informacin que permitan mejorar la planificacin y el monitoreo de polticas ms efectivas de Educacin de Jvenes y Adultos (EJA), y adems la posibilidad de la participacin de Paraguay en la implementacin del Programa de Evaluacin y Monitoreo de la Alfabetizacin (LAMP). De esta manera se inici la etapa exploratoria para la implementacin del LAMP en Paraguay. Posteriormente, en diciembre de 2007, el Ministerio de Educacin y Cultura de Paraguay declar oficialmente su inters para la implementacin del LAMP. En julio de 2008 se organiz en Asuncin una reunin tcnica con la presencia del Especialista Principal del LAMP. El 6 de octubre de 2008 se firm el Convenio Especfico de Cooperacin Interinstitucional entre el Ministerio de Educacin y Cultura (MEC), la Organizacin de Estados Iberoamericanos para la Educacin, la Ciencia y la Cultura (OEI) y la Direccin General de Estadstica, Encuestas y Censos (DGEEC), para la implementacin del Programa de Evaluacin y Monitoreo de la Alfabetizacin. En el marco del Plan Iberoamericano de Alfabetizacin y Educacin de Jvenes y Adultos 2007-2015 (PIA) con apoyo de la Agencia Espaola de Cooperacin Internacional y de Desarrollo (AECID), la OEI ofreci un apoyo financiero y tcnico para la realizacin del estudio piloto del LAMP, y el MEC y la DGEEC se comprometieron a aportar las contrapartidas nacionales respectivas. Asimismo, se constituyeron formalmente la Comisin Mixta Interinstitucional (CMI) y el Equipo Tcnico Nacional (ETN), responsables de la elaboracin del Informe Nacional de Planeacin y de la ejecucin de las actividades del estudio, integrado por representantes de cada una de las instituciones mencionadas. La participacin de Paraguay en el LAMP se formaliz con la aprobacin del Informe Nacional de Planeacin, en agosto de 2009, y la suscripcin del
15
Memorndum de Entendimiento (MoU) entre el Instituto de Estadstica de la Unesco (UIS) y la Repblica del Paraguay. El actual sistema de medicin de la alfabetizacin en Paraguay presenta limitaciones pues, por un lado, no da cuenta de las competencias en lectura de las personas, ya que se sustenta en indicadores indirectos 1. Por otro lado, la informacin disponible actualmente es insuficiente para monitorear y evaluar las polticas educativas implementadas. Por ello, el MEC consider indispensable llevar a cabo un estudio de medicin directa de las competencias en alfabetismo en la poblacin joven y adulta, para disponer de datos confiables sobre la distribucin real de las competencias en lectura y manejo de nmeros, con vistas a disear polticas de educacin permanente ms pertinentes, revisar y ajustar la oferta educativa del sistema escolar, cuyos dficits configuran el teln de fondo del problema de los bajos niveles de alfabetismo acumulado. Mediante la informacin obtenida a travs del estudio LAMP se pretende contribuir a la definicin de planes, programas y proyectos sociales e intersectoriales ms pertinentes, que posibiliten mejorar la calidad de vida de la poblacin del pas. Trabajo interinstitucional El proceso de implementacin de la prueba piloto cont con una coordinacin nacional encargada de las actividades del LAMP y se constituy un Equipo Tcnico Nacional (ETN), responsable de la coordinacin tcnica de las actividades de la prueba piloto, integrado por representantes del MEC, DGEEC y OEI. Durante todo el proceso, el ETN present los alcances, las dificultades y las propuestas tcnicas a la Comisin Mixta Interinstitucional (CMI), instancia constituida por las mximas autoridades de las instituciones involucradas en la implementacin del LAMP, responsable del seguimiento de las actividades del ETN as como de la aprobacin de las propuestas tcnicas acordadas entre las instituciones, o de tomar decisiones respecto a las modificaciones correspondientes. Se constituyeron equipos tcnicos ad hoc integrados por funcionarios de las diferentes instituciones involucradas, principalmente de las dependencias del MEC (Direccin General de Planificacin Educativa, Direccin General de Educacin Permanente, Direccin General de Currculum, Orientacin y Evaluacin Educativa) para las diferentes etapas del proceso. Vale la pena destacar que en el marco de todo este proceso, el trabajo interinstitucional e interdisciplinario llevado a cabo constituy un valor
1
Actualmente, en Paraguay, se determina si una persona es alfabeta o analfabeta a partir de la autodeclaracin y en funcin de su nivel educativo. IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa 16
agregado teniendo en cuenta que contribuy a fomentar el desarrollo de actividades de manera cooperativa complementando criterios y estrategias a partir de aportes de cada integrante, lo cual enriqueci esta experiencia. Por otro lado, el trabajo interinstitucional represent un desafo importante para las instituciones involucradas considerando la necesidad de poner a disposicin, a tiempo completo, los recursos humanos comprometidos en las actividades del LAMP. Situacin sociolingstica de Paraguay La situacin sociolingstica de Paraguay se caracteriza esencialmente por un contacto histrico de las dos lenguas oficiales del pas, el castellano y el guaran, establecindose entre ambas una constante interaccin en la vida cotidiana de las personas, especialmente en el mbito de la comunicacin oral. En Paraguay se han acuado dos conceptos lingsticos en guaran para explicar fenmenos usuales que se presentan debido al contacto de sus dos lenguas oficiales: jopara y jehea. En el uso comn de estos dos trminos guaranes, el primero hace alusin literalmente a una mezcla donde se observa heterogeneidad; la segunda, a una mezcla mucho ms homognea (Ministerio de Educacin y Cultura, 2006). Sin embargo, en el plano escrito, esta realidad presenta diferencias importantes. En primer lugar, se evidencia que la mayor parte de los materiales escritos formales y no formales disponibles se encuentran en castellano y que a pesar de los esfuerzos realizados por el sistema educativo paraguayo en los ltimos aos, existe muy poco uso del guaran en forma escrita, por lo que la poblacin en general utiliza escasamente los cdigos escritos de esta lengua en su vida cotidiana. En este contexto, Paraguay aplic la encuesta LAMP en idioma castellano, aunque el guaran fue utilizado para establecer los primeros contactos y minimizar los casos de rechazo, alentar al encuestado durante la aplicacin de la prueba; y en algunos casos para administrar el Cuestionario de Antecedentes (nico instrumento para el que se consider necesario realizar una traduccin al guaran). Estudio etnogrfico Las particularidades socioculturales de Paraguay hacen que la recoleccin de los datos de la encuesta LAMP en este contexto difiera cualitativamente de la realizada en otros pases. El UIS, teniendo presente la importancia de considerar las caractersticas socioculturales de cada pas, ha recomendado
incluir un estudio etnogrfico durante el desarrollo de la recoleccin de datos. Se realiz un estudio etnogrfico del trabajo de campo de la Encuesta LAMP en su etapa piloto, cuyo objetivo consisti en acompaar, observar y analizar la experiencia de aplicacin de la prueba en diferentes contextos y la relacin entre entrevistador y entrevistado (Guttandin, Riquelme, 2009), con el fin de aportar una mirada cualitativa al proceso de recoleccin de datos, aspecto fundamental para poder evaluar el alcance de la encuesta LAMP en el contexto de Paraguay. Los resultados obtenidos forman parte de un informe etnogrfico independiente, sin embargo, es mencionado brevemente en el captulo 2 Estudio Piloto en Paraguay atendiendo que forma parte integral del estudio.
18
1. MARCO CONCEPTUAL Y METODOLGICO DEL LAMP2 Las sociedades contemporneas tienen la visin de la educacin como un derecho humano fundamental, desde que se proclamara formalmente la Declaracin Universal de los Derechos Humanos (1948) tras la devastadora experiencia de la Segunda Guerra Mundial. A partir de entonces, el alcance y las especificaciones de este derecho no cesaron de crecer, basados en sucesivas redefiniciones de la problemtica educativa. En este sentido, el concepto de educacin propugnado por la UNESCO se basa en los cuatro pilares de la educacin presentados en 1996 por el Grupo de Trabajo sobre Educacin para el Siglo XXI (UNESCO, 1996), vale decir, que la educacin cumple una funcin esencial en el desarrollo de la identidad personal (aprender a ser), dentro de un entorno colectivo donde los seres humanos comparten sus experiencias de vida con otros (aprender a vivir juntos), mientras potencia a las personas para mejorar y expandir sus capacidades en forma continua (aprender a conocer), hecho que se traduce en su capacidad de actuacin en el mundo en sus diferentes mbitos (aprender a hacer). Ms tarde cobr fuerza la idea de una educacin a lo largo de toda la vida, de la cuna hasta la tumba, como un marco filosfico y conceptual y un principio organizativo de todas las formas de educacin 3, donde la educacin de adultos se reconoce como un componente esencial de este derecho. Esto ante la constatacin de que una poblacin humana cada vez ms numerosa se encuentra limitada en sus oportunidades de participacin en la perspectiva de una sociedad basada en la informacin y el conocimiento, por su limitado acceso a la educacin formal o no formal, especialmente en los pases en desarrollo. Por consiguiente, la educacin se entiende como intrnsecamente importante para el desarrollo humano, ya que se encuentra inserta en el proceso de mejoramiento de las oportunidades y libertades de cada individuo, que le permitirn llevar adelante la clase de vida que valora, respetando los
2 Extrado del Documento tcnico n1 del Instituto Estadstico de la UNESCO, La Nueva Generacin de Estadsticas sobre Competencias en Alfabetismo: Implementando el Programa de Evaluacin y Monitoreo de la Alfabetizacin (LAMP), UNESCO-UIS, 2009, Montreal, Canad. 3 Marco de Accin de Belm. Aprovechar el poder y el potencial del aprendizaje y la educacin de adultos para un futuro viable. CONFINTEA VI, Belem, 2009. IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa 19
derechos de los dems. Por lo tanto, la educacin representa un elemento clave en la realizacin de la condicin humana. Por su parte, la alfabetizacin es un componente central de la educacin en general, particularmente con relacin a la operacin de los sistemas educativos nacionales que fueron originalmente concebidos como una forma de garantizar que cada ciudadano est dotado de las competencias bsicas en alfabetismo. Asegurar estas competencias para todas las personas es un objetivo central de todo sistema educativo. Sin embargo, es importante tener en cuenta que las visiones de la alfabetizacin han evolucionado con el pasar del tiempo. En este sentido, la UNESCO, luego de sucesivas redefiniciones ha declarado lo siguiente: a) El alfabetismo es la habilidad de identificar, comprender, interpretar,
crear, comunicar y calcular, utilizando materiales impresos y escritos asociados con diversos contextos. El alfabetismo involucra un continuo aprendizaje que habilita a las personas a alcanzar sus objetivos, desarrollar sus conocimientos y potenciales y participar plenamente en la comunidad y en la sociedad ampliada . (Reunin
de expertos de 2003 y publicada en UNESCO, 2005); y
b) Adicionalmente, la nocin de pluralidad de la alfabetizacin (2004) enfatiza su dimensin social tanto con relacin a su adquisicin como aplicacin. En consecuencia, la alfabetizacin se concibe como un conjunto que abarca prcticas diversas insertas en contextos socioeconmicos, polticos, culturales y lingsticos, y adquiridas dentro y fuera de la escuela. Tambin involucra el contexto de la familia y comunidad, los medios de comunicacin a travs de distintas tecnologas, las competencias para seguir aprendiendo, el mundo laboral y la vida en general. Por ende, este concepto de alfabetizacin enfatiza que los desafos implican alfabetizar no solamente a los individuos sino tambin a las sociedades (UNESCO, 2004). La evolucin de estos conceptos tiende a enfatizar ciertos elementos esenciales que deben ser tomados en cuenta en cualquier discusin sobre la alfabetizacin y su medicin: i) la importancia de utilizar textos; ii) la necesidad de hacerlo con comprensin, es decir, en forma competente; iii) no restringirse a los textos, sino incluir la utilizacin de nmeros (numeracy); iv) la necesidad de examinar estos temas en funcin de experiencias de la vida diaria donde los mltiples y diversos aspectos de la vida social se concretan; y v) comprender que, en cualquier entorno, la vida cotidiana nunca ser una realidad aislada que slo afecta a las personas a nivel individual.
Esta definicin hace hincapi en dos elementos: las competencias (lectura, escritura y utilizacin de nmeros [numeracy]) y los distintos escenarios de la vida social donde las competencias de alfabetismo se manifiestan. Por consiguiente, los autores desean enfatizar que las competencias y su utilizacin se encuentran inextricablemente entrelazadas. LAMP representa un intento por proporcionar un enfoque viable que permita generar informacin sobre elementos clave del fenmeno de la alfabetizacin. Su principal objetivo es contribuir a la generacin sostenible de evidencia acerca de un tema fundamental de la alfabetizacin: las competencias de alfabetismo. De hecho, la intencin del LAMP es generar informacin sobre lo que las personas saben y son capaces de hacer, con relacin a un conjunto definido de aspectos crticos asociados con el manejo de textos en situaciones de la vida cotidiana. De esta manera, LAMP se enfoca en los elementos relativos a la lectura y no aborda la escritura. La medicin confiable de las habilidades de lectura es una tarea que demanda mucho de los entrevistados dada la batera de instrumentos requerida. Incluir un mdulo sobre escritura aadira complejidad en una manera que puede comprometer todo el esfuerzo. LAMP intenta entregar una imagen slida de los elementos clave que deben tenerse en cuenta en el diseo, implementacin y evaluacin de las polticas. Entrega una visin detallada de la distribucin de competencias en alfabetismo (textos continuos [prose], textos esquemticos [document] y utilizacin de nmeros [numeracy]) y examina los factores que podran estar asociados con los bajos desempeos (componentes de lectura). Esta informacin es interpretada en funcin del contexto socioeconmico. Qu es LAMP? El Instituto Estadstico de la UNESCO (UIS) inici el Programa de Evaluacin y Monitoreo de la Alfabetizacin (LAMP) en 2003 mediante un trabajo conjunto con un nmero de pases y organizaciones a efectos de desarrollar un enfoque metodolgico para la medicin de las habilidades de lectura y uso de nmero entre los jvenes y adultos, de modo a que se mejore el cuerpo de evidencia estadstica existente. Su diseo se inspir en encuestas conducidas en pases de la Organizacin para la Cooperacin y el Desarrollo Econmico (OCDE). La Encuesta internacional de Alfabetizacin de Adultos (IALS por sus siglas en ingls) y la Encuesta sobre Alfabetizacin de Adultos y Habilidades para Vida (ALL por sus siglas en ingls). Estas representaron los esfuerzos ms importantes en la medicin de competencias de alfabetismo y uso de nmeros a nivel internacional. Aprender de sus fortalezas y debilidades contribuy a definir LAMP en sus primeros aos.
21
LAMP tiene como propsito brindar a los tomadores de decisin informacin robusta sobre el perfil de la poblacin adulta con relacin a habilidades de lectura y de uso de nmeros a los efectos de alimentar los debates pblicos y el diseo de programas de alfabetizacin y educacin de adultos que ayuden a ampliar las oportunidades de los individuos, sus familias, comunidades y pases. LAMP ha sido diseado tomando en cuenta la nocin de pluralidad de la alfabetizacin propuesta por la UNESCO. Esta idea enfatiza el entronque del alfabetismo con los aspectos sociales, econmicos y culturales. LAMP explora la distribucin de diferentes habilidades entre la poblacin y la necesidad de usar esas habilidades para operar en situaciones de la vida diaria. Por lo tanto, LAMP puede informar de modo significativo acerca de elementos centrales relativos a los derechos de las personas a la educacin. LAMP es un esfuerzo para equipar a los pases con las herramientas metodolgicos que requieren para conducir evaluaciones directas de las habilidades de alfabetismo y uso de nmeros y por fortalecer las capacidades nacionales. Al combinar estos dos elementos, LAMP busca asegurar que los pases que lo implementen lleguen a producir informacin sobre el alfabetismo de modo robusto y sostenido. La informacin as generada ser parte del acervo internacional de informacin, del que UIS es responsable de monitorear y mejorar de modo continuo. Qu mide el LAMP? LAMP examina el alfabetismo en tres dominios diferentes: la lectura de textos continuos (prosa); la lectura de textos discontinuos o esquemticos (documentos); y el uso de nmeros. Las habilidades vinculadas a la prosa son definidas como la capacidad para tratar textos organizados en prrafos, con sangras y encabezados, que revelan su estructura y propsito. Las habilidades vinculadas a los documentos son definidas como la capacidad para usar textos no continuos en diferentes formatos (tablas, horarios, grficos, mapas, etc.) que permite al lector usar diferentes estrategias para ingresar y extraer informacin de stos. Finalmente, las habilidades vinculadas al uso de nmeros envuelven completar tareas breves con contenido matemtico. stas pueden demandar el uso de ciertas funciones como calcular, estimar y entender nociones de forma, longitud, volumen, unidades monetarias y otras funciones de medida. Se busca que las tareas usadas para la evaluacin sean significativas para los entrevistados en trminos de su relacin con situaciones diarias como: el hogar y la familia, salud y seguridad, comunidad y ciudadana, consumo, trabajo, ocio y recreacin. Adicionalmente, LAMP explora factores vinculados con el bajo desempeo lector, brindando informacin clave para el diseo de intervenciones
vinculadas a la alfabetizacin. De hecho, el UIS encarg un esfuerzo adicional a los efectos de establecer los marcos para la evaluacin de los componentes de lectura. Asumiendo que leer implica tanto el reconocimiento de las palabras como su comprensin, este mdulo evala cmo las personas aplican estas habilidades a efectos de procesar textos escritos. La capacidad para nombrar letras y nmeros, para procesar frases y no slo decodificar palabras, y la lectura fluida de prrafos, son indicadores que ayudan a describir a la poblacin de acuerdo a su capacidad lectora. Finalmente, LAMP genera informacin sobre las caractersticas socioeconmicas de los entrevistados y su uso de materiales escritos en diferentes mbitos de la vida diaria, de modo que se cuente con elementos analticos clave para caracterizar a la poblacin. El UIS explora de modo continuo formas de mejorar los aspectos metodolgicos y presta atencin cercana a los desarrollo en ciencia cognitiva, metodologa de encuestas y evaluacin educativa. Ms an, la informacin reportada busca ser usada para comparaciones internacionales dada la necesidad de monitorear el progreso tanto a nivel nacional como internacional. Por esta razn, niveles comparables de habilidades son usados para el reporte de informacin. Estos niveles son definidos mediante afirmaciones conceptuales claras que los hacen precisos y relevantes. Los objetivos centrales de LAMP son informar a los tomadores de decisin y proveer evidencia crtica para el diseo de programas de alfabetizacin en el marco de las polticas educativas y los programas sociales. LAMP tambin beneficia las polticas pblicas en otros sectores ya que les permite mejorar sus formas de comunicacin, as como impacta en una mayor conciencia pblica con relacin a temas que afectan diferentes mbitos de la vida diaria. LAMP est particularmente interesado en asegurar la apropiacin nacional. As, ste no es un estudio que se conduce una vez segn su propio inters y agenda, sino que ha sido diseado para contribuir al desarrollo de capacidades nacionales, reposando en la experiencia ya existente y promovindola como el mejor mecanismo para respaldar iniciativas nacionales. Esto, por su parte, significa que los Estados Miembros deben asegurar un adecuado entorno institucional en respuesta a sus propias necesidades. En adicin a esto, el UIS est estableciendo grupos tcnicos asesores en cada regin del mundo a efectos de movilizar apoyo tcnico a los pases.
23
Cules son los instrumentos usados por LAMP?
Un cuestionario de antecedentes que genera informacin sobre las

caractersticas socioeconmicas de los entrevistados incluyendo su uso de materiales escritos. Esto es clave para el anlisis de la informacin generada por las herramientas cognitivas.
Una prueba filtro orientada a brindar una primera aproximacin al

desempeo esperado de cada respondiente de modo que se pueda decidir qu conjunto de instrumentos deben ser usados para lograr una imagen ms detallada de sus habilidades. establecer con mayor precisin la ubicacin del respondiente y explora los elementos que pueden estar impidiendo que tenga un mejor desempeo (componentes de lectura).
Un mdulo para aqullos con menor desempeo esperado que
Un mdulo para aqullos con mayor desempeo esperado que

establecer, nuevamente, con mayor precisin la ubicacin del respondiente. Estos instrumentos estn acompaados por una documentacin detallada que brinda suficiente gua acerca de las diferentes fases de implementacin.
24
2. ESTUDIO PILOTO LAMP EN PARAGUAY La organizacin del presente captulo propone una descripcin de los procesos llevados a cabo durante la prueba piloto, as como las observaciones surgidas durante su implementacin, considerando los siguientes aspectos: Objetivos del estudio piloto Definicin de la poblacin y de la muestra. Adaptacin y revisin de los instrumentos y manuales LAMP. Capacitacin del personal. Recoleccin de datos. Asignacin de puntajes. Crtica y codificacin del Cuestionario de Antecedentes. Procesamiento de datos. Control de calidad. Estudio etnogrfico.
2.1. Objetivos del estudio Piloto La prueba piloto constituye una etapa esencial del LAMP ya que permite corroborar la validez del estudio y sus resultados, identificar los elementos, en trminos de instrumentos, procedimientos, capacitacin, que debern ajustarse, determinar las dificultades operacionales y logsticas que requieran solucin, entre otros aspectos. El objetivo general del estudio piloto del LAMP en Paraguay busc ensayar las diferentes etapas de la encuesta LAMP, para ello se trazaron los siguientes objetivos especficos: Evaluar el marco muestral y la muestra adoptada. Comprobar la tasa de respuesta esperada. Verificar el desempeo de las preguntas del Cuestionario de Antecedentes (CA), evaluar el funcionamiento de los tems de los instrumentos cognitivos y revisar los manuales operativos. Identificar los problemas operacionales y logsticos a partir de la aplicacin de los procedimientos adoptados en las
25
distintas etapas de la recoleccin y captura de datos, as como en la adaptacin de instrumentos, capacitacin y seleccin del personal. Comprobar las previsiones en materia de diseo y costos (presupuesto inicial) para el estudio principal. Evaluar la factibilidad de la implementacin del estudio principal a partir de la formacin de capacidades tcnicas nacionales.
2.2. Poblacin y Muestra 2.2.1. Consideraciones sobre poblacin objetivo La encuesta estuvo dirigida a la poblacin de 15 aos y ms de edad que residen habitualmente o en forma permanente en viviendas particulares la mayor parte del ao, segn el marco del Censo Nacional de Poblacin y Viviendas 2002, y actualizado conforme a las encuestas de hogares de la DGEEC. Las normas y pautas no establecen un lmite superior de edad para la poblacin objetivo. En terreno se constat que la seleccin de personas de edad muy avanzada, aumenta la probabilidad de rechazos o encuestas incompletas no siempre por falta de predisposicin, sino ms bien por diversas limitaciones, tales como: disminucin de la audicin y de la agudeza visual, disminucin de la memoria de fijacin reciente y de la capacidad de concentracin, enfermedades, etc., o por la facilidad con la que se fatigan durante el desarrollo de la prueba. Este tipo de casos constituy la segunda causa de no respuesta (interrupciones o rechazos) durante el estudio piloto, adems de que el segmento de los adultos mayores se vio ligeramente sobrerrepresentado en la muestra, en comparacin con los parmetros demogrficos publicados por la DGEEC. 2.2.2. Consideraciones sobre unidades muestrales La determinacin de la poblacin objetivo del estudio piloto LAMP estuvo definida por las unidades muestrales de vivienda, hogar y residencia habitual conforme a lo establecido en el INP. Se asumieron los conceptos nacionales utilizados por la DGEEC para definir vivienda, hogar y residencia habitual. Sin embargo, la determinacin de los miembros del hogar para el propsito del LAMP no coincide estrictamente con los criterios utilizados en los operativos nacionales, una dificultad detectada fue la ambigedad conceptual de residencia habitual tanto en los documentos operativos del LAMP como a nivel nacional,
sumado a ello la amplia gama de situaciones encontradas en campo que requirieron un anlisis particular para cada caso. 2.2.3. Marco muestral utilizado La informacin ms completa sobre poblacin y viviendas surge de los censos nacionales de poblacin y viviendas que se realizan en Paraguay cada 10 aos. El ltimo censo se llev a cabo en el 2002 y sus resultados estn georreferenciados, por lo que constituye la mejor fuente de informacin para construir el marco muestral, tanto para las encuestas de hogares realizadas anualmente por la DGEEC, como para otras encuestas que tengan como unidad de seleccin las viviendas de todo el pas. Considerando la antigedad de los datos relativos a la ubicacin geogrfica de las viviendas, para el estudio piloto se requiri de una actualizacin cartogrfica para disponer de registros ms confiables y vlidos al momento de seleccionar las viviendas. Estas actualizaciones se realizaron en las reas geogrficas seleccionadas, conformadas por unidades primarias de muestreo (USM) a partir de las reas de empadronamiento (AE) del Censo 2002. As cada mapa provedo contaba con 30 viviendas con sus respectivas ubicaciones y delimitaciones, la identificacin de las 10 viviendas seleccionadas aleatoriamente en cada USM que formaron parte de la muestra. Durante el trabajo de actualizacin se ajustaron los planos cartogrficos de las USM, en las que se registraron los cambios encontrados en relacin al marco inicial en cuanto a la cantidad y ubicacin de viviendas, y sus caractersticas ocupadas, desocupadas o desaparecidas, entre otras, as como las referencias para ubicar la zona y las viviendas. La ltima fase del muestreo consisti en la aplicacin de la tabla de nmeros aleatorios para seleccionar a una persona dentro de la lista de los miembros del hogar ordenada por orden decreciente de edad. Se reenumer a las personas elegibles del hogar, de mayor a menor edad, excepto al jefe de hogar, a quien correspondi el nmero 1 en dicha lista. Es preciso reconocer que en algunos casos la persona entrevistada no brindaba los nombres de los miembros del hogar de manera ordenada (de mayor a menor edad) y se encontraron falencias por parte de los encuestadores al realizar la enumeracin y, por ende, en la confeccin de la lista de miembros elegibles del hogar, lo que condujo en algunos casos a una seleccin inadecuada de la persona a ser entrevistada. En este sentido, sera oportuno incluir una columna adicional en la parte INTRO 1-5 del Cuestionario de Antecedentes (CA) para reenumerar a los miembros del hogar en orden decreciente de edad incluyendo al jefe de hogar con el fin de evitar las falencias en la seleccin de la persona a ser encuestada.
27
2.2.4. Tamao de la muestra El estudio piloto del LAMP en Paraguay incluy una muestra de 750 viviendas, con la expectativa de concretar al menos 500 entrevistas completas a individuos seleccionados aleatoriamente, previendo una tasa de no respuesta del 30%. Durante el operativo de campo, sin embargo, se tuvo que ampliar este tamao muestral, con el fin de ajustar la distribucin interna de la muestra a lo establecido en el documento Normas y pautas del LAMP especialmente en lo concerniente a la distribucin por niveles educativos, ante la constatacin de que haba una clara tendencia hacia el predominio de niveles medios y altos sobre los niveles bajos de estudios. Por este motivo, el tamao muestral se extendi finalmente a 820 viviendas, cargando todas las viviendas adicionales (70 viviendas) en la ciudad de Asuncin. Con el fin de adoptar una muestra inicial ajustada al diseo previsto para el estudio principal, fueron seleccionados los distritos de acuerdo con una estratificacin segn pobreza crnica. Esta decisin estuvo sujeta a modificaciones en el curso del trabajo de campo, conforme a las necesidades y avances del trabajo de recoleccin de datos. 2.2.5. Diseo de la muestra Se utiliz un muestreo intencional, si bien se haba previsto un muestreo probabilstico en la planeacin. Este fue evolucionando teniendo en cuenta las dificultades encontradas en terreno y los requisitos de la muestra de la prueba piloto. Esta evolucin se dio de la siguiente manera: a. Para el estudio piloto se decidi utilizar, en una primera etapa de la recoleccin de datos, el muestreo probabilstico, estratificado, de cuatro etapas4, similar al que ser aplicado para el estudio principal. Esta decisin respondi a la necesidad de poner a prueba los supuestos adoptados para el diseo muestral y aplicar los instrumentos en los diversos contextos socioeconmicos a ser cubiertos en el estudio principal. b. Los estratos estuvieron determinados, tal como se indica en el INP, a partir de los puntajes del ndice de Priorizacin Geogrfica (IPG) utilizado por la Secretara de Accin Social (SAS) para sus polticas sociales5.
Las etapas previstas en el INP consideraban las siguientes unidades muestrales por cada etapa: distrito, USM, hogares, personas. 5 El IPG es una lista de todos los distritos del pas que resulta de la combinacin del mapa de pobreza con la incidencia de las NBI a nivel de distritos. El mapa est basado en el Censo de Poblacin y Viviendas del 2002 y en la Encuesta Permanentes de Hogares del 2003; y las NBI estn basadas en los datos del IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa 28
c.
Los estratos fueron definidos de acuerdo con los niveles socioeconmicos alto, medio y bajo imputados a los distritos adoptando los siguientes criterios: Los distritos que forman parte del estrato bajo (los ms pobres) presentan una gran dispersin geogrfica y factores de contexto que pueden influir sobre las competencias y habilidades de las personas. De estos distritos fueron seleccionados para la prueba piloto, uno del rea urbana (Jos Falcn) y otro del rea rural (Juan de Mena). De los distritos que forman parte del estrato medio, para el estudio piloto, fueron seleccionados Limpio, It e Itaugu que comprenden reas rurales y urbanas. Atendiendo a la heterogeneidad de Asuncin, se distribuy la muestra de Asuncin en estratos socioeconmicos segn criterios establecidos por la DGEEC, en estratos alto, medio y bajo, en funcin a las cuales fueron seleccionadas las USM de Capital.
d. Se realiz la distribucin de las unidades finales de la muestra por afijacin proporcional a la poblacin de los distritos seleccionados, por lo cual la mayor parte de la muestra corresponda a Asuncin, tal como se puede observar en la Tabla 1. Previendo que las dificultades de aplicacin de encuestas en las viviendas de las ciudades tuvieran como efecto retrasar en exceso la recoleccin de datos y tener una mayor tasa de rechazo, se decidi redistribuir la mitad de la muestra de Asuncin entre otros distritos aledaos: San Lorenzo, Villa Elisa e It, pertenecientes a los mismos estratos socioeconmicos (bajo, medio y alto).
Censo del 2002. De acuerdo con este criterio, se agruparon los distritos en tres estratos, segn el puntaje IPG correspondiente. IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa 29
Tabla 1. Muestra del estudio piloto
Distritos Juan de Mena Jos Falcn Itaugu Limpio Asuncin It San Lorenzo Villa Elisa Total 750 Muestra Propuesta 50 40 100 150 410 270 70 70 70 480 Redistribucin de la muestra Asuncin Configuracin de la muestra final 50 40 100 150 270 70 70 70 820 Casos completos 30 27 81 109 170 38 49 51 555
Fuente: Base de datos Estudio Piloto LAMP Paraguay. Elaboracin propia
El operativo de campo sigui una trayectoria de afuera hacia adentro con respecto a Asuncin, en el sentido de que se inici el trabajo de campo en los distritos ms distantes (Jos Falcn, Limpio, Juan de Mena e Itaugu), siguiendo la distribucin aleatoria adoptada inicialmente, para luego cubrir los distritos de Asuncin y aledaos. Una vez completados los distritos perifricos, se decidi, en presencia del representante del UIS, modificar el criterio de asignacin muestral, y pasar a una muestra intencional, de manera de garantizar el nmero de casos requeridos para el estudio piloto. La modificacin consisti en incorporar la posibilidad de remplazar las viviendas en las que no se pudo concretar la entrevista, por otras de la misma USM, a fin de aumentar la cantidad de entrevistas concretadas por USM. Esto exigi realizar un barrido de las USM en busca de hogares ocupados. El nuevo criterio entr en vigencia en los distritos de Asuncin, San Lorenzo y Villa Elisa. Ms adelante, y ante la constatacin de un sesgo sistemtico a favor de los niveles educativos medios y altos, que conducira, adems, a que no se logre completar la distribucin submuestral correspondiente a niveles educativos bajos, se decidi en los ltimos das del trabajo de campo, modificar la pauta de seleccin de la persona a ser encuestada, favoreciendo a las personas con nivel educativo bajo. 2.3. Adaptacin y revisin de instrumentos y manuales LAMP La adaptacin de los instrumentos y manuales se inici una vez que el ETN tuvo acceso a los instrumentos, manuales y formularios de adaptacin, en
30
ingls, con traducciones referenciales al espaol y francs, a travs del sitio ftp6. Los objetivos generales de este proceso fueron: - Adaptar los instrumentos y manuales atendiendo al contexto sociocultural de Paraguay. - Garantizar la comparabilidad internacional de los instrumentos y manuales respetando los estndares tcnicos del Programa LAMP. 2.3.1. Conformacin y capacitacin de los equipos de trabajo de adaptacin Para la etapa de adaptacin de instrumentos, se conformaron los primeros equipos tcnicos interdisciplinarios con el fin de dejar capacidad instalada en las diferentes instituciones participantes de cara al estudio principal. Todas las personas que integraron el equipo LAMP suscribieron un acuerdo de confidencialidad que los habilit a trabajar con los documentos protegidos por los derechos de autor. Cada integrante recibi los documentos operativos del estudio: Informe Nacional de Planeacin, Procedimientos de traduccin y adaptacin, Reglas generales para la traduccin y adaptacin de materiales LAMP, Pautas de traduccin y adaptacin de los instrumentos. Durante la capacitacin para la adaptacin de los instrumentos fueron expuestos los marcos conceptuales del estudio, los principios y metodologa de adaptacin, la descripcin y especificacin de las tareas a ser desarrolladas. Adems se conformaron grupos de trabajo para el anlisis y la revisin del Mdulo Filtro adaptado previamente por el ETN. Este ejercicio facilit la apropiacin de la metodologa de adaptacin por parte de los equipos de trabajo que realizaron aportes significativos. Se elabor un calendario de trabajo para realizar la adaptacin de los diferentes instrumentos, actividad que estuvo supervisada por la coordinacin tcnica del estudio. 2.3.2. Proceso de adaptacin de los instrumentos El proceso de adaptacin se realiz siguiendo los procedimientos del Programa con base en los documentos Procedimientos de traduccin y adaptacin, Pautas generales de traduccin y adaptacin, y Reglas generales para la traduccin y adaptacin de materiales LAMP 7; que consisti en:
El servidor ftp o protocolo de transferencia de archivos es un sitio proporcionado por el UIS para acceder y descargar archivos del UIS y colocar archivos del pas. 7 Esos tres documentos fueron actualizados por el UIS luego del proceso de adaptacin de Paraguay, con base en los resultados de la implementacin del estudio piloto en otros pases. El formato actual cuenta con dos documentos : las guas generales y las guas especficas para PDN.
6
31
- Adaptar los instrumentos LAMP, las guas y manuales al contexto sociocultural-lingstico de Paraguay. - Documentar los procedimientos realizados para la verificacin internacional de los tems adaptados por parte del UIS en los formularios respectivos. Dicho proceso de adaptacin estuvo condicionado por la disponibilidad de las versiones actualizadas de los instrumentos en espaol enviadas por el UIS, motivo por el cual fue desarrollado en cuatro etapas: - Adaptacin de los instrumentos cognitivos dirigidos a medir los niveles de competencia en prosa (texto continuo), documento esquemtico y manejo de nmeros (PDN), es decir, los mdulos Filtro, Localizador y Cuadernillos 1 y 2, con las Hojas de asignacin de puntaje respectivas. - Adaptacin de los Componentes de Lectura (Rotafolio, Cuadernillo de Registro, Cuadernillo del Encuestado), con sus respectivas Hojas de asignacin de puntaje. - Adaptacin del Cuestionario de Antecedentes. - Ajuste de los manuales, guas de asignacin de puntajes y procedimientos, y kits de capacitacin. Los instrumentos adaptados durante las tres primeras etapas fueron sometidos a un pre-test con personas de diferentes niveles educativos; y verificados y aprobados por el UIS. Para la adaptacin de los instrumentos, se tom como base la versin original en ingls y los instrumentos ya traducidos al castellano que fueron provedos por el UIS. Se llev a cabo un examen minucioso de los tems con el objeto de asegurar su claridad y precisin en el contexto local. En caso de ambigedades en la formulacin, se recurri a la versin original en ingls y por ltimo, si lo ameritaba, se procedi a elaborar los ajustes lexicales y sintcticos en los tems que el equipo consideraba pertinentes. Para garantizar la consistencia en el conjunto de instrumentos y respetar la versin original en ingls, se elabor una lista de trminos traducidos a ser utilizados en las instrucciones y preguntas para unificar el vocabulario. Cuando el contenido de los estmulos presentaba incoherencias o eran poco inteligibles en el contexto local, se proceda a reemplazarlos por otros ms familiares con la vida cotidiana de la poblacin, por ejemplo, los precios de artculos comerciales. Por ltimo, los cambios incorporados en los instrumentos y aprobados por el UIS se plasmaban en las Hojas y guas de asignacin de puntajes, manuales operativos de los instrumentos y kits de capacitacin.
32
2.3.3. Talleres de adaptacin a. Etapa 1: Adaptacin de instrumentos cognitivos-PDN En esta etapa, se realiz la adaptacin de las pruebas cognitivas PDN constituidas por los siguientes instrumentos: Mdulo Filtro, Localizador, Cuadernillos 1 y 2 del Mdulo B y las respectivas Hojas y guas de asignacin de puntajes. Sobre la base de las adaptaciones propuestas por los diferentes grupos de trabajo, la coordinacin tcnica analiz los trabajos presentados a fin de aportar sugerencias y unificar la redaccin de las justificaciones incorporadas en los formularios de adaptacin. Una de las principales dificultades residi en la adaptacin de los aspectos numricos relacionados con los precios, que supuso la necesidad de aumentar la cantidad de dgitos y en algunos casos cambiar el estmulo para hacerlo consistente con los precios locales. La ltima fase de la adaptacin de estos instrumentos consisti en la aplicacin del pre-test a un total de 15 personas de niveles educativos bajos, medios y altos a efectos de probar la batera de instrumentos cognitivos adaptados al contexto nacional. A continuacin, se realiz en plenaria el anlisis de los resultados obtenidos y las dificultades encontradas; y se procedi a incorporar los ltimos ajustes de los instrumentos. b. Etapa 2: Adaptacin Componentes de lectura de instrumentos cognitivos-
La adaptacin de los Componentes de lectura se realiz en una segunda etapa, por los siguientes motivos: Los instrumentos se encontraban an en proceso de modificacin por parte del UIS.8 La extensin y complejidad de la batera de instrumentos de los Componentes de lectura: Rotafolio, Cuadernillo de Registro y Cuadernillo del Encuestado. Pautas de adaptacin muy generales.
El asesoramiento in situ de un representante del equipo LAMP del UIS permiti introducir los cambios estructurales al Rotafolio propuestos por el equipo tcnico, a saber: reordenamiento y supresin de secciones, racionalizacin de las instrucciones por principio de parsimonia, cambios de
8 Es importante sealar que Paraguay decidi aplicar la Prueba Piloto LAMP antes de que el UIS haya finalizado el proceso de revisin de los instrumentos originales, resultante de la aplicacin de los estudios pilotos realizados en otros paises, .Esta situacin podra explicar en parte la complejidad y extensin del proceso de adaptacin en Paraguay. IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa 33
imgenes y reorganizacin de las hojas y cdigos de asignacin de puntajes. Asimismo, se ajustaron las instrucciones del Rotafolio y del Cuadernillo de Registro a nivel lexical y sintctico; y posteriormente se realiz el control de calidad de consistencia interna en cuanto a la uniformidad del vocabulario, modos verbales y consignas. Con el propsito de asegurar la calidad de estos instrumentos, se realiz a fines de noviembre un pre-test de los Componentes de lectura cuya metodologa se describe a continuacin: - Se seleccionaron 8 encuestados con nivel bajo de educacin. 9 - Se conformaron equipos de dos personas para administrar la encuesta: un encuestador y un observador. - El observador tom nota de los errores y dificultades durante la administracin de los instrumentos. - Posteriormente se realiz una reunin, entre el representante LAMP del UIS, los encuestadores y observadores, para analizar los resultados del pre-test. Las observaciones y ajustes acordados se mencionan a continuacin: Se sugiri, por principio de parsimonia, eliminar del Rotafolio las Instrucciones contenidas en el Cuadernillo de Registro. Se decidi agregar en las instrucciones generales al inicio del Rotafolio una exhortacin: Le pedimos que responda solamente en castellano durante toda la prueba, para evitar que el encuestado responda en forma espontnea en guaran durante la seccin de Vocabulario. Se pas la Seccin 10 Vocabulario de la versin original, a la Seccin 1. El ETN decidi no incluir las Secciones 7 y 8: Decodificacin de Palabras y Decodificacin Rpida de Palabras, por ser secciones opcionales y considerando que no era necesario medir esta competencia pues el espaol es una lengua que presenta mayormente correspondencias regulares y predecibles grafema-fonema. Estos cambios han exigido la reenumeracin de las secciones del Rotafolio y de sus respectivos Cuadernillos de Registro y del Encuestado. Finalmente, considerando la recoleccin y carga de datos, se tomaron otras decisiones importantes referentes a la estructura del Cuadernillo de Registro
9
Paraguay consider, para el estudio piloto, como niveles bajos de educacin a las personas que han cursado seis aos de educacin o menos. IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa 34
y de las Hojas de asignacin de puntajes de los Componentes de Lectura, pues se decidi suprimir la Hoja de asignacin de puntaje N 1, e introducir las opciones de respuestas 1/7/0 a ser asignadas directamente en el Cuadernillo de Registro. Se insertaron las burbujas para el registro de las respuestas al lado de los cdigos 1/7/0 en las Hojas de asignacin de puntajes y en la seccin Vocabulario del Cuadernillo de Registro para facilitar su llenado y evitar confusiones entre las cifras 1 y 7 al ser escritas por el encuestador y el corrector. c. Etapa 3: Adaptacin del Cuestionario de Antecedentes (CA) El CA fue el ltimo cuestionario adaptado por encontrarse en proceso de revisin por parte del UIS. La adaptacin consisti en la revisin y anlisis exhaustivo de cada pregunta del cuestionario, examinndose aspectos conceptuales, comprensin de la pregunta por parte del encuestador y del encuestado, correspondencia de los saltos de preguntas y la la formulacin de las preguntas al contexto nacional. En una primera instancia, las preguntas del CA fueron analizadas y comparadas con otros instrumentos de acopio de datos utilizados en los diversos operativos nacionales de relevamiento de datos, tales como: Censo Nacional de Poblacin y Viviendas, Encuesta Permanente de Hogares y la Encuesta Continua de Empleo, a fin de garantizar la comparabilidad nacional y redactar preguntas adaptadas al contexto local. Es importante mencionar que se tuvo especial atencin en las variables relevantes para la construccin del marco muestral y para los factores de expansin de la muestra. Adems, fueron incluidas preguntas nacionales consideradas fundamentales para combinar los datos recabados con las condiciones de vida de la poblacin y su localizacin geogrfica; se incorporaron preguntas relacionadas a la interaccin encuestador-encuestado en guaran, as como aspectos vinculados a la vivienda y empleo. Se realiz la justificacin correspondiente en el Formulario de Adaptacin. Una vez que el UIS aprob las adaptaciones del CA, se procedi a su rediseo con el fin de optimizar los espacios y reducir la extensin del instrumento. Las categoras y opciones de respuesta fueron pre codificadas para facilitar el llenado del cuestionario en el momento de la aplicacin, as como el procesamiento de datos (crtica, codificacin y digitacin). Posteriormente se realiz el pre-test para probar la aplicabilidad del CA. Este instrumento fue aplicado a una muestra intencional pequea de la poblacin objetivo con el fin de comprobar la pertinencia de las adaptaciones,
35
identificar y cambiar algunos saltos de pregunta, y evaluar la duracin de la aplicacin. Es importante mencionar que el UIS acept que Paraguay, como pas bilinge utilice el idioma guaran para aclarar las preguntas del CA en los casos requeridos. Para ello fue elaborado un material de referencia que sirvi de gua para la aplicacin. d. Etapa 4: Adaptacin de guas, manuales y materiales de capacitacin Esta etapa requiri mucho tiempo debido a la cantidad y extensin de manuales y guas. El ETN realiz primeramente la adaptacin de las guas y manuales operativos correspondiente a los instrumentos cognitivos cuya versin nacional haba sido aprobada por el UIS. El Manual del Encuestador, que constituye uno de los materiales de referencia para el personal de campo, fue el ltimo documento elaborado dado que no se dispona de la versin actualizada del manual conforme al nuevo instrumento de recoleccin. Esta tarea demand una inversin de tiempo considerable por la extensin del material y por la falta de correspondencia entre las preguntas incluidas en la versin nacional del CA. Adems, se incorporaron instrucciones especiales referentes al uso de la grabadora digital y el cronmetro, elementos empleados en la aplicacin del Mdulo A en Paraguay. Adicionalmente se realiz la revisin y anlisis de las planillas y formularios de trabajo de campo (listado de control de tareas, informe de avances y costos, etc.). La funcionalidad de estos materiales fue evaluada por los supervisores, teniendo como resultado una disminucin del nmero de formularios y su rediseo. Los materiales de capacitacin provedos por el UIS se componan de varias presentaciones en formato power point, en ingls; y de sus correspondientes guas para el instructor en castellano. La tarea de adaptacin de los materiales de capacitacin fue distribuida entre los miembros del equipo tcnico responsable de la adaptacin de instrumentos, quienes deban impartir la capacitacin y elaborar presentaciones adicionales. 2.3.4. Aspectos positivos del proceso de adaptacin La etapa de adaptacin y la metodologa adoptada permitieron: - Propiciar el trabajo interdisciplinario dentro del Ministerio de Educacin y Cultura en torno a un proyecto comn.
- Fortalecer el trabajo interinstitucional entre el MEC, la DGEEC, y la OEI. - Enfatizar el carcter participativo del trabajo fomentando la mirada crtica y analtica sobre el conjunto de los instrumentos. - Involucrar a los funcionarios que hayan participado de este proceso ms all de la etapa de adaptacin de los instrumentos. - Dejar capacidades metodolgicas y tcnicas instaladas en las diferentes instituciones participantes. - Desarrollar habilidades para el trabajo en equipo dentro de un grupo profesional con formacin y experiencia heterognea. - Reflexionar sobre la importancia y complejidad de temas vinculados con la alfabetizacin. - Sistematizar todo el proceso de adaptacin a travs de una documentacin tcnica disponible para todos. 2.3.5. Dificultades encontradas durante el proceso de adaptacin Si bien esta primera etapa gener resultados relevantes, se sealan ciertos puntos que dificultaron el desarrollo de este proceso: - Disponibilidad de versiones no actualizadas de algunos instrumentos y manuales. - Gran cantidad y extensin de manuales a ser adaptados. - Tiempo limitado para realizar un control de calidad final entre manuales y materiales de capacitacin. - El pre-test de cada instrumento se realiz de manera individual perdiendo de vista el flujo completo de la aplicacin de una entrevista. - Disponibilidad real de tiempo de los representantes de las diferentes instituciones, pues LAMP constitua una actividad adicional. Este hecho dificult el cumplimiento oportuno del cronograma propuesto inicialmente, dado que se priorizaban las actividades institucionales propias. 2.4. Capacitacin 2.4.1. Capacitacin a supervisores y encuestadores La capacitacin como componente importante de todo el proceso de la encuesta refleja aspectos relacionados a la efectividad de esta etapa en el operativo de campo. En este sentido, el trabajo de campo de la prueba piloto permiti identificar las dificultades encontradas en terreno y reconsiderar ciertos aspectos que debern ser reforzados en la capacitacin para mejorar el desempeo del personal de campo con miras a la encuesta principal (vase captulo Sugerencias).
37
2.4.1.1. Objetivos generales y organizacin de capacitaciones a supervisores y encuestadores las
La capacitacin de los encuestadores y supervisores 10 tuvo como propsitos: - Garantizar que el personal de campo estuviera bien familiarizado con los mtodos de la entrevista, los conceptos y procedimientos de LAMP en particular, los aspectos relacionados a la seleccin del encuestado y del mdulo a aplicar, el llenado correcto del CA, la administracin de los instrumentos cognitivos y la asignacin de puntajes correspondiente. - Concienciar al personal sobre sus funciones, responsabilidades y los procedimientos a ser empleados en campo. - Organizar el desarrollo del trabajo de campo y formar una masa crtica de personal con los conocimientos, habilidades y experiencia en el manejo y aplicacin de la encuesta LAMP. Para asegurar un conocimiento ms detallado y mejor manejo de los instrumentos, la capacitacin se desarroll en tres fases: - una fase a distancia de autoaprendizaje precedida de una media jornada de presentacin del LAMP y de los materiales a ser estudiados antes de la capacitacin presencial terico-prctica; - una fase presencial de 7 (siete) jornadas a tiempo completo, y - una fase de simulaciones y prcticas de campo de 2 (dos) das. Cabe mencionar que se organiz una jornada exclusiva de capacitacin dirigida a los supervisores de campo. Participaron de la primera jornada de presentacin 40 candidatos, encuestadores y supervisores sin distincin, de los cuales 33 siguieron todo el proceso de capacitacin. Los 8 supervisores fueron designados con anterioridad mediante la evaluacin de sus currculum vitae, cuyas experiencias vinculadas a actividades en trabajo de campo, encuestas, educacin y evaluacin fueron empleadas como criterio de calificacin; fueron seleccionados 24 encuestadores con perfiles diferenciados e integrados en los diferentes equipos. La capacitacin estuvo a cargo de 8 instructores que haban participado en el proceso de elaboracin del Informe Nacional de Planeacin (INP) y en la adaptacin de los instrumentos LAMP, cada uno fue responsable de un
10
Todos los actores intervinientes en la capacitacin firmaron el acuerdo de confidencialidad correspondiente. IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa 38
aspecto especfico del programa de acuerdo con su especialidad. Para el desarrollo de algunos temas, los instructores trabajaron en equipo segn la complejidad del tema abordado y atendiendo a la dinmica del taller. 2.4.1.2. Desarrollo de encuestadores la capacitacin a supervisores y
a.
Fase I. Actividades de autoaprendizaje
La fase de autoaprendizaje fue precedida de una presentacin general del LAMP donde se entregaron los materiales a ser revisados y analizados antes de la capacitacin presencial. Durante esta fase, los postulantes dispusieron de 6 das para la lectura sistemtica de los manuales e instrumentos del LAMP. Se entreg una serie de ejercicios de repaso en casa para facilitar la lectura de los materiales y para evaluar los conocimientos tericos adquiridos durante esta fase. Sin embargo, cabe destacar que la cantidad de manuales, su extensin, sumadas a las ambigedades internas dificultaron la fase de auto aprendizaje del personal de campo, pues no les permitieron tener una visin prctica del trabajo de campo. b. Fase II. Actividades presenciales
El primer da de la capacitacin, los postulantes a encuestadores entregaron los ejercicios de repaso en casa. Estos ejercicios permitieron identificar las falencias recurrentes de los candidatos y definir los puntos sobre los cuales insistir durante la capacitacin. Las actividades presenciales de capacitacin se desarrollaron durante 8 das hbiles en jornadas de 9 horas diarias y se abordaron aspectos metodolgicos relacionados al manejo de tcnicas de entrevista, procedimientos de seleccin del encuestado, mdulos a ser administrados, criterios de inclusin/exclusin de miembros del hogar, llenado correcto del CA, administracin de instrumentos cognitivos y asignacin de puntajes, adems se presentaron las funciones y responsabilidades de los encuestadores y supervisores, y algunas consideraciones generales sobre el muestreo. Del mismo modo se procedi a analizar situaciones especiales que pueden presentarse en el terreno, especialmente referidos a la aplicacin del CA y a las asignaciones de puntajes. A fin de garantizar que los participantes conocieran, aplicaran y sea posible la retroalimentacin y perfeccionamiento de sus habilidades, se desarrollaron tres momentos importantes durante la capacitacin presencial: i) la adquisicin conceptual y terica con el contenido de la encuesta; ii) la simulacin, juego de roles y prctica en terreno, y iii) la discusin de dudas
y dificultades para poder mejorar la comprensin y la habilidad referida a la aplicacin. 2.4.2. Capacitacin a correctores Objetivos generales y organizacin de la capacitacin a correctores La capacitacin de los correctores constituye un proceso fundamental para lograr un alto nivel de consistencia en trminos de interpretacin y aplicacin de las reglas de asignacin de puntaje durante el operativo. Asimismo, este proceso es determinante para garantizar la calidad de los puntajes asignados e investigar de forma confiable sobre el comportamiento de los tems, en el marco del estudio piloto. La capacitacin a correctores tuvo como propsitos: Brindar informacin suficiente acerca de los objetivos, actividades y resultados esperados del LAMP, procedimientos generales y herramientas de asignacin de puntaje. Dominar las reglas de asignacin de puntajes del LAMP. Adquirir un buen nivel de desempeo en la interpretacin y correccin de tems. La actividad de capacitacin se desarroll en 2 fases: a. Fase de autoaprendizaje a distancia. b. Fase presencial de 2 das. 2.4.2.2. Desarrollo de la capacitacin a correctores 2.4.2.1.
a. Fase I. Actividades de autoaprendizaje Se entregaron el Manual de procedimiento operacional de asignacin de puntajes, la Gua para la administracin de los componentes de lectura y los instrumentos cognitivos para una lectura previa del material. Cabe mencionar que los correctores tenan un conocimiento previo de los instrumentos puesto que participaron de la adaptacin de instrumentos y manuales, lo que permiti llevar a cabo la capacitacin presencial en 2 das. Por otra parte, la capacitacin de cada instrumento estaba a cargo de un integrante del equipo corrector por lo cual el proceso fue fluido y muy interactivo. b. Fase II. Actividades presenciales La primera parte de la capacitacin, a cargo de la jefa correctora, consisti en presentar:
40
- El LAMP y la dimensin internacional de la encuesta. - Las prcticas estandarizadas de asignacin de puntajes, los objetivos y responsabilidades de los correctores. - La metodologa de trabajo para la correccin durante el operativo. Seguidamente, se procedi a una revisin y anlisis en grupo de las reglas de asignacin de puntaje del UIS. Durante la segunda parte de la capacitacin se presentaron casos prcticos de asignacin de puntajes. Se adopt la misma metodologa para el Cuadernillo Filtro, Localizador, Cuadernillos 1 y 2, tal como se describe a continuacin: - Lectura y anlisis exhaustivo de los tems del Cuadernillo y de la Gua de asignacin de puntajes correspondiente. - Proyeccin de ejemplos de ejercicios completados, anlisis y justificacin del puntaje asignado. - Proyeccin de ejercicios de correccin a realizar individualmente. - Socializacin de los resultados en grupo. El abordaje de la capacitacin de los Componentes de lectura (Cuadernillo de Registro y Cuadernillo del Encuestado) se hizo de manera diferente, dado la especificidad de la prueba. La presentacin en formato power point de los Componentes de Lectura sirvi tanto para los encuestadores como para los correctores. Sin embargo, en el caso de la capacitacin a correctores, se contemplaba adems los aspectos relativos a la asignacin de puntaje del Cuadernillo del Encuestado, instrumento corregido exclusivamente en gabinete. La capacitacin de Componentes de lectura actividades: - Revisin de los instrumentos. - Presentacin de las reglas generales de asignacin de puntajes y ejemplos correspondientes. - Simulacin de la administracin seccin por seccin por parte de los instructores frente al grupo que asignaba puntaje en tiempo real. - Retroalimentacin y sesin de preguntas. - Simulacin de la administracin del Rotafolio en su integralidad por parte de los instructores frente al grupo que asignaba puntaje en tiempo real. Retroalimentacin y sesin de preguntas. abarc las siguientes
41
Cabe destacar que la capacitacin a correctores se realiz previamente a la de los encuestadores, lo que permiti reajustar ciertos aspectos de la capacitacin y de la presentacin en power point. 2.4.3. Capacitacin a digitadores La capacitacin a digitadores se realiz en el centro de Operaciones LAMP paralelamente a la recoleccin de datos, con una duracin de dos das y participaron de ella 6 digitadores, funcionarios del MEC. La capacitacin estuvo a cargo de los programadores de la aplicacin informtica LAMP y se desarroll en dos fases: a. Fase I. Actividades tericas, consistieron en: - Analizar los manuales de todos los instrumentos. Cada manual provea una descripcin de la utilizacin y del funcionamiento del software de captura de datos, con las diferentes opciones y explicaciones para la resolucin de errores segn pantalla de instrumento. - Familiarizar a los digitadores en la utilizacin prctica del software y diferentes pantallas de los instrumentos. Adems, a modo de soporte, cada uno dispona de los manuales, hojas de asignacin de puntaje o cuadernillo de registro correspondiente. - Realizar una lectura previa y exhaustiva del Cuestionario de Antecedentes, as como prestar una atencin particular a los saltos y consistencias entre una pregunta y otra. - Analizar las diferentes secciones del Cuadernillo de Registro para poder detectar los errores de relevamiento de datos y agilizar la digitacin del instrumento. b. Fase II. Actividades prcticas, consistieron en: - Practicar la captura de datos del Cuestionario de Antecedentes, con CA completados durante los pre-test. - Practicar la captura de datos de los instrumentos cognitivos directamente con las hojas de asignacin de puntaje de los primeros das del operativo. 2.4.4. Capacitacin a codificadores La capacitacin de los crticos codificadores a cargo de la Jefa Codificadora se desarroll en dos das.
Se proporcion a la Jefa Codificadora indicaciones previas sobre el manejo y llenado del instrumento as como un ejemplar del Manual del Encuestador que presentaba en forma detallada las diferentes secciones del CA. Durante la capacitacin de los codificadores, se revis en un primer tiempo el manual del crtico-codificador, explicando los diferentes pasos a seguir en esta etapa del proceso LAMP. A continuacin se procedi al anlisis del CA, enfatizando los siguientes campos: Seleccin de personas, mdulo y cuadernillo. Fecha de nacimiento. Nivel educativo. Ocupacin principal y rama de actividad del encuestado/a.
Se examinaron tambin las preguntas y los saltos donde prestar una particular atencin para poder detectar las eventuales inconsistencias. Posteriormente, se propusieron ejercicios de crtica y codificacin de CA completados de manera a agilizar su prctica en el manejo del instrumento, del manual del crtico-codificador, de las listas de cdigos a ser empleados, y de los clasificadores internacionales: Clasificacin Internacional Uniforme de Ocupaciones (CIUO-08) y la Clasificacin Internacional Industrial Uniforme (CIIU-Revisin 4). Respecto a este ltimo punto, las actividades de prctica del taller permitieron problematizar los distintos casos a ser encontrados en la parte relativa a ocupacin principal y rama de actividad. 2.5. Recoleccin de datos El operativo de campo se llev a cabo del 17 de marzo al 9 de abril del 2010 (19 das incluyendo algunos sbados y domingos). La recoleccin de datos fue realizada por equipos, cada uno compuesto por 1 supervisor, 3 encuestadores (24 en total) y un chofer. En el Anexo A se describen las tareas y responsabilidades de los supervisores y encuestadores encargados del operativo de la prueba piloto. Cada equipo de trabajo tuvo a su cargo 9 10 USM y cada encuestador deba completar 23 casos aproximadamente. Se estim 1,5 das por USM segn el cronograma acordado. El desarrollo de todo el trabajo de campo fue monitoreado por la Coordinacin Tcnica Nacional en concordancia con el diseo establecido en el INP, a efectos de asegurar el cumplimiento de las normas y pautas estandarizadas en los manuales y guas. Cabe mencionar que el personal de campo estaba constituido en su gran mayora por funcionarios del MEC, por lo cual se decidi aumentar el
nmero de equipos para disminuir el periodo de recoleccin de datos frente a la necesidad de disponer de los recursos humanos en sus respectivos lugares de trabajo. Esto aceler el proceso del trabajo de campo, sin embargo, la corta duracin de la recoleccin de datos dificult el monitoreo y la retroalimentacin. Es as que cuando los encuestadores y supervisores afianzaron sus competencias, la prueba piloto ya estaba en su etapa final.
2.5.1. Organizacin y logstica del trabajo de campo a. Centro de Operaciones
El Centro de Operaciones LAMP se instal en la Direccin General de Educacin Permanente de Adultos del MEC, un mes antes del inicio del trabajo de campo. En este espacio se llevaron a cabo las siguientes actividades: - Capacitacin de los diferentes equipos del LAMP. - Instalacin de los equipos de correctores, codificadores digitadores, as como la oficina de la Coordinacin Central. y
- Organizacin de aspectos logsticos y administrativos relativos a la recoleccin de datos: entrega de viticos y combustibles, reposicin de materiales e instrumentos faltantes, entrega y recepcin de sobres de casos por parte de los supervisores, etc. - Organizacin de las respectivas retroalimentaciones al personal de campo. - Resolucin de asuntos inherentes a la aplicacin de la encuesta: toma de decisiones respecto a la eleccin de estrategias alternas para obtener la tasa de participacin esperada, opciones para llegar a los lugares geogrficos de difcil acceso, medidas de seguridad en los barrios de mayor riesgo, coordinacin con las instituciones locales (comisaras, iglesias, municipalidad, entre otros). El trabajo de campo implic un importante esfuerzo de logstica y organizacin, como preparacin de planillas de control, de sobres de casos 11, de materiales y tiles, asignacin de vehculos, distribucin de cupos de combustibles, pago de viticos al personal de campo, etc.
11
Cada sobre de casos contena los siguientes documentos oficiales: una carta de presentacin firmada por el Ministro de Educacin y Cultura, un trptico, una calcomana Vivienda encuestada, dos notificaciones de visita, un CA, un mdulo filtro con su hoja de asignacin de puntaje. IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa 44
b. Comunicacin telefnica
Se entreg a cada participante interviniente en el trabajo de campo un chip telefnico y tarjetas prepagas. La suscripcin nueva permita elegir un nmero de telfono para comunicarse una hora por da de forma gratuita. Los encuestadores eligieron el nmero de su supervisor/a. Los supervisores eligieron el nmero de su fiscalizador/a.
Este procedimiento result satisfactorio, aunque la compaa telefnica no tena cobertura en ciertas zonas del pas. Tomando en cuenta que la encuesta principal cubrir zonas ms alejadas, resulta fundamental asegurarse del alcance de la cobertura proveda por la empresa telefnica a fin de poder monitorear correctamente el trabajo de campo y atender cualquier necesidad que surja. c. Cartografa y sobre de casos
Los supervisores se reunieron con su equipo de encuestadores para preparar las carpetas de los diferentes planos cartogrficos y todos los sobres de casos por USM. En cada sobre, se adhiri una etiqueta que se complet con las informaciones pertinentes del Resumen de Aplicacin del Cuestionario de Antecedentes (ID del equipo, del supervisor, del Encuestador, localizacin de la vivienda, Cuadro de cdigos de situacin final de los instrumentos, etc.) d. Vehculos y choferes
Como contraparte institucional, el MEC y la DGEEC pusieron a disponibilidad del operativo de campo 5 y 3 vehculos con chferes, respectivamente. Adems, se cont con 2 vehculos adicionales del MEC durante la primera semana para los fiscalizadores y observadores. Los supervisores fueron responsables de la administracin de los cupos de combustible que se les entregaba en funcin de la hoja de ruta presentada y conforme a las distancias a ser recorridas. Puesto que la movilidad de los equipos de trabajo hasta las viviendas seleccionadas garantiza que el relevamiento de datos pueda efectuarse en los tiempos planificados, resulta imprescindible poder contar con un vehculo en buen estado por equipo durante todo el operativo de campo, en particular para las zonas de ms difcil acceso. Adicionalmente, se vio la necesidad de contar con el mismo chofer durante todo el operativo para garantizar su involucramiento y evitar eventuales contingencias.
45
2.5.2. Estrategia para minimizar la tasa de no respuesta La estrategia implementada para la minimizacin de la tasa de no respuesta tuvo como objetivo principal informar a la poblacin sobre la realizacin del estudio piloto LAMP y sensibilizarlos positivamente hacia este importante emprendimiento para el pas. La estrategia de difusin y promocin de la encuesta se convirti en un aliado decisivo para lograr las metas propuestas por el estudio piloto, teniendo en cuenta que la promocin del estudio busc propiciar la participacin ciudadana, minimizar la tasa de no respuesta y, sobre todo, concienciar a la sociedad y a los tomadores de decisin acerca de la importancia de disponer en Paraguay de informacin y datos confiables sobre los niveles de alfabetizacin de la poblacin. La estrategia de difusin y sensibilizacin no tuvo una cobertura en todos los medios de comunicacin por los siguientes motivos: - Carcter piloto de la prueba. Dado que la prueba no pretenda difundir resultados sobre la distribucin de niveles de alfabetizacin, se prefiri no crear demasiadas expectativas al respecto. - Recursos financieros disponibles limitados. Sin embargo, se realiz una serie de acciones que tuvieron un impacto positivo para acceder a los hogares y hacer partcipe a los ciudadanos en esta iniciativa sin precedentes en el pas. Por otra parte, se puso a prueba las estrategias utilizadas, permitiendo evaluar las necesidades en trminos de difusin y comunicacin de cara al estudio principal. a. Campaa de concienciacin pblica Se realizaron las siguientes actividades orientadas a concienciar a la ciudadana en general: - Elaboracin de afiche y trptico con informacin del LAMP, poblacin destinataria, objetivos nacionales del programa, fechas de realizacin del estudio piloto, descripcin de los niveles de alfabetismo y de los instrumentos a ser aplicados, informaciones acerca de la utilizacin de los resultados y tipo de usuarios, instituciones responsables del Programa. El afiche y el trptico proporcionaban tambin el nmero telefnico del Centro de Operaciones del LAMP para brindar informacin al pblico. - Distribucin de trpticos y afiches en los distritos seleccionados para la aplicacin de la prueba piloto en los lugares de mayor afluencia de personas.
- Habilitacin de un nmero telefnico de atencin al pblico en el Centro de Operaciones. - Conferencia de prensa de presentacin del LAMP a cargo de las autoridades del MEC, de la OEI y de la DGEEC, y distribucin de los materiales de difusin a los medios de prensa presentes. - Lanzamiento oficial del trabajo de campo con la presencia de las autoridades del MEC, de la OEI y de la DGEEC y de los medios de comunicacin (prensa, televisin y radio) el 17 de marzo de 2010. Difusin de la noticia en los diarios de mayor circulacin en el pas; en canales televisivos y en diversas emisoras de radio. - Confeccin de remeras LAMP para el personal de campo para su identificacin y facilitar as el acceso a los hogares. - Elaboracin de gacetillas a lo largo de la etapa preparatoria, que fueron distribuidas a los medios de masivos de comunicacin, especialmente para el lanzamiento y la clausura oficial del operativo de campo. - Participacin de autoridades del MEC y del Coordinador Nacional en un programa de televisin de gran audiencia durante el operativo de campo. - Publicacin on line del Informe Nacional de Planeacin en las pginas webs del MEC (http://www.mec.gov.py) y de la OEI (http://www.oei.org.py/idie.v2/html/estudios1.html). - Presentaciones del Ministro de Educacin y Cultura a las autoridades nacionales de los siguientes estamentos: Presidencia de la Repblica, Parlamento Nacional, Ministerio de Justicia y Trabajo, y Ministerio de Industria y Comercio. - Publicacin de reseas en el portal de la OEI-IDIE (http://www.oei.org.py/idie.v2/html/noticias.html) a lo largo del desarrollo de las actividades previas a la implementacin del LAMP para informar de los avances del proceso (reuniones de la CMI, del ETN, de los talleres de trabajo y resultados de las actividades). b. Estrategias participacin de contacto inicial e incentivos para la
A continuacin se describen las estrategias implementadas para facilitar el acceso a los hogares y aumentar la probabilidad de participacin. Envo de una carta oficial dirigida al Comandante de la Polica Nacional antes del inicio de la recoleccin de datos para su amplia difusin en las comisaras locales de los distritos a ser visitados y el
acompaamiento correspondiente de la Polica Nacional en caso de ser necesario, en especial en las zonas consideradas ms sensibles y riesgosas. Visita a municipalidades y comisaras durante el operativo: al llegar al distrito seleccionado, los supervisores y/o fiscalizadores visitaban las respectivas municipalidades y comisaras para entregar los afiches y trpticos del Programa y brindar informacin suplementaria acerca del desarrollo del trabajo de campo. Cabe destacar que si bien no se visitaron todas las municipalidades y comisaras, esta estrategia result interesante para respaldar el trabajo de los encuestadores y brindar ms confianza a los encuestados. Provisin de alimentos durante la administracin de la entrevista: considerando la duracin de la encuesta y el uso de la grabadora, se ofrecieron golosinas a los nios presentes en el hogar, de modo a disminuir las interferencias durante la entrevista; y otros comestibles (chips y galletitas) para los encuestados con el fin de evitar interrupciones. Provisin de lentes de lectura para realizar los ejercicios de los cuadernillos de tareas: durante los primeros das varios encuestados, por lo general personas mayores de edad, manifestaron tener problemas visuales o cansancio de vista. Por este motivo, se consider propicio proveer a cada equipo de trabajo lentes de lectura con graduacin estndar en caso de que el encuestado lo necesitaba y solamente si se senta cmodo con ellos. Al respecto, se orient a los encuestadores a tomar las medidas higinicas correspondientes. Sorteo de computadoras porttiles: los encuestados que completaban la entrevista recibieron un cupn para participar del sorteo de dos computadoras porttiles. 2.5.3. Desarrollo del trabajo de campo Durante la recoleccin de datos, los encuestadores visitaron las viviendas seleccionadas, se presentaron utilizando su credencial, explicaron el motivo de su visita, entregaron la carta oficial firmada por el Ministro de Educacin y Cultura, as como los materiales informativos LAMP. En caso de que el encuestador no haya logrado contactar con ningn miembro del hogar o con la persona seleccionada, dejaba en la vivienda un aviso de notificacin de visita. Cabe destacar que la entrega de los materiales alusivos a la encuesta y la credencial del encuestador facilit el acceso al hogar.
Una vez seleccionada la persona y concretada la entrevista, se administraron los instrumentos siguiendo el flujo de la entrevista y los estndares de aplicacin. Cada componente de la encuesta LAMP fue administrado utilizando el mtodo Entrevista Papel y Lpiz (PAPI) a travs de una visita personal, sin intervencin de terceros, a excepcin del llenado del CA, donde algunos encuestados recibieron ayuda de un miembro mejor informado del hogar para los tems relacionados a las condiciones socioeconmicas. 2.5.3.1. Aspectos positivos del trabajo de campo
Es pertinente mencionar el estado de avance detectado en el desarrollo del trabajo de recoleccin de datos: - En la medida en que se ejercit la aplicacin, los encuestadores y supervisores adquirieron mayor capacidad para el manejo de los cuestionarios e instrumentos, del cronmetro y de la grabadora. - Mejor habilidad en la interaccin entre encuestador- encuestado, es decir, que de una aplicacin mecnica, estricta, de lectura textual y completa de la batera de instrumentos, se pas a un intercambio fluido y contextualizado que permiti ganar la confianza del encuestado y, consecuentemente, obtener informacin de mayor calidad. Tambin, se pudo notar que este aspecto permiti acortar el tiempo de aplicacin de la encuesta. - Adecuacin de los encuestadores a las diferentes circunstancias presentadas durante la realizacin del trabajo de campo. - Compromiso de los encuestadores y supervisores, predisposicin hacia el trabajo realizado, confianza para la presentacin a los miembros del hogar seleccionado y creatividad para implementar estrategias de persuasin al encuestado a fin de lograr su cooperacin. 2.5.3.2. Dificultades encontradas durante el trabajo de campo
A continuacin se sintetizan los contratiempos y las situaciones surgidas durante el relevamiento de datos que dificultaron alcanzar el nmero de casos completos previsto segn el INP: - Dificultades relacionadas con la disponibilidad y cooperacin de las personas seleccionadas: especficamente esta situacin se present en los distritos de San Lorenzo, It y Villa Elisa, que son distritos
aledaos a Asuncin, constituidos en su mayora por hogares dormitorios de los trabajadores del rea metropolitana. Los hogares de estratos socioeconmicos medios y altos tambin constituyeron una dificultad adicional considerando la alta tasa de rechazo resultante. De hecho estas circunstancias retrasaron el cronograma de trabajo y obligaron a replantear la estrategia de contacto y obtencin de encuestas completas. - Problemas para aplicar correctamente la definicin operacional de miembro del hogar y hacerla comparable con la definicin utilizada en los operativos nacionales: una de las situaciones que confundi tanto a los supervisores como a los encuestadores fue la aplicacin homognea de los criterios de inclusin/exclusin de miembros del hogar, por ejemplo, el caso de los trabajadores temporales que no duermen la mayor parte de la semana en sus hogares (camioneros, peones de estancia, trabajadores de empresas agroganaderas, etc.). - Problemas climatolgicos: debido a las intensas lluvias cadas durante una semana del trabajo de campo fue necesario reprogramar las visitas a algunos distritos intransitables por va terrestre, lo cual alter el cronograma de trabajo elaborado inicialmente. 2.5.4. Entrevista e instrumentos La aplicacin de la encuesta LAMP se inicia con un Cuestionario de Antecedentes, seguido por pruebas cognitivas organizadas en subconjuntos o mdulos de aplicacin selectiva (Mdulos A y B), de acuerdo con un procedimiento de seleccin aleatoria realizado en el terreno. Esta situacin determina la complejidad para su administracin y el nivel de destreza y preparacin que debe tener el encuestador, as como la red de controles que debe ser implementado para asegurar la calidad de la informacin colectada. Es preciso diferenciar las actividades concernientes a la entrevista como conjunto total de aquellas que corresponden a cada instrumento para manejar adecuadamente las distintas fases del proceso. En este apartado se analizan por separado los aspectos que se relacionan con la entrevista y con cada instrumentos con base en la experiencia piloto en Paraguay. 2.5.4.1. La entrevista
a. Gestin del flujo Para gestionar el flujo de la entrevista, se dispuso de soportes de aplicacin destinados a facilitar la administracin del conjunto de instrumentos y que
permitieron monitorear y evaluar las distintas etapas de este proceso: la etiqueta del sobre de casos, el resumen de aplicacin contenido en la portada del CA, la seccin INTRO del CA, el manual de procedimientos, entre otros. La experiencia piloto identific algunos aspectos que seran oportunos mejorar en estos documentos para mejorar la gestin y el control del flujo de la entrevista. b. Secuencia de la entrevista Es necesario examinar la secuencia de la entrevista en su conjunto para poder analizar los fenmenos que surgen durante la aplicacin de las pruebas, tanto en la interaccin entre los principales actores como en la reaccin de los encuestados ante el instrumento, y dems factores exgenos y endgenos al proceso. Respecto a la secuencia de la entrevista en Paraguay se pudo constatar que: - El inicio de la entrevista con la aplicacin del CA represent una etapa muy prolongada antes de aplicar las pruebas cognitivas. - Los instrumentos del Mdulo A no se organizan por nivel de dificultad, consecuentemente algunos encuestados con muy bajas competencias en alfabetizacin no llegaron a completar el instrumento de menor nivel de dificultad (ltimo de la secuencia) por interrupciones o rechazo luego de haber intentado administrarles el Filtro y el Localizador. - La ubicacin del Localizador en la secuencia del flujo de la entrevista correspondiente al Mdulo A fue cuestionada por el personal de campo. - La mezcla de pruebas PDN y Componentes de lectura en un mismo mdulo supone un cambio metodolgico tanto para el encuestador como para el encuestado pues los instrumentos PDN son autoadministrados mientras la mayora de las secciones del Rotafolio se aplican oralmente. En ese sentido, la interaccin entre los actores se altera. c. Idioma de aplicacin Pese a que el idioma de aplicacin seleccionado en Paraguay era el castellano, en el trabajo de campo los encuestadores utilizaron el guaran en varias situaciones durante la aplicacin como se describe a continuacin: - Primer contacto con los hogares, presentacin del propsito de la encuesta, interacciones entre el encuestado y encuestador, despedida, etc.
- Aplicacin del CA en guaran, de acuerdo con la autorizacin del UIS, solicitada por la Coordinacin Tcnica, al considerar la situacin lingstica del pas antes descrita. Para ello se prepar una traduccin de referencia para el CA que fue distribuida a los encuestadores y supervisores. Segn los registros, slo el 24% de los encuestados solicit aclaraciones de las preguntas del CA en guaran. - Algunos encuestadores brindaron aclaraciones de las instrucciones y de las preguntas del Filtro en guaran cuando los encuestados solicitaban con insistencia, a pesar de que en las capacitaciones, los manuales, las normas y pautas se establecan que se deba utilizar nicamente el castellano para la administracin de los instrumentos cognitivos. 2.5.4.2. Instrumentos
El anlisis que se presenta a continuacin apunta a examinar los instrumentos aplicados durante la prueba piloto en los siguientes trminos: - Aplicabilidad y desafos para el estudio principal, - Reaccin del encuestado ante el tem y los instrumentos, - Interaccin encuestado/encuestador. Los aspectos mencionados se basaron por una parte en las observaciones en terreno y por la otra en la informacin resultante de un examen descriptivo de los datos obtenidos. Con ello se realizan breves consideraciones de los aspectos sealados y, en caso necesario, se aportan sugerencias de modificacin que presumiblemente podran facilitar la aplicabilidad de los instrumentos con el fin de mejorar los niveles de validez y confiabilidad de los datos indagados. a. Cuestionario de Antecedentes (CA)
Genera informacin sobre el encuestado, su familia y su entorno. Cumple una funcin integradora de la entrevista y contiene los siguientes aportes metodolgicos: - Constituye la plataforma de articulacin de la encuesta, complementada con pruebas directas de evaluacin en alfabetismo. - Contiene indicadores sobre aspectos lingsticos, trayectorias educacionales y formativas detalladas, contacto con materiales impresos, acceso a tecnologas de comunicacin, aspectos socioeconmicos, entre otros.
52
- Proporciona insumos sobre factores asociados claves para la mejor interpretacin de los resultados de las pruebas. Observaciones generales sobre la aplicacin del CA - Promedio de duracin: 31 minutos (Anexo B). - Cansancio del encuestado debido a la extensin del instrumento y la reiteracin de las preguntas, especficamente entre las secciones C1/C2, referentes a la experiencia del encuestado con materiales impresos (excluyendo las actividades de trabajo), y las secciones E7/E8 (incluyendo actividades de trabajo). El equipo tcnico nacional requiere claridad sobre el importancia especfica de disponer de informacin desagregada de estas variables en el contexto nacional; incluso se ha constatado confusiones por parte del encuestado que en algunas ocasiones manifest haber ya contestado a estas preguntas en secciones anteriores del instrumento. - Respuesta mecnica e inconsistente del encuestado, especficamente en las secciones que contienen preguntas con gran nmero de opciones de respuestas. - Incomodidad del encuestador en la administracin de algunos tems por su falta de pertinencia en ciertos contextos socioculturales. Se identificaron en terreno dificultades de diversa ndole algunas atribuibles al instrumento (saltos, inconsistencias, etc.) y otras a los actores intervinientes (falta de indagacin para consignar la respuesta correcta, respuestas asumidas, etc.). El formulario de adaptacin del CA para la encuesta principal propondr un anlisis exhaustivo de los cambios propuestos. b. Mdulo Filtro
Es una prueba de 17 preguntas diseada para discernir entre personas a las que se les aplicar el mdulo A para bajas competencias lectoras, o el mdulo B para competencias medias y altas. En la aplicacin piloto el Filtro no cumpli esta funcin, dado que la seleccin del Mdulo se realiz de forma aleatoria segn el nivel educativo del encuestado, para determinar el criterio de corte del Filtro para la encuesta principal. Observaciones generales sobre la aplicacin del Mdulo Filtro - Promedio de duracin: 23 minutos (Anexo B). - Result difcilmente aplicable a personas con fuertes limitaciones de alfabetizacin, pues su administracin supone un mnimo de competencias lectoras y manejo de nmeros. Adems, al poner de
manifiesto las limitaciones lectoras o la exclusin de contextos letrados del sujeto puede generar una situacin incmoda a los actores intervinientes. - Es la primera prueba cognitiva aplicada y constituye un cambio en la interaccin entre el encuestador y el encuestado. El encuestado tiende a solicitar orientaciones y ayuda, motivado por el hecho de que en el CA el encuestador proporcion ejemplos para que el encuestado respondiera. - La administracin oral de las instrucciones y de las preguntas abri la posibilidad del dilogo y de la induccin de las respuestas por parte del encuestador. Tambin pudo haber tenido incidencias sobre el proceso de asignacin de puntaje por parte del encuestador dado que ciertos encuestados daban la respuesta correcta oralmente pero la registraban de forma incompleta o incorrecta. Por ejemplo, en una tabla que contiene nombres de pases y cantidades de produccin correspondientes de un determinado producto n, el encuestado subray la cantidad de produccin n en vez del nombre del pas, aunque mencion oralmente el nombre del pas (Item PF00003). - Ciertos encuestados manifestaron tener problemas visuales y se quejaron del tamao de las letras utilizado en algunos ejercicios. - La necesidad de realizar correcciones en el terreno plantea una ruptura en la interaccin y supone una responsabilidad adicional a cargo del encuestador. c. Mdulo Localizador Mdulo A
El Localizador, cuya administracin se realiza despus del Mdulo Filtro, constituye el primer instrumento aplicado dentro del Mdulo A, comprende 18 preguntas y permite suplementar en mayor detalle la informacin obtenida del filtro y determinar con mayor precisin la ubicacin del encuestado respecto a los niveles inferiores de competencias (UIS, 2009). Observaciones generales sobre la aplicacin del Mdulo Localizador Mdulo A: - Diferencias en los procedimientos de administracin del instrumento con relacin al Filtro, pues el encuestador no lee las preguntas del Cuadernillo al encuestado. - Este Cuadernillo, al igual que el Filtro, result difcilmente aplicable a personas con fuertes limitaciones de alfabetizacin. - En atencin a lo anterior, eso oblig a relajar las condiciones de aplicacin, mencionadas en el GAT, a criterio del encuestador dndole
mucha libertad. Asimismo, el encuestador peda al encuestado ojear el instrumento y realizar las tareas si poda; y pasaba a continuacin a la administracin de los Componentes de lectura. - Algunos encuestados manifestaron estar cansados o se quejaron de tener que completar otro instrumento. Teniendo en cuenta que los tems del Localizador se corrigieron en gabinete, primera y segunda correccin, las consideraciones al respecto se desarrollan ms adelante en el captulo Asignacin de puntaje. d. Componentes de lectura Mdulo A
Los componentes de lectura proponen una indagacin detallada de las competencias bsicas previas al desarrollo de la lecto-escritura, dimensin no presente en evaluaciones internacionales anteriores. Su propsito principal es brindar a los diseadores de programas y tomadores de decisin, mayor informacin sobre las habilidades lectoras de partida de las personas que requieren un mayor grado de intervencin para la formulacin diferenciada de programas de alfabetizacin y post alfabetizacin. Los Componentes de lectura abordan aspectos no considerados en otros instrumentos de observacin nacionales, ni en las dems pruebas PDN del conjunto LAMP. La versin nacional adaptada del Rotafolio de Componentes de Lectura contiene ejercicios distribuidos en 10 secciones que pretenden captar con precisin los elementos que podran explicar el bajo desempeo lector de los encuestados. Se administra de forma oral con grabacin integral de audio y algunas de las secciones estn cronometradas. El encuestador registra todas las respuestas dadas en voz alta por el encuestado en el Cuadernillo de Registro. Adems, otras respuestas se registran en el Cuadernillo del Encuestado que contiene ejercicios cronometrados a realizar en silencio. Observaciones generales sobre los Componentes de lectura Mdulo A La experiencia en campo, particularmente en la primera semana, puso en evidencia la complejidad de la administracin y de la correccin del instrumento, tareas a cargo del encuestador. - Promedio de duracin: 31 minutos (incluyendo casos incompletos o de aplicacin parcial). - La medicin oral de los Componentes de lectura que se da con la administracin del Rotafolio, implica un nuevo escenario de
55
interaccin y un cambio metodolgico con los dems instrumentos del conjunto (PDN), en los cuales se espera una respuesta escrita. - Supone el manejo de una batera de instrumentos y elementos auxiliares que complican el trabajo en el terreno (Rotafolio, Cuadernillo de Registro, Cuadernillo del Encuestado, grabadora, cronmetro), particularmente en contextos con limitada comodidad. Por consiguiente, los encuestadores debieron en varias oportunidades apelar al ingenio y administrar el Mdulo de Componentes con el Rotafolio colocado en las rodillas, con la grabadora en el suelo; en la calle, de pie, encima de una muralla, de un basurero, etc. - Las interferencias del entorno (presencia de nios y otros miembros del hogar, animales de granja y domsticos, vecinos, etc.), sumadas a la atencin requerida para desarrollar diversas tareas simultneas, aumentaron las probabilidades de que tanto el encuestado como el encuestador cometieran errores durante la administracin de este mdulo. Asimismo, estas situaciones incidieron en la asignacin de puntajes. - Supone correccin en campo en tiempo real, con criterios diferentes a los utilizados en la correccin de los instrumentos PDN. Adicionalmente, los acentos y las variaciones de lenguaje propias de la influencia del guaran en el castellano dificultaron la tarea de asignacin de puntajes a las respuestas orales. - Por todo lo expuesto, los Componentes de lectura representan el mayor desafo para la encuesta principal tanto para el acopio correcto y preciso de los datos, como para su procesamiento y posterior anlisis estadstico. Se plante la premisa de que este instrumento sera quizs ms apropiado para un diagnstico personal o para una evaluacin nica que para una medicin estadstica a escala junto con otras pruebas. Consideraciones sobre los ejercicios de componentes de lectura - Utilizan instrucciones que suponen niveles cognitivos ms elevados que los requeridos en los ejercicios de la prueba. - Algunos encuestadores se apropiaron de las instrucciones y las reformulaban con sus propias palabras acorde al contexto, para no romper el clima de confianza creado (a pesar de las normas de aplicacin definidas). - Varios encuestados reaccionaron de forma positiva ante el instrumento, pues la aplicacin de la prueba les result una actividad ldica por la diversidad de los ejercicios propuestos.
- Por ser la ltima prueba a ser administrada, algunos encuestados mostraban seales de cansancio y se deban enfrentar a instrucciones largas, complejas y reiterativas, as como ejercicios cronometrados que presuman exigencias adicionales. - As tambin el encuestador ante el desafo de aplicar la prueba ms exigente en atencin y dedicacin, pudo haber cometido errores durante la administracin y la asignacin de puntajes, especialmente en los ejercicios cronometrados. - Los ejercicios de la Seccin 9-Procesamiento de Oraciones presentaron ms dificultades para la asignacin de puntajes, pues se le exiga al encuestador efectuar dos tareas de correccin: tachar las palabras ledas de forma incorrecta y encerrar en un crculo la respuesta dada por el encuestado (V/F/NS). Se observ en algunos casos que el encuestador no alcanzaba a tachar todas las palabras incorrectas en tiempo real. - Durante la primera semana de la prueba piloto, algunos encuestadores no se aseguraron de que el encuestado haya entendido correctamente las consignas de los ejercicios del Cuadernillo del Encuestado que se administran en forma independiente y en silencio. En otros casos, no dieron las orientaciones suficientes (dar vuelta a la pgina, subrayar la ltima palabra del prrafo, etc.) para el llenado correcto de este cuadernillo. e. Cuadernillos 1 y 2 Mdulo B
Los Cuadernillos 1 (32 preguntas) y 2 (31 preguntas) del Mdulo B permiten determinar con mayor precisin la ubicacin del respondiente respecto de los niveles superiores de competencias (UIS, 2009). La administracin del Cuadernillo 1 y 2 difiere de la del Filtro pues el encuestador no lee las preguntas al encuestado. Observaciones generales sobre los Cuadernillos 1 y 2 Mdulo B - Promedio de duracin: C1: 38 minutos y C2: 42 minutos (Anexo B). - En el marco del estudio piloto, considerando que la seleccin del mdulo se realiz aleatoriamente, estos cuadernillos resultaron difcilmente aplicables a personas con fuertes limitaciones de alfabetizacin. Al respecto, el encuestador tuvo que flexibilizar las pautas de administracin del instrumento para no crear una situacin incmoda al entrevistado. - La cantidad de preguntas prolong la duracin de la prueba.
- Ciertos encuestados cuestionaron la fuente y el contenido de algunos artculos (por ejemplo en el tem MBL001). Teniendo en cuenta que los tems de ambos cuadernillos se corrigieron en gabinete, primera y segunda correccin, las consideraciones respectivas se desarrollan ms adelante en el captulo Asignacin de puntaje. 2.5.4.3. Cdigos de situacin final de los instrumentos
Los cdigos de asignacin final propuestos para la aplicacin piloto no contemplaban a las personas que declaraban no saber leer ni escribir, y consecuentemente no podan realizar ciertos cuadernillos de la entrevista. Esta situacin result problemtica desde la aplicacin del Filtro pues exista un riesgo potencial a perder el caso. Por este motivo, durante la encuesta piloto, el equipo tcnico propuso crear un nuevo cdigo 00 para las personas con serias dificultades en alfabetismo con el fin de justificar la alteracin de la administracin de los instrumentos del Mdulo A o la interrupcin de la encuesta si sala seleccionado para completar el Mdulo B. Sin embargo, no se adopt este cdigo y se resolvi flexibilizar las pautas de administracin, para completar los casos. Finalmente, el equipo tcnico de Paraguay cre un cdigo de interrupcin 41 para aquellos encuestados que declararon no poder realizar secciones del Rotafolio por sus bajas competencias en lectura, para poder discernir estos casos considerados completos de aquellos que fueron interrumpidos por otras razones voluntarias e involuntarias contabilizados como parcialmente completos. 2.6. Asignacin de puntajes El trabajo de correccin se inici el 22 de marzo del 2010 y finaliz el 30 de abril del 2010. El equipo encargado de la correccin de los tems de la prueba piloto LAMP, fue conformado por un corrector Jefe y 6 correctores. En el Anexo C, se describen los perfiles y responsabilidades de los correctores. El proceso de correccin de los instrumentos cognitivos del LAMP sigui las Reglas generales y guas de asignacin de puntaje proporcionadas por el UIS con el fin de asegurar la comparabilidad de la asignacin de puntajes a nivel nacional e internacional. Por otra parte, se control la aplicacin correcta y consistente de las reglas de asignacin de puntaje, identificando oportunamente los tems que presentaron dificultades y los correctores con
bajo nivel de consistencia; detectando los problemas relacionados con las instrucciones de las guas de asignacin de puntajes, y solucionando los casos de discrepancias. Los correctores trabajaron coordinadamente con el Corrector Jefe con el propsito de discutir casos difciles, compartir experiencias y resolver inconsistencias que se presentaron durante el proceso de asignacin de puntajes. Cabe sealar que el equipo corrector pudo contar con el apoyo del UIS para resolver las dudas que surgieron del campo a lo largo del proceso. 2.6.1. Procedimientos para la correccin de instrumentos Este apartado describe brevemente los aspectos observados y las soluciones adoptadas durante el proceso de correccin de los instrumentos. a. Correccin del Mdulo Filtro Se realiz la doble asignacin de puntajes en gabinete para el 100% de los casos corregidos en el campo por el encuestador. La correccin y la captura de datos del Filtro se realizaron en forma casi paralela de modo que los resultados del primer y segundo corrector puedan ser comparados con un desfase mnimo de tiempo. A partir del anlisis de las discrepancias, se trataron los aspectos ms relevantes durante reuniones de retroalimentacin que se realizaron durante el trabajo de campo, con los encuestadores, supervisores, correctores y coordinadores en presencia del especialista del LAMP del UIS Montreal para recordar los criterios de asignacin de puntajes a ser aplicados. b. Correccin Cuadernillo Localizador - Mdulo A Se realiz una doble correccin de los tems de este cuadernillo para 100% de los casos por los correctores en la oficina del CO. La correccin de este instrumento no ha generado mayores inconvenientes. c. Correccin del Rotafolio/Cuadernillo de Registro - Mdulo A Los tems de esta prueba fueron corregidos primeramente por los encuestadores en tiempo real, durante la administracin en campo. La segunda correccin del 20% del total de las grabaciones, se realiz en las oficinas del CO, por los correctores. La doble correccin, que se realiz a partir de la grabacin de la prueba, permiti observar ciertos errores de administracin del instrumento en campo. Asimismo, ante las dificultades que se detectaron la primera semana de trabajo de campo para la administracin de este instrumento, se decidi
proceder a la doble correccin del 100% de las pruebas de la primera semana. Adems se organizaron dos reuniones de retroalimentacin que se realiz con todos los encuestadores y supervisores durante el trabajo de campo para monitorear la administracin y la correccin del instrumento y subsanar los errores recurrentes que se describen en este apartado . Se presentan las siguientes observaciones consideradas pertinentes para ajustar el proceso de asignacin de puntajes de la encuesta principal: Seccin 1. Vocabulario Esta seccin propone dibujos lineales que el encuestado debe identificar de forma oral, contestando a la pregunta Qu es esto? mide el vocabulario oral bsico de las personas encuestadas. El cuadernillo de registro contiene las respuestas a ser consideradas correctas entre parntesis. Asimismo se registraron como incorrectas algunas respuestas que no estaban indicadas entre parntesis pero que hubieran podido ser consideradas como opciones correctas12. La mayor cantidad de respuestas incorrectas fue registrada para aquellos estmulos que tienen un bajo nivel de familiaridad para la poblacin adulta evaluada por no formar parte del contexto local de algunos encuestados. El equipo tcnico tiene expectativas a cerca de la posibilidad de analizar estos tems, as como su funcionamiento diferencial respecto a su desempeo frente de los distintos pases, y proponer otros estmulos en caso de que fuese necesario13(Linacre, 2008). Por otra parte, a travs de la grabacin de audio: se pudo detectar errores de administracin de esta seccin: - En algunos casos, el encuestador ha saltado unos tems durante la administracin de esta seccin. En ese sentido se sugiere aadir un cdigo para los errores de administracin para no perjudicar o favorecer al encuestado14. Asimismo, se considera indispensable, en esta seccin, que el encuestador repita ante cada imagen la expresin Qu es esto? o variantes como y esto? para que el segundo
12 13
Esta seccin fue revisada por el UIS y propone un nuevo formato para el estudio principal. El funcionamiento diferencial (DIF) indica que un tem se localiza en una posicin ordinal diferente, dentro de la escala de dificultad, respecto de otro grupo de entrevistados. Por ejemplo, un tem que se ubica como el segundo ms difcil para un pas dentro de un conjunto de 20 tems y en cambio se localiza como el dcimo ms difcil para otro pas, claramente muestra un funcionamiento diferencial entre estos dos pases. Ntese que no estamos interrogando el valor absoluto de la dificultad del tem pues es necesario que haya varianza en la informacin e tems ms difciles que otros para entender los diferentes niveles de la poblacin en alfabetizacin. En cambio, s podramos interrogar que esta dificultad relativa sea distinta entre un pas y otro. 14 Cabe sealar que para la encuesta principal, el UIS incorpor un cdigo para los errores de administracin. IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa 60
corrector pueda determinar si el tem fue correctamente administrado o saltado por error. - Ante el silencio del encuestado o despus de la respuesta errada dada por el encuestado, a veces, el encuestador proporcionaba la respuesta correcta al encuestado en los tems posteriores a aquellos utilizados como ejemplos. Seccin 3. Identificacin rpida de nmeros /Seccin 6. Identificacin rpida de letras (secciones cronometradas de 20 segundos) Estas secciones cronometradas miden la fluidez de los encuestados en el reconocimiento de elementos alfanumricos. Durante la primera semana, se detect por medio de la grabacin, en algunos casos que el encuestador no respetaba el tiempo indicado 20 segundos y/o no le indicaba al encuestado que poda volver a empezar la lista cuando sobraba tiempo. Seccin 4 y 5. Identificacin de letras en minscula y mayscula Estas secciones piden al encuestado asociar la letra al smbolo impreso. Los criterios de asignacin de puntajes se modificaron durante la primera semana pues no se haban contemplado las diferentes opciones posibles. A modo de ejemplo, se consideraron como correctas pronunciaciones de fonemas como: /ke/ por Q; /gue/ por G, considerando que el encuestado haba reconocido la letra de forma correcta. Se propone indagar ms sobre estos aspectos para definir mejor los criterios de asignacin de puntaje a adoptar para la encuesta principal. Seccin 7. Reconocimiento de palabras Esta seccin mide la habilidad del encuestado para reconocer palabras frecuentes. Se consider incorrecto cuando el encuestado agreg innecesariamente algunas letras intermedias o finales a las palabras. y cuando no se respet la acentuacin en el caso de que fuera discriminatoria y que incidiera sobre el significado de la palabra En cambio, se consideraron correctas las palabras con falta de acentuacin si stas no se prestaban a confusin con otras palabras. Se consider la respuesta como correcta cuando el encuestado lea la palabra, y omita la consonante final s, n o d o las intermedias de las mismas letras, por ser una tendencia observada en los guaran hablantes.
Este fenmeno se podra explicar en parte al hecho de que el idioma guaran presenta una estructura silbica abierta: consonante-vocal o vocal sola, sin palabras que terminen en consonante (M.G Pereira Jacquet, 2009) y por el contexto socio lingstico del sujeto. Con vistas a la encuesta principal, es indispensable indagar y discutir ms sobre las modificaciones fonolgicas de los enunciados en castellano producidos por la poblacin adulta en Paraguay, especialmente por los guarans hablantes, a fin de determinar con precisin los criterios de asignacin de puntajes. Seccin 8. Reconocimiento rpido de palabras Lista de la prueba (seccin cronometrada de 120 segundos). Durante la primera semana, se detectaron en algunos casos que el encuestador no respetaba el tiempo establecido y/o no le indicaba al encuestado que poda volver a empezar la lista cuando sobraba tiempo. Seccin 9. Procesamiento de oraciones de los Conjuntos 1 al 5 Esta seccin determina si el encuestado puede entender el significado de una oracin. La grabacin audio de esta seccin dificult a veces la correccin en gabinete pues algunos encuestados contestaron con un gesto y no en voz alta. Era necesario que el encuestado responda en forma audible para que facilite la doble correccin, de lo contrario, el segundo corrector no poda asignar puntaje. Seccin 10. Lectura de prrafos. Oraciones 1-2 y Prrafo 1 Esta seccin requiere que el encuestado lea un prrafo y elija entre dos opciones la palabra con ms sentido en la oracin. Este ejercicio present dificultades de correccin a raz de que muchos encuestados no seleccionaban una de las palabras sino lean ambas. Asimismo ante la cantidad de casos detectados donde mostraban claramente que el encuestado no haba comprendido la consigna, se cre un cdigo. para distinguir esta situacin de las otras respuestas15.
15
A raz de los resultados de los estudios pilotos de los diferentes pases, el UIS modific la estructura de los ejercicios de esta seccin. IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa 62
Cuadernillo del Encuestado Los ejercicios de este Cuadernillo eran cronometrados y se realizaban en silencio. Los encuestadores no asignaban puntajes a estos ejercicios. Se corrigieron la totalidad de los cuadernillos en gabinete y se realiz la doble correccin de 20% de las pruebas. - Los errores de administracin fueron ms recurrentes con el Cuadernillo del Encuestado por ser auto administrado y por ende escapan al control del encuestador en algunos casos. Por ejemplo, no se asegur que el encuestado haba entendido la consigna, se interrumpi al encuestado al cabo de 60 segundos en vez de 120 segundos y daba por terminada la seccin. Cabe destacar que el UIS decidi incorporar al Rotafolio los ejercicios contenidos originalmente en este cuadernillo. d. Correccin de Cuadernillos 1 y 2 - Mdulo B - Se realiz una doble correccin de los tems de este cuadernillo para 100% de los casos por los correctores en la oficina del CO. La correccin de este instrumento no ha generado mayores inconvenientes. - Se detect una inconsistencia entre la instruccin del tem PMBL003 y los criterios de asignacin de puntajes de la gua de correctores. 2.6.2. Informes comparativos de asignacin de puntajes Con vistas a poner a prueba los estndares de la encuesta principal, y tal como se defini en el Manual de Procedimientos de asignacin de puntajes, se busc una consistencia de 97% entre los Correctores. La Tabla 2 presenta el porcentaje de consistencias e inconsistencias entre el primer y segundo corrector por instrumento PDN en la que se observa que el Filtro present el mayor porcentaje de discrepancias entre el Corrector 1 (encuestador) y el Corrector 2 (corrector). Sin embargo, la doble correccin de estos cuadernillos en los primeros das de trabajo de campo permiti identificar los tems que causaban dificultades para la asignacin de puntajes, y los correctores 1 que tuvieron menor desempeo. Se organizaron 2 reuniones de retroalimentacin la primera semana de trabajo de campo y se realiz un monitoreo de la correccin de las pruebas en terreno por parte de los supervisores y coordinadores.
63
Tabla 2. Nmero y porcentaje de consistencias e inconsistencias entre correctores, segn instrumentos Instrumento Filtro Localizador Cuadernillo Registro Cuadernillo 1 Cuadernillo 2 Consistencia Abs. 9587 5040 Sin dato 99,52 97,76 98,38 2749 2486 % 97 98,94 Inconsistencia Abs. 324 54 Sin dato 33 63 41 0,48 2,24 1,62 6860 2812 2527 % 3 1,06 Total corregido 9911 5094
Cuadernillo Encuestado 6827
Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboracin propia.
Tambin se elaboraron tablas de los tems segn instrumentos con mayores discrepancias entre el corrector 1 y 2. El anlisis de las tablas y de las discrepancias permiti detectar los tems que presentaron dificultades en el proceso de asignacin de puntajes, as como otros aspectos a ser considerados para la adaptacin de los instrumentos y manuales; y la capacitacin de la encuesta principal. Se pueden destacar las observaciones siguientes: - Para el Mdulo Filtro, en trminos generales, las discrepancias de asignacin de puntajes entre correccin en campo y gabinete podran estar relacionadas, en alguna medida, con la caracterstica de los registros de respuestas de los instrumentos PDN, que estn planteados como preguntas abiertas. Lo expresado alude a las discrepancias observadas en algunos tems en especial, a partir de respuestas ambiguas o incompletas de parte de los encuestados. Se cita como ejemplo el tem PF004 del Filtro: El encuestado respondi encerrando en un crculo la produccin (en miles de toneladas) y no los nombres de pases a que hace referencia la pregunta. El primer corrector pudo registrar la respuesta como correcta y el segundo como incorrecta. Se podra explicar en parte por el hecho de que durante la aplicacin en terreno, ciertos encuestados dan la respuesta correcta en voz alta pero marcan slo el dato que les permiti encontrar la respuesta correcta. - En el caso del Mdulo Filtro, se detectaron algunas inconsistencias entre las guas de asignacin de puntajes de los correctores y las
64
guas de tareas (GAT) de los encuestadores que podran explicar ciertas discrepancias. - Las preguntas abiertas donde se espera una descripcin, una justificacin, etc., especficamente en los cuadernillos 1 y 2 del Mdulo B, generaron mayores dificultades para la correccin. Sera necesario analizar con mayor profundidad durante la capacitacin el rango de respuestas a considerar como correctas para la encuesta principal.
2.7. Codificacin del cuestionario de antecedentes La codificacin del Cuestionario de Antecedentes estuvo a cargo de un equipo de codificadores, integrado por tres crticos codificadores y un jefe coordinador responsable de la distribucin del trabajo, recepcin y control de cuestionarios, as como de la supervisin y verificacin del trabajo de los crticos codificadores. El equipo de codificadores contaba con experiencia en encuestas y censos, y fueron previamente capacitados especficamente sobre el CA del LAMP. Se elabor un registro de los cuestionarios recepcionados, codificados y criticados para monitorear la produccin del equipo de trabajo as como el traspaso de los CA entre el equipo de codificadores y digitadores. La primera actividad consisti en el anlisis de consistencia interna del cuestionario (verificacin de los campos marcados y/o llenados conforme a lo establecido en el Manual del Encuestador, y de los saltos de preguntas). Las preguntas correspondientes a ocupacin principal y rama de actividad fueron codificadas con los clasificadores internacionales el CIUO-88 Nmero 2 (Clasificacin Internacional Uniforme de Ocupaciones) y el CIIU Nmero 4 (Clasificacin Industrial Internacional Uniforme de todas las Actividades Econmicas). Las preguntas referentes a educacin no fueron codificadas segn CINE 97, debido a que las categoras de respuesta del CA correspondan a los niveles/grados/programas del sistema educativo nacional y que el programa de entrada de datos inclua las equivalencias al CINE-97. Para el caso de las preguntas abiertas, se procedi a la elaboracin de un listado exhaustivo de todas las respuestas consignadas en las categoras Otro (especifique), esto permiti la agrupacin de las respuestas en familias de categoras y facilit la creacin de cdigos. Los principales inconvenientes encontrados durante la crtica y codificacin estuvieron relacionados a las respuestas sobre la ocupacin principal y rama de actividad, debido a la falta de precisin en la informacin recolectada en
campo, lo cual dificult la asignacin de cdigos. Los procedimientos y acuerdos arribados por los crticos codificadores fueron registrados para estandarizar y asegurar la comparabilidad entre los datos obtenidos por los diferentes encuestadores. 2.8. Procesamiento de datos 2.8.1. Recepcin y organizacin de los cuestionarios e instrumentos La recepcin de los instrumentos estuvo a cargo de un tcnico asignado exclusivamente a esta actividad, para tal fin se dise una planilla Excel de registro, donde se sistematiz la entrega de los materiales provenientes del campo, dicho soporte facilit el monitoreo de la cobertura de la encuesta por USM, los entrevistas completas por equipo, la verificacin del cumplimiento y la distribucin de los casos necesarios para satisfacer los estndares tcnico del LAMP en trminos de nivel de estudio y mdulos a realizar. El control de entrega de instrumentos se realiz mediante la verificacin de la Lista de control de tareas y entrega de instrumentos, en esta actividad participaban el responsable de logstica y el supervisor de encuestadores. El procesamiento de los materiales provenientes del campo se organiz de la siguiente manera: - Separacin de instrumentos por lotes. - Organizacin de los lotes de instrumentos segn USM, para los diferentes destinatarios (codificadores-correctores-digitadores). - Descarga de los archivos de sonido correspondientes a la aplicacin del Rotafolio en un equipo informtico, organizados por carpeta de supervisor y dentro de ellas subcarpetas por USM. 2.8.2. Captura de datos Paraguay desarroll su propio sistema de captura de datos con una estructura compatible con el software internacional utilizado por el programa LAMP. El equipo de digitacin estuvo constituido por dos programadores que elaboraron el software y 6 digitadores. La digitacin se realiz en paralelo con la recoleccin, correccin y codificacin de instrumentos, permitiendo identificar los principales problemas en cada una de esas etapas. En total se han producido 25 bases de datos, que se clasifican de la siguiente manera: grabacin y verificacin de la primera correccin y segunda correccin del Filtro, del Localizador, de los Cuadernillos 1 y 2, del Cuadernillo de Registro y Cuadernillo del Encuestado de componentes de lectura y la base de datos
del Cuestionario de Antecedentes. Cabe aclarar que se entiende como verificacin, a la segunda grabacin independiente de cada correccin. 2.8.3. Descripcin de la base de datos y registros Se elabor un diccionario de la base de datos conforme al software desarrollado en Paraguay y fue remitido al UIS para fines comparativos. Este diccionario de base de datos fue utilizado para el procesamiento y anlisis de los datos de la prueba piloto a nivel nacional. Adems, se realiz la migracin de los datos al formato IRL. 2.8.4. Verificacin de la captura de datos Se realiz la doble digitacin del 100% de los cuestionarios e instrumentos de evaluacin por distintos digitadores en archivos independientes, con el fin de evaluar el porcentaje de discrepancia entre digitadores y disponer de las bases de datos necesarias para el anlisis de las discrepancias entre correctores. 2.8.5. Validacin y consistencia Esta etapa consisti en la aplicacin de procesos de verificacin de consistencia de la informacin recolectada, para lo cual se llev a cabo un proceso recursivo de verificacin y retroalimentacin a los digitadores para el ajuste de la informacin en caso de existir inconsistencias. La experiencia ha demostrado que las inconsistencias simples se pueden identificar y corregir fcilmente durante el ingreso de datos. Sin embargo, los errores ms complejos de consistencia se deben resolver examinando cuidadosamente el cuestionario, dado que la correccin de una variable puede generar inconsistencias en otras. Las consignas para la consistencia de datos se establecieron con anticipacin a la captura de datos de manera a disponer de criterios claros y uniformes. En caso de duda, los digitadores consultaban con la Coordinacin Tcnica para resolver las inconsistencias. El procedimiento seguido consisti en implementar un sistema de consultas para verificar la estructura y el contenido de cada campo en cada tabla de datos. Una vez ejecutada las consultas se gener un reporte de errores entregado a los digitadores para su verificacin y correccin, as los digitadores procedan a realizar la revisin del mencionado reporte con los instrumentos respectivos, principalmente el CA, e introducan los cambios correspondientes. Este procedimiento fue reiterado una y otra vez a medida que se correga la base de datos.
2.9. Control de calidad Los procedimientos de control de calidad aplicados durante todo el proceso de la prueba piloto han sido componentes integrales de las etapas de diseo, planeacin e implementacin del estudio. 2.9.1. Control de calidad de la adaptacin de los instrumentos Con el fin de asegurar que los instrumentos adaptados no alteren la dificultad de los tems, su dominio conceptual ni el formato de los instrumentos, textos y grficos contemplados en las versiones originales en ingls; el equipo tcnico de adaptacin sigui las Reglas generales para la traduccin y adaptacin del material del LAMP y Pautas de traduccin y adaptacin del LAMP proporcionados por el UIS e ingres todos los cambios propuestos en las respectivas plantillas Excel en el Formulario de Adaptacin. Los formularios fueron remitidos al UIS para su revisin y aprobacin. Este proceso de verificacin permiti discutir las modificaciones sugeridas antes de integrarlas a los archivos PDF enviados al UIS para su aprobacin final. 2.9.2. Control de calidad de la capacitacin a encuestadores y supervisores Durante el proceso de capacitacin, los supervisores y encuestadores fueron evaluados sobre la parte terica y prctica. Estas evaluaciones permitieron, en otras cosas, poner a prueba el proceso mismo de capacitacin, detectando los aspectos a mejorar y a reforzar en la capacitacin con vistas a la encuesta principal. Por otra parte, se pidi a los mismos supervisores y encuestadores evaluar el proceso de capacitacin durante el taller de evaluacin que se organiz al finalizar el operativo de campo para considerar sus sugerencias. 2.9.3. Control de calidad de la muestra Adems de la funciones y tareas especificadas en el INP, los supervisores fueron responsables de verificar la calidad del marco muestral, seleccionando de forma aleatoria al menos una vivienda por cada USM que se encontraba en la zona a su cargo. Deban efectuar un recorrido completo de las USM durante el operativo y verificar los datos recolectados durante la actualizacin; sin embargo, esta tarea no se pudo realizar en todos los casos, debido a que los supervisores se encargaron en el terreno de asignar
los hogares a los encuestadores y observar parte o totalidad de la administracin de la encuesta, averiguando en esos casos, la correcta seleccin de los miembros del hogar. 2.9.4. Control de calidad de recoleccin de datos A objeto de garantizar la estandarizacin de la aplicacin del CA y los instrumentos cognitivos a las personas seleccionadas, los supervisores y encuestadores se comprometieron a seguir estrictamente las pautas, normas y procedimientos establecidos a nivel nacional elaborados en base a los criterios tcnicos internacionales del Programa LAMP. Para tal efecto, se entreg al personal de campo los manuales operativos, se llevaron a cabo capacitaciones intensivas y se adoptaron mecanismos de supervisin y fiscalizacin. Asimismo, se cont con la presencia de un miembro del equipo LAMP del UIS que pudo apreciar la aplicacin de los procedimientos durante la recoleccin de datos del estudio en general. Adems observ las particularidades del diseo de la encuesta en un contexto bilinge, as como las dificultades presentadas en terreno. Cada supervisor observ varias sesiones de aplicacin de cada uno de los tres encuestadores a su cargo y registr en el formulario Observaciones del Supervisor todo aquello que en mayor o menor grado se apart de los procedimientos estipulados, las situaciones que merecan una atencin prioritaria de cara a la encuesta principal, los aspectos que segn su percepcin podran ser mejorados, entre otros. El supervisor tena la potestad de intervenir durante la entrevista en el caso de que los procedimientos utilizados por el encuestador no se ajustaban a lo estipulado. No obstante, su papel principal fue ayudar a resolver dudas, apoyar la aplicacin de instrumentos en caso de dificultades, explicar con mayor amplitud el proyecto LAMP cuando lo ameritaba, ayudar a la toma de decisiones respecto a la aplicacin de las encuestas y mantener una comunicacin permanente con la Coordinacin Tcnica. Otro nivel de control de calidad de la etapa de recoleccin de datos estuvo constituido por los fiscalizadores encargados de evaluar el desempeo de los encuestadores y supervisores durante las entrevistas. En trminos generales, los fiscalizadores juzgaron la aplicacin de la prueba como buena, sin embargo, en algunas sesiones observadas se identificaron divergencias respecto a las directrices, en especial durante los primeros das del trabajo de campo, en este sentido para subsanar la dificultades encontradas se realizaron dos talleres de retroalimentacin, el primero luego del tercer da de campo y el segundo la siguiente semana en presencia del Especialista del UIS.
69
2.9.5. Control de calidad del procesamiento de datos 2.9.5.1. Correccin y codificacin
El control de calidad del proceso de correccin, crtica y codificacin se efectu a travs de la doble correccin del 100% de las pruebas cognitivas y la doble codificacin del 100% de los CA. La segunda correccin de los instrumentos de evaluacin se ejecut de forma independiente por un corrector diferente del primero. Tambin, se establecieron procedimientos de asignacin de los lotes de instrumentos para garantizar la rotacin de los segundos correctores, y se generaron peridicamente listados de discrepancias para verificar la aplicacin correcta de los criterios de asignacin depuntajes. La doble codificacin del CA se realiz una vez concluida la crtica y codificacin de cada USM por otro codificador. En caso de discrepancia, se consultaba al jefe de crtica y codificacin quien realizaba el anlisis y revisin del CA y asignaba a su vez el cdigo a ser considerado vlido para la digitacin. 2.9.5.2. Programa de consistencia instrumentos PDN de datos de los
Se han creado programas de consistencia de datos para los instrumentos PDN y para los Componentes de Lectura para controlar el ingreso de valores permitidos en cada variable, el control de flujo de los datos ingresados y los rangos de fecha de acuerdo al mes en que se realiz la encuesta. Para los instrumentos PDN, el programa realiz una sumatoria de control del total de respuestas correctas (1) ingresadas y las respuestas no alcanzadas (0). Para los componentes de lectura, se realizaron controles para las secciones de Identificacin rpida de nmeros, Identificacin rpida de letras y tambin en Reconocimiento rpido de palabras donde se control el ltimo nmero, letra o palabra que alcanz el encuestado. Se incluyeron controles para la aplicacin de la regla de interrupcin (RI) en las secciones de Reconocimiento de palabras y de Procesamiento de oraciones, as tambin del puntaje asignado a los tems de las secciones de Procesamiento de oraciones y Lectura de Prrafos. Adems se han creado programas para listar los ID de todos los mdulos Filtro, Localizador, Cuadernillos 1 y 2 del Mdulo B, Cuadernillos de Registro
y Cuadernillo del Encuestado de los Componentes de Lectura para luego poder chequear si cada instrumento tiene su correspondencia con lo cargado en el Cuestionario de Antecedentes. 2.10. Estudio etnogrfico
Los investigadores etnogrficos visitaron, junto a los diferentes grupos de encuestadores, 45 viviendas para poder disponer de 18 entrevistas completas sin interrupcin. La observacin directa y el registro (en audio y vdeo) de las entrevistas realizadas con el acuerdo previo del encuestado, consider todas las etapas desde el contacto inicial, inicio de la entrevista, aplicacin de los instrumentos y fin de la entrevista; adems del registro de elementos contextuales temporales, espaciales y de la interaccin entre entrevistador y encuestado. Se consignaron a su vez entrevistas a supervisores y encuestadores as como situaciones especiales recabadas a travs de las grabaciones: comentarios de encuestados y de otros miembros del hogar presentes durante la entrevista. Adems, se realiz un grupo focal con los supervisores y encuestadores para analizar su percepcin del proceso de recoleccin de datos. Los resultados obtenidos del anlisis cualitativo se presentan en un informe etnogrfico independiente titulado Investigacin cualitativa sobre el contexto de aplicacin de pruebas de medicin de niveles de alfabetismo. Es importante destacar que el mencionado estudio forma parte integral de la etapa piloto de la encuesta LAMP y que provey de insumos importantes a tener en cuenta en la encuesta principal. (Guttandin, Riquelme, junio, 2010).
71
3. PRINCIPALES RESULTADOS
La planeacin del estudio LAMP y los procedimientos adoptados se pusieron a prueba durante la fase piloto. Conforme a lo esperado, la prueba piloto ha permitido identificar ciertas situaciones que debern ser contempladas en el estudio principal, tales como: mejorar los procedimientos de seleccin y reclutamiento del personal, de capacitacin, de aplicacin de los instrumentos, ajustar los aspectos logsticos, presupuestarios, etc. Este apartado contiene informacin referente a los principales resultados obtenidos en funcin a los objetivos propuestos para el estudio piloto considerando los aspectos descriptos a continuacin. 3.1. Evaluacin del marco muestral Paraguay cumpli con los requerimientos de distribucin de casos completos y vlidos por nivel educativo y segn los mdulos, para satisfacer los estndares y establecer las escalas psicomtricas de competencias en alfabetismo de forma confiable (Tabla 3). Tabla 3. Resultado final de la muestra por nivel educativo, segn Mdulos A y B y Cuadernillos 1 y 2
Nivel 1: hasta el 6 grado o equivalente Hombre Mujer Total Nivel 2: 7 grado y ms o equivalentes Hombre Mujer Total Hombre
Mdulo/ Cuadernillo
Total
Mujer
Total
Mdulo A Mdulo B Total Cuadernillo 1 Cuadernillo 2 Total
35 26 61
135 41 176
170 67 237
40 84 124
64 130 194
104 214 318
75 110 185
199 171 370
274 281 555
19 7 26
14 27 41
33 34 67
53 31 84
62 68 130
115 99 214
72 38 110
76 95 171
148 133 281
Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboracin propia
72
a. Tasa de respuesta Considerando la experiencia nacional referente a tasa de respuestas a encuestas de hogares, para la prueba piloto se estim obtener una tasa de respuesta del 70%. Se visitaron aproximadamente 820 viviendas, de las cuales se digitaron en la base de datos 702 casos 16 y finalmente 555 personas completaron la totalidad de la batera de instrumentos LAMP, segn el mdulo seleccionado. Cabe sealar que la tasa de no respuesta se encuentra subestimada dado que la ltima semana de trabajo de campo, los equipos reportaron rechazos de USM completas. Ante esta situacin la Coordinacin Tcnica del LAMP tom la decisin de realizar el barrido de las USM hasta cumplir los casos completos requeridos y no fueron registrados los casos de rechazo en el Resumen de Aplicacin del CA. La Tabla 4 muestra la tasa de participacin, segn las situaciones registradas en campo. Tabla 4. Cantidad de entrevistas, segn cdigo de situacin final
Situacin Final Completada Incompleta Rechazo Otra persona rehus en nombre del encuestado No se encuentra en casa Ausencia temporal Muerta, enfermedad u otras circunstancias inusuales Condicin mental emocional Discapacidad fsica Retardo mental Otros (no especificados) Total Abs. 555 42 48 5 30 15 2 1 1 1 2 702 % 79,1 6,0 6,8 0,7 4,3 2,1 0,3 0,1 0,1 0,1 0,3 100,0
El diseo muestral del estudio piloto permiti evidenciar algunos supuestos bsicos para el estudio principal, a saber:
16
La diferencia de 118 casos corresponde a los rechazos, viviendas desocupadas, temporales, en construccin que no fueron registrados porque se reutilizaron los CA no llenados para otros casos a fin de optimizar los cuadernillos impresos. IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa 73
- La estratificacin de los distritos permiti cubrir una gama muy heterognea de contextos socioeconmicos en los que se realizar el estudio principal, aspecto relevante para los fines analticos que propone la encuesta a nivel nacional. - En el Departamento Central, la diferencia entre mbitos urbano y rural tiende a disolverse, tal como se comprob en el caso de Limpio e Itaugu, zona de expansin de la periferia urbana. - La tasa de respuesta obtenida en Juan de Mena, Jos Falcn, Itaugu y Limpio, distritos incluidos en el estrato con nivel socioeconmico bajo-medio donde se aplic una muestra aleatoria, ha sido superior a la tasa de respuesta obtenida en los estratos altos. Particularmente en Asuncin y distritos aledaos, la tasa de respuesta ha sido ms baja a pesar de seleccionar los hogares de manera intencional. Cabe destacar que esta tendencia tambin se observa en los datos de la Encuesta Permanente de Hogares confirmando la necesidad de establecer una estrategia slida con el propsito de reducir la tasa de no respuesta en estos distritos y en los estratos ms altos. Esta medida permitir tambin evitar una sobrerrepresentacin de personas pertenecientes a estratos bajos en los datos finales. Finalmente, se ha acordado redefinir el tamao de la muestra para el estudio principal considerando que el marco muestral no est actualizado, lo que incidira sobre las desagregaciones y estratos definidos en el INP. El nuevo diseo muestral no perdera representatividad de las variables de inters. b. Procedimientos de seleccin Seleccin del hogar En Paraguay, existen muchas viviendas cuya caracterstica est dada por la existencia de ms de un hogar en una misma vivienda. Por este motivo, se vio la necesidad de crear una estrategia de seleccin aleatoria del hogar a ser encuestado. Seleccin de la persona a encuestar Una de las dificultades relacionadas con la seleccin de la persona se refiri a la confeccin de la lista de personas del hogar que deba responder a dos criterios: orden decreciente de edad y jefatura de hogar.
74
En algunos casos el entrevistado no ofreca los nombres de los miembros del hogar de manera ordenada y se detectaron ciertos errores de reenumeracin cometidos por los encuestadores; lo que deriv en una seleccin incorrecta de la persona que deba ser encuestada. Por otro lado, como se observa en la Tabla 5, el sesgo en la distribucin por sexo hacia las mujeres se agudiz en las localidades donde es comn la ausencia prolongada del hombre por razones laborales, como consecuencia directa de la aplicacin del criterio de residencia habitual limitado al horizonte temporal de la prueba piloto. Tabla 5. Distribucin de los encuestados por sexo y edad
Rango de Edades 15-24 25-34 35-44 45-54 55-64 65 y ms Total Sexo Varn 68 41,0% 41 29,3% 35 31,0% 21 25,9% 12 25,0% 35 47,3% 212 34,1% Mujer 98 59,0% 99 70,7% 78 69,0% 60 74,1% 36 75,0% 39 52,7% 410 65,9% 166 100,0% 140 100,0% 113 100,0% 81 100,0% 48 100,0% 74 100,0% 622 100,0% Total
Seleccin del Mdulo y del Cuadernillo 1 2 La seleccin del Mdulo y de los Cuadernillos fue alterada por los siguientes motivos: - La distribucin esperada de personas con niveles bajos, medios y altos de educacin en el marco muestral usado no correspondi a la realidad encontrada en terreno, pues el monitoreo de la distribucin de los casos detect un dficit en la cantidad requerida de encuestas para los niveles ms bajos de educacin. Esto oblig a redisear la
estrategia de seleccin de viviendas identificando otras USM con las caractersticas requeridas. - La tabla de seleccin aleatoria no garantiz la distribucin equitativa entre el Cuadernillo 1 y 2 del Mdulo B, pues estas tablas de seleccin haban sido adheridas a la totalidad de los CA de la muestra. Por tanto, la prdida de CA originada por los rechazos, casos incompletos y los utilizados para los encuestados seleccionados para el Mdulo A alter el balance final de las tablas de seleccin de los CA disponibles para aquellos encuestados seleccionados para el Mdulo B (Cuadernillos 1 o 2). - Tambin fueron identificados errores de asignacin atribuibles al encuestador. 3.2. Funcionamiento del CA y de los instrumentos cognitivos a. Cuestionario de Antecedentes: se considera que en general las adaptaciones nacionales realizadas a las preguntas del CA en trminos sociolingsticos han sido comprendidas por la poblacin objetivo, puesto que se ha intentado utilizar como modelo las diversas encuestas realizadas a nivel nacional. Sin embargo, tal como se mencion en el apartado de instrumentos en el captulo de recoleccin de datos, se identificaron algunas reiteraciones, opciones de respuestas y preguntas que debern ser evaluados por el equipo tcnico para: i) determinar si proporciona todos los elementos crticos para propsitos analticos en el mbito nacional; ii) evitar respuestas mecnicas e inconsistentes por parte del encuestado que atenten contra la calidad de la informacin recolectada, y iii) asegurar la consistencia interna del instrumento. Este anlisis pormenorizado ser documentado y fundamentado en la etapa de adaptacin del CA para la encuesta principal. Finalmente, el promedio de duracin del CA es de 31 minutos, superando la duracin media de aplicacin de cada uno de los instrumentos cognitivos asignados, lo cual ocasionalmente podra originar rechazo o indecisin del encuestado para seguir con la entrevista despus de la administracin del CA, por su larga duracin. b. Instrumentos cognitivos PDN: no tendrn mayores cambios para la encuesta principal, pues se pudo evaluar su funcionamiento en el campo, destacndose las observaciones especficas en el apartado de Instrumentos en Recoleccin de datos y en Asignacin de Puntajes. En el aspecto procedimental, la divergencia en las orientaciones de aplicacin entre el Filtro, cuyas preguntas son ledas al encuestado, y los dems instrumentos PDN, que son autoadministrados, pudo influir en los
resultados pues la administracin oral de las preguntas y el dilogo que emerge de esta interaccin resulta difcil de controlar en el campo. Asimismo, no todos los encuestadores leen las preguntas de la misma forma (intencionalmente o no) y hasta pueden incidir en las respuestas dadas por los entrevistados. Por otra parte, es importante sealar que se observaron estilos de administracin diferentes segn los encuestadores. En este sentido, la estandarizacin de los procedimientos de administracin y la neutralidad representan desafos importantes para el personal de campo, que se enfrenta a situaciones no previstas y singulares cada da. c. Componentes de lectura: la administracin de este mdulo present mayores desafos comparndolo con los dems instrumentos por sus caractersticas singulares (por una parte, aplicacin oral esperando una respuesta tambin oral e inmediata a los estmulos y por la otra, el llenado independiente de la ltima sesin), los aspectos particulares fueron detallados en el apartado de Instrumentos en Recoleccin de datos y en asignacin de puntajes. Sin embargo, se destacan los siguientes puntos: - Los encuestadores a medida que aplicaban las encuestas, fueron afianzando sus conocimientos en el contenido, manejo y administracin de los Componentes en diferentes circunstancias. - El cambio metodolgico que supone la administracin del Rotafolio oblig a los encuestadores a desarrollar estrategias para mantener la colaboracin del encuestado para completar la administracin del Mdulo A. - En varias situaciones a los supervisores no les alcanz el tiempo para verificar la calidad de la informacin recolectada. En general, entre las razones que pueden explicar las dificultades asociadas a la aplicabilidad de los instrumentos en su conjunto, se sealan: - La extensin de cada instrumento (cuestionario y pruebas cognitivas) sumado al nmero de pruebas aplicadas en cada caso. - Las innovaciones contenidas en el CA referentes al acopio de variables de inters que puedan representar factores asociados al logro cognitivo de las personas, resulta muy significativo y esencial. Sin embargo, la aplicacin del CA en Paraguay puso de manifiesto para el equipo nacional la necesidad de desarrollar mayores anlisis para el ajuste pertinente del CA con miras a la encuesta principal. - La complejidad del manejo de la plataforma de la encuesta en su conjunto, complementado por la batera de instrumentos y elementos auxiliares necesarios para administrar los ejercicios de Componentes de lectura. - La diversidad de tareas a cargo del encuestador y del supervisor, que supone toma de decisiones importantes (seleccin del
entrevistado, del mdulo a ser aplicado, asignacin de puntajes al filtro y a los ejercicios de Componentes de lectura, entre otros). Estos aspectos tuvieron incidencias directas en los encuestados relacionados principalmente con la exigencia de: i) utilizar mucho tiempo para responder a la encuesta, renunciando a sus actividades cotidianas, ii) invadir su espacio, y adems iii) realizar pruebas haciendo lo mejor que pueda durante varias horas. d. Asignacin de puntajes: los encuestadores ensayaron la asignacin de puntaje del Filtro en tiempo real en el campo, en general esta tarea result satisfactoria requiriendo de 2 a 4 minutos para su realizacin. Como lo muestran los informes de consistencia entre correctores (captulo de Asignacin de Puntajes), se cumplieron con los estndares tcnicos del programa LAMP a pesar de las inconsistencias detectadas entre las Guas de Asignacin de Puntajes de los correctores y el GAT de los encuestadores. Los otros instrumentos PDN no mostraron mayores dificultades en la correccin en gabinete. Respecto a los componentes de lectura, se evidenciaron mayores discrepancias entre la asignacin de puntajes en el campo por el encuestador y el corrector en gabinete, utilizando las grabaciones. Se podra argumentar estas discrepancias sistemticas por los siguientes factores: aplicacin oral del instrumento en el campo en diversos contextos alterada por numerosas interferencias; utilizacin de cronmetro sin temporizador automtico, exigencia de realizacin de tareas simultneas por parte del encuestador, etc.
3.3. Capacitaciones, recoleccin y procesamiento de datos 3.3.1. Capacitaciones La capacitacin a supervisores, encuestadores, codificadores, correctores y digitadores permiti ensayar varios aspectos importantes inherentes a la investigacin. En primer trmino posibilit someter a prueba el proceso de seleccin del personal, colabor para la identificacin de procedimientos y actividades a ser mejorados en el adiestramiento de los actores involucrados y ofreci una oportunidad de observar el desarrollo de la entrevista LAMP en situaciones simuladas. Si bien los diferentes roles desempeados exigen contenidos y prcticas especficos, se evidenci la necesidad de articular las capacitaciones de las diferentes reas y de proponer una sesin comn para todos los actores. Esto con el fin de que todos los involucrados conozcan los roles y responsabilidades de cada uno en los diversos procesos.
Tambin pudo constatarse que las prcticas en situaciones simuladas result una estrategia til y efectiva para el aprendizaje de las destrezas requeridas, especficamente para las funciones de supervisores y encuestadores. Sin embargo, el tiempo dedicado result insuficiente, por lo cual se prev subsanar esta falencia para la capacitacin del estudio principal aumentando el nmero de prcticas y el tiempo de entrenamiento. 3.3.2. Recoleccin de datos La recoleccin de datos tuvo como resultado evaluar la composicin de los equipos de trabajo en campo. Se constat la importancia de mantener la conformacin original de los equipos de trabajo durante todo el proceso para fomentar el trabajo mancomunado y coordinado entre sus miembros, con el fin de agilizar esta etapa. Otro aspecto que fue evaluado durante esta etapa fue el periodo de tiempo requerido para la recoleccin de los datos, y basado en los resultados mejorar las previsiones para la encuesta principal, considerando un espectro ms amplio de posibilidades. Asimismo, fue indispensable, a pesar del exigente ritmo de trabajo, crear espacios para la retroalimentacin entre los encuestadores y sus respectivos supervisores y la Coordinacin Tcnica. Se not a su vez la vital importancia de un sistema efectivo de monitoreo y seguimiento al levantamiento de los datos. Asimismo, se constataron falencias en la actualizacin de la cartografa, dificultades relacionadas a vas de acceso efectivas y seguras, que obligaron a ajustar los procedimientos. En cuanto a la logstica, se vio la necesidad de disponer de vehculos en buen estado, un buen sistema de comunicacin (telfonos celulares) entre los encuestadores, supervisores y los coordinadores tcnicos, as como previsiones en materia de imponderables o imprevistos. La articulacin de las tareas y diferentes etapas del proceso fue beneficiada por la instalacin del Centro de Operaciones LAMP. Durante la recoleccin de datos de la prueba piloto pudo observarse la aplicacin de los instrumentos y el desarrollo de toda la entrevista en un contexto real. El promedio de duracin de la entrevista (para los niveles educativos bajo, medio y alto y los mdulos A y B) fue de 1 hora y 37 minutos (ANEXO D). Sin embargo, cabe destacar que el promedio de duracin no incluye los intentos para ubicar a la persona seleccionada, la presentacin, el llenado de la Seccin INTRO del CA, ni la despedida (entrega de taln para el sorteo, pegado de calcomana de vivienda encuestada y agradecimientos). Por lo expuesto, se podra estimar que se requiere aproximadamente 2 horas para concretar una entrevista y recolectar la informacin correspondiente.
79
Como estrategia utilizada para aumentar la colaboracin de los encuestados y disminuir as los rechazos, se puso en prctica una campaa de difusin meditica ya mencionada con anterioridad. Poner a prueba estas estrategias permiti dimensionar la importancia de dar a conocer al pblico en general los objetivos de la investigacin, adems de proveer los insumos para mejorar la difusin de la encuesta principal. 3.3.3. Procesamiento de los datos Un resultado apreciable de la prueba piloto tiene que ver con la buena acogida por parte de los digitadores del software desarrollado a medida para la captura de datos LAMP por programadores locales, debido a que la nueva interfase ofreca pantallas que mostraban idntica estructura que los instrumentos, y poda ser operado utilizando las teclas numricas. Las facilidades del nuevo software fueron determinantes para la digitacin del Cuadernillo de Registro y del Encuestado que seguan una lgica diferente de digitacin. De este modo, permiti una mejor orientacin de los digitadores, agiliz el proceso de carga de datos y minimiz los eventuales errores de digitacin al desplegar mensajes de alerta ante potenciales inconsistencias. Sin embargo, a medida del desarrollo del trabajo de campo, se identificaron nuevos requerimientos que debieron ser considerados en el software, por ejemplo, la creacin de nuevos cdigos de variables. La etapa de depuracin de datos, como actividad ineludible y delicada dentro de la produccin de datos estadsticos, demand un tiempo considerable. Las principales correcciones tuvieron que ver con la eliminacin de registros duplicados y correccin de pequeas inconsistencias en variables de menor importancia. No obstante, esta fase permiti identificar datos inconsistentes relacionados mayormente a imperfecciones en la estructura del CA (saltos de preguntas, reiteraciones, ajustes no contextualizados, entre otros). 3.3.4. Aspectos relacionados al costo La financiacin del estudio piloto LAMP fue realizada en mayor parte con los fondos ofrecidos por la OEI, en el marco del PIA; y cont con los aportes del MEC y de la DGEEC en concepto de contrapartida institucional, los cuales no fueron contemplados en el presupuesto. Adicionalmente, si bien la previsin de gastos identificados inicialmente han podido ser cubiertos con estos recursos, durante la etapa preparatoria del operativo de campo surgieron aspectos no previstos en la fase de planeacin
del presupuesto, entre las que se puede citar la necesidad de desarrollar un software robusto para la captura de datos, la crtica y codificacin del CA, la contratacin de personal de logstica, etc. Otro de los factores que ha incidido en el aumento del costo operativo del estudio LAMP fue la subestimacin inicial de las etapas de adaptacin de los instrumentos de recoleccin de datos. Para lograr este ltimo cometido (18 das laborales previstos para el relevamiento de datos), se aument el nmero de equipos de trabajo y las largas jornadas en terreno, lo que requiri la asignacin de viticos complementarios a los choferes, puesto que en el presupuesto inicial solo se haba contemplado el pago de remuneraciones extraordinarias y adicionales provenientes de recursos del MEC. Es importante mencionar que para cubrir el costo total del operativo piloto, a los fondos iniciales se adicionaron: i) recursos financieros de la OEI en el marco del PIA, y ii) contrapartida proveniente de los recursos presupuestarios del MEC, principalmente para complementar los pagos de viticos y salarios del personal contratado en el marco del estudio LAMP. Los desembolsos relativos a viticos, pago de salarios y cupos de combustible se realizaron sin mayores inconvenientes en los tiempos establecidos, no obstante, se deben prever fondos adicionales para imprevistos como los que surgieron durante el estudio piloto, tales como, mantenimiento de vehculos, pago de peajes, compra de implementos adicionales (lentes de lectura, alimentos, golosinas), etc. Asimismo, ante los resultados y las sugerencias del estudio piloto expuestos en este informe y con el propsito de mejorar y garantizar la calidad de la informacin generada por la encuesta LAMP; el equipo nacional tuvo que revisar y ajustar el presupuesto de la encuesta principal, especficamente para cubrir los gastos de alquiler de vehculos, de capacitacin, de comunicacin, de viticos y de salarios, subestimados durante la etapa preparatoria. 3.3.5. Capacidades nacionales para la implementacin de la encuesta principal La iniciativa de cooperacin tcnica horizontal entre Paraguay y el UIS en el mbito del LAMP promueve la convergencia de esfuerzos para el fortalecimiento de los sistemas de informacin que permitan mejorar la formulacin, implementacin, monitoreo y evaluacin de polticas de educacin a lo largo de toda la vida. En este sentido, la aplicacin piloto logr instalar capacidades tcnicas nacionales en aproximadamente 50 funcionarios de las diversas dependencias intervinientes, quienes
desempearn diversos roles en la implementacin de la encuesta principal LAMP. Se remarca que esta experiencia constituy un aporte significativo en la utilizacin de metodologas, tcnicas, mecanismos y redes de trabajos innovadores, generando sinergias entre las instituciones involucradas y revalorizando el trabajo multidisciplinario e intersectorial. 3.3.6. Difusin de los resultados de la prueba piloto El MEC y la OEI organizarn en la cuidad de Asuncin, del 23 al 25 de noviembre del 2010, un Seminario Iberoamericano de Presentacin de la Experiencia y Resultados del Estudio LAMP en Paraguay, en el marco del PIA y con el apoyo de la AECID. Este evento pone de manifiesto el inters de Paraguay de realizar la encuesta principal en el primer semestre del ao 2011, y la voluntad poltica de las autoridades del Gobierno Nacional de asumir como una prioridad la lucha para el mejoramiento de los niveles de alfabetismo de la poblacin cumpliendo con sus compromisos nacionales e internacionales. El seminario estar dirigido a directores de Educacin Permanente de los pases de la regin iberoamericana, expertos en el tema de educacin de adultos, especialistas del LAMP del UIS, representantes y autoridades del MEC y de la OEI. Si bien este seminario tendr como eje central la experiencia del estudio LAMP en Paraguay, pretende tambin abrir un espacio de reflexin y de debate entre los pases de Iberoamrica sobre los mtodos de monitoreo y evaluacin del alfabetismo y los criterios e indicadores claves para mejorar las polticas educativas y pblicas en la regin. Se tiene previsto la distribucin del Informe Nacional de la Prueba Piloto LAMP y del Informe del Estudio Etnogrfico realizado durante el operativo de campo, asimismo se organizarn presentaciones, conferencias y mesas de discusiones relativos temas de alfabetizacin. Por otra parte, se invitar a los medios de comunicacin para dar amplia difusin al encuentro y sensibilizar a diversos actores de la sociedad paraguaya sobre la necesidad de disponer de un diagnstico preciso de las necesidades en competencias de lectura y manejo de nmeros de la poblacin joven y adulta. En otros trminos, esa oportunidad permitir tambin dar un impulso a la campaa de comunicacin y de sensibilizacin que ser llevado a cabo durante la encuesta principal para garantizar la tasa de respuesta esperada para la muestra nacional.
82
4. SUGERENCIAS El siguiente captulo contiene un resumen de las principales sugerencias para las diferentes etapas de la encuesta LAMP con vistas a la encuesta principal. Es importante destacar que las nuevas versiones de los documentos operativos y de los instrumentos del UIS ya contemplan algunos aspectos sealados en este captulo, con base en la experiencia piloto LAMP de los distintos pases participantes. 4.1. Poblacin y muestra - Adoptar un rango de edad que abarque a personas desde los 15 aos hasta una edad tope determinada, considerando adems que los estudios precursores del LAMP (IALS, ALL) adoptaron como lmite de edad 65 aos. - Mejorar el trabajo de actualizacin cartogrfica, especialmente en cuanto a las referencias para el acceso a las USM, a la correcta identificacin de las viviendas ocupadas, desocupadas o en construccin y en cuanto a las referencias locales para una ubicacin ms efectiva de las viviendas seleccionadas. - Contar con el asesoramiento tcnico de un especialista en muestra durante el trabajo de campo para acompaar, monitorear y dar indicaciones sobre los procedimientos a seguir ante las situaciones que requieren reemplazos de hogares, ya sea por rechazo, no contacto, viviendas desocupadas, etc. - Revisar el concepto de residencia habitual y definir con mayor precisin los criterios de inclusin/exclusin a ser considerados en la encuesta LAMP, debido a la corta duracin del trabajo de campo. - Establecer estrategias para asegurar la comparabilidad de las definiciones operacionales crticas tanto a nivel internacional como nacional para realizar, por ejemplo, clculos de factores de expansin confiables.
83
- Implementar mecanismos efectivos de seguimiento y monitoreo a la recoleccin de datos para evitar sesgos sistemticos (distribucin hombre/mujer, niveles educativos, rango de edad, etc.). 4.2. Adaptacin - Disponer de los marcos conceptuales detallados y de los objetivos de cada variable del CA y de los instrumentos cognitivos con el propsito de tener un respaldo tcnico robusto para la investigacin LAMP en su contexto. - Contar con las ltimas versiones actualizadas antes del inicio del proceso de adaptacin. 4.3. Capacitacin - Proponer una sesin comn de presentacin general en la cual participen todos los actores involucrados y sesiones especficas donde participaran los actores acorde a su mbito de competencias. 4.3.1. Personal de campo - Monitorear la lectura previa de los manuales e instrumentos y propiciar la autoaplicacin de las pruebas por parte de los encuestadores y supervisores para facilitar el conocimiento y manejo de los materiales. - Realizar jornadas presenciales menos intensivas en trminos de carga horaria y durante ms das. - Formar grupos pequeos para facilitar y promover las prcticas, las intervenciones, y aclarar dudas. - Elaborar un material audiovisual complementario para facilitar la fase de auto aprendizaje y para ser utilizado en la fase presencial para proveer ejemplos de casos reales. - Enfatizar con los encuestadores la importancia de seguir estrictamente los procedimientos de aplicacin de los instrumentos de recoleccin de datos, mantener la imparcialidad durante la encuesta, etc. - Elaborar un abanico de escenarios ms variados utilizando como soporte las observaciones y los casos reales de la prueba piloto, enfatizando los aspectos ms dbiles identificados (Determinadas secciones del CA, secciones cronometradas del Rotafolio, etc.).
84
- Realizar ejercicios de control de consistencia interna de los datos recolectados en el CA y de llenado de formularios administrativos. - Aumentar las prcticas y simulaciones de administracin de los instrumentos as como de asignacin de puntaje del Filtro y Rotafolio utilizando como ejemplos los cuestionarios de la prueba piloto. - Organizar una simulacin completa de la aplicacin de la encuesta por cada encuestador y evaluar su desempeo. - Establecer nuevos criterios de evaluacin y seleccin del personal de campo otorgando mayor puntaje a las prcticas de campo. - Proponer una correccin por evaluacin de pares de la prueba de seleccin en su parte terica y organizar una retroalimentacin en plenaria para poder responder a las diferentes dudas de los participantes antes de empezar la etapa de prctica de campo. - Realizar una capacitacin diferenciada dirigida a supervisores antes de la capacitacin a encuestadores, incluyendo prcticas de verificacin de sobres de casos, llenado de formularios, estrategias de monitoreo, etc., para trabajar sobre los errores sistemticos y situaciones encontradas en el terreno; y una posterior sesin para organizar el trabajo de campo. 4.3.2. Correctores - Contar con la participacin del Jefe Corrector en la capacitacin a supervisores y encuestadores en las sesiones atinentes a su mbito de competencia. - Prever una extensin mayor de da para la capacitacin puesto que todos los correctores no tendrn un conocimiento previo de los instrumentos. - Incluir en la capacitacin los errores relevantes encontrados en la prueba piloto y analizarlos acorde con las reglas de asignacin de puntajes para minimizar la tasa de discrepancia. - Realizar una simulacin entera de la administracin del Rotafolio e incluir ms ejercicios de prcticas de asignacin de puntajes. - Enfatizar durante la capacitacin sobre el uso del cronmetro en las secciones correspondientes de los componentes de lectura. - Realizar una prueba de seleccin de correctores al finalizar la capacitacin a travs de simulaciones de correccin y doble correccin para verificar el nivel de consistencia entre los correctores.
4.3.3. Digitadores y codificadores - Seleccionar a los digitadores y a los codificadores al finalizar la capacitacin a travs de una prueba final terico-prctica (simulacin con grilla de evaluacin: velocidad, precisin, discrepancias). - Contar con la participacin de los coordinadores de digitacin en la capacitacin a supervisores y encuestadores para detectar los errores ms frecuentes encontrados durante el estudio piloto. - Contar con la participacin de los coordinadores de codificacin en la capacitacin a supervisores y encuestadores para coordinar la sesin de capacitacin referente a las preguntas de ocupacin principal y rama de actividad, con la finalidad de contribuir con estrategias exitosas basadas en su experiencia, de modo a obtener informacin precisa y completa que permita la correcta codificacin utilizando los clasificadores internacionales. 4.4. Recoleccin de datos 4.4.1. Operativo de campo - Adecuar los compromisos institucionales de modo que las personas designadas tengan el tiempo disponible para cumplir con el trabajo asignado oportunamente. - Contratar a especialistas en comunicacin social para organizar la campaa nacional de difusin. - Proponer manuales operativos ms concisos, precisos y sencillos e introducir en el Manual del Encuestador y del Supervisor un resumen esquemtico de los procedimientos relativos al manejo de la entrevista con el fin de ayudar al personal de campo a estandarizar los criterios asumidos en las distintas situaciones presentadas en el terreno. - Elaborar documentos operacionales para facilitar el seguimiento de las actividades de campo. - Alquilar camionetas en buen estado con chferes permanentes durante todo el operativo de campo
86
4.4.2. Entrevista e instrumentos 4.4.2.1. Secuencia de la entrevista
- Incluir un campo en el CA para el cdigo final de la entrevista, para fines analticos. 4.4.2.2. Instrumentos
a. Cuestionario de Antecedentes - Revisar el formato del CA para adaptar su aplicacin a diferentes contextos tales como urbano / rural, cuidando de garantizar, la comparabilidad de las variables afectadas. - Reestructurar el CA con vistas a acortar la duracin de su aplicacin a travs del uso oportuno de preguntas filtro. - Analizar el desempeo de los tems y grupos de tems mediante tcnicas estadsticas avanzadas (TRI) a fin de determinar los que aportaran la misma informacin en la escala y que consecuentemente podran ser omitidos para hacer ms liviano el instrumento. b. Mdulo Filtro - Contemplar un cdigo de interrupcin para el Mdulo Filtro considerando las personas que declaran y demuestran mayores limitaciones en sus competencias lectoras, a fin de evitar situaciones incmodas y/o rechazo por parte del encuestado de seguir con las dems pruebas. - Armonizar los procedimientos de administracin de los instrumentos PDN, lo que implica no leer al encuestado las preguntas del Filtro. - Introducir al inicio del cuadernillo un test de agudeza visual sencillo para asegurarse de que el encuestado pueda realizar los ejercicios y minimizar las posibilidades de interrupcin de la encuesta. c. Cuadernillo Localizador Mdulo A - Contemplar un cdigo de interrupcin para el Mdulo Localizador considerando las personas que declaran y demuestran mayores limitaciones en sus competencias lectoras, a fin de evitar situaciones incmodas y/o rechazo por parte del encuestado de seguir con las otras pruebas.
87
d. Componentes de lectura Mdulo A - Contemplar un cdigo de interrupcin en caso de que el encuestado tenga muy bajas competencias de lectura y declare no saber leer y escribir antes de haber podido llegar a las secciones donde se aplica la Regla de Interrupcin (RI). - Simplificar las instrucciones para que no superen el nivel de dificultad de los ejercicios propuestos y garantizar que los encuestados las entiendan. - Reducir la duracin del instrumento, eliminando algunos tems de las secciones ms largas, respetando la confiabilidad psicomtrica. - Proveer ms informacin acerca del desafo del uso estadstico de los datos obtenidos con el Mdulo de Componentes de lectura a partir de una muestra, para elaborar y disear polticas pblicas. - Prever una capacitacin ms larga para los Componentes de lectura y contemplar diferentes contextos de aplicacin. - Disponer de cronmetros con cuenta regresiva para asegurar que las secciones cronometradas estn correctamente administradas. e. Asignacin de puntajes - Contar con un foro moderado por especialistas del UIS para exponer y resolver las dudas respecto a la asignacin de puntaje. - Indagar mayormente sobre los fenmenos lingsticos caractersticos del contacto de los idiomas guaran y castellano para definir con ms precisin los criterios de asignacin de puntajes, particularmente para los Componentes de lectura. - Evitar la correccin exclusiva de un solo bloque de instrumentos por un mismo corrector durante varias horas seguidas para evitar una correccin mecnica que incidira sobre la asignacin de puntaje y por consiguiente afectara la calidad de los datos. - Disponer de un espacio independiente al espacio asignado para la recepcin de sobre de casos para evitar todo tipo de interferencias. - Contar con un equipo informtico destinado exclusivamente a la descarga de las grabaciones de los Componentes de lectura. - Revisar y ajustar los kits de capacitacin con ejemplos tomados de la prueba piloto.
88
4.5. Codificacin - Trabajar de forma coordinada con los programadores a fin de definir criterios homogneos para la creacin de los cdigos requeridos (por ejemplo, en el caso de la categora Otro (especifique). - Mejorar el mecanismo de recepcin y entrega del CA entre codificadores y digitadores, con miras a la agilizacin de tareas, monitoreo y evaluacin del proceso. 4.6. Procesamiento de datos - Elaborar un plan de trabajo para el proceso de depuracin de los datos, decisivo para la calidad de los datos generados teniendo en cuenta el tiempo necesario para que los pases verifiquen y corrijan sus bases de datos respectivas. La planificacin de este proceso es crucial por el impacto directo que tiene sobre los costos de produccin y los plazos de difusin de los datos esperados a nivel nacional. - Ajustar el mecanismo de recepcin de los instrumentos y elaborar planillas de control ms operacionales para consignar, adems de los datos ya incorporados, la firma de la persona que tiene en su poder el sobre de casos en cada momento del proceso: supervisor, codificador, corrector 1, corrector 2, digitador 1 o digitador 2, para facilitar el seguimiento del flujo fsico de los instrumentos de cada caso.
89
BIBLIOGRAFA DGEEC (2004). Censo Nacional de Poblacin y Viviendas 2002. Principales Resultados. Fernando de la Mora, Paraguay. DGEEC-STP-PR. Encuestas de Hogares 1995,1997/1998,2000/1, 2002, 2003, 2004, 2005, 2006 y 2007 (base de datos de abril 2008). Fernando de la Mora, Paraguay. GUTTANDN, Friedhelm (2001). El guaran mirado por sus hablantes. Ministerio de Educacin y Cultura: Paraguay. GUTTANDIN, Friedhelm y Lidia RIQUELME (2010). Informe preliminar.
Investigacin cualitativa sobre el contexto de aplicacin de la prueba de medicin de niveles de alfabetismo. Asuncin, Paraguay.
JACQUET, Mara Gloria (2000). La lengua guaran ante los desafos como lengua de enseanza. Seminario Internacional sobre "El Bilingismo en la Educacin Formal". Asuncin, Paraguay. LINACRE, John M. (2008). A users Guide to Winsteps Ministeps. Rash Model Computer Programs. USA, Winsteps. MELI, Bartomeu. (1992). La lengua guaran del Paraguay. Historia, sociedad y literatura, Madrid: MAPFRE. MINISTERIO DE EDUCACIN (2006). La educacin bilinge en la reforma educativa paraguaya. Asuncin, Paraguay. MEC, OEI, DGEEC (2009). Programa de Evaluacin y Monitoreo de la Alfabetizacin (LAMP). Informe Nacional de Planeacin de Paraguay. Coleccin IDIE MERCOSUR N 6, Asuncin, Paraguay. INSTITUTO DE ESTADSTICA DE LA UNESCO (2009). La nueva generacin Qubec.
de estadsticas sobre competencias en alfabetismo: Implementando el Programa de Evaluacin y Monitoreo de la Alfabetizacin (LAMP). Montreal,
VILLAGRA DE BATOUX, D; ACOSTA F.; JACQUET,M.G. y AGUILERA N. (2000) Tratamiento de la lengua guaran en los materiales educativos: Lneas directrices y recomendaciones. Programa para el Fortalecimiento de la Educacin Bilinge. Asuncin, Paraguay.
Documento de trabajo. Marco de Accin de Belm (2009). Aprovechar el
poder y el potencial del aprendizaje y la educacin de adultos para un futuro viable. CONFINTEA VI, Belem.
Sitios web: http://www. mec org.py http://www.oei.org.py http:// www. dgeec.gov.py
91
ANEXO A PERFIL Y RESPONSABILIDADES DE LOS SUPERVISORES Y ENCUESTADORES SUPERVISORES El supervisor tiene un papel fundamental puesto que tiene que garantizar la calidad de los datos recolectados por los encuestadores, a travs de las responsabilidades que asume y de las diferentes actividades que le corresponde desarrollar. Perfil acadmico Estudios terciarios concluidos (ttulo universitario o terciario no universitario) preferentemente en reas de trabajo social, ciencias sociales, administracin, ingeniera, estadstica, informtica o economa. Fluidez en idioma guaran.
Experiencia profesional - Ejecucin de censos o encuestas a nivel local, regional o nacional. - Trabajos relacionados a relevamiento de datos en campo (encuestas o censos). - Trabajos relacionados con evaluacin de consistencia de datos en instrumentos de recoleccin de datos. Actividades Capacitacin contina al encuestador. Efectuar la asignacin de cargas de trabajo a los encuestadoras/es de su equipo de campo. Orientar a los encuestadores en el llenado y utilizacin del formulario Lista de control de tareas del Encuestador. Verificar la Lista de Control de Tareas que elaborarn los encuestadores. Actualizar juntamente con los encuestadores el formulario Lista de control de tareas del Encuestador y las USM asignadas. Supervisar el operativo de campo. Realizar la observacin y acompaamiento al encuestador en las primeras encuestas realizadas (al menos 2 observaciones por encuestador). Monitoreo permanente del trabajo completado por cada encuestador, una reunin del equipo de campo por semana y al
92
menos una reunin con cada encuestador durante el perodo de recoleccin de datos Monitorear los casos completados para garantizar el nmero de observaciones requeridas para los Mdulos A y B Realizar segundas visitas al 10% de casos de cada encuestador, a fin de constatar que los procedimientos de seleccin de la muestra fueron observados y verificar parte de la informacin recolectada el encuestador. Realizar seguimiento a los casos de no-respuesta e informar al Centro de Operaciones. Recolectar, revisar y sistematizar toda la informacin de los instrumentos aplicados por los encuestadores. Realizar el envo de materiales (grabadora digital, cronometro, calculadora) e instrumentos aplicados correspondiente a su equipo al Centro de Operaciones.
Responsabilidades Estudiar y manejar con fluidez las guas y manuales del encuestador y los instrumentos de recoleccin de datos. Cumplir y hacer cumplir las normas establecidas en los manuales. Realizar un reconocimiento del rea de Empadronamiento (AE) asignada, de sus lmites y de la ubicacin exacta de las viviendas seleccionadas en la muestra. Efectuar la revisin de la cartografa existente, verificando la calidad y exactitud de la informacin contenida en ella, y a travs de visitas casa por casa actualizar la lista de viviendas y hogares existentes en la AE. Elaborar un plan de trabajo a ser desarrollado, el tiempo estimado que durarn las entrevistas y cmo encarar el operativo de campo. Informar permanentemente al Centro de Operaciones sobre el avance de las actividades. Mantener una constante coordinacin y comunicacin fluida con los actores involucrados.
ENCUESTADORES Perfil acadmico Estudios terciarios en curso y/o persona con vasta experiencia en aplicacin de encuesta y censo. Estudios de actualizacin como mnimo de 40 horas acadmicas relacionados con estadsticas, encuestas, censos, anlisis de datos, educacin y evaluacin. Fluidez en idioma guaran.
93
Experiencia profesional Ejecucin de censos o encuestas a nivel local, regional o nacional. Trabajos relacionados a relevamiento de datos en campo (encuestas o censos). Trabajos relacionados con evaluacin de consistencia de datos en instrumentos de recoleccin de datos.
Actividades - Tener amplio conocimiento del contenido del manual del encuestador y dems documentos para realizar un trabajo eficiente. Contactar con el hogar, presentarse, explicar la razn de su visita y entregar la carta oficial. Aplicar la metodologa de recoleccin de datos del estudio LAMP Administrar los instrumentos de recoleccin de datos. Completar los formularios operativos (Listado de Control de Tareas del Encuestador, Formulario de Entrega del Supervisor, Informe de Avance y Costos). Verificar que el trabajo sea legible, est completo y correctamente procesado. Consultar al supervisor de encuestadores toda dificultad o caso especial que se presente en el operativo de campo. Cumplir con las cargas de trabajo asignadas por el supervisor de encuestadores. Acatar las instrucciones del supervisor de encuestadores, durante la asignacin de cargas de trabajo y horarios convenidos para sus reuniones del equipo de campo. Garantizar la calidad, veracidad y cobertura de la informacin recolectada en los instrumentos. Entregar los documentos (Listado de Control de Tareas, Formulario de Entrega al Supervisor, Informe de Avance y Costo) e instrumentos aplicados y no aplicados a su Supervisor. Devolver los materiales utilizados en la aplicacin de los instrumentos (cronometro, grabadora digital, calculadora) al supervisor de encuestadores. Responsabilidades Estudiar y manejar con fluidez las guas y manuales del encuestador y los instrumentos de recoleccin de datos. Cumplir y hacer cumplir las normas establecidas en los manuales. Realizar un reconocimiento del rea de Empadronamiento (AE) asignada, de sus lmites y de la ubicacin exacta de las viviendas seleccionadas en la muestra.
94
Efectuar la revisin de la cartografa existente, verificando la calidad y exactitud de la informacin contenida en ella, y a travs de visitas casa por casa actualizar la lista de viviendas y hogares existentes en la AE. Elaborar un plan de trabajo a ser desarrollado, el tiempo estimado que durarn las entrevistas y cmo encarar el operativo de campo. Informar permanentemente al Supervisor sobre el avance de las actividades. Mantener una constante coordinacin y comunicacin fluida con los actores involucrados.
95
ANEXO B TIEMPO DE APLICACIN DE LOS INSTRUMENTOS SEGN CDIGO DE SITUACIN FINAL CA Estadsticos descriptivos
Cdigo de situacin final Completada N Mnimo Mximo Media Mediana
639
8,00
91,00
31,4757
30
12,64511
Mdulo Filtro
Estadsticos descriptivosa
Cdigo de situacin final Completada Rehusada Dificultades relacionadas con el idioma Dificultades relac. con habilidad lectora o de escritura Ceguera o trastornos visuales Otros (no especificado)
N 600 1 2
Mnimo Mximo 1,00 9,00 10,00 105,00 9,00 10,00
Media 23,2167 9,0000 10,0000
Mediana 20,00
Desv. tp. 12,59832
6,00
6,00
6,0000
5 2
1,00 2,00
15,00 4,00
8,4000 3,0000
10,00 3,00
5,45894 1,41421
Md. A: Localizador
Estadsticos descriptivosa N Completada Rehusada Otros (no especificados)
Mnimo 1,00 1,00 3,00 1 1
Mximo 67,00 1,00 3,00
Media 17,3733 1,0000 3,0000
Mediana 15,00
Desv. tp. 9,83582
292
Md. A: Rotafolio
Estadsticos descriptivosa N Completada Parcialmente Rehusada Otros (no especificados) 281 5 2 2 Mnimo 5,00 14,00 28,00 4,00 Mximo 93,00 42,00 36,00 25,00 Media 31,2100 28,6000 32,0000 14,5000 Mediana 30,00 30,00 32,00 14,50 Desv. tp. 10,71991 13,77679 5,65685 14,84924
Md. B: Cuadernillo 1
Estadsticos descriptivosa N Completada Parcialmente completada Rehusada 2 2,00 32,00 17,0000 17,00 21,21320 154 1 Mnimo Mximo 10,00 33,00 127,00 33,00 Media 42,0844 33,0000 Mediana 40,00 Desv. tp. 17,65943
Md. B: Cuadernillo 2
Estadsticos descriptivosa N Completada Parcialmente completada Rehusada 2 2,00 32,00 17,0000 17,00 21,21320 154 1 Mnimo Mximo 10,00 33,00 127,00 33,00 Media 42,0844 33,0000 Mediana 40,00 Desv. tp. 17,65943
97
ANEXO C PERFIL Y RESPONSABILIDADES DE LOS CORRECTORES Perfil acadmico Estudios terciarios concluidos (ttulo universitario o terciario no universitario) preferentemente en las siguientes reas: ciencias sociales, estadsticas o evaluacin. Experiencia profesional Participacin en actividades de correccin de tem de pruebas cognitivas. Participacin en programas, proyectos y/o evaluaciones nacionales e internacionales. Experiencia satisfactoria en equipo de trabajo.
Responsabilidades Participar de la capacitacin a realizarse por la Coordinacin Tcnica de LAMP. Suscribir el acuerdo de confidencialidad de los instrumentos y materiales referentes al estudio y cumplir con las obligaciones establecidas en dicho acuerdo. Acudir a reuniones cuando el Corrector Jefe lo convoque en horario y lugar determinado. Estudiar y analizar detenidamente el Manual de Procedimientos Operacional de Asignacin de Puntajes. Corregir las pruebas cognitivas (Mdulo Filtro, Mdulo A: Cuadernillo Localizador, Mdulo A: Cuadernillo del encuestado Componentes de Lectura -, Cuadernillo del Registro- Componentes de Lectura -, Mdulo B: Cuadernillo 1 y 2 en coordinacin con el equipo de correctores del LAMP. Comunicar problemas encontrados y las soluciones propuestas de acuerdo a las normas establecidas, con el fin de socializar las soluciones y estandarizar la produccin de la informacin. Presentar informe final de la actividad realizada. Mantener la confidencialidad de los instrumentos y materiales referentes al estudio.
98
No conservar ni dejar al alcance de personas ajenas los instrumentos y materiales de LAMP, ni permitir la realizacin de copias. No divulgar por ningn medio a personas no autorizadas el contenido de los materiales del estudio. Considerando que los materiales e instrumentos de LAMP contienen informacin personal que ha sido proporcionada por individuos, esta ser manejada de acuerdo a las normativas establecidas que obligan a la proteccin de la identidad de los encuestados; por lo tanto, no se publicarn datos que permitan identificar a las personas.
99
ANEXO D Duracin media de entrevistas completas

Estadsticos descriptivos N TiempoTotal N vlido (segn lista)
Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboracin propia Nota: Para calcular la duracin promedio de la entrevista se consideraron solo los 429 casos que se completaron en una sola visita.
Mnimo 30.00
Mximo 248.00
Media 97.39
Mediana 93.00
Desv. tp. 30.13
429 429

Informe Final Del Estudio Piloto de Paraguay - Noviembre 2010 - Programa de Evaluación y Monitoreo de La Alfabetización - Portalguarani

Uploaded by

Document Information

Original Title

Copyright

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Informe Final Del Estudio Piloto de Paraguay - Noviembre 2010 - Programa de Evaluación y Monitoreo de La Alfabetización - Portalguarani

Uploaded by

Copyright:

www.portalguarani.

Con el apoyo de:

ndice de tablas y anexos

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

Cules son los instrumentos usados por LAMP?

Un cuestionario de antecedentes que genera informacin sobre las

Una prueba filtro orientada a brindar una primera aproximacin al

Un mdulo para aqullos con menor desempeo esperado que

Un mdulo para aqullos con mayor desempeo esperado que

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

Fuente: Base de datos Estudio Piloto LAMP Paraguay. Elaboracin propia

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

Fase I. Actividades de autoaprendizaje

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

2.5.1. Organizacin y logstica del trabajo de campo a. Centro de Operaciones

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

Cuadernillo Encuestado 6827

Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboracin propia.

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

2.9.5. Control de calidad del procesamiento de datos 2.9.5.1. Correccin y codificacin

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

Mdulo A Mdulo B Total Cuadernillo 1 Cuadernillo 2 Total

104 214 318

199 171 370

274 281 555

148 133 281

Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboracin propia

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboracin propia

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboracin propia

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

IDIE MERCOSUR Instituto para el Desarrollo y la Innovacin Educativa

Mnimo Mximo 1,00 9,00 10,00 105,00 9,00 10,00

Media 23,2167 9,0000 10,0000

Desv. tp. 12,59832

Mnimo 1,00 1,00 3,00 1 1

Mximo 67,00 1,00 3,00