Evaluacionherramienta

La evaluacin como herramienta para una gestin pblica orientada a resultados.
La prctica de la evaluacin en el mbito pblico mexicano*

Jos Meja Lira ______________________________
Introduccin El presente estudio se enmarca en la investigacin general impulsada por el Centro Latinoamericano de Administracin para el Desarrollo (CLAD), con el objetivo de aportar conocimientos prcticos y tcnicos sobre el papel de la evaluacin en el mejoramiento de la gestin pblica. En particular se busca identificar reas crticas que influyan en el diseo e implementacin de la evaluacin de la gestin pblica, orientada a resultados, con el inters de formular hiptesis sobre el papel que la evaluacin juega en la modernizacin y democratizacin del Estado. Se asume que la creacin de sistemas de evaluacin de resultados o el desarrollo de instrumentos en ese sentido, es un componente fundamental de la modernizacin gubernamental. El estudio auspiciado por el CLAD comprende un anlisis de la prctica de la evaluacin en diversos pases, el presente documento reporta la experiencia mexicana. Debe aclararse que, siendo Mxico un pas federal, donde cada Estado que conforma el pas tiene rangos de autonoma importantes, y con administraciones pblicas diferentes, el anlisis realizado solo tom en cuenta al gobierno nacional, reconociendo que en los Estados existen experiencias tiles e importantes en los esfuerzos modernizadores del aparato administrativo pblico. Un estudio en profundidad como el que se propone aqu no se ha realizado an para Mxico en contraste con el alto grado de atencin que se le ha prestado al estudio de este tpico en otras regiones. Para realizar el estudio se tomaron en cuenta los documentos oficiales, as como entrevistas a funcionarios pblicos involucrados en el rea de evaluacin, tanto por ser parte del diseo como por ser instrumentadores del proceso evaluatorio. Hubo necesidad de considerar varias instancias por disponer de diferentes vertientes de evaluacin. Tambin se tuvo la posibilidad de entrevistar a un asesor que colabor en una de los sistemas de evaluacin y que aun contina apoyando el esfuerzo. Podemos decir que formalmente existen herramientas tiles y con un diseo tcnico adecuado, incluso con una clara ptica a evaluar resultados e impactos, y aunque existe un sistema para todas las dependencias y las principales entidades del gobierno federal, todava no se ha consolidado del todo un sistema integral de evaluacin, aunque si persiste, y ha sido muy til, el Sistema de Evaluacin de Metas, siendo un enfoque orientado a medir alcances de aspectos sustantivos. Consideramos que Mxico est muy cerca de disponer de un sistema integral orientado a resultados, ello adems de haber incorporado ya, las evaluaciones externas en algunos programas, situacin derivada de una obligacin del congreso. En el actual gobierno se hizo un gran esfuerzo, y a nivel de Secretaras de Estado (Ministerios) se cuenta con un sistema de negociacin de metas, que anualmente se establecen entre el titular de las dependencias y el Presidente de la Repblica. Este sistema es un claro proceso de evaluacin por objetivos, y cuyo seguimiento reviste gran importancia, dado que, el mismo Presidente est al tanto de los avances o retrocesos en los compromisos acordados. Pero tambin se dispone de otros mecanismos de evaluacin, algunos aplicados de manera generalizada y otros muy particulares. Para nuestra investigacin, tambin hicimos uso de algunos estudios realizados sobre la evaluacin, en particular la tesis doctoral de Myriam Cardozo, de la cual fui revisor. Como es siempre es el caso, los errores y defectos son responsabilidad ma. No se describen ciertos sistemas
Documento elaborado en el ao 2005, por encargo del CLAD. Los anlisis contenidos en este informe no reflejan necesariamente las opiniones del CLAD.
La evaluacin como herramienta para una gestin pblica orientada a resultados. La prctica de la evaluacin en el mbito pblico mexicano Jos Meja Lira CLAD, 2005 (http://www.clad.org.ve)
por ser muy particulares, como el MIDO, que se aplica para los rganos internos de control; ni el sistema de evaluacin del desempeo, derivado de la obligacin de la Ley de Profesionalizacin. Debo agradecer a las personas que me apoyaron en este estudio, tanto a quienes proveyeron la informacin como quienes amablemente permitieron ser entrevistados, sobre todo por haber aplicado entrevistas amplias que significaron una dedicacin significativa de tiempo, pero que brindaron informacin muy importante para este estudio. En particular debo agradecer a Dora Nava Garca, que se encarg de hacer los contactos y las citas correspondientes, al igual que a Richard Hernndez que transcribi gran parte de la Informacin y apoy en la reflexin y manejo del tema. Una persona con quien encontramos coincidencia de intereses fue Ramiro Nava con quien compartimos esfuerzos e informacin, facilitando tambin este estudio, vaya nuestra gratitud. Finalmente debo agradecer a Hugo Nicols Prez que me propuso para ser responsable de este estudio y me brind las facilidades necesarias y al CLAD por ser una institucin que cada vez ms muestra estar estudiando los temas ms relevantes que favorecen el cambio y mejoramiento de las administraciones pblicas, en particular a Nuria Cunill, profesional que ha demostrado ser una investigadora de gran calidad. I. Justificacin y Contexto La creacin de sistemas de evaluacin de la gestin pblica es un componente crtico dentro de las propuestas de reforma del sector pblico. En los pases desarrollados, los casos ms conocidos son los esfuerzos realizados bajo la idea del New Government o Neo-Gerencialismo1 en Gran Bretaa, Nueva Zelanda y los Estados Unidos. Estos esfuerzos en los pases latinoamericanos, responden a las particularidades histricas de la regin. Por ejemplo, el problema de la calidad de la gestin pblica y su capacidad para implementar polticas y movilizar recursos se convirti en un factor crtico dentro de las reformas de segunda generacin que se dieron despus de los ajustes macroeconmicos de los 80s2. El aumento de su capacidad a travs del desarrollo institucional es una de las herramientas para asegurar el xito de los procesos de modernizacin del Estado en la regin, como parte de la agenda ms amplia que busca crear las condiciones para el fortalecimiento y profundizacin de una democracia que genere desarrollo sostenible3. La forma como cada pas est respondiendo a las situaciones generadas a partir de los procesos de reforma tiene importantes implicaciones para la consolidacin de sus estructuras democrticas. En este sentido, la evaluacin es un asunto poltico que concierne tanto a gobernantes como a gobernados. En Mxico, el proceso de transformacin ilustra como la descentralizacin administrativa, fiscal y poltica; la democratizacin y las reformas electorales; y la modernizacin del estado representan tres procesos de la reforma que han afectado las relaciones horizontales y verticales entre los actores participantes en la bsqueda de soluciones a los problemas pblicos. La lgica de conceptualizacin e implementacin de los sistemas de evaluacin mexicanos aparecen dentro de este contexto, que estn directamente enmarcada en estos cambios. Uno de los problemas ms comunes que enfrentan muchas administraciones pblicas, es la ausencia de un mtodo eficaz y sistemtico para medir el rendimiento de su gestin y evaluar sus resultados. El inters tanto administrativo como poltico, se ha orientado ms bien a controlar los insumos, o inputs, que recibe la Administracin pblica y a garantizar la observacin de normas y procedimientos. De hecho medir el coste o bien evaluar el rendimiento de la prestacin de los servicios pblicos, no era, hasta hace relativamente pocos aos una preocupacin fundamental.
Rodees, R.A.W. The Public Management. Public Administration. Vol. 69:1. Bresser Pereira, Luiz Carlos. State Reform in the 1990s. Logic and Control Mechanisms. Presentado en el II Congreso Internacional del CLAD. Venezuela. Centro Latinoamericano de Administracin para el Desarrollo (CLAD). 2 Naim, Moiss. Latin Americans Journey To the Market: From Macroeconomic Shocks to Institutional Therapy. California, ICS Press, 1995. 3 Prats, Joan. La Reforma del Estado y de la Administracin Pblica. Presentado en el II Congreso Internacional del CLAD. Venezuela, 1997.
1
Los aos recientes han llevado a la exigencia de mostrar resultados de los gobiernos y a tener para ello metodologas, o al menos, indicadores que demuestren que se est avanzando en solucionar los problemas o en aprovechar las oportunidades, El estudio que se propone aqu busca identificar los obstculos y oportunidades que se han generado en esfuerzos importantes de evaluacin de la gestin pblica en Mxico, a fin de identificar reas crticas que influyan en el diseo e implementacin de sta, orientada a resultados, con el inters de formular hiptesis sobre el papel que la evaluacin juega en la modernizacin y democratizacin del Estado. II. El Problema La teora contempornea de la administracin pblica enfatiza las ventajas de tener una gestin pblica orientada a resultados, en contraste con una orientacin clsica que destaca los procedimientos y los procesos de gestin. El orientar la gestin a resultados, genera una dinmica al interior de la organizacin que provoca el mejoramiento del desempeo organizacional y de los resultados que se desean alcanzar. La teora implcita es que esta dinmica por s misma genera procesos de retroalimentacin y aprendizaje por parte de los actores involucrados, los cuales a su vez, generan acciones de correccin que producen el mejoramiento de la gestin. Este razonamiento explica la aparicin de numerosos esfuerzos de evaluacin de la gestin en varios pases de Amrica Latina, algunos creando un conjunto de instrumentos de evaluacin, y otros intentando crear sistemas nacionales de evaluacin de la gestin. Es poco lo que sabemos acerca de la manera como estos sistemas y herramientas de evaluacin en efecto contribuyen al mejoramiento de la gestin pblica en Amrica Latina. Tampoco sabemos cules son los factores que facilitan u obstaculizan el uso de la evaluacin como herramienta gerencial, y ms concretamente, como se usa este instrumento para promover una gestin pblica orientada a resultados. Generar conocimientos sobre estos temas puede proporcionar lecciones tiles, tanto para quienes administran los sistemas existentes, como para quienes consideran esta herramienta como parte de la agenda de modernizacin de la administracin pblica, y finalmente para los estudiosos de la gestin pblica como disciplina. Este estudio busca explorar la relacin causal entre los procesos y herramientas de evaluacin de la gestin, la generacin de una gestin orientada a resultados y el consecuente mejoramiento de la gestin pblica en Mxico. Naturalmente, el realizar una evaluacin de resultados resulta til para distintos agentes. Los agentes ms interesados en el sistema son: Los ciudadanos, quienes buscan informacin acerca del uso de sus impuestos, de la efectividad de la Administracin y de la obediencia de sus deseos como electorado. Los polticos, interesados en conocer la cantidad y calidad de los bienes y servicios producidos, el grado de atencin de los problemas enfrentados y si los recursos han sido utilizados adecuadamente, es decir ms all de evaluar la productividad del gasto analizar la incidencia distributiva. Los funcionarios pblicos, quienes desean conocer las debilidades y riesgos del sistema de gestin, la pertinencia de los objetivos y programas, y si la combinacin de recursos en la gestin administrativa ha resultado adecuada. Los implementadores de la poltica que pueden reconocer los efectos de sus esfuerzos y las repercusiones de su actuacin. Cubrir estas y otras necesidades de informacin exige la consideracin de una diversidad de dimensiones del rendimiento. Aquellas ms comnmente adoptadas son la economa, la eficiencia y la efectividad, dado el predominio del llamado modelo de medicin del rendimiento de las 3 e's. Sin embargo muchas iniciativas han ensayado novedosas medidas de rendimiento en dimensiones como calidad de los servicios y satisfaccin del cliente, entre otras, que distinguen entre la efectividad de
3
los programas y la efectividad poltica de los resultados4. En el campo de los programas y proyectos sociales la evaluacin del impacto, destaca como el criterio ms importante a utilizar5. Algunas estrategias ponen nfasis en la calidad, pertinencia y suficiencia de la oferta de productos (bienes o servicios) que presta la administracin pblica, as como en su gestin presupuestal sobre la base del rendimiento, mientras otras lo hacen en la demanda y requerimientos de los contribuyentes y otras ms consideran a ambas (oferta y demanda) simultneamente. El xito, modalidad y ritmo de introduccin de sistemas de medicin del rendimiento descansa en las condiciones organizativas e institucionales en las cuales intente introducirse. Este estudio, en gran medida descriptivo, tiene como objetivo general el aportar conocimientos prcticos y tericos sobre el papel de la evaluacin en el mejoramiento de la gestin pblica, para el caso de Mxico. En particular la investigacin busca: - Identificar reas crticas que influyen en el diseo e implementacin de la evaluacin de la gestin pblica orientada a resultados en Mxico. - Desarrollar hiptesis sobre el papel que la evaluacin juega en la modernizacin y democratizacin del Estado mexicano. Este estudio propone hacer un examen detenido del proceso de definicin, conceptualizacin, diseo e implementacin de los diferentes sistemas de evaluacin de la gestin pblica en Mxico, orientados a medir resultados. Concretamente del Sistema de Evaluacin del Desempeo (SED), diseado conjuntamente por la Secretara de Hacienda y Crdito Pblico (ministerio de Hacienda) y la Secretara de la Contralora y Modernizacin Administrativa (hoy Secretara de la Funcin Pblica)6; el Sistema de Evaluacin y Seguimiento de Metas Presidenciales (SIMEP) y el Sistema de Evaluacin y Control Gubernamental de la Secretara de la Funcin Pblica (Ministerio de la Funcin Pblica). III. Marco Referencial del Estudio III.1. Origen del Sistema de Evaluacin en Mxico Para el manejo de la historia de Mxico suele ser el referente el ao 1917, por ser donde se inicia el perodo post-revolucionario. A partir de esa poca los esfuerzos gubernamentales se encaminaron a poner orden en el pas y a sentar las bases para el desarrollo. La preocupacin por la evaluacin iniciara tmidamente en los aos cuarenta y ms como una preocupacin que con acciones concretas al respecto. Los primeros esfuerzos se encaminaron al manejo de recursos7. La lgica de los gobiernos a partir de esos aos fue imprimir un sello que los caracterizar, incluso con cambio en los nombres y/o funciones de las Secretaras de Estado. Poco se hizo para conocer la eficiencia de los programas y los informes elaborados correspondan a un acopio de datos y reportes positivos sin una metodologa que mostrara el impacto de los programas instrumentales. La preocupacin por administrar y sobre todo controlar, los organismos pblicos, particularmente las llamadas empresas paraestatales, llevaron a la creacin de mecanismos de seguimiento de estas instancias en el perodo 1970-1976. As el Congreso de la Unin adquiri algunas facultades y se inici el control general de ingresos y egresos de los principales organismos de la administracin pblica descentralizada. Uno de los elementos que contribuy al desarrollo de procesos de evaluacin fueron los esfuerzos de planeacin, iniciados propiamente en el perodo del presidente Jos Lpez Portillo, que
Ted Gaebler y D. Osborne. La reinvencin del gobierno. Paids ,1993. Ernesto Cohen y Rolando Franco. Formulacin y Evaluacin de Proyectos Sociales. S. XXI, Ed., Mxico.1993. 6 El sistema se aplica actualmente, y de manera parcial, en la Secretara de la Funcin Pblica. De hecho el sistema de metas presidenciales se incorpor en este sistema. 7 De hecho hubo etapas donde no se tena en claro el patrimonio gubernamental por la falta de controles y/o registros adecuados.
5 4
tuvieron su antecedente en la Comisin de Administracin Pblica, donde l mismo trabaj en el perodo gubernamental anterior. En el sexenio de Lpez Portillo (1976-1982), se cre la Secretara de Programacin y Presupuesto (SPP), encargndole la planeacin, programacin, presupuestacin, control y evaluacin del gasto pblico. La SSP contaba con un Subsecretario de Evaluacin de los resultados gubernamentales aunque slo dispona de una Direccin General. No existi propiamente un sistema de evaluacin, aunque esta direccin busc ser un apoyo identificando y corrigiendo errores y fallas o bien replanteando estrategias. Adems de los problemas derivados de la pugna entre la SHCP y SPP, la Subsecretara de Evaluacin enfrent problemas con la Coordinacin de Evaluacin que exista desde 1977 en la Secretara de la Presidencia, y en consecuencia decayeron sus esfuerzos. A pesar de ello se realizaron anlisis de avances y de situaciones que vivan los programas gubernamentales, realizando revisiones en reuniones nacionales de evaluacin, aunque ms con acopio de informacin que rescataba finalmente lo propio de cada dependencia y dilua las fallas y errores. Adems, en el mbito legislativo, se fortaleci el rgano tcnico de revisin de cuentas al aprobarse en 1978, la Ley Orgnica de la Contadura Mayor de Hacienda8. En este perodo gubernamental se hizo el esfuerzo de generar un plan de desarrollo nacional, conocido como Plan Global de Desarrollo. Fue precisamente Miguel de la Madrid, quien sera el siguiente presidente de Mxico, al frente de la Secretara de Programacin y Presupuesto quien elabor dicho plan. Posteriormente se establecera un sistema nacional de planeacin. La llegada del presidente Miguel de la Madrid Hurtado, que gobern de 1982 a 1988, se dio en un contexto de crisis profunda del pas, con una inflacin galopante, cada del tipo de cambio monetario y falta de recursos monetarios. El descontrol y descontento llevaron a una serie de acciones, entre las cuales una lnea del proyecto del gobierno fue la renovacin moral y en ese marco se crea la Secretara General de la Federacin (SECOGEF), siendo normativa para las actividades de control y evaluacin, adems de ser responsable de ejercer la fiscalizacin, el control y la evaluacin. Su aparicin llev a la extincin de la Coordinacin de Evaluacin de la Presidencia. Ante esta profunda crisis, la Secretara de Programacin y Presupuesto dej de lado en gran medida la planeacin para encargarse de los programas de estabilizacin, de saneamiento de las finanzas pblicas, el control de gasto, entre otros. Si bien el sistema de planeacin contemplaba un proceso de evaluacin, la preocupacin por el diseo de polticas econmicas apropiadas para enfrentar la crisis dio como consecuencia que las funciones de evaluacin quedaran reservadas para la SECOGEF, la cual estuvo ms orientada a las auditorias y sistemas de revisin que a un proceso de evaluacin de resultados. Uno de los aspectos positivos de este perodo correspondi a la creacin del Sistema Nacional de Planeacin Democrtica. Para ello se modific la Constitucin haciendo obligatoria la elaboracin de un plan nacional de desarrollo y la instrumentacin de polticas pblicas a travs de programas sectoriales enmarcados en el plan nacional, bajo las orientaciones de la Ley de Planeacin. Este sistema obliga a un mecanismo de consulta popular para recoger la participacin social en las etapas de formulacin, control y evaluacin. Contempla como vertiente la obligatoriedad de la planeacin en el mbito pblico, la vertiente de la concertacin en otros niveles de gobierno y la vertiente de induccin para los mbitos privado y social. Tambin se impuls un programa de simplificacin administrativa, orientado a facilitar los trmites a la sociedad y en este programa se realiz una reunin de evaluacin, donde se analizaron los avances, bajo un enfoque ms que todo descriptivo. Un juicio sobre la actuacin de la SECOGEF en este perodo nos llevar a reconocer que fue ms sancionadora, que preventiva y que la evaluacin fue limitada y escasa, aunque se foment la lgica del autocontrol, pero sin grandes resultados.
8
Este rgano tiene antecedentes desde la Colonia y se orienta ms a un anlisis del gasto. Se sustituy a partir de 1999 por la Auditoria Superior de la Federacin.
En el siguiente perodo gubernamental, con la llegada del presidente Carlos Salinas de Gortari (1988-1994), se puso en marcha el Programa Nacional de Solidaridad, en un principio manejado por la SPP; adems se cre el Programa General de Simplificacin de la Administracin Pblica Federal, que inclua entre sus objetivos: consolidar una cultura administrativa que propiciara la eficacia y la productividad en la gestin de las instituciones gubernamentales, promover la evaluacin de la calidad y la transparencia en la prestacin de los servicios pblicos, as como prevenir y combatir la corrupcin. Al final desaparecera la SPP para dar paso a la Secretara de Desarrollo Social, y devolver las actividades de presupuestacin a la SHCP. Igualmente, en este perodo se cre la Comisin Nacional de Derechos Humanos, como organismo pblico encargado de vigilar y auxiliar a las autoridades en la observancia de la ley y la proteccin de las garantas individuales. Uno de los aspectos positivos en este perodo fue la creacin de la contralora social, creada en el marco del PRONASOL, bajo la cual se nombra vocales de control y vigilancia de los mismos grupos sociales. Estas contraloras sociales vinieron a otorgar una mayor fuerza a la participacin social y corresponde un avance significativo en la vigilancia de la sociedad a la accin gubernamental. El PRONASOL operaba a travs de comits de solidaridad, que eran conformados por la propia gente de la comunidad beneficiaria del programa. Cada comit nombraba un vocal de control y vigilancia; siendo rganos tambin y con funciones especficas para los programas sociales. Estos vocales no tenan personalidad jurdica y no contaban con un respaldo legal para su actuacin, por lo cual su funcin se circunscriba a informar a SECOGEF de las irregularidades identificadas. Igualmente se instrument el Sistema Nacional de Quejas y Atencin Ciudadana a cargo de la misma Secretara, ampliando la posibilidad de incorporar a la sociedad civil a las actividades de control y vigilancia. Para el ao 1992 se extingue como hemos sealado la SPP y se transfieren sus funciones a la SHCP9. A finales del sexenio de Carlos Salinas, la SECOGEF, se transform en Secretara de la Contralora y Desarrollo Administrativo (SECODAM), al asumir las responsabilidades en materia de desarrollo administrativo. Se entiende entonces, que el aparato administrativo gubernamental requera de un cambio significativo para lograr la eficacia y eficiencia gubernamental. Tradicionalmente en Mxico, la evaluacin de programas y/o polticas pblicas consista en un reporte simple sobre acciones llevadas a cabo y la identificacin de algunos resultados generales. Los informes gubernamentales hacan mediciones globales, sin aislar y/o considerar los efectos directos de una accin gubernamental ejecutada. As los apoyos al campo, se medan con la produccin agropecuaria global sin estimar elementos que habran permitido el incremento o el decremento en la produccin. Ya para este periodo se identifica la necesidad de una evaluacin de polticas pblicas orientada a medir impactos y medir los beneficios sociales. La globalizacin y los nuevos paradigmas que aparecen llegan a reforzar la idea de un sistema de medicin de la actividad pblica y la bsqueda por un gobierno eficiente y efectivo. El paso de una economa protegida a una insercin a los mercados mundiales, exige una mayor eficacia del gobierno en todos sus mbitos. Es en el sexenio del presidente Ernesto Zedillo (1994200), que Mxico se ve totalmente inmerso en una economa globalizadora, que exige naciones encaminadas hacia el primer mundo donde se requiere un gobierno con servicios de clase mundial, planeacin estratgica a largo plazo, autonoma de gestin, evaluacin por resultados no por actividades, tcnicas de administracin de calidad total, estndares de servicio, desregulacin interna y externa antes que modernizacin, implementacin de un servicio civil, desregulacin y organizaciones flexibles, entre otros. En ese sentido, el gobierno en turno establece como lnea de trabajo un proceso modernizador, dentro del cual se postula un sistema de evaluacin orientado a resultados, con el denominado Programa de Modernizacin de la Administracin Pblica (PROMAP).
Ya habamos sealado que se prest a disfunciones y conflictos la operacin del Gasto por una dependencia y del ingreso por otra. A pesar de existir una Comisin de Gasto Financiamiento.
9
El PROMAP postul como sus objetivos: - Lograr un gobierno eficaz y eficiente (competitivo) - Combatir la corrupcin a travs del enfoque preventivo Teniendo como filosofa un enfoque al servicio orientado al cliente. Sus subprogramas fueron: - Participacin y atencin ciudadana - Descentralizacin y/o desconcentracin - Medicin y Evaluacin de la gestin pblica - Dignificacin, Profesionalizacin y tica del Servidor Pblico Este programa subray el enfoque al servicio y al cliente, adems de buscar una desregulacin, tanto interna como externa, haciendo importantes esfuerzos para ello. Tambin busc acercar las decisiones a las reas de servicio, mejorar el proceso de asignacin y administracin presupuestaria, y sobre todo la creacin de un conjunto de Indicadores relevantes de resultados. Se subray la importancia de la capacitacin, para mejorar la administracin pblica. Dentro de sus caractersticas, el PROMAP, hizo nfasis en distinguir la diferencia entre los tipos de control. De un sistema basado en la desconfianza, centralizado y ms orientado al control de operaciones y verificacin de recursos a un sistema de control moderno, basado en la responsabilidad, descentralizado, bajo la lgica del autocontrol y centrado en la verificacin de resultados. Entendiendo que esta ltima perspectiva facilitara la actuacin y sera menos costosa.
TRADICIONAL MODERNO (PROMAP)
Desconfianza Centralizado Control hasta la operacin Verificacin de uso de recursos Requiere muchos recursos y tramos de control
Responsabilidad Descentralizado Control estratgico - autocontrol de la operacin Verificacin de resultados, costos y rentabilidad Es menos costosa
El esquema de modernizacin parta de una vinculacin al Plan Nacional de Desarrollo y la piedra de arranque era la definicin de estndares que mediran la actuacin. El PROMAP fue un esfuerzo que llev a todas las dependencias del mbito pblico federal a generar indicadores de distinto tipo. Primero, estaban los llamados estratgicos que correspondan al cumplimiento de los objetivos institucionales, enmarcados en los planes y programas; luego haba indicadores de proyectos y de gestin; pero tambin se dispuso de indicadores de servicio, que correspondan a mediciones basadas en la opinin de la propia sociedad. Roles Especficos del PROMAP ESTRATEGIA SERVICIOS ADMINISTRATIVOS
PROYECTOS
SERVICIOS
Se entendi que las dependencias deban manejar mediciones, que seran diferentes dependiendo del nivel. Adems, deba incorporarse un enfoque de servicio, visualizando a los ciudadanos como clientes.
Enfoque a Servicios
Flexibilidad Comunicacin Aprendizaje Apertura Cultura

PERSONAS
Servicios internos Valor agregado Visibilidad Control Indicadores de proceso

PROCESOS
SERVICIO
Facultacin Capacidad Trabajo en equipo, etc.
Rentabilidad social Estndares Indicador de desempeo Indicador de satisfaccin, etc.
En este mismo periodo la Secretara de Hacienda y Crdito Pblico (SHCP) busc cambiar y favorecer la eficiencia del Sistema Presupuestario, lo que se conoci como la Reforma al Sistema Presupuestario. Uno de los aspectos importantes de esta reforma era la bsqueda para integrar el Sistema de Evaluacin del Desempeo (SED)10, cuya caracterstica era precisamente una orientacin a resultados pero vinculada al presupuesto. Los logros alcanzados no fueron todos los esperados, aunque logr introducir mejoras a la presupuestacin. Se reconoci la rigidez del sistema presupuestal y se realizaron cambios, redefiniendo las categoras programticas. Pero lo principal fueron los esfuerzos para generar un sistema de indicadores para orientar el gasto a resultados, como base de un Sistema de Evaluacin del Desempeo. As, se busc adecuar los programas gubernamentales a objetivos sectoriales estratgicos, se cre un sistema de monitoreo de programas y proyectos, se establecieron tcnicas de medicin y se incorporaron mecanismos de evaluacin de programas. El sistema de evaluacin del desempeo (SED) tena como fases: Medicin y evaluacin Descentralizacin, desconcentracin y flexibilidad operativa Involucramiento de la sociedad Servicio Profesional de Carrera
10
Este Sistema se describe con mayor amplitud en el apartado Principales Sistemas de Evaluacin Existentes.
En la primera fase se buscaba la medicin a travs de indicadores de resultados. En la segunda se trabaj por convenios de desempeo que fijaban compromisos a travs de la tipificacin de metas e indicadores de resultados, flexibilizando en cierta medida el manejo del presupuesto. La fase de involucramiento de la sociedad se trabajaba por encuestas de opinin. La ltima fase buscaba brindar premios y sanciones a los responsables de los programas. Si bien se logr contar con indicadores y se realizaron convenios de desempeo, no se consolid un sistema que brindara la evaluacin esperada y sobre todo la vinculacin NEP-SED. Debe recuperarse de esta etapa la creacin del Sistema Nacional de Quejas, Denuncias y Atencin Ciudadana, cuyo fin principal fue promover la participacin social. En el mbito del poder legislativo se modific la Constitucin para dar paso a la creacin de la Auditoria Superior de la Federacin, sustituyendo a la Contadura Mayor de Hacienda y fortaleciendo las actividades de control y evaluacin del Congreso. Esta instancia es ahora un rgano con mayores facultades y sobre todo con un carcter imparcial contando con autonoma tcnica y financiera. Finalmente, a la llegada de Vicente Fox a la presidencia se instrument el modelo de Innovacin gubernamental, que se describe mas adelante y que tiene como punta de lanza la negociacin de metas y la consecuente evaluacin y seguimiento de los avances en metas y objetivos, correspondiendo a una administracin por objetivos. III.2. Marco Institucional y Contexto Poltico III.2.1. Contexto Poltico Mxico ha entrado a un proceso de ampliacin de su vida democrtica, que ha significado para el ao 2000 la llegada al poder de un partido distinto al Partido Revolucionario Institucional, que tena gobernando 70 aos. As, en las elecciones de ese ao, obtuvo el triunfo el candidato de Partido Accin Nacional, Vicente Fox Quezada. A la llegada del presidente Fox, se instituy como referente de actuacin, el Modelo de Innovacin Gubernamental. En l se establecieron principios y vertientes de trabajo, entre las cuales figuraba el trabajar bajo metas negociadas y teniendo como eje rector la innovacin y la bsqueda por un gobierno de calidad mundial. Hoy en da la sociedad mexicana, como se est presentando en la mayora de los pases, se ha vuelto ms exigente. Despus de las crisis antes reseadas, se demanda al gobierno una actuacin con resultados y bajo la premisa de administrar bien los recursos. La administracin del presente gobierno ha anunciado y perseguido el lograr un gobierno eficaz y con mejores servicios, un gobierno honesto y transparente, un gobierno que funcione, pero sobre todo que tenga visin humana. La filosofa del gobierno actual busca centrarse en el ciudadano y disponer de un grupo creativo e innovador de funcionarios pblicos, que trabajen bajo una focalizacin clara de sus intenciones. Ha enunciado que la calidad es una de las bases para el fortalecimiento de Mxico, acompaado de la reciprocidad en eficiencia, honestidad, confianza, excelencia, democracia, justicia, transparencia, responsabilidad y legitimidad. Una de las finalidades de esta administracin es romper con los esquemas y paradigmas tradicionales con los que comnmente se efectuaban los asuntos en Mxico. Es as, que el gobierno actual se ha encaminado a obtener mejores resultados en materia social, econmica y poltica. La principal herramienta que ha utilizado el gobierno actual ha sido el Modelo de Innovacin Gubernamental, tratando de utilizar los ms avanzados sistemas administrativos y tecnolgicos para poder evitar la mala distribucin y mal uso de recursos, promoviendo as la eficacia de su funcin en todos los rdenes. Dicha innovacin ha buscado la reduccin del gasto con la idea de hacer ms con menos para ofrecer mayores beneficios a la sociedad. Uno de sus logros es haber contribuido a la mejora del manejo del personal a travs de la Ley del Servicio Profesional. Esta ley pretende perseguir la satisfaccin o superacin de las expectativas de los ciudadanos en los servicios que se le brindan, bajo el hecho de atraer, retener, y motivar a las mejores mujeres y los mejores hombres en el
9
servicio pblico, tratando de garantizar que la administracin pblica transite sexenalmente sin el mnimo problema y la mxima eficacia, y asegurando que, siendo polticamente neutra, se convierta en una herramienta til para nuestro pas. El gobierno actual tambin ha facilitado que, desde la comodidad de la casa u oficina, los ciudadanos obtengan informacin del gobierno y tengan acceso a los servicios que ste ofrece. La presente administracin ha buscado crear un gobierno gil y flexible, capaz de captar las oportunidades, atender los problemas y adecuarse a las circunstancias rpida y eficazmente. La idea ha sido disponer de un gobierno de clase mundial, innovador y de calidad total que ponga en el centro del quehacer gubernamental la satisfaccin de las necesidades y expectativas de la sociedad; todo ello a travs, como se sealo anteriormente, a travs del Modelo de Innovacin Gubernamental. El Modelo de Innovacin Gubernamental, es un modelo esencialmente de Innovacin Social hacia el interior de la Administracin Pblica Federal. Su visin se centra en recuperar la confianza de los ciudadanos en el gobierno as como en transformar al gobierno en una institucin competitiva que contribuya a lograr los resultados planeados en materia de crecimiento econmico, desarrollo humano y social, as como en materia de orden y respeto. Es una gua slida y estructurada para establecer el rumbo y pasar a la accin basada en un Cdigo de tica y una Poltica de Innovacin y Calidad. Todo esto mediante un sistema de valores compartidos. Para ello estableci una serie de lneas de accin, identificadas como la filosofa del gobierno: - Administracin por Calidad - Estructuras Planas (Reduccin) - Estructuras Flexibles (Reorganizacin): administracin cruzada - Mejora en la Capacidad de Gobernar - Visin y Misin Compartida - Re-posicionamiento - Contribucin a un Nuevo Orden Mundial El modelo de Innovacin Gubernamental tuvo 4 fases distintas: 1. Arranque: diseo del modelo de innovacin y calidad gubernamental. 2. Primera Fase: revisin de procesos, programa de capacidad integral, programa de reconocimiento a la innovacin y la calidad, etc. 3. Segunda Fase: gobierno enfocado y diferenciado, gobierno corporativo, servicio civil de carrera, rediseo de procesos, etc. 4. Tercera Fase: blindaje constitucional, reforma jurdica, proceso de mejora continua, gobierno competitivo, etc. Con la finalidad de dar respuesta a las demandas y expectativas generadas por la sociedad, el gobierno actual a travs del modelo de innovacin gubernamental estableci la agenda presidencial de Buen Gobierno que tiene como objetivo transformar radicalmente los esquemas tradicionales del quehacer pblico, buscando generar cambios profundos y permanentes, y reemplazando las viejas formas de los servidores pblicos de percibir y de actuar ante las necesidades de la ciudadana de ms y mejores servicios. Las lneas de accin en las cuales se centra el Buen Gobierno son: - Gobierno Honesto y Transparente, recuperando la confianza de la sociedad. - Gobierno de Calidad, satisfaciendo o superando las expectativas de los clientes y ciudadanos en los servicios que les brinda. - Gobierno Profesional, atrayendo, motivando, desarrollando y reteniendo a las mejores mujeres y los mejores hombres en el servicio pblico. - Gobierno Digital, permitiendo que los clientes y ciudadanos obtengan informacin del gobierno y tengan acceso a los servicios que ofrece desde la comodidad de su casa u oficina. - Gobierno con Mejora Regulatoria, garantizando que los clientes, ciudadanos, y los servidores pblicos puedan efectuar trmites con facilidad, seguridad y rapidez. - Gobierno que Cueste Menos, reduciendo el gasto que no agrega valor para ofrecer mayores beneficios a la sociedad.
10
Todas las instituciones gubernamentales deben, adems de cumplir sus objetivos sustantivos, establecer compromisos para satisfacer estos aspectos. Dicho de otra manera, adems de contar con metas de sus atribuciones y funciones especficas, deben existir metas para cumplir con la agenda de buen gobierno. Como veremos ms adelante los principales instrumentos de evaluacin hacen uso de estos ejes de actuacin. III.2.2 Marco Institucional Existen diversos sealamientos que obligan a la existencia de un proceso de evaluacin. De entrada el Sistema Nacional de Planeacin Democrtica, encuadrado en la ley de Planeacin, obliga a la aplicacin de la evaluacin para juzgar los avances y el cumplimiento del Plan y los programas de gobierno. Adems existe la obligacin de aplicar una evaluacin de resultados por un agente externo a todos los programas sociales con reglas de operacin. De igual manera la reciente ley de profesionalizacin, obliga a la aplicacin de un sistema de evaluacin orientado a resultados. Como un marco de actuacin importante debe sealarse el Modelo de Innovacin Gubernamental. Este modelo fue instituido desde la Oficina de la Presidencia, y ha sido el referente obligado para los cambios y mejoramiento de la administracin gubernamental en este periodo. En el marco institucional, quien tiene las funciones de control y evaluacin es la Secretara de la Funcin Pblica (antes la SECODAM). Y de acuerdo a la Ley Orgnica de la Administracin Pblica Federal, en su artculo 31, corresponde a la Secretara de Hacienda y Crdito Pblico (SHCP), preparar el proyecto de presupuesto de egresos de la federacin (PEF), a travs de la Subsecretara de Egresos, la cual incluye la Direccin General de Programacin y Presupuesto B, y a su interior encontramos el rea encargada de las evaluaciones externas. El artculo 25 de la Constitucin Poltica de los Estados Unidos Mexicanos, seala que El Estado (Mexicano) planear, conducir, coordinar y orientar la actividad econmica y llevar a cabo la regulacin y fomento de las actividades que demande el inters general en el marco de libertades que otorga esta Constitucin11. El artculo 26 de la Constitucin Poltica de los Estados Unidos Mexicanos seala que el Estado organizar un sistema de planeacin democrtica del desarrollo nacional que imprima solidez, dinamismo, permanencia y equidad al crecimiento de la economa para la independencia y democratizacin poltica, social y cultural de la Nacin. Asimismo, establece que los fines del proyecto nacional contenidos en dicho ordenamiento determinarn los objetivos de la planeacin. Por otra parte, indica que habr un Plan Nacional de Desarrollo al que se sujetarn obligatoriamente los Programas de la Administracin Pblica Federal y que la Ley facultar al Ejecutivo para que establezca los criterios para la formulacin, instrumentacin, control y evaluacin del Plan y de los Programas de Desarrollo. El mbito de competencia de la actual Secretara de la Funcin Pblica (SFP), fue definido el 28 de diciembre de 1994 en el Decreto que reform al artculo 37 de la Ley Orgnica de la Administracin Pblica Federal, agregando otras responsabilidades, a las funciones de control, fiscalizacin, evaluacin, responsabilidades y atencin ciudadana y contralora social, desarrolladas por la entonces Secretara de la Contralora General de la Federacin. Segn hemos sealado se le otorgaron nuevas atribuciones para promover el desarrollo y modernizacin de la APF, administrar el patrimonio inmobiliario federal, realizar avalos de inmuebles federales, determinar la justipreciacin de rentas, emitir la normatividad en materia de adquisiciones, obra pblica, servicios y bienes muebles. Estas funciones, se fortalecen y perfeccionan con las reformas a las leyes Orgnica de la Administracin Pblica Federal, Federal de Entidades Paraestatales y Federal de Responsabilidades de los Servidores Pblicos, publicadas en el DOF el 24 de diciembre de 1996, al conferirle a la entonces SECODAM atribuciones para nombrar y remover a los Titulares de los rganos Internos
11
Constitucin Poltica de los Estados Unidos Mexicanos.
11
de Control de las Dependencias y Entidades de la APF, y los correspondientes a las reas de auditorias, quejas y responsabilidades. En el artculo 37 de la Ley Orgnica se establece que la SFP tendr como responsabilidad la vigilancia y el control del cumplimiento de normas y compromisos administrativos, as como la posible realizacin de auditorias y evaluaciones a las dependencias y entidades de la Administracin Pblica Federal. De ah que las principales actividades de evaluacin estn encuadradas en la SFP. En materia de evaluacin le corresponde tambin a la SFP el cumplimiento del Acuerdo firmado por la SHCP y la entonces SECODAM, publicado en el Diario Oficial de la Federacin el 30 de Abril de 2002, con el objeto de que las evaluaciones sean de calidad para mejorar el desempeo de los programas federales, se generen insumos adicionales a las dependencias para mejorar el diseo y resultados de sus programas, se aporten insumos sobre las deficiencias y bondades de las evaluaciones externas a los coordinadores de sector, se ofrezcan elementos para la preparacin del proyecto de presupuesto al representante del ejecutivo, se brinde apoyo tcnico a la Cmara de Diputados sobre el avance y valoracin de los programas federales, y que se pueda posicionar a la Direccin General de Operacin Regional y Contralora Social de la SFP como un ente capaz de emitir un dictamen confiable sobre la evaluacin externa de los programas federales y que emita recomendaciones de poltica pblica en funcin del anlisis de sus resultados. En Mxico, como en cualquier otro pas del mundo, el control y evaluacin de la gestin pblica, tienen un papel relevante como instrumento articulador de una democracia ms slida y totalmente transparente. El Plan Nacional de Desarrollo de los Estados Unidos Mexicanos, establece el compromiso con la ciudadana de fortalecer los principios de probidad y rendicin puntual de cuentas en la Administracin Pblica Federal, lo que conlleva a vigilar que los recursos pblicos se utilicen bajo los principios de legalidad, honestidad, eficiencia, eficacia y calidad. Otra forma de medir el desempeo y evaluar la gestin pblica es a travs de resultados; esto exigi dar un nuevo enfoque a los procedimientos de control y evaluacin gubernamental. En este sentido, la SFP con base en las atribuciones que le confiere la Ley Orgnica de la Administracin Pblica Federal del Gobierno Mexicano, revis y dio un nuevo enfoque al Sistema de Control y Evaluacin Gubernamental. Para tal efecto, se estableci como prioridad el lograr una evaluacin integral de los resultados de la gestin pblica en trminos de eficiencia, eficacia y productividad, articulando el gasto pblico, los programas y metas de los sectores con los principales objetivos y polticas de gobierno. No resultara completa esta evaluacin, si no se contribuye a fortalecer y mejorar los servicios que se ofrecen a la ciudadana.
12
CICLO DEL SISTEMA NACIONAL DE PLANEACIN DEMOCRTICA
Planeacin
Programacin
Presupuestacin
EVALUACION
CONTROL
INSTRUMENTO ARTICULADOR DEL SISTEMA NACIONAL DE PLANEACION DEMOCRATICA Y PROMOTOR DE LA CONSECUCION DE LOS OBJETIVOS PLANTEADOS EN EL PLAN NACIONAL DE DESARROLLO, PROGRAMAS SECTORIALES GUBERNAMENTALES Y SISTEMA NACIONAL DE INDICADORES
RESPONSABILIDAD DE LA SFP Y LOS ORGANOS INTERNOS DE CONTROL EVALUAR EL PROCESO
IMPLANTAR EL SISTEMA DE CONTROL Y EVALUACION GUBERNAMENTAL
Corresponde a la SHCP y a la SFP celebrar en el seno de la Comisin Intersecretarial de Gasto Financiamiento, Convenios para el establecimiento de metas de desempeo, compromisos de balance de operacin, primario y financiero, mensual y trimestral a nivel devengado y pagado. La SFP es la responsable de vigilar el cumplimiento de las disposiciones en materia de planeacin, presupuestacin, ingresos, financiamiento, inversin, deuda, patrimonio, fondos y valores de la propiedad o al cuidado del Gobierno Federal. Informes de Evaluacin de Programas y Presupuesto a) Informe de gobierno De conformidad con lo establecido por el Artculo 69 de la Constitucin y el Artculo 6. de la Ley de Planeacin en la apertura ordinaria del primer perodo de sesiones del H. Congreso de la Unin, el Presidente de la Repblica presenta un informe sobre el estado general que guarda la Administracin Pblica Federal del pas. En este informe el Presidente tambin hace mencin expresa de las decisiones adoptadas para la ejecucin del Plan Nacional de Desarrollo y los Programas de Mediano Plazo.
13
El documento contiene un Anexo, elaborado por la Secretara de Hacienda y Crdito Pblico, el cual recopila informacin histrica con cifras definitivas, el avance del perodo septiembreagosto con niveles preliminares sobre los aspectos ms relevantes de la vida poltica, econmica y social del pas, al igual que del quehacer de la Administracin Pblica Federal para el cumplimiento del Programa de Gobierno. La informacin que presenta se organiza en tres apartados: avance programtico, informacin estadstica, e inversin y obra pblica. Para la formulacin de estos apartados, la Secretara de Hacienda y Crdito Pblico, emite una serie de lineamientos, formatos, instructivos y guiones para que las dependencias y entidades enven su informacin de manera homognea, tal proceso se lleve a cabo en los tiempos establecidos por la Ley y la misma Secretara se encarga de su integracin. El apartado de Avance Programtico considera un anlisis sectorial, estructurado por temas definidos a partir de las funciones sustantivas y programas prioritarios de las dependencias coordinadoras y entidades coordinadas; se presentan por sector las principales acciones realizadas, los resultados econmicos y sociales obtenidos, y las metas operativas de mayor significado alcanzados durante el perodo. El apartado estadstico se integra por series largas y homogneas y con datos relevantes para el conocimiento de los aspectos agregados y sectoriales que ms interesan a la sociedad. Por su parte, el apartado de inversin y obra pblica muestra los esfuerzos del Gobierno para fortalecer la infraestructura econmica y social que requiere el desarrollo del pas. b) Informe de labores Con fundamento en las disposiciones del Artculo 93 de la Constitucin Poltica de los Estados Unidos Mexicanos, el 23 de la Ley Orgnica de la Administracin Pblica Federal y 8 de la Ley de Planeacin, los secretarios de despacho y los jefes de departamento administrativos informan anualmente al H. Congreso de la Unin del estado que guardan los distintos ramos de la Administracin Pblica Federal. Al respecto, cada titular de la Dependencia o Entidad es responsable de integrar dicho documento con base a los lineamientos que emite la Secretaria de Gobernacin para su homogeneizacin, la cual tiene la obligacin de entregarlos a la Comisin Permanente del Poder Legislativo. El documento reporta los resultados del periodo 1 de septiembre al 31 de agosto, de las actividades desarrolladas para el cumplimiento de las funciones que tiene encomendadas cada dependencia o entidad. El propsito de este informe es evaluar el grado de cumplimiento de los objetivos y metas tanto del Plan como de sus correspondientes Programas, haciendo nfasis en los aspectos administrativos y avances programticos y, muy particularmente de las estrategias y polticas. Normalmente la estructura del documento se presenta de acuerdo a las unidades administrativas con que cuenta la Dependencia o Entidad, aunque tambin puede ser con base a los programas de que es responsable, o de las funciones que cumple. c) Informe de ejecucin del Plan Nacional de Desarrollo del Gobierno Mexicano De conformidad con lo previsto en el Artculo 6 de la Ley de Planeacin, el Ejecutivo Federal debe remitir en el mes de marzo de cada ao un informe de las principales acciones y resultados alcanzados mediante las estrategias establecidas en el Plan y en los programas sectoriales, especiales y regionales. La integracin del documento corresponde a la Secretara de Hacienda y Crdito Pblico con base en la informacin proporcionada por las dependencias y entidades de la Administracin Pblica Federal, la cual se elabora de acuerdo a los lineamientos, instructivos y guiones previamente comunicados por dicha Secretara en el plazo establecido por la Ley. Este informe evala el grado de cumplimiento de los objetivos del Plan, los resultados alcanzados en cada una de las lneas que componen la estrategia, as como las acciones realizadas en cada una de las polticas para instrumentar la estrategia. Para los Programas se realiza una evaluacin similar, destacando su vinculacin con los objetivos del Plan Nacional de Desarrollo del
14
Gobierno Mexicano. El documento, para la actual administracin, se conforma por cuatro captulos: Desarrollo Social y Humano; Crecimiento con Calidad; Orden y Respeto; y Compromisos con Mxico. d) Cuenta de la Hacienda Pblica Federal de la Gestin Pblica del Gobierno Mexicano La Cuenta Pblica es un documento de evaluacin financiera del ejercicio fiscal inmediato anterior, sustentado en estados financieros, presupuestales, programticos y econmicos definitivos y auditados, que se presenta a la H. Cmara de Diputados de conformidad al Artculo 74, fraccin IV de la Constitucin para su revisin. La Contabilidad Gubernamental y sus resultados anuales registrados en la cuenta de la Hacienda Pblica Federal apoyan la planeacin, control y evaluacin, retroalimentando la formulacin e integracin del Plan y los programas sometindose en consecuencia a nuevas funciones e interrelaciones dentro del Sistema Nacional de Planeacin Democrtica. La Cuenta Pblica es por lo mismo un instrumento que permite el seguimiento real de las acciones emprendidas en el mbito presupuestario, programtico, contable y econmico dentro del Sistema Nacional de Planeacin Democrtica, por lo que es una herramienta muy til en la formulacin de planes y programas. La revisin de la Cuenta de la Hacienda Pblica Federal por el Poder legislativo tiene como objetivos conocer los resultados de la gestin financiera; comprobar si el ejercicio presupuestal de las entidades del Sector Pblico se ha ajustado a los criterios sealados en el Decreto de Presupuesto y dems ordenamientos que rigen la accin del Ejecutivo Federal en esta materia; y revisar el cumplimiento de las metas contenidas en los diversos programas del presupuesto. La Ley de Presupuesto, Contabilidad y Gasto Pblico Federal establece como responsabilidad de la Secretara de Hacienda y Crdito Pblico la formulacin de la Cuenta de la Hacienda Pblica Federal, en donde consigna la informacin financiera, presupuestaria, econmica y programtica de las distintas dependencias y entidades que conforman el Sector Pblico Presupuestal. Dicha informacin se presenta con base a los formatos, instructivos, lineamientos y metodologa que dicha Secretara emite para captar la informacin, lo cual implica un proceso altamente complejo para su integracin final. La evaluacin se centra en el programa de finanzas pblicas y su contribucin en el cumplimiento de las lneas bsicas que seala el Plan Nacional de Desarrollo 1995-2000 para alcanzar el crecimiento econmico, estabilizacin, inversin y modernizacin. e) Control y seguimiento del gasto pblico del cumplimiento de programas y metas En cumplimiento a lo dispuesto por los artculos 37, fracciones I y V, de la Ley Orgnica de la Administracin Pblica Federal y del Decreto de Presupuesto Anual de Egresos de la Federacin, la Secretara de la Funcin Pblica, realiza, con periodicidad trimestral, la evaluacin del ejercicio del presupuesto y cumplimiento de metas de las dependencias y entidades paraestatales de Cuenta Pblica, reportes que se envan a la Secretara de Hacienda y Crdito Pblico y los Titulares de las Coordinadoras de Sector y de las Entidades para los efectos de su competencia. Asimismo, se efecta en forma mensual la evaluacin de 31 Convenios de Balance de Operacin Primario y Financiero, los cuales se revisan en el seno de la Comisin Intersecretarial Gasto-Financiamiento. Actualmente la evaluacin de programas y presupuestos, se realiza con base en los datos que proporcionan las dependencias y entidades a travs del Sistema Integral de Informacin, la que se complementa con diversa documentacin que envan. Dicho Sistema proporciona datos cuantitativos, adems de que presenta algunas deficiencias en cuanto a la oportunidad de envo de informacin y carece de notas cualitativas que expliquen, en su caso, las causas de variacin del ejercicio presupuestal y del cumplimiento de programas y metas. El que los Titulares de los rganos Internos de Control estn adscritos orgnicamente a la SFP, permite que las deficiencias en la calidad y oportunidad de la informacin se atiendan de origen y se corrijan los sistemas y mecanismos de acopio, procesamiento, consolidacin y
15
evaluacin, lo que tendra una repercusin en la calidad de los informes consolidados que elabora la SFP. Adems, se estara avanzando hacia la implementacin del proceso de auto-evaluacin en la Administracin Pblica. f) Indicadores de gestin En respuesta a las demandas ciudadanas contenidas en el Plan Nacional de Desarrollo y con base en los lineamientos de la Ley de Planeacin, se contempla como una de sus principales metas fortalecer la evaluacin de la gestin pblica. En este contexto, se ha planteado la necesidad de establecer en forma sistemtica Indicadores de Gestin. Los indicadores se constituyen como un instrumento importante para promover el cambio estructural y la modernizacin de la Administracin Pblica, toda vez que permiten medir el cumplimiento de los objetivos institucionales y vincular sus resultados con la satisfaccin de las demandas sociales que, en el mbito de su competencia, corresponde atender al Estado mexicano. Los objetivos especficos que en el marco de la Administracin Pblica Federal se reconocen a los Indicadores de Gestin, son los siguientes: Analizar el desempeo de las Dependencias y Entidades, vinculndolo con el cumplimiento de sus objetivos. Evaluar sistemticamente el costo de los servicios pblicos y de la produccin de bienes, as como su calidad, su pertinencia y efectos sociales. Verificar que los recursos pblicos se utilicen con honestidad, eficacia y eficiencia. En un primer momento, y antes de disponer del sistema de metas presidenciales, los indicadores que se venan manejando se clasificaron en: Programtico-Presupuestales: Su empleo permite determinar los niveles de eficiencia y eficacia de la gestin pblica, precisar el grado de avance fsico-financiero de los programas y principales metas y su incidencia en el logro de los objetivos y, en su caso, definir y ejecutar los ajustes correspondientes en metas y recursos. Financieros: Mediante su utilizacin se puede obtener sistemtica y estructuralmente informacin cuantitativa en unidades monetarias y en trminos porcentuales que permitan evaluar si las dependencias y entidades mantienen una adecuada estructura financiera y de inversin, y si cuentan con el capital de trabajo y con la liquidez necesarios para su operacin, aspectos que permitirn desarrollar e integrar planes de operacin, expansin y rentabilidad. Administrativos: Permiten determinar el rendimiento de los recursos humanos y su capacidad tcnica en la consecucin de una meta o en la ejecucin de una tarea asignada a una determinada unidad administrativa. Estos parmetros, conjuntamente con los programticos, definen los niveles de productividad alcanzados. Operativos y de Servicios: Con este tipo de indicadores se pretende dimensionar o cuantificar valores cualitativos, como es la calidad y pertinencia de los bienes y servicios, mediante el establecimiento de frmulas aritmticas que permitan evaluar el aprovechamiento de los recursos materiales de los diferentes procesos productivos y reas de servicios, y su incidencia o efecto producido en el entorno socio-econmico. Con ello se ha buscado evaluar el cumplimiento de la legislacin, las polticas, estrategias, objetivos y metas contenidas en el Plan Nacional de Desarrollo, en los Programas Nacionales Sectoriales, en los Programas Operativos Anuales y en el Presupuesto de Egresos de la Federacin vigente. A continuacin se describirn ampliamente los tres principales Sistemas de Evaluacin que existen en Mxico, dndole un mayor nfasis al Sistema de Metas Presidenciales, que es el que actualmente gua al gobierno federal. IV. Principales sistemas de evaluacin existentes Segn vimos en los antecedentes y el marco institucional, el papel de la evaluacin ha sido importante para los ltimos gobiernos de Mxico. En todos los casos se ha postulado la necesidad de evaluar y tener mediciones adecuadas para hacer seguimientos de los planes y tener mediciones
16
adecuadas para tener un aprendizaje. Se cuenta con importantes sistemas de evaluacin, y como se ha sealado los mtodos aplicados por la SFP estn a un buen punto para permitir que el gobierno pueda sustentar su accionar en una evaluacin de resultados. An faltan puntos que cumplir y satisfacer, pero al menos ya se cuenta con evaluaciones que no slo miden la actuacin sino el efecto alcanzado con ella. En suma, en la etapa actual se dispone de instrumentos muy adecuados para una evaluacin orientada a resultados. En este documento expondremos slo los principales sistemas de evaluacin, que tienen un sentido general y se orientan a medir resultados: Sistema de Evaluacin del Desempeo, de la SHCP Sistema de Metas Presidenciales Sistema de Evaluacin y Control Gubernamental de la SFP IV.1. Sistema de Evaluacin del Desempeo, SED, de la SHCP Durante el periodo de gobierno anterior se hizo un gran esfuerzo para vincular la Nueva Estructura Programtica (NEP) y el Sistema de Evaluacin al Desempeo (SED), como elementos clave de la Reforma al Sistema Presupuestario del Gobierno Federal. Este esfuerzo estuvo a la altura de las tendencias internacionales en materia presupuestaria, buscando recuperar un enfoque basado en resultados12. Atento al proceso de evolucin de las prcticas ms exitosas en materia de gasto pblico13, el Gobierno Federal instrument desde 1997 un proyecto integral de modernizacin del proceso de planeacin, programacin y presupuestacin -la NEP-, cuya misin era transformar los procesos de las unidades ejecutoras de la Administracin Pblica, buscando enfocarlos hacia criterios de productividad de los recursos pblicos -cada vez ms escasos- y apoyarlos en la identificacin y evaluacin de las distintas alternativas para el mejoramiento del impacto de los programas gubernamentales. En este sentido, la NEP permite una evaluacin de los recursos necesarios para la consecucin de determinados resultados, abatiendo los criterios discrecionales en su asignacin. Este es el principal atractivo de vincular la NEP con el sistema de indicadores estratgicos, el SED. Los procesos de transformacin que demand la Reforma comprendieron: La adecuacin de los programas gubernamentales a objetivos sectoriales estratgicos; Sistemas de monitoreo de programas sectoriales y especiales, actividades institucionales, proyectos institucionales y de inversin; Tcnicas de medicin de resultados y procesos clave; Compromisos sustantivos frente a la sociedad; Tecnologa de apoyo al monitoreo y evaluacin de programas sectoriales y especiales, actividades institucionales y proyectos institucionales y de inversin; Mecanismos de evaluacin integral de programas sectoriales y especiales, institucionales, y proyectos institucionales y de inversin. De acuerdo a esta nueva tendencia, las instituciones pblicas "justifican" los gastos de los programas que administran, si saben si el gasto pblico destinado a dichos programas tiene los resultados deseados, es decir, si los programas producen beneficios reales a costos razonables. Esto es, si pueden evaluar el impacto de la gestin pblica desde la perspectiva de un anlisis de costobeneficio. Reconociendo que los sistemas de medicin del desempeo basados en los resultados requieren de elementos adicionales que slo es posible alcanzar en el mediano plazo: mtodos
En este sentido, las reas presupuestarias de diferentes latitudes coinciden en el agotamiento del esquema de planeacin, programacin y presupuestacin ligado a metas, en el marco de ajustes en sus finanzas pblicas, de procesos de modernizacin y cambio estructural de la administracin pblica, fuertes factores inerciales y escasos mrgenes de maniobra en la elaboracin de presupuestos. 13 La evaluacin del desempeo, surgi como tema clave en la administracin de las organizaciones a mediados de los aos setenta, cuando stas comenzaron a centrar su atencin en la calidad de los procesos y sus productos y posteriormente, en la planeacin estratgica como herramienta para lograrlo. Tomando como premisa este enfoque a los resultados, el sector pblico increment su inters por encontrar mejores mtodos de planeacin, programacin y presupuestacin de los recursos gubernamentales.
12
17
flexibles y creativos que cuenten con indicadores de medicin de alta calidad, susceptibles de incorporar nuevas variables, y sustentados en sistemas de informacin adecuados, se inici un esfuerzo importante para orientar la accin a resultados. Este esquema requiri de los avances en la desregulacin y diferentes grados de flexibilidad en la normatividad para elaborar el presupuesto, as como para el ejercicio del gasto. El SED, reconoci que varias de las instituciones pblicas no podran disponer de un sistema de indicadores estratgicos tpico, no obstante que siempre pueden encontrarse alternativas razonables para la evaluacin de su gestin. Tal es el caso de algunas actividades en las dependencias del sector central, por ejemplo, cmo medir el impacto de las secretaras de Gobernacin, de Relaciones Exteriores, de Comercio y Fomento Industrial y de Hacienda y Crdito Pblico, entre otras, de acuerdo al esquema de resultados?, cmo debera fijarse el valor deseado de las acciones relacionadas con el servicio exterior, las negociaciones de tratados internacionales, la definicin de promocin industrial y comercial, las polticas de migracin y de comunicacin social, entre otras?, se mide realmente el desempeo de la Secretara? A estas dependencias se les pidi manejar otros parmetros de evaluacin de resultados, en los que se monitorearan ciertos atributos de la gestin, tales como la calidad y eficiencia en los servicios que brindan a la sociedad. En estos casos, el indicador de gestin sera el indicador estratgico. Se postul como misin del Sistema de Evaluacin: Contribuir a elevar la productividad de los recursos Fiscales, proporcionando a las dependencias globalizadoras y a los ejecutores de programas gubernamentales, elementos para mejorar la toma de decisiones en los mbitos de planeacin y ejecucin del gasto, fortaleciendo y formalizando procesos de evaluacin de programas y el desempeo de funcionarios responsables. Como objetivos se manejaron: Adecuar el diseo de los programas gubernamentales a los objetivos sectoriales y a la demanda de la poblacin. Fomentar el cambio cultural hacia la obtencin de resultados y a la satisfaccin de beneficiarios, en lugar de al desarrollo de actividades. Incorporar en la evaluacin de programas gubernamentales criterios de resultados, eficiencia, costos y calidad de los servicios incluyendo satisfaccin de los beneficiarios- y promover un mayor involucramiento de la sociedad en el proceso de evaluacin. Mejorar la objetividad y la racionalidad de la asignacin del gasto pblico. Incorporar nuevas herramientas tecnolgicas a la administracin de programas gubernamentales, mediante el desarrollo de sistemas de informacin. Los beneficios globales del SED, que se identificaron fueron los siguientes: El SED propiciara que los programas sustantivos se ligaran a resultados concretos, siempre con referencia a estndares deseables. Se promovera la comunicacin entre los ejecutores y las entidades globalizadoras. Motivara a los ejecutores para mejorar de manera continua los programas. Apoyara a las reas de presupuestacin en la asignacin de recursos presupuestales al proveer de argumentos confiables para la toma de decisiones. Permitira detectar y corregir fallas a tiempo. Permitira mantener informada a la sociedad sobre el manejo de recursos pblicos y la eficiencia en la administracin de los mismos. El Sistema de Evaluacin del Desempeo est integrado por cinco elementos principales: indicadores, convenios de desempeo, encuestas a beneficiarios, auditorias de resultados y como herramienta tecnolgica, el Sistema de Informacin Ejecutivo (SIE). Estos elementos interactan para la evaluacin de los programas gubernamentales. En consecuencia, los elementos clave del sistema son:
18
1. Definicin de Indicadores La definicin de indicadores es el punto de partida y el elemento ms importante para la incorporacin de una nueva actividad o proyecto, ya que son los parmetros de evaluacin del cumplimiento de la misin de los programas. La definicin de indicadores debe adecuarse al Plan Nacional de Desarrollo, los planes sectoriales, y la misin y los objetivos de los programas. Para ello, se prev identificar los factores crticos de xito para el cumplimiento de objetivos y, conforme a ellos, construir un modelo lgico para el diseo de indicadores alineados a objetivos estratgicos, acordes a los principios generales de la NEP. Corresponde a los ejecutores -conocedores de los programas sustantivos- crear grupos de trabajo para la construccin de indicadores preliminares y presentarlos a las Direcciones Generales de Programacin y Presupuesto sectoriales de SHCP, y a la SFP con el fin de depurarlos, validarlos y crear una versin final para cada programa clasificados en cinco dimensiones del desempeo: impacto, cobertura, calidad, eficiencia y alineacin de recursos. Una vez que se dispone de los indicadores validados, stos se ponderan tomando en cuenta la importancia relativa de cada uno de ellos. Este proceso permite seleccionar a los ms representativos para los cuales se generarn indicadores costo-efectividad, que medirn la eficiencia en el uso de recursos para la generacin de resultados. Este ltimo tipo de indicadores quedar integrado al sistema, pero estar disponible slo para la SHCP, pues su aprovechamiento real depende de la construccin de series histricas que permitan realizar series de tiempo y regresiones para hacer estimaciones estadsticamente vlidas. Los indicadores de costo-efectividad no evalan el beneficio de un programa, sino que proporcionan informacin de cmo se esperara que cambiara el valor de un indicador de resultado al transformar marginalmente el gasto en el programa. A continuacin se presentan los lineamientos para el diseo de estos indicadores: Elegir variables lo ms altamente correlacionadas posible con el programa a evaluar, con el fin de reducir al mnimo el impacto de factores no controlables por el programa. Deflactar los gastos para hacer comparaciones en trminos reales. Calcular los indicadores por entidad federativa con el fin de tomar en cuenta diferencias regionales y evitar comparaciones entre entidades con caractersticas dismbolas. Construir series de tiempo que permitan dar validez estadstica a los indicadores costo/efectividad, ya que stos slo pueden ser calculados para un periodo especfico. Incorporar variables de resultados asociados no slo al impacto y cobertura, sino tambin al acceso, calidad y eficiencia de los servicios, con el fin de responder mejor a objetivos de equidad, universalidad y eficacia, caractersticos de los sectores sociales. Evitar la sobreestimacin de los gastos requeridos por los programas, ajustando los recursos programados a relaciones histricas de mejora en resultados contra incrementos presupuestales. Para todos los indicadores se deben establecer metas anuales y multianuales tomando como referencia estndares relevantes, identificados por los ejecutores y validados por las globalizadoras. Estos estndares pueden surgir de comportamientos histricos de estados lderes a nivel nacional, de compromisos establecidos en el Plan Nacional de Desarrollo, o de mejores prcticas en pases con programas similares. 2. Sistema de Informacin Ejecutivo La informacin de indicadores, ponderadores y metas es alimentada a un "software" denominado Sistema de Informacin Ejecutivo, el cual est conformado en ambiente "Windows" sumamente amigable, y a travs de diversas pantallas los ejecutores y las globalizadoras tienen las capacidad de consultar mes a mes el desempeo de los programas. En las pantallas, el nivel de desempeo por indicador se refleja con semforos que indican el grado de cumplimiento de las metas fijadas por los ejecutores en el periodo de clculo, las cuales tienen asociadas rangos bajo los cuales se determina si el comportamiento fue favorable, ligeramente desfavorable o desfavorable. Adicionalmente, a fin de detectar el comportamiento regional de un programa, el SIE permite
19
hacer comparaciones entre estados, hacer proyecciones para cumplir con la meta anual, hacer simulaciones para encontrar niveles ptimos de desempeo en variables clave, incluir informacin cualitativa a travs de fichas tcnicas en donde los usuarios justifican el resultados de indicadores y medir la relacin costo-efectividad de variables clave. Las principales caractersticas del SIE son las siguientes: Permite observar el desempeo de los programas incorporados al sistema con relacin a sus metas establecidas, en diferentes niveles de agregacin. Permite enfocarse en los asuntos que requieren mayor atencin, debido a que opera con base en un sistema de semforos que muestran el desempeo respecto a la meta: verde - cumple con la meta; amarillo -marginalmente fuera de la meta; y rojo- no cumple con la meta. Adicionalmente, es posible tambin consultar el valor de cada indicador y de los datos que lo componen, si as se desea. Permite realizar diversos anlisis de sensibilidad y de proyeccin del desempeo de los indicadores para fines de planeacin o de apoyo a la toma de decisiones. Cuenta con fichas tcnicas que permiten al ejecutor presentar un anlisis de los resultados obtenidos y las recomendaciones correspondientes. 3. Convenios de desempeo Los convenios de desempeo son compromisos pblicos establecidos conjuntamente con ejecutores, en donde se fijan metas de desempeo alineadas a indicadores de resultados. Los indicadores incluidos en los convenios son seleccionados por los ejecutores as como por las globalizadoras de un paquete de indicadores que se definen para cada programa en el SIE, con fin de extraer los ms relevantes y asegurar que los ejecutores respondan a las necesidades prioritarias de los programas. La definicin y concertacin de convenios de desempeo debe reconocer la diversidad que se tiene entre las unidades responsables de la APF, al menos: empresas paraestatales de carcter productivo, organismos pblicos descentralizados que prestan un servicio y/o otorgan apoyos a algunos sectores de la poblacin, rganos desconcentrados, dependencias del sector central, instituciones financieras y fideicomisos. En su contenido los convenios definen los objetivos y metas, los trminos de evaluacin, las responsabilidades, el grado de autonoma y los incentivos y sanciones asociadas al cumplimiento de los mismos. Existen estmulos de diversos tipos tanto al buen desempeo y como por incumplimiento. Asimismo, los convenios establecen acuerdos operativos bajos los cuales se eliminan los requerimientos de informacin irrelevante bajo el nuevo enfoque de evaluacin y se otorga mayor flexibilidad en la administracin del presupuesto. En este sentido, se hace necesario tomar en cuenta para cada tipo de unidad responsable un esquema de flexibilidad y autonoma acorde a su naturaleza y operacin. Los beneficios de los convenios de desempeo son los siguientes: Promocin del cambio cultural en la administracin pblica, de desarrollo de actividades para la obtencin de resultados y satisfaccin de beneficiarios. Elevacin del nivel de interaccin entre las reas globalizadoras y los ejecutores en el proceso presupuestario, al pasar de una negociacin centrada en recursos a otra, de objetivos a lograr, metas y recursos necesarios para alcanzarlas. Impulso a la carrera de funcionarios eficientes, mediante la difusin de los resultados de su gestin. Fortalecimiento de la capacidad de conduccin estratgica de los sectores bajo esquemas descentralizados, a travs del establecimiento de metas de desempeo ligadas a planes sectoriales y al apoyo en auditorias de resultados. Fomento a una administracin pblica ms eficiente, mediante el establecimiento de incentivos y sanciones al desempeo, la flexibilizacin operativa de los programas y la racionalizacin de requerimientos de informacin a los ejecutores por parte de las globalizadoras.
20
Apoyo a la legitimacin del gobierno frente a la ciudadana, a travs de la publicacin de resultados a obtener, recursos asignados por programa clave incluido en el convenio y, posteriormente, resultados alcanzados.
4. Encuestas Las encuestas son un elemento valioso del sistema pues arrojan informacin cualitativa que complementa la informacin cuantitativa generada por los indicadores. Su incorporacin en el SED responde a tres objetivos principales: Obtener informacin de las demandas de la ciudadana. Conocer la opinin de los beneficiarios acerca de los resultados que perciben de los programas. Obtener nuevas variables para la alimentacin de indicadores del desempeo y de costo efectividad. Las encuestas son diseadas por los ejecutores con el apoyo de una organizacin calificada en la materia y validadas por las globalizadoras, la informacin resultante permitir inferir de manera confiable la opinin y las demandas del grupo de beneficiarios al que est dirigido un programa o actividad en especfico. 5. Auditoras Para garantizar que la informacin con la que se alimenta el SIE sea confiable, se plantea la realizacin de auditorias de resultados para validar la calidad de las bases de datos. La definicin de la operacin de estas auditorias se deber discutir con la SFP. Se ha pensado que se realicen anualmente en programas clave y aleatoriamente para el resto de los programas. 6. Evaluacin La evaluacin de programas es el fin ltimo del Sistema, pues consiste en el uso de todos los elementos que lo conforman para emitir juicios de valor para el presupuesto, fundamentados en fuentes confiables de informacin. Este ejercicio consiste en hacer comparaciones de resultados contra metas y analizar tendencias en el comportamiento de los indicadores. Las evaluaciones deben realizarse al trmino del ao presupuestal en mesas de trabajo en donde los ejecutores presentan su auto evaluacin, y las globalizadoras validan. Dado que el SED no puede determinar de manera automtica la causalidad de los indicadores de resultados, son los ejecutores quienes tendrn que definir con base en sistemas de verificacin interna las causas por las cuales se obtuvieron dichos resultados. Asimismo los ejecutores deben definir las lneas de accin a los responsables y los tiempos para implantar polticas de mejora. Los resultados de las evaluaciones son del conocimiento pblico, as como los incentivos y las sanciones asociadas al cumplimiento o incumplimiento de los convenios de desempeo 7. Retroalimentacin Una vez concluidas las evaluaciones, los ejecutores conjuntamente con las globalizadoras dictaminarn las necesidades de ajuste al sistema para su perfeccionamiento. En dicho proceso se analiza si los indicadores propuestos deben ser mejorados, depurados o si se necesita crear indicadores adicionales para medir aspectos clave no contemplados en mdulos previos. Por otro lado, debern revisar las encuestas y la estructura de convenios para hacer adecuaciones que mejoren la calidad del sistema en conjunto. IV.2. Sistema de Metas Presidenciales, SIMEP Este programa se inici en la administracin de Vicente Fox. La mecnica es simple pero significativa. Cada titular de las dependencias y entidades del sector pblico debe negociar un conjunto de metas con el mismo Presidente de la Repblica. Ah se establecen plazos y momentos de avances. El sistema se instituy desde el inicio del gobierno del presidente Fox. Las metas deben
21
estar vinculadas al Plan Nacional de Desarrollo (PND) y a los Programas Sectoriales. El Sistema de Evaluacin y Seguimiento de Metas Presidenciales est a cargo de la Unidad de Control y Evaluacin de la Administracin Pblica de la Secretara de la Funcin Pblica. La Unidad de Control y Evaluacin corresponde a un rea existente antes del gobierno de Fox, cuya principal funcin ha sido dar seguimiento al Plan Nacional de Desarrollo y hacer una evaluacin de tipo presupuestal. El Sistema de Metas Presidenciales (SIMEP), ha sido definido como una herramienta administrativa que tiene por objetivo concertar y establecer con las instituciones de la Administracin Pblica Federal, compromisos de mejora de resultados de programas prioritarios y estratgicos del Gobierno Federal, y de avanzar en la racionalizacin y uso ptimo de recursos humanos, materiales y financieros, con el propsito fundamental de lograr la transformacin de la realidad econmica y social en beneficio de la poblacin. Sus caractersticas y objetivos especficos son: Es una herramienta para transitar de un gobierno basado en normas a uno basado en resultados. Forma parte del Modelo Estratgico para la Innovacin y la Calidad Gubernamental. Este Sistema no tiene el propsito de sustituir los mecanismos de control, evaluacin y seguimiento de la gestin pblica de la APF, establecidos en las disposiciones jurdico-normativas aplicables en la materia. Es un Sistema de alta direccin que busca identificar los procesos sustantivos y de alto impacto del Gobierno Federal, a efecto de establecer desafos y retos de evaluacin de resultados mediante esfuerzos adicionales con base en los resultados de los ejercicios anteriores. Procura que los recursos y esfuerzos del Gobierno Federal se enfoquen hacia la atencin de las demandas, necesidades y expectativas de la Sociedad. Mediante este Sistema el Titular del Ejecutivo Federal o la persona que designe, lleva a cabo una concertacin con los titulares de las instituciones seleccionadas, las metas que sern sujetas de seguimiento y evaluacin en trminos de resultados, y se determinan los estndares, ponderaciones y el rango de metas a cumplir (mnima, satisfactoria y sobresaliente). La evaluacin ms importante es la evaluacin del cumplimiento del PND y se monitorea por sectores. Cada cabeza de sector debe reportar e informar al respecto. Existe un sistema de informacin integral que aprovechan la SFP, la SHCP y el Banco de Mxico, denominado Sistema Integral de Informacin. La SFP tambin hace seguimiento de las reas de comunicacin social y es un rea de vinculacin con la ASF, para atender las observaciones de ese rgano (se realizan cerca de 3.000 observaciones al ao). Se realizan reportes peridicos donde se van haciendo recomendaciones sobre cumplimiento de metas comprometidas y sobre gasto. Tambin se analiza el marco de actuacin en una lgica normativa. El uso de la informacin de reportes es precisamente para el Presidente, a quien se le entrega cada da 10 del mes en curso con las variaciones ocurridas. Cada institucin debe cargar en el sistema sus metas y avances en el sistema; y los pueden consultar. Este sistema funciona en lnea con rangos de estatus que permiten tener acceso a cierto tipo de informacin. Slo el Presidente, el rea de innovacin de la presidencia y la unidad de control y evaluacin tienen acceso a todo el sistema. El rgano de control de la dependencia tiene acceso a la parte de la misma dependencia, pues como veremos ms adelante los OIC (rganos Internos de Control) son evaluados por el cumplimiento de metas presidenciales y otros aspectos. El sistema, conocido como SIMEP, no slo incorpora las metas y sus avances, sino tambin incorpora explicaciones y el rea de evaluacin emite juicios de valor y cruza informacin con otros sistemas. La informacin del SIMEP se considera reservada por lo cual el pblico no tiene acceso a la misma. La razn dada por los responsables del mismo es que aqu se plantean metas de poltica gubernamental que implican comportamientos de ciertos agentes sociales que al mencionarse pueden no darse en tiempo y modo conveniente, o bien, que pueda implicar modificaciones a leyes
22
y normas que requieren cabildeo y negociacin. Otro argumento es que el sistema incorpora juicios de valor no definitivos. El sistema incorpora los temas prioritarios para el Presidente y se negocia ao con ao con cada titular. Tambin incorpora compromisos y ofertas de campaa y de discurso, y naturalmente se vincula, como ya mencionamos con el PND y los programas sectoriales. De la negociacin surgen compromisos que derivan en metas y se les asigna un valor, esto es las metas de cada titular seran ponderadas, bajo un sistema participativo pero interno a la administracin pblica. En general quienes participan son, adems del titular de la dependencia o entidad y del propio presidente, el oficial mayor, los operadores principales, el rgano interno de control y las reas que inciden fuerte en el proceso. Para la evaluacin de la dependencia se tienen los siguientes rangos: - Metas 60% - Buen Gobierno 20% - Evaluacin del Cliente 20% Cabe mencionar que el primer ao se registraron 110 metas, provocando que se cumpliera con slo una mnima parte. Actualmente slo se cuenta con 4 5 metas, por dependencia. Este sistema de metas presidenciales es considerado por la administracin del presidente Fox como un sistema oportuno, confiable y suficiente, ya que los OIC lo verifican a travs de subsistemas. Como se observa, la evaluacin, adems de los retos de cada dependencia, considera los objetivos de Buen Gobierno, derivados del Modelo de Innovacin Gubernamental y existen de igual manera, evaluaciones de cliente que se hacen por sondeos de opinin . Estos ltimos los realiza la unidad de control y evaluacin. Los resultados son tomados y manejados para obtener un indicador. Esta informacin sirve de retroalimentacin para cada dependencia, para que el Presidente est informado de la marcha de su administracin, y para que el rgano de control tenga informacin de los resultados que se estn alcanzando y apoye, en su caso. 1. Tipos de metas presidenciales a) Resultados de operacin Son las metas relacionadas con los principales programas y proyectos de las instituciones, que permiten valorar cualitativa y cuantitativamente los resultados de sus Programas Operativos Anuales aprobados, y sus efectos en la ejecucin y cumplimiento del Plan Nacional de Desarrollo 2001-2006 y de los programas sectoriales de mediano plazo. Contemplan la concertacin de metas especficas y temporales orientadas a lograr reformas sustantivas que modifican la visin, misin y estrategias sectoriales e institucionales, para ajustarse a los cambios coyunturales de orden interno y externo. Miden los grandes logros de las instituciones pblicas en los nuevos programas implementados por la actual Administracin, para atender las demandas y expectativas de la Sociedad. Por tal razn, se les asigna la ms alta ponderacin, y el rango mnimo de calificacin que se establece es cuando es menos o equivalente al alcanzado en el ejercicio anterior. Incluyen las sugerencias y solicitudes del Titular del Ejecutivo Federal, las cuales tienen por objeto la ordenacin racional y sistemtica de acciones que con base en el ejercicio de sus facultades y atribuciones tiene el Ejecutivo Federal para establecer lneas generales de poltica, para mejorar los efectos de las acciones del sector pblico, mismas que adquiere el carcter de estratgicas y prioritarias. b) Buen gobierno Son las metas orientadas a impulsar la Agenda de Buen Gobierno, tendientes a transformar a las instituciones en instituciones competitivas y de clase mundial, mediante el desarrollo y mejora del potencial de los recursos humanos y materiales, en un ambiente de transparencia, rendicin de cuentas, orden y respeto a travs de sus seis lneas estratgicas: Gobierno que Cueste Menos;
23
Gobierno de Calidad; Gobierno Profesional; Gobierno Digital; Gobierno Desregulado; y Gobierno Honesto y Transparente. c) Evaluacin del cliente Son las metas relacionadas con la produccin de bienes y/o prestacin de servicios que ofrecen las instituciones; las cuales son evaluadas con base en la opinin y calificacin que emiten los diversos clientes, beneficiarios y/o usuarios de cada institucin, a travs de encuestas y cuestionarios que se realizan y aplican peridicamente. Permiten conocer la percepcin de la sociedad en general; consideran la opinin de clientes directos, as como clientes gubernamentales, tanto a nivel federal como estatal (gobernadores y en su caso los presidentes municipales). Sirven como referencia para medir la calidad del servicio que prestan las instituciones e identificar las necesidades y expectativas de la sociedad para reorientar las acciones de los distintos actores gubernamentales. 2. Informacin que se reporta al sistema Los datos que deben ser reportados y que se incorporan en el Sistema informtico por las instituciones relativos a las metas concertadas, son los siguientes: nmero, descripcin de indicador, meta, ponderacin, frmula del indicador, premisas, beneficios o impactos que se pretenden alcanzar con el cumplimiento de la meta, estatus 2000, cierre de los aos 2001, 2002, 2003, meta mnima, meta satisfactoria y meta sobresaliente del 2004, reporte de avance pronosticado por mes, unidad responsable, titular de la unidad, producto entregable intermedio y final, ubicacin fsica. Los avances alcanzados en cada una de las metas concertadas deben reportarse mensualmente, asignando en cada caso, avance, comentario y el color de semforo que corresponda con base en los siguientes criterios: - Verde: Cuando el avance alcanzado al momento del reporte indique que se lograron las metas para el periodo revisado. - Amarillo: Cuando el cumplimiento de la meta mnima anual est en riesgo de no alcanzarse, y sea necesario la realizacin de acciones correctivas para agilizar su cumplimiento. - Rojo: Cuando el avance de la meta a la fecha reportada no haya alcanzando lo pronosticado para ese periodo o bien indique que no ser posible alcanzar la meta anual mnima concertada. Los avances mensuales en el logro de las metas comprometidas y los comentarios correspondientes, debern reportarse dentro de los 10 primeros das naturales posteriores al cierre del mes que se informa, excepto los reportes correspondientes a los meses de enero, febrero y marzo, que debern informarse en forma acumulada a ms tardar el 10 de abril, y el cierre de un ao, correspondiente al mes de diciembre que se deber reportar a ms tardar el 05 de enero del ao siguiente. En aquellos casos en que las instituciones registren metas con semforo rojo o amarillo, cuya tendencia muestre la probabilidad de que se incumplan al cierre del ejercicio, se recomienda que las instituciones establezcan mecanismos de seguimiento y revisin internos con los responsables del cumplimiento y ejecucin de las metas. La Oficina de Presidencia para la Innovacin Gubernamental, con el apoyo de la UCEGP (Unidad de Control y Evaluacin para la Gestin Pblica de la SFP), puede en su caso, convocar a reuniones con el fin de definir y promover conjuntamente con las instituciones, la implementacin de alternativas de solucin para el cumplimiento cabal de cada meta. La misma unidad llega a realizar reuniones con quienes se detecta que tienen grandes rezagos. Todo el diseo del sistema, que se fue poco a poco perfeccionando fue interno, no se requirieron agentes externos, y como se indic est en lnea. Naturalmente se tom la experiencia que se vena realizando del SED.
24
3. Proceso para la determinacin de metas a) Criterios generales para su formulacin Para definir o establecer las metas presidenciales, las instancias responsables deben considerar los siguientes elementos y criterios: La meta debe definirse con base en los compromisos contenidos en los documentos oficiales que establecen las atribuciones, funciones y objetivos de las instituciones: Plan Nacional de Desarrollo 2001-2006; Programa Sectorial; Programas Institucionales; Programas Especiales; y, la Estructura Programtica autorizada por la Secretara de Hacienda y Crdito Pblico, entre otros. Entre los criterios para la formulacin de las metas figuran los siguientes: - Las metas deben ser cuantificables, programables y proyectables. - Deben de ser de alto impacto. - El nmero mximo de metas de Resultados de Operacin que debe establecer cada institucin ser de 3 como mximo, las cuales sern concertadas con el Titular del Ejecutivo Federal14; - Un segundo nivel de negociacin se lleva con los Subsecretarios o equivalentes de las instituciones, y las Oficinas de Presidencia para la Innovacin Gubernamental y las Polticas Pblicas. El nmero mximo de metas de Resultados de Operacin que debe establecer cada subsecretaria o equivalente ser de 3 como mximo. - Los compromisos que se adquieren con el Titular del Ejecutivo Federal en la concertacin de metas no pueden ser modificados unilateralmente por las instituciones. b) Elaboracin de fichas tcnicas Por cada meta presidencial es necesario elaborar una ficha tcnica en la que se incorporen los elementos suficientes para conocer su nombre; el procedimiento para definir la misma; las acciones que la institucin prev realizar para alcanzar los niveles mnimo, satisfactorio y sobresaliente; la calendarizacin; las reas de la institucin o, en su caso, de las instituciones que participan en su logro, entre otros aspectos. Los datos de la ficha tcnica se encuentran en el sistema (SIMEP), mismos campos que debern llenarse al mismo tiempo que se carga la informacin. Las fichas tcnicas son de gran utilidad tanto para las reas responsables de definir y concertar las metas presidenciales, como para las instancias que les dan seguimiento y evalan su cumplimiento. c) Proceso de revisin y concertacin de las metas propuestas La Oficina de Presidencia para la Innovacin Gubernamental, previo a la reunin de concertacin de metas con el Titular del Ejecutivo Federal, revisa con la institucin la naturaleza y alcances de las metas a concertar. El Titular del Ejecutivo Federal revisa las metas propuestas por las instituciones y en su caso, sugiere adecuaciones y solicita la incorporacin de metas adicionales que a su juicio tienen el carcter de estratgico y/o prioritario. Considerando los resultados de la revisin, las instituciones con el apoyo de las reas responsables, integran su nueva propuesta. La Oficina de Presidencia para la Innovacin Gubernamental, con el apoyo de la Unidad de Control y Evaluacin de la Gestin Pblica de la Secretara de la Funcin Pblica, verifica que las adecuaciones y las metas solicitadas por el Titular del Ejecutivo Federal se hayan incorporado a las nuevas propuestas de metas. En caso de que se requiera de ajustes, las instancias revisoras se
Al inicio del sistema haba un mayor nmero de metas, pero ahora se pide se centren en las metas ms significativas para la sociedad y de mayor impacto.
14
25
coordinarn con los responsables en las instituciones para definir el documento final que se suscribirn con el Titular del Ejecutivo Federal. 4. Evaluacin del cumplimiento de las metas concertadas a) Participacin de los OIC en la revisin y verificacin del cumplimiento de las metas Los rganos Internos de Control (OIC) deben verificar la confiabilidad y congruencia de los datos y avances que reportan peridicamente las instituciones que forman parte del SIMEP. Deben revisar las evidencias documentales que constaten los avances fsicos y financieros reportados. b) Reportes, dictmenes y periodicidad de la revisin Los rganos Internos de Control reportan los resultados de la revisin de cada una de las metas en el formato denominado Cdula de Revisin del OIC al Sistema de Metas Presidenciales (ver Anexo N 1). Asimismo, los Titulares de los rganos Internos de Control elaborarn y suscribirn un Dictamen que contenga una breve explicacin del alcance de la revisin efectuada, su opinin con respecto a las metas examinadas en cuanto a que los resultados se presenten de una manera razonable, y las perspectivas de cumplimiento de las metas al cierre del ejercicio. Esta revisin se efecta de manera semestral y anual. Los resultados correspondientes al semestre enero-junio deben entregarse a ms tardar el 31 de julio, y los definitivos del periodo enero-diciembre deben enviarse en las fechas solicitadas por la Oficina Presidencia para la Innovacin Gubernamental. c) Metodologa de evaluacin de las metas operativas de la UCEGP Para evaluar y medir el avance de las Metas Presidenciales, se ha diseado un formato denominado Cdula Evaluatoria de la UCEGP que contiene: el nmero total de metas; la cantidad que de estas corresponde a Resultados de Operacin, Buen Gobierno y Evaluacin del Cliente, con su respectiva ponderacin, la cantidad de metas que registraron semforo color verde, amarillo y rojo o sin color; y la estimacin del cumplimiento. La evaluacin se realiza con base en el anlisis de los documentos y la informacin vinculada con la determinacin y el avance de las metas: las Fichas Tcnicas de cada una de las metas evaluadas; el Reporte de Avance de Metas y Compromisos; y, el Dictamen y el Informe sobre la Revisin del Sistema de Metas Presidenciales, que emite el rgano Interno de Control. El rango de medicin de avance se establece de 0 a 100, con base en la ponderacin que se determin para cada meta o accin que se concert. El punto de referencia para evaluar el porcentaje de cumplimiento de cada meta, es la unidad de medida establecida en el nivel de satisfactorio. Una vez establecidas las variables de evaluacin y medicin, se determina el porcentaje de cumplimiento para cada meta, el cual se multiplica por el factor de ponderacin acordado, resultando un indicador de avance para cada meta. El valor del indicador se obtiene mediante la suma de los puntos alcanzados en cada una de las metas concertadas. En la evaluacin del primer semestre, no se consideran las metas (ni sus factores de ponderacin), cuyo cumplimiento est sujeto a una anualidad, as como aquellas que tienen programados resultados a partir del segundo semestre del 2003. Ambos casos se incorporaran hasta la evaluacin del cierre del ejercicio. 5. Evaluacin al cliente a) Proceso para la determinacin de metas Para definir o establecer las metas de evaluacin del cliente, las instancias responsables debern considerar los siguientes elementos y criterios:
26
Criterios generales de formulacin de metas de evaluacin del cliente para un ao determinado con base a la calificacin obtenida en el ao anterior. Las metas para cada institucin son definidas de acuerdo a los criterios establecidos directamente por el Titular del Ejecutivo Federal y no estn sujetas a negociacin. Las metas son siempre incrementales con respecto al ao anterior, debido a que existe un compromiso de mejora continua. No obstante se busca establecer un mismo nivel mnimo de esfuerzo de mejora, y con base en el criterio de que es ms fcil mejorar desde calificaciones bajas, los incrementos se realizan en funcin de los inversos de las calificaciones obtenidas. Es decir, quienes tienen calificaciones ms bajas en el ao base, tienen incrementos ms altos en sus metas para el ao siguiente. El indicador bsico para las metas de evaluacin del cliente es la obtencin de una calificacin global por parte de los diversos clientes del gobierno, para cada una de las instituciones.
b) Elaboracin de encuestas La encuesta de evaluacin del cliente comprende una batera de preguntas que le permiten cumplir con sus objetivos especficos:
Opinin y calificacin de la sociedad en general. El ....% de los encuestados ha odo hablar de la dependencia o entidad a su cargo (...% en 200X). El ....% sabe lo que hace (...% en 200X). La mayora (......%) de la poblacin encuestada en sus viviendas considera que lo que hace esa dependencia tiene (mucha, poca o ninguna) importancia. La calificacin general otorgada por los encuestados en vivienda a esa dependencia o entidad fue de .............. (..... en 200X). En particular, obtuvo la calificacin siguiente sobre su actuacin en lo relativo a...(programa prioritario o actividad preponderante). Opinin y calificacin de usuarios y/o clientes directos (privados y gubernamentales). - Clientes que dijeron serlo en la encuesta en vivienda. - Clientes de grupos especficos - Clientes especficos (cuestionarios autoaplicables). - Gobernadores estatales - Miembros del gabinete As mismo, con el fin de orientar la determinacin de reas de oportunidad estratgicas y prioritarias, se pregunta a cada cliente qu es lo ms importante del servicio que recibe y qu es lo primero en que debera mejorar dicho servicio, teniendo como opciones de respuesta las siguientes: Trato Rapidez Calidad Efectividad Satisfaccin
c) Metodologa El ejercicio de Evaluacin del Cliente se lleva a cabo mediante diversos instrumentos: - Un cuestionario general aplicado mediante encuesta a una muestra representativa de 6000 viviendas en todo el pas, que conforma la opinin de la sociedad en general. - Encuestas especiales a grupos de clientes especficos de dependencia o entidades. - Encuestas con cuestionarios auto-aplicables a clientes personalizados, mediante correo postal o electrnico.
27
- Encuesta para los titulares de las instituciones de la Administracin Pblica Federal y Gobiernos Estatales. - La opinin que se obtiene de cada uno de estos sectores se pondera para obtener una nota global, que constituye el indicador de la meta. La calificacin de la sociedad en general representa el 50% de la nota global, la otorgada por los beneficiarios y/o clientes directos representa el 40 % y aqulla expresada por los clientes gubernamentales, el 10%. d) Evaluacin del cumplimiento de las metas concertadas El estudio de Evaluacin del Cliente lo lleva a cabo la Coordinacin General de Opinin Pblica e Imagen de la Presidencia de la Repblica y se realiza de manera sistemtica cada ao. En el ao 2004 se llev a cabo un ejercicio de Evaluacin al Cliente en la ltima semana del mes de junio, encuestando exclusivamente a la sociedad en general, lo que sirvi como insumo de informacin para las unidades evaluadas, sobre su avance al primer semestre. Durante el mes de noviembre se aplic el ejercicio completo, es decir a todo tipo de clientes, el cual arroj la nota global de cada institucin, y que fue el indicador de xito o fracaso en la consecucin de la meta 2004. La Coordinacin General de Opinin Pblica e Imagen de la Presidencia tiene el compromiso de presentar anualmente un informe general a la Presidencia de la Repblica, as como informes particulares a cada una de las dependencias y secretaras evaluadas. La parte de Buen Gobierno se determina como una poltica global que establece la Oficina para la Innovacin Gubernamental. Para este ao, estn enfocadas principalmente a las estrategias de gobierno que cueste menos y gobierno con mejora regulatoria. La importancia aqu radica en la obligacin de disponer de metas que reflejen que el gobierno ha mejorado. IV. 3. Sistema de evaluacin y control gubernamental de la SFP El Manual de Organizacin de la SFP y su Reglamento Interior, determinan las unidades administrativas en las que se apoya para el desempeo de sus funciones, y establece sus respectivos mbitos de competencia. Para el cumplimiento de su misin y objetivos, se tienen las siguientes lneas de trabajo: - Control, Medicin y Evaluacin de la Gestin Pblica - Evaluacin del Plan Nacional de Desarrollo, Programas Gubernamentales y Presupuesto - Programa de Transparencia y Combate a la Corrupcin - Innovacin Gubernamental y Modernizacin Administrativa APF - Participacin y Atencin Ciudadana - Operacin Regional y Contralora Social - Normatividad de Adquisiciones, Obras Pblicas, Servicios y Patrimonio Federal - Patrimonio Inmobiliario Federal - Rendicin de Cuentas y Responsabilidades Dentro de sus objetivos principales la SFP tiene los siguientes: Modernizar y simplificar el seguimiento a los programas anuales de control y auditoria. Replantear los mecanismos de evaluacin de la gestin pblica. Establecer un sistema de indicadores de gestin que permita, adems de la medicin del desempeo, su comparacin con normas de referencia y estndares de calidad. Fortalecer a los rganos Internos de Control. Las funciones de control y evaluacin, se dirigen a: El proceso de programacin y presupuestacin La verificacin del gasto pblico, ejecucin de programas, proyectos de inversin y metas La evaluacin de programas sectoriales La investigacin y correccin de desviaciones en la actividad pblica y la determinacin de responsabilidades administrativas El cumplimiento de medidas de austeridad y racionalidad presupuestaria.
28
La estructura de la SFP es la siguiente:

SECRETARIO DEL RAMO
CONTRALORA
SECRETARIA EJECUTIVA DE LA COMISION INTERSECRETARIAL PARA LA TRANSPARENCIA Y EL COMBATE A LA CORRUPCION
COORDINACION GENERAL DE OIC
SUBSECRETARIA DE CONTROL Y AUDITOR[A DE GESTION PBLICA
SUBSECRETARIA DE ATENCION CIUDADANA Y NORMATIVIDAD
SUBSECRETARIA DE DESARROLLO Y SIMPLIFICACION ADMINISTRATIVA
OFICIALA
UNIDAD DE ASUNTOS JURIDICOS
UNIDAD DE CONTROL Y EVALUACION DE LA GESTION PBLICA
UNIDAD DE AUDITORIA GUBERNAMENTAL
UNIDAD DE NORMATIVIDAD DE ADQUISICIONES, OBRAS PBLICAS, SERVICIOS Y
UNIDAD DE SERVICIOS ELECTRONICOS GUBERNAMENTALES
DIRECCION GENERAL DE OPERACION REGIONAL Y
DIR. GRAL DE ATENCION
DIR. GRAL DE SIMPLIFICACION REGULATORIA DIRECCION GENERAL DE EFICIENCIA

DIR. GRAL. DE ANALISIS DE ESTRUCTURAS Y PROFESIONALIZACION
DIR. GRAL DE PROGRAMACION Y PRESUPUESTO

DIRECCION GENERAL DE MODERNIZACION ADMINISTRATIVA Y PROCESOS
UNIDAD DE VINCULACIN PARA LA TRANSPARENCIA
DIR. GRAL DE RESPONSABILIDA DES Y SITUACION
DIRECCION GENERAL
COMISIN DE AVALOS DE BIENES NACIONALES
DIRECCION GENERAL DE ADMINISTRACION
DEL SERVICIO
DIRECCION GENERAL DE INFORMATICA
29
El sistema que coordinaba la SECODAM, actualmente SFP, se transform en los aos recientes, con los propsitos de: contribuir a la mejora del quehacer gubernamental, en trminos de eficiencia, eficacia y productividad; fortalecer principios de probidad, rendicin de cuentas y transparencia; y promover el cumplimiento cabal de los programas sectoriales e institucionales. En consecuencia, se dio un nuevo enfoque al sistema modificando sustancialmente sus procedimientos, lo que implic establecer mecanismos para una evaluacin de la gestin pblica a travs de resultados.
P N D
S N I
P R O G . S E
ELEMENTOS RECTORES QUE ESTABLECEN CON LA CIUDADANIA
EL COMPROMISO DE
MEJORAR EL QUEHACER GUBERNAMENTAL EN TERMINOS DE EFICIENCIA, EFICACIA Y PRODUCTIVIDAD
FORTALECER LOS A. PRINCIPIOS DE PROBIDAD Y RENDICION PUNTUAL DE CUENTAS
PERTINENCIA Y CALIDAD EN LOS SERVICIOS
DEMANDAS QUE EXIGEN REPLANTEAR LOS PROCEDIMIENTOS DE CONTROL Y EVALUACION GUBERNAMENTAL
LO QUE CONLLEVA A DAR UN NUEVO ENFOQUE AL SISTEMA DE CONTROL Y B. EVALUACION GUBERNAMENTAL RESPONSABILIDAD DE SECODAM Y DE LOS ORGANOS INTERNOS DE CONTROL
Este Sistema es un conjunto de normas e instrumentos para el control y evaluacin del cumplimiento de los principales objetivos y metas de la APF. Asimismo, mide la eficiencia y eficacia en la utilizacin de los recursos humanos, materiales y financieros asignados, para sugerir, finalmente, propuestas de mejoramiento. El artculo 18 de la Ley de Planeacin establece que la Secretara de Contralora y Desarrollo Administrativo (hoy SFP) deber aportar elementos para el control y seguimiento de los objetivos y prioridades del Plan Nacional de Desarrollo. Adems, el Presupuesto de Egresos Anual de la Federacin para el Ejercicio en su mbito de competencia, verificar peridicamente los resultados
30
de la ejecucin de los programas y metas aprobados, vinculados con los objetivos de las dependencias y entidades de la Administracin Pblica Federal. La SFP estableci como prioridad el lograr una evaluacin integral de los resultados de la gestin pblica, en trminos de eficiencia, eficacia y productividad, articulando el gasto pblico, los programas y metas de los sectores con los principales objetivos y polticas de gobierno. Con esta nueva orientacin, anualmente se integran informes y reportes que sealan los resultados para conocer el desempeo de las instituciones y apoyar la toma de decisiones para su mejor funcionamiento; los de mayor importancia son: Carpetas trimestrales de evaluacin del ejercicio del gasto y cumplimiento de los elementos programticos. Evaluacin trimestral de avances de programas sectoriales y especiales de la APF. Informes de avance en la ejecucin de las lneas de accin de los programas sectoriales 2001-2006. Informes trimestrales sobre el cumplimiento de convenios de fortalecimiento financiero (de dficit-supervit) y de desempeo.Evaluaciones trimestrales sobre el cumplimiento de los programas anuales de control y auditoria y del seguimiento de observaciones relevantes de las instancias fiscalizadoras. Informes ejecutivos sobre gastos de comunicacin social. Informes de recuperaciones y costos de las Contraloras Internas. Informes de los Comisarios Pblicos sobre la auto-evaluacin de las entidades y rganos desconcentrados. Opinin de los Comisarios Pblicos sobre los Dictmenes a los Estados Financieros. Informes sobre los Programas de Ahorro, Racionalidad y Austeridad. Seguimiento de Observaciones y Recomendaciones de los rganos de Fiscalizacin. Puede decirse que las principales funciones de evaluacin de la SFP son: Evaluacin de Programas y Presupuestos. Evaluacin de Programas Sectoriales e Institucionales de Mediano Plazo. Indicadores de Gestin. Evaluacin de Convenios de Saneamiento Financiero. Revisin de la Cuenta de la Hacienda Pblica Federal. Integracin de Informes Institucionales para el Poder Legislativo. Revisin de los Programas Sociales Apoyados con Subsidios y Transferencias del Gobierno Federal. Emisin de Lineamientos de Austeridad y Disciplina Presupuestal. Evaluacin y Seguimiento del Programa de Austeridad Presupuestaria. Evaluacin de Convenios y Bases de Desempeo de Entidades Pblicas.
31
Evaluacin del Ejercicio del Gasto y Cumplimiento de los Elementos Programticos (26 carpetas trimestrales) Evaluacin de Programas Sectoriales e Institucionales de Mediano Plazo (20 carpetas semestrales) Revisin de la Cuenta de la Hacienda Pblica Federal (1 informe anual) Evaluacin del Gasto de las Representaciones en el Extranjero y Cuotas a Organismos Internacionales (1 carpeta anual) Propuesta de Modificacin del Manual de Normas Presupuestarias de la APF (1 propuesta anual)
Opinin sobre Asuntos a tratar en la CIGF (5 carpetas mensuales)
Evaluacin de Convenios de Seguimiento Financiero (1 carpeta trimestral)
Programa de Austeridad Presupuestaria Reporte de Cumplimiento (1 carpeta anual) Informe de Resultados (1 carpeta semestral)
PRINCIPALES PRODUCTOS GENERADOS
Opinin a las Propuestas de Convenios y Bases de Desempeo
Informes Institucionales de Ejecucin del PND. de Gobierno. de Labores. (1 documento anual por cada uno de ellos)
Revisin de los proyectos de Reglas de Operacin de Programas Sociales apoyados con Subsidios y Transferencias del Gobierno Federal
32
A continuacin se exponen cmo son entendidas algunas evaluaciones, por parte de la misma Secretara de la Funcin Pblica. Tipos de Evaluacin 1. Evaluacin del Ejercicio del Gasto Pblico Objetivos Generales Evaluar trimestralmente en forma integral los resultados de la gestin pblica en trminos de eficiencia, eficacia y productividad, articulando el gasto pblico, los programas y metas, con los principales objetivos y polticas de gobierno. Evaluar trimestralmente la implementacin y ejecucin de los programas sectoriales de mediano plazo derivados del Plan Nacional de Desarrollo, en funcin de metas significativas y cuantificables en trminos de resultados, destacando su vinculacin con los objetivos y prioridades del Plan y con las demandas y necesidades de la poblacin. Objetivos Especficos Detectar las principales desviaciones del ejercicio del gasto y cumplimiento de los elementos programticos, proponiendo las recomendaciones que permitan mejorar el desempeo institucional (Carpeta de Evaluacin con Conclusiones y Recomendaciones). Detectar los principales desfasamientos fsicos y/o financieros observados en los programas y proyectos de inversin ms relevantes y en el cumplimiento de diversos aspectos jurdicoadministrativos, as como en metas y objetivos, que inciden en el logro de las prioridades nacionales y en la credibilidad y confianza de la ciudadana en la aplicacin y uso de los recursos pblicos. Conciliar con la SHCP los resultados obtenidos de la evaluacin trimestral de los Convenios (Carpeta de Evaluacin con Conclusiones y Recomendaciones), a fin de que en el seno de la Comisin Intersecretarial de Gasto Financiamiento (CIGF) se tomen los acuerdos en los que se emitan las recomendaciones pertinentes, para aquellas entidades que presentaron variaciones desfavorables.
2. Evaluacin de Programas Sectoriales
Verificar el cumplimiento de 3. Evaluacin de los Convenios de Fortalecimiento los compromisos establecidos en los Convenios suscritos Financiero entre el Gobierno Federal y las entidades paraestatales controladas presupuestalmente, a nivel de ingreso, gasto y balances de operacin, tanto primario como financiero (flujo de efectivo y devengado).
1. Instancias de Control y Evaluacin Como puede observarse la instancia principal de evaluacin y control es la Secretara de la Funcin Pblica, la cual auxilia y coordina a los rganos Internos de Control (OIC). Cada Secretara (Ministerio) cuenta con un OIC.
34
La SFP tiene la facultad de designar y remover a los titulares de los rganos Internos de Control de las dependencias y entidades de la Administracin Pblica Federal y de la Procuradura General de la Repblica, quienes dependen jerrquicamente y funcionalmente de la SFP. Los OIC de las entidades paraestatales estn facultados para imponer directamente sanciones en materia de responsabilidades cuando se detecten conductas contrarias a las disposiciones legales y normativas establecidas, permitiendo que los titulares de los OIC tengan el carcter de autoridad para sustanciar los procedimientos disciplinarios y aplicar las sanciones previstas en la Ley Federal de Responsabilidades de los Servidores Pblicos. Adems existen mecanismos de Coordinacin Interinstitucional del Gobierno Federal como la Comisin Intersecretarial de Gasto Financiamiento, la cual es un rgano colegiado del gobierno mexicano de carcter permanente, que tiene por objeto asegurar la coordinacin, la comunicacin y la efectividad de las acciones durante el proceso de programacin, presupuestacin, ejecucin y control de las asignaciones del gasto pblico. Se considera una instancia de coordinacin y asesora al ejecutivo federal para la toma de decisiones en materia de ingresos y gasto pblico. Est integrado por las siguientes secretaras de estado: de Hacienda y Crdito Pblico y la Secretara de la Funcin Pblica, que se alternan la presidencia de esta Comisin cada seis meses; as como las de Desarrollo Social, Economa y la de Trabajo y Previsin Social, que operan como vocales; adems se cuenta con dos asesores (invitados permanentes), que son el Banco de Mxico y la Procuradura Fiscal de la Federacin. Entre sus funciones estn: Cuidar que las decisiones que se tomen en materia de gasto pblico y su financiamiento mantengan congruencia en su contenido y con la planeacin nacional del desarrollo, formulando las recomendaciones necesarias para asegurar la compatibilidad. Estudiar y emitir las recomendaciones necesarias para asegurar la congruencia de las finanzas pblicas con los objetivos y prioridades del Plan Nacional de Desarrollo del Gobierno Mexicano. Analizar la incidencia del gasto pblico y su financiamiento sobre el comportamiento de la actividad econmica y social, resaltando las reas estratgicas cuya problemtica demande atencin prioritaria. Analizar el comportamiento del Gasto Pblico de su financiamiento para detectar las desviaciones respecto a lo programado, y sugerir las medidas correctivas de aquellas que no se justifiquen, y en los casos que se considere conveniente, recomendar los ajustes a los programas anuales de gasto y financiamiento de la Administracin Pblica Federal. Examinar la situacin financiera de las empresas y organismos pblicos ms importantes y de aquellos que presenten condiciones crticas, en colaboracin con los coordinadores de sector correspondientes, y en su caso, con las propias entidades, para proponer las medidas conducentes. Operar a travs del Comit Tcnico de Informacin, el Sistema Integral de Informacin de los Ingresos y Gastos Pblicos. A tal efecto, que las secretaras de Hacienda y Crdito Pblico y de la Funcin Pblica, as como el Banco de Mxico, establecern en el seno de la Comisin, las normas y lineamientos relativos a la organizacin y funcionamiento que requiera dicho sistema. Las dependencias mencionadas, conjuntamente con la dependencia coordinadora de sector que corresponda en cada caso, y el Banco de Mxico, por conducto del Comit Tcnico de Informacin, harn compatibles los requerimientos de informacin que deban cumplir las dependencias y entidades de la Administracin Pblica Federal para el cabal cumplimiento de los objetivos del Sistema. Por otra parte existen los comits de control y auditora de la Administracin Pblica como entes participativos de las instancias que intervienen en el quehacer gubernamental. Los Comits de Control y Auditoria en las entidades paraestatales y rganos desconcentrados y los Comits de Control Interno en las dependencias, responden a la necesidad de contar con un instrumento de anlisis sistemtico y permanente, cuyos propsitos fundamentales son prevenir,
35
vigilar y evaluar el grado de economa, eficiencia y eficacia con que se manejan los recursos, as como la efectividad con que se alcanzan las metas y objetivos. La SFP actualiza peridicamente los lineamientos que regulan el funcionamiento de los Comits, en ellos se contemplan los objetivos que tienen stos, as como las atribuciones de sus representantes que son bsicamente de informar sobre las modificaciones que sufra la normatividad en materia de control, evaluacin y auditoria; as como supervisar el estricto cumplimiento de la normatividad vigente en materia de control y opinar respecto de la adecuada gestin de la Entidad en materia de operacin, productividad finanzas y de impacto social. La SFP promueve sistemticamente la conformacin de estos cuerpos colegiados para el sector central y el paraestatal, con el objetivo de apoyar a que las Dependencias y Entidades operen con mecanismos de autocontrol, auto-evaluacin y auto-correccin que le permitan asegurar que sus actividades y resultados se encaminen al cumplimiento de la misin y al logro de los objetivos para los que se ha creado, observando un estricto apego al marco legal aplicable y atendiendo a criterios de racionalidad, eficacia y eficiencia congruentes con las demandas de la ciudadana. Dada la importancia que reviste el funcionamiento de los Comits actuales, se ha incrementado y regulado el nmero de sesiones, lo que ha permitido sensibilizar a las Entidades sobre su participacin, al proporcionar informacin de calidad, en cuanto a su contenido, profundidad y oportunidad, siendo esta analizada y comentada en el seno de los mismos, apoyando la gestin del titular de la Entidad, propiciando alternativas de solucin y el cumplimiento cabal de los objetivos y metas planteados. Finalmente, se encuentran los delegados y comisarios pblicos de la SFP. Esta Secretara designa para el mejor desarrollo del sistema de control y evaluacin gubernamental, delegados y subdelegados ante las dependencias de la Administracin Pblica Centralizada y sus rganos desconcentrados, y comisarios pblicos ante los rganos de gobierno o de vigilancia de las entidades de la Administracin Pblica Paraestatal, en los siguientes trminos: Los delegados tienen las siguientes facultades: Representan a la SFP ante las dems Secretaras de Estado y Departamentos Administrativos y sus rganos desconcentrados, constituyendo el conducto directo ante stos a fin de facilitar la evaluacin del desempeo general de las propias dependencias y, en su caso, como coordinadoras sectoriales. Los delegados sern asistidos por los subdelegados y personal de apoyo que la SFP determine, conforme a los requerimientos de la dependencia de que se trate y en su caso, del sector que la misma coordine. Los subdelegados ejercern funciones conforme a las instrucciones de los delegados y representarn a la SFP en ausencia de ellos. Realizan anlisis sobre la eficiencia con que las dependencias de la Administracin Pblica Federal y sus rganos desconcentrados, desarrollen los programas que les estn encomendados y la forma en que se ejerzan los desembolsos de gasto corriente y de inversin vinculados con ellos, as como en lo referente a sus recursos humanos, financieros, materiales y de cualquier otro tipo. Pueden requerir a las dependencias y rganos desconcentrados la informacin necesaria para el cumplimiento de sus funciones. Desarrollan las dems tareas especficas que la SFP les asigne conforme a su funcin. Los Comisarios Pblicos sern propietarios y suplentes, y representarn a la SFP ante los rganos de gobierno o internos de control de las entidades de la Administracin Pblica Paraestatal y tendrn las facultades que les confiere lo dispuesto en el captulo VI Del Control y Evaluacin de la Ley Federal de las Entidades Paraestatales, y dems disposiciones aplicables. La funcin de delegado y comisario, en cualquiera de sus modalidades, podr concentrarse en un mismo servidor pblico, de acuerdo a las necesidades de la SFP. En la actual administracin se ha instrumentado un sistema de evaluacin para los OIC y los comisarios, bajo la ptica de considerar el alcance de las metas sustantivas de las dependencias de la administracin pblica
36
federal. Este sistema, conocido como el MIDO, evala a estas instancias considerando su actuacin, pero sobre todo el cumplimiento de las metas ligadas a planes y programas, las negociadas con el presidente y las metas de buen gobierno. 4. Implantacin y acompaamiento Para la implantacin de los sistemas de evaluacin puede observarse que existe ms una poltica jerrquica en la cual los superiores instruyen a llevar a cabo los sistemas y procesos de evaluacin, no sin dejar de reconocer que existe cierto nivel de participacin, esto es, se disea el sistema, se analiza por los altos mandos y luego se va discutiendo con los agentes principales, quienes realizan sus aportes y sugieren acomodos o cambios, que muchas veces son tomados en cuenta. La SFP es quien ms responsabilidades tiene en la tarea de evaluacin, y para constituir el principal sistema orientado a resultados, la evaluacin de metas presidenciales, se trabaj conjuntamente con la Oficina de Innovacin Gubernamental, y se realizaron consultas y una prueba piloto. Una de los elementos ms ricos del sistema fue contar con la incorporacin de la voz del ciudadano, a travs de encuestas, que realiza una oficina especializada en este tipo de tareas y con independencia de la dependencia o entidad en cuestin. Los sistemas de evaluacin existentes estn encuadrados en normas y leyes que les dan sustento jurdico y que obligan a los distintos agentes a cumplir con las actividades de evaluacin, adems de especificar modalidades y tareas que deben cumplirse para ello. As, las metas presidenciales implican acuerdos que deben cumplirse, pero tambin la obligacin de escuchar a la ciudadana, mediante encuestas que se aplican en distintos momentos. Debemos sealar que el Sistema de Evaluacin del Desempeo, aplicado en su momento por la Secretara de Hacienda y Crdito Pblico (ver supra), fue en gran medida recuperado por el Sistema de Evaluacin de Metas Presidenciales, que se maneja en la Secretara de la Funcin Pblica. Este hecho nos demuestra que la implementacin ha venido mejorando y aprovechando experiencias pasadas, aunque cada gobierno busca darle un sello caracterstico a la funcin. Tambin puede sealarse que el personal que viene aplicando y modernizando los sistemas no es del todo ajeno a las experiencias anteriores, cuestin que refuerza la recuperacin de experiencias pasadas. Tal vez el punto mas dbil de los sistemas ha sido el lograr una fuerte vinculacin a la cuestin presupuestaria, pues a pesar del sistema que se dise por la SHCP, para vincular la NEP con el SED, no se obtuvieron los vnculos y diseos apropiados para una evaluacin de resultados ligada al ejercicio del gasto. Es importante destacar que los diseos habidos han sido resultado de los propios profesionales del gobierno, y si bien se ha hecho uso de asesoras, estn han sido para apoyar algunas actividades del proceso, particularmente en el desarrollo de sistemas automatizados de manejo de informacin. A pesar de los sistemas de inclusin que se han buscado, la participacin integral de todos los agentes no se ha logrado, aunque en las metodologas desarrolladas hubo mecanismos de participacin. La modalidad mayormente aplicada de participacin en el diseo de los sistemas, corresponde a reuniones de anlisis y discusin y solicitudes de aportes por quienes tienen a su cargo la responsabilidad. 5. Caractersticas de los sistemas Los sistemas descritos antes corresponden a sistemas de evaluacin cuyo acento principal es la medicin de resultados. Si bien combinan otras variables o se manejan fines particulares, todo ellos comparten la orientacin a resultados. Una de las caractersticas que han buscado todos ellos es la transparencia y la fuerza en su metodologa, amen de interesarse en su fcil aplicabilidad. El Sistema de Metas Presidenciales ha incorporado no solo las metas derivadas de los planes y programas, sino que tambin permite al titular del ejecutivo, solicitar resultados de compromisos
37
por l generados o que la coyuntura exige satisfacer. Este sistema ha facilitado el que el Presidente tenga la posibilidad mayor de incidir en las polticas pblicas, actuar bajo situaciones de coyuntura y tener un instrumento de seguimiento y de ajuste importantes, tanto en lo sustantivo como en las partes del discurso. Adems, al estar incorporado a una base de datos automatizada, a la cual todos tienen acceso, aunque con diferentes estatus, le permite al titular del poder ejecutivo ingresar desde sus oficinas para informarse de los asuntos relevantes de cada una de las instancias que manejan las polticas pblicas. En general los sistemas descritos tienen fuerza metodolgica, no son simples, pero si fciles de instrumentar, por los grandes desarrollos que guardan en su concepcin y diseo. Adems que han buscado incorporar mecanismos de escucha a la ciudadana. Puede decirse que los sistemas de evaluacin expuestos corresponden a una perspectiva macro, aunque la aplicacin de los variados instrumentos que maneja la SFP cubre aspectos de gestin y de evaluacin de actuacin de los funcionarios, incluso bajo orientacin de procesos y no necesariamente en una ptica de evaluacin de resultados. Existe una amplia gama de instrumentos de evaluacin que cubre todo el proceso de las polticas pblicas, desde la formulacin hasta la evaluacin de resultados. En este estudio slo se han presentado de manera desagregada los sistemas que tienen una vocacin de evaluar resultados. Hemos de reconocer que las dependencias tienen ahora de manera natural el manejo de indicadores, en sus distintas perspectivas, pero sobre todo, la que les permite ir constatando sus avances y cumplimiento de compromisos presidenciales. 6. Uso de la informacin derivada del proceso de evaluacin El mayor uso de la informacin corresponde a un apoyo a las decisiones de quienes tienen la responsabilidad de cumplir las funciones o metas de las reas en cuestin, aunque tambin sirve, pero en menor medida, para juzgar desempeos y en muy pequea medida evaluar a las personas, salvo el caso de la evaluacin del desempeo derivada de la Ley de Profesionalizacin, no descrita en este estudio. Pudimos apreciar que s se usan los sistemas para una retroalimentacin a las reas responsables, aunque varios de los mtodos de evaluacin todava guardan la caracterstica de ser aspectos de vigilancia o control no necesariamente de desempeo. Para el Presidente ha resultado ser muy til el sistema de seguimiento de metas presidenciales, pues los compromisos ponen el acento en lo importante, y bajo la informacin que cada unidad incorpora al sistema le permite estar plenamente informado de si se lograr el resultado, de los problemas y/o obstculos que se estn presentando y de las reas a las que debe apoyarse para incidir en la poltica en cuestin15. Falta seguir trabajando para que se utilicen todos estos instrumentos para perfeccionar los mecanismos de decisin presupuestaria, tanto en lo concerniente a la programacin, como en las decisiones de aprobacin y ejecucin del gasto. Hasta ahora, existen una serie de mecanismos de informacin, utilizados por varios agentes, y por grupos de trabajo, como la Comisin Gasto Financiamiento. Al disponerse de varios insumos de informacin se ha generado la necesidad de grupos de anlisis, en lo referente al gasto-financiamiento. Adems, falta una mayor vinculacin entre el manejo de metas presidenciales y el manejo de la presupuestacin. No obstante, las dependencias globalizadoras, SHCP y SFP, cuentan con una informacin muy valiosa para sus funciones y responsabilidades. La primera dispone de una orientacin para priorizar el gasto y manejar las polticas de austeridad, bajo consideraciones de qu puede ser importante respetar o qu debe, o puede, modificarse. La segunda dispone de un instrumento de coordinacin y de apoyo a la presidencia, para orientar los esfuerzos de las dependencias; aunque hemos de admitir que dada la gnesis y las propias funciones de la SFP, existe un uso de la
El MIDO incorpora tambin el seguimiento de metas presidenciales y hace uso de la informacin para evaluar a sus OVC (rganos de Vigilancia y Control), pero stos tienen acceso a la informacin, para que en todo momento estn atentos a donde deben dirigir su apoyo. La evaluacin del desempeo, tambin ha incorporado las metas de resultados, pero como aun est en ciernes y no puede aun decirse mucho, aunque se presume servir tambin para construir un sistema donde todos contribuyan a las metas y objetivos sustantivos.
15
38
informacin y una actuacin vinculada a los procesos de vigilancia y sancin, que suelen representar un obstculo a las actividades de apoyo a las otras instancias administrativas. Finalmente el mayor beneficiarios de los sistemas ha sido el titular del ejecutivo que dispone de informacin sustantiva que le permite ir acentuando, modificando o dejando actuar a las dependencias para lograr los objetivos de su gobierno. Adems que el presidente puede dar instrucciones, para satisfacer demandas de grupos o zonas del pas y disponer de un seguimiento en automtico. Ello, con la posibilidad de un dilogo que permite el anlisis y las consideraciones de coyuntura. Conclusiones y comentarios finales Puede decirse que la evaluacin en el mbito de la administracin pblica federal de Mxico est ganando terreno. De los primeros esfuerzos que buscaban alguna medicin para juzgar las acciones, pasando por la creacin de un sistema de indicadores, se est llegando a sistemas ms consolidados y que vienen mostrando su utilidad para ir mejorando la actuacin y lograr mejores resultados. La evaluacin de metas presidenciales representa un esfuerzo que permite orientar a los responsables de las polticas pblicas a brindar resultados de sus acciones, focalizndoles a elementos prioritarios y brindndoles un sistema de retroalimentacin. Con ello se est dando el paso de una evaluacin centrada en acciones y/o procesos a una verdadera evaluacin de resultados. No se niega cierta presencia de autoproteccin sobre todo por ser un sistema ligado a la jerarqua presidencial, pero cada vez ms se estn aceptando retos para el beneficio social. Deber seguirse trabajando para mejorar y ampliar la evaluacin por agentes externos. stas debern ser verdaderas evaluaciones, cuidando no caer en las pseudo-evaluaciones y considerar aspectos que relativizan los resultados, particularmente los elementos contextuales. En este sentido es conveniente trabajar para conformar metodologas slidas y bajo un mercado amplio de expertos evaluadores para garantizar el buen ejercicio evaluatorio. Ser necesario continuar trabajando para crear una nueva cultura de evaluacin. Donde mayormente se presenta estos retos es en la evaluacin del desempeo. Aqu deber darse un giro para constituir un sistema constructivista que ponga el nfasis en el aprendizaje, en la participacin y en la negociacin. Igualmente, y no solamente en este caso, habr que ampliar el uso de la informacin para distintos agentes. Una de las riquezas que tienen los mtodos reseados es el haber incorporado la voz del cliente y que incorpora como elemento evaluatorio la satisfaccin de los beneficiarios, sin embargo, hasta ahora, el criterio mayormente aplicado para la evaluacin es la eficacia, y los mtodos descritos ponen mayormente el acento en ello. Es conveniente ir incorporando otros criterios como sera la eficiencia, la calidad, la oportunidad, entre otros. Aunque el Sistema de Evaluacin de Metas Presidenciales est automatizado y hay cierta accesibilidad consideramos que sera conveniente el constituir un sistema integrador de informacin que vincule a los distintos poderes y a las instancias fiscalizadoras y a las operadoras de programas, naturalmente con su verificacin y validacin y bajo el criterio de oportunidad y claridad. Hasta ahora los sistemas que han sido creados se aplican de la misma manera y bajo los mismos parmetros para todas las dependencias y/o polticas pblicas. Resulta importante que en su momento se hagan distinciones entre tipos de programa, tipo de institucin o alguna otra diferenciacin que lleve a afinar el mtodo de evaluacin. Por ejemplo, no todos los programas tienen la misma periodicidad de variacin o bien la misma facilidad o dificultad para medir. De hecho, evaluar el impacto a un programa no tendra sentido al hacerse de manera anual lo que conlleva una consideracin a la evaluacin como un proceso ms amplio y constante. Para la implantacin de los sistemas de evaluacin puede observarse que existe ms una poltica jerrquica en la cual los superiores instruyen a llevar a cabo los sistemas y procesos de evaluacin, no sin dejar de reconocer que existe cierto nivel de participacin, esto es, cuando se disea el sistema se analiza por los altos mandos y luego se va discutiendo con los agentes
39
principales, quienes realizan sus aportes y sugieren acomodos o cambios, que muchas veces son tomado en cuenta. La SFP es quien ms responsabilidades tiene en la tarea de evaluacin, y para constituir el principal sistema orientado a resultados, la evaluacin de metas presidenciales, se trabaj conjuntamente con la Oficina de Innovacin Gubernamental, y se realizaron consultas y una prueba piloto. Una de los elementos ms ricos del sistema es contar con la incorporacin de la voz del ciudadano, a travs de encuestas, que realiza una oficina especializada en este tipo de tareas y con independencia de las Secretaras o entidades en cuestin. Los sistemas descritos antes corresponden a sistemas de evaluacin cuyo acento principal es la medicin de resultados. Si bien combinan otras variables o se manejan fines particulares, todo ellos comparten la orientacin a resultados. Una de las caractersticas que han buscado todos ellos es la transparencia y la fuerza en su metodologa, amen de interesarse en su fcil aplicabilidad. El Sistema de Metas Presidenciales ha incorporado no slo las metas derivadas de los planes y programas, sino que tambin permite al titular del ejecutivo, solicitar resultados de compromisos por l generados o que la coyuntura exige satisfacer. Este sistema ha facilitado el que el Presidente tenga la posibilidad mayor de incidir en las polticas pblicas, actuar bajo situaciones de coyuntura y tener un instrumento de seguimiento y de ajuste importantes, tanto en lo sustantivo como en las partes del discurso. El mayor uso de la informacin, que surge de los diferentes sistemas de evaluacin del gobierno mexicano, corresponde a un apoyo a la decisin de quienes tienen la responsabilidad de cumplir las funciones o metas de las reas en cuestin. Aunque tambin sirve, en menor medida, para juzgar desempeos y en muy pequea medida evaluar a las personas, salvo el caso de la evaluacin del desempeo derivada de la Ley de Profesionalizacin. Pudimos apreciar que s se usan los sistema para una retroalimentacin a las reas responsables, aunque varios de los mtodos de evaluacin todava guardan la caracterstica de ser aspectos de vigilancia o control no necesariamente de desempeo. Para el Presidente ha resultado ser muy til el sistema de seguimiento de metas presidenciales, pues los compromisos ponen el acento en lo importante, y la informacin que cada unidad incorpora al sistema le permite estar plenamente informado de si se lograr el resultado, de los problemas y/o obstculos que se estn presentando y de las reas a las que debe apoyarse para incidir en la poltica en cuestin. En general los sistemas descritos tienen fuerza metodolgica, no son simples, pero si fciles de instrumentar, por los grandes desarrollos que guardan en su concepcin y diseo. Finalmente, se puede detectar, en cierta medida, un reconocimiento al valor de la evaluacin, aunque an existen resistencias y cuestionamientos a estos sistemas, por lo cual se debe de seguir avanzando en crear una cultura amplia al enfoque de resultados dentro de la cual la evaluacin cumple un papel fundamental.
40
ANEXO 1
CDULA DE REVISIN DEL OIC AL SISTEMA DE METAS PRESIDENCIALES
In fo r m e s o b r e la R e v is i n d e l S is te m a d e M e ta s P r e s id e n c ia le s 2 0 0 3
In s titu c i n
N o m b re d e la D e p e n d e n c ia , O rg a n o D e s c o n c e n t r a d o , E n t id a d , O f ic in a o C o m is i n
M e ta s d e :
O p e r a c i n B u e n G o b ie r n o
M a rc a r c o n u n a X la c a s illa c o r re s p o n d ie n t e
R e s u lta d o a L o g ra r
(N m e r o y D e n o m in a c i n d e la M e ta )
R u b ro
V e rd e
A m a rillo
R o jo M a rc a r c o n u n a X la c a s illa c o r re s p o n d ie n t e
A vance al m es de:
S e m fo r o
D o c u m e n to ( s ) S o p o r te
H a c e r m e n c i n d e l( o s ) d o c u m e n t o ( s ) f u e n te q u e e v id e n c e n e l a v a n c e re p o r ta d o ( e j. In f o rm e s , R e g is t ro s , C o m u n ic a c io n e s u o tr o s d e s im ila r n a t u rla re z a )
O p in i n d e l O IC
E m itir u n a o p in i n b r e v e s o b r e e l a v a n c e re p o r t a d o a la f e c h a , la o p o r t u n id a d d e l re p o r te y la fa c tib ilid a d d e l c u m p lim ie n t o d e la m e t a . (E n s u c a s o la s r e c o m e d a c io n e s f o rm u la d a s p a r a a s e g u ra r s u c u m p lim ie n t o )
O b s e r v a c io n e s
(E n s u c a s o , a d ic io n a r c o m e n ta r io s q u e a p o y e n la o p in i n y /o a c la ra c io n e s q u e c o n s id e r e n p e r t in e n t e s )
N m e r o d e F o r m a to
(C o n s e c u t iv o )
S e d e b e r lle n a r u n f o r m a t o p o r in d ic a d o r
41
ANEXO 2 Metodologa para el Desarrollo de Mdulos en el SED
Metodologa para el desarrollo de nuevos mdulos

Parmetros de Medicin y Fuentes de Informacin
Tomar la Decisin Anlisis de Flujos de Informacin
Establecimiento de Compromisos
Metas y Ponderadores
Herramientas de Medicin y Evaluacin

Sistema de Informacin Ejecutivo
Retroalimentacin
Diseo de Indicadores
Encuestas
Convenios de Desempeo
Evaluacin
Paso 1: Tomar la decisin Objetivo Tomar la decisin de implementar un Sistema de Evaluacin del Desempeo en la dependencia entidad gubernamental y elegir la actividad y el programa con el cual se empezar el desarrollo, as como en su caso, los estados en los que se pilotear el mdulo. Actividades 1. Consenso El primer paso para llevar a cabo la tarea de disear e implementar un sistema de evaluacin del desempeo consiste en contar con un consenso por parte de los mandos superiores de una dependencia / entidad gubernamental para emprender un cambio en la manera de administrar, verificar y evaluar los programas a su cargo. 2. Eleccin del programa para el cual se desarrollar el mdulo Una vez tomada la decisin, es necesario que la dependencia / entidad revise los programas a su cargo y dictamine cules son los prioritarios y/o estratgicos. Esta eleccin deber ser notificada a la UPCP, que programar junto con el grupo de trabajo de la dependencia / entidad reuniones de asesora para el desarrollo del mdulo. 3. Adopcin de la metodologa Es importante que la dependencia / entidad reconozca que el mecanismo para el diseo e implantacin del SED es nico; es decir, que todas las dependencias / entidades que inicien el proceso debern seguir la misma metodologa, la cual se ir perfeccionando con base en las mejores prcticas de aquellos que hayan desarrollado e implementado el Sistema. Por esta razn, se aconseja que las dependencias que tomen la decisin de empezar el desarrollo de un mdulo se acerquen a las que tengan la experiencia, de haber iniciado previamente dicho proceso. 4. Estimacin de costos para el desarrollo Se informar a la dependencia / entidad sobre los costos estimados para el desarrollo del mdulo y se le asesorar, con base en experiencias previas, sobre las mejores prcticas para
42
reducirlos. De. esta manera, la dependencia / entidad podr identificar el monto de recursos que necesitar para el desarrollo. 5. Formacin del grupo de trabajo y desarrollo del plan de trabajo El grupo de trabajo para el desarrollo del mdulo deber estar encabezado por el responsable de la funcin, subfuncin, programa sustantivo, actividad o proyecto a incluir en el SED, el cual deber asignar funciones especficas a cada uno de los miembros del equipo (difusin nacional, construccin de indicadores, administracin de pruebas piloto, etc.) y se deber desarrollar un plan de trabajo integral con base en los pasos descritos en esta gua, identificando tiempos y responsables de cada una de las actividades (vase formato lA). Es indispensable que el grupo de trabajo tenga reuniones continuas para discutir los avances a nivel interno. Ejemplo: IMSS-Solidaridad
MES PASO 1 2 3 4 5 6 7 8 9 10 RESPONSABLE
1. 2. 3. 4. 5. 6. 7. 8. 9.
Toma de Decisiones Diseo de Indicadores Anlisis de Flujo de Informacin Fijacin de Metas y Ponderadores Diseo y Levantamiento de Encuestas Inclusin del Mdulo en el SIE Desarrollo de Convenios de Desempeo Evaluacin Retroalimentacin
Dr. Luna Dra. Mrquez Dr. Cunill Dra. Trujano Dr. Menchaca Dra. Rosales Dr. Hernndez Dr. Prez Dra. Ramrez
6. Eleccin de estados piloto La ltima tarea de este paso consiste en elegir los estados en los cuales se pilotear el mdulo. Para ello, el grupo de trabajo deber determinar los criterios de seleccin de estados piloto, tratando, en la medida de lo posible, que las condiciones de stos sean lo ms comparables entre s.
43
Actividades clave del Paso 1 y principales productos a obtener ACTIVIDADES Tomar la decisin de desarrollar un SED en una entidad/dependencia Elegir la funcin, subfuncin, programa, actividad o proyecto para el cual se desarrollar el mdulo Determinar las fuentes de financiamiento para el desarrollo del mdulo. Formar un grupo de trabajo para el desarrollo del mdulo Desarrollar un plan de trabajo definiendo responsables y tiempos PRODUCTOS Grupo de trabajo para el desarrollo del mdulo Fuentes de financiamiento Plan de trabajo
Paso 2. Diseo de Indicadores Objetivo Disear indicadores del desempeo en cinco dimensiones de evaluacin e indicadores costoefectividad, alineados a la misin y objetivos principales. Para realizar esta actividad se recomienda que el responsable del diseo de indicadores, involucre en esta tarea a los responsables de la categora programtica en los estados elegidos en el piloto, as como a expertos en el ramo. Actividades 1. Comprensin del programa e identificacin de objetivos La primera actividad de este paso consiste en identificar los principales objetivos del sector o las categoras programticas involucradas con base en documentos estratgicos. Se recomienda revisar, entre otros, el Plan Nacional de Desarrollo, el Programa Sectorial, el Informe de Labores del Sector y la Iniciativa del Programa. Ejemplo: Identificacin de Indicadores
LINEAMIENTOS DE POLTICA SECTORIAL Ampliar la cobertura de los servicios de salud, buscando la equidad en el acceso. Promover la eficiencia y la eficacia de los servicios mdicos de primer y segundo nivel Abatir las enfermedades de la pobreza OBJETIVOS DE LA ENTIDAD EN LA CATEGORA SELECCIONADA Ampliar la cobertura de salud en zonas marginadas Mejorar el porcentaje de ocupacin y estancia hospitalaria FACTORES CRTICOS DE XITO Cobertura Poblacional
ALINEACIN
INDICADORES Cobertura Poblacional del Estado
Eficiencia en produccin de servicios Eficiencia en los servicios mdicos Satisface el Objetivo
Abatir el clera y las infecciones gastrointestinales
Promedio de estancia hospitalaria Porcentaje de ocupacin hospitalaria Tasa de letalidad por clera Tasa de infecciones gastrointestinales
- Niveles de Alimentacin
No est Orientado al Objetivo
44
2. Factores crticos de xito Debido a que en ocasiones es difcil definir indicadores del desempeo de los objetivos estratgicos, se sugiere identificar acciones crticas a desarrollar, cuyo cumplimiento sea ms viable verificar. Para validar esta actividad pregntese si es posible alcanzar los objetivos sin cumplir los factores crticos de xito. 3. Definicin preliminar de indicadores Con base en los factores crticos de xito, y en mejores prcticas a nivel nacional o internacional, es preciso disear indicadores de resultado preliminares los cuales debern ser razones numricas entre dos o ms variables - p.e. tasa de mortalidad, porcentaje de poblacin cubierta, etc. Es importante considerar que cada mdulo podr tener unos cuantos indicadores, Si en este ejercicio se define un nmero muy extenso de indicadores, se tendr que hacer una revisin de la interpretacin de los objetivos y establecer prioridades con el fin de medir solamente lo ms relevante. A continuacin se ilustra el proceso simplificado para la generacin de indicadores del desempeo.
Proceso simplificado para la generacin de Indicadores del Desempeo

Documentos de Poltica Gubernamental Relevantes (ej, PND)
Planes Sectoriales
Actualizacin o adecuacin de indicadores
Entendimiento del Programa
Objetivos Estratgicos del Programa
si Alineacin
Factores Crticos del xito
Entendimiento del Programa
Utilizacin prctica de los indicadores en la planeacin y evaluacin de programas
Misin Participantes Beneficiarios xitos obtenidos Obstculos para su desarrollo Interaccin con otros
no
Qu debera ocurrir para considerar que se ha tenido xito en logro de un objetivo?
Cmo se puede medir de la mejor el cumplimiento de los factores crticos de xito?
4. Clasificacin de indicadores Para asegurar la evaluacin integral de los programas, el SED define cinco dimensiones de evaluacin -impacto, cobertura, calidad, eficiencia y alineacin de recursos- bajo las cuales deben agruparse los indicadores del desempeo. Tomando en cuenta estas categoras se deben clasificar los indicadores preliminares, y asegurarse de que existan dichos indicadores en cada una de stas. El cuadro 3.4 define las dimensiones de evaluacin y ejemplifica indicadores para cada una de ellas.
45
rbol de indicadores:
30 20 15 15
IMPACTO
COBERTURA
CALIDAD
EFICIENCIA
ALINEACIN 20 DE RECURSOS
50 TASA DE LETALIDAD POR COLERA
50
25
25
25
25
25
25
25
25
30
30
40 PUNTUALIDAD DEL PRESUPUESTO EJERCIDO
100
50
50*
AVPP MUJERES EN EDAD FERTIL
SEGUNDO ORDEN
AVPP NIOS 5 AOS
* PONDERADOR
Dimensiones de Evaluacin:
DIMENSIN Impacto Cobertura Eficiencia Calidad Alineacin de recursos QU MIDE? Logros de los objetivos del programa Alcance de beneficios a la poblacin objetivo Costos unitarios y productividad de recursos Caractersticas /atributos del servicio (satisfaccin de beneficiarios) Congruencia de recursos aprobados y suministrados (cantidad y oportunidad) EJEMPLO Tasa de letalidad por clera Cobertura de beneficiarios programa IMSS-Solidaridad Costos por beneficiario
No. DE CONSULTAS POR HORA MDICO
COBERTURA DE SUPERVISIN
COBERTURA DE COMITS DE SALUD
AOS POTENCIALES DE VIDA PERIDA
EFICIENCIA EN MEDICIN HOSPITALARIA - OCUPACIN
COBERTURA DE ASISTENCIA RURAL DE SALUD
CAPACIDAD DEL PERSONAL MDICO
COBERTURA POBLACIONAL
COBERTURA DE PLANTILLA
PRIMER ORDEN
COSTO PROMEDIO POR DEROCHOHABIENTE
TASA DE MORTALIDAD
TASA DE MORTALIDAD HOSPITALARIA
del
Tasa de mortalidad intrahospitalaria Oportunidad de asignacin
46
5. Validacin de indicadores Los indicadores preliminares deben validarse con las globalizadoras, para obtener un rbol de indicadores finales. 6. Diseo de indicadores costo-efectividad Una vez que se cuente con la versin final de los indicadores de desempeo se deben seleccionar aquellos que se desee verificar la relacin que guardan entre resultados-presupuesto. Para ello, es preciso construir indicadores costo efectividad cuyo propsito ser la medicin del cambio porcentual en un indicador del desempeo al transformar porcentualmente el gasto. As, la SHCP podr estimar el gasto adicional requerido para la obtencin de resultados marginales en un programa. Estos indicadores, al igual que los de desempeo, deben ser validados por las globalizadoras. El cuadro 3.5 ejemplifica el clculo y la construccin de un indicador costoefectividad. Ejemplo del clculo de un indicador costo-efectividad
19 95
Gasto en el Programa de Inmunizaciones
1996
1,196
%
9.82%
1,0 89
.
1)
Tasa de Morbilidad
por Enfermedades 3.1 3 2.75 (12.14%)
Preventivas por Vacunacin
A/B
. Indicador de Costo-Efectividad del Gasto

por Disminucin en Morbilidad 1) Casos por 100,000 2) Miles de pesos de 1995
0.81%
Para disminuir un punto porcentual en la morbilidad se requiere un aumento de 0.81 % en el gasto
47
7. Construccin de indicadores Para cada uno de los indicadores validados se debe detallar la frmula y frecuencia de clculo, determinar el orden -si el indicador est subordinado a otro ser de segundo orden, de lo contrario ser de primer orden-, describir las variables incluidas necesarias para su construccin. El proceso de identificacin de fuentes de informacin se describe en el paso 3. Construccin de Indicadores: IMSS SOLIDARIDAD
Indicador: Tasa de letalidad por clera Frecuencia de Clculo: Mensual Forma de Clculo: Informacin Requerida: Variable: No. de muertes por clera en casos comprobados No. de casos comprobados de enfermos de clera Dimensin: Impacto
Ponderador: 50% Orden: Primer Nmero de Muertes por clera en casos comprobados x 100 Nmero de casos comprobados de enfermos de clera Fuente: Hoja de notificacin inmediata de clera Hoja de notificacin inmediata de clera Responsable: Depto. de Epidemiologa Depto. de Epidemiologa
Descripcin de Variables: No. de muertes por clera en casos comprobados es el No. de muertes registradas en casos con diagnstico comprobado de clera No. de casos comprobados de enfermos de clera es el No. de personas enfermas de clera en casos con diagnstico comprobado
El siguiente cuadro resume las actividades clave para el desarrollo de esta fase, as como los principales productos a obtener. ACTIVIDADES Entendimiento del programa e identificacin de objetivos Definicin, clasificacin y validacin de indicadores de desempeo y de costo efectividad. Construccin de indicadores de desempeo y de costo - efectividad PRODUCTOS Indicadores de desempeo para cada una de las cinco dimensiones de evaluacin. Indicadores costo - efectividad
Paso 3. Anlisis de flujos de informacin Objetivo Asegurar la disponibilidad de la informacin requerida para la obtencin de indicadores. Actividades 1. Variables de clculo Para cada uno de los indicadores finales se deben identificar las variables necesarias (vanse cuadros construccin de indicadores y fuentes de informacin).
48
Fuentes de Informacin
FRECUENCIA DE MEDICIN M A A T A No Disponible M = Mensual S = Semanal T = Trimestral A = Anual DISPONIBILIDAD ACTUAL FUENTES DE INFORMACIN Epidemiologa Sistema IMSS
Informtica
Contralora
Encuesta
No. de muertes por clera No. de plazas contratadas No. de usuarios satisfechos
--
--
--
No. de das paciente
--
Poblacin abierta Disponible
-Parcialmente Disponible
2. Fuentes de Informacin Se debern identificar las fuentes de informacin de cada variable, as como la frecuencia de medicin y la disponibilidad actual de la misma. Se deber procurar que la periodicidad de generacin de cualquier indicador no sea mayor a un ao (cuadro anterior). 3. Identificacin de informacin adicional requerida Es importante hacer notar que los indicadores se disean independientemente de la disponibilidad de informacin, por ello habr nuevas variables para las cuales se debern disear encuestas, sondeos u otro tipo de levantamientos. Cuando sea el caso, se debe tener en cuenta que el costo de generacin no debe rebasar el beneficio obtenido con la medicin de la variable; si esto no sucede, se deber replantear el indicador buscando aproximaciones confiables. 4. Plan de desarrollo de informacin adicional Se debern desarrollar planes de trabajo y definir responsables y tiempos para generar nuevas variables. Este compromiso deber incluirse posteriormente en los convenios de desempeo para formalizar su realizacin. A continuacin se resume las actividades clave para el desarrollo de esta fase as como los principales productos a obtener.
49
Finanzas
VARIABLE
Contabilidad
ACTIVIDADES Identificacin de requerimientos de informacin Planes de trabajo para la generacin de nuevas variables
PRODUCTOS Variables disponibles para el clculo de indicadores
Paso 4: Encuestas Objetivo Desarrollar una herramienta para evaluar la satisfaccin y las demandas de los beneficiarios, generar informacin para clculo de indicadores no disponible en sistemas internos y validar informacin clave. Actividades 1. Coordinacin de encuestas El equipo de trabajo deber nombrar a un responsable para coordinar los trabajos relativos a los levantamientos de informacin asociados al programa a evaluar, para ello se recomienda interactuar con alguna empresa calificada en el diseo de cuestionarios y marcos mustrales, levantamiento pruebas de campo y encuestas finales, y anlisis de resultados. 2. Diseo de cuestionarios Debido a que las encuestas tienen tres funciones, es indispensable clasificar el tipo de preguntas de acuerdo a los motivos para los cuales se formulan. De esta manera se podrn identificar preguntas para obtener nuevas variables, preguntas de evaluacin del programa por parte los beneficiarios y preguntas sobre demandas ciudadanas. Para la primera categora, se debern disear preguntas que muestren de manera directa la variable que se desea obtener. Para las dems categoras se debern establecer los temas de los cuales se desee obtener informacin cualitativa de los beneficiarios y generar preguntas asociadas a los mismos. Se sugiere que las preguntas sean cerradas, es decir que sean de opcin mltiple para facilitar el proceso de captura y codificacin. Asimismo, ser indispensable identificar el tipo de sujeto al cual se quiere entrevistar, y conforme a ello estructurar diversos tipos de cuestionarios, tomando en cuenta las caractersticas del entrevistado (edad, sexo, idioma que habla, etc.). El preguntar lo mismo a diferentes participantes del programa permitir validar las respuestas, as como la calidad de la informacin obtenida.
50
Construccin de Preguntas: Ejemplo IMMSS - SOLIDARIDAD

VARIABLE Nmero de usuarios satisfechos PREGUNTAS TIPO DE ENTREVISTADO
Est usted satisfecho con los Poblacin adscrita a siguientes servicios? Califquelos HRS del 1 al 10 Poblacin adscrita a UMR Atencin mdica Trato del personal mdico Tiempo de espera Limpieza del hospital Comits de salud
Calidad de atencin mdica
Le solucion el mdico su problema? S An no, pero tengo que verlo otra vez An no, Tengo que ver a otro mdico No
Poblacin adscrita a HRS Poblacin adscrita a UMR
3. Marcos muestrales Para poder levantar encuestas o sondeos representativos, se necesitar contar con un marco muestral de alta calidad. El marco muestral constituye la identificacin universo objetivo con el fin de obtener una muestra, es decir un subconjunto representativo del universo, con el cual se pueda inferir sobre el comportamiento de todos los beneficiarios. Debido a su carcter tcnico, se recomienda contar con apoyo externo para construir el marco y seleccionar la muestra. Previamente al lanzamiento de las encuestas o los sondeos de opinin, se deben efectuar pruebas de campo para calibrar la calidad de las preguntas y verificar si la extensin del cuestionario es adecuada. Con base en los resultados de las pruebas se debern adecuar las encuestas o los sondeos y obtener versiones finales. 4. Levantamientos de Encuestas El levantamiento de encuestas o sondeos de opinin y la captura de la informacin generada, deben ser realizados por empresas externas para asegurar la calidad e imparcialidad del proceso. Se requiere que el grupo de trabajo determine previamente al levantamiento el tipo de reportes que desea obtener y el tipo de anlisis estadsticos que espera de los mismos. 5. Anlisis de resultados El anlisis de la informacin generada por encuestas o sondeos de opinin debe ser realizado por el grupo de trabajo, y los resultados deben estar reflejados tanto en los reportes de evaluacin como en las fichas tcnicas del SIE. A continuacin se resume las actividades clave para el desarrollo de esta fase as como los principales productos a obtener.
51
ACTIVIDADES Diseo de marcos muestrales Diseo de reportes Diseo de cuestionarios
PRODUCTOS Marcos muestrales Reportes y anlisis de resultados Cuestionarios
Paso 5: Metas y Ponderadores Objetivo Definir las metas de corto y mediano plazo a lograr para cada indicador y determinar prioridades entre ellos mediante la asignacin de pesos o ponderaciones. Actividades 1. Definicin de estndares A fin de establecer metas para los indicadores, es indispensable contar con estndares que servirn como punto de referencia para asignar un valor esperado para el indicador. Los estndares podrn ser fijados con base en informacin histrica de estados lderes en la ejecucin del programa o de pases lderes en la materia, o bien a travs de compromisos establecidos en documentos como el Plan Nacional de Desarrollo. Formato: Determinacin de Metas Indicador: Cobertura de Plantilla Parmetros: Desempeo Anterior: Meta: 93% Cumplimiento: 100% Debido a que se planea construir 4 UMR en el 2000, stas pueden dar servicio a 1600 beneficiados adicionales y aumentar la cobertura en un 322% con respecto a 1999. Estado: Hidalgo Justificacin de la Meta: META DE MEDIANO PLAZO: 99% META ANUAL: 96% Estandar: Valor: 100% Fuente: OMS Perodo: 2000
Compromiso Nacional: Valor: 100% Fuente: PND
Perodo Ao: 2000
52
2. Fijacin de Metas Con base en la informacin histrica, compromisos identificados y estndares disponibles, se determinarn metas preliminares de corto plazo (un ao) y mediano plazo (de 2 a 3 aos), o de largo plazo (6 aos) para cada indicador a nivel estatal. Es preciso que haya consenso de las metas hacia el interior de la institucin de que se trate, y stas debern ser validadas por las globalizadoras, con el fin de asegurar su consistencia. 3. Fijacin de ponderadores De manera paralela a la fijacin de metas, el grupo de trabajo deber fijar ponderadores a los indicadores de desempeo con el fin de asignar un peso que refleje la importancia relativa de cada indicador respecto del conjunto. Estos ponderadores podrn cambiarse anualmente, pues conforme avanzan los programas, los puntos de atencin son diferentes. Los ponderadores debern ser validados por las globalizadoras.
53
ASF: CAP: CGOVC: CMH: CNDH: CNE: CPCP: FNDE: IDI: IDO: IFAI: IMSS: INDESOL: IPD: IRRCO: IRROP: MIDO: PEF: PND: PROMAP: PRONASOL: SECOGEF: SECODAM: SEDESOL: SFP: SHCP: SPP: STPS:
ANEXO 3 ABREVIATURAS EMPLEADAS Auditoria Superior de la Federacin Comisin de Administracin Pblica Coordinacin General de rganos de Vigilancia y Control Contadura Mayor de Hacienda Comisin Nacional de Derechos Humanos Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social Comisin de Presupuesto y Cuenta Pblica Fondo Nacional de Empresas en Solidaridad ndice de Desempeo Institucional ndice del Desempeo Operativo Instituto Federal de Acceso a la Informacin Instituto Mexicano del Seguro Social Instituto Nacional de Desarrollo Social ndice de Percepcin del Desempeo ndice de Reduccin de Riesgos de Corrupcin ndice de Reduccin de Riesgos de Opacidad Modelo Integral de Evaluacin de los rganos Internos de Control y Vigilancia Presupuesto de Egresos de la Federacin Plan Nacional de Desarrollo Programa para la Modernizacin de la Administracin Pblica Federal 1994-2000 Programa Nacional de Solidaridad Secretara de la Contralora General de la Federacin Secretara de la Contralora y Desarrollo Administrativo Secretara de Desarrollo Social Secretara de la Funcin Pblica Secretara de Hacienda y Crdito Pblico Secretara de Programacin y Presupuesto Secretara del Trabajo y Previsin Social ANEXO 4
1. Personas Entrevistadas 2. Documentos Consultados PERSONAS ENTREVISTADAS 1. HUGO GUTIERREZ DAVILA Titular de la Unidad de Coordinacin de rganos de Vigilancia de la SFP 2. CARLOS A. MONTEMAYOR Director General de Seguimiento, SEDESOL 3. FERNANDO ZEPEDA HERRERA Director General de Atencin a Instituciones, SFP 4. CESAR CHAVIRA ENRIQUEZ Titular de la Unidad de Control y Evaluacin de la Administracin Pblica, SFP 5. JAIME DOMINGO LOPEZ BUITRON Subsecretario de Empleo y Poltica Laboral, STPS
54
6. ALFREDO MUOZ GARCIA Director General Adjunto de Evaluacin del Desempeo, SFP 7. ADRIAN FRANCO BARRIOS Director General Adjunto de Poltica y Evaluacin de rganos de Vigilancia y Control, SFP 8. EDGAR GARRIDO CENTENO Director de Polticas de Evaluacin de rganos de Vigilancia y Control, SFP 9. KATIA ALARCON Subdirectora de Proyectos Especiales, SFP 10. JESUS MILLAN CARRANZA Director General Adjunto de Evaluacin, SFP 11. ANTONIO CASAS VAZQUEZ Director General de Desarrollo Humano, STPS 12. JUAN CARLOS MURILLO Asesor, Oficina de la Presidencia para la Innovacin Gubernamental DOCUMENTOS CONSULTADOS LEYES Y DOCUMENTOS OFICIALES Constitucin Poltica de los Estados Unidos Mexicanos Ley Orgnica de la Administracin Pblica Federal Ley Federal de Acceso a la Informacin Pblica Gubernamental Ley General de Desarrollo Social Ley de Fiscalizacin Superior de la Federacin Ley del Servicio Profesional de Carrera en la Administracin Pblica Federal Gua para realizar evaluaciones externas segn disposiciones emitidas por la SCODAM y la SHCP, Diario Oficial de la Federacin, 30 de Abril de 2002. Manual de Metas Presidenciales, SFP, 2004 Modelo Estratgico para la Innovacin Gubernamental, Oficina de la Presidencia para la Innovacin Gubernamental., s/f Modelo Integral de Desempeo de rganos de Vigilancia y <control, SFP, 2004. Reglamento Interior de la Unidad de Evaluacin y Control de la Comisin de Vigilancia de la Cmara de Diputados Reglamento Interior de la Secretara de Hacienda y Crdito Pblico Reglamento Interior de la Auditoria Superior de la Federacin Reglamento del Servicio Profesional de Carrera Lineamientos para la suscripcin, seguimiento y evaluacin de los convenios y bases de desempeo Lineamientos para el funcionamiento del Comit de Control Interno Lineamientos para el funcionamiento del Comit de Control y Auditoria OTROS DOCUMENTOS Myriam CARDOZO, La evaluacin de polticas y programas sociales en Mxico: 1998-2004, Tesis para obtener el grado de Doctor en Ciencias Sociales, UNAM, Mxico, Febrero, 2005.
55
Bibliografa Arvanitis, R., M. Callon y B. Latour. Evaluation des politiques de la recherche et de la technologie, Documentation Franaise, Paris, 1986. Ballart, Xavier. Cmo evaluar programas y servicios pblicos?, INAP, Madrid, 1992. Baon, Rafael y Ernesto Carrillo (Comps). La nueva administracin pblica, Alianza Universidad, Madrid ,1997. BID, Evaluacin: una herramienta de gestin para mejorar el desempeo de los proyectos, Washigton, 1997. Bresser Pereira, Luiz Carlos. State Reform in the 1990s. Logic and Control Mechanisms. Presentado en el II Congreso Internacional del CLAD. Venezuela. Centro Latinoamericano de Administracin para el Desarrollo (CLAD). Cardozo Brum, Myriam I., Exposicin de Mtodos de Evaluacin no Tradicionales Aplicables al Sector Pblico, Material Docente, Serie Administracin Pblica, No. 9, CIDE, Mxico, 1986. Cardozo, Myriam. La evaluacin de polticas y programas sociales en Mxico: 1998-2004, Tesis para obtener el grado de Doctor en Ciencias Sociales, UNAM, Mxico, Febrero, 2005 Caro, Francis G., Reading in evaluation research, Russell Sage Foundation, New Cork, 1971. CLAD. La responzabilizacin en la nueva gestin pblica latinoamericana, EUDEBA, Buenos Aires, 2000. Cohen, Ernesto y Franco, Rolando. Evaluacin de proyectos sociales, Siglo XXI Ed., Mxico, 1992. Crespo, Jos Antonio. Fundamentos Polticos de la Rendicin de Cuentas. Auditoria Superior de la Federacin. Mxico, 2001 Cunill Grau, Sonia y Ospina Bozzi, Sonia. Evaluacin de Resultados para una gestin pblica moderna y democrtica. Experiencias latinoamericanas, CLAD. AECI/MAP/FIIAPP, Caracas, Ven., 2003. Fetterman, David M., Kaftarin, Shakeh J., Wandersman, Abraham. Empowerment Evaluation. Knowledge and Tools for Assessment & Accountability, SAGE Publications, London 1996. Fraisse, Jean, Michael Bonetti y Vicent de Gaulejac. Levaluation dynamique des organizations publiques, Les edition dorganization, Paris, 1987. Herrera Prez, Agustn, El sistema de responsabilidad de los servidores pblicos, en: Primeras Jornadas de Derecho Administrativo y Administracin Pblica, Universidad de Guanajuato, Guanajuato, 1998. Medina, Alejandro y Jos Meja. El control en la implementacin de las polticas pblicas, Plaza y Valds, Mxico, 1993 Meja Lira, Jos. La evaluacin de la gestin y la poltica pblica, Miguel ngel Porra, Mxico, 2003. Naim, Moiss. Latin Americans Journey To the Market: From Macroeconomic Shocks to Institutional Therapy. California, ICS Press, 1995. Noche, J.P. y R. Poinsard., Levaluation des politiques publiques, Economie, Paris, 1984. OECD. In search of results. Performance Management Practices. Organization for Economic Cooperation and Development. PUMA, 1997. SECODAM, Gua para la definicin de indicadores, Mxico, 1997. Secretara de Hacienda y Crdito Pblico. Sistema de Evaluacin del Desempeo (SED). Mxico, 1998. Secretara de la Funcin Pblica (SFP). Sistema de Evaluacin y Control Gubernamental. Mxico, 2001. SIEMPRO/UNESCO. Gestin Integral de Programas Sociales Orientada a Resultados. Fondo de Cultura Econmica, SIEMPRO, UNESCO, Buenos Aires, 1999. Ted Gaebler y D. Osborne. La reinvencin del gobierno. Piados, 1993 Vulpian, A. De, y B. Devez, LEvaluation par la socit civile, en: Jean Pierre NIOCHE y R. POINSARD, LEvaluation des Politiques Publiques, Economica, Paris, 1984
56

Evaluacionherramienta

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Evaluacionherramienta

Uploaded by

Copyright:

Available Formats

La evaluacin como herramienta para una gestin pblica orientada a resultados.

La prctica de la evaluacin en el mbito pblico mexicano*

Flexibilidad Comunicacin Aprendizaje Apertura Cultura

Servicios internos Valor agregado Visibilidad Control Indicadores de proceso

Facultacin Capacidad Trabajo en equipo, etc.

Rentabilidad social Estndares Indicador de desempeo Indicador de satisfaccin, etc.

Constitucin Poltica de los Estados Unidos Mexicanos.

CICLO DEL SISTEMA NACIONAL DE PLANEACIN DEMOCRTICA

RESPONSABILIDAD DE LA SFP Y LOS ORGANOS INTERNOS DE CONTROL EVALUAR EL PROCESO

IMPLANTAR EL SISTEMA DE CONTROL Y EVALUACION GUBERNAMENTAL

La estructura de la SFP es la siguiente:

SECRETARIA EJECUTIVA DE LA COMISION INTERSECRETARIAL PARA LA TRANSPARENCIA Y EL COMBATE A LA CORRUPCION

COORDINACION GENERAL DE OIC

SUBSECRETARIA DE CONTROL Y AUDITOR[A DE GESTION PBLICA

SUBSECRETARIA DE ATENCION CIUDADANA Y NORMATIVIDAD

SUBSECRETARIA DE DESARROLLO Y SIMPLIFICACION ADMINISTRATIVA

UNIDAD DE ASUNTOS JURIDICOS

UNIDAD DE CONTROL Y EVALUACION DE LA GESTION PBLICA

UNIDAD DE AUDITORIA GUBERNAMENTAL

UNIDAD DE NORMATIVIDAD DE ADQUISICIONES, OBRAS PBLICAS, SERVICIOS Y

UNIDAD DE SERVICIOS ELECTRONICOS GUBERNAMENTALES

DIRECCION GENERAL DE OPERACION REGIONAL Y

DIR. GRAL DE ATENCION

DIR. GRAL DE SIMPLIFICACION REGULATORIA DIRECCION GENERAL DE EFICIENCIA

DIR. GRAL DE PROGRAMACION Y PRESUPUESTO

UNIDAD DE VINCULACIN PARA LA TRANSPARENCIA

DIR. GRAL DE RESPONSABILIDA DES Y SITUACION

DIRECCION GENERAL DE ADMINISTRACION

ELEMENTOS RECTORES QUE ESTABLECEN CON LA CIUDADANIA

MEJORAR EL QUEHACER GUBERNAMENTAL EN TERMINOS DE EFICIENCIA, EFICACIA Y PRODUCTIVIDAD

FORTALECER LOS A. PRINCIPIOS DE PROBIDAD Y RENDICION PUNTUAL DE CUENTAS

PERTINENCIA Y CALIDAD EN LOS SERVICIOS

DEMANDAS QUE EXIGEN REPLANTEAR LOS PROCEDIMIENTOS DE CONTROL Y EVALUACION GUBERNAMENTAL

Opinin sobre Asuntos a tratar en la CIGF (5 carpetas mensuales)

Evaluacin de Convenios de Seguimiento Financiero (1 carpeta trimestral)

PRINCIPALES PRODUCTOS GENERADOS

Opinin a las Propuestas de Convenios y Bases de Desempeo

2. Evaluacin de Programas Sectoriales

CDULA DE REVISIN DEL OIC AL SISTEMA DE METAS PRESIDENCIALES

ANEXO 2 Metodologa para el Desarrollo de Mdulos en el SED

Metodologa para el desarrollo de nuevos mdulos

Herramientas de Medicin y Evaluacin

INDICADORES Cobertura Poblacional del Estado

Eficiencia en produccin de servicios Eficiencia en los servicios mdicos Satisface el Objetivo

Abatir el clera y las infecciones gastrointestinales

No est Orientado al Objetivo

Proceso simplificado para la generacin de Indicadores del Desempeo

Actualizacin o adecuacin de indicadores

Entendimiento del Programa

Objetivos Estratgicos del Programa

Factores Crticos del xito

Entendimiento del Programa

Utilizacin prctica de los indicadores en la planeacin y evaluacin de programas

Qu debera ocurrir para considerar que se ha tenido xito en logro de un objetivo?

Cmo se puede medir de la mejor el cumplimiento de los factores crticos de xito?

50 TASA DE LETALIDAD POR COLERA

40 PUNTUALIDAD DEL PRESUPUESTO EJERCIDO

AVPP MUJERES EN EDAD FERTIL

AVPP NIOS 5 AOS

No. DE CONSULTAS POR HORA MDICO

COBERTURA DE COMITS DE SALUD

AOS POTENCIALES DE VIDA PERIDA

EFICIENCIA EN MEDICIN HOSPITALARIA - OCUPACIN