Sistema de Evaluación y Monitoreo:
Un Reto de Política Pública
Secretaría de Desarrollo Social
MÉXICO
Gonzalo Hernández Licona
Índice

El esquema ideal de M&E

Creación del sistema de M&E en México
(Secretaría de Desarrollo Social)

Funcionamiento del sistema de M&E

Retos
La Política Social

Identificación de problemas
y objetivos

Análisis


Diseño de programas
Presupuesto
Operación de programas

Evaluación y Monitoreo

M&E: Esfuerzo de Política Pública



Si estuviéramos hablando de una empresa
privada, los incentivos son los correctos para
que exista un M&E, casi automáticamente
Cuando hablamos de programas sociales, es
necesario crear los incentivos e instituciones
correctos para desarrollar el M&E.
El reto es que las reglas de juego creen un
M&E que sea parte integral, y útil, de la
Política Social
Proceso de Toma de Decisiones
o
¿Quién exige conocer el beneficio?
o
Identificar beneficios
o
Medir Impacto
o
Información requerida
o
Monitoreo de Procesos
o
¿Qué se hace con los resultados?
o
Información para decisiones presupuestales
Creación paulatina del sistema de M&E


Durante los 90s se llevaron a cabo las primeras
evaluaciones de algunos programas sociales (Leche,
Abasto Rural)
La evaluación del programa Oportunidades, a partir de
1997, ha sido el proyecto de evaluación más exitoso y
mejor pensado hoy en día en México



El BID exigió una evaluación externa
Los actores políticos la aceptaron bien
Desde 2000, el Congreso exige por ley la evaluación anual
de todos los programas del Ejecutivo Federal


Desde 1999 se vio la necesidad, desde el Congreso, de evitar que
mediante los programas sociales se compraran votos en las
elecciones del 2000 por parte del PRI
Funcionarios receptivos que favorecían las evaluaciones de los
programas
Creación paulatina del sistema de M&E:
Secretaría de Desarrollo Social (SEDESOL)



2001 Creación de la Subsecretaría de Planeación,
Prospectiva y Evaluación
2002 Acuerdo de la Secretaría de Hacienda y de la
Contraloría para mejorar evaluaciones
2004 Ley de Desarrollo Social, que institucionaliza aún
más el proceso de evaluación de la política y los
programas de desarrollo social




Congreso plural
Ejecutivo respetuoso
Democracia y Transparencia
El desarrollo reciente de mejores técnicas de evaluación
ha fomentado mejores evaluaciones
Fortalezas y Debilidades del cambio institucional


Fortalezas
 Se cambian repentinamente las reglas del juego; se acelera el
cambio cultural

Se fuerza a los actores a pensar en términos de evaluación
 Se fuerza a los actores a rendir cuentas
Debilidades
 No se capacita técnicamente a los actores





No se explicaa la importancia de la evaluación a los operadores de
los programas
Falta capacitación técnica en evaluadores, evaluados y tomadores
de decisiones
No se cuenta con un sistema integral de indicadores
El sistema no tiene como uno de sus objetivos tomar decisiones
presupuestarias
La Secretaría de Hacienda es, realmente, ajena el proceso
Resultados
Componentes del Sistema de M&E
Meta
(impacto)
Evaluación de Impacto
Logros
Productos
Implementación
Medición Oficial de la Pobreza
Actividades
Insumos
Creación del
Sistema de
Monitoreo
Basado en
Resultados
Evaluación
Externa al
Congreso
Evaluaciones externas al Congreso





La lleva a cabo un evaluador externo
Se reporta al Congreso (Hacienda y Contraloría) de forma
anual (Septiembre)
Requisitos mínimos Hacienda: cobertura, focalización,
cumplimiento reglas, impacto, costo beneficio,
percepción de beneficiarios
La Dirección General de Evaluación hace términos de
referencia, junto con el programa social.
El evaluador externo tiene presentaciones periódicas en
todo el año y retroalimentación por parte de Sedesol, sobre
todo de los operadores
¿Qué hacer con las evaluaciones finales?


El evaluador resume puntualmente la evaluación con
fortalezas, retos y recomendaciones
Sistematización de acciones de los programas
atendiendo las recomendaciones de las evaluaciones






De manera oficial se envía a los programas los retos y
recomendaciones
Los programas responden de manera oficial sobre las
acciones que emprenderán para corregir las debilidades.
Las evaluaciones se tomen en cuenta
El evaluador mejora su trabajo
Los programas tienen cambios importantes
La evaluación es una herramienta de decisión para el
proceso de integración presupuestal de la Sedesol
Fortalezas y Debilidades de la Evaluación Externa

Fortalezas
 Se fuerza a los actores a pensar en términos de evaluación y
rendir cuentas
 Se hacen hallazgos que sirven para mejorar el progama

Debilidades
 Falta de capital humano por parte de los evaluadores
 Proceso de licitación complicado que no favorece la calidad
 Reportes anuales ambiciosos para todos los programa
 El programa no tiene los insumos básicos para que el
evaluador haga su tarea
 En algunos programas se percibe a la evaluación como
impuesta y poco útil
 No se relaciona directamente con decisiones presupuestales
Evaluaciones de Impacto



Se ha puesto mucho énfasis en tener buenas evaluaciones de impacto de
largo plazo
En algunas de ellas se evalúa impacto y se complementa con evaluaciones
cualitativas
El financiamiento y asistencia técnica es con apoyo de otras instituciones:
Banco Mundial, BID, Conacyt










Progresa-Oportunidades 1997-2000.
Oportunidades 2001-2004
Liconsa leche fortificada
Liconsa programa de Abasto Social de Leche
Programa Alimentario
Estrategia Microrregiones
Hábitat
Programa Tu Casa
Programa Piso Firme Coahuila
Jóvenes con Oportunidades
Evaluación de Impacto: ¿por qué esos
programas? ¿Para qué?





En general son los programas más importantes de la
Secretaría
Se ha tomado la evaluación seriamente, aunque
también…
… se busca que algunos programas trasciendan al
próximo gobierno (experiencia de Progresa)
En el caso de la leche fortificada: Se mejoraron las
prácticas del hogar.
En el caso del Programa Alimentario: ¿cash o transfer?
Monitoreo basado en Resultados: Es
todavía un gran reto
Presupuesto
Insumos
I3
II
ICo
I1
I6 Costos
IPa
IPo
I9
I4
Impacto
Beneficiarios
In
IPr
I7
Calidad
I5
I8
I2
Abasto
I10
Producción
Equipamiento
físico
Percepción del
Beneficiario
Monitoreo basado en Resultados
Presupuesto
Insumos
II
ICo
Costos



IPr
Abasto
IPo
Producción
IA
Impacto
Beneficiarios
Calidad
IEf
Equipamiento
físico
IP
ICa
Percepción del
beneficiario
Tratar de convencer a operadores
que tener un buen sistema de
monitoreo basado en resultados, aún
sin la exigencia del Congreso, es útil
El sistema permitirá una mejor y
más eficiente evaluación externa
Tener eventualmente un sistema con
menos indicadores, pero más útiles
IB
Pasos que se están implementando

Readiness assessment por parte del Banco Mundial
(2004)

Seminario sobre Monitoreo basado en Resultados
(Banco Mundial, febrero 2005)

Pláticas con Hacienda, Función Pública, Presidencia para
explicar esquema (2005)

Contratación de un consultor y una empresa para que,
junto con 4 programas piloto, se pueda avanzar en
fortalecer los sistemas de monitoreo(IDF Banco Mundial,
verano 2005)

Promover diálogo entre programas (y expertos en
informática) para intercambiar experiencias de sistemas
Medición Oficial de la Pobreza

Desde 2001 se pidió a un grupo plural de expertos en
medición, que sugirieran una medición de pobreza, con
la cual el Gobierno pudiera evaluar sus esfuerzos en
esta materia

10 investigadores de diversas universidades
recomendaron una metodología

Reducción de la pobreza 2002-2004

Este componente no está ligado a los otros
componentes de sistema M&E
Proceso de Toma de Decisiones. Balance


?

o
¿Quién exige conocer el beneficio?
o
Identificar beneficios
o
Medir Impacto
?

o
Información requerida
?

o
Monitoreo de Procesos

?
o
¿Qué se hace con los resultados?
o
Información para decisiones presupuestales

Retos








Tener un sistema integral de M&E
Fortalecer el sistema de monitoreo; fortalecer la
evaluación interna
Tener un nexo más claro con las decisiones sobre
presupuesto
Mejorar el capital humano de investigadores locales…
…pero también de los usuarios potenciales de las
evaluaciones (Congreso, etc.)
Mejorar evaluaciones cualitativas
La transición hacia el nuevo Consejo Nacional de
Evaluación no será fácil ni automática
La evaluación a nivel estatal o municipal prácticamente
no existe
Descargar

Evaluación de Impacto