Planificación Estratégica Gubernamental,
Sistemas de Seguimiento y Evaluación del
Desempeño. Apoyo a la Gestión Presupuestaria
en Guatemala. 16 y 17 de Noviembre. 2009
Evaluación de Programas
Públicos
[email protected]
Área de Políticas Presupuestarias y Gestión Pública
ILPES/CEPAL
1
DEFINICIONES
EVALUACION DE PROGRAMAS PUBLICOS
“Proceso
de medición sistemática y continua de los
resultados obtenidos de un programa, proyecto, política y
la comparación de esos resultados con estándares u
objetivos previamente definidos “ OCDE.
“Un estudio en profundidad, que se realiza en un tiempo
definido y en el cual se utilizan instrumentos de
investigación en forma sistemática y analítica, para
generar
un
juicio
sobre
el
valor
de
una
intervención.....…”Evaluación del Gasto de Programas en la
Unión Europea. Comisión Europea
“Conocimiento para la acción” Mejores Prácticas para la
Evaluación. Public Management Public
2
OBJETIVOS DE LA EVALUACION DE PROGRAMAS
PUBLICOS
APOYAR EL PROCESO DE TOMA DE
DECISIONES

INFORMACION SOBRE IMPACTO DE LAS
POLITICAS

AYUDA A VALORAR LA CONTRIBUCION PUBLICA
DE LAS ACCIONES GUBERNAMENTALES EN LA
EJECUCION DE POLITICAS Y PROGRAMAS
MEJORAR EL RESULTADO DE LAS INTERVENCIONES
PUBLICAS
3
ETAPAS DEL PROCESO DE EVALUACION
EX -ANTES
ETAPAS
Diseño de Programas y
Proyectos
OPERATIVA
Ejecución del Programa o
Proyecto, Productos,
Servicios
EX-POST
Medición del desempeño o
Impacto
4
EVALUACION Y GESTION POR
RESULTADOS
TIPO DE ACCION
GUBERNAMENTAL
QUE SE EVALUA
METODOLOGIAS/Fuentes de datos
Estrategias Nacionales
Cumplimiento de
compromisos, prioridades
nacionales
Estadísticas Nacionales
Encuestas
Política Públicas
Metas nacionales,
sectoriales
Comités Científicos de Evaluación,
Paneles de Expertos
EVALUACION DE PROGRAMAS
(Escritorio, Impacto)
Operativa-Instituciones
Cumplimiento de metas de
gestión y resultados finales
Indicadores de Eficiencia,
Eficacia, Calidad, Economía
Sistema de Indicadores de Desempeño
Programas Públicos
Resultados, gestión, impacto
EVALUACION DE PROGRAMAS
(Escritorio, Impacto)
Marco Lógico
Inversiones
Rentabilidad Social
Costo-Beneficio
Evaluación costo-beneficio ex-ante
Cuadro de Mando Integral
EVALUACION DE PROGRAMAS
(Escritorio, Impacto)
Marco Lógico
5
TIPOS DE EVALUACIONES DE
PROGRAMAS
Evaluación de escritorio: describir la situación del programa en
un tiempo corto, a través de la sistematización de la información
disponible (Marco Lógico)
Evaluación de impacto: logros finales de los efectos esperados
por el Programa en el grupo de beneficiarios al cual está
dirigido. Si se ha resuelto el problema que justifica la acción
pública
Evaluación costo – efectividad: conocer la relación entre la
eficacia del programa como resultado final en los beneficiarios y
los costos que se incurre para alcanzar dicho resultado.
6
Uso de la evaluación de
programas
Seguimiento de la situación de los
Programas para fines de rediseño
Decisiones de asignación de recursos
Rendición de cuentas
7
Planificación y Proceso Presupuestario: Mecanismos de
articulación y uso de Evaluación de Programas
Plan Nacional de Desarrollo:
TIPOS DE INDICADORES

Indicadores Macro nivel
país





Tasa de disminución de pobreza,
marginalidad
Tasa de creación de empleo
Tasa de dismunución de los
delitos
Indice de Calidad Educativa
Indicadores de Morbilidad
Ámbitos de
Seguimiento y
Evaluación
Estadísticas Nacionales
PRIORIDADES
NACIONALES
TIPOS DE INDICADORES
Indicadores de Impacto y
de resultados intermedios
de los Programas
Sectoriales



TIPOS DE INDICADORES

PRIORIDADES
SECTORIALES
Tasas de Desnutrición
Deserción escolar
Disminución de déficit viviendas,
etc.
Planes Institucionales
FINES Y OBJETIVOS
ESTRATEGICOS
Plan Estratégico Institucional

Indicadores de Resultados
Intermedios, Productos y
Procesos
(Eficacia, Eficiencia, calidad),
Evaluaciones de
Impacto
Evaluaciones
Cualitativas
Evaluaciones de
Programas (Marco
Lógico)
Sistema de Seguimiento y
Evaluación de Desempeño
eficiencia, calidad)
TIPOS DE INDICADORES
Encuestas, Paneles, etc.
Evaluaciones de
Impacto
Indicadores de Impacto,
Resultados Intermedios,
Productos y Procesos (Eficacia,
Programas Presupuestarios
Evaluaciones de Impacto
Estadísticas Nacionales
Planes Sectoriales

Fuentes de Datos y
Metodologías
OBJETIVOS
ESTRATEGICOS, METAS DE
PRODUCTOS Y PROCESOS
Plan Estratégico y Plan Operativo
Evaluaciones de
Programas (Marco
Lógico)
Sistema de Seguimiento y
Evaluación de Desempeño
8
EVALUACION DE PROGRAMAS EN AMERICA LATINA
País
Tipo de
Evaluación
Mandante
Cobertura
institucional
Sistematicidad
Uso de la
Información Continuidad
Brasil
Seguimiento
Programas
Ministerio de
Planeamiento
y Presupuesto
Programas
Federales
Presupuesto
Rendición de
Cuentas
Anual
No hay
evaluación de
impacto
institucionalizada
Administración Presupuesto
Pública Central Rendición de
Anual
Continua desde
1997
PPA
Chile
Escritorio
Impacto
Ministerio de
Hacienda
Colombia
Escritorio
Impacto
(Evaluaciones
estratégicas)
DNP
Administración
Pública
Nacional
Esporádica
Presupuesto
Rendición de
Cuentas
Presidenciales
México
Escritorio
Impacto
CONEVAL
Secretaría de
Hacienda
Administración
Pública
Federal
Presupuesto
(solo la de
escritorio),
marco lógico
Anual
Perú
Escritorio
MEF
Administración
Pública Nacional
Presupuesto
Plan piloto
Cuentas
9
TIPOS DE EVALUACIONES:Chile
Evaluaciones de Programas Gubernamentales (EPG)




Evaluación de consistencia en diseño, gestión y resultados
Basado en la metodología de marco lógico
Realizadas por paneles de 3 expertos independientes, seleccionados por
concurso público
Informe Final en 6 meses
Evaluación de Impacto (EI)




Evaluación de los resultados finales de programas en base a mediciones
de impacto
Metodología considera recolección de datos, técnicas de medición más
sofisticadas (“Matching”, LATE), grupos de control
Realizadas por consultoras privadas, universidades, seleccionadas a través
de licitación pública
Informe Final en 1-1/2 años
Evaluación Comprehensiva del Gasto (ECG)


Evaluación del diseño y gestión institucional y resultados y uso de
recursos en la provisión de los productos estratégicos.
Se evalúa la posible existencia de duplicidades, inconsistencias,
oportunidades para generar sinergías y ahorros
10
Ambitos de la evaluación de
Programas (escritorio)
Justificación del Programa
Diseño.
Organización y Gestión..
Resultados: Eficacia, Eficiencia, Economia,
Calidad
Sostenibilidad/Continuidad.
Conclusiones y Recomendaciones.
11
Metodología: Marco Lógico
12
EVALUACION DE IMPACTO
PREGUNTAS QUE SE HACE LA
EVALUACION DE IMPACTO
Efectos de mediano y largo plazo sobre la población beneficiaria
que espera obtener el Programa
¿Cuáles serán los beneficios con que quedará la población
beneficiaria una vez que concluya su participación en el
programa?



Incremento en el nivel de remuneraciones
Reducción de la tasa de morbilidad de menores
beneficiados con un programa de vacunación
Aumento del rendimiento escolar de los alumnos
participante en un programa de reforzamiento educativo
14
OBJETIVOS
Conocer si el programa produjo los efectos
deseados en los beneficiarios.
Conocer si los cambios observados en los
beneficiarios, pueden asociarse a los efectos
del programa (causalidad).
¿Cómo debiera mejorarse el programa para
maximizar sus beneficios en las variables de
impacto?
15
METODOLOGIAS
Diseño experimental tradicional y
aleatorio
Método de doble diferencias
Métodos de comparaciones
Pareadas (matching)
Selección de modelos ( variables
instrumentales)
Evaluaciones cualitativas
16
Metodologías cualitativas
Evaluación participativa: incorpora a ls
beneficiarios en el diseño, la ejecución
y la evaluación de un programa.
Focus group
Entrevistas a informantes claves
17
Principales debilidades de la Evaluación
de Programas como instrumento de
apoyo a la Planificación y Presupuesto
Las evaluaciones realizadas tienen dificultades de ser parte de los
insumos de procesos regulares de planificación y presupuesto
Escasa institucionalización de las evaluaciones de impacto
Se aplican evaluaciones de impacto en la mayoría de los programas sociales
con financiamiento externo
Con excepciones hay escasa evidencia de que los informes de
evaluación de programas (sus resultados) sean utilizados en la toma
de decisiones de políticas o programas públicos

Las evaluaciones de programas operan principalmente como insumo a
nivel micro, no contribuyen a la evaluación de políticas
18
Principales debilidades de la Evaluación
de Programas como instrumento de
apoyo a la Planificación y Presupuesto
Escasos mecanismos de validación y /o
certificación de las metodologías utilizadas en
las evaluaciones
Los indicadores de los Programas son poco
confiables:



Escasamente focalizados y estratégicos
Varían intertemporalmente y se dificulta su
seguimiento e insumo para la evaluación
No auditables
19
Desafíos para la evaluación de programas y su
utilización en la Planificación y el proceso
presupuestario
Involucramiento político con la evaluación (Gobierno,
partidos políticos, legislativo, ciudadanía)
Retroalimentación para la toma de decisiones de
política pública (arreglos institucionales y técnicos)
Fortalecimiento de las capacidades técnicas de los
mandantes
Desarrollo de metodologías adecuadas (que permitan
el uso de la información en el ciclo presupuestario y
de rendición de cuentas)
Resolver tema costo, tiempo v/s utilización de la
información y sentido de la evaluación
20
Descargar

Sin título de diapositiva