DIPLOMADO EN PROCESOS DE PARTICIPACIÓN CIUDADANA PARA EL
“DESARROLLO COMUNITARIO”
Módulo: Indicadores y evaluación de impacto social
Expositor: José Salazar
(Depto. de economía, ITESM)
Monterrey, N.L., México, 12 de octubre de 2013.
1
Contenido de esta charla
• Objetivo y beneficio
• La importancia de definir, medir y evaluar
• ¿Por qué es difícil calcular el valor social?
• Elementos comunes en la intervención social
• Indicadores para monitorear el proceso y el resultado
• Los tipos más comunes de evaluación social
• Métodos de evaluación de impacto social
• Un método más adhoc a las ONG
• ¿Cómo calcular el valor creado en un programa?
2
Objetivo
Que el participante conozca algunas de las pautas más
comunes en el ejercicio de evaluación de impacto de
programas y proyectos sociales.
Beneficio
Contar con herramientas de planeación y evaluación de
programas sociales, que coadyuven al mejor
funcionamiento de éstos.
3
La importancia de definir, medir y evaluar
Lo que no se puede definir,
no se puede medir, lo que no se
puede medir, no se puede evaluar,
lo que no se puede evaluar,
tiende al caos.
Fuente:
http://www.bing.com/images/search?q=William+Tho
mson&qpvt=William+Thomson&FORM=IQFRML.
Consultada el 10 de sep. de 2013.
4
¿Por qué es difícil calcular el valor social?
Medir el valor social es difícil, por
que en muchos de los campos
importantes de la acción social,
la gente no está de acuerdo sobre
cuál debe ser el resultado de ésta.
(Mulgan, 2010, 40)
Goeff Mulgan: Director de política y
estrategia en la administración del
primer ministro del RU, Tony Blair.
Fuente:
https://www.facebook.com/pages/GeoffMulgan/132848196754575
Consultada el 4 de octubre de 2013.
5
Elementos comunes en la intervención social
Ver (Diagnóstico de la situación previa a la intervención)
Juzgar (Reflexión y priorización de los objetivos)
Actuar (Intervención)
Fuente: Método inicialmente propuesto en programas de la Pastoral Social de la
Iglesia Católica. Secretariado de Pastoral Social (1994), Pastoral Social: un aporte,
México, Tercera Ed., Secretariado de Pastoral Social, Monterrey, N.L.
6
Ver
Las palabras
más empleadas
en los procesos de
consulta del
PND 2013-2018.
(A mayor tamaño de
letra  la palabra
fue más empleada,
p. 176)
Fuente:
PND 2013-2018
7
Ver (aquellos indicadores que ilustren la situación de las variables de interés)
Censo 2001 de la Cuasi Parroquia del Santísimo Redentor (CPSR)
Resumen de información general sobre las colonias dentro de la zona de responsabilidad de la CPSR
Concepto
Total de viviendas
Viviendas censadas
Viviendas con religión católica
Viviendas con religión no católica o más de una religión
Total de habitantes en las viviendas
Promedio de habitantes por vivienda censada
Edad promedio en años cumplidos de la población censada
Personas sin seguro social o similares
Número de viviendas por rango de gasto mensual
$0 - $1,141
$1,142 - $2,280
$2,281 - $3,420
$3,421 - $5,700
$5,701 - $11,400
> $11,400
Viviendas donde ahorran
Viviendas donde ahorran más del 10% de sus ingresos
Viviendas donde el único ingreso es por pensión
Viviendas donde uno o más miembros buscan trabajo
Viviendas con necesidad de recursos para concluir estudios básicos
Viviendas donde viven personas de 3a edad solos
Vivendas donde viven personas que requieren comunión a domicilio
Viviendas donde vive persona don enfermedad crónica
Vivienda donde vive persona con discapacidad y en desamparo
Vivienda donde vive familia en pobreza extrema
Vivienda donde vive persona que requiere beca para carrera técnica
Personas mayores a 1 año no bautizadas
Personas mayores a 12 años sin primera comunión
Personas mayores a 12 años que no asisten a misa
Personas mayores a 12 años que asisten a misa entre 1 y 3 veces al mes
Plaza
Buenos Alfonso
Revoluci
Otras
Zona
Aires
Reyes
LTH
Ladrillera ón
Estadio cols.
completa
58
64
56
168
264
425
7
1042
46
52
43
140
89
267
7
644
40
42
38
98
42
198
7
465
3
5
1
5
0
16
0
30
184
237
140
469
109
741
30
1910
4.6
4.9
3.7
4.6
2.6
3.5
4.3
4
34.7
26
43.5
21.1
28.1
39.3
31
32
42
64
14
85
12
110
3
330
5
21
4
7
0
3
11
5
6
12
6
5
4
1
1
3
2
3
5
57
51
7
18
6
13
0
0
12
5
1
10
9
1
0
1
4
0
4
14
32
103
42
2
11
8
11
6
0
14
11
5
7
2
1
3
0
1
1
0
2
8
28
61
26
21
25
19
7
2
26
22
10
19
10
8
12
6
2
3
1
26
43
159
103
1
2
6
5
18
7
25
17
1
7
4
1
0
2
0
1
1
1
1
13
55
10
16
31
60
53
17
92
58
27
36
7
11
12
5
1
1
4
32
42
131
181
0
0
0
2
1
4
6
4
1
1
0
5
2
0
0
0
0
0
0
3
4
51
89
80
117
85
33
186
122
51
92
38
32
33
15
9
9
12
78
131
494
497
8
Indicadores para monitorear el proceso y el resultado.
ONG orientada a mejorar la calidad de vida de los hogares en pobreza alimentaria en la ciudad de Monterrey
Matríz de indicadores (También se recomienda consultar la llamada Matriz de Marco Lógico, en la página incluida al pie de este cuadro)
Problemática
(Observada en
el diagnóstico)
Objetivos
Líneas de acción
Indicadores
Fuente de los indicadores
Frecuencia de
medición
1.1.1.1 (Número de vacantes
1.1.1.1.1 Registro propio a través
ofrecidas)/ (Número de empleos de: Junta vecinal; Lider de barrio;
1.1 Erradicar la pobreza
1.1.1 Establecer una bolsa solicitados por personas que
Oficina de centro comunitario;
1. Pobreza alimentaria en la colonia X de trabajo para vecinos de ocupan hogares en pobreza
Oficina pública en acuerdo con la
alimentaria en un plazo de 1 año.
la colonia X.
alimentaria en la colonia X).
ONG; Oficina de la propia ONG.
Mensual
1.1.2.1 (Número de familias en
1.1.2 Informar a los vecinos pobreza alimentaria de la
en pobreza alimentaria de colonia X, inscritas en programas
la colonia X, sobre los
públicos de ayuda luego de la
1.1.2.1.1 Registro propio a través
programas sociales públicos atención de la ONG/Número de de: Junta vecinal; Lider de barrio;
existentes en su localidad y familias en pobreza alimentaria Oficina de centro comunitario;
orientarlos en su
de la colonia X antes de la
Oficina pública en acuerdo con la
inscripción.
intervención de la ONG)
ONG; Oficina de la propia ONG.
Mensual
También ver: Metodología del Marco Lógico. Boletín 15, ILPES-CEPAL. Oct. 2004. Disponible en: http://www.eclac.org/publicaciones/xml/4/20664/boletin15.pdf
Si bien esta tabla brinda elementos para la planeación y verificación de los procesos y
resultados, no representa una evaluación en si misma.
9
Los tipos más comunes de evaluación social
De diseño
De indicadores
De procesos
De impacto: Identifica con metodologías rigurosas el cambio en los
indicadores a nivel de resultados, atribuible a la ejecución
del programa (p. 13).
Fuente: Coneval
http: //www.coneval.gob. mx/rw/resource/coneval/info_public/Normatividad.pdf
10
Métodos de evaluación de impacto
Idealmente quisiéramos comparar el estado de las cosas que se hubiera
dado si el programa no hubiera existido, con aquel que tenemos cuando
el programa tomó lugar. Pero esto es imposible.
Ante este problema se utilizan diseños de investigación cuanti y cualitativos
que intentan resolver esta situación.
Entre los métodos estadísticos disponibles más empleados están: (El manejo
de ellos requiere usualmente cierto conocimiento de estadística y econometría)
1. Diferencias en diferencias;
2. Matching (Pareamiento); y
3. Regresión discontinua.
Se recomienda consultar el libro: Gertler, P., Martínez, S., Premand, P., Rawlings, L. y
Vermeersch, Ch. (2011), Impact Evaluation in Practice, Washington, DC., EE.UU.: The World Bank.
También disponible, como libro interactivo, en español, en:
https://openknowledge.worldbank.org/bitstream/handle/10986/2550/599980PUB0Span00public00BOX361512B0.pdf?sequence=7
11
Diferencias en diferencias
Compara, para un indicador objetivo, la diferencia entre su situación después de la
intervención del programa en el grupo receptor de la ayuda (grupo de tratamiento) en
comparación con su situación de inicio, y esta misma diferencia en el mismo indicador para
un grupo no receptor, igual o muy semejante en todo al de tratamiento (grupo de control).
Ejemplo: Asesoría en matemáticas a niños con promedios reprobados en matemáticas.
Grupo de tratamiento: Niños de 4° A de la escuela X con promedio reprobado en
matemáticas y que entran al programa de asesoría.
Grupo de control: Niños de 4° A de la escuela X con promedio reprobado en
matemáticas y que no entran al programa.
Indicadores: Calificación de cada niño, en ambos grupos antes del programa.
Calificación de cada niño, en ambos grupos, después del programa.
Comparaciones: Cambio en el promedio de calificación del grupo de niños en el
grupo de tratamiento menos el cambio en el grupo de control.
Prueba estadística: Prueba t de diferencias de medias.
Debilidad: No controla la posible influencia de otros factores, por ello depende
mucho de la semejanza del grupo de control.
12
Diferencias en diferencias, continuación…
Antes: 50
Asesorados
Diferencia, A.: +20
Después: 70
Antes: 50
Diferencia, N.A.: +5
No asesorados
Después: 55
Diferencia, A. – Diferencia, N.A. = +15
Impacto: El programa produjo un aumento de 15 puntos promedio
en la evaluación de matemáticas del grupo participante.
Nota: Se recomienda la realización de una prueba t de diferencias de medias
para demostrar que la diferencia es estadísticamente significativa.
13
Matching o pareamiento
Mediante técnicas estadísticas, se construye un grupo de control. La
comparación de cambios se realiza entre los diferentes sujetos
de evaluación (En tratamiento vs. Control). La técnica compara a cada
sujeto de un grupo con aquel que es más parecido en un vector de
características, que también pudieran incidir en el indicador objetivo,
del otro grupo.
Estadísticamente se realiza un ranking (Rendimiento académico general
del alumno) de todos los sujetos en la evaluación, de acuerdo a un vector
de características, en nuestro caso: Edad, género, ingreso del hogar,
escolaridad de los padres, tiempo diario de los padres con los hijos,
tiempo dedicado a estudiar matemáticas diariamente y otras que se
considerara influyeran sobre la calificación del niño en matemáticas.
14
Regresión discontinua
Calif. mate i= a + b(t. de estud. de mate i) + c(Tiempo padres i) + d(Asesoría i) +…+ e
Después
Calif. mate i
Calif. mate i
Antes
Rendimiento académico gral i
d
Rendimiento académico gral i
Impacto: El programa produjo un aumento de “d” puntos en la
evaluación de matemáticas del grupo participante.
Ventaja: Controla el efecto de factores concomitantes y así permite
una evaluación más precisa del efecto aislado del
programa de asesoría.
15
Un método de evaluación de impacto más adhoc a las ONG
Creado por Roger Ridell, del Overseas Development Institute para evaluar programas
sociales de ONGs en países en desarrollo.
El método contempla el uso de los enfoques cuanti y cualitativo y consiste en dar
respuesta a las siguientes preguntas, a contestar entre la ONG y los beneficiarios.
a) ¿En qué grado se logró alcanzar los resultados planteados en los objetivos?
b) ¿Qué factores se considera llevaron al logro de los objetivos y en qué orden de
importancia?
c) ¿Los beneficios fueron distribuidos equitativamente?
d) ¿La mejora en los indicadores de los beneficiarios, se debió al programa o a otros
factores?
e) ¿Los costos del programa fueron apropiados, según lo logrado?
f) ¿La experiencia del programa permite pensar que éste se puede también implantar
en comunidades similares?
g) Si la ONG aún sigue involucrada en el programa, ¿podría esto provocar algún
problema? Si la ONG ya no sigue involucrada, ¿podría darse algún problema? ¿qué
tan sostenibles son los efectos y/o el programa?
16
Aplicación del método de Riddell en Monterrey.
Resumen de resultados generales de la evaluación de proyectos
específicos
Templos, (marginalidad)
proyectos y objetivos.
Santo Niño, (media y alta)
Manualidades: Capacitar a la
mujer en orden a mejorar la
economía familiar.
Frutas y Verduras: Mejorar la
situación económica de los
más pobres.
Espacio de Salud: Ofrecer una
alternativa médica más barata
a los más pobres.
Nuestra Sra. De la Asunción
(media), Dispensario médico:
Ofrecer una opción de salud al
alcance de los pobres.
Cristo Evalngelizador
(alta y muy alta), Reparto de
despensas:Atender en algo las
necesidades más urgentes de
alimentos.
Nuestra Sra. De la Merced
(muy alta), Reparto de
despensas: Ayudar a personas
solas, ancianos, hogares sin
recursos y desempleados.
Comedor: Ayudar a personas
de pocos recursos.
San Bernabé Apóstol y M.
(media y alta), Reparto de
despensas.
San Antonio de Padua
(media), Comedor: Ayudar a
los más necesitados.
Apoyo
externo
Rango de
ingrs. de
hogares
en ayuda
SS. Mins.
Beneficio (%)
Ayuda/línea
Tasa
de pobreza
de
extrema de
Mín Máx Prom retorno una persona
Ayuda / gasto
total del hogar
Ayuda /
Canasta
Nrm Alim
del hogar*
Posibil.
de:
a)replica
b) autosost.
Damas
Vicentinas.
Mercado.
0.4 a 2.08
3.5
40
13.1
100
24.5
10.2
a) Alta;
b) baja.
0.4 a 2.51
1.5
33
7.8
300
17.8
7.2
a) Alta;
b) alta.
Médico
0.4 a 4.18
5.8
218
36.9
324
75.9
29.1
a) Baja;
b) baja.
Médico
0.4 a 3.22
0.8
25
4.9
81
12.8
5.3
a) Baja;
b) baja.
Otros
templos
0.2 a 1.32
4
20
15.9
44
9.1
3.7
a) Alta;
b) baja.
Cáritas
0 a 2.51
2.8
178
29.6
196
12.8
5.2
a) Alta;
b) baja.
Cáritas
0 a 2.04
13
88
54.2
823
47.3
19.8
0.21 a 0.84 7.8
31
10.3
300
11.7
4.4
21
7.61
26
5.8
2.4
Cáritas
No hay
0.1 a 1.63
1.3
a)
b)
a)
b)
Baja;
baja.
Alta;
baja.
a) Alta;
b) alta.
* Se hace la actualización del valor de la Canasta Normativa Alimentaria de Coplamar (1982) con datos de Guevara 1997 e inflación
Salazar, J. (1999). Evaluación de los programas de pastoral social de la Iglesia Católica de Monterrey, N.L.: Su
contribución al alivio de la pobreza. Tesis de maestría no publicada, UANL, Monterrey, Nuevo León, México.
Bibliotecas UANL, catálogo electrónico: http://cdigital.dgb.uanl.mx/te/1020129157/1020129157_02.pdf
17
¿Cómo calcular el valor creado en un programa social?
Es frecuente la intención de valorar en unidades monetarias los bienes
y/o servicios así como los impactos logrados, ello facilita las evaluaciones.
Algunos métodos de valoración: (Ver: Mulgan, G. (2010). Measuring Social Value, Stanford
Social Innovation Review, Summer, 38-43.)
Preferencias establecidas: ¿Cuánto estarías dispuesto a pagar para preservar una especie?
Preferencias reveladas: Examina las decisiones de la gente y deduce el valor que pagarían.
A diferencia de la anterior, la información ya existe (precios hedónicos).
Valor público: Juzga el valor que el público da a un servicio (subjetivo)
Valor agregado: ¿Cuánto agrega un programa al valor de algo…educación…salud…?
Ej. En Nuevo León, un año más de educación aumenta 9 veces lo que aumenta el salario
por un año más de experiencia laboral.
Costo de transporte: El valor del transporte implícito en recibir el servicio o el bien.
Costo evitado: ¿Cuánto vale en el mercado más cercano, el bien y/o servicio
brindado? (Una despensa, una consulta, una clase, …, esta clase por ejemplo…jejeje)
Un estudio reciente que valúa los efectos de un proyecto público pueden verlo en:
http://www.trayectorias.uanl.mx/35/index.htm
Salazar, J., Polendo, J., López de Arkos, C. e Ibarra, J. (2012). Efectos en tiempo de viaje y seguridad
vial generados por la ampliación y modernización de la carretera Saltillo-Zacatecas. Trayectorias, 14(35),
66-89.
18
¡G R A C I A S!
Afectuosamente
José Salazar
[email protected]
19
Descargar

Slide 1