El Componente de
Evaluación de
las Propuestas
¿
DEFINICIÓN DE EVALUAR
Evaluar es la acción de valorar , de dar valor a algo, juzgar, enjuiciar,
apreciar, y avaluar
La evaluación es un proceso sistematico de juzgar la calidad o mérito
de algo a partir de cierta información (cuantitativa y cualitativa) que
se compara contra ciertos criterios. Ocurre a lo largo del tiempo, en un
contexto particular, y siguiendo una secuencia establecida (Verdejo y
Medina , 2007)
¿Por qué se incluye un componente de evaluación en las propuestas?
a) Para determinar el logro de los objetivos (Accountability)
b) Para conocer la efectividad de la estrategia implantada
c) Para tomar decisiones
d) Para aprender y mejorar
Por que:
Justificación
Resultados:
Evaluación
Con que:
Recursos
Que:
Objetivos
Como:
Plan de Trabajo
ESTRECHA INTERRELACIÓN CON LOS
OBJETIVOS
Importancia de construir
objetivos medibles,
realistas, claros
La evaluación ayuda en
el proceso de
planificar cómo se van
a lograr los objetivos ,
y a mejorar la
implantación misma
del proyecto
EL DESARROLLO DEL CAMPO DE LA EVALUACIÓN
La evaluación es una de tres formas de
inquirir disciplinado, junto con la
investigación y el análisis de política
(Lincoln y Guba , 2001)
Curso EDUC 8030
Patton (2003), Scriven (2011), Stufflebeam
(2007), Yuen (2009)
Diferencia evaluación de programas versus
proyectos
LA EVALUACIÓN ES REQUISITO DE TODAS LAS
PROPUESTAS
Es necesario estudiar los parámetros que establece cada fuente de fondos.
Ejemplo- del Programa GEAR-UP
6. QUALITY OF THE PROJECT EVALUATION (20 POINTS):
In determining the quality of the project evaluation, the Secretary considers
the following factors:
•The extent to which the methods of evaluation are thorough, feasible, and
appropriate to the goals, objectives, and outcomes of the proposed
project.
•The extent to which the methods of evaluation include the use of objective
performance measures that are clearly related to the intended outcomes
of the project and will produce quantitative and qualitative data to the
extent possible; and
EJEMPLO (CONT.)
•The
extent to which the methods of evaluation will
provide performance feedback and permit periodic
assessment of progress toward achieving intended
outcomes.
•The extent to which the evaluation will provide
guidance about effective strategies suitable for
replication or testing in other settings.
INCLUIR EN EL PLAN DE EVALUACIÓN DATOS QUE
REQUIERE LA FUENTE DE FONDOS
Muchas veces se requiere que los proyectos formen parte
de las evaluaciones de los programas a nivel nacional
Government Performance and Results Act (GPRA) requires
federal agencies to report annually on the
accomplishments of their funded efforts. This
requirement includes establishing broad goals or
strategic outcomes, performance outcomes, and
performance indicators against which progress will be
assessed.
Ejemplo- Base de datos longitudinal GEAR UP
DEFINICIÓN BÁSICA DE EVALUACIÓN DE
PROYECTOS
Busca medir cambios en actitudes,
conocimientos, destrezas, conductas ,
condiciones en los participantes.
Impacto en las necesidades identificadas
No es auditoria, es para mejorar
No es recopilación de datos de
indicadores
ELEMENTOS DEL PLAN DE EVALUACIÓN
Foco en los objetivos medibles
Preguntas de evaluación
Establecer indicadores de logros por
cada objetivo
Tipo de evaluación
Actividades e instrumentos que utilizará para evidenciar el logro
de cada objetivo que permitan recopilar datos
Quiénes van a ser responsables de qué y cuando
Preparación y divulgación de los informes
OUTCOMES BASED EVALUATION
Outcome-based evaluation (OBE) se refiere a la
medición de los resultados para evidenciar el grado
en que el proyecto logró los objetivos. Identifica
datos cuantificables que demuestran de forma
creíble el cambio logrado o las condiciones
deseadas.
Los outcomes pueden ser a corto plazo, intermedios,
largo plazo y relacionados a la sustentabilidad
Se deben establecer milestones /benchmarks
MODELO LÓGICO
Es una herramienta conceptual desarrollado para ayudar
en la planificacion y evaluacion de los proyectos,
originalmente desarrollado por Weiss (1970)
Consiste en diagramar las relaciones causales entre los
elementos de un proyecto y los resultados
Controversia con causalidad
MODELO LÓGICO
Outcomes Logic Model
Mission + Influencers  PROGRAM PURPOSE
Inputs
Indicators
Indicators
Observable
and
Observable
measurable
and
behaviors or
measurable
conditionsor
behaviors
conditions
Activities
Services
Data Sources
Outputs
Applied to
(Who)
Data Sources
Applied to
Sources of
The (Who)
information
population to
Sources
of
The
about
be measured
information
population
to
conditions
about
be measured
being
conditions
measured
being
measured
Outcomes
Data Interval
Targets
(When)
(Goals)
Data Interval
Targets
(When)
When
data is The(Goals)
amount
collected
of impact
When
data is The
amount
desired
collected
of
impact
desired
PREGUNTAS PARA EVALUACIÓN SUMATIVA
El foco son los logros al final del proyecto, o periodo determinado
¿ Se han alcanzado los objetivos y resultados esperados?
¿ Cuáles son los hallazgos clave?
¿ Qué impacto ha tenido el proyecto? Esperados e inesperados
¿ Qué beneficios hay para los partidos interesados?
¿ Fue efectiva la estrategia de implantación?
¿ Qué hemos aprendido?
¿ Qué haríamos diferente?
CIPP Stufflebeam context, input, process, and product evaluation.
EVALUACIÓN FORMATIVA
Es un proceso continuo de recopilación de datos durante el proyecto
para determinar cuán adecuada es la implantación y si se está
progresando hacia el logro de los objetivos.
Busca generar retrocomunicación para que el personal del proyecto
pueda mejorar la implantación.
¿ Se han logrado los milestones a tiempo?
¿ Qué dificultades se han identificado ?
¿ Qué se debe hacer para corregir ?
¿Es efectiva la gerencia del proyecto?
¿Están involucrados los participantes y partidos interesados?
¿ Qué lecciones estamos aprendiendo?
¿ Es necesario revisar el plan?
EVALUACIÓN DE PROCESOS
METODOLOGÍA: CUALITATIVA, CUANTITATIVA O MIXTA
El diseño de la evaluación debe estar basada en un enfoque adecuado
para contestar las preguntas de evaluación
Diseños en la evaluación cuantitativa
Experimental con grupos aleatorios o pareados
Medidas de pre prueba o línea base y post prueba
Encuestas
Diseños en la evaluación cualitativa
Estudios de caso únicos y múltiples
Grupos focales
Entrevistas profundas
Observaciones
Análisis de documentos
FORMAS DE RECOPILAR DATOS
•
•
•
•
•
•
Medidas directas
Encuestas
Entrevistas individuales y grupales
Observaciones
Calidad de Productos
Paneles de Expertos Externos
QUIÉN HACE LA EVALUACIÓN
Es el director del proyecto quien es responsable por que se haga
una buena evaluación, pero se debe designar a un personal
especializado para encargarse de llevar a cabo todo el proceso
Debe ser una persona que llene las cualificaciones y se involucre
desde el inicio en el desarrollo de la propuesta
Puede ser interno o externo, o idealmente ambos que se
complementan
Debe ser participativo, involucrar a los participantes, distintos
sectores
MODELOS PARTICIPATIVOS
Culturally responsive evaluation
Empowerment Evaluation (Yuen 2009)
Deliberative democratic perspective Ernest R.
House and Kenneth R. Howe October 2000
COSTO DE LA EVALUACIÓN
Desde 5% a 10% para evaluación sencilla- documentar
satisfacción de participantes, percepciones,
recomendaciones, autoinforme de resultados
Más de 10% moderado,- documentar impacto de forma
directa
Avanzado- línea de base, diseño científico, seguimiento a
participantes, triangulación
PROMOVER EL USO DE LOS RESULTADOS
El plan de evaluación debe contener una descripción
clara de los informes que se van a generar, con un
calendario.
Se incluyen los resultados de la evaluación en los
informes a la fuente de fondos
Se presentan los informes internamente al personal del
proyecto y a los participantes
Diseminación en diversos foros para ampliar el impacto
PREPARACIÓN DE LOS INFORMES Y COMUNICACIÓN
DE RESULTADOS
Resumen ejecutivo
Presentación de métodos
Resultados e interpretación
Hallazgos mas importantes
Implicaciones
Recomendaciones para mejorar la evaluación
EJEMPLOS
Matemáticas
para Todos
MATH FOR ALL
Pre y post pruebas para los participantes en cada sesion de
desarrollo profesional
Evaluación de la transferencia de lo aprendido mediante analisis de
las lecciones desarrolladas con unas rubricas
Impacto en el aprendizaje de los estudiantes
Entrevistas con personal de las escuelas participantes
REFERENCIAS
Arce, J. , Bravo, M., Del llano, A. Wayland, K. (2010). Sharing our journey to improve
science and mathematics education.
http://alacima.uprrp.edu/sharing_our_journey/index.php/book/chapter/9
Grun, R. (2006 ) Monitoring and Evaluating Projects: A step-by-step Primer on
Monitoring, Benchmarking, and Impact Evaluation. The International Bank for
Reconstruction and Development: Washington DC
Guba , R. & Lincoln, Y. (2001) .Guidelines and Checklists for constructivist (A.K.A. 4th
generation) Evaluation ht.tp://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf
Miro, A. (2009). Informe del Proyecto Math for All. Facultad de Educación,
Universidad de Puerto Rico, Rio Piedras
Patton , M.Q. (2002 ). Utilization-focused evaluation checklist
http://www.wmich.edu/evalctr/archive_checklists/ufe.pdf
REFERENCIAS (CONT.)
Patton, M. Q. (2003). QUALITATIVE EVALUATION CHECKLIST
National Science Foundation. (2002). User Friendly Handbook for Project
Evaluation. http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf
Scriven, M. (2011). Evaluating Evaluations: A meta-evaluation checklist.
http://michaelscriven.info/images/EVALUATING_EVALUATIONS_8.16.11.pdf
Stufflebeam, D. (2007). CIPP Evaluation Model Checklist (2nd. Edition)
http://www.wmich.edu/evalctr/archive_checklists/cippchecklist_mar07.pdf
US. Department of Energy. (2006). EERE Guide for Managing General Program
Evaluation Studies . Washington D. C.
http://www1.eere.energy.gov/ba/pba/pdfs/evl_mg_app.pdf
REFERENCIAS (CONT.)
Verdejo-Carrión, A. & Medina-Díaz, M.R. (2007). Evaluación
del aprendizaje estudiantil, (5ta ed.). ExPERT Consultants,
Inc. San Juan, Puerto Rico.
W. K. Kellogg Foundation (2004). Evaluation Handbook.
http://www.wkkf.org/knowledgecenter/resources/2010/W-K-Kellogg-FoundationEvaluation-Handbook.aspx
Yuen, F. K. O., Terao, K. L., & Schmidt, A. M. (2009). Effective
grant writing and program evaluation for human service
professionals (3rd ed.). Hoboken, NJ: John Wiley & Sons.
Descargar

Presentación de PowerPoint