Evaluacion externa
La experiencia de una agencia
de acreditación
María José Lemaitre
Agosto 2007
Decisiones iniciales
¿Para




qué?
Retroalimentación: importante conocer el impacto del trabajo
hecho, la opinión de las IES, identificar cambios necesarios
Cuenta pública: necesidad de dar un informe confiable acerca
de la labor realizada
Mejoramiento: Necesidad de un proceso formal para
identificar fortalezas y debilidades, y oportunidades de mejora
AQU Cataluña: demostrar que cumple con criterios ENQA,
requisito para membresía
Agosto, 2007
María José Lemaitre
2
Criterios de evaluación
CNAP:
 Orientaciones para las
buenas prácticas de
INQAAHE
 Propósitos y objetivos de
la agencia



AQU CATALUNYA:


Criterios ENQA
Propósitos y objetivos de
la agencia
Acreditación de carreras
Acreditación institucional
Apoyo y promoción de una
cultura de calidad en IES
Agosto, 2007
María José Lemaitre
3
Elementos centrales
INQAAHE:

Claridad en la definición de propósitos

Coherencia entre propósitos y acciones

Grado de cumplimiento de los propósitos
(medido desde la perspectiva de los
principales actores: gobierno, IES;
Comisión)

Recursos

Transparencia (en los criterios, los
procedimientos, las decisiones)
Agosto, 2007
María José Lemaitre
4
Elementos centrales
INQAAHE:

Calidad y difusión de materiales de apoyo

Mecanismos para seleccionar, entrenar,
apoyar y evaluar a evaluadores externos

Claridad y consistencia en las decisiones de
evaluación

Mecanismos internos de autorregulación
Agosto, 2007
María José Lemaitre
5
Elementos centrales
ENQA:




Uso de los procedimientos para la evaluación externa:
claridad en los propósitos, coherencia entre propósitos y
procedimientos, Claridad y consistencia en las decisiones,
difusión de resultados, mecanismos de seguimiento,
periodicidad de los procesos de AC, análisis integrado
Status oficial de la agencia
Desempeño de actividades de AC de manera regular
Recursos adecuados y bien distribuidos para desempeñar
sus funciones de manera eficaz y eficiente
Agosto, 2007
María José Lemaitre
6
Elementos centrales
ENQA:





Propósitos claros, bien definidos y adecuadamente difundidos
Resultados en función de los propósitos
Independencia: autonomía en la operación de la agencia y
evidencias de que las decisiones y recomendaciones no están
influenciadas por otros actores
Claridad y consistencia en los criterios y procesos de
evaluación externa (a IES), incluyendo autoevaluación,
informe de pares y seguimiento
Mecanismos internos para rendir cuenta pública de la acción
de la agencia
Agosto, 2007
María José Lemaitre
7
Pares evaluadores
CNAP:
 un miembro del board de
INQAAHE
 Dos integrantes (de
cuatro) que hablaran
castellano
 Un miembro local
 Un integrante de USA o
R.U.
 Designados por INQAAHE
y aprobados por la
agencia
Agosto, 2007
AQU:
 Cinco miembros
 Todos entendían
castellano, sólo uno con
castellano como lengua
materna
 Ningún evaluador local
 Un estudiante
 Todos designados por
ENQA y aprobados por la
agencia
María José Lemaitre
8
Proceso de autoevaluación
(CNAP)
Participaron:
 Los miembros de la comisión
 La secretaría técnica
 Representantes de las IES y sus carreras
 Evaluadores de carreras e instituciones,
nacionales e internacionales
Agosto, 2007
María José Lemaitre
9
Proceso de autoevaluación
Evidencias utilizadas:
 Cuestionarios respondidos por representantes
de las IES y evaluadores
 Datos sobre el desempeño (tiempo requerido
para completar distintas tareas, número de
decisiones de acreditación, respuesta de las IES)
 Revisión de documentos, manuales, guías,
formularios, talleres, acuerdos, actas
Agosto, 2007
María José Lemaitre
10
Uso de la evidencia (ambos
procesos)




Descripción clara de la agencia y del
trabajo que realiza
Base para el análisis en función de los
criterios
Fundamento para los juicios de valor,
identificación de fortalezas y debilidades
Fundamento del plan de mejora
Agosto, 2007
María José Lemaitre
11
Utilidad del proceso
Auto evaluación:



La auto evaluación es un proceso duro (tal como reportan
las IES):
 Difícil conseguir una adecuada participación de actores
externos
 Difícil reconocer fortalezas
 Difícil identificar debilidades sin justificarlas
Es también un proceso tan útil como reconocen las IES
Esencial la información de respaldo
Agosto, 2007
María José Lemaitre
12
Evaluación externa:
 Disponibilidad de materiales de respaldo:
necesidad de ordenar y priorizar
 Organización de reuniones y entrevistas:



Identificación de personas e instituciones
Programa (definido por el equipo evaluador)
Organización logística (contratos, hotel,
transporte, traducción, interpretación)
Agosto, 2007
María José Lemaitre
13
Evaluación externa:
 El equipo estudió detenidamente los materiales
 Sostuvo reuniones largas con todos los grupos
relevantes (Comisión, secretaria, evaluadores de
carreras, evaluadores institucionales, equipos específicos
dentro de la secretaría, otros grupos)
 Visitó instituciones de acuerdo con el programa
solicitado y/o entrevistó autoridades, profesores,
estudiantes)
 Agregó entrevistas al programa inicial y solicitó
reuniones de clarificación
Agosto, 2007
María José Lemaitre
14
El informe de evaluación externa:
 Preparación:




¿Destinatarios? Exigencia de que se hiciera público
Equilibrio entre contexto, análisis, evidencia y
resultados en terreno
Recomendaciones: Identificación de áreas débiles,
sugerencias
Borrador enviado a la agencia para asegurarse de que
no hubiera errores
Agosto, 2007
María José Lemaitre
15

Utilización:






Una amplia gama de información importante y
significativa
Una mirada diferente a tareas familiares
Clara consideración de las conclusiones de la auto
evaluación
Sugerencias y recomendaciones útiles
Sugerencias importantes para el trabajo de la agencia
Acuerdo parcial con las recomendaciones
Agosto, 2007
María José Lemaitre
16
Pasos posteriores

Trabajo de análisis de las
recomendaciones





Para ver cuáles debían implementarse de inmediato
Para decidir acerca de la conveniencia de
implementar otras
Para contemplar los aspectos relevantes en el plan
de trabajo
Inicio de un proceso de ajustes
Observaciones al proceso y los criterios
Agosto, 2007
María José Lemaitre
17
Conclusión

Proceso extremadamente útil, desde distintos
puntos de vista:





Mejor relación con las IES
Mejor comprensión de los procesos que se aplican
Oportunidad para revisar y analizar los propios
procesos
Oportunidad para saber cómo se ve la agencia desde
fuera
Retroalimentación experta
Agosto, 2007
María José Lemaitre
18
Descargar

Lemaitre-panel-sobre-evaluacion-externa