Excelencia: criterios de
evaluación
Experiencia y visión de un Evaluador
Dra. Evangelina Atanes Sánchez
Universidad Politécnica de Madrid
EUIT Industrial - Departamento de Química Industrial y Polímeros
1
Índice



Fases de un proceso de evaluación
Criterios de evaluación
Evaluación criterio a criterio:
• notas de interés
Evangelina Atanes Sánchez. Febrero 2009
2
Evaluación 1ª Etapa
(Remota)
Rechazadas
(No Go)
Proceso de
Evaluación
Mayo
Propuestas. ETAPA 1
Mayo-Junio
Aceptadas
(Go)
Carta informativa al
proponente
• Puntuación (apartado/total)
• Invitación a 2ª fase o rechazo
Propuestas. ETAPA 2
Evaluación 2ª Etapa
(Bruselas)
Sep-Oct
Carta informativa al
proponente
“Ranking” de propuestas
Decisión:
• Rechazo
• Puntuación (apartado/total)
• Negociación o Lista de reserva
Decisión:
Negociación
•Firma contrato
• Financiación
CARTA
COMUNICACIÓN
FORMAL DE LA
COMISIÓN
Evangelina Atanes Sánchez. Febrero 2009
3
LECTURA INDIVIDUAL
REUNIÓN DE CONSENSO
PANEL
3 Evaluadores/propuesta
2 Criterios
P.O. + 3 Evaluadores
2 Criterios
P.O. + Evaluadores
2 Criterios
Selección final
“Ranking” de
propuestas
Informe
Experto 1
“Consensus Meeting”
(si es necesario)
Informe
Experto 2
Informe
Experto 3
IER: Individual Evaluation Report
CR: Consensus Report
ESR: Evaluation Summary Report
1 Informe de
consenso (CR)
• Notas
• Comentarios
• Puntuación final
1 Informe
final de
evaluación
(ESR)
Evangelina Atanes Sánchez. Febrero 2009
FIN DEL PROCESO
ENVÍO DE PROPUESTAS
Evaluación de cada propuesta
4
Normas

http://cordis.europa.eu/fp7/
Work Programme, Guide for applicantes, …: para el proponente,
para el evaluador
 Objetivos:
• Theme NMP
•Activity 4.4: Integration of
technologies for industrial
applications- Joint call on
Biorefineries
•Topic NMP-2009-4.0.1-1:
Sustainable Biorefineries
Content/Scope
ftp://ftp.cordis.europa.eu/pub/fp7/doc
s/wp/cooperation/nmp/d_wp_200901_
en.pdf
Funding Scheme
Expected impact
Criterios Evaluación
Otra información
Evangelina Atanes Sánchez. Febrero 2009
5
Criterios de evaluación (WP)
1: Excelencia científica y tecnológica de acuerdo a la
convocatoria (Tema & topic)
• Concepto general y de los objetivos
Qué se hace,
cómo
• Progreso respecto al estado del arte
• Metodología científica y técnica, plan de trabajo
2: Implementación y gestión del proyecto
• Gestión, procedimientos
Con qué
recursos
• Participantes individuales
• Consorcio en conjunto (complementariedad)
• Distribución y justificación de los recursos
3: Impacto potencial del proyecto
• Contribución a los impactos esperados en el programa de trabajo
• Diseminación, explotación de los resultados, IPR
Repercursión
Fase 1: sólo criterios en negrita
Fase 2: todos
Evangelina Atanes Sánchez. Febrero 2009
6
Evaluación: resultado primera fase: ESR*
Notas consenso
Criterio 1: Excelencia científica y tecnológica
• Calidad/robustez del concepto general y objetivos
• Progreso respecto al estado del arte
Criterio 3: impacto potencial del proyecto
• Contribución (a nivel europeo e internacional) a los
Nota:0-5
Umbral 4
Nota:0-5
impactos esperados en el programa de trabajo
Umbral: 3
Comentario general del proyecto:
Nota total:
0-10
Umbral: 8
• Puntos débiles, puntos fuertes,...de acuerdo a las
puntuaciones (feedback a los proponentes)
Propuesta aceptada (GO)/
Rechazada (NO GO)
*ESR: Evaluation Summary Report
Evangelina Atanes Sánchez. Febrero 2009
7
Evaluación: resultado segunda fase: ESR
Notas consenso
1: Excelencia científica y tecnológica
Nota:0-5
Umbral: 4
• Concepto general y objetivos
• Progreso respecto al estado del arte
• Metodología y plan de trabajo
2: Implementación y gestión del proyecto
• Gestión y de los procedimientos
• Participantes individuales
• Consorcio en conjunto (complementariedad)
Nota:0-5
Umbral: 3
• Distribución y justificación de los recursos
3: Impacto potencial del proyecto
Nota:0-5
Umbral: 3
• Contribución a los impactos esperados
• Diseminación y/o explotación de los resultados; IPR
Comentarios generales
Propuesta financiada/lista reserva/
Rechazada
Nota final:0-15
Umbral: 12
Evangelina Atanes Sánchez. Febrero 2009
8
Evaluación: notas generales de interés
Propuesta enfocada a la etapa de evaluación (Work Programme):
Selección del topic (propuesta encajada, evaluadores adecuados)
Objetivos e impactos de cada topic: ¡son los criterios de evaluación!
Número de páginas
Objetivo: facilitar comprensión y evaluación al evaluador
 Propuesta en conjunto: sólida, coherente, que convenza
 Uso de “Guide for applicants”, criterios y subcriterios de evaluación
 Comprobar si se responde a las cuestiones de cada criterio…
 Inglés: que se entienda, claro y conciso, “internacional”
 Evaluadores: gran importancia a la parte científica y técnica
 Facilitar comprensión rápida:
no sobrecargar de texto
Esquemas, diagramas de flujo, gráficos, …
Resaltar puntos importante (negrita, subrayado,…)
Evangelina Atanes Sánchez. Febrero 2009
9
Evaluación criterio a criterio:
notas de interés
Recibe más
interés del
evaluador
1. Scientific and Technical Quality
1.1 Concept &
objectives
1.2. Progress
beyond state of
art
1.3. S&T
Methodology
and Work Plan
Primera toma contacto con el proyecto
-Definir claramente lo que se pretende
-Objetivos: claros, medibles, cuantificables
-
Documentar grado de desarrollo actual de la tecnología
•Citas bibliográficas (científicas), otros proyectos, búsqueda
patentes (herramientas gratuitas),…
•Logros perfectamente definidos
•
Clarificación y ampliación de lo anterior
•“Guide for applicants”: tablas, Gantt, Pert, …
•Plan trabajo (Work Package, Task): secuencia temporal,
interrelación, partner encargados,…
•
•Explicar claramente que se va a hacer y cómo (métodos y
técnicas), sin vaguedades, consistente
Deliverables: cuantificar en lo posible
•Hitos (milestones):bien definidos, cuantificables
•Identificación posibles riesgos y alternativas
•
Evangelina Atanes Sánchez. Febrero 2009
10
Evaluación criterio a criterio: notas de interés
2. Implementation
2.1 Management
structure and
procedures
2.2. Individual
participantes
Coordinador, líderes Work Package, mecanismos de
contacto, reuniones, toma de decisiones (científicas,
de IPR), comités de diseminación,..
•Estándar. Particularizar en lo posible
•
Campo actividad participante, papel en el proyecto
•Experiencia participantes en proyectos
•
Más
2.3. Consortium
as a whole
2.4. Resources to
be commited
Cadena: RTD/fabricante/usuario
•Laboratorio al mercado
•
importantes
Personal cualificado, equipo e instalaciones
•Dinero: coherente, realista
•
•Posibilidad de cambio en la negociación
•Menor interés para el evaluador
Evangelina Atanes Sánchez. Febrero 2009
11
Evaluación criterio a criterio: notas de interés
3. Impact
3.1 Expected
impacts listed in the
Work Programme
Más
importante
3.2. Dissemination
and/or exploitation
of project results,
and management of
IPR
Guide for applicants: responder a las cuestiones
•Estudios de mercado: cuantificar en lo posible la
repercusión del proyecto
•Usuarios potenciales de la tecnología
•Sectores actividad implicados
•Repercusiones económicas, sociales,
medioambientales,…
•Hacer estimaciones, buscar estadísticas e
informes sobre el tema,…
•
•
•
•
Estándar, adecuadamente documentada
Importante: explotación, IPR
Acceso al mercado
Evangelina Atanes Sánchez. Febrero 2009
12
Conclusiones


Proceso de evaluación justo
Preparar cuidadosamente la propuesta:
• 1ª fase, 2ª fase
• Enfocada a la etapa de evaluación: objetivos e impactos del
Work Programme, criterios y subcriterios
• Facilitar comprensión y evaluación al evaluador
• Gran atención al Consorcio


Excelente: Contenido + Forma de comunicarlo
Propuesta bien preparada será bien defendida por
los evaluadores
Evangelina Atanes Sánchez. Febrero 2009
13
Gracias
Dra. Evangelina Atanes Sánchez
Universidad Politécnica de Madrid
EUIT Industrial - Departamento de Química
Industrial y Polímeros
Evangelina Atanes Sánchez. Febrero 2009
14
Descargar

Excelencia: criterios de evaluación