II Jornadas de Presidentes de Comisiones de
Doctorado de Universidades Españolas
Mesa redonda:
Evaluación de la primera convocatoria de la Mención de
Calidad en Programas de Doctorado
URV, Tarragona, 3/11/2003
Ponente:
Pere Botella
Presidente del Comité de Evaluación de
Enseñanzas Técnicas
Tema: evaluación de los criterios A
Antes de entrar en el criterio A, algunas
consideraciones generales
• La ponderación de los criterios y el procedimiento de evaluación
fueron aprobados en reunión de los presidentes de los comités con el
responsable del Programa y publicados posteriormente en la web.
• Las comisiones han analizado estrictamente la documentación
presentada, quedando explícitamente prohibido el acceso a cualquier
otra fuente. La causa de muchas evaluaciones bajas se encuentra en
una documentación incompleta o deficiente.
• Un hecho constatable fue que el formulario de la solicitud no se
adaptaba bien a los criterios. No analizo el hecho, pero si su
consecuencia: complicar la vida a las universidades, y al trabajo de las
comisiones. Este hecho generó ciertas carencias de información.
• Las comisiones podían percibir una notable diferencia entre aquellas
solicitudes que se habían redactado teniendo en cuenta los criterios de
evaluación, de aquellas que se limitaban a aportar la información que
demandaba el impreso de solicitud.
Consideraciones sobre el Criterio A: Antecedentes
A.a – Historial
- En general, mal explicado, poco cuidado, con referencias del tipo “ver
CV’s”. Grupos muy reconocidos que no aportan esta información, o la
aportan mal
- No se suele mencionar la experiencia docente en doctorado
- Investigadores muy buenos en grupos grandes, con otros no tan
buenos, pierden peso al promediar
A.b – Publicaciones derivadas de las tesis
O bien estaba explícito (p.ej., Tesis X, publicaciones de X, Tesis Y,
publicaciones de Y, etc.), o era imposible de evaluar
A.c – DEA
Se pedía un porcentaje, en cambio la información aportada era variopinta
(listas de nombres o datos de difícil comprensión)
A.d – Núm, de tesis
Obvio
A.e – Doctorado Europeo
Obvio, sin embargo muchas universidades no lo contemplan
A.f – Núm. Becarios y profesores
Ausente en muchas solicitudes. Si se explicitaba, se tuvo en cuenta
A.g – Convenios
Sólo se tenían en cuenta si se mencionaba o explicitaba el programa de
doctorado
A.h – Mecanismos de seguimiento
Criterio con un alto porcentaje de fracaso. Debemos ser conscientes que en los
criterios para la acreditación, los resultados de los titulados cuentan mucho. De
modo que este criterio da una pista a las universidades para que implementen
estos mecanismos de seguimiento
Ponente:
Ana I. Fernández
Presidente del Comité de Evaluación de
Ciencias Sociales y Jurídicas
Tema: evaluación de los criterios B
Criterios referidos a la propuesta del programa: criterios B
En el manual de procedimiento la consideración de estos criterios se realiza
en dos bloques. El primero, bloque A, referido a la articulación y contenido
del programa de doctorado y el segundo, criterios B, C, D, E, F, y G,
relacionados con el historial docente e investigador de los profesores que
imparten el mismo y con las características del programa en cuanto a su
colaboración con otros departamentos o universidades así como la
financiación de que dispone y el informe que la Comisión de doctorado de
cada universidad emite sobre el programa. Estos criterios son:
articulación y coherencia de los contenidos y estructura general del programa.
En este apartado se considera:
•La claridad y precisión con la que el título que anuncia el programa describe
su contenido.
•La justificación de la pertinencia del programa y si los fines del mismo están
basados en análisis previos de la realidad y de las necesidades existentes más
allá del ámbito universitario
•La claridad con la que los fines y metas perseguidos por el programa están
definidos y son expresados.
•La claridad con que los objetivos pedagógicos particulares de cada curso o
seminario son formulados.
•La correspondencia entre los contenidos de cada curso y los objetivos generales
del programa.
•El desarrollo del programa de suficientes cursos o seminarios acordes con la
línea de investigación de los distintos doctorandos.
•La adecuación de los contenidos de los cursos en extensión y profundidad a los
créditos asignados
•La coherencia entre la metodología de enseñanza-aprendizaje y los objetivos
pretendidos y si ésta permite la activa participación de los estudiantes
•La claridad en la definición de los criterios de evaluación.
B) Afinidad del contenido con las líneas de investigación de los profesores que
lo imparten. Se valoran las líneas de investigación y la producción científica de
los profesores durante los últimos cinco años y sus adecuación a los contenidos
del curso o seminario propuesto.
C) Historial docente e investigador de los profesores que imparten el programa.
Se valora la experiencia docente en programas de doctorado que por termino
medio posean los profesores y las publicaciones de los resultados de
investigación de los profesores en revistas, libros u otros medios de reconocido
prestigio internacional.
D) Participación de otros grupos o departamentos de la misma o de otras
instituciones de Educación Superior tanto nacionales como extranjeras.
E) Estimación razonada del número de alumnos de otras universidades distintas
de la responsable del programa
F) Financiación procedente de otras entidades públicas o privadas
G) Informe de la Universidad o Institución que avale el Programa
Las ponderaciones de cada uno de estos apartados es la siguiente:
A) Contenidos programa:
24%
B)+C) Líneas de investigación e historial docente:
16%
D)+E) Programas interuniversitarios e interdepartamentales así como presencia
de alumnos de otras universidades
12%
F)+G) Financiación e informe de la Comisión de doctorado:
8%
Total Criterio
60%
Ponente:
Vicente Hernandis
Presidente del Comité de Evaluación de
Ciencias Experimentales
Tema: garantías del método de evaluación
• Esta ponencia tiene por objetivo mostrar que el método de evaluación
posee garantías, y que los resultados que se han obtenido finalmente
son debidos al contenido de las solicitudes, y no al método de
evaluación utilizado.
• Las Tablas 1 y 2 muestran la distribución de las calificaciones dadas
(Excelente, bueno, regular y deficiente) para los conjuntos de criterios
A y B respectivamente, para el conjunto de los 906 programas. En ellas
se puede apreciar que dichas calificaciones se distribuyen de forma
relativamente homogénea en la mayoría de los criterios, mientras que
en algunos se aprecia un sesgo claro hacia el deficiente. Esto es
especialmente significativo en los criterios Ae (doctorado europeo, que
no está implantado en muchas de nuestras universidades), Be (nº de
alumnos procedentes de otras universidades, dato que no estaba
incluido en la solicitud) y Bf (financiación externa, que en general está
poco implantada en nuestros programas). No obstante, el peso
estadístico de estos tres criterios en la evaluación es bajo. Cabe señalar
en este punto que, de los 15 criterios utilizados, más de la mitad del
peso de la evaluación recae sobre tres de ellos, Ba (estructura general
del programa), Aa (historial docente e investigador del grupo) y Bc
(historial docente e investigador de los profesores que imparten el
programa), los tres con distribución más o menos normal de las
calificaciones. Podemos observar en los tres casos que la zona central
(Bueno + Regular) alberga más del 70% de las calificaciones.
• La Tabla 3 muestra los coeficientes de correlación entre las
calificaciones de pares de criterios, calculados también para el
conjunto de los 906 programas. Se puede apreciar que las
correlaciones entre criterios son en general bajas, lo cual es una prueba
de la independencia de los mismos. No obstante, sí que aparece una
correlación elevada en la pareja Aa-Bc, lo cual es lógico, puesto que
ambos criterios se refieren al historial del grupo completo (Aa) y del
profesorado (Bc), que es una parte del grupo. Una razón similar puede
aducirse para justificar las correlaciones relativamente significativas
encontradas en las parejas Aa-Ab (0.414) y Ab-Bc (0.426). Sin
embargo, no hemos encontrado una interpretación para la correlación
entre Af y Ah (0.443), que parece ser puramente fortuita.
• Finalmente, en función de las universidades participantes, podemos
clasificar a los programas presentados en tres bloques. El primero de
ellos incluye los 145 programas con participación de una sola
Universidad, el segundo los 704 con participación de más de una
Universidad, todas ellas españolas, y el tercero los 57 programas de
carácter internacional. Pues bien, el porcentaje de los que han
alcanzado la mención de calidad ha sido del 21.3% en el primer
bloque, del 17.4 % en el segundo y del 22.2 % en el tercero, lo cual
muestra que tampoco ha habido un sesgo significativo por este
concepto.
TABLA 1
Distribución de las calificaciones de los criterios A
Criterio
% Excelente
% Bueno
% Regular
% Deficiente
AA
11.6
33.6
38.1
16.8
AB
7.8
19.8
22.6
39.8
AC
19.9
21.6
17.1
41.4
AD
20.5
27.5
29.9
22.1
AE
9.4
5.4
5.4
79.8
AF
13.2
20.8
26.0
40.0
AG
7.1
16.2
28.8
48.5
AH
3.4
15.5
32.5
84.7
TABLA 2
Distribución de las calificaciones de los criterios B
Criterio
% Excelente
% Bueno
% Regular
% Deficiente
BA
7.1
31.7
43.0
18.2
BB
14.3
62.3
20.5
2.9
BC
11.3
36.5
38.0
14.2
BD
5.8
19.8
33.2
41.2
BE
8.3
5.5
6.1
80.1
BF
1.4
14.6
12.8
71.2
BG
0.7
26.3
26.0
47.0
TABLA 3
Correlaciones entre criterios
AA
AB
AC
AD
AE
AF
AG
AH
BA
BB
BC
BD
BE
BF
BG
0.414 0.211 0.140 0.186 0.285 0.125 0.145 0.272 0.257 0.858 0.120 0.100 0.142 0.097
AA
0.289 0.113 0.271 0.303 0.121 0.309 0.280 0.238 0.426 0,071 0.013 0.152 0.063
AB
0.191 0.197 0.231 0.051 0.238 0.152 0.134 0.221 0.015 0.077 -0.02 -0.01
AC
0.081 0.135 0.129 0.135 0.154 0.102 0.139 0.047 0.142 -0.03 0.001
AD
0.168 0.044 0.147 0.113 0.045 0.197 0.078 0.029 0.060 0.069
AE
0.300 0.443 0.301 0.264 0.280 0.130 0.122 0.140 0.151
AF
0.142 0.235 0.135 0.144 0.286 0.167 0.172 0.146
AG
0.192 0.212 0.152 0.053 0.019 -0.01 0.114
AH
0.286 0.266 0.141 0.136 0.178 0.134
BA
0.260 0.091 0.056 0.054 0.130
BB
0.145 0.074 0.130 0.089
BC
0.139 0.171 0.077
BD
0.137 0.210
BE
0.098
BF
BG
Ponente:
Enrique García Sánchez
Presidente del Comité de Evaluación de
Ciencias de la Salud
Tema: aspectos mejorables

Importante: Transmitir nuestra experiencia

Útil: Darla a conocer para futuras convocatorias

Datos previos:
 Se evalúa únicamente la documentación aportada
 Se utilizan los criterios establecidos previamente
 Los criterios son públicos

Consideración final:
 Las reflexiones que voy a comentar emanan de los
informes finales realizados por todas las comisiones
Aspectos mejorables



Convocatoria
Impresos
Presentación de documentación
IMPRESCINDIBLE: SEGUIMIENTO
Convocatoria

Se han realizado diversas sugerencias con el fin de mejorarla
en la medida de lo posible

Se han puesto de manifiesto las dificultades que han existido
en la convocatoria evaluada

Sería preciso definir con precisión la documentación necesaria
para el proceso de evaluación

En la siguiente ponencia, D. Leonardo Marcos comentará los
cambios que pueden ser introducidos en la próxima
convocatoria
Impresos

Deberían ser claros, concretos y concisos

Existir correlación lineal con la orden

Evitar solicitar información que no va a ser evaluada

Limitar las aportaciones en investigación (sólo las más relevantes)

Incluir:
 Definición de grupo/s (con un único curriculum)
 Experiencia docente en doctorado (no general)
 Desarrollar en epígrafes los datos que se valoran en el apartado Ba
 Aclarar aspectos relacionados con convenios, financiación etc.
Documentación presentada

Los aspectos de mejora emanan de las deficiencias que se han observado

Deben existir indicios de coherencia científica de los programas

Definir el grupo, criterios que lo sustenta, objetivos, …

Mejorar el apartado Ba en todos los epígrafes (debería incluirse el
programa de los cursos)

Identificar el tipo de programa (interdepartamental, interuniversitario,
etc…) y documentarlo

Existen varios apartados que deberían ser aportados por las Universidades
como: Ac, Ad, Ae, …

Los solicitantes deberían dimensionar el peso de los epígrafes que van a ser
evaluados

Además:…
Documentación presentada:
Mejoras en el apartado A

Aa1: Experiencia docente en doctorado (no grado)

Aa2: Mejorar presentación (es un curriculum de grupo no la suma de muchos
curricula)

Ab: Artículos derivados de las tesis

Ad: Tesis de los últimos 5 años/número de profesores

Af: Becarios y profesores visitantes. Deben ir por separado y de forma clara y
concisa

Ag: Convenios para la realización de programas de doctorado (no son los
generales de las universidades)

Ah: Seguimiento de egresados y mecanismos establecidos
Documentación presentada:
Mejoras en el apartado B

Ba1: Mejorar los títulos de los programas evitar que sean muy generales.
Deben definir los contenidos y el perfil de formación que adquirirá el alumno.
Evitar coincidencias con titulaciones o Áreas de Conocimiento.

Ba2. Determinar su pertinencia (necesidades sociales, económicas, …)

Ba3: Establecer los fines de acuerdo con las enseñanzas de doctorado

Ba4: Definir los objetivos con claridad y concreción en cada curso o seminario

Ba5: Incluir el contenido para poder establecer la correspondencia con los
objetivos

Ba6: Desarrollar adecuadamente el programa

Ba7: Expresar con claridad los contenidos

Ba8: Expresar de forma precisa los aspectos metodológicos

Ba9: Definir con claridad y de forma precisa los criterios de evaluación
Documentación presentada:
Mejoras en el apartado B

Bb: Incluir experiencia docente en doctorado y la experiencia investigadora
de acuerdo con la orden ministerial

Bc: Limitar a lo establecido en la orden ministerial

Bd: Identificar con claridad tipo de programa (debería certificar la
universidad)

Be: Debería aportar la información la Universidad

Bf: Expresar con claridad tipo de financiación (pública, privada, ambas)

Bg: Informe que discrimine entre programas
SEGUIMIENTO

Dirección General de Universidades
Universidades

Necesario conocer:



Aspectos sociales:
 Repercusión de programa, …
Aspectos relacionados con los alumnos:
 Cumplimiento de programas
 Medios disponibles
 Grado de satisfacción
 Consecución de objetivos…
Valorar repercusión de la mención

Mi agradecimiento a:





La Universidad Rovira i Virgili
Mi amigo Xavier Rius
A los presidentes del resto de las comisiones
A todos los miembros de la Comisión de Ciencias de la Salud
 Neus Agell (U. de Barcelona)
 María Dolores Carro (U. de León)
 Santiago Hernández (U. de Córdoba)
 Agustín Hidalgo (U. de Oviedo)
 Carlos Martínez (CSIC)
Y un recuerdo muy especial a Miguel Valcárcel (U. de Córdoba)
Moderador:
F. Xavier Rius
Responsable del programa Mención de
Calidad en el Doctorado
Comentarios finales
• El proceso de evaluación ha sido consensuado por todos los presidentes de los
comités junto con el responsable del programa. No ha habido durante todo el
proceso ninguna indicación sobre por donde deberían ir los resultados.
• Reconociendo, como se ha mencionado, que hay campo para la mejora en todo
el proceso de evaluación de la Mención de Calidad (MdC), también hay que
constatar que se han conseguido algunos de los objetivos consensuados y
propuestos por los Presidentes de Comisiones de Doctorado hace un año:
Diferenciación entre reconocimeinto de MdC y financiación, clarificación sobre
los criterios en cuanto a su importancia (y, por tanto, lo que se prima por parte
del MECD en los programas de doctorado), transparencia a lo largo del proceso,
convocatoria no elitista, etc.
• Las Universidades deberíamos aprovechar este proceso de evaluación externo
para aumentar la calidad de nuestros doctorados
• Conociendo la sistemática de la evaluación, los responsables universitarios del
doctorado deberíamos hacer ver a los solicitantes que deben intentar poner toda
la información de modo concreto y preciso.
• Dentro del proceso normal de renovación de los comités de evaluación, los
presidentes actuales dejarán paso a otros. Quiero agradecer públicamente su
especial esfuerzo en poner en marcha todo el proceso. Gracias a todos.
Ha intervenido tan activamente como los demás en el
proceso de evaluación de la Mención de Calidad en
Programas de Doctorado pero no ha podido estar presente
en estas Jornadas:
Joan Gómez
Presidente del Comité de Evaluación de
Humanidades
Descargar

II Jornadas de Presidentes de Comisiones de Doctorado …