Tarragona, 3 y 4 de noviembre de 2003
Manuel Barbancho Medina
Director de la Unidad para la Calidad de las Universidades
Andaluzas (UCUA)
Clemente Navarro
Coordinador del proyecto experimental andaluz de evaluación
de títulos de postgrado (UPO)
Competencias de las Agencias según la LOU
•La LOU resalta explícitamente que una de las
principales innovaciones viene dada por la
introducción en el sistema universitario de
mecanismos externos de evaluación de su calidad.
Para ello promueve la creación de la Agencia Nacional
de Evaluación y Acreditación y de las Agencias
Autonómicas, a través de sus respectivas Leyes.
•Dichas Agencias asumen, en sus ámbitos respectivos,
las competencias de evaluación, certificación o
acreditación de las enseñanzas, de la actividad
investigadora, docente y de gestión del PDI y de los
servicios y programas de las Universidades, para
promover y garantizar la calidad de las mismas.
Competencias de las Agencias según la LOU
Las funciones de evaluación, certificación y
acreditación (referidas en el apartado 2 del artº 31),
en el ámbito de sus competencias,
corresponden al órgano de evaluación que la
Ley de la Comunidad Autónoma determine, sin
perjuicio de las que desarrollen otras Agencias de
evaluación del Estado o de las Comunidades
Autónomas. Artº 31.3
LA EVALUACIÓN DE LA
CALIDAD EN ANDALUCÍA
según la LAU
Ley Orgánica de
Universidades
ANECA
Ley Andaluza de las
Universidades
Creación Agencia Andaluza
de Evaluación y Acreditación
(desaparición UCUA)
ASIGNACIÓN DE FUNCIONES
RELACIONADAS CON LA POLÍTICA
DE CALIDAD Y EVALUACIÓN
Evaluación
Agencia
Política de Calidad
Comisión de Fomento de
la Calidad. (CAU)
Representantes CEC
Rectores Universidades Públicas
Tres miembros designados por el Parlamento de
Andalucía
Cuatro Presidentes Consejos Sociales.
Director Agencia Andaluza de Evaluación
ESTRUCTURA DE LA AGENCIA
- Presidente: Consejera EC
- Vicepresidente: Director G.
- 3 Subdirectores área
Consejo Rector
- 5 profesores de prestigio
(CAU)
- Gerente
Estructura Agencia
- Secretario
Organismo Autónomo de
carácter administrativo
Comisión Técnica
Superior de
Evaluación:
-Director General
- Subdirectores de área
- Personas de prestigio
- Secretario
ESRUCTURA FUNCIONAL DE LA AGENCIA
Área de Docencia y
Gestión Docente
Estructura
Funcional
Área de
Investigación
SUBCOMISIONES
ASESORAS
ESPECÍFICAS
COMPOSICIÓN
-P: Subdirector(es) Área(s)
- Expertos en las materias
Área de
Administración y
Servicios
- Composición equilibrada y
adaptada a la función
encomendada
FUNCIONES Y RETOS DE LA AGENCIA DE CALIDAD
EVALUACIÓN
DE
PROGRAMAS
Y UNIDADES
ACREDITACIÓN
Y
CERTIFICACIÓN
EVALUACIÓN
FORMACIÓN,
DE
ESTUDIOS Y
ACTIVIADES
DOCUMENTACIÓN
DEL PDI
EVALUACIÓN
EVALUACIÓN
Plan Andaluz
PROFESORADO
Investigación
AA petición de las Universidades, Consejería de Educación y
Ciencia, organismos públicos y privados y particulares.
Las Relaciones de la Agencia
•Programas de formación
•Apoyo Planes de Mejora
•Información
UNIVERSIDADES
CONSEJERÍA E y C
Sistema
Universitario
Andaluz
CAU
•Evaluación/certificación de
programas/unidades
•Informes para contratos PDI
•Informes para complementos
retributivos
AGENCIA
OTRAS
AGENCIAS
•Informes acreditación títulos
•Ev. Complementos retributivos
•Colab. Ev. Contratos programa
•Evaluación para PAI
•Información
Índice
Objetivos y agentes de la Evaluación
La Lógica del Proceso de Evaluación
Estructura, contenidos y procesos
Factores y funciones en los procesos
El sistema de indicadores
El desarrollo del proceso de evaluación
Las fuentes y los instrumentos
El Informe de Evaluación
El diagnóstico
El Plan de Mejora
 Objetivos y agentes de la Evaluación
 OBJETIVO GENERAL
 Mejora del título evaluado, desde una reflexión colectiva y múltiple
(enseñanza, investigación y gestión) enfocada al alumnado como
destinatario de la formación y usuario del servicio.
 OBJETIVOS ESPECÍFICOS
 Establecer y validar criterios e indicadores
 Experimentar el Manual
 Analizar el proceso de evaluación
 Identificar fortalezas y debilidades
 Proponer un Plan de Mejora
 Objetivos y
agentes de la Evaluación
 AGENTES
 Estudiantes
 Profesorado
 Tutores de investigación tutelada
 Directores de Tesis Doctorales
 Tribunales de Trabajos de investigación y Tesis Doctorales
 Coordinadores de Programas
 PAS
 Comisiones de Doctorado Departamentos
 Comisiones de Doctorado de la Universidad
 COMITÉ
 La Lógica del Proceso de Evaluación: PROCESOS Y RESULTADOS
Maestría
Título propio
 La Lógica del Proceso de Evaluación: FACTORES Y FUNCIONES
DEMANDA
DESARROLLO
RESULTADO
OFERTA
FUNCIONES
PROCESOS
Docencia
Investigación
Apoyo a la
Investigación
1º. Selección
2º. Docencia
3º. Investigación Tutelada
4º. Tesis doctoral
++
+
+
++
++
+
+
+
Gestión
++
+
+
+
 La Lógica del Proceso de Evaluación: EL SISTEMA DE INDICADORES
PROCESO DE SELECCIÓN
S.1
S.2
DEMANDA
S.4
S.5
S.6
DESARROLLO
S.7
S.8
S.9
RESULTADOS
OFERTA
S.3
PROCESO DE DOCENCIA
D.1
D.2
DEMANDA
D.6 D.7 D.8 D.9 D.10
DESARROLLO
OFERTA
D.3
D.4
D.16
D.17
RESULTADOS
D.11 D.12 D.13 D.14 D.15
D.5
PROCESO DE INVESTIGACIÓN
I.1
DEMANDA
I.7
I.8
I.9
I.10
DESARROLLO
I.11
I.12
I.13
RESULTADOS
OFERTA
I.2
I.3
I.4
I.5
I.6
PROCESO DE ELABORACIÓN DE TESIS
DEMANDA
T.3
DESARROLLO
OFERTA
T.1
T.2
T.4
T.5
T.6
RESULTADOS
CÓDIGO DEL INDICADOR
Inicial del proceso . ordinal
DATOS DEL INDICADOR
PROCESO
Indicar el proceso al que se refiere el indicador, de entre los siguientes:
SELECCIÓN, DOCENCIA, INVESTIGACIÓN y ELABORACIÓN DE TESIS
DENOMINACIÓN
Nombre que se asigna al indicador
OPERACIONALIZACIÓN
Fórmula a aplicar para el cálculo del indicador
RECORRIDO
Intervalo que incluye el conjunto de valores que puede tomar el indicador
DESCRIPCIÓN
Breve descripción del indicador. En los casos en que es necesario, se incluye
un sencillo ejemplo, para facilitar la interpretación del resultado de la
operacionalización
ÁMBITO (nivel agregación)
Para todos los casos, el nivel de agregación es el PROGRAMA DE
DOCTORADO
FUENTES (informantes)
Origen de la información necesaria para el cálculo del indicador
INSTRUMENTOS
Soporte utilizado para la recogida de la información
TIEMPO
Temporalización de la medida del indicador. En los procesos de SELECCIÓN,
DOCENCIA e INVESTIGACIÓN se ha tomado el BIENIO y en el de
ELABORACIÓN DE TESIS, el SEXENIO
RASGOS DEL INDICADOR
D.17
Demanda
FACTOR: Hace referencia a los
elementos que intervienen en
cada proceso
Oferta
Desarrollo
Resultados
Enseñanza
FUNCIÓN : actividades que se
desarrollan en cada proceso
Investigación
Apoyo investigación
Gestión
CARÁCTER
Descriptivo
Evidencia
Evaluativo
Valoración
Nominal (cualitativa)
MEDICIÓN: escala o nivel de
medición del indicador
Ordinal (cuantitativa)
Interval (cuantitativa)
APLICACIÓN DEL INDICADOR : Factores y Procesos sobre
indicador.
los que influye el
PROCESOS
FACTORES
Demanda
Oferta
Desarrollo
Resultado
Selección
Docencia
Investigación
tutelada
Tesis
doctoral
CÓDIGO DEL INDICADOR
D.17
DATOS DEL INDICADOR
PROCESO
DOCENCIA
DENOMINACIÓN
Calidad del éxito de la fase docente
OPERACIONALIZACIÓN
D.17 =
S Calificaciones medias de los alumnos con CD
Nº total de alumnos con CD
1: aprobado. 2: notable. 3: sobresaliente. 4: matrícula de honor
RECORRIDO
(1,4)
DESCRIPCIÓN
Hablaremos de calificaciones o notas medias dependiendo de si , en el
certificado que obtiene el alumno una vez concluye el Periodo de Docencia con
éxito, su calificación final viene reflejada por una puntuación directa, o bien, por
una nota media de diferentes puntuaciones específicas. Este indicador aporta
información relevante sobre la calidad del éxito de la fase docente
suponiendo que, a mayor calificación final, mayor calidad de la docencia.
ÁMBITO (nivel agregación)
Programa de doctorado
FUENTES (informantes)
Área de Expedientes Académicos (numerador)
Unidad de Gestión de Tercer Ciclo (denominador)
INSTRUMENTOS
Base de datos del Área de expedientes Académicos (D_Exp)
Base de datos de Unidad de Gestión de Tercer Ciclo (D/UGTC)
TIEMPO
Bianual
RASGOS DEL INDICADOR
D.17
Demanda
FACTOR: Hace referencia a los
elementos que intervienen en
cada proceso
Oferta
Desarrollo
Resultados
Enseñanza
FUNCIÓN : actividades que se
desarrollan en cada proceso
Investigación
Apoyo investigación
Gestión
CARÁCTER
Descriptivo
Evidencia
Evaluativo
Valoración
Nominal (cualitativa)
MEDICIÓN: escala o nivel de
medición del indicador
Ordinal (cuantitativa)
Interval (cuantitativa)
APLICACIÓN DEL INDICADOR : Factores y Procesos sobre
los que influye el indicador.
PROCESOS
FACTORES
Demanda
Oferta
Desarrollo
Resultado
Selección
Docencia
Investigación
tutelada
Tesis doctoral
CÓDI
GO
DENOMINACIÓN
Factor
S.1
Competitividad de la demanda
Demanda
S.2
Demanda extranjera
Demanda
S.3
Interdisciplinariedad de la oferta
S.4
Satisfacción con servicio de U. Gestión 3er Ciclo
Desarrollo
S.5
Satisfacción con servicio de Área Gestión
Expedientes Académicos
Desarrollo
S.6
Satisfacción de alumnos extranjeros con acogida
Desarrollo
S.7
Calidad de la demanda
Resultados
S.8
Matrícula extranjera
Resultados
S.9
Intención obtener título Doctor
Resultados
Oferta
D.1
Alumnos matriculados por programa
Demanda
D.2
Nivel de asistencia a clase
Demanda
D.3
Media de sexenios por profesor
Oferta
D.4
Interdisciplinariedad del profesorado
Oferta
D.5
Proporción de profesores extranjeros
Oferta
D.6
Existencia de programa en la asignatura
Desarrollo
D.7
Utilidad de la asignatura en la definición del proyecto de
investigación
Desarrollo
D.8
Relación de la asignatura con el conjunto del programa
Desarrollo
D.9
Contribución del sistema de evaluación a la definición del
proyecto de investigación
Desarrollo
D.10
Relación de la coordinación del programa con el alumnado
Desarrollo
D.11
Coordinación Biblioteca-Programa
Desarrollo
D.12
Satisfacción de la Coord. del Programa con equipa/ y servicios
informáticos
Desarrollo
D.13
Satisfacción del alumnado con servicio prestado por Biblioteca
Desarrollo
D.14
Satisfacción del alumnado con el equipa/ y servicios informáticos
Desarrollo
D.15
Satisfacción del profesorado con servicio prestado por U.Gest. 3erC
Desarrollo
D.16
Tasa de éxito en la fase docente
Resultado
D.17
Nivel del éxito de la fase docente
Resultado
I.1
Carga Tutorial
Demanda
I.2
Adecuación del área de investigación
Oferta
I.3
Dedicación Tutorial
Oferta
I.4
Sexenios de Investigación del tutor
Oferta
I.5
Reconocimiento a la labor tutorial
Oferta
I.6
Cobertura Científica del Alumno
Oferta
I.7
Valoración de la labor tutorial
Desarrollo
I.8
Autovaloración de la dedicación del alumno
Desarrollo
I.9
Satisfacción del alumno con el servicio de
Biblioteca
Desarrollo
I.10
Satisfacción alumno con los servicios
informáticos
Desarrollo
I.11
Éxito del DEA
Resultados
I.12
Nota media calificación tesinas
Resultados
I.13
Valoración tesinas por el Tribunal
Resultados
T.1
Carga de Dirección
Oferta
T.2
Sexenios de investigación del Director de Tesis
Oferta
T.3
Cobertura Científica del Doctorando
Desarrollo
T.4
Éxito de la lectura de la Tesis Doctoral
Resultados
T.5
Nota media calific. Tesis Doctoral
Resultados
T.6
Valoración Tesis por parte del Tribunal
Resultados
Proceso
Nº indicadores
Selección
9
Docencia
17
Investigación
13
Tesis
6
TODOS
45
 El desarrollo del proceso de evaluación: Las fuentes y los instrumentos
INSTRUMENTOS PARA LA RECOGIDA DE INFORMACIÓN
SIGLAS
PROCESO EN QUE
SE APLICA
CUESTIONARIO A ALUMNOS ACERCA DEL PROCESO DE SELECCIÓN
CA1
SELECCIÓN
CUESTIONARIO A ALUMNOS ACERCA DEL PROCESO DE DOCENCIA
CA2
DOCENCIA
CUESTIONARIO A ALUMNOS ACERCA DEL PROCESO DE
INVESTIGACIÓN
CA3
INVESTIGACIÓN
CUESTIONARIO A ALUMNOS ACERCA DEL PROCESO DE
ELABORACIÓN DE TESIS
CA4
ELABORAC. TESIS
CUESTIONARIO A PROFESORES ACERCA DEL PROCESO DE DOCENCIA
CP
DOCENCIA
CUESTIONARIOS
NOMBRE
FICHAS PARA LA RECOGIDA DE INFORMACIÓN
FICHA PARA MIEMBROS DE TRIBUNALES DE “TESINA”
FTT
INVESTIGACIÓN
FICHA PARA MIEMBROS DE TRIBUNALES DE TESIS DOCTORAL
FTD
ELABORAC. TESIS
FICHA DE PROGRAMA DE DOCTORADO
FPD
SELECCIÓN
DOCENCIA
INVESTIGACIÓN
FICHA DE COMISIÓN DE DOCTORADO (SELECCIÓN)
FCD
SELECCIÓN
DOCENCIA
D_UGTC
SELECCIÓN
DOCENCIA
FICHA DE COMUNICACIÓN CON BIBLIOTECA
D_Bib
_
FICHA DE COMUNICACIÓN CON EL CENTRO DE INFORMÁTICA Y
COMUNICACIONES
D_CIC
_
D_Exp
DOCENCIA
INVESTIGACIÓN
ELABORAC. TESIS
PA
DOCENCIA
FICHA DE COMUNICACIÓN CON LA UNIDAD DE GESTIÓN DE TERCER
CICLO
FICHA DE COMUNICACIÓN CON EL ÁREA DE GESTIÓN DE EXPEDIENTES
ACADÉMICOS
PARTE DE ASISTENCIA
 El Informe de Evaluación: El diagnóstico
Ficha para punto débil o fuerte.
Aplicación práctica
IDENTIFICACIÓN
Origen
Nº de punto
S, D y T (sin tablas)
D-1
Denominación
Falta de espacio físico y mobiliario destinado a archivo para uso del Programa
Justificación
A pesar de no estar incluido entre los indicadores del Manual, este aparece como un aspecto que
redunda en dificultades para los procesos de gestión por parte del/de la Coordinador/a del Programa
Grupos afectados
Coordinación del Programa, y en general, alumnado y profesorado.
Indicador de mejora
Existencia de espacios físicos y mobiliario de archivo en las ubicaciones asignadas al Programa de
Doctorado
Detalles y observaciones
IDENTIFICACIÓN
Ficha para propuesta de mejora.
Aplicación práctica
Origen
Nº Punto
Orden
S, D y T
D-1
1
Denominación
Falta de espacio físico y mobiliario destinado a archivo para uso del Programa
Prioridad
Baja
Periodo ejecución
Media
C/P
Máxima
M/P
L/P
Fecha propuesta de inicio
Periodo impacto
C/P
Día
Mes
Año
01
07
2004
M/P
L/P
ML/P
Responsables ejecución
Gerencia, Unidad de Infraestructura, Unidad de Rentas y Patrimonio
Potenciales beneficiarios/as
Coordinación del Programa y, en general, alumnado y profesorado del mismo
Justificación
Como se indicó en la ficha D – 1, el Comité opina que dado el volumen de información a manejar, resultaría muy útil
habilitar un espacio físico ubicado en la sede del Departamento
Viabilidad
En opinión del Comité, esta propuesta de mejora es viable. Sería necesario buscar una habitación susceptible de
convertirse en archivo en la sede de cada Departamento de la Universidad y adquirir el mobiliario pertinente.
Indicador de mejora*
Existencia de espacios físicos y mobiliario de archivo en las ubicaciones asignadas a los distintos Departamentos de
la Universidad
Evaluación de indicadores[1].
CÓDI
GO
DENOMINACIÓN
S.1
Competitividad de la demanda
S.2
Demanda extranjera
S.3
Interdisciplinariedad de la
oferta
S.4
Satisfacción con servicio de U.
Gestión 3er Ciclo
S.5
Satisfacción con servicio de
Área Gestión Expedientes
Académicos
S.6
Satisfacción de alumnos
extranjeros con acogida
S.7
Calidad de la demanda
S.8
Matrícula extranjera
S.9
Intención obtener título Doctor
COMPRENSIÓN
[2]
1 2 3 4 5
RELEVANCIA
[3]
1 2 3 4 5
ESFUERZO
[4]
1 2 3 4 5
PROCESOS
SELECCIÓN
[1] El Comité valorará la comprensión, relevancia y esfuerzo de los indicadores en una escala de 1 (bajo)
a 5 (alto). En el caso de no tener respuesta clara, marcar 1.
[2] Los indicadores se comprenden fácilmente y están enunciados con claridad
[3] Los indicadores son claves para comprender y mejorar el título evaluado
[4] Nivel de esfuerzo requerido para calcular el indicador
TÍTULOS A EVALUAR EN EL PLAN EXPERIMENTAL DE EVALUACIÓN DE
TERCER CICLO, MAESTRÍAS Y TÍTULOS PROPIOS DE LA UCUA
UPO
T. Propio "Curso de especialista universitario de Gestión de Empresas Cooperativas”
UNIA
VI Maestría en Conservación del Medio Natural
VI Maestría en Desarrollo Económico en América
UGR
Master en Museología
Experto Universitario en Derecho de Extranjería
UCA
Programa Doctorado “Ciencias y Tecnologías Químicas”
UCO
Titulación Superior en Desarrollo Rural
Curso Postgrado de Orientación Familiar
GRUPO REDACTOR DEL MANUAL (UPO)
Responsable:
Clemente J. Navarro
Equipo:
Ana Villarán
Rocío Guevara
Cristian Suárez
Milagro Cornejo
http://www.ucua.es
Descargar

Diapositiva 1