.
.
ANÁLISIS TÉCNICO
DEL INSTRUMENTO DE EVALUACIÓN
DOCENTE PARA PLANES DE ESTUDIO
POR COMPETENCIAS
Joaquín M. Mendoza Núñez
Instituto Tecnológico de Toluca
México, D. F., 20 de junio de 2013
10/2/2015
2
CONTENIDO
1. Características psicométricas del
instrumento.
2. Transformaciones de los datos.
3. Procedimiento de selección de profesores
para la capacitación.
4. Lista de profesores para capacitación.
5. Conclusiones.
6. Sugerencias.
10/2/2015
7. Prospectiva.
3
INSTRUMENTO DE EVALUACIÓN DOCENTE
PARA PLANES DE ESTUDIO POR COMPETENCIAS
ANTECEDENTES
El Cuestionario fue aplicado en el año
2010 en los Institutos Tecnológicos del
país.
10/2/2015
4
INSTRUMENTO DE EVALUACIÓN DOCENTE
PARA PLANES DE ESTUDIO POR COMPETENCIAS
ANTECEDENTES
Expertos de varios Institutos
Tecnológicos se reunieron en
Querétaro para consolidar una versión
más corta del instrumento (de 48
afirmaciones), la cual es objeto de
esta presentación.
INSTRUMENTO DE EVALUACIÓN DOCENTE
PARA PLANES DE ESTUDIO POR COMPETENCIAS
Estructura y numeración de reactivos del cuestionario










Dominio de la asignatura
Planificación del curso
Ambientes de aprendizaje
Estrategias, métodos y técnicas
Motivación
Evaluación
Comunicación
Gestión del curso
Tecnologías de la información
Satisfacción general
10/2/2015
1- 5
6-8
9 - 13
14 - 20
21 - 27
28 - 35
36 - 38
39 - 42
43 - 45
46 - 48
6
INSTRUMENTO DE EVALUACIÓN DOCENTE
PARA PLANES DE ESTUDIO POR COMPETENCIAS
Ejemplo:
35. Otorga calificaciones imparciales.
(Opciones de respuesta:)
1. Altamente en desacuerdo
2. En desacuerdo
3. Indiferente
4. De acuerdo
5. Totalmente de acuerdo
10/2/2015
7
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
1. CARACTERÍSTICAS PSICOMÉTRICAS DEL INSTRUMENTO
 Confiabilidad
consistencia interna

correlación escala- total 
 Análisis factorial

 Representación muestral 
 Estructura

 Sensibilidad-especificidad ?
10/2/2015
8
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
1. CARACTERÍSTICAS PSICOMÉTRICAS DEL INSTRUMENTO
Alfa de Cronbach = 0.987
Número de elementos
Primer
= 48 afirmaciones del
descriptor:
Cuestionario de
Consistencia
Evaluación Docente
interna
Confiabilidad 
(alta consistencia interna del
instrumento)
10/2/2015
9
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
1. CARACTERÍSTICAS PSICOMÉTRICAS DEL INSTRUMENTO
Segundo
Descriptor:
Correlación
item-total
DOMINIO_ASIG
PLANIF_CURSO
AMBIENTES_APR
ESTRATEG_MET_TEC
MOTIVACION
EVALUACION
COMUNIC
GESTION_CURSO
TECNOL_INFORMAC
SATISFAC_GRAL
.905 **
.869 **
.900 **
.948 **
.940 **
.932 **
.890 **
.881 **
.840 **
.882 **
Alta correlación de cada escala con la puntuación
10/2/2015
10
total 
**p=0.001
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
1. CARACTERÍSTICAS PSICOMÉTRICAS DEL INSTRUMENTO
Tercer
Descriptor:
Análisis de
componentes
principales
10/2/2015
Método: Rotación varimax
Ejemplo:
Componente: DOMINIO_ASIG = 1.
AFIRMACIONES
AF1
.895
Resultado
favorable:
AF2
.885
Las cargas
factoriales
AF3
.904
están
cercanas a
AF4
.898
1.0
AF5
.907
Análisis factorial 
11
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
2. Transformaciones de los datos
Paso 1.
Conversión
a escala
Likert.
10/2/2015
Paso 2.
Puntuación
global y por
escalas.
Paso 3.
Selección
de las
escalas
críticas.
Paso 4.
Selección
de
profesores
que se
ubican en
el cuartil 1
en ambas
listas
(puntuació
n global y
escala
crítica).
12
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
2. Transformaciones de los datos
Paso 1. Conversión a escala Likert:
• Original:
1 2
3 4
5
Sensibilidad del
instrumento
• Likert
10/2/2015
0 1
2
3
4
13
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
2. Transformaciones de los datos
AFIRMACIÓN 24
0
1
1
2
3
AFIRMACIÓN 25
0
1
1
2
3
AFIRMACIÓN 26
0
1
1
1
2
AFIRMACIÓN 27
0
1
1
2
3
AFIRMACIÓN 38
0
0
1
2
3
10/2/2015
La mayoría de las
afirmaciones del Cuestionario
de Evaluación Docente
14 se
comportan como la
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
2. Transformaciones de los datos
Paso 2. Puntuación global y por escalas:
Ejemplo:
Sea “Af” cualquier afirmación (1 a 48).
Para el docente “D” de la lista,
Puntuación global del docente
D = Afirmación 1 + Af2 + Af3 + … + Af48
10/2/2015
15
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
2. Transformaciones de los datos
Rango de puntuación global Likert:
0
10/2/2015
142
16
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
2. Transformaciones de los datos
Los
alumnos
evalúan a
los
profesores
de cada
asignatura
10/2/2015
17
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
2. Transformaciones de los datos
(Paso 2. Puntuación por escalas)
Ejemplo:
“Dominio de la
asignatura” =
Af1 + Af2 + Af3 + Af4 +
Af5
10/2/2015
18
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
2. Transformaciones de los datos
(Paso 2. Puntuación global y por escalas)
• DOMINIO_ASIG
AF1
AF2
AF3
AF4
AF5
P25
P50
P75
2
1
2
2
2
2
2
2
2
2
3
3
3
3
3
En cada escala se buscaron las afirmaciones con
puntuaciones más bajas en el percentil 25.
10/2/2015
19
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
2. Transformaciones de los datos
(Paso 2. Puntuación global y por escalas)
• TECNOL_INFORMAC
AF 43
AF 44
AF 45
P25
1
1
1
P50
2
2
2
P75
3
3
3
En esta escala, todas las afirmaciones tenían las puntuaciones más bajas
(“1”) en el percentil 25. Se esperaba que tuvieran una puntuación más
alta (“2 ó 3”).
10/2/2015
20
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
2. Transformaciones de los datos
Paso 3. Selección de las escalas críticas
Dominio_asig
4/5
Planif_curso
3/3
Ambientes_apr
1/5
Estrategias_Mét_Téc
2/7
Motivación
2/7
Evaluación
3/8
Comunic
3/3
Gestión_Curso
2/4
Tecnol_Informac
0/3
Satisfac_Gral
1/3
10/2/2015
21
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
4.
Selección de profesores para la capacitación
Criterios de inclusión de los profesores:
CUARTIL 1
2
3
PUNTUACIÓN GLOBAL:
TECNOL_INFORMAC:
10/2/2015
22
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
4. Selección de profesores para la capacitación
GRUPO Media
N
Desv. estándar
152601
170900
160002
171201
176400
6
17
6
21
23
4.29
16.336
12.156
19.421
13.289
10/2/2015
140.00
136.12
135.17
134.81
132.17
Es el mismo
profesor, en
dos carreras
23
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
5. Conclusiones
1. El instrumento de evaluación
presenta características
psicométricas apropiadas.
2. El formato del instrumento requiere
cambios en la redacción de las
afirmaciones. (Evita efecto halo)
10/2/2015
24
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
5. Conclusiones
3. El instrumento puede emplearse
para detectar necesidades de
capacitación, tanto individual como
por licenciaturas y en algún Instituto
Tecnológico específico del SNIT.
4. Es conveniente reanalizar el
modelo teórico de las competencias
que subyace al instrumento de
10/2/2015
25
evaluación
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
6. Sugerencias
1. Solución al efecto de halo:
Cambiar la redacción de la mitad de las
afirmaciones para que la puntuación
más alta no siempre sea la opción
“Totalmente de acuerdo”.
2. Seleccionar los reactivos más
representativos de las escalas del
cuestionario e integrar un instrumento
más breve.
10/2/2015
26
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
7. Prospectiva
1.
De septiembre a diciembre de
2013 se realizará un estudio piloto
test-retest de la versión abreviada
del instrumento, formada por las 25
afirmaciones que mejor representan
a las escalas del instrumento.
10/2/2015
27
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
7. Prospectiva
2. Para convalidar las diez escalas
propuestas del instrumento de
evaluación, en octubre y noviembre
de 2013 se aplicará un modelo de
inteligencia artificial multicapa.
10/2/2015
28
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
7. Prospectiva
3. En diciembre de 2013 se presentará
la propuesta de una versión del
instrumento formada de 8 a 16
afirmaciones, siguiendo el esquema
de Escalograma de Guttman y el
modelo de validación social “bin
smooth”.
10/2/2015
29
CUESTIONARIO DE EVALUACIÓN DOCENTE
PARA PLANES DE COMPETENCIAS
7. Prospectiva
4. En diciembre de 2013 se contará con un
sistema informático validado que reúna los
resultados de la evaluación docente
(efectuada por los alumnos) y la
valoración de los jefes de departamento
(carreras) comunicado en un
superindicador unificado, dimensionado y
guiado por el modelo de competencia
docente que marca el SNIT.
10/2/2015
30
.
Gracias por su atención
10/2/2015
31
Muestreo
Tamaño de la población = 4849 alumnos
k = 0.017440299
Tamaño de la muestra = 1913 alumnos
Nivel de confianza = 95 %
Varianza de la proporción = máxima, para
“p” y “q=1-p”
k = Precisión de la muestra
Fórmula:
k = [ z2 p q ] SQR [ (p (1 – p) / n) ( (
N – n) / ( N – 1 ) ) ]
k = 0.017440299
10/2/2015
32
Descargar

Cool Blue Water Fade