Instrumentos de Evaluación y desarrollo de reactivos
Capacidades Técnicas
Dirección General de Ingreso, Capacitación y Certificación
Septiembre del 2007
Agenda
1.
2.
3.
4.
Bienvenida
Presentación
Dinámica
Curso “Instrumentos de evaluación y
desarrollo de reactivos” para Capacidades
Técnicas
5. Receso
6. Curso
7. Evaluación.
Dirección General de Ingreso, Capacitación y Certificación
Objetivo del Curso
Compartir los conocimientos teóricos y prácticos
que facilitan el desarrollo de instrumentos de
evaluación para las capacidades directas y
técnicas, así como, dar a conocer el
funcionamiento de operación del Módulo
Generador de Exámenes.
Dirección General de Ingreso, Capacitación y Certificación
Que conocimientos adquiero
• Conocer que es una herramienta de evaluación.
• Tipos de herramientas de evaluación.
• Cómo diseñar una herramienta de evaluación desde la descripción
de la capacidad, considerando las fases que abarca, y los
aspectos a cuidar.
• El diseño de reactivos, la validación y ensamblaje de pruebas
• Proceso de carga, edición, criterios, estructura, programación,
inscripción y revisión de pruebas en el Módulo Generador de
Exámenes.
Dirección General de Ingreso, Capacitación y Certificación
Dinámica
de Integración
Dirección General de Ingreso, Capacitación y Certificación
Agosto del 2007
Qué es una herramienta de evaluación
Es el grupo de preguntas, tareas, casos
y/o dilemas, así como sus reglas de
aplicación y de procesamiento e
interpretación
de
sus
resultados,
diseñados para medir una o más
capacidades de una persona.
Sus características
Objetiva
Enfocada a los
aspectos que se
van a medir y sin
posibilidad de
interpretación.
Confiable
Que arroje
resultados
consistentes.
Válida
Que mida lo
que debe
medir.
Tipos de evaluaciones
1. Conocimientos:
– Pruebas objetivas (examen de opción múltiple)
– Método de casos (Solución de problemas).
2. Conductuales.
–
–
–
–
–
–
–
–
–
Pruebas prácticas
360°
Assessment center
Bandeja de entrada (desarrollo de caso vivencial)
Portafolio (Productos o proyectos finales)
Evaluación tipo sinodales o por pares.
Método de casos (Solución de problemas).
Diario de actividades.
Mapas mentales.
Etapas para su desarrollo
Calificación
Validación
Piloteo
Elaboración
Diseño
Diseño
Es la planeación del instrumento.
a. Perfil de referencia:
– Es el fundamento de la prueba.
– Es el objeto de medida de la prueba
– Relacionado a la capacidad.
incluyendo: tema, subtemas y nivel de
profundidad del conocimiento que se pide
llamado nivel taxonómico de la capacidad.
Diseño
b. Tabla de Especificaciones
• Presenta la organización lógica de los componentes
definidos operacionalmente
• Establece el nivel y tipo cognoscitivo con que deberán ser
medidos en la prueba (descrito en la capacidad)
• Señala el número de reactivos que deberán elaborarse por
cada componente
– Esto puede establecerse:
» Con un número estándar de reactivos por tema, para
piloteo.
» Por nivel de relevancia del tema
Diseño
CONOCIMIENTOS
GENERALES
Criterios Oficiales
para la
descripción y
perfilamiento de
puestos
CONOCIMIENTOS ESPECIFICOS /
SUBTEMAS
PROFUNDIDAD
DEL
CONOCIMIENTO
NÚMERO DE
REACTIVOS
% de
importancia
NÚMERO DE
REACTIVOS
(por tema)
Contenido del Formato de Descripción y
Perfil del Puesto: Datos de identificación,
Código del Puesto y Nombre del Puesto.
Comprensión:
Asociar
Relevancia 5
10
4
4
Estructura de la Descripción del Puesto:
Misión, El o los Objetivos, las Funciones y
El Entorno Operativo
Aplicación:
Producir
Relevancia 3
6
4
4
4
Estructura del Perfil del Puesto:
Escolaridad y/o Áreas de Conocimiento,
Experiencia Laboral y Condiciones de
Trabajo
Aplicación:
Producir
Relevancia 1
2
4
Formato Oficial para la Descripción y Perfil
de Puesto: partes en que se divide y
proceso de llenado
Aplicación:
Operar
Relevancia 4
8
4
Proceso para la descripción y perfilamiento
de un puesto
Aplicación:
Construir
Relevancia 1
2
4
Elaboración
Es la construcción de la prueba con base en
el diseño y en la tabla de especificaciones
– Se debe de partir de la descripción de la capacidad.
– Se realiza a partir de la evaluación de la capacidad a
los diferentes niveles de dominio por medio de
reactivos de opción múltiple, o de puntuaciones
asignadas a tipo de respuesta en relación con una
conducta modelo.
Elaboración
Desarrollo del Instrumento
Deben abarcar todos los aspectos contemplados
en la descripción de la capacidad, el perfil de
referencia y la tabla de especificaciones.
a. Conocimientos
Puede estar formado por:
• Preguntas de opción múltiple: completamiento,
apareamiento, solución de problemas,
jerarquización, identificación de graficas o
diagramas y cuestionario directo.
• Preguntas abiertas
• Situaciones prácticas, etc.
Elaboración
I. Pruebas Objetivas
• En este tipo de examen se recurre a preguntas de
opción múltiple, donde se recomienda utilizar
cuatro posibles opciones de respuesta (una
correcta, tres incorrectas).
• Se puede presentar en las siguientes modalidades:
cuestionamiento directo, resolución de problemas,
jerarquización u ordenamiento, completamiento de
oraciones, relación de columnas e identificación de
gráficas o diagramas, entro otros.
Elaboración
II. Reactivos de opción múltiple
– La respuesta de un reactivo, no debe depender de la
solución de otro, ni ayudar a contestar otro.
– Solamente debe de evaluar un resultado de aprendizaje
– Evaluar conocimientos muy específicos, solo si el tema y
el objetivo de aprendizaje lo requieren.
– Considerar el nivel intelectual y cultural de la población a
la que va dirigido.
– Evitar el uso de léxico complejo, poco comprensible o
ambiguo.
– El tiempo estimado de su resolución debe de ser
aproximadamente un minuto y medio, por pregunta.
Elaboración
II. Reactivos
La base de el reactivo o premisa, debe:
•
•
•
•
•
•
•
•
•
•
Ser corta, directa y sin rebuscamientos en su redacción.
Presentarlo en forma declarativa o interrogativa.
Debe entenderse sin leer las opciones de respuesta.
Es mejor usar frases simples: sujeto + predicado + modificaciones.
Formular claramente una pregunta de manera que el examinando
pueda entenderla sin recurrir a las alternativas y sin recargarla con
material innecesario.
Estar libre de indicios (claves) sobre cuál es la respuesta correcta y
evitar el empleo de términos que confundan.
Debe tener los elementos necesarios para ser contestado .Evitar
información adicional irrelevante.
Evaluar un conocimiento, no la opinión del evaluado.
Si se usa un negativo, este debe de ser subrayado.
No abusar de las abreviaturas.
Elaboración
Las alternativas u opciones de respuesta:
• Las respuestas correctas deben colocarse al azar, distribuidas
equitativamente entre las posiciones.
• Guardar estrecha relación con la premisa.
• Evite usar opciones de respuesta como “ninguno de estos”,
“ninguno de los anteriores”, etc.
• Tener la misma estructura gramatical.
• Excluirse mutuamente. No incluir respuestas parecidas que
suponga duplicidad de certeza.
• Ser homogéneas en contenido.
• Presentarse en la forma más simple posible.
Elaboración
Los gráficos.
– Se emplearán solamente cuando sean necesarios
para contestar el reactivo.
– Deben contener todos los elementos esenciales para
su interpretación.
Elaboración
Importante
Es indispensable que para cada reactivo se
especifique:
•
•
•
•
Tema
Nivel Cognitivo
Respuesta correcta
Referencia bibliográfica
Elaboración
Ejemplos:
¿Qué significan las siglas de la prueba psicométrica conocida como
“DAT”?
•
•
•
a) Differential Aptitude Test
b) Duración Aproximada del Tratamiento
c) Ninguna de las anteriores
•
•
•
•
Tema: pruebas psicométricas
Nivel: Comprensión
Respuesta correcta: A
Referencia. Bellak (2007). Pruebas proyectivas. Pág. 15.
¿Cuál es la instrucción básica que reciben los evaluados por medio de la
técnica de Karen Machover?
•
•
•
a) “Dibuja una persona”
b) “Escribe una historia”
c) “Selecciona 6 colores”
Elaboración
Reactivos de complementación:
•
•
•
•
•
•
•
•
•
Evitar espacios en blanco porque las oraciones pierden el sentido
y la unidad, dificultando la comprensión.
Los espacios en blanco que se dejen no deben sugerir la
respuesta.
Las respuestas no deben constituir frases muy largas.
Evitar colocar el artículo delante del espacio en blanco porque
sugiere la respuesta.
No usar frases ni párrafos textuales porque eso estimula el uso
de la memoria mecánica.
Las oraciones deben estar redactadas como afirmaciones.
Evitar usar datos innecesarios porque esto tiende a confundir o a
disminuir el índice de dificultad del reactivo.
Evitar el uso de dobles negativos.
Cuando se emplee un negativo, este debe ir subrayado o en
negritas.
Elaboración
Ejemplos:
El _____________________________ es una prueba que permite la
evaluación de la personalidad por medio de una técnica proyectiva
de dibujo.
•
•
•
El Test de la casa – árbol – persona
La Escala de Weschler
La Técnica Cleaver
______ es la prueba psicológica proyectiva que se basa en tarjetas
con dibujos y que sirve para la evaluación de la personalidad.
•
•
•
a) DAT
b) TAT
c) HTP
Elaboración
Reactivos de verdadero o falso
•
•
•
•
•
•
•
•
La redacción debe ser clara. Debe poderse determinar
inequívocamente que el reactivo es Verdadero o Falso.
Evite el uso de determinantes específicos tales como: “siempre”,
“nunca”, “generalmente”, “ningún”, algunas veces”, etc.
Evite el uso de expresiones “frecuentemente”, “en la mayoría de los
casos”, pues tales expresiones no son interpretadas de la misma
manera por las personas.
Evite los enunciados negativos y especialmente de doble negación.
No incluir más de una idea en la enunciación, especialmente si una
es verdadera y la otra es falsa.
Procure que aproximadamente la mitad de los reactivos sean
verdaderos y el resto falsos.
Evite los reactivos obvios.
Los reactivos deben medir conocimiento, no opiniones personales.
Elaboración
Ejemplos:
Un buen empleado es aquel que no evita no asistir
puntualmente a su lugar de trabajo. Además, procura entregar
sus reportes en tiempo y forma.
•
•
a) Cierto
b) Falso
Se considera un retardo el que un empleado llegue a su lugar
de trabajo después de 25 minutos de la hora establecida.
•
•
a) Cierto
b) Falso
Elaboración
b. Comportamientos
I.
Assessment Center
Técnica de observación y recopilación de
evidencias
de
comportamiento,
mediante
simulaciones o situaciones equiparables a las
que pueden presentarse en el desempeño de un
puesto y que permite evaluar las capacidades
gerenciales de un servidor público o un
aspirante.
Elaboración
I. Assessment Center
Ejercicios:
• Bandeja de entrada
• Trabajo en equipo:
con o sin soles asignados
• Solución de problemas
• Elaboración de documentos
• Elaboración de presentaciones, entre otros
Ejercicio
Juego de roles
Elaboración
II. Mapas Mentales
• Son representaciones mentales. Es la imagen que la persona se forma
acerca del significado de un conocimiento.
• El mapa mental consiste en una representación en forma de diagrama
que organiza una cierta cantidad de información. Parte de una palabra o
concepto central (en una caja, círculo u ovalo), alrededor del cual se
organizan 5 ò 10 ideas así como palabras relacionadas a dicho
concepto. Cada una de estas palabras se pueden convertir en concepto
central y seguir agregando ideas o conceptos asociados a él.
Elaboración
II. Mapas Mentales
Ejercicios:
1.
2.
3.
4.
Representaciones de procesos.
Representaciones de estructuras organizacionales.
Representación de funciones
Representación de perspectivas, entre otros.
Ejercicio
Elaboración
III. Portafolio
•
Su uso permite ir monitoreando la evolución de la persona, de tal
manera que se puedan ir introduciendo cambios durante dicho
proceso: cómo piensa, cómo cuestiona, analiza, produce o crea, y
cómo interactúa (intelectual, emocional y social) con otros.
•
Arter y Spandel (1991) lo definen como una colección de documentos
en base a un propósito; esta colección representa el trabajo de la
persona que le permite a él mismo y a otros ver sus esfuerzos de
logros en una o diversas áreas de contenido.
Recomendaciones para su elaboración: (Medina y Verdejo, 1999):
• Determinar el propósito.
• Seleccionar el contenido y la estructura.
• Decidir cómo se va a manejar y conservar el portafolio.
• Establecer los criterios de evaluación y evaluar el contenido.
• Comunicar los resultados
Elaboración
III. Portafolio
Ejemplo:
1.
2.
3.
4.
Productos terminados.
Documentos elaborados.
Evidencias de trabajo.
Reportes de trabajo.
Elaboración
IV. Rúbricas o Matrices de Valoración
• Matrices de Valoración (Rúbricas / Rubric en inglés), se encuentran
dentro del sistema de valoración integral.
• En su construcción se debe ubicar la escala para calificar los
criterios en la fila superior. En la primera columna, se ponen los
aspectos o categorías a evaluar (objetivos que se desea alcanzar).
Por último, en las celdas centrales se describen con la mayor
precisión posible, los criterios para evaluar esos aspectos o temas
Elaboración
• En la escala de calificación de los criterios (fila
superior) puede emplearse una valoración que
incluya: Muy Competente, Competente, Aceptable,
No Aceptable y No Aplica.
• También puede utilizarse una escala progresiva que
vaya de “Excelente” a “Pobre” o expresarse en
forma numérica.
• Es conveniente agregar una tabla de convenciones
que especifique lo que significa cada uno de
los grados de la escala.
• Establecer mínimos necesarios.
Ejemplo
Satisfactorio con
recomendaciones
Excelente
Satisfactorio
Calidad de
Información
La información está claramente
relacionada con el tema
principal y proporciona varias
ideas secundarias y/o ejemplos.
La información da respuesta a
las preguntas principales y 1-2
ideas secundarias y/o ejemplos.
La información da respuesta a
las preguntas principales,
pero no da detalles y/o
ejemplos.
La información tiene poco o nada
que ver con las preguntas
planteadas.
Organización
La información está muy bien
organizada con párrafos bien
redactados y con subtítulos.
La información está organizada
con párrafos bien redactados.
La información está
organizada, pero los
párrafos no están bien
redactados.
La información proporcionada no
parece estar organizada.
Redacción
No hay errores de gramática,
ortografía o puntuación.
Casi no hay errores de
gramática, ortografía o
puntuación.
Unos pocos errores de
gramática, ortografía o
puntuación.
Muchos errores de gramática,
ortografía o puntuación.
Inventario de
Recursos
Tecnológicos
Se identifican de manera clara
los recursos tecnológicos
(medio instruccional)
necesarios para la implantación
del proyecto.
Se identifican de alguna
manera los recursos
tecnológicos necesarios.
Se identifican de manera
parcial pero clara los recursos
tecnológicos necesarios.
Se identifican de manera
incompleta y poco clara los
recursos tecnológicos necesarios.
Recursos
Se identifican claramente los
recursos humanos, materiales y
económicos para ejecutar el
proyecto.
Se identifican de alguna
manera los recursos humanos,
materiales y económicos para
ejecutar el proyecto.
Se identifican de una manera
parcial pero clara los recursos
humanos, materiales y
económicos para ejecutar el
proyecto.
Se identifican de manera
incompleta y
poco clara los recursos
humanos, materiales y
económicos para ejecutar el
proyecto.
Propuesta
Se complementa
la solución propuesta con la
incorporación de
la tecnología de una manera
clara y precisa.
Se complementa
la solución propuesta con la
incorporación de
la tecnología.
Se desarrolla una propuesta de
solución pero se menciona de
manera parcial la incorporación
de tecnología.
Se completa de manera vaga una
propuesta de solución sin el uso
de tecnología.
Cronograma
Se determinan las fechas para
el desarrollo, implantación y
evaluación del proyecto.
Se determinan las fechas para
el desarrollo, implantación y
evaluación del proyecto.
Se determinan de manera
parcial las fechas para el
desarrollo, implantación y
evaluación del proyecto.
Se determinan algunas fechas
para el desarrollo del proyecto
pero de manera vaga, poco
concreta o imposibles de cumplir.
Tiempo de Entrega
Cumple con los tiempos
estipulados para entrega del
Reporte de la Fase III.
Entrega el reporte 1 día tarde.
Entrega el reporte 2 día tarde.
Entrega el reporte 3 día tarde.
Categoría
Necesita Mejorar
Ejemplo:
Presentación oral
Excelente
Cumplió Bien
Cumplió
Preparación
Buen proceso de
preparación, muestra
profundidad en el
desarrollo del tema.
Cumplido en la
presentación de los
resúmenes aprovecha el
tiempo para aclaraciones.
Presenta el resumen y la
actividad planeada
sucintamente.
Sustentación
Teórica
Domina el tema propuesto,
logra conectarlo y
explicarlo en sus
diferentes aspectos. La
evaluación logra analizar el
tema.
Logra explicar el tema
relacionando los diferentes
aspectos de éste. La
evaluación tiene en cuenta
los diversos aspectos
presentados.
Conoce el tema
superficialmente, logra
explicar los puntos
planteados. La actividad de
evaluación es poco
adecuada.
Manejo de la
Discusión
Bien liderada, suscita
controversia y
participación.
Es Organizada, puede
contestar los diferentes
interrogantes.
La dirige, no resalta los
puntos más importantes no
llega a conclusiones.
Participación
Pertinente. Activa, es
fundamental para el buen
desarrollo de cada uno de
los temas.
Oportuna, aporta buenos
elementos, presta atención
a las distintas
participaciones.
Está presente. Presta poca
atención a las distintas
participaciones.
Elaboración
V. 360° o Evaluación Integral
Consiste en la apreciación que tienen diversas personas
sobre el los conocimientos o comportamientos de una de
ellas o de un tercero, como medio para establecer su
dominio o nivel de dominio probable de una capacidad
compuesta por esos conocimientos o comportamientos.
Incluye a la propia persona evaluada, pares, superiores,
colaboradores y, en ocasiones, clientes y/o proveedores.
Elaboración
V. 360° o Evaluación Integral
Superior
Pares
Pares
Persona evaluada
Colaboradores
Proveedores o clientes
Colaboradores
Piloteo
• Monitorear la confiabilidad y validez de los exámenes
• Vigilar el nivel de dificultad y la capacidad de discriminación de los
exámenes
• Generar bancos de reactivos suficientemente amplios
• Realizar pilotajes de los exámenes
• Generar exámenes que evalúen el nivel de comprensión de un
tema, ir mas allá de evaluar la MEMORIA
Validación
• Consiste en analizar los resultados de aplicaciones
preliminares de la prueba para confirmar estadísticamente
su validez y su confiabilidad así como establecer las
condiciones definitivas para el manejo y administración del
instrumento con los usuarios.
• Antes de calificar se debe de considerar:
– Índice de dificultad. Corresponde al índice obtenido por el número
de personas que responden correctamente el reactivo.
El rango de dificultad aceptable va de .20 a .80
– Índice de discriminación. Un reactivo de discriminación aceptable,
es aquel que diferencia a los que saben de los que no.
Calificación
Es el mecanismo de ponderación y valoración de los resultados
obtenidos
– Utilizar un criterio de calificación y explicarlo.
– En el caso de prueba objetiva:
Analizar la dificultad de reactivos, considerando para la
calificación los que se encuentren en el rango de aceptables,
mejorar los reactivos que no estén en ese rango.
Analizar la discriminación de estos, en caso de que no
discriminen, revisar redacción del reactivo y los distractores
para plantearlo de manera diferente.
– Establecer con base a lo anterior los puntos de corte.
– En el caso de prueba práctica, puntaje aprobatorio
Preguntas por etapa
Diseño
Elaboración
Piloteo
Validación
Calificación
¿Qué tipo de prueba va a ser?
¿Cuál es la descripción de la capacidad?
¿Cuál es mi tabla de especificaciones, cómo va a
estar estructurado el instrumento?
¿Cómo se evaluará?
Preguntas
Casos prácticos
Evaluación de documentos
¿Cómo se resguardará el instrumento?
¿Con cuántas personas se va a probar el
instrumento?
¿Cómo se analizará que sea objetivo, valido y
confiable?
¿Cuál será el criterio de calificación y la asignación
de ésta?
Módulo
Generador de Exámenes
Dirección General de Ingreso, Capacitación y Certificación
Septiembre del 2007
Proceso de evaluación
RH
Inicio
Generación
Catálogo
Técnicas
/ Actualización del
de
Competencias
Creación
Tema
Examen
del
de
Generación del
Pool de reactivos
Configuración
del Examen
Candidato
Asignación
Examen
del
Consulta
Resultados
de
Toma
Decisiones
de
Aplicación
Examen
Fin
del
Administrador
del Modulo Generador
Dirección General de Ingreso, Capacitación y Certificación
Septiembre del 2007
Menú principal
Tipos de usuarios
1. Administrador
2. Elaborador de reactivos
3. Aplicador de Evaluaciones
Usuario del sistema
Menú principal
Bitácora de accesos
Bitácora de accesos
Bitácora de accesos
Bitácora de accesos
Menú principal
Mantenimiento de catálogos
Mantenimiento de catálogos
Mantenimiento de catálogos
Mantenimiento de catálogos
Menú principal
Menú principal
Menú principal
Ensamblaje de exámenes
Menú principal
Programación de sesiones
Programación de sesiones
Programación de sesiones
Programación de sesiones
Programación de sesiones
Menú principal
Resultados de examen
Resultados de examen
Menú principal
Registro de personas
Registro de personas
Menú principal
Administracion de inventario
Administracion de inventario
Administracion de inventario
Servidor
Publico
Dirección General de Ingreso, Capacitación y Certificación
Septiembre del 2007
Inscripción
Menú principal
Inscripción del SP
Inscripción del SP
Inscripción del SP
Menú principal
Evaluación del SP
Evaluación del SP
Evaluación del SP
Una vez que el evaluado haya terminado de
responder su evaluación, deberá hacer clic en
“Terminar”
Preguntas y
Respuestas
Dirección General de Ingreso, Capacitación y Certificación
Septiembre del 2007
Evaluación y
Retroalimentación
Dirección General de Ingreso, Capacitación y Certificación
Septiembre del 2007
Gracias
por asistir y participar
Dirección General de Ingreso, Capacitación y Certificación
Septiembre del 2007
Descargar

Instrumentos de evaluacion y modulo generador de examenes