Departamento de Métodos de Investigación y Diagnóstico en Educación
Universidad Complutense de Madrid
ELABORACIÓN DE PRUEBAS
Y ANÁLISIS DE DATOS
Grupo M.E.S.E.
Grupo de investigación: Medida y Evaluación de Sistemas Educativos
Measurement and Evaluation of Educational System. Research Group
Objetivo de la sesión

Familiarizar a los asistentes con algunos de los
conceptos y procedimientos básicos implicados
en el diseño de pruebas y en el análisis
preliminar de datos de evaluación del sistema
educativo
Contenidos
I. El diseño de las pruebas en los procesos de
evaluación: el caso de las pruebas de opción
múltiple
II. Introducción al análisis preliminar de los
datos obtenidos en la aplicación de pruebas
evaluativas desde la Teoría Clásica de la
Medida
Metodología
1.
Presentación de conceptos básicos
2.
Actividades prácticas de aplicación
1.
Revisión crítica de ítems y redacción
2.
Instalación y ejecución de ejemplos de análisis
de datos con “Corrector”
Diseño de pruebas
Introducción
Elaboración
de matrices de
especificación
Construcción de ítems
Introducción
Test o pruebas como escalas de
medida

Un test o prueba es
una situación problemática, preparada y examinada
anteriormente,
 a la que el sujeto tiene que responder siguiendo unas
instrucciones o reglas.
 luego se estiman sus respuestas comparándolas con
las respuestas del grupo normativo,
 así se estima la calidad, modo o grado de alguna
característica de su personalidad.

Introducción
Pruebas de rendimiento en procesos de
evaluación del sistema educativo

Las puntuaciones tienen que poder
compararse
con
las
puntuaciones
conseguidas por otros sujetos.

Por tanto, las condiciones de aplicación,
corrección e interpretación han de ser las
mismas para todos.
Introducción
Proceso general de construcción de
pruebas









Definición de la finalidad y el propósito de la prueba:
el marco de la evaluación
Elaboración de la matriz de especificaciones
Construcción y validación de ítems
Selección de ítems y construcción de pruebas piloto
Pilotaje de las pruebas
Análisis y selección de los ítems definitivos
Elaboración de la escala de rendimiento
Descripción e interpretación de la escala
Análisis y explotación de los resultados
Introducción
Construcción de una prueba
ETAPAS
Elección del rasgo y
especificación de los
objetivos del test
MÉTODOS
Análisis racional del
rasgo y de sus
manifestaciones
Enunciación de un
conjunto amplio de ítems
Examen y juicio crítico
pormenorizado de cada
ítem
RESULTADOS
Definición de
Rasgo y de sus
manifestaciones
Conjunto amplio
de ítems
Selección por un grupo
de expertos
Subconjunto
seleccionado de
ítems
Introducción
ETAPAS
Análisis formal de ítems
- Dificultad
- Discriminación
- Distractores
MÉTODOS
Estudio piloto: aplicación
a una muestra
representativa de la
población objetivo y uso
de procedimientos
estadísticos de análisis
Selección de los ítems
del test
RESULTADOS
Parámetros que
definen al ítem
Conjunto de ítems
que forman el test
en su versión
definitiva.
Estudio de las
características del test
Técnicas estadísticas:
Cálculos de fiabilidad y
Validez
Estandarización y/o
establecimiento de
normas para la
interpretación
Técnicas estadísticas
muestrales e
inferenciales
Características
técnicas del test
en su versión
definitiva
El test como
producto final del
proceso
Adaptado de SANTIESTEBAN REQUENA, C. (1990):Psicometría. Madrid, Ediciones Norma
Elaboración de matrices de especificación
Planificación de una P.O.

Consideraciones preliminares:
 Población
(edad, nivel, etc.)
 Objetivo de la prueba (diagnóstico,
evaluación, etc.)
AYUDAN A DETERMINAR…
Elaboración de matrices de especificación
…en primer lugar
Contenido de la prueba
 Preguntas o técnicas a incluir
 Límite de tiempo y número de ítems

… y en segundo lugar…
Elaboración de matrices de especificación
…permiten definir
Objetivos
 Contenidos
 Competencias

específicos
Ponderaciones de los mismos
 Tipos específicos de ítems a incluir

Elaboración de matrices de especificación
Especificación de la P.O.
Cuanto más precisa sea la especificación,
más precisa será la medida:
simple
completo
Lista de especificación de contenidos
Tabla de especificaciones
Elaboración de matrices de especificación
Requisitos para la construcción de ítems
1.
2.
Conocimiento en profundidad de los contenidos de la
materia a evaluar.
Comprensión de una descripción del dominio cognitivo
Al prestar atención a la clasificación cognitiva de un ítem, se
evita construir demasiados ítems que midan recuerdos
de hechos puntuales.
Un ítem escrito considerando su nivel cognitivo y un
determinado contenido tiene más probabilidades de ser
un buen ítem.
Elaboración de matrices de especificación
Una herramienta base para la
evaluación: LA TABLA DE
ESPECIFICACIONES
Muy útil como guía para la construcción y
la interpretación de pruebas evaluativas
 Es una tabla de doble entrada:
contenidos x procesos.

Elaboración de matrices de especificación
Tabla de especificaciones I
También denominada Matriz curricular de
referencia
 A cada prueba le corresponde una
diferente
 Herramienta que guía la construcción y la
interpretación de la prueba
 Instrumento de partida y llegada

(*)
Elaboración de matrices de especificación
Tabla de especificaciones
Proceso I
Proceso II
Proceso III
Contenido I Descriptores Descriptores Descriptores
Contenido II Descriptores Descriptores Descriptores
Contenido III Descriptores Descriptores Descriptores
Contenido IV Descriptores Descriptores Descriptores
Elaboración de matrices de especificación
CONCEPTOS IMPLICADOS
1.Contenidos curriculares
Declaraciones o descripciones declarativas o
procedimentales que forman el corpus doctrinal de
una disciplina
2.Procesos
Niveles de complejidad en la resolución de la tarea
3. Descriptores
Formulaciones sintéticas de las competencias que
habrán de ser medidas por los ítems que se
elaboren. Cada uno de ellos puede generar varios
ítems
Elaboración de matrices de especificación
Tabla de especificaciones III
En el cruce de contenidos con dominios
cognitivos se encuentran los descriptores
de desempeño.
Cada uno de ellos puede corresponder a
varios ítems.
Un mismo contenido asociado a dominios
cognitivos diferentes puede dar lugar a
diferentes descriptores.
(*)
Elaboración de matrices de especificación
Tabla de especificaciones IV
TAREAS PARA SU REALIZACIÓN:
1.
2.
3.
4.
5.
Determinación de las Competencias
Determinación de los Contenidos
Determinación de los Descriptores
Determinación del peso relativo de cada casilla
Elaboración de los ítems especificados para cada
descriptor
(*)
Elaboración de matrices de especificación
Tabla de especificaciones 2º de ESO:
Evaluación Diagnóstica 2008-2009
REPRODUCCIÓN
CONEXIÓN REFLEXIÓN
NÚMEROS Y ÁLGEBRA
10
24
10
GEOMETRÍA
7
5
6
FUNCIONES Y GRÁFICAS
1
4
1
ESTADÍSTICA Y PROBABILIDAD
3
5
1
Descriptores
Elaboración de matrices de especificación
Tabla de especificaciones 2º de ESO:
Evaluación Diagnóstica 2008-2009
IDENTIFICACIÓN
RECUPERACIÓN
INFORMACIÓN
REORGANIZACIÓN
REALIZACIÓN
INFERENCIAS
REFLEXIÓN SOBRE
CONTENIDO Y FORMA
NARRATIVOS
1
4
3
3
2
DESCRIPTIVOS
1
3
2
1
6
EXPOSITIVOS
1
4
3
2
3
ARGUMENTATIVOS
1
3
3
2
7
INSTRUCTIVOS
1
3
2
1
2
Ítems
Tabla de especificaciones:
CONTENIDO
DOMINIOS
COGNITIVOS
Conocimiento
III. FUNCIONES
Aplicación
Resolución de
problemas
Conocimiento
IV. ESTADÍSTICA
Aplicación
Resolución de
problemas
DESCRIPTORES
62. Identificar las características de una función ( variable dependiente e independiente, función creciente,
decreciente y constante) a partir de
63. un gráfico
64. Reconocer la función lineal a partir de su ecuación
65. Reconocer la función afín a partir de su ecuación
66. Reconocer la función constante a partir de su ecuación
67. Interpretar geométricamente la pendiente y la ordenada en el origen de una función ( lineal, afín y
constante)
68. Resolución de problemas de elaboración, interpretación y lectura de gráficas relacionadas con los
fenómenos naturales, la vida cotidiana y el mundo de la información
69.
70.
71.
72.
73.
74.
75.
76.
Distinguir variable estadística discreta y continua
Distinguir entre frecuencia absoluta y relativa
Conocer los conceptos de moda y mediana
Interpretar tablas de frecuencias
Interpretar gráficos estadísticos (histograma, diagrama de barras, diagrama de sectores)
Calcular la media aritmética de una variable continua
Calcular la media aritmética de una variable discreta
Calcular las medidas de dispersión (rango y desviación media)
77. Resolver problemas relacionados con la construcción de tablas
Construcción de ítems
¿QUÉ ES UN ÍTEM?




Es una unidad de medida.
Consiste en un estímulo y una forma prescrita
de respuesta.
Su objetivo es obtener una conducta
observable y claramente interpretable.
De la respuesta debe poder inferirse, con un
grado suficiente de fiabilidad y validez, un nivel
de dominio de la competencia (o grado de
eficacia en la respuesta dada a las demandas
planteadas por el contexto).
Construcción de ítems
TIPOS DE ITEMS
Existen diferentes tipos de ítems.
Aquí nos vamos a centrar en:
 Ítems
de respuesta sugerida
(opción múltiple)
 Ítems de respuesta construida (una
única respuesta correcta)
Construcción de ítems
ITEMS DE RESPUESTA
SUGERIDA
Aquéllos en que las opciones de respuesta
están presentes en su formulación y, de
entre ellas, el estudiante ha de identificar y
seleccionar la respuesta correcta.
Pueden ser Verdadero o Falso o de
respuesta múltiple.
Construcción de ítems
COMPONENTES DE UN ÍTEM DE
RESPUESTA MÚLTIPLE
TRONCO O VÁSTAGO
Parte inicial del ítem en la que se especifica la tarea
Puede ser una pregunta, instrucciones, una frase
incompleta, una situación de la vida real, etc.
OPCIONES
Son todas las alternativas de respuesta de un ítem (4)
CLAVE
Es la respuesta correcta
DISTRACTORES
Son las opciones incorrectas
Nota: DE UNA MISMA SITUACIÓN o CONTEXTO PUEDEN
DERIVARSE DISTINTOS ÍTEMS
Construcción de ítems
Componentes de un ítem de
opción múltiple: un ejemplo
El autor de “Paraíso perdido” es:
a) Donne
b) Keats
DISTRACTORES
c) Chaucer
d) Milton
CLAVE
TRONCO
Construcción de ítems
Ejemplo 1
¿Qué frase es consistente con la gráfica?
a)
La temperatura de descongelación del hielo permanece constante
hasta que todo el hielo se ha derretido.
b)
La proporción de descongelación es equivalente a la de
ebullición.
c)
Se requiere la misma cantidad de calor para derretir el hielo que
para hervir el agua.
d)
Se requiere más calor para derretir el hielo que para hacer hervir
el agua.
Temperatura
T
e
m
p
er
at
ur
a
(
C
el
si
u
s)
250
200
Vapor
150
Agua Hirviendo
100
Agua Líquida
50
0
Descongelación
Hielo
2
4
6
Tiempo (Minutos)
8
10
Construcción de ítems
Ejemplo 2
El “extraño” caso del círculo rodante.
En la figura siguiente, el radio del círculo A es 1/3 del radio del círculo B.
Comenzando desde la posición mostrada en la figura, el círculo A rueda a lo
largo del círculo B. ¿Cuántas revoluciones tendrá que efectuar el círculo A
para que su centro vuelva al punto de partida?
a)3
b)6
c) 9/2
d)9
B
A
EJEMPLO
Construcción de ítems
Ejemplo 3
Si la paridad Libra esterlina £ / Euro € es 1£ =
1.20€ ¿Cuántos euros puede adquirir un
turista inglés al cambiar 200£?
a) 600 €
b) 133,33 €
c) 300 €
d) 200 €
Construcción de ítems
Ejemplo 4
La igualdad CORRECTA es:
a) 10 Kg = 1.000 g
b) 1 Kg = 1.000 g
c) 10 Kg = 100 g
d) 10 dg = 1.000 mg
Construcción de ítems
SUGERENCIAS PARA EL TRONCO
Tratar de usar formas positivas siempre
que sea posible
 Evitar en cualquier caso la doble negación.
Si ha de ser negativo, resaltar la negación
 Favorecer la claridad sobre la concisión
 Ha de ser claro, pero no se ha de utilizar
para enseñar. Debe proporcionar sólo la
información requerida para responder.
 Puede ser una pregunta o una frase a
completar

Construcción de ítems
SUGERENCIAS PARA LAS
OPCIONES
La opción correcta debe ser claramente
correcta
 La dificultad del ítem puede modificarse
dramáticamente haciendo los distractores
similares a la clave
 Utilizar los preconceptos erróneos como
distractores
 Los distractores que confunden a los
expertos no son buenos
 Juntar los distractores de redacción similar

Construcción de ítems
Más sugerencias para las
opciones
Evitar la opción “todos los anteriores”, en su lugar
utilizar:
EJEMPLO ¿Cuál de las siguientes Naciones luchó
contra los aliados en la 2ª Guerra Mundial?
a) Sólo I
I. Alemania
b) Sólo II
II. Italia
c) Sólo I y II
III. Japón
d) I, II y III
Utilizar los números romanos sólo cuando no haya
una forma mejor
Si un número, como I, se incluye en todas las
opciones, esa alternativa no se está probando.
Llevarla al tronco si se desea o eliminarla de
alguna opción
Construcción de ítems
Y más sugerencias para las
opciones





No abusar de “ninguna de las anteriores”.
Todas las opciones deben ser de la misma
longitud y complejidad, y de similar estructura
sintáctica
La respuesta correcta no debe ser la más larga,
ni la más corta, ni la única distinta
Con más opciones hay menor probabilidad de
adivinación, pero también es más difícil la
construcción
Siempre el mismo número de opciones (4) y
siempre sólo una correcta
Construcción de ítems
Y más…
Evitar utilizar en la clave palabras que
lleven a los no informados a seleccionarla.
(La repetición de palabras del tronco sólo
en la clave es una pista que debe
evitarse)
 Si el tronco es negativo, evitar opciones
negativas
 Distribuir la posición de la clave al azar.
Evitar usar siempre la misma posición

Construcción de ítems
OTROS TIPOS DE ÍTEMS
Ítems de respuesta construida:
La respuesta es abierta pero
sólo existe una respuesta
correcta
Construcción de ítems
COMPONENTES DE UN ÍTEM DE
RESPUESTA CONSTRUIDA
TRONCO O VÁSTAGO
 Parte inicial del ítem en la que se especifica la tarea
 Puede ser una pregunta, instrucciones, una frase
incompleta, una situación de la vida real, etc.
SOLUCIÓN
 Respuesta correcta
Nota: DE UNA MISMA SITUACIÓN o CONTEXTO
PUEDEN DERIVARSE DISTINTOS ÍTEMS (máximo 5)
Construcción de ítems
Ejemplos de ítems de respuesta
construida
1. Resuelve (7+3) x 5 = ……..
2. Resuelve 7 + 3 x 5 = ………
3. Coloca sobre la línea de puntos el signo (<, > o =) que
corresponde:
57.034 …….. 50.000 + 7.000 + 300 + 4
4. ¿Cuánto dinero me falta para comprar una bicicleta de
200 euros, si tengo 2 billetes de 50 euros, 3 billetes de
20 euros y 5 billetes de 5 euros?
Solución:………………………….
Construcción de ítems
Otros ejemplos de ítems de
respuesta construida
Resuelve esta adivinanza:
Tiene famosa memoria,
gran tamaño y dura piel,
y la nariz más grandota
que en el mundo pueda haber
Solución:……………………………..
A qué objeto se refiere el siguiente texto:
Viaja siempre en mi cartera;
me ayuda a planificar;
siempre señala, certera,
la fecha en la que se está
Solución:…………………………….
Construcción de ítems
Y más ejemplos de ítems de
respuesta construida
REPISAS
Un carpintero necesita los siguientes materiales para hacer un juego de
repisas:
4 tablones largos de madera,
6 tablones cortos de madera,
12 grapas pequeñas,
2 grapas grandes y
14 tornillos
El carpintero tiene en su almacén 26 tablones grandes de madera, 33
tablones cortos de madera, 200 grapas pequeñas, 20 grapas
grandes y 510 tornillos.
¿Cuántos juegos de repisas puede hacer el carpintero?
Respuesta:.......................................
Construcción de ítems
SUGERENCIAS GENÉRICAS






Los contenidos han de ser “significativos” (evitar
la tentación del Trivial Pursuit)
Usar vocabulario adecuado para la edad
Utilizar la sintaxis correcta
La misma idea puede medirse en varios niveles
cognitivos. Elegir un nivel cognitivo determinado
y tratar de ajustarse a él
El contenido del ítem se clasifica en función del
enunciado, del tronco y de la respuesta
correcta. Las opciones pueden venir de varias
áreas, pero no determinan al ítem
La “capciosidad” (utilización de distractores
sutiles pero no importantes) nunca es productiva
Construcción de ítems
RESUMEN: principales
requisitos








Conocer el tema
Pregunta clara en el tronco
Una sola respuesta
Opciones uniformes y claramente ordenadas
Distractores plausibles
Evitar repetir encabezamiento en las
opciones
Evitar “todos los anteriores” como opción
Ajustar la dificultad
Construcción de ítems









Corrección gramatical, precisión, claridad
Aleatorizar la posición de las claves
Evitar pistas inoperantes
Evitar solapamiento de opciones
Evitar formas negativas en lo posible
Utilizar gráficos o ilustraciones
Especificar las unidades a que se refieren los
números
Independencia entre los ítems de un set
Tratar de que el test cubra los contenidos y
niveles cognitivos
Análisis psicométrico de
la prueba desde la TCT:
conceptos básicos
1.
2.
Fiabilidad y validez de las pruebas
Análisis y selección de ítems
Fiabilidad y Validez
Precisión = Fiabilidad
Exactitud = Validez
Análisis de la prueba: Fiabilidad

Concepto relacionado con la estabilidad de la medida
proporcionada por la prueba, con su consistencia y
con la predictibilidad de la misma.

Cuando a las mismas personas se les pasa la misma
prueba en diferentes momentos, si no han cambiado,
deberían obtener las mismas puntuaciones (o muy
parecidas): Fiabilidad como estabilidad temporal
(correlación test-retest)

De una prueba de competencia en matemáticas
esperamos que todos sus elementos midan lo mismo
(competencia matemática), y que por lo tanto sean
sumables en una puntuación total única que representa,
mide ese rasgo: Fiabilidad como consistencia interna
(a de Cronbach)
Análisis de la prueba: Validez

Grado en que mide lo que pretende
medir y no otra cosa.
Necesidad de referente o criterio externo.
(Ejemplo: una prueba de matemáticas
debe
medir
conocimientos
de
matemáticas y no comprensión verbal.)

Análisis de ítems

Puesto que los test están construidos a partir de ítems,
cualquier prueba puede ser mejorada a través de una
adecuada selección de los elementos (ítems) en función
de sus objetivos, del tipo de rasgo y de los sujetos que
integran la muestra

Un buen test tiene que estar compuesto por buenos
ítems

Es importante conocer las características técnicas de los
ítems que componen una prueba.
Análisis de ítems
De los ítems podemos conocer muchas
características, pero…
Los parámetros son el mínimo conjunto de
características técnicas necesarias para definir
el ítem, en TCT:

 Dificultad
 Homogeneidad
 Validez.
(Discriminación)
Otras características, como la varianza del ítem, no son
propiamente un parámetro, ya que la varianza de un
ítem dicotómico depende de la dificultad y, por tanto, el
parámetro es la dificultad mientras que la varianza es un
derivado.
Análisis de ítems
Características, no parámetros

Proporción de respuestas correctas
(para un ítem dado):

Proporción de respuestas incorrectas
(para un ítem dado):
X j
P=
N
q  1 p
S  p.q
2

Varianza de un ítem:
Se interpreta como un índice de hasta que punto un
ítem contribuye a diferenciar a los sujetos en un
test.
Indicadores de eficacia de los ítems:
Análisis de la dificultad





Si el objetivo de una prueba es que se manifiesten
las diferencias individuales entre los sujetos por
medio de la tarea a realizar…
…todos los elementos que configuran la prueba han
de contribuir a diferenciar, a discriminar, entre los
sujetos.
Por lo tanto, los elementos no tienen que ser ni muy
fáciles ya que los contestarían bien todos los sujetos,
ni muy difíciles ya que nadie acertaría nada.
La dificultad de los elementos tendrá que estar entre
estos dos extremos para que puedan discriminar
adecuadamente.
Indicadores de eficacia de los ítems:
Cálculo del índice de dificultad
I.D.: número de aciertos partido por el número de
sujetos que lo han intentado
A
I . D. 
n
La máxima varianza, la máxima capacidad
discriminativa se da en Ítems de dificultad media.
(S2=p·q)
P = 0,50
q= 0,50
S2=0,25
Indicadores de eficacia de los ítems:
Uso del índice de dificultad
CLASIFICACIÓN DE
LOS ELEMENTOS
PROPORCIÓN
APROXIMADA
LIMITES DEL INDICE
DE DIFICULTAD
Muy fáciles
0,1
De 0,75 a 0,95
Fáciles
0,2
De 0,55 a 0,74
Normales
0,4
De 0,45 a 0,54
Difí ciles
0,2
De 0,25 a 0,44
Muy difí ciles
0,1
De 0,05 a 0,24
Indicadores de eficacia de los ítems:
Análisis de la dificultad




Aunque un elemento es muy fácil cuando su ID
esté por encima de 0,75,
en la práctica no suelen incluirse elementos cuyo
ID sea > 0,95.
Algo similar ocurre con los muy difíciles, en que
no suelen tomarse en cuenta los de ID < 0,05.
la suma de los ID de todos los ítems del test es
igual a la media de las puntuaciones en todos los
ítems, es decir, la media del test.
Indicadores de eficacia de los ítems:
Análisis de la dificultad
Inconvenientes o problemas que se le atribuyen al ID:


Semánticamente sería más correcto hablar de índice de
facilidad.
Cambia en relación a las características de la muestra, no es
una propiedad intrínseca al ítem. Esto solo ocurre en la TCT,
ya que en la TRI el concepto es diferente para salvar esta
limitación.
Indicadores de eficacia de los ítems:
Índice de homogeneidad (o discriminación)



En la mayoría de los tests una propiedad que
tienen que cumplir los elementos del mismo es
que sean homogéneos
Es decir: todos los elementos tienen que medir
lo mismo que el test en su conjunto.
Tiene que ver con la fiabilidad de un ítem, ya que
indica hasta qué punto el ítem mide lo mismo que
el total del test.
Indicadores de eficacia de los ítems:
Índice de homogeneidad (o discriminación)





Se trata de una correlación entre el ítem y el test en su conjunto.
Para obtenerlo debemos aplicar a esta correlación un índice de
corrección, debido a que en la correlación incluimos al ítem
dentro del conjunto del test.
Los valores obtenidos estarán entre -1 y 1.
La fiabilidad de esta correlación aumenta cuando el valor de p
es mediano, es decir, se encuentra alrededor de 0,50.
Como limitación hay que señalar que la muestra tiene que
tener más de 100 sujetos y que no se puede utilizar cuando el
valor de p se encuentra en un extremo, es decir, el valor de p
se tiene que encontrar entre 0,10 y 0,90.
Indicadores de eficacia de los ítems:
Índice de validez



Del mismo modo que la discriminación del ítem tiene
que ver con la fiabilidad, la validez del ítem tiene que
ver con la validez del test.
El índice de validez es la correlación del ítem con un
criterio externo y se calcula con la correlación biserial
puntual.
Por ejemplo, en los casos en los que medimos
alguna variable de rendimiento, la variable de
contraste o criterio externo pueden ser las notas o
calificaciones académicas obtenidas por los sujetos.
Indicadores de eficacia de los ítems:
Análisis de los distractores



En los tests de elección múltiple, además de conocer la
dificultad, homogeneidad y validez de los elementos, interesa
conocer la eficacia de las respuestas incorrectas.
Para seleccionar las respuestas incorrectas, hay que tener en
cuenta que para las personas que tienen poca información,
éstas tienen que tener el mismo atractivo que la correcta.
Si conseguimos esto, los sujetos más informados tenderán a
elegir la respuesta correcta y los sujetos que poseen menos
información tenderán o mejor dicho se distribuirán
homogéneamente en todas las alternativas u opciones del
elemento.
Indicadores de eficacia de los ítems:
Análisis de los distractores



Cuando las respuestas incorrectas están mal
elaboradas
…porque son ilógicas, absurdas o sin ningún
atractivo, los sujetos no tendrán ninguna dificultad
para elegir la respuesta correcta ya que por
reducción a lo absurdo, eliminarán las respuestas
incorrectas,
aunque
no
posean
suficiente
información.
Por lo tanto es necesario analizar las respuestas
incorrectas objetivamente, para rechazar las
inoperantes.
SELECCIÓN DE ÍTEMS
Criterios:
1. Correlación del ítem con un criterio externo (si lo hay)
 Validez predictiva
2. Discriminación  Correlación del ítem con la
puntuación total del test (consistencia interna). Se
utiliza la correlación biserial y biserial puntual.
3. Dificultad  Tenemos que encontrar ítems de
dificultad media.
Puesto que en ocasiones, 2 y 3 entran en conflicto,
necesitamos hacer uso de otro criterio
SELECCIÓN DE ÍTEMS
Criterios:
Item 1
Dif. Disc. Tenemos que utilizar otro criterio que combine
los 2 elementos
0,5 0,25
Item 2
0,3
0,45
4. Contribución del ítem a la varianza total del test 
En éste se combinan la dificultad y la
discriminación (2 y 3). Es la covarianza del ítem y
el test.
Análisis de ítems y
de la prueba con
Corrector
1.
2.
3.
4.
Qué es Corrector
Instalación
Ejecución
Interpretación de resultados
Análisis de datos con Corrector
1. ¿Qué es?
La herramienta Corrector es un complemento de macros
automáticas de EXCEL que se utiliza para la corrección
y el análisis de pruebas objetivas.
Análisis de datos con Corrector
2. Instalación
Antes de proceder a la
instalación debe copiarse
el complemento .xla que
contiene el programa en
algún directorio del disco
duro, por ejemplo:
C:\Mis documentos.
Análisis de datos con Corrector
2.1. Instalación Microsoft Office: versión 2007 (I)
Para proceder a la instalación se debe abrir un libro de Excel y, a
continuación, seguir la siguiente ruta:
Botón de Excel
1
Botón de Excel - Opciones de Excel - Complementos – Ir…
Análisis de datos con Corrector
2.1. Instalación Microsoft Office: versión 2007 (II)
2
Pulsa el botón 'Examinar' que aparece a la derecha.
Análisis de datos con Corrector
2.1. Instalación Microsoft Office: versión 2007 (III)
3
Se abrirá una ventana donde hay que buscar el directorio en el que se copió el
programa y seleccionar éste.
Pulsar 'Abrir’.
Análisis de datos con Corrector
2.1. Instalación Microsoft Office: versión 2007 (IV)
4
En el listado de complementos disponibles aparecerá marcado el nuevo
complemento.
Pulsar 'Aceptar’.
Análisis de datos con Corrector
2.1. Instalación Microsoft Office: versión 2007 (V)
5
A partir de este momento si se accede a complementos aparecerá un control nuevo
con la etiqueta 'Corrector'.
El programa ha sido instalado con éxito!!
Análisis de datos con Corrector
2.2. Instalación Microsoft Office: versiones anteriores (I)
Para proceder a la instalación se debe abrir un libro de Excel y, a
continuación, seguir la siguiente ruta:
1
Herramientas - Complementos
Análisis de datos con Corrector
2.2. Instalación Microsoft Office: versiones anteriores (II)
2
Pulsa el botón 'Examinar' que aparece a la derecha.
Análisis de datos con Corrector
2.2. Instalación Microsoft Office: versiones anteriores (III)
3
Se abrirá una ventana donde hay que buscar el directorio en el que se copió el
programa y seleccionar éste.
Pulsar ‘Aceptar’.
Análisis de datos con Corrector
2.2. Instalación Microsoft Office: versiones anteriores (IV)
4
En el listado de complementos disponibles aparecerá marcado el nuevo
complemento.
Pulsar 'Aceptar’.
Análisis de datos con Corrector
2.2. Instalación Microsoft Office: versiones anteriores (V)
5
En la barra de menús aparece un control nuevo con la etiqueta 'Corrector'.
El problema se ha instalado con éxito!!
Análisis de datos con Corrector
3. Ejecución
Para ver el funcionamiento del
programa, lo más sencillo es ejecutar el
ejemplo. Para ello pulsa sobre el
control 'Corrector'.
Aparecerán diferentes opciones:
'Leer datos ASCII...'
'Inicializar'
'Corregir'
'Integrar'
'Analizar'
‘Recodificar'
'Detectar copia'
'Acerca de'
Análisis de datos con Corrector
3.1. Inicializar
El primer paso ejecutar el programa es la inicialización del mismo, para ello se debe
pulsar en Corrector - Inicializar
Análisis de datos con Corrector
3.2. Preparación de la información (I)
Al inicializar el corrector aparecen tres hojas en el libro de Excel donde
se deben introducir los datos a analizar:
Orden de
los ítems
Alternativa
correcta
Nº de
alternativas
1
Introducción del
ítem en el análisis:
Y- Si
N- No
Clave: Hoja que contiene la “clave” o “alternativa correcta” de cada uno de los
ítems a analizar.
Análisis de datos con Corrector
3.2. Preparación de la información (II)
Etiqueta
para el
ítem 9
2
Etiqueta de ítems (Ejemplo): Aparece el nombre que se desea asignar a cada
uno de los ítems.
Análisis de datos con Corrector
3.2. Preparación de la información (III)
Orden del
ítem
Respuesta del
sujeto 4 al ítem 28
Identificación
del sujeto
3
Datos de entrada (Ejemplo): Hoja con las respuestas de los sujetos a los
diferentes reactivos.
Análisis de datos con Corrector
3.3. Analizar (I)
Sobre la hoja que contiene los datos, pinchar en: Corrector – Analizar
Dar respuesta a las preguntas que aparecen a continuación:
Análisis de datos con Corrector
3.3. Analizar (II)
1
Introducir el nombre de la hoja que contiene los datos.
Pinchar en aceptar
Análisis de datos con Corrector
3.3. Analizar (III)
2
Indicar cuál es el número de grupos a analizar.
En el caso del ejemplo como sólo hay un grupo pinchar: No.
Análisis de datos con Corrector
3.3. Analizar (IV)
3
Asignar nombre a la hoja que va a contener el análisis técnico de los ítems. Por
ejemplo: Análisis de ítems
Pinchar en Aceptar
Análisis de datos con Corrector
3.3. Analizar (V)
4
Asignar nombre a la hoja que va a contener el análisis de la prueba. Por
ejemplo: Análisis de la Prueba
Pinchar en Aceptar
Análisis de datos con Corrector
3.3. Analizar (VI)
5
Introducir, si se desea, un título para el resultado del análisis.
Pinchar en Aceptar
Análisis de datos con Corrector
3.3. Analizar (VII)
6
Introducir, si se desea, un subtítulo para el resultado del análisis.
Pinchar en Aceptar
Análisis de datos con Corrector
3.3. Analizar (VIII)
7
Indicar si se van a utilizar etiquetas para los ítems a analizar.
En el ejemplo que nos ocupa, como las etiquetas están elaboradas, pinchar en:
Si
Análisis de datos con Corrector
3.3. Analizar (IX)
8
Indicar como se llama la hoja que contiene las etiquetas.
Pinchar en Aceptar
Análisis de datos con Corrector
4. Interpretación de resultados

Los resultados del análisis de la prueba y del análisis técnico de los
ítems aparecen diferenciados en dos hojas del libro Excel en el que
se ha llevado a cabo el análisis.

El análisis de la prueba recoge información relativa a las
características generales del instrumento.

Sin embargo, dado que cualquier prueba puede ser mejorada a
través de una adecuada selección de los elementos que la
componen, se hace necesario conocer todo el conjunto de
parámetros que informan de las características técnicas necesarias
que permiten definir cada uno de los ítems.
Análisis de datos con Corrector
4.1. Análisis de la Prueba (I)
Análisis de datos con Corrector
4.1. Análisis de la Prueba (II)
Nº de ítems
Número de ítems analizados.
Nº de sujetos
Número de sujetos que han dado respuesta al conjunto de ítems.
Mínimo
Puntuación mínima de los sujetos en la prueba.
Máximo
Puntuación máxima de los sujetos en la prueba.
Nº medio de aciertos
Media de los resultados obtenidos por los sujetos en el total de la prueba.
Error típico de la media
Error típico de la media del test.
Varianza
Varianza total del test.
Desviación típica
Desviación típica del test.
Facilidad media
Media de los índices de facilidad de los ítems que componen la prueba. Aporta información de la
dificultad del instrumento.
Rbp media
Media de las correlaciones biserial puntual de los diferentes ítems que componen la prueba. Aporta
información de la discriminación de la prueba.
Fiabilidad (Alfa de
Cronbach)
La fiabilidad es la capacidad de un instrumento para medir con consistencia un constructo
determinado. El estadístico alfa contrasta dicha fiabilidad calculando el grado en el que covarían los
ítems que constituyen el test, en una escala que puede tomar valores entre cero y uno, siendo
aceptable un valor de alfa superior a 0,8 (Nunnally 1994)
Error típico de medida
Error típico de medida de la prueba. Permite establecer intervalos de confianza en torno a las
puntuaciones observadas para, así estimar las puntuaciones verdaderas.
* Nunnally J. C. (1994) Psychometric theory. New York: McGraw Hill
Análisis de datos con Corrector
4.2. Análisis técnico de los ítems (I)
Análisis de datos con Corrector
4.2. Análisis técnico de los ítems (II)
Ítem
Identificación del ítem a analizar.
El hipervínculo conduce a una hoja del libro de Excel que recoge un gráfico con el porcentaje de respuesta
para cada alternativa.
Facilidad
Conocido como Índice de dificultad o facilidad media del ítem, informa de la proporción de sujetos que ha
contestado bien el ítem.
Toma valores comprendidos entre 0 y 1, siendo el valor más próximo a la unidad a medida que aumenta la
facilidad.
Es el resultado de dividir el número de sujetos que han acertado el ítem entre el número de sujetos que lo
han intentado.
Varianza
Permite identificar hasta que punto un ítem contribuye a diferenciar a los sujetos en un test.
Toma el valor de 0 cuando no existe dispersión en la respuesta dada por los sujetos al ítem (todos aciertan o
todos fallan) y su máximo valor es 0,25.
Desviación típica
Al igual que la varianza del ítem, su desviación típica informa sobre la dispersión de las respuestas dadas por
los sujetos al ítem analizado.
Biserial puntual
Correlación entre la respuesta de los sujetos al ítem y su calificación en el total de la prueba.
Biserial puntual
corregida
Medida del grado de discriminación del ítem.
Correlación entre la respuesta de los sujetos al ítem y su calificación en el total de la prueba, excluyendo de
esta calificación el ítem que se está analizando.
Clave
Media p
Media q
Alternativa correcta.
Media de las puntuaciones obtenidas en el total de la prueba por aquellos sujetos que han acertado el ítem
analizado.
Media de las puntuaciones obtenidas en el total de la prueba por aquellos sujetos que no han acertado el
ítem analizado.
Análisis de datos con Corrector
4.2. Análisis técnico de los ítems (III)
Cov(i,X) (Six)
Cov(i,X) (Six) (Spur)
Covarianza entre la respuesta dada por los sujetos al ítem y los resultados que han obtenido en el
total de la prueba.
Informa de la contribución del ítem a la varianza total del test.
Covarianza entre la respuesta dada por los sujetos al ítem y su puntuación en el total de la prueba,
excluyendo el de esta calificación el ítem que se está analizando.
% Alternativa 1
% Alternativa 2
% Alternativa 3
Proporción de respuesta a cada una de las alternativas del ítem.
% Alternativa 4
% otras
rbp Alternativa 1
rbp Alternativa 2
rbp Alternativa 3
Correlación biserial puntual entre cada una de las alternativas y su calificación en el total de la
prueba.
rbp Alternativa 4
rbp otras
rbp (Spur) Alter. 1
rbp (Spur) Alter. 2
rbp (Spur) Alter. 3
rbp (Spur) Alter. 4
rbp (Spur) otras
Correlación biserial puntual entre cada una de las alternativas y su calificación en el total de la
prueba, excluyendo de esta calificación el ítem que se está analizando.
Descargar

Diapositiva 1