Dr. Juan Manuel Esquivel A.
CECC/SICA
Propósito de la video conferencia
 Analizar el concepto de validez, desde la
perspectiva de los resultados de pruebas que
miden conocimientos o contenidos
curriculares
 Analizar las implicaciones de la recolección
de evidencias de validez en el desarrollo y
administración de pruebas de
conocimientos.
Importancia de este análisis
 Problemas comunes
 Énfasis limitado que se le da a la recolección de
evidencias de validez durante los procesos de
elaboración de las pruebas
 Sobrevaloración de las evidencias estadísticas
que se obtiene después de la administración de
una prueba.
Conceptos fundamentales(1)
 La validez junto con la confiabilidad son
conceptos fundamentales en la medición
psicológica y educativa. Hoy nuestro interés
se concentrará en la validez
Conceptos fundamentales(2)
 Validez: “juicio integrado del grado en que la
evidencia empírica y el razonamiento
teórico sustenta la conveniencia y lo
adecuado de las inferencias y acciones
basados en los puntajes obtenidos en una
prueba y de las consecuencias sociales de su
empleo” (Meesick, 1989)
Ideas fundamentales derivadas(1)
 La evidencia de validez fundamenta las
inferencias hechas acerca de los resultados
de una prueba y no al instrumento en sí.
 La validez es una característica de grado.
 Cada administración de una prueba requiere
renovar las evidencias de validez.
Ideas fundamentales derivadas (2)
 La validez no solo depende de las respuestas
dadas a los ítems, tareas o estímulos, sino de
las personas que las dan y del contexto en
que se da la medición: factores ambientales
y condiciones.
 Las consecuencias sociales de la
interpretación tienen implicaciones de
carácter ético y científico.
Función de los resultados de la
medición
 Diagnóstica: con el propósito de planificar
un proceso educativo nuevo
 Formativa: con el propósito de corregir un
proceso educativo en desarrollo
 Sumativa: con propósito de contribuir a la
calificación de un proceso o fase terminada.
Procedimientos de obtención de
evidencia de validez

En una prueba que pretende medir
contenidos curriculares del dominio
cognoscitivo o más simplemente
conocimiento disciplinar a una población
regional, nacional o regional interna. Las
evidencias se recolectan para sustentar la
interpretación de los resultados, en dos momentos:


Antes de la administración piloto o definitiva de la prueba
Después de esa administración.
Procedimiento general para el
desarrollo de una prueba (1)
1. Definición del objetivo de la prueba y uso
de sus resultados
2. Definición del universo de contenidos u
objetivos a ser medidos
3. Definición del peso relativo de los
contenidos u objetivos a ser medidos (tabla
de especificaciones-cuadro de balance de
la prueba)
Procedimiento general para el
desarrollo de una prueba (2)
4. Escritura de reactivos o ítems.
5. Análisis de la calidad técnica de los
reactivos desarrollados, por jueces expertos
6. Cálculo de la congruencia de cada reactivo
o ítem con el contenido u objetivo que se
pretende medir
Procedimiento general para el
desarrollo de una prueba (3)
7. Selección de los mejores ítems para la
prueba piloto
8. Administración de la prueba piloto
9. Análisis de resultados de la prueba piloto,
mediante la aplicación de la Teoría clásica o el
TRI.
Procedimiento general para el
desarrollo de una prueba (4)
10. Selección de los ítems que se emplearán en
la administración definitiva de la prueba.
11. Constitución de la pruebas o pruebas
definitivas.
Análisis de un ejemplo
 Analicemos detenidamente la evidencia de
validez que se puede recolectar durante el
proceso de desarrollo de una prueba:
 Supongamos que es una prueba, referida a
normas,
 De conocimientos en ciencias,
 De final de la educación primaria,
 Que se aplicaría en un país de nuestra
región
Tres preguntas, respecto a la validez de
la interpretación de resultados
1. ¿Cuál sería la evidencia de validez que
podemos recolectar durante el proceso
desarrollo de la prueba anterior?
2. ¿Cuáles son posibles procedimientos de
recolección de esta evidencia?
3. ¿Cuál es el valor relativo de la evidencia
recolectada antes de la aplicación piloto y
después de la aplicación piloto?
Posibles fuentes de evidencia para
interpretar y usar resultados(1)
1. Objetivo de la prueba y uso de sus
resultados. Esta es una decisión política.
a. ¿Quién definió el objetivo y el uso de los
resultados?
b. ¿Por qué?
c. ¿Se plantea un empleo legítimo de los
resultados?
Posibles fuentes de evidencia para
interpretar y usar resultados(2)
2. Selección de contenidos u objetivos a ser
medidos. Primera decisión técnica que
debe ser guiada por el objetivo y el uso
pretendido de los resultados.
a. ¿Quién debe definir los contenidos: los
especialistas en la enseñanza de las ciencias, o
los maestros de sexto grado?
b. ¿Cuáles son posibles procedimientos para
realizar la selección?
Posibles fuentes de evidencia para
interpretar y usar resultados(3)
3. Definición de la muestra de contenidos u
objetivos a ser medidos (tabla de
especificaciones-cuadro de balance de la
prueba).
a. ¿Sería apropiado que la definan los
responsables directos del desarrollo de la
prueba con la colaboración de especialistas y
maestros?
Posibles fuentes de evidencia para
interpretar y usar resultados(4)
4. Escribir reactivos o ítems. Existen varias
opciones:
a. ¿Maestros en servicio capacitados, solamente
especialistas, solamente los responsables de la
prueba, una combinación de todos estos?
b. ¿Qué implicaciones en la interpretación y uso
tiene esta decisión?
Posibles fuentes de evidencia para
interpretar y usar resultados(5)
5.
Revisión de la calidad técnica de los
reactivos desarrollados.
a. ¿Quién es el indicado para realizar esta tarea
que es altamente especializada?
b. ¿Es necesario remunerar este trabajo?
c. ¿Es conveniente que lo realice una persona que
previamente se ha involucrado en este
proceso?
Posibles fuentes de evidencia para
interpretar y usar resultados(6)
6. Procedimiento para el cálculo de la
congruencia de cada reactivo o ítem con el
contenido u objetivo que se pretende
medir.
a. ¿Quién debe realizar esta tarea?
b. ¿Cuáles son las condiciones en que se debe
realizar?
c. ¿Cómo se calcula la congruencia?
d. ¿Cómo se interpreta ese resultado y qué
importancia tiene?
Evidencia para interpretar resultados y
posibles consecuencias sociales(7)
7. Selección de los mejores ítems para la
prueba piloto.
a. ¿Quién los selecciona y cómo se realiza esta
tarea?
8. Administración de un prueba piloto.
a. ¿Cuál es el propósito?
b. ¿Es siempre posible hacer una prueba piloto?
c. ¿Cómo se define las características de la
muestra de estudiantes para la prueba piloto?
Posibles fuentes de evidencia para
interpretar y usar resultados(8)
9. Análisis de resultados de la prueba piloto.
a. ¿Cuál es la teoría que se aplica?
b. ¿De qué factores depende?
c. ¿Cuál es el uso de los resultados?
Valor relativo de la evidencia recolectada
antes y después de la aplicación piloto (1)
 un aspecto fundamental:
 Aquellos profesionales evaluadores que ejecuten
procesos como el aquí descrito tienen la
obligación ética de informar, en el reporte
de resultados, acerca de todas las
interrogantes antes señaladas y sus
justificaciones,
 Solamente de esa manera se podrá juzgar la
calidad del proceso de validación seguido.
Valor relativo de la evidencia recolectada
antes y después de la aplicación piloto (2)
 Mi respuesta a la interrogante anterior es que:
 La evidencia recolectada antes y después de la
prueba piloto es igualmente importante
 Especialmente, una prueba que mida
conocimientos debe presentar evidencia,
como requisito indispensable, que se refiera
al cómo y por qué de los pasos 2, 3, 4, 5, 6 y 7
antes descritos.
 Lamentablemente no es lo más común.
Espacio para preguntas, comentarios

Descargar

Riesgos en la interpretación de los resultados de pruebas