PSICOMETRÍA
TEMA 5.2 : FIABILIDAD II
Tema 5.2
Evaluación del instrumento de medida:
FIABILIDAD II
Salvador Chacón Moscoso
Susana Sanduvete Chaves
Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material
TEMA 5.2 : FIABILIDAD II
INDICE
1. La fiabilidad como consistencia interna
1.1. Métodos basados en la división del test en dos mitades
1.1.1. La ecuación de Spearman-Brown
1.1.2. La fórmula de Rulon
1.1.3. La fórmula de Guttman-Flanagan
1.2. Métodos basados en la covariación entre los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.1. Estimador insesgado de alfa
1.2.1.2. Inferencias sobre alfa
1.2.2. Casos particulares del coeficiente alfa
1.3. Coeficientes basados en el análisis factorial de los ítems: Theta () y
Omega ()
1.4. El coeficiente beta () de Raju
2. Estimación de la puntuación verdadera de los participantes en el atributo de
interés
2.1. Estimación basada en la desigualdad de Chebychev
2.2. Estimación basada en la distribución normal de los errores
2.3. Estimación basada en el modelo de regresión lineal
3. Valoración de la Teoría Clásica de los Tests
4. Introducción a la fiabilidad en los tests referidos al criterio.
5. Otras aproximaciones al estudio de la fiabilidad. La fiabilidad en la
metodología observacional
6. A modo de síntesis
2
7. Bibliografía básica
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
TEMA 5.2 : FIABILIDAD II
En el tema 5.1, vimos que el coeficiente de fiabilidad (como
estabilidad de las medidas) se obtenía a partir de la correlación
entre formas paralelas de un test, o mediante la correlación
entre dos aplicaciones del mismo test (test-retest).
En la mayoría de las ocasiones, sólo es posible llevar a cabo una
única aplicación del test (evita problemas asociados con la
repetición del test y con la dificultad de construir formas
paralelas).
Métodos que requieren una sola aplicación del test:
1. División del test en dos mitades.
2. Covariación entre todos los ítems del test.
3
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.1. Métodos basados en la división del test en dos mitades
División del test en dos mitades: no siempre es fácil, ya que
se requiere que las mitades sean iguales en cuanto a
dificultad y contenido.
Distintos procedimientos:
1. Dividir el test por la mitad. Sin embargo, en muchos test los
ítems fáciles suelen aparecer al principio.
TEMA 5.2 : FIABILIDAD II
2. Ordenar los ítems por su dificultad: a continuación asignar los
pares a la forma 1 y los impares a la forma 2.
3. Asignación aleatoria a cada una de las mitades.
4. Asignar ítems a las mitades de forma que estén emparejadas en
contenido.
Tantos coeficientes de fiabilidad como divisiones
del test en dos mitades se puedan hacer
4
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.1. Métodos basados en la división del test en dos mitades
1.1.1. La ecuación de Spearman-Brown
Ecuación de Spearman-Brown para elementos paralelos: es el
método más antiguo y fue propuesto casi al mismo tiempo
por Spearman y Brown.
1. Se aplica el test a una muestra de participantes.
TEMA 5.2 : FIABILIDAD II
2. Se divide el test en dos mitades (paralelas).
3. Se calcula la correlación. Dicho valor equivale al rxx’ para cada
una de las mitades  habría que aplicar la fórmula de
corrección para el caso de un test con longitud doble.
2 r XX '
R XX' 
1  r XX '
R XX '  coeficient
rXX'  coeficient
e de fiabilidad
e de fiabilidad
cuando se ha duplicado
su longitud.
de las dos mitades.
5
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.1. Métodos basados en la división del test en dos mitades
1.1.1. La ecuación de Spearman-Brown
En la siguiente tabla, se muestran las puntuaciones de una muestra
de participantes en los ítems pares e impares de un test.
TEMA 5.2 : FIABILIDAD II
Participantes par
X1
impar X 2
1
8
4
2
7
7
3
8
6
4
5
4
5
8
7
6
6
6
Total
42
34
Calcular la fiabilidad utilizando la fórmula de Spearman-Brown.
6
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.1. Métodos basados en la división del test en dos mitades
1.1.1. La ecuación de Spearman-Brown
TEMA 5.2 : FIABILIDAD II
Participantes par
X1
2
imparX 2
X1
X2
X1X
2
2
1
8
4
64
16
32
2
7
7
49
49
49
3
8
6
64
36
48
4
5
4
25
16
20
5
8
7
64
49
56
6
6
6
36
36
36
Total
42
34
302
202
241
7
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.1. Métodos basados en la división del test en dos mitades
1.1.1. La ecuación de Spearman-Brown
rX 1 X 2 
TEMA 5.2 : FIABILIDAD II
rX 1 X 2 
N  X
N  X1X 2   X1 X 2
2
1

 ( X 1 ) N  X 2  ( X 2 )
2
2
6 * 241  42 * 34
6 * 302  42 6 * 202  34 
R XX 
2
2 rXX
1  rXX

2
2 * 0 ,35
1  0 ,35
 0 ,52

2

1446  1428
1. Calcular el coeficiente
de correlación entre
ambas mitades.
Obtenemos que vale
0,35
 0 ,35
48 * 56
2. Aplicamos la fórmula
de corrección de
Spearman-Brown.
Obtenemos un valor de
0,52
8
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.1. Métodos basados en la división del test en dos mitades
1.1.2. La fórmula de Rulon
TEMA 5.2 : FIABILIDAD II
Ecuación de Rulon (1939): se utiliza cuando las dos mitades no
son estrictamente paralelas, pero se entiende que son tauequivalentes (igualdad de varianzas verdaderas aunque las
varianzas del error no tienen por qué ser iguales); o
congenéricas (la V de cada persona en un test es igual a la V
en el otro test mas una constante).
2
Sd
rXX'  1  2
Sx
d  diferencia
S d  varianza
2
entre las puntuacion
de las diferencia
es pares e impares.
s entre las puntuacion
es
pares e impares.
S x  varianza
2
de las puntuacion
es empíricas
de los participan
tes.
La equivalencia entre Spearman-Brown y Rulon depende del grado de
paralelismo de las formas, de forma que cuanto más parecidas sean,9
más se aproximan los valores.
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.1. Métodos basados en la división del test en dos mitades
1.1.2. La fórmula de Rulon
TEMA 5.2 : FIABILIDAD II
En la siguiente tabla, se muestra las puntuaciones de una
muestra de participantes en los ítems pares e impares de un
test
Participantes
X
Par
Impar
A
4
3
1
B
1
1
0
C
6
3
3
D
2
1
1
E
3
1
2
F
5
2
3
Calcular la fiabilidad utilizando la fórmula de Rulon.
10
TEMA 5.2 : FIABILIDAD II
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.1. Métodos basados en la división del test en dos mitades
1.1.2. La fórmula de Rulon
Participantes
X
Par
Impar
(P-I)=d
d2
X2
A
4
3
1
2
4
16
B
1
1
0
1
1
1
C
6
3
3
0
0
36
D
2
1
1
0
0
4
E
3
1
2
-1
1
9
F
5
2
3
-1
1
25
∑
21
11
10
1
7
91
11
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.1. Métodos basados en la división del test en dos mitades
1.1.2. La fórmula de Rulon

d 
d
1

S

TEMA 5.2 : FIABILIDAD II

d
2
d


X



21
 ( 0 ,17 )
2
 1,14
 3 ,5
2. Aplicando la fórmula de
Rulon obtenemos que el
coeficiente de fiabilidad
vale 0,61
6
X
2
 X
2
2
Sd
S

91
 ( 3 ,5 )
2
 15 ,17  12 , 25  2 , 92
6
N
rXX'  1 
7
6
N
S
2
N
X 
2
X
 0 ,17
6
N
2
d
1. Calcularíamos la
varianza de las diferencias.
En este caso es 1,14.
2
x
 1
1,14
 0 , 61
2 , 92
12
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.1. Métodos basados en la división del test en dos mitades
1.1.3. La fórmula de Guttman-Flanagan
Guttman (1937) y Flanagan (1945): Llegaron de manera
independiente a una fórmula equivalente a la de Rulon, pero
de más fácil aplicación.
rXX'
S p y S i  varianzas
2
TEMA 5.2 : FIABILIDAD II
2
2

S p  Si
 21 
2

S
x

2
e impares
S x  varianza
2




de las puntuacion
es de los ítems pares
respectiva mente.
de las puntuacion
es empíricas
de los participan
tes.
Con los datos del ejercicio anterior, calcular el coeficiente de
fiabilidad utilizando Guttman-Flanagan.
13
TEMA 5.2 : FIABILIDAD II
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.1. Métodos basados en la división del test en dos mitades
1.1.3. La fórmula de Guttman-Flanagan
Participantes
X
Par
Impar
Par2
Impar2
A
4
3
1
9
1
B
1
1
0
1
0
C
6
3
3
9
9
D
2
1
1
1
1
E
3
1
2
1
4
F
5
2
3
4
9
∑
21
11
10
25
24
S2 = 2,92 – Calculado en el ejercicio anterior
14
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.1. Métodos basados en la división del test en dos mitades
1.1.3. La fórmula de Guttman-Flanagan

p
p

11
N
S
2
p

TEMA 5.2 : FIABILIDAD II
6

p
2
 p 
25
i

r XX '
 1,83  4 ,16  3 , 35  0 ,81
2
6
10

N
S
2
N
i
2
i
 1,83
 1, 67
6

N
i
2
2
i 
24
 1, 67
2
 4  2 , 79  1, 21
Observamos que
llegamos al mismo
resultado, sin
necesidad de calcular
las puntuaciones
referidas a las
diferencias.
6
2
2

S p  Si
 21 
2

S
x


0 ,81  1, 21 

  21 
  0 , 61

2 , 92



15
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
TEMA 5.2 : FIABILIDAD II
Uno de los principales problemas con la división
del test en dos mitades, es que existen
numerosas formas de obtener dos mitades,
obteniendo tantas estimaciones del coeficiente de
fiabilidad como diferentes dos mitades puedan
hacerse. Una forma de resolver este problema es
estudiar la covariación de los ítems.
Métodos:
-
Coeficiente alfa de Cronbach, y sus casos
particulares: KR20 y KR21 de Kuder-Richardson
(1937).
16
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
TEMA 5.2 : FIABILIDAD II
- Coeficiente alfa de Cronbach: expresa la fiabilidad del test
en función del número de ítems y de la proporción de la
varianza total del test debida a la covariación de los ítems 
cuanto más covaríen los ítems, mayor será la fiabilidad del
test.


n 
 
1

n 1


n  número
2 
S
 j
j 1

2
Sx 


n
de elementos
del test.
n
S
2
j
 sumatorio
de la varianza
de los elementos
del test.
j 1
S x  varianza
2
de las puntuacion
es del test.
17
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
TEMA 5.2 : FIABILIDAD II
Se ha aplicado un test de percepción visual a 6
participantes. Calcular el valor del coeficiente de
fiabilidad del test.
participantes
X1
X2
X3
X4
X5
A
3
4
3
3
4
B
2
3
2
4
4
C
4
2
2
3
3
D
2
1
1
2
1
E
1
1
1
2
1
F
0
0
1
1
1
18
TEMA 5.2 : FIABILIDAD II
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
2
2
2
2
2
participante
X1
X2
X3
X4
X5
X
X1
X2
X3
X4
X5
X2
A
3
4
3
3
4
17
9
16
9
9
16
289
B
2
3
2
4
4
15
4
9
4
16
16
225
C
4
2
2
3
3
14
16
4
4
9
9
196
D
2
1
1
2
1
7
4
1
1
4
1
49
E
1
1
1
2
1
6
1
1
1
4
1
36
F
0
0
1
1
1
3
0
0
1
1
1
9
Σ
12
11
10
15
14
62
34
31
20
43
44
804
19
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
X
X


S 
2
X
12
2
S1 
34
 1,83
S 
31
6
X2 
11
6
TEMA 5.2 : FIABILIDAD II
X3
10
2
2
2
X4 
X5
X 
6
2
6
 2 ,5
S 
 2 ,33
S5 
44
 10 ,33
Sx 
804
2
6
62
 1,83  1,82
43
2
4
2
3. Calcular el alfa de Cronbach
6
S3 
2
2. Calcular la varianza de las
puntuaciones en el test total
2
 1, 67
6
14
2
 2  1, 67
20
6
15
X
N
N
X1 
1. Calcular la varianza de cada ítem
2
 1, 67  0 ,54
2
6
 2 ,5  0 ,92
2
6
2
n   Sj 
1 


2

n 1
S X 
5  1, 67  1,82  0 ,54  0 ,92  1,9 

1 
  0 ,94
5 1
27 , 29

 2 ,33  1,9
2
6
6
 (10 ,33 )  27 , 29
2
20
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.1. Estimador insesgado de alfa
El estimador insesgado: alfa no es más que un estimador o
aproximación al valor real del coeficiente de fiabilidad. Sin
embargo, existe una aproximación más exacta de dicho
valor que se expresa mediante la siguiente fórmula:
TEMA 5.2 : FIABILIDAD II
 
( N  3 )ˆ  2
N 1
  estimador insesgado
ˆ  valor de alpha de Cronbach
N  número
de participan
tes de la muestra
ˆ   , cuando N  
En la práctica, a partir de 100 participantes las
diferencias son insignificantes.
21
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.1. Estimador insesgado de alfa
TEMA 5.2 : FIABILIDAD II
Ejemplo 1: en una muestra de 150 participantes un test obtiene
un valor de α = 0,75. ¿Cuál es el valor del estimador
insesgado de alfa?
Ejemplo 2: en una muestra de 20 participantes un test obtiene
un valor de α = 0,75. ¿Cuál es el valor del estimador
insesgado de alfa?
¿En qué ejemplo difieren más alfa y su estimador insesgado?
¿Por qué?
22
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.1. Estimador insesgado de alfa
TEMA 5.2 : FIABILIDAD II
 
( N  3 )ˆ  2
N 1
Ejemplo 1:   (150  3 ) 0 , 75  2  0 , 75
150  1
( 20  3 ) 0 , 75  2
 0 , 78
Ejemplo 2:  
20  1
Alfa y su estimador insesgado difieren más en el ejemplo 2
(0,75 vs 0,78) porque el tamaño de la muestra es menor.
23
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.2. Inferencias sobre alfa
Alfa proporciona una estimación del coeficiente de fiabilidad de
un test a partir de la muestra en que se ha aplicado, pero a
veces interesa plantearse si:
1. ¿Puede tomar alfa un valor concreto en la población
a partir del valor muestral obtenido?
TEMA 5.2 : FIABILIDAD II
2. ¿Existe una diferencia significativa entre el valor de
alfa de dos muestras independientes?
3. ¿Es significativa la diferencia entre dos valores de
alfa para una misma muestra?
-
DESARROLLO DE LA TEORÍA MUESTRAL DEL
COEFICIENTE ALFA (Feldt, 1965; Kristof,1963)
24
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.2. Inferencias sobre alfa
1. ¿Puede tomar alfa un determinado valor en la
población a partir del valor muestral obtenido?
Kristof (1963) y Feldt (1965), proponen el siguiente
estadístico basado en la distribución F
TEMA 5.2 : FIABILIDAD II
F 
1
1  ˆ
F se distribuye
con ( N  1) y (n - 1)(N - 1) grados de libertad
  alpha propuesto
por la hipótesis
ˆ  valor de alpha obtenido
N  número
de participan
n  número
de ítems
para la población.
en la muestra
tes de la muestra
25
TEMA 5.2 : FIABILIDAD II
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.2. Inferencias sobre alfa
Tras aplicar un test de percepción
espacial de 35 ítems a una muestra
de 60 estudiantes, se obtuvo un α de
0,83. ¿Es este coeficiente
estadísticamente significativo? (nivel
de confianza: 95%).
26
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.2. Inferencias sobre alfa
H 0 :  0
F 
1
1  ˆ

1 0
1  0 ,83
 5 ,88
TEMA 5.2 : FIABILIDAD II
F  , ( N 1 ) , (n -1)(N -1)  F ( 0 . 05 , ( 60 1 ), ( 35 1 )*( 60 1 )  F ( 0 .05 , 59 , 2006 )  F ( 0 . 05 , 30 ,1000 )  1, 47
5,88 > 1,47 - Se rechaza la hipótesis nula. El
coeficiente alfa es estadísticamente significativo
27
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.2. Inferencias sobre alfa
2. ¿Existe una diferencia significativa entre el valor de alfa de
dos muestras independientes?
TEMA 5.2 : FIABILIDAD II
Feldt (1969), propone el estadístico de contraste W basado en
la distribución F con (N1-1; y N2 –1; grados de libertad) que
permite probar la H0: 1= 2
W 
1  ˆ 1
1  ˆ 2
W se distribuye
con ( N 1  1) y (N 2 - 1) grados de libertad
ˆ 1 y ˆ 2  alpha obtenido
N 1 y N 2  número
en cada muestra.
de participan
tes de cada muestra
28
TEMA 5.2 : FIABILIDAD II
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.2. Inferencias sobre alfa
Hemos aplicado un test de razonamiento a una
muestra de 121 participantes, obteniendo un
valor de alfa igual a 0,55. Se aplicó el mismo
test a otra muestra de 61 participantes
obteniéndose un valor de alfa igual a 0,62.
¿Existen diferencias estadísticamente
significativas entre los valores de ambos
coeficientes? (N.C. = 95%).
29
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.2. Inferencias sobre alfa
H 0 :1   2
W 
1  ˆ 1
1  ˆ 2

1  0 ,55
1  0 , 62
 1,18
TEMA 5.2 : FIABILIDAD II
F(  , N 1 1 , N 2 -1)  F( 0 .05 ,120 , 60 )  F( 0 .05 ,100 , 30 )  1, 7
1,18 < 1,7 - Se acepta la hipótesis nula. La diferencia
entre ambos coeficientes no es estadísticamente
significativa.
30
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.2. Inferencias sobre alfa
3. ¿Es significativa la diferencia entre dos valores de alfa para
una misma muestra?
TEMA 5.2 : FIABILIDAD II
Feldt (1969), propone el estadístico de contraste t basado en
la distribución t con (N-2) g.l.
t 
(ˆ 1  ˆ 2 ) ( N  2 )
4 (1  ˆ
t se distribuye
)( 1  ˆ 2 )( 1  rx 1 x 2 )
1
2
según t
de student
ˆ 1 y ˆ 2  alpha obtenido
con ( N  2 ) grados de libertad
con las puntuacion
rx 1 x 2  correlació n al cuadrado
2

es de cada medida
entre las puntuacion
es en ambas medidas
31
TEMA 5.2 : FIABILIDAD II
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.2. Inferencias sobre alfa
Aplicamos dos tests de percepción visual a una
muestra de 125 participantes. La correlación
entre las puntuaciones de ambos tests es 0,7.
Los valores del coeficiente alfa fueron,
respectivamente, 0,75 y 0,84. ¿La diferencia
entre
estos
valores
es
estadísticamente
significativa? (N.C. = 95%).
32
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.2. Inferencias sobre alfa
H 0 :1   2
t 
(ˆ 1  ˆ 2 ) ( N  2 )
4 (1  ˆ
1
)( 1  ˆ 2 )( 1  r
2
x1 x 2
)


( 0 ,84  0 , 75 ) 125  2
[ 4 (1  0 ,84 )( 1  0 , 75 )( 1  0 , 7 )
 3,5
2
TEMA 5.2 : FIABILIDAD II
t (  , N  2 )  t ( 0 . 05 ,123 )  t ( 0 .05 ,120 )  1, 98
3,5 > 1,98 - Se rechaza la hipótesis nula. La
diferencia entre ambos coeficientes es
estadísticamente significativa.
33
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.2. Casos particulares del coeficiente alfa
Casos particulares de Alpha fórmulas de Kuder-Richardson
(1937): hacen referencia a la estimación de la fiabilidad de un
test en el caso de que los ítems sean dicotómicos  la
varianza viene determinada por:
2
S h  phqh
TEMA 5.2 : FIABILIDAD II
Donde ph es la proporción de aciertos; mientras que qh es la de
errores. En tal caso, alfa se puede definir mediante KR20 ,o
KR21 (cuando los ítems presentan igual dificultad; es decir, la
misma proporción de aciertos).
2


X

pq
n 


X 
1  

KR 20 
n 
2
n 
n  1 
S x  KR 21 
1
2


n

1
S
Donde;
x

Si aplicamos KR21 con
n= es el número de ítems
 no

ítems cuya dificultad
p= es la proporción de aciertos
es la misma, se obtendrá
q= es la proporción de errores
un valor inferior al de
34
S2x= es la varianza total de test.
KR20
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.2. Casos particulares del coeficiente alfa
TEMA 5.2 : FIABILIDAD II
Supongamos un test compuesto por 6 ítems, y al que responden 6
participantes
participantes
A
B
C
D
E
F
1
1
1
1
1
1
1
2
1
1
1
0
1
1
3
1
0
1
0
1
1
4
0
1
0
1
0
1
5
0
0
0
0
0
0
6
1
0
0
0
0
0
Calcular el coeficiente de fiabilidad utilizando KR20 y KR21
35
TEMA 5.2 : FIABILIDAD II
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.2. Casos particulares del coeficiente alfa
participantes
A
B
C
D
E
F
X
X2
1
1
1
1
1
1
1
6
36
2
1
1
1
0
1
1
5
25
3
1
0
1
0
1
1
4
16
4
0
1
0
1
0
1
3
9
5
0
0
0
0
0
0
0
0
6
1
0
0
0
0
0
1
1
p
0,67
0,5
0,5
0,33
0,5
0,67
q
0,33
0,5
0,5
0,67
0,5
0,33
S2
0,22 0,25 0,25 0,22 0,25
0,22
Σ
S
19
2
j
 1, 41
87
1. Primero habría que calcular la
varianza de los ítems, que al ser
dicotómicos es p*q.
36
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.2. Métodos basados en la covariación de los ítems
1.2.2. Casos particulares del coeficiente alfa
KR 20
S
2
X

X 
n 
1 

n  1 

X
TEMA 5.2 : FIABILIDAD II
pq  6 
1, 41 
  1 
  1, 2 (1  0 ,32 )  1, 2 * 0 , 68  0 ,82
2

4 , 45 
SX  5 
2
X
2

87
 3 ,17  14 ,5  10 , 05  4 , 45
2
6
N
N
KR 21
X


19
2. Y a continuación, se
aplica KR20. Se observa
que el valor obtenido es
de 0,82
 3 ,17
6
2

X

X 
n 
n
1

2
SX
n 1


2


17
,
3


3 ,17 
 6
6
1

 5
4 , 45






  0 ,8



Como los ítems no
presentan misma
dificultad, el valor
obtenido con KR21 es
más bajo que el
obtenido con KR20 37
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.3. Coeficientes basados en el análisis factorial de los ítems:
Theta () y Omega ()
TEMA 5.2 : FIABILIDAD II
Los
coeficientes Theta () de Carmines y Omega ()
constituyen dos indicadores de la consistencia interna de los
ítems de un test, basados en el Análisis Factorial de los
ítems.

n  2 r
n
2
n 
1 


 
1

n 1
 1 
  1
n  número de ítems del test
n  número de ítems del test
 1  varianza explicada por
h j  comunalida
el 1
er
factor antes de la rotación
hj
2
jh
d estimada
del ítem j
r jh  correlació n entre los ítems
jyh
-
En general, para los mismos datos se verifica que     
-
 =  =  cuando los ítems son paralelos
38
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.3. Coeficientes basados en el análisis factorial de los ítems:
Theta () y Omega ()
TEMA 5.2 : FIABILIDAD II
En la siguiente tabla, aparecen los valores de la varianza
explicada por los 5 factores obtenidos tras someter a un
análisis factorial a 5 variables. La suma de las
comunalidades es 4,95 y la suma de las correlaciones
entre los ítems es 5,1. Calcular el valor de los
coeficientes θ y Ω.
Factor
Varianza explicada
1
3,286
2
1,346
3
0,224
4
0,128
5
0,014
39
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.3. Coeficientes basados en el análisis factorial de los ítems:
Theta () y Omega ()

1 
5 
1 


 
1

1 
  0 ,869


n 1
1  5  1 
3 , 286 
n
n   hj
2
TEMA 5.2 : FIABILIDAD II
  1
n  2  r jh
 1
5  4 ,95
5  2 * 5 ,1
a
0 , 05
5  10 , 2
 1
0 , 05
 1  0 , 003  0 ,997
15 , 2
Efectivamente,    (0,869 < 0,997)
40
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.4. El coeficiente Beta () de Raju
El coeficiente beta () de Raju (1977). Cuando un test se divide en
varios subtests con distinto número de ítems,  infraestima el
coeficiente de fiabilidad si se calcula a partir de la puntuación total
de cada subtest.
Por el contrario,  supera este problema y proporciona una estimación
de la fiabilidad de un test compuesto por distintos subtest (batería
de tests), a partir de las puntuaciones totales en ellos.
K=número de subtests.
k
S 
TEMA 5.2 : FIABILIDAD II
2
x
 
S
2
j
2
Sx=varianza del test total.
j 1

2
S x 1 

 nj 
  n 
j 1 

k
2



S2j=varianza de cada subtest.
nj=número de ítems de cada subtest.
n= número total de ítems del test.
Se aplica  cuando se desconocen las puntuaciones de los participantes
en los ítems de los distintos subtests. Si se conocen los valores de
41
estas puntuaciones, es mejor emplear .
TEMA 5.2 : FIABILIDAD II
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.4. El coeficiente Beta () de Raju
Se ha aplicado un test compuesto por 4
subtests a una muestra de 200
empleados de correos. Los subtests
están compuestos por A=18; B=30;
C=45 y D=55 ítems. La varianza total
del test es 50 y la de los subtest es
2
2
2
2
S A  5; S B  7; S C  9; y S D  11 .
Calcular alfa y beta
42
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
1.4. El coeficiente Beta () de Raju


n 
 
1

n 1


2 
S
 j 4
5  7  9  11 

j 1


1


  0 , 48
2

Sx
4 1
50



n
1. A partir de las
puntuaciones totales,
calculamos alfa y
encontramos que vale
0,48
k
S 
2
x
 
TEMA 5.2 : FIABILIDAD II

2
j
j 1

S 1 

2
x

S
 
 nj  
  n  
j 1 
 
2
k

50  ( 5  7  9  11 )

50 1 

  18 
 30 
 45 
 55   
 
 
 
 

148
148
148
148







  

2
2
50  32
50 1  0 ,121  0 , 203  0 , 304
2
2
2
 0 , 372
2


2
2

18
50 1  ( 0 , 015  0 , 041  0 , 092  0 ,138 ) 

2. Sin embargo, cuando
aplicamos  de Raju
50 [1  0 , 286 ] 50 * 0 , 714
35 , 7
encontramos que dicho
valor es 0,50
Sólo en el caso de que los distintos subtests contengan el mismo
número de ítems, alfa y beta serán iguales.
43
18

18

18
 0 , 50
2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS
PARTICIPANTES EN EL ATRIBUTO DE INTERÉS
Tras obtener un valor del coeficiente de fiabilidad, la
siguiente pregunta relevante que nos podemos hacer
es:
TEMA 5.2 : FIABILIDAD II
¿Cómo hacer estimaciones acerca del valor de la
puntuación verdadera de un participante?:
1. Desigualdad de Chebychev.
2. Estimación basada en la distribución normal de los
errores.
3. Estimación basada en el modelo de regresión.
44
2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS
PARTICIPANTES EN EL ATRIBUTO DE INTERÉS
2.1. Estimación basada en la desigualdad de Chebychev
No asume ningún tipo de distribución ni de las puntuaciones empíricas ni
de los errores de medida y permitió, por primera vez, hacer estimaciones.
Lim  X  E max
TEMA 5.2 : FIABILIDAD II
E max  S e * k
S e  S x 1  rxx '
k 
1

  errortipoI
45
TEMA 5.2 : FIABILIDAD II
2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS
PARTICIPANTES EN EL ATRIBUTO DE INTERÉS
2.1. Estimación basada en la desigualdad de Chebychev
Se ha administrado un test cuyo rxx’ = 0,73 a 200
participantes (Media = 52; y Desviación
típica = 7). Con los datos obtenidos, estimar
la puntuación verdadera de un participante
que obtuvo una puntuación de 65 (NC 95%)
utilizando el método de la desigualdad de
Chebychev.
46
2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS
PARTICIPANTES EN EL ATRIBUTO DE INTERÉS
2.1. Estimación basada en la desigualdad de Chebychev
 81 , 38
Lim  X  E max  65  16 , 27  
 48 , 62
E max  S e * k  3 , 64 * 4 , 47  16 , 27
TEMA 5.2 : FIABILIDAD II
S e  S x 1  rxx '  7 1  0 , 73  3 , 64
k 
1


1
Intervalo muy amplio
 4 , 47
0 , 05
  0 , 05
47
2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS
PARTICIPANTES EN EL ATRIBUTO DE INTERÉS
2.2. Estimación basada en la distribución normal de los errores
Asume la distribución normal de E y de las X empíricas
condicionadas a un determinado valor de V.
Lim  X  E max
E max  Z C * S e
TEMA 5.2 : FIABILIDAD II
Z C ( NC 95 %)  1, 96
Z C ( NC 99 %)  2 , 58
S e  S x 1  rxx '
Con los datos del ejercicio anterior, calcular el intervalo
según la distribución normal de los errores
48
2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS
PARTICIPANTES EN EL ATRIBUTO DE INTERÉS
2.2. Estimación basada en la distribución normal de los errores
 72 ,13
Lim  X  E max  65  7 ,13  
 57 ,87
E max  Z C * S e  1, 96 * 3 , 64  7 ,13
Z C ( NC 95 %)  1,96
TEMA 5.2 : FIABILIDAD II
S e  3 , 64
Este intervalo es menos amplio que
el anterior, debido a que estamos
asumiendo cierta distribución de
probabilidad en los datos, cosa que
no ocurría antes.
Se = 3,64 (ya calculado para la
estimación mediante la igualdad de
Chebychev)
49
2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS
PARTICIPANTES EN EL ATRIBUTO DE INTERÉS
2.3. Estimación basada en el modelo de regresión lineal
Dado que X siempre está afectada por errores de medida (E) podríamos
hacer estimaciones puntuales de V, y a posteriori establecer intervalos de
confianza en torno a ella. Es decir, utilizar V’ en lugar de X para construir
el intervalo de confianza.
Lim  V '  E max
V '  rxx ' ( X  X )  X
TEMA 5.2 : FIABILIDAD II
E max  Z C * S vx
Z C ( NC 95 %)  1, 96
Z C ( NC 99 %)  2 , 58
Svx = error típico de estimación
de la puntuación verdadera
S vx  S e
rxx '
Con los datos del ejemplo anterior, calcular el intervalo según el método de
regresión.
50
2. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS
PARTICIPANTES EN EL ATRIBUTO DE INTERÉS
2.3. Estimación basada en el modelo de regresión lineal
 67 , 55
Lim  V ' E max  61 , 49  6 , 06  
 55 , 43
V '  rxx ' ( X  X )  X  0 , 73 ( 65  52 )  52  61 , 49
E max  Z C * S vx  1, 96 * 3 , 09  6 , 06
Z C ( NC 95 %)  1, 96
TEMA 5.2 : FIABILIDAD II
S vx  S e
rxx '  3 , 64
0 , 73  3 , 09
Se = 3,64 (ya calculado para
los métodos anteriores)
48,62 ≤ V ≤ 81,38
57,87 ≤ V ≤ 72,13
55,43 ≤ V ≤ 67,55
Si comparamos los intervalos obtenidos
con los tres métodos, vemos que éste
último es el menos amplio de todos (el
más preciso)
51
3. VALORACIÓN DE LA TEORÍA CLÁSICA DE LOS TEST
Ventajas:
Parsimonia y enjundia psicológica. Ha sabido dar soluciones
prácticas a una amplia diversidad de situaciones (Muñiz,
2001).
Limitaciones:
1.
Los supuestos no se pueden comprobar empíricamente.
2.
Concepto de error de medida:
TEMA 5.2 : FIABILIDAD II
a) homogéneo a lo largo del continuo de aptitud
b) errores independientes
c) concepto general que engloba todas las fuentes de
variabilidad.
3.
Medidas estrictamente paralelas.
4.
Carácter variante y dependiente de sus índices.
5.
Estimación de la fiabilidad  múltiples procedimientos
52
3. VALORACIÓN DE LA TEORÍA CLÁSICA DE LOS TEST
Encontramos una ventaja inherente a sus propias limitaciones,
ya que dichas limitaciones han promovido el desarrollo de
otras importantes teorías, que han intentado superar:
-Problemas relacionados con el error de medida.
TEMA 5.2 : FIABILIDAD II
-Dependencia de los instrumentos de medida sobre los
propios objetos de medida y viceversa.
No debemos olvidar que la TCT supone la primera
formulación matemática de una teoría sobre las
puntuaciones de los tests y, por tanto, su posición en la
mayoría de los programas docentes y manuales que se
publican está más que justificado
53
4. INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO
TEMA 5.2 : FIABILIDAD II
Tests Referidos a la Norma (TRN): ordenan a los
participantes respecto a su grupo según su nivel en el rasgo
medido  un participante que ocupa el P90 está por encima del
90% de participantes de su grupo en el rasgo medido por el test.
En los años 60, en evaluación educativa, surge la necesidad de
construir tests que evalúen directamente el conocimiento de los
estudiantes sobre los objetivos programados, a partir de lo que
surgen los tests referidos al criterio (TRC). ¿Qué tipo de
problemas es capaz de resolver la persona?¿Qué tipo de
resolución requiere?¿Cuál es el límite de la capacidad del
participante?:
“Un TRC se utiliza para evaluar el status absoluto del
participante con respecto a algún dominio de conductas
bien definido” (Popham, 1978)
54
4. INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO
TEMA 5.2 : FIABILIDAD II
TRN
TRC
Finalidad
Diferencias individuales
Rendimiento
Construcción
Teorías existentes
Especificación del dominio
Selección de los ítems
Maximizar diferencias
individuales
Según objetivos
Significado de las
puntuaciones
Indicador de la puntuación
verdadera
Estimador del rendimiento
del participante en el
dominio
Interpretación de las
puntuaciones
Se compara con su grupo
normativo
Con significado en términos
absolutos
(Martínez-Arias, p. 657)
55
4. INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO
TEMA 5.2 : FIABILIDAD II
Impulso de algunos aspectos como:
1. Definir con mayor claridad los objetivos de
interés.
2. Muestrear exhaustivamente los objetivos a
evaluar.
3. Nuevas formas de evaluar la fiabilidad y validez.
4. Establecer los puntos de corte más apropiados.
5. Detectar los puntos fuertes y débiles de los
participantes.
56
4. INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO
Fiabilidad: determinar el grado de error presente en las
mediciones.
TEMA 5.2 : FIABILIDAD II
Objetivo en los TRC: clasificar a las personas entre las
que dominan el criterio y las que no
Fiabilidad
consistencia
o
precisión
clasificaciones realizadas por el test
Dos aplicaciones del
test
en
las
Una sola aplicación del
test
57
4. INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO
Dos aplicaciones: en este caso podemos aplicar el mismo test
a una muestra; o dos formas paralelas.
Fiabilidad perfecta
aplicaciones.

clasificación
idéntica
en
ambas
TEMA 5.2 : FIABILIDAD II
Procedimientos para su evaluación:
1. Coeficiente p0 de Hambleton y
Novick:
Fc
p0 
N
Donde:
Fc= número de personas
clasificadas de manera
coincidente por ambos tests.
N= número total de personas.
2. Coeficiente Kappa:
K 
Fc  Fa
N  Fa
Donde:
Fc= número de personas
clasificadas de manera
coincidente por ambos tests.
Fa= coincidencia por azar.
N= número total de personas.
58
4. INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO
Test B
TEMA 5.2 : FIABILIDAD II
Test A
Apto No-apto
Total
Apto
a
b
g
No-apto
c
d
h
Total
e
f
N
Fc  a  d
Fa 
e* g
N

f *h
N
59
4. INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO
Se han aplicado dos tests paralelos de Psicometría a 20 participantes.
Las clasificaciones realizadas se muestran en la siguiente tabla.
Calcular la fiabilidad de la clasificación utilizando el coeficiente p0
de Hambleton y Novick y el coeficiente Kappa.
Test B
TEMA 5.2 : FIABILIDAD II
Test A
Apto No-apto
Apto
2
3
No-apto
1
14
60
4. INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO
Test B
Apto No-apto
Total
Apto
2 (a)
3 (b)
5 (g)
No-apto
1 (c)
14 (d)
15 (h)
Total
3 (e)
17 (f)
20 (N)
TEMA 5.2 : FIABILIDAD II
Test A
1. p0 
Fc

N
16
 0 ,80
2. Aplicando K vemos que la
fiabilidad se reduce
considerablemente al
considerar las coincidencias
por azar.
20
Fc  a  d  2  14  16
2.K 
Fa 
Fc  Fa
N  Fa
e* g
N


16  13 ,5
20  13 , 5
f *h
N

3*5
20

 0 , 38
17 * 15
20
1. Aplicando p0 vemos
que los tests coinciden en
clasificar a 2 aptos y 14
no-aptos la fiabilidad es
0,80
 13 , 5
61
5. OTRAS APROXIMACIONES AL ESTUDIO DE LA FIABILIDAD.
LA FIABLIDAD EN LA METODOLOGÍA OBSERVACIONAL
Fiabilidad: Grado de precisión de la medida, o del instrumento
de medida utilizado.
TEMA 5.2 : FIABILIDAD II
En Metodología observacional, por ejemplo, el instrumento de
medida más común es un “Sistema de categorías” que
análogamente a un test pretende “recoger la variabilidad del
comportamiento del participante en el dominio comportamental
que se esté estudiando”.
Procedimientos más habituales en su cálculo se basan en los
mismos principios utilizados bajo la lógica de los TRC medir
la consistencia en las clasificaciones, en este caso de distintos
observadores: Índice de Acuerdo (aproximación exploratoria);
Coeficiente Kappa.
62
TEMA 5.2 : FIABILIDAD II
5. OTRAS APROXIMACIONES AL ESTUDIO DE LA FIABILIDAD.
LA FIABLIDAD EN LA METODOLOGÍA OBSERVACIONAL
Sólo pretendemos indicar que la fiabilidad no es
exclusiva de la teoría de tests, sino que el
problema de la precisión es común a cualquier
aproximación científica que implique medición.
Lo exclusivo es que cada aproximación adapta
el método a sus peculiaridades de estudio
63
7. BIBLIOGRAFÍA COMENTADA
1. Barbero, I., García, E., Vila, E. y Holgado, F. P. (2010). Psicometría:
Problemas resueltos. Madrid: Sanz y Torres.
TEMA 5.2 : FIABILIDAD II
Se trata de un libro de ejercicios y problemas en el que se incluye el
desarrollo de la solución. El alumnado podrá completar desde un punto de
vista aplicado los conceptos y contenidos vistos en la parte teórica; así como
adquirir las destrezas necesarias para la resolución de problemas.
2. Barbero, I., Vila, E. y Holgado, F. P. (2010). Psicometría. Madrid: Sanz y
Torres.
En el capítulo 4 se introduce el modelo lineal clásico y el concepto de tests
paralelos, así como la interpretación del coeficiente de fiabilidad y distintos
métodos para su estimación; y el capítulo 5 se centra en la fiabilidad de los
TRC.
3. Gómez-Benito, J. (1996). Aportaciones de los modelos de estructuras de
covarianza al análisis psicométrico. En J. Muñiz (Coord.), Psicometría.
Madrid: Universitas.
El capítulo 10 define conceptos fundamentales como coeficiente de
fiabilidad y tests paralelos desde modelos de ecuaciones estructurales. 64
7. BIBLIOGRAFÍA COMENTADA
4. Martínez Arias, R. (1995). Psicometría: Teoría de los Tests Psicológicos y
Educativos.
El Capítulo 3 presenta de una forma clara los conceptos básicos del modelo clásico.
Los tres primeros apartados del Capítulo 4 también se pueden consultar para la
preparación de este tema. Presenta numerosos ejercicios que permiten aplicar los
conocimientos teóricos adquiridos.
5. Meliá, J. L. (2000). Teoría de la Fiabilidad y la Validez. Valencia: Cristóbal Serrano.
TEMA 5.2 : FIABILIDAD II
En los Capítulos 3 y 4 expone el modelo lineal clásico de los errores de medida, el
concepto de coeficiente e índice de fiabilidad y la definición de tests paralelos. El
Capítulo 6 destaca algunas de las críticas. En el Capítulo 6 se trata la consistencia
interna y los factores que afectan a la estimación de la fiabilidad.
7. Muñiz, J. (1996). Fiabilidad. En J. Muñiz (Coord.), Psicometría. Madrid:
Universitas.
En el Capítulo 1 se resumen los conceptos fundamentales del modelo lineal clásico y
la definición de paralelismo.
6. Nunnally, J. C. y Bernstein, I. J. (1995). Teoría Psicométrica. México: McGraw
Hill.
El Capítulo 6 presenta aspectos sobre supuestos y deducciones del modelo clásico.
65
En el Capítulo 7 se presentan algunas limitaciones y extensiones del modelo lineal
clásico.
Descargar

Diapositiva 1 - GrupoInnoevalua : Inicio