Competencias básicas y evaluaciones
generales de diagnóstico:
los retos técnicos y políticos para la contribución a la
mejora educativa.
22 nov 07
Enrique Roca
1
Competencias básicas y evaluaciones de
OCDE, IEA y UE
Evaluación general de diagnóstico
2
Unión Europea: ¿qué educación
para el siglo XXI?
Los pilares de la educación
(Informe Delors):
Aprender a conocer
Aprender a hacer
Aprender a ser
Aprender a convivir
competencias,
ciudadanía
3
LOE: aprender, participar, evaluar
Currículo
Autonomía/
participación
Competencias básicas/
Evaluación:
OCDE, IEA, UE
Diagnóstico
4
Evaluaciones
¿para qué?
CONOCER
COMPARAR
RENDIR
CUENTAS
MEJORAR
5
Participación española en estudios
internacionales de evaluación
• OCDE
–
–
–
–
–
PISA (Comprensión lectora, matemáticas, ciencias): resultados dic 2007
TALIS (Estudio internacional de enseñanza y aprendizaje - profesores)
Liderazgo en los centros educativos
Valor añadido en los sistemas educativos
RNFIL (Reconocimiento de los aprendizajes no formales e informales)
• IEA
– PIRLS (comprensión lectora 9 años): resultados, nov 2007
– ICCS (estudio internacional sobre educación cívica y ciudadana)
– TEDS-M (Est. Int. sobre formación inicial del profesorado de matemáticas)
• Unión Europea
– Aprender a aprender
– EBAFLS (Banco de items para la evaluación de lenguas extranjeras)
– Indicador europeo de competencia lingüística
6
PISA
(Programme for International Student
Assessment): Programa para la Evaluación
Internacional de Alumnos
Es un estudio internacional de evaluación educativa de las
competencias de los alumnos de 15 años:
•PISA 2000, competencia principal Lectura
•PISA 2003, competencia principal Matemáticas
•PISA 2006, competencia principal Ciencias
El Informe PISA 2006 se publicará el 4 de diciembre de 2007
Se está trabajando ya en PISA 2009, que volverá a tener la Lectura
como objeto principal de estudio
Elaboración y revisión de ítems de lectura, con el GIP (Grupo
Iberoamericano de PISA) para el estudio piloto y el principal
7
PIRLS
Estudio Internacional sobre el progreso en
comprensión lectora
Evalúa el rendimiento en comprensión lectora de los niños y niñas
de 4º de primaria (9-10 años)
La recogida de datos se realiza mediante una prueba escrita y cuatro
cuestionarios de contexto: alumnado, familias, centros y profesorado
En España el estudio final se realizó entre abril y mayo de 2006,
con la participación de todas las comunidades autónomas y en
las 5 lenguas oficiales del Estado
El Informe Internacional PIRLS 2006 se publicará en noviembre
de 2007. En la misma fecha se presentará un informe español
8
España y UE en ICCS
Primer estudio internacional sobre educación cívica y
ciudadana en el que participa España
Dirigido a alumnos de 2º de la ESO
Instrumentos de medición
Alumnos: pruebas cognitivas y cuestionarios sobre actitudes y contexto
Cuestionario del profesor
Módulo europeo
Cuestionario a los directores
Informe sobre el contexto nacional
Calendario
Prueba piloto
Estudio principal
Informe final
nov 2007
febrero - abril 2008
septiembre 2010
9
Indicador Europeo de
Competencia Lingüística
Propuesta de la Comisión Europea en 2005
El objetivo del indicador es medir periódicamente el conocimiento de
idiomas entre los jóvenes europeos
Se espera la aplicación de la prueba piloto en 2008 y la realización de
estudio definitivo en 2010
En esta primera fase se evaluarán cinco lenguas y tres destrezas
(comprensión oral y escrita, y expresión escrita
Países participantes:UE
10
Aprender a aprender
Tiene por objeto valorar la adquisición de la competencia clave
“aprender a aprender” (learning to learn) por parte de los jóvenes,
que para la comisión juega un papel crucial
El CRELL (Centre for Research on Lifelong Learning) y un grupo de
expertos elaboran la pruebas para el estudio piloto que hoy está en
fase de revisión
Estudio piloto en la primavera de 2008
11
Evaluaciones de diagnóstico LOE
(LOE, art. 144)
El Instituto de Evaluación y …las administraciones educativas (...) colaborarán en la
realización de evaluaciones generales de diagnóstico de las competencias
básicas
(LOE, art. 21, 29)
Al finalizar 4º de primaria y 2º de ESO ... todos los centros realizarán una
evaluación de diagnóstico de las competencias básicas alcanzadas por
sus alumnos.
Esta evaluación, competencia de las administraciones educativas, tendrá
carácter formativo y orientador para los centros e informativo para las
familias y para el conjunto de la comunidad educativa,
(...) Tendrán como marco de referencia las evaluaciones generales de
diagnóstico(...)
12
Propuesta de calendario
Competencias
4º
EP
2º
ESO
PISA
Principal
Principal
2008
2009
Piloto
1
2y3
4y5
2010
2011
2012
2
1y3
6y7
1
2y3
4y5
Piloto
Lect
2013
2014
2015
3
1y2
4y8
2
1y3
4y6
Matemat
2016
3
1y2
7y8
Cienc
1: Competencia en comunicación lingüística.
2: Competencia matemática.
3: Competencia en el conocimiento y la interacción con el mundo físico.
4: Tratamiento de la información y competencia digital.
5: Competencia social y ciudadana.
6: Competencia cultural y artística.
7: Competencia para aprender a aprender.
8: Autonomía e iniciativa personal.
13
Poblaciones
Poblaciones
Evaluación 4º de EP
Evaluación 2º de ESO
Información
Proporcionada

Alumnado 4º EP

Alumnado 2º ESO
- Rendimiento.
- Contexto y procesos

Profesorado

Profesorado
- Recursos y procesos

Dirección

Dirección
- Contexto y recursos
14
Muestras:
Primera etapa:
. Selección aleatoria de centros en cada una de las comunidades autónomas.
. A efectos de la estratificación de la población, se consideran las 17 CCAA
Segunda etapa:
. En cada uno de los centros seleccionados, se elegirá aleatoriamente un grupo
de alumnos de 4º de primaria (centros con más de una línea).
. En 2º de ESO, un número determinado de alumnos (entre los de 2º).
Tamaño de la muestra:
. Que permita una confianza no inferior al 95,5% y un error de estimación inferior
al 5%.
. Diseño matricial para aplicación de diferentes cuadernillos
15
Contextos
Indice socioeconómico y cultural (ISC) de los alumnos,
. Construido a partir de variables relativas a nivel de estudios y situación
laboral de padre y madre, recursos culturales del hogar...
. ISC tipificado. Mismo tipo de escalas que la de puntuaciones de resultados
(PISA)
. Dos niveles de ISC: de cada alumno y de cada centro
Uso de otras variables e índices de contextos
Uso de variables de recursos y de procesos
16
Relación entre índice socioeconómico y
cultural y rendimiento en matemáticas
OCDE
España
Alemania
Finlandia
USA
Rendimiento en matemáticas
600
500
400
-2
-1
0
1
2
Indice socio-económico y cultural
17
Relación entre índice socioeconómico y
cultural y rendimiento en matemáticas
OCDE
España
País Vasco
Cataluña
Castilla y León
Rendimiento en matemáticas
600
500
400
-2
-1
0
1
2
Indice socio-económico y cultural
18
Influencia del entorno socioeconómico y
cultural en los resultados:
Resultados en función del mayor nivel educativo alcanzado por las madres
532
Universidad
514
508
Bachillerato
OCDE
489
España
458
Estudios
obligatorios
471
400
500
600
19
Influencia del entorno socioeconómico y
cultural en los resultados
Resultados en función del número de libros en la casa
550
526
534
201500
Más de
500
502
500
471
436
450
402
400
350
0-10
11-25 26-100
101200
20
Pruebas:
Pruebas de lápiz y papel y registros en audio para la comprensión oral
Pruebas escritas: basadas en situaciones-problema (estímulo) con
cuestiones en distintos formatos:
. Preguntas de respuesta cerrada.
. Preguntas que exigen procedimientos y obtención de resultados.
. Preguntas abiertas
Diferentes cuadernillos (muestreo matricial)
Longitud de las pruebas: una sesión de 45 m en primaria y 60m es ESO, o
dos sesiones con un descanso intermedio de 20m.
Aplicación precedida de una fase de sensibilización de la comunidad
educativa
Cuestionarios de contexto, de procesos y de recursos destinados al
alumnado, al profesorado, a la dirección y a las familias.
21
Evaluación de las
competencias básicas.
Se parte de la descripción que realizan los Reales Decretos por los que se
establecen las enseñanzas mínimas y se tienen en cuenta los criterios
adoptados por la OCDE, la IEA y las evaluaciones españolas.
Tres fases para el desglose de las competencias:
Ejemplos de despliegue de las competencias:
Definición y descripción de la competencia
Dimensiones y componentes de cada dimensión.
Grado de relación entre las competencias y las distintas
áreas o materias (matriz de relaciones)
22
Análisis de resultados
Puntuación directa, en un primer momento, a partir de las puntuaciones otorgadas
a cada item (0-1, valores intermedios).
. Instrumento para aplicación de la teoría de respuesta al item (TRI)
Puntuación transformada a partir de un modelo e TRI (Rash, dos
parámetros): construcción de una escala común con una media global
de 500 y una desviación típica de 100 puntos (modelo PISA)
Utilización de distintos niveles de rendimiento (puntuaciones de corte)
Presentación de resultados: datos sobre los niveles de adquisición de cada
competencia. Medidas de tendencia central y dispersión de las
puntuaciones. Información sobre la precisión de las medidas (error
estándar, intervalos de confianza …).
Análisis de excelencia y equidad.
23
24
Brasil*
Túnez*
Indonesia*
México
Tailandia*
2
Uruguay*
Turquía
Serbia*
500
Grecia
Italia
Portugal
Rusia*
Estados Unidos
Letonia*
España
Hungría
Polonia
Luxemburgo
Cataluña
Noruega
Eslovaquia
1
País Vasco
Irlanda
Alemania
Castilla y León
Austria
Suecia
Francia
Dinamarca
Islandia
República Checa
Nueva Zelanda
Australia
Suiza
Macao-China*
Bélgica
Canadá
Japón
Liechtenstein*
Holanda
Corea
Finlandia
Hong Kong-China*
Resultados en matemáticas PISA 2003
3
600
Hong Kong: 550
550
Media OCDE: 500
España :485
450
400
350
300
Rendimiento de los alumnos en matemáticas PISA (2003).
5 50
Pu ntua c ión m ed ia en la e s c ala de m ate m átic a s
Finlan dia
P. B a jo s
Ja pó n
5 00
Pr o med io
OCDE
C as til l a L
Fr a nc ia
Su ec ia
A le man ia P . V as c o
No r ue ga C a ta l uñ a
Es p a ñ a
US A
Italia
Por tu ga l
4 50
Gr e c ia
4 00
Mé x ic o
B r a s il
3 50
PIS A 20 03
25
Porcentaje de alumnos en cada nivel de matemáticas (2003).
P o rc e n ta je s d e a lu m n o s p o r n iv e le s d e re n d im ie n to
n iv e l < 1
n iv e l 1
n iv e l 2
F in la n d ia
P a ís e s B a jo s
n iv e l 4
1 5
16
28
8
18
23
9
16
3
Japón
n iv e l 3
5
11
23
28
P a ís V a s c o
5
12
24
29
F ra n c ia
6
11
20
12
22
C a ta lu ñ a
13
24
N o ru e g a
7
14
24
A le m a n ia
9
12
8
15
25
10
16
24
España
E s ta d o s U n id o s
P o rtu g a l
11
19
Ita lia
13
19
18
G re c ia
M é xic o
B ra s il
P ro m e d io O C D E
21
38
28
53
22
8
26
20
21
9
12
17
13
13
11
4
8 2
18
24
23
14
13
21
24
3
12
19
27
10
12
18
25
2
8 2
20
29
25
21
9
22
25
27
8
22
22
23
7
16
26
19
7
18
24
5
6
17
23
22
6
n iv e l 6
26
C a s tilla y L e ó n
S u e c ia
n iv e l 5
3
4
7 1
8 2
51
5 2
31
30
7 310
24
19
11
4
P a ís e s o rd e n a d o s s e g ú n e l p o rc e n ta je d e a lu m n o s e n lo s n ive le s < 1 y 1
26
Porcentajes de alumnado
por niveles de competencia
30%
25%
20%
España
15%
OCDE
10%
5%
0%
<1
1
2
3
4
5
Niveles de competencia
6
27
Porcentajes por niveles de competencia:
comparación con Finlandia
Situación figurada:
(se realiza una traslación a la
Situación real
derecha equivalente a un nivel)
30
30
25
20
España
15
Finlandia
10
5
Porcentajes
Porcentajes
25
20
España
15
Finlandia
10
5
0
<0
1
2
3
4
5
Niveles de competencia
6
0
<0
1
2
3
4
5
6
Niveles de competencia
28
Relación entre resultados en
matemáticas y equidad:
650
M ayor equidad
Mayor excelencia
Puntuación media en Matemáticas
600
550
500
Japón
Bélgica
Alemania
OCDE
Irlanda País Vasco
Cataluña
España
EEUU
Portugal
Grecia
450
Corea Finlandia
Canadá
Australia
Islandia
Castilla y León
Hungría
Italia
Holanda
Turquía
Uruguay
400
México
Brasil
350
29
28
27
26
25
24
23
22
21
20
Coeficiente de variación en Matemáticas
19
18
17
16
15
30
Diferencias por titularidad de los centros
Diferencia de los centros privados frente a los públicos
40
32
30
26
20
Si se detrae el
efecto del nivel
socio-económico y
cultural de
estudiantes y
centros,
los resultados son
muy parecidos
10
1
0
sin detracción
detracción del nivel socioeconómico y cultural del alumno
detracción adicional del nivel
socio-económico y cultural
promedio del centro
31
Informes y difusión de los resultados
Modelos de informe en función de las distintas audiencias.
INFORME
AUDIENCIA
CONTENIDO
Marco e informe técnico
de las EGD
Profesionales de la
educación
Marco y descripción de las EGD
Resumen ejecutivo
Responsables de la Resumen de resultados
principales
educación
(Estado y CCAA)
Informe de resultados de
4º EP y 2º ESO
Ciudadanos
Datos y análisis de resultados,
contextos y recursos.
Estado y CCAA
Estrategias para la difusión de los resultados.
32
Rendir cuentas para mejorar la
educación española
Publicidad de los resultados y
rendición de cuentas ante el
Parlamento:
Evaluaciones generales de
diagnóstico
Evaluaciones nacionales e
internacionales.
Indicadores educativos .
33
Políticas de mejora
Recursos suficientes
Propuestas de mejora
Bajo rendimiento
Mejora del rendimiento
Mejoras de carácter particular
Mejora sistemática
Escasa
exigencia y control
Elevada
exigencia.
Evaluación
Bajo rendimiento
Conflicto
Estancamiento
Desmoralización
Escasos recursos
34
Cuando puedes medir aquello de lo que hablas, y expresarlo con números,
sabes algo acerca de ello; pero cuando no lo puedes medir …
tu conocimiento es pobre e insatisfactorio:
puede ser el principio del conocimiento, pero apenas has avanzado
con tus pensamientos hacia la ciencia
Lord Kelvin
Muchas gracias
Enrique Roca
35
Descargar

I. Individuos y relaciones interpersonales y sociales