La evaluación educacional en Chile:
mediciones nacionales e
internacionales
Jorge Manzi
Universidad Católica de Chile
www.mideuc.cl
Distribución Porcentual de
población de 25 a 64 años según
máximo nivel educativo alcanzado
Jóvenes de 20 a 24 años que
completaron la primera y segunda
etapa de la secundaria
Una caracterización de las tareas que componen las
distintas ocupaciones (Levy y Murnane, 2001)
• Tareas que siguen reglas preestablecidas y bien
definidas:
– rutinarias manuales: ensamblaje, maquila
– rutinarias cognitivas: verificación de datos, bancos
• Tareas que requieren de criterio y/o
experticia.
– no rutinarias manuales: construcción, servicios
personales
– no rutinarias cognitivas: servicios profesionales,
investigación.
Cambios en número de personas ocupadas por
tipo de tarea (EEUU 1959-1998). (Levy y
Murnane, 2001)
Estos cambios explican el 40% del incremento en la demanda y por ende en la remuneración
relativa de los trabajadores con educación superior durante este período.
Las habilidades que se requieren para acceder a
los empleos de menor vulnerabilidad según Levy
y Murnane
• Saber leer en un nivel de 9º grado.
• Competencias matemáticas al nivel de 9º grado.
• La habilidad de solucionar problemas semiestructurados en los que se requiera probar una
hipótesis.
• La habilidad para trabajar en equipo con personas
de distintas trayectorias.
• La habilidad para comunicarse de manera efectiva
tanto de manera oral como escrita.
• La habilidad para utilizar computadores para
realizar tareas sencillas.
Medición Educacional en Chile
• Exámenes de ingreso a universidades:
Bachillerato → PAA → PSU
• Medición de logros escolares: PER → SIMCE
• Participación en programas internacionales
• Evaluación de profesores: egresados y en
servicio
PRUEBAS DE INGRESO A LAS
UNIVERSIDADES
Exámenes de ingreso a las
universidades
• Bachillerato (fines del siglo XIX – 1966)
– Preguntas abiertas
→
– Problemas con medición
masiva y con
aseguramiento de consistencia entre revisores
Exámenes de ingreso a las
universidades
• PAA (1967 - 2002)
– Preguntas de selección múltiple
– 3 pruebas obligatorias, 5 optativas
– Modelo original suponía que aptitudes eran estables,
no entrenables y distribuidas en forma equivalente
entre examinados de diversos grupos sociales
– Limitada relación con experiencia escolar de
examinados
– Pruebas se vinculan con financiamiento a las
universidades (AFI)
Exámenes de ingreso a las
universidades
• PSU (desde 2003)
– 4 pruebas: cada carrera universitaria exige 3 de ellas
(siempre matemática y lenguaje)
– Se originan en comisión de expertos, que recomendó
unánimemente que las pruebas fueran reformuladas
asegurando su alineamiento con la experiencia
escolar de examinados (curriculum de enseñanza
media). Se pretende así aprovechar el rol de señal
de las pruebas (orientan a estudiantes y profesores)
para promover la elevación de los aprendizajes.
– Se basan en modelo que explicita la indisoluble
relación entre habilidades cognitivas (aptitudes) y
contenidos.
Distribución de Postulantes según Dependencia del
Establecimiento Educacional de origen
%
60
50
40
30
20
10
0
P. Pagado
2002 2003 2004 2005 2006 2007 2008 2009
17,43 15,69 15,68 14,16 13,01 11,41 10,84 10,02
P. Subvencionado 37,19 38,96 41,62 43,27 44,66 45,58 48,05 48,9
45,37 45,35 42,7 42,56 42,33 43,02 41,11 41,08
Municipal
Porcentaje de Padres con Formación postsecundaria
según tipo de Establecimiento Educacional
%
90
80
70
60
50
40
30
20
10
0
2002
2003
2004
2005
2006
2007
2008
2009
PART PAG
74,59
77,62
81,18
80,5
81,62
81,97
83,71
84,78
PART SUBV
29,84
30,61
35,64
32,29
32,29
28,39
29,42
29,34
MUNICIPAL
19,4
18,88
21,9
18,49
17,49
14,25
14,62
14,3
Diferencia Particular-Municipal en Puntaje PSU
Brechas Particulares Pagado vs. Municipales en PSUM y
PSUL. Sin ajuste (Sólo alumnos Promoción)
150
125
100
75
50
25
0
2002
2003
2004
2005
2006
2007
2008
2009
Lenguaje
108
121
112
113
123
135
137
143
Matematicas
117
126
120
120
126
140
148
154
Diferencia Particular-Municipal en Puntaje PSU
Brechas Particulares Subvencionados vs. Municipales en
PSUM y PSUL. Sin ajuste (Sólo alumnos Promoción)
150
125
100
75
50
25
0
2002
2003
2004
2005
2006
2007
2008
2009
Lenguaje
27
29
29
27
32
36
33
33
Matematicas
26
28
27
23
25
31
31
32
Resumen de Correlaciones con
Rendimiento Académico (Validez
Predictiva)
Carreras
Lenguaje
Matemática
NEM
2003 (PAA)
771
0,01
0,13
0,23
2004
777
0,07
0,27
0,25
2005
828
0,09
0,23
0,23
2006
859
0,09
0,23
0,22
MEDICIONES DE LOGROS
ESCOLARES: SIMCE
SIMCE
• PER (1982) → SIMCE (desde 1988)
– Censal
– 3 grados (4o básico, 8o básico, 2o medio)
– Mide los principales sectores de aprendizaje:
Matemática, Lenguaje, Ciencias y Ciencias Sociales
– Preguntas de respuesta cerrada y abierta
– Se reporta a nivel agregado
– Conlleva consecuencias para los establecimientos
(SNED, programas focalizados)
SIMCE y EQUIDAD (4º básico 2008)
GRUPO
SOCIOECONÓ
MICO
LECTURA
EDUCACIÓN
MATEMÁTICA
PROMEDIO
VARIACIÓN
PROMEDIO
BAJO
MEDIO BAJO
240
242
5
6
MEDIO
MEDIO ALTO
260
281
ALTO
303
COMPRENSIÓN
DEL MEDIO
SOCIAL Y
CULTURAL
PROMEDIO
220
226
VARIACIÓ
N
1
1
5
5
246
272
-1
1
250
273
5
300
4
295
224
231
SIMCE y EQUIDAD: Resultados
según GSE y Dependencia
GRUPO
SOCIOECONÓ
MICO
LECTURA
EDUCACIÓN MATEMÁTICA
MUN
PSUB
PPAG
MUN
PSUB
PPAG
BAJO
(+)242
234
-
(+)222
209
-
MEDIO
BAJO
242
243
-
226
226
-
MEDIO
255
(+)263
-
241
(+)249
-
MEDIO
ALTO
276
(+)282
-
266
(+)273
-
-
295
(+)304
-
289
(+)302
247
267
304
231
254
301
ALTO
NACIONAL
PRUEBAS INTERNACIONALES
Participación de Chile en pruebas
internacionales
• SIALS 1998: comprensión lectora de población adulta
• TIMSS (1999, 2003): dominio en matemática y
ciencias de estudiantes de 15 años
• CIVICA 1999-2000: conocimientos y actitudes cívicas
de estudiantes de 8º básico y 4º medio
• LLECE (Laboratorio Latinoamericano de Evaluación
de la Calidad de la Educación de la UNESCO) (1997,
2006): lectura, escritura, matemática y ciencias en
estudiantes de 3º y 6º básico
Participación de Chile en pruebas
internacionales
• PISA (2000, 2006 y 2009): habilidades básicas de
estudiantes de 15 años
– Foco 2000: Lenguaje
– Foco 2006: Ciencias
– Foco 2009: Lenguaje. Además se agrega prueba de Lectura
digital: habilidad para acceder, manejar, integrar y evaluar
información; construir nuevos conocimientos a partir de
textos electrónicos (de los 60 países, 17 incluyen esta
habilidad, Chile entre ellos)
Sw
ed
en
N
or
w
a
D
en y
m
ar
k
C
an
ad
Fi a
nl
N
a
e
C th e nd
ze
r
ch lan
Re d s
U
ni
pu
te
b
d
Ki li c
ng
U
ni
te d o
m
d
St
a
G te s
er
N
ew ma
Ze ny
al
B
an
el
A
us d
Sw giu
tr
i tz m
(F ali a
er
l
Sw lan and
er
i tz d (
s)
G
er
er
l
Sw a n
m
i tz d ( an
)
F
er
la ren
nd
c
(It h)
al
ia
n
Ire )
la
H nd
un
ga
r
Po y
la
Sl n d
ov
en
Po i a
rt
ug
al
C
hi
le
SIALS: Distribución de Comprensión Lectora de
adultos (Documentos)
100
90
80
70
60
50
40
30
20
10
0
Nivel4-5
Nivel3
Nivel2
Nivel1
Rendimiento en TIMSS 2003 de
Matemática
650
600
550
500
450
400
350
300
250
200
U
ia
ur rea pe i ón ica nda nia rí a sia sia uia lia E U cia a el alia nia al
no Iran sia pto i na hile nas dita ana ica
ga
p
a
i
i
g
p
t
t
g
e sr
u
q
o
a ion rue don íba
a
r
e
fr
I
a
l
a
o
E
l
n
a
a
t
C lipi au
G
t
l
u
a
R
é
I
m c
C
J B
T
s
Eg l es
o
v
L
S
on
i
dá
e
o
ng
u
Es Hu Ma
u
S
o
i
l
a
a
H
a
c
d
F
u
l
N
R rn
S
A
E
n
a
P
a
S
In
Es
M
hi
bi
te
a
C
n
r
I
A
om
r
P
Países PISA en 2009: 87% de la
economía mundial
Población de estudiantes de 15
años por grado en PISA
Niveles de desempeño en lectura:
Interpretación de textos (PISA)
Nivel5

Interpreta el significado de textos que incorporan sutilezas del lenguaje
(por ejemplo textos con figuras literarias, oraciones que utilizan el
humor, la ironía o el sarcasmo). Demuestra comprensión plena y
detallada del texto.
Nivel4

Utiliza una inferencia de alto nivel basada en el texto para comprender y
aplicar categorías, en un contexto que no le resulta familiar, para
interpretar el significado de una sección del texto, considerando el texto
completo. Maneja ambigüedades o ideas distintas a las expectativas
generadas por el texto e ideas formuladas negativamente.
Nivel3

Integra diversas partes de un texto para identificar una idea principal,
comprende una relación o interpreta el significado de una palabra o
frase. Compara, contrasta y clasifica en categorías, tomando en cuenta
múltiples criterios. Discrimina entre información relevante que compite
entre sí.
Nivel2

Identifica la idea principal en un texto. Comprende relaciones, define o
aplica categorías simples. Interpreta el significado dentro de una parte
limitada del texto cuando la información no es relevante y se requieren
inferencias de bajo nivel.
Nivel1

Reconoce el tema principal o el propósito del autor en un texto sobre un
tema que le resulta familiar, cuando la información requerida es
relevante en el texto.
PISA: Porcentaje de estudiantes en
cada uno de los niveles de dominio
Latinoamérica y OCDE: Porcentaje de estudiantes
según niveles de desempeño en lectura global
100
90
80
70
Nivel 5
Nivel 4
Nivel 3
Nivel 2
Nivel 1
Bajo 1
60
50
40
30
20
10
O
CD
E
s
ni
do
Pr
om
ed
io
U
rtu
ga
l
Po
a
nl
an
di
Fi
Es
ta
do
s
La
t in
oa
m
ér
ic
a
Pe
rú
éx
ic
o
M
le
Ch
i
Br
as
il
Ar
ge
nt
in
a
0
Lectura PISA 2000 - 2006
Cambio en PISA Lectura: 20002006
TIMSS: Distribución de Rendimientos en Matemática
según escolaridad de los padres
700
Primaria Completa
Universitaria Completa
650
Secundaria completa
600
550
500
450
400
350
in
as
M
ar
ru
ec
os
Fi
lip
Ch
ile
ia
on
es
ae
l
In
d
Is
r
lia
Ita
Co
re
a
Ho
la
nd
a
Hu
ng
ría
Ca
na
dá
Au
st
ra
lia
Re
p.
Ch
ec
a
EE
Nu
UU
ev
a
Ze
la
nd
a
Si
ng
ap
ur
300
S
w
ed
N
et
e
h
C
er n
ze
ch lan
d
R
ep s
ub
li
D
en c
m
ar
Fi k
nl
an
G
er d
m
B
an
el
gi
y
um No
rw
(F
la ay
nd
er
s)
C
an
N
ew
a
U
Ze da
n
S
al
w ite
an
d
it z
d
e r Ki
S
ng
la
w
n
it z
d
e r d (F om
la
nd re n
(G c h
er )
m
a
P n)
or
tu
A gal
us
S
tr
w
al
it z
ia
er
I
re
la
nd la
nd
(It
a
U
li
ni
te an)
d
S
ta
t
H es
un
ga
ry
P
ol
an
S
lo d
ve
ni
a
C
hi
le
SIALS: Distribución de Comprensión Lectora
(Documentos) según nivel educacional
340
320
Menos que secundaria
Terciaria Completa
Secundaria completa
300
280
260
240
220
200
180
Relación entre Puntaje PISA 2006
e índice de equidad
Finlandia
560
540
27
Fuerte impacto
de
Condiciones
Socioeconómicas
Nueva Zelanda
Australia
Paises Bajos
520
Reino Unido
Alemania Suiza
Rep. Checa
Belgica
Irlanda
Austria
Hungria
Suecia
500
Polonia
FranciaEslovaquia
Dinamarca
22
17
12
Noruega
Luxemburgo Estados Unidos España
480
Grecia
Portugal
Canada
Japon
Korea
Italia
7
Distribución
2
Islandia equitativa
en
Oportunidades
de Aprendizaje
460
440
CHILE
Turquia
420
Mexico
400
ArgentinaBrazil
380
Indonesia
Colombia
Tunisia
Azerbaijan
PISA: Desempeño por alumno según el
nivel de gasto en educación
Descomposicón de la Varianza de
PISA en ciencias
7.4%
Nivel
Sistema
26%
2.3%
6.2%
Nivel
Estudiante
(47%)
5.0%
Explicado por
factores de la
escuela y el
sistema
7.6%
44.7%
8.4%
Nivel
Escuela
27%
3.4%
9.2%
5.8%
EVALUACIÓN DE PROFESORES
Antecedentes
• La mayor parte de los países del Mundo
miran en la actualidad a la sala de clases y
a la escuela como el principal foco de su
política educativa.
• Esto ha tornado la mirada a los principales
actores en cada ámbito: profesores y
personal directivo.
• El desafío es crear sistemas escolares donde
profesores y directivos se organicen
asegurar que todos los estudiantes
progresen en sus aprendizajes
Aspectos claves en una política
docente integral
Atraer a los mejores
• Becas
Asegurar buena
Formación inicial y
en servicio
• FFID (1997-2002)
• MECESUP (2005-)
• Acreditación
obligatoria de
carreras de
pedagogía
• Alinear formación
con evaluación
(Planes de
Superación
Profesional)
Retener a los
mejores
• Incentivos
colectivos (SNED)
• Incentivos
individuales (AEP
– AVDI)
• Carrera docente
Crecimiento de la matrícula en
Pedagogía 2000-2007
Tipo de institución
2000
2007
Universidades
Institutos profesionales
TOTAL
29.904
5.175
35.079
86.878
12.501
99.379
Variación
porcentual
291%
242%
283%
Condiciones Laborales: Salario Anual Profesores
Educación Primaria en Establecimientos Públicos
100 000
90 000
70 000
60 000
50 000
40 000
30 000
20 000
10 000
Salario Máximo
Salario Inicial
Salario 15 años experiencia
Datos obtenidos de Education at a Glance 2008: OECD Indicators - OECD © 2008 ISBN 9789264046283
Luxembourg
Switzerland
Germany
Denmark
Spain
Norway
Australia
Korea
England
Ireland
Belgium (Fl.)
Finland
Austria
Greece
Japan
Sweden
Iceland
Italy
France
Portugal
New Zealand
Czech Republic
Mexico
Israel
Turkey
Hungary
Chile
0
Estonia
Dolares Anuales
80 000
Relación entre Salario de Profesores y Resultados
PISA Matemática
560
R² = 0.3135
Medias PISA Matemática
540
520
500
480
460
440
420
400
0
10 000
20 000
30 000
40 000
50 000
60 000
70 000
80 000
Salario Anual Profesores 15 años experiencia (Dolares)
Matemática
r= 0,56
Datos obtenidos de Informe PISA 2006 y Education at a Glance 2008: OECD
Indicators - OECD © 2008 - ISBN 9789264046283
Evaluación de profesores
• Asignación de Excelencia Pedagógica
– Postulación voluntaria
– Profesores de establecimientos que reciben
subvención estatal (Municipales y Particulares
Subvencionados)
– Asignación se basa en Portafolio y Prueba de
conocimientos pedagógicos y disciplinares
– Medición se basa en estándares de desempeño
profesional (Marco para la Buena Enseñanza)
Evaluación de profesores
• Programa Nacional de Evaluación Profesional
Docente (Docentemás)
– Evaluación obligatoria (basada en ley)
– Profesores de establecimientos Municipales
– Se basa en acuerdo tripartito entre Ministerio de
Educación, Colegio de Profesores y Asociación
de Municipios
– Evaluación se basa en cuatro instrumentos:
•
•
•
•
Portafolio (evidencia escrita y filmación de una clase)
Autoevaluación
Entrevista de evaluador par
Informe de Director y/o jefe de Unidad Técnico
Pedagógica
– Medición se basa en estándares de desempeño
profesional (Marco para la Buena Enseñanza)
Docentemás: ¿Cómo se evalúa?
Se recogen distintas perspectivas acerca del desempeño profesional
del docente. A través de los siguientes instrumentos:
Autoevaluación
Informes de Referencia
de Terceros
Propia perspectiva
Perspectiva de superior
jerárquico
Entrevista Evaluador
Par
Portafolio
Perspectiva de un colega
Evidencia directa
Estructura Portafolio:
Productos y Subproductos
Estructura Portafolio:
Productos y Subproductos
Evaluación Docente: Comparación de
resultados 2005 a 2008
Resultados Finales 2005 a 2008
Insatisfactorio
Básico
Competente
Destacado
70%
63.92%
58.10%
60%
54.89%
51.42%
50%
38.73%
40%
35.15%
32.96%
30%
22.80%
20%
12.13%
10%
6.02%
3.83%
7.76%
5.98%
2.96%
2.20%
1.14%
0%
2005
2006
2007
2008
Portafolio: Perfil medio en
dimensiones
4
Video
3.5
3
2.5
2
1.5
1
O r g an izac ió n
C alidad de las
C alidad del
U tilizac ió n de
Reflex ió n
de lo s
ac tiv idades de
in s tr u m en to
lo s r es u ltado s
s o br e s u
elem en to s de
las c las es
de ev alu ac ió n
de la
qu eh ac er
ev alu ac ió n
do c en te
la u n idad
A m bien te de la Es tr u c tu r a de
c las e
la c las e
In ter ac c ió n
pedag ó g ic a
Dimensión G: Estructura de la clase
IndG.1. Calidad de la
estructura de la clase
3,5
IndG.2. Utilización del
tiempo instruccional
3,0
Mean +- 1 SD
IndG.3. Contribución de
las actividades al logro
de los objetivos y
contenidos de la clase
2,5
2,0
1,5
1,0
N=
14165
14165
14165
PJE_INDG1
PJE_INDG2
PJE_INDG3
Distribución de resultado final según uso de
computador para trabajo docente
0%
10%
20%
30%
40%
50%
60%
70%
Menos de dos veces al mes
(6,3%)
Dos veces al mes (4%)
Una vez por semana (27,8%)
Todos los días (61,9)
Insatisfactorio
Básico
Competente
Destacado
80%
90%
100%
Aspectos que inciden en la
evaluación docente (Fuente: Valencia,
2009)
• Aspectos del profesor
– Mayor formación en servicio
– Poseer Asignación de Excelencia Pedagógica
– Trabajar en un establecimiento
• Aspectos del establecimiento
– Mayor proporción de otros docentes con
Asignación de Excelencia Pedagógica
– Altas expectativas académicas de los padres
– (No influye la condición socioeconómica y
ruralidad del establecimiento)
Los buenos profesores hacen la
diferencia (Fuente: SIMCE Informe Nacional 2008)
El Informe Nacional 2008 incluyó una sección donde comparó el rendimiento
Medio de los estudiantes en el SIMCE según el número de profesores bien
Evaluados a los que habían estado expuestos en los 4 años previos.
Las comparaciones se hicieron al interior de cada grupo socioeconómico
Para controlar su efecto.
Evaluación de Egresados de
Pedagogía
• En 2008 se creó el Programa INICIA para apoyar la
renovación de la formación docente.
• El programa incluye una evaluación diagnóstica de
los egresados de pedagogía
• La evaluación apunta a:
– Conocimientos en el ámbito disciplinario donde el
futuro docente se desempeñará
– Conocimientos generales de educación y pedagogía
– Competencias pedagógicas fundamentales
– Competencias generales.
• Habilidades de comunicación escrita;
• Competencias computacionales (con un foco en el uso
pedagógico de la computación).
Puntaje PSU de ingreso
Egresados de Pedagogía
PSU Promedio
Instituciones
Estudiantes
Menor a 450
9
774
451-500
7
300
501-550
12
496
Mayor que 550
2
119
Nota: el número de instituciones se basa en aquellas con al
menos 8 estudiantes con datos PSU
• 64% de los alumnos examinados proviene de
instituciones cuyo promedio de ingreso vía
PSU es inferior a los 500 puntos.
INICIA: Porcentaje de respuestas
correctas Prueba de conocimientos
Prueba
Alumnos que rinden
Promedio Porcentaje
de Respuestas
Correctas
Generalista
1720
47%
Lenguaje Segundo Ciclo
115
42%
Matemática Segundo
Ciclo
105
39%
Sociedad Segundo Ciclo
42
40%
Naturaleza
Segundo
• Diferencia
de desempeño entre11generalistas y pruebas36%
de
Ciclo
2º ciclo es estadísticamente significativa.
INICIA: Resultados en Prueba de
conocimientos, según PSU de
egresados
Puntaje PSU
Porcentaje de Respuestas
Correctas
450 o menos
40%
451 – 500
45%
501 – 550
51%
Mayor que 550
63%
Resultados de esta prueba están directamente
relacionados con puntaje PSU de ingreso de los
examinados
Conclusiones
• Ampliación sostenida de la base de mediciones en
nuestro sistema educacional.
• Perfeccionamiento y modernización de los
instrumentos empleados
• Mediciones son el aspecto más visible del sistema
educacional ante la opinión pública.
– Determinan la percepción social y política acerca del
progreso educacional.
– Generan gran atención y debate cuando se producen
cambios, como lo demuestra el reciente cambio en las
pruebas de admisión a las universidades.
• Necesidad de asegurar un marco políticoinstitucional consensuado para crear el ambiente
necesario para los desarrollos técnicos que
requiere la medición educacional
Conclusiones
• Las mediciones nacionales e internacionales
han ratificado el fuerte impacto que en
nuestro país poseen los antecedentes
socioeconómicos.
• Mayor varianza socioeconómica entre
escuelas que al interior de ellas (efecto
composicional)
• Necesidad de aprovechar las mediciones
para orientar políticas que resuelvan los
nudos centrales en la educación chilena:
– Profesores: atraer, formar, retener y desarrollar
los mejores talentos
– Directores: promover un auténtico liderazgo
pedagógico
Conclusiones
• Mediciones internacionales revelan importantes
distancias con respecto a las aspiraciones de logro
en educación.
• Bajos rendimientos nacionales también se
manifiestan en nuestra elite
• Por tanto: se requiere que las mediciones
educacionales apoyen la elevación de los
aprendizajes:
– Alineamiento de las mediciones con expectativas
nacionales de aprendizaje o rendimiento
– Incorporar sistemas de información y retroalimentación
que faciliten las decisiones educacionales a nivel de
escuelas y sala de clases
Conclusiones
• Las mediciones externas no han permeado
suficientemente el sistema escolar:
– Insuficiente preparación docente en medición
– Insuficiente apropiación y aprovechamiento de
la información disponible
– Necesidad de generar sistemas de monitoreo de
los aprendizajes con información útil para
decisiones pedagógicas (incluyendo información
individual y agregada acerca del progreso de los
estudiantes)
– Insuficiente atención a los temas de
comunicación de resultados (aunque SIMCE es
uno de los sistemas más avanzados en este
ámbito)
– Regular las consecuencias asociadas a las
mediciones
La evaluación educacional en Chile:
mediciones nacionales e
internacionales
Jorge Manzi
Universidad Católica de Chile
www.mideuc.cl
Descargar

Esquema para la construcción de instrumentos para