Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
La evaluación de la escritura
en PSU-Lenguaje y Comunicación:
estudios preliminares
EXPERIMENTACIONES 2006-2007
DEMRE
Jorge Hernández M.
Comité de Lenguaje
DEMRE
- DICIEMBRE, 2009 -
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
CONCEPTOS BÁSICOS
Lectura y Escritura: dos competencias fundamentales para
el desempeño académico universitario.
Por lo tanto,
DESARROLLO
Comprensión
Lectora
Habilidades
Escriturales
BUEN DESEMPEÑO ACADÉMICO
Lectura y Escritura: resultado de Proceso de EnseñanzaAprendizaje escolar.
Prueba de selección universitaria:
debe incluir ítemes para medir estas dos competencias
(validez predictiva del desempeño académico).
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Enseñanza media
NEM
BATERÍA
PSU
LENGUAJE Y COMUNICACIÓN
MATEMÁTICA
HISTORIA Y CIENCIAS SOCIALES
CIENCIAS: BIOLOGÍA, FÍSICA, QUÍMICA
VALIDEZ PREDICTIVA
Ingreso
educación superior
Primer año universitario
ALINEADAS
MARCO CURRICULAR
Problemas:
CMO no medibles con pruebas
de lápiz y papel: oralidad.
CMO no medibles con preguntas
de selección múltiple: redacción.
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
2006
Inicio de estudios medición de la escritura.
Revisión
bibliográfica
internacionales)
Aplicación Exploratoria
(evaluaciones
nacionales
e
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Revisión bibliográfica
Estudios DEMRE: Medición de la redacción, 1982
Conclusiones:
“La medición de la redacción es un problema de gran
complejidad que reside principalmente en la dificultad que
preenta la definición y delimitación de los indicadores que se
utilizan para realizarla (Afecta la confiabilidad).”
“La capacidad de redactar puede ser medida
indirectamente evaluando conductas específicas que son
sintomáticas de esa capacidad.”
“Hemos comprobado que los rasgos que suelen considerar
en otros países para medir la capacidad de redactar
(corrección idiomática respecto de las normas imperantes) no
tienen aplicación en nuestro medio.”
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Estudios DEMRE:
Medición de la redacción, 1982
Muestra:
Estudiantes de cuarto medio.
Elegidos al azar
Proporcional muestra experimental 1981.
Unidad de muestreo: cursos, elegidos en forma aleatoria
proporcional.
Tipo de pregunta abierta:
texto de tema libre
extensión mínima de dos carillas
una hora de tiempo
Se seleccionaron aquellos textos en que predominaba el
aspecto comunicativo, excluyendo literarios y de menor
extensión.
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Producción de textos: Mediciones
PREGUNTA ABIERTA
I
n
d
i
c
a
d
o
r
e
s
d
i
r
e
c
t
o
s
ENSAYO
RESPUESTA BREVE
PREGUNTA CERRADA
PLAN DE REDACCIÓN
MANEJO DE
CONECTORES
ELIMINACIÓN DE
ORACIONES
ORDENACIÓN DE
ORACIONES
I
n
d
i
c
a
d
o
r
e
s
i
n
d
i
r
e
c
t
o
s
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Revisión bibliográfica
Estudios internacionales: SAT II
Tipo de pregunta abierta: Ensayo.
Instrucción: Presentar y apoyar un punto de vista sobre un
tema específico.
Tiempo: 25 minutos.
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Revisión bibliográfica
Además, se acompaña de una sección de escritura con tres
tipos de preguntas de opción múltiple:
Corrección de oraciones (25 preguntas)
Identificar errores oracionales (18 preguntas)
Corrección de párrafos (6 preguntas)
El ensayo mide la capacidad de:
desarrollar un punto de vista sobre un tema presentado en
un extracto.
apoyar su punto de vista utilizando el razonamiento y
ejemplos de su lectura, estudios, experiencias, observaciones
o seguir las convenciones de la norma escrita inglesa.
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Propuesta Comité LyC:
Recopilar evidencia sobre pregunta abierta.
PROPÓSITO:
Posibilidad de incluir pregunta abierta como nuevo
instrumento o como un ítem que forme parte de la actual
batería para incrementar la validez predictiva.
Condición: No incrementar la diferencia entre los grupos
que rinden (variables).
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Características teóricas de la pregunta abierta:
Pregunta de respuesta breve (10 a 20 líneas)
Respuesta redactada debe corresponder a una forma
textual (organización funcional discursiva v/s estructura
textual).
Asociada a la lectura de un texto, para controlar el “efecto”
de las experiencias de vida de los grupos al momento de
redactar.
Vinculada a comprensión lectora, pero focalizada en la
organización de ideas.
Textos elegidos: literarios y no literarios.
Textos de cualquier extensión, de preferencia medianos o
extensos.
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Año 2006
Experiencia Exploratoria
Forma experimental 510
Prueba de 80 preguntas cerradas, tipo PSU.
Incorporación de 2 preguntas de desarrollo asociadas a un
texto que presenta preguntas cerradas.
Se solicita la redacción de dos tipos de textos: expositivo y
argumentativo.
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Temas por resolver:
Disposición de los estudiantes.
Características adecuadas del texto base.
Características textuales de la respuesta.
Variable medida.
Relación entre preguntas cerradas y abiertas.
Logística del proceso de corrección.
Año 2006
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Año 2006
Experiencia Exploratoria
Características grupo de experimentación:
Muestra estratificada según variables de género,
ubicación
geográfica,
dependencia
y
rama
educacional.
Total de sujetos: 816
Estudiantes de cuarto año de enseñanza media
Elegidos al azar
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Por dependencia educacional
Por género
Forma 510-2006
Forma 510-2006
Total
alumnos
%
P. Pagado
179
21,9
Dep. educacional
Total
alumnos
%
Masculino
373
45,7
P. Subvencionado
389
47,7
Femenino
443
54,3
Municipal
248
30,4
Total
816
100,0
Total
816
100,0
Género
Forma 510 según género.
Forma 510-2006 según dependencia educacional
179; 22%
373; 46%
248; 30%
443; 54%
389; 48%
Masculino
Femenino
Particular Pagado
Particular subvencionado
Municipal
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Por Rama educacional
Forma 510-2006
Por ubicación geográfica
Forma 510-2006
Rama
educacional
Total
alumnos
%
Humanísticocientífica
694
85,0
122
15,0
816
100,0
Ubicación
geográfica
Total
alumnos
%
R. Metropolitana
335
41,1
Otras regiones
481
58,9
Técnico
profesional
Total
816
100,0
Total
Forma 510-2006 según procedencia
geográfica
335; 41%
Región Metropolitana
Forma 510-2006 según rama
educacional
122; 15%
Humanísticocientífica
Técnico
profesional
Otras regiones
481; 59%
694; 85%
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Año 2006:
Experiencia Exploratoria
Proceso de corrección de preguntas abiertas:
Hojas corregidas: 1632
Rúbrica Holística
Seis indicadores: comprensión, cohesión, planteamiento de
ideas, estructura discursiva, registro discursivo y ortografía.
Doble corrección (consistencia 80%)
Generación de sistema informático
Conclusiones:
Probar rúbrica mixta: holística- analítica.
Eliminar indicador comprensión.
Concepto de corrección múltiple.
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Año 2006
Conclusiones obtenidas:
 Buena disposición a contestar este tipo de ítem.
La omisión total fue de 51 estudiantes (6,3%).
Omisión de hojas: 102.
Omisión pregunta A o B: 62 estudiantes.
Los textos más adecuados son expositivos y
argumentativos.
Puede existir diferencia entre el tipo textual de la instrucción
y el tipo textual estímulo.
La pregunta abierta mide una variable diferente, por lo
tanto, está referida a dimensiones diferentes.
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Conclusiones obtenidas:
Correlación puntaje pregunta abierta y el puntaje secciones
de la Prueba de Lenguaje y Comunicación:
Pretest: mayor covariación se produce con Comprensión de
Lectura, seguida de Plan de Redacción, Uso de Conectores y
Vocabulario.
Prueba Oficial: plan de Redacción, Comprensión de
Lectura, Vocabulario y Uso de Conectores.
La independencia se ratifica con los resultados del Análisis
de Regresión Múltiple y del Análisis Factorial, método de
Componentes Principales.
Análisis factorial
PRUEBA OFICIAL VS PREGUNTA ABIERTA. DOS FACTORES
Varianza total explicada
Autovalores iniciales
Sumas de las saturaciones al
cuadrado de la extracción
Componente
Total
% de la
varianz
a
%
acumulado
57,661
2,883
57,661
17,558
75,218
,878
17,558
,547
10,947
86,165
4
,435
8,700
94,866
5
,257
5,134
100,000
Total
% de la
varianza
%
acumulado
1
2,883
57,661
2
,878
3
Suma de las saturaciones al
cuadrado de la rotación
Total
% de la
varianz
a
%
acumulado
57,661
2,721
54,410
54,410
75,218
1,040
20,808
75,218
Método de extracción: Análisis de Componentes principales.
Componente
Matriz de componentes rotados(a)
Indicador
1
2
L. COMPOFI
,879
,137
REDACOFI
,835
,156
L. VOCABOFI
,815
,106
CONECOFI
,751
PUNTAJE P.
ABIERTA
,145
,989
Método de extracción: Análisis de componentes principales.
Método de rotación: Normalización Varimax con Kaiser.
a La rotación ha convergido en 3 iteraciones.
PRUEBA EXPERIMENTAL VS PREGUNTA ABIERTA. DOS FACTORES
Varianza total explicada
Autovalores iniciales
Componente
Total
% de la
varianza
%
acumulado
1
2,380
47,596
2
,900
3
Análisis factorial
Sumas de las saturaciones al
cuadrado de la extracción
Total
% de la
varianza
%
acumulado
47,596
2,380
47,596
18,004
65,601
,900
18,004
,699
13,989
79,590
4
,536
10,719
90,309
5
,485
9,691
100,000
Suma de las saturaciones al
cuadrado de la rotación
Total
% de la
varianza
%
acumulado
47,596
2,193
43,861
43,861
65,601
1,087
21,739
65,601
Método de extracción: Análisis de Componentes principales.
Matriz de componentes rotados(a)
Indicador
Componente
1
2
L. COMP510
,777
,206
L. VOCAB510
,759
-,158
CONEC510
,738
,196
REDAC510
,674
,279
PUNTAJE P.
ABIERTA
,125
,950
Método de extracción: Análisis de componentes principales.
Método de rotación: Normalización Varimax con Kaiser.
a La rotación ha convergido en 3 iteraciones.
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
2007
Estudios y análisis de aplicación exploratoria.
Aplicación experimental dos formas: 211 y 212.
Desarrollo de soluciones logísticas.
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Características de la aplicación 2007
Prueba PSU: 80 preguntas
Incorporación de una pregunta abierta extensión mediana
Tipo de texto lectura: literario
Tipo de pregunta abierta: texto argumentativo, ajustado a
estructura textual (carta)
Muestra: 1105 estudiantes
Estudiantes: Cuarto año de enseñanza media
Estratificada según variables
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Año 2007
Experiencia 2007
Proceso de corrección de preguntas abiertas:
Hojas corregidas: 636
Rúbrica Mixta: holística – analítica.
Cinco indicadores graduados en seis niveles.
Puntaje 0, diferente de omisión.
Doble corrección (consistencia 80%)
Prueba de sistema informático.
Validación de logística de corrección: tiempos, cantidad de
correctores, formación de correctores.
TEXTO ESTÍMULO
“Helena jamás volverá junto a Menelao. Un
marido que para vengar su honor
complica a tanta gente y a tantos dioses
demuestra que tiene más amor propio que
amor”.
Marco Denevi, Helena y Menelao
INSTRUCCIÓN DE ESCRITURA
1. Después de leer el Texto 1 (“Helena y Menelao”
de Marco Denevi), elija a uno de los dos
personajes de la narración.
2. Asumiendo el rol de Helena o Menelao, escriba
una carta personal al otro personaje, donde
explique, tanto su propio actuar como el del otro.
3. En la redacción debe dar cuenta del formato o
estructura de la carta, es decir, indicar fecha,
destinatario, saludo, cuerpo del texto y
despedida. Utilice, en la redacción, un
vocabulario adecuado a la situación y una
organización coherente de las ideas.
25·Agosto·07
*Grecia
Querido Menelao:
Aún no comprendo el actuar que
haz conllevado desde que nuestra relación comenzó a
perdurar. Aún no comprendo porqué ese afán de priorizar el
honor, tus batallas, antes que tu amada.
Quiero que comprendas que yo
siempre te he amado, en mi corazón perdurarás por
siempre, pero esto; no puede continuar, se me escapó de las
manos, tu actuar me rompe el corazón y por este motivo; no
te amaré jamás, me haz dañado y tú por tu parte sigues
amandote a ti mismo.
Ojalá comprendas.
Se despide Atte,
Helena.
Construcciones sin sentido. Realizó una
“HAZ” POR “HAS”: imprecisión
selección
lexical
“ultracorrecta”
semántica (indicador Elementos
(indicador Utilización de registro y
de cohesión).
selección lexical).
No cumple con el propósito de argumentar. Carece de
Tema no se
ajusta a lasy indicaciones
expuestas
en lala
hipótesis,
argumentos
conclusiones.
No existe
instrucción de
del algún
ítem. Respuesta
informa
sobre el estado
explicación
hecho, sino
la exposición
de un
de la relación:
se solicitó
dar cuenta
de los hechos
que
suceso
sin determinar
sus causas
(Planteamiento
de ideas).
motivan el accionar de alguno de los personajes, desde
la voz de uno de ellos (indicador “Adecuación al tema”).
Uso correcto de conector adversativo. Uso de punto y
coma interrumpe la oración tornándola incohesiva en
su nivel interno (indicador elementos de la cohesión).
Se ajusta a la silueta discursiva (indicador Estructura
discursiva).
EVALUACIÓN
Puntaje Puntaje
máximo obtenido
Adecuación al tema
5
3
Estructura discursiva
Utilización de registro y selección lexical
Argumentos
Cohesión
5
4
5
5
5
3
2
2
Total pregunta abierta
25
14
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Experiencia 2007. Conclusiones.
Hojas de respuestas válidas: 636
Omisión: 42%.
Cambios en la estructura de la prueba: disminución de
ítemes cerrados.
GENERO
DEP. EDUC.
Frecuencia
%
Frecuencia
%
M
241
37,9
MU
218
34,3
F
395
62,1
PS
319
50,2
Total
636
100
PP
99
15,6
Total
636
100
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Año 2007
Correlaciones ENTRE SECCIONES PRUEBA OFICIAL INDICADORES PREGAB
IN1
TEMA
COFS2CON
Correlación de
Pearson
Sig. (bilateral)
N
COFS2PR
Correlación de
Pearson
Sig. (bilateral)
N
COFS3VOC
Correlación de
Pearson
Sig. (bilateral)
N
COFS3CLEC
T
Correlación de
Pearson
Sig. (bilateral)
N
IN2
DISCURSO
IN3
REGISTRO
ID4
PLANTIDEAS
ID5
COHESION
,170(**)
0,096
0,086
,159(**)
,204(**)
0,001
0,059
0,092
0,002
0
389
389
389
389
389
,215(**)
,106(*)
,223(**)
,224(**)
,213(**)
0
0,037
0
0
0
389
389
389
389
389
,270(**)
0,095
,141(**)
,260(**)
,289(**)
0
0,062
0,005
0
0
389
389
389
389
389
,278(**)
,135(**)
,198(**)
,288(**)
,317(**)
0
0,008
0
0
0
389
389
389
389
389
**. La correlación es significativa al nivel 0,01 (bilateral)
*. La correlación es significante al nivel 0,05 (bilateral).
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Año 2007
CARACTERÍSTICAS GRUPO MASCULINO
Estadísticos
N
Válidos
Media
Mediana
Desv. típ.
Mínimo
Máximo
PCPT
241
28,82
29
9,39
1
53
PCOFIC
238
40,9
41
16,675
-2
75
TOTPREGAB
241
17,21
17
2,871
9
25
CARACTERÍSTICAS GRUPO FEMENINO
Estadísticos
N
Válidos
Media
Mediana
Desv. típ.
Mínimo
Máximo
PCPT
395
28,85
29
9,724
-1
53
PCOFIC
389
37,36
38
18,023
-9
74
TOTPREGAB
395
18,28
18
2,719
11
25
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
Año 2007
CARACTERÍSTICAS GRUPO MUNICIPAL
N
Válidos
Media
Mediana
Desv. típ.
Mínimo
Máximo
PCPT
218
26,81
26,5
9,738
-1
53
PCOFIC
213
33,01
32
18,107
-2
74
TOTPREGAB
218
17,4
18
2,904
9
25
CARACTERÍSTICAS GRUPO PARTICULAR SUBVENCIONADO
N
Válidos
Media
Mediana
Desv. típ.
Mínimo
Máximo
PCPT
319
28,53
28
9,074
4
51
PCOFIC
315
38,35
38
16,313
-9
73
TOTPREGAB
319
17,92
18
2,672
9
25
CARACTERÍSTICAS GRUPO PARTICULAR PAGADO
N
Válidos
Media
Mediana
Desv. típ.
Mínimo
Máximo
PCPT
99
34,28
35
8,916
2
53
PCOFIC
99
52,08
54
12,801
19
75
TOTPREGAB
99
18,76
19
2,921
12
25
Universidad de Chile
Vicerrectoría de Asuntos Académicos
DEMRE
CONCLUSIONES FINALES
Pregunta abierta permite medir aspectos no contemplados
en la estructura actual de la prueba.
Proceso de estudio y análisis de los resultados.
Etapa de decisiones operativas: mayor tiempo de
corrección y formación de correctores.
Diseño instrumento para medición de la comprensión y
producción textual que pueda servir como prueba
complementaria a la PSU.
Instrumento CODICE será aplicado a los estudiantes
matriculados en la Universidad de Chile para realizar
estudios de seguimiento y validez predictiva.
Descargar

Diapositiva 1