Integración y Prueba de
Herramientas de Evaluación en
un Entorno Hipermedia
Adaptativo
Javier Bravo Agapito and Alvaro Ortigosa
{javier.bravo,[email protected]
SIIE 2006
Universidad Autónoma de Madrid
Índice
 Introducción
 Objetivos
 Arquitectura del sistema de evaluación
 Simulog: Sistema de Simulación de Usuarios
 Arquitectura de Simulog
 Motor de simulación
 Conclusiones y Trabajo Futuro
 Bibliografía
SIIE - Octubre 2006
Introducción
 AHS (Adaptive Hypermedia Systems) utilizan un modelo de




usuario para adecuar los contenidos a las preferencias de los
usuarios.
AEH (Adaptive Educational Hypermedia) utilizan un modelo de
estudiante que en base a unas reglas de adaptación permiten
personalizar los contenidos de los cursos ofrecidos.
Existe amplia aceptación de estos sistemas, pero es necesario
valorar su efectividad (técnicas de evaluación empírica).
El objetivo de las herramientas de evaluación que se presentan
en este congreso es identificar posibles fallos u oportunidades
que permitan mejorar las reglas de adaptación.
Valorar la efectividad de estas herramientas constituye un gran
reto. Problemas:
 Se necesita un amplio conjunto de logs.
 Análisis manual de los logs.
SIIE - Octubre 2006
Objetivos
 Integrar las herramientas de evaluación en la
arquitectura de los AHS.
 Proporcionar al diseñador del curso una
herramienta que le ayude a comprobar si los
resultados devueltos por la herramienta de
evaluación son correctos.
SIIE - Octubre 2006
Arquitectura del sistema de evaluación
Estudiante 1
Motor de
Adaptación
Curso
Estudiante 2
MdU
¿AD contiene todas las
anomalías?
Estudiante n
Ontología de
Anomalías
Herramienta de
Evaluación
AD: Anomalías
Detectadas
Evaluador
Contexto de Simulog
¿ AD = AT ?
Estudiante 1
AT:
Anomalías
a testear
Motor de
Simulog
Adaptación
Estudiante 2
PE: Perfil
del
Estudiante 3estudiante
Estudiante n
MdU con
MdU
anomalías
Curso
Ontología de
Anomalías
¿AD contiene todas las
anomalías?
Herramienta de
Evaluación
AD: Anomalías
Detectadas
AD: Anomalías
Detectadas
Evaluador
Simulog
 Simulación de Usuarios a través de Logs.
 Objetivo: validar métodos y herramientas de
evaluación (basadas en análisis de logs) de
sistemas AEH.
 Simulog genera ficheros logs de forma
controlada. Estos logs permiten realizar un
control de los resultados devueltos por la
herramienta de evaluación.
SIIE - Octubre 2006
Arquitectura de Simulog
Conclusiones y Trabajo Futuro
 Conclusiones:
 Propuesta de una arquitectura de un sistema AEH con
la incorporación de herramientas de evaluación
empírica.
 Presentación de Simulog como una herramienta
práctica y económica para evaluar las herramientas de
evaluación basadas en análisis de logs.
 Trabajo Futuro:
 Validar los resultados simulados por la herramienta
Simulog.
 Mayor desarrollo de la ontología de anomalías.
 Diseñar una ontología de descripción de cursos.
SIIE - Octubre 2006
Fin
Preguntas
Muchas gracias.
SIIE - Octubre 2006
Estructura de un fichero log
<log-root>
<user-model>
<dimension name=“ “ value=“ “ />
</user-model>
<log-activity>
<log activity=“ “ score=“ “ action= “ “
porcent=“ “ timestamp=“ “ />
</log-activity>
<log-update>
<update name=“ “ value=“ “ />
</log-update>
</log-root>
SIIE - Octubre 2006
Descargar

Validating the Evaluation of Adaptive Systems by User