Utilización de Agentes Animados
para interfaces avanzadas de
ayuda
Grupo de Tratamiento del Habla,
Dpto. Ingeniería Electrónica
Autor: Jesús Heras Parra
Tutor: Juan Manuel Montero Martínez
Índice
Objetivos
Los Agentes Animados y MS Agent
La Biblioteca Agentes.DLL
La integración en el Analizador de Estilo
Conclusiones y Líneas futuras
Introducción
Objetivo

Agentes Animados en interfaces avanzadas
Medios


IDE Microsoft Visual C++ 6.0
Microsoft Agent 2.0
Aplicación práctica


Biblioteca (DLL) que facilite la integración de MSAgent
Completar la GUI del Analizador de estilo para textos en
inglés científico/técnico (ANNESTE)


Actualización de la GUI
Inclusión de un Agente Animado
Agentes Animados (I)
Definición

Agente informático con apariencia de personaje
Uso

En interfaces conversacionales buscando una interacción
más natural entre persona y máquina
Recursos

Elementos no verbales de comunicación


Expresiones faciales, gestos corporales, miradas
expresivas
Humanizan la comunicación



Convencionalismos sociales
Dotados de personalidad
Trasmiten y reconocen emociones
Agentes Animados (II)
Ventajas de las GUI con Agentes


Forma natural de incluir entrada y salida de voz
Pueden hacer



un sistema más amigable
usuario más cooperativo
Enriquecen la interfaz:


Entrada multimodal
Salida multimedia
Inconvenientes


Coste de implementación
Los propios de las SUI (Spoken UI)





Lentitud
Turnos de palabra
Errores de reconocimiento
...
Rechazo inicial de los usuarios adaptados a las GUI convencionales
Microsoft Agent (I)
Definición

Componente usable desde cualquier lenguaje de
programación que soporte ActiveX


Ofrece servicios programables de animación de personajes
Facilita incorporar síntesis de habla y reconocimiento de voz
Ventajas




Compatible SAPI (TTS y SR)
Existencia de personajes de uso libre
Varias herramientas para crear un personaje propio
Licencia sin royalties
Inconvenientes




Complejidad de programación
Motor de reconocimiento: Habla aislada y Click-to-Speak
Proceso de instalación complicado
MS Windows
Microsoft Agent (III)
Aplicación
cliente
(5) Llama a los miembros de
la interfaz, ej. pIAgent->Load()
IAgent
pIAgent
(4) Devuelve el
puntero a la interfaz
IAgent
(1) Crear
Objeto Agent
Tecnología Base

Servidor de Automatización OLE

Los clientes se conectan al servidor
y solicitan servicios a través de
interfaces según el estándar COM
Agent
AgentSrv.exe
(3) Lanza Proceso
(2) Chequea el Registro
HKEY_CLASSES_ROOT
CLSID_AgentServer
LocalServer32 = C:\...\AgentSrv.Exe
Microsoft Agent (IV)
IAgentNotifySink
IAgent
IAgentCharacter
IAgentCommands
Interfaces de
programación


Servicios a través de
punteros a interfaces
Captura de eventos de
usuario
IUnknown
IAgentBalloon
IAgentSpeechInputProperties
IAgentAudioProperties
IAgentCommandsWindow
IAgentPropertySheet
La biblioteca Agentes.DLL
Motivación

Facilitar la integración de MSAgent en aplicaciones
 Agrupando servicios
 Ocultando los requerimientos de COM
Servicios de base



Conectar y desconectar del servidor Agent
Cargar y descargar personaje
Acceso a las distintas ventanas de la interfaz
Servicios de voz


Insertar y eliminar comandos de voz
Sintetizar texto o reproducir fichero de audio
Servicios visuales




Mostrar y Ocultar personaje
Ejecutar animaciones
Desplazamiento del personaje
Señalar un punto con el personaje
Analizador de Estilo (I)
•Analiza textos en inglés técnico mediante
•cálculo de variables lingüísticas
•valoración mediante reglas de experto (tipologías)
•Orientado a experto, no a usuario final
GUI
Doc/Vista (MDI)
Resultados
Módulos C :
Analizar
Estilo
Control
ActiveX:
Navegación
Clases C++:
Personaje
Interactivo
PFC de Rogelio
Vargas
Páginas Web
Librería
Agentes.dll
PFC de Pilar Santamaría
Analizador de Estilo (II)
Funciones del Agente Animado

Animar una IU algo árida



Anfitrión: presentación del programa
Tutor: guía paso a paso
Explicar los resultados del análisis a un no lingüista

Agente inteligente
 Experto del dominio “tablas de resultados”
 Ayuda a completar la tarea “mejorar el estilo”
Recursos





Desplazamientos por pantalla concentrando la atención del
usuario sobre determinados puntos
Gestos y animaciones
Síntesis de voz
Reconocimiento de comandos de voz (activación contextos)
Apertura de ventanas de resultados o páginas Web
Ventana de resultados (I)
Originalmente sin agente ni cuadro de diálogo
Ventana de resultados (II)
Con agente
Analizador de Estilo (II)
Comentar Tablas




Análisis de resultados: clasificación en buenos y malos
Alabará las categorías con mejores resultados
Comentará aquellas con peor puntuación
Sugerirá mejorar en determinadas categorías
Analizador de Estilo (II)
Diálogo Interactivo

Activación de contextos



Bajo nivel de profundidad
Escenarios con pocas excepciones
Iniciativa mixta


El personaje propone alternativas y el usuario elige
(Interfaz de apoyo a la toma de decisiones)
El usuario consulta la Ventana de Comandos de Voz Activos
y solicita una tarea
Conclusiones (I)
 Nueva


Uso de la API desde el sistema Servivox de
desarrollo de aplicaciones multimedia
Creación de DLL con MS Visual C++ 6.0
 Nueva



API de manejo de Agentes Animados
versión del analizador de estilo ANESTTE
Inclusión de una interfaz con agentes
animados
Actualización de la GUI
 Interfaz Documento/vista
 Inclusión de Controles ActiveX (Navegador)
Primera versión de un módulo de diálogo para
ayuda al escritor
Conclusiones (II)
Dificultades

Elevado coste de desarrollo de IU’s con Agentes



Sincronización de voz con
 expresiones faciales y gestos
 animaciones en general
Las acciones o respuestas del usuario son muy variadas
e imprevisibles
 Debido a la presencia de un personaje “vivo”
Necesidad de conocimientos sobre COM/OLE para la
programación de MS Agent
De gran ayuda

Herramienta Class Wizard de Microsoft Visual


generación y organización de código
Colección MSDN: información técnica muy completa
Líneas futuras
 Mejora




del módulo de diálogo y explicación
Modelo de usuario
Confianza
Estrategias de confirmación
Evaluación con usuarios finales
 Manejo
de la aplicación sólo con voz
Utilización de Agentes
Animados para interfaces
avanzadas de ayuda
Grupo de Tratamiento del Habla,
Dpto. Ingeniería Electrónica
ETSIT Madrid
Noviembre de 2002
Descargar

No Slide Title - Grupo de Tecnología del Habla