Realidad Virtual y Entornos
Virtuales Habitados
Angélica de Antonio Jiménez
Universidad Politécnica de Madrid
Facultad de Informática
Universidad de Castilla la Mancha – Octubre 2005
Índice






Presentación
Introducción a la Realidad Virtual y los Entornos
Virtuales
Dispositivos de Realidad Virtual y Realidad
Aumentada
Desarrollo de Entornos Virtuales
Agentes Virtuales Inteligentes
Algunos Proyectos de la UPM
Angélica de Antonio
Índice






Presentación
Introducción a la Realidad Virtual y los Entornos
Virtuales
Dispositivos de Realidad Virtual y Realidad
Aumentada
Desarrollo de Entornos Virtuales
Agentes Virtuales Inteligentes
Algunos Proyectos de la UPM
Angélica de Antonio
El Laboratorio Decoroso Crespo


Laboratorio de I+D dependiente de la Facultad
de Informática de la UPM
Áreas de trabajo:
–
Aplicación de las tecnologías de la información y las
comunicaciones a la enseñanza:



–
Sistemas Inteligentes de Tutoría
E-learning
Gestión de la Formación
Entornos Virtuales y Agentes Virtuales
Angélica de Antonio
Índice






Presentación
Introducción a la Realidad Virtual y los Entornos
Virtuales
Dispositivos de Realidad Virtual y Realidad
Aumentada
Desarrollo de Entornos Virtuales
Agentes Virtuales Inteligentes
Algunos Proyectos de la UPM
Angélica de Antonio
Realidad Virtual

En 1989 se propone, por parte de Jaron Lanier, el término de
Realidad Virtual:
–
–

una simulación interactiva que implica a todos los sentidos,
generada por un ordenador, explorable, visualizable y manipulable
en tiempo real, dando la sensación de presencia en el entorno.
La sensación –visual, auditiva, táctil...- se debe percibir como
auténtica por el sujeto
El término Entornos Virtuales fue introducido por investigadores
del MIT a principios del año 1990 como sinónimo de Realidad
Virtual
Angélica de Antonio
Entornos Virtuales Habitados


Lo realmente diferente es que el usuario pasa a
formar parte del entorno
Adopta algún tipo de representación que puede
manipular en tiempo real: AVATAR
–
–
–
–
Representación: nombre (MUDs), visual (2D / 3D)
Necesidad de una identidad
Humanoides: mayor identificación
Evolución hacia:


Mayor realismo, mejores gráficos
Comportamiento más verosímil (believability)
Angélica de Antonio
Habitantes de un EV

Maniquís:
–

Avatares:
–

Representación de un usuario. Responde a las órdenes del
usuario.
Agentes autónomos:
–

Representación de un humano que no es el usuario, manipulable
totalmente por el usuario
Actúan autónomamente, son inteligentes (Agente Virtual
Inteligente)
Avatares-agentes:
–
Representación de un usuario pero con un cierto grado de
autonomía
Angélica de Antonio
Avatares
Angélica de Antonio
Tipos de Entornos Virtuales
(según la dimensionalidad)

Textuales
Angélica de Antonio
Tipos de Entornos Virtuales
(según la dimensionalidad)


Textuales
2D
Angélica de Antonio
Tipos de Entornos Virtuales
(según la dimensionalidad)



Textuales
2D
3D
Angélica de Antonio
Tipos de Entornos Virtuales
(según el número de usuarios)


Mono-usuario
Multi-usuario – Entorno Virtual Distribuido (DVE)
–
La historia de los DVE´s se remonta a la década de
los 70 y arranca por dos caminos en paralelo:


–
Plataformas para el desarrollo de DVEs:

–
el mundo de Internet, orientado a los juegos en red
en el campo militar orientado a la simulación para el
entrenamiento
(DIS – Distributed Interactive Simulation)
SPLINE, DIVE, MASSIVE, etc.
Problemas de escalabilidad, sincronización
Angélica de Antonio
Tipos de Entornos Virtuales
(según el grado de inmersión)

La inmersión o no-inmersión en un entorno virtual da
lugar a dos experiencias fundamentalmente diferentes:
–
–

Los sistemas no inmersivos soportan la sensación de “mirar
al” EV
los sistemas inmersivos soportan la sensación de “estar en”
el EV
Dispositivos:
–
Sistemas no inmersivos (RV de escritorio)

–
Monitor, teclado, ratón y joystick
Inmersivos

Dispositivos de RV
Angélica de Antonio
Tipos de Entornos Virtuales
(según su objetivo)

Existen múltiples aplicaciones posibles, que imponen
diferentes requisitos
–
–
–
–
–
–
–
Industria del Ocio (películas, juegos, entornos sociales)
Comercio electrónico
Diseño
Tratamiento de fobias. Aplicaciones médicas
Simulación y estudio de sistemas complejos
Entornos de Trabajo Colaborativo
Formación y Aprendizaje
Angélica de Antonio
Tipos de Entornos Virtuales
(según el grado de realismo)


Realistas
Adaptación de la realidad
–
–
–

Tamaño
Transparencia
Escala de tiempo
Fantásticos
Angélica de Antonio
Tipos de Entornos Virtuales
(según el grado de virtualidad)


Realidad Virtual
Realidad Aumentada
Según Milgram
Angélica de Antonio
Tipos de Entornos Virtuales
(según el grado de interactividad)

Pasivos:
–

Exploratorios:
–

son entornos inmersivos no interactivos. Entornos en los que
podemos ver, oír, y quizás sentir lo que sucede, pero no es posible
controlar lo que ocurre. Corresponde a las llamadas películas
dinámicas habituales en parques de atracciones.
permiten al usuario desplazarse por el entorno virtual para
explorarlo. Es el estadio correspondiente a los paseos
arquitectónicos y las obras de arte virtuales
Interactivos:
–
permiten al usuario explorar y experimentar con el entorno,
modificándolo.
Angélica de Antonio
Índice






Presentación
Introducción a la Realidad Virtual y los Entornos
Virtuales
Dispositivos de Realidad Virtual y Realidad
Aumentada
Desarrollo de Entornos Virtuales
Agentes Virtuales Inteligentes
Algunos Proyectos de la UPM
Angélica de Antonio
Enfoque multidisciplinar







Gráficos por computadora
Física, química
Interacción Persona-Ordenador
Psicología cognitiva
Inteligencia Artificial - Agentes
Lingüística – Procesamiento de Lenguaje Natural
Ingeniería del Software
Angélica de Antonio
Desarrollo de Entornos Virtuales

Modelado 3D
–
A modelar:


–
Cómo modelar:



–
Escenario y objetos
Habitantes
Láser, Fotogrametría
CAD: problemas de conversión de formatos
Herramientas de modelado: 3DStudio (PC), Maya (PC/Silicon
Graphics), Poser, PeopleShop, VirtualFriend, NuGraf, Caligari
Truespace Creator, ...
Otros elementos:


Luces
Texturas
Angélica de Antonio
Angélica de Antonio
Angélica de Antonio
Angélica de Antonio
Angélica de Antonio
Desarrollo de Entornos Virtuales


Modelado 3D
Animación 3D
Angélica de Antonio
Animaciones 3D

Tipos:
–
–
–

Forma de generación:
–
–
–

Traslaciones + rotaciones
Giros de articulaciones – animación esquelética
Deformaciones (morphing)
Definición manual de key-frames + interpolación
Cinemática directa
Cinemática inversa
Tiempo de generación:
–
–
Precalculadas
En tiempo real
Angélica de Antonio
Desarrollo de Entornos Virtuales



Modelado 3D
Animación 3D
Visualización:
–
–
Motores gráficos: rendering, animaciones, detección de
colisiones, luces, texturas, …
Técnicas de detección de colisiones:


–
Bounding boxes
Ray tracing
Problemas:



Realismo
Precisión
Requisitos de cómputo
Angélica de Antonio
Desarrollo de Entornos Virtuales




Modelado 3D
Animación 3D
Visualización
Comunicación con dispositivos de salida
Angélica de Antonio
Desarrollo de Entornos Virtuales




Modelado 3D
Animación 3D
Visualización
Comunicación con dispositivos de salida
Hasta aquí es suficiente para desarrollar EVs
pasivos, entornos en los que podemos ver,
oír, y quizás sentir lo que sucede, pero no es
posible controlar lo que ocurre.
Angélica de Antonio
Desarrollo de Entornos Virtuales





Modelado 3D
Animación 3D
Visualización
Comunicación con dispositivos de salida
Interacción:
–
–
–
A través de los dispositivos de entrada y/o interfaz de usuario
Control del punto de vista (cámaras virtuales)
Navegación
Hasta aquí es suficiente para el desarrollo de EVs
exploratorios, que permiten al usuario desplazarse
por el entorno virtual para explorarlo
Angélica de Antonio
Desarrollo de Entornos Virtuales





Modelado 3D
Animación 3D
Visualización
Comunicación con dispositivos de salida
Interacción
–

Generación de eventos sobre el entorno
Programación de los comportamientos del EV
(simulación) y sus habitantes
Esto es necesario si queremos desarrollar EVs
interactivos
Angélica de Antonio
Situación Actual del Desarrollo de EVs





La mayor parte de los EV desarrollados son prototipos de
laboratorio
Hay relativamente poca experiencia en el desarrollo de
este tipo de sistemas
El énfasis se pone en la fase de “codificación”
Se debe prestar más atención a las necesidades y
requisitos de los usuarios
No se adopta una actitud ingenieril
Angélica de Antonio
Nuestro Objetivo

Proponer un marco metodológico para el desarrollo de EVs
bajo el prisma de la IS, para mejorar una serie de parámetros
de calidad del software obtenido:
–
–
–
–

Caracterización de los elementos que pueden aparecen en un
EVH, así como sus comportamientos.
Una arquitectura genérica para EVHs.
El conjunto de procesos necesarios para desarrollar EVHs, así
como las tareas de que se compone cada proceso y las relaciones
entre éstas.
La estrategia de desarrollo que se debe seguir.
Tesis doctoral finalizada en 2001 (Mª Isabel Sánchez)
Angélica de Antonio
Nuestro Objetivo

Proponer un marco metodológico para el desarrollo de EVs
bajo el prisma de la IS, para mejorar una serie de parámetros
de calidad del software obtenido:
–
–
–
–

Caracterización de los elementos que pueden aparecen en un
EVH, así como sus comportamientos.
Una arquitectura genérica para EVHs.
El conjunto de procesos necesarios para desarrollar EVHs, así
como las tareas de que se compone cada proceso y las relaciones
entre éstas.
La estrategia de desarrollo que se debe seguir.
Tesis doctoral finalizada en 2001 (Mª Isabel Sánchez)
Angélica de Antonio
Caracterización de Elementos de un
EV
Clasificación según interacción
externa
Clasificación según su
funcionamiento
Reactivos
No Perceptibles
Proactivos
Proactivos&Reactivos
Pasivos
Perceptibles
Reactivos
Proactivos
Proactivos&Reactivos
Angélica de Antonio
Comportamiento Componente Perceptible-Reactivo
Percepción
Razonamiento
Actuación
Percibe
No ¿El componente
detecta activación
por parte del usuario
o dentro del EVH?
Razona
Si
¿El componente tiene
que hacer algún cálculo,
comprobación, etc.?
Si
Actúa
No
No
¿El componente tiene
que hacerse perceptible
al usuario?
Si
¿El componente tiene
que comunicar algo al
resto de componentes
del EVH?
No
Realiza Interacción externa
(suena, se anima, se visualiza, etc
Si
Realiza Interacción
Interna (comunica)
Nuestro Objetivo

Proponer un marco metodológico para el desarrollo de EVs
bajo el prisma de la IS, para mejorar una serie de parámetros
de calidad del software obtenido:
–
–
–
–

Caracterización de los elementos que pueden aparecen en un
EVH, así como sus comportamientos.
Una arquitectura genérica para EVHs.
El conjunto de procesos necesarios para desarrollar EVHs, así
como las tareas de que se compone cada proceso y las relaciones
entre éstas.
La estrategia de desarrollo que se debe seguir.
Tesis doctoral finalizada en 2001 (Mª Isabel Sánchez)
Angélica de Antonio
Modelo de Proceso Propuesto
PROCESOS DE DESARROLLO
Todas las tareas
y técnicas
propuestas son nuevas
Análisis
Diseño
Diseño 3D
Diseño de Elementos
Multimedia
Diseño de la
Arquitectura Interna
de los Componentes
PROCESOS DE
GESTIÓN
Estimación
Planificación
Diseño
del Sistema
Algunas de las tareas
y técnicas
propuestas son nuevas
Se propone el uso de
tareas y técnicas de otras
disciplinas
Implementación
Implementación de
Componentes de Soporte
Implementación del
Módulo Principal
PROCESOS
INTEGRALES
Verificación y
Validación
Modelo de Proceso Propuesto
PROCESOS DE DESARROLLO
Todas las tareas
y técnicas
propuestas son nuevas
Análisis
Diseño
Diseño 3D
Diseño de Elementos
Multimedia
Diseño de la
Arquitectura Interna
de los Componentes
PROCESOS DE
GESTIÓN
Estimación
Planificación
Diseño
del Sistema
Algunas de las tareas
y técnicas
propuestas son nuevas
Se propone el uso de
tareas y técnicas de otras
disciplinas
Implementación
Implementación de
Componentes de Soporte
Implementación del
Módulo Principal
PROCESOS
INTEGRALES
Verificación y
Validación
El Proceso de Análisis
Tareas
Acrónimo
Estereotipado del EVH
Definición de Requisitos Específicos
Conceptualización
Modelado Estático
Modelado Dinámico
Proceso
de
Análisis
Estereotipado del EVH
A-RE
A-EE
A-RE
A-C
A-ME
A-MD
Definición de Requisitos
Específicos
A-EE
A-ME
A-C
Conceptualización
Modelado Estático
D3D-AR,D3D-DE,
D3D-DA, DEM-DM,
DEM-AR
A-MD
Modelado Dinámico
El Proceso de Análisis
Tareas
Acrónimo
Estereotipado del EVH
Definición de Requisitos Específicos
Conceptualización
Modelado Estático
Modelado Dinámico
Proceso
de
Análisis
Estereotipado del EVH
A-RE
A-EE
A-RE
A-C
A-ME
A-MD
Definición de Requisitos
Específicos
A-EE
A-ME
A-C
Conceptualización
Modelado Estático
D3D-AR,D3D-DE,
D3D-DA, DEM-DM,
DEM-AR
A-MD
Modelado Dinámico
Estereotipado del EVH

Descripción:
–
Se tratará de estereotipar el tipo de EVH a construir a través de entrevistas con
el cliente. Cada estereotipo de EVH vendrá descrito por una serie de
características y, como consecuencia de ello, habrá un conjunto de tareas
asociadas, necesarias para llevar a cabo el desarrollo del EVH de la forma más
eficiente.
Productos
Entrada
Salida
Acuerdo con el cliente para iniciar el proyecto
Estereotipo de EVH a construir
Mapa de Tareas
Técnicas
Entrevistas con el/los clientes
Cuestionarios de tipificación
Participantes
Analista de Sistemas
Clientes
Angélica de Antonio
Cuestionario de Tipificación

cuestionarioTipificacion.doc
Angélica de Antonio
El Proceso de Análisis
Tareas
Acrónimo
Estereotipado del EVH
Definición de Requisitos Específicos
Conceptualización
Modelado Estático
Modelado Dinámico
Proceso
de
Análisis
Estereotipado del EVH
A-RE
A-EE
A-RE
A-C
A-ME
A-MD
Definición de Requisitos
Específicos
A-EE
A-ME
A-C
Conceptualización
Modelado Estático
D3D-AR,D3D-DE,
D3D-DA, DEM-DM,
DEM-AR
A-MD
Modelado Dinámico
Tarea de Conceptualización
Entrada
Estereotipo de EVH
Definición del Problema
Definiciones, Acrónimos y Abreviaturas
Productos
Salida
Lista inicial de requisitos funcionales del sistema
Documento de Conceptualización, con casos de uso y conceptos de uso
clasificados.
Técnicas
Conceptos de Uso
Casos de Uso
Analista de Sistemas
Participantes
Cliente
Usuarios

Un Concepto de Uso se redacta en una o dos frases y representa una
de las posibles funcionalidades del sistema, no siendo estas
funcionalidades demandadas directamente por el usuario sino
delegadas en algún elemento del EVH
El Proceso de Análisis
Tareas
Acrónimo
Estereotipado del EVH
Definición de Requisitos Específicos
Conceptualización
Modelado Estático
Modelado Dinámico
Proceso
de
Análisis
Estereotipado del EVH
A-RE
A-EE
A-RE
A-C
A-ME
A-MD
Definición de Requisitos
Específicos
A-EE
A-ME
A-C
Conceptualización
Modelado Estático
D3D-AR,D3D-DE,
D3D-DA, DEM-DM,
DEM-AR
A-MD
Modelado Dinámico
Modelado Estático
(modelo de clases básico)
Objeto de Decorado
EVH
Sub-EVH
Componente
Posición
Orientación
Puerta
Punto de Vista
1
+Utiliza
Frontera
Tipo
Luz
Color
Tipo
1..*
Usuario
Avatar_Seleccionado
Edad
Nombre
Sexo
Rol
Id_conexión
1
+Usa
1..*
Dispositivo de Conexión
Tipo
Avatar
Nombre + tiene
Acción
1
Estado 1
Cuerpo
Orientación
Posición
1
+Tiene
1
Memoria
Lista_de_amigos
Angélica de Antonio
Modelo de Proceso Propuesto
PROCESOS DE DESARROLLO
Todas las tareas
y técnicas
propuestas son nuevas
Análisis
Diseño
Diseño 3D
Diseño de Elementos
Multimedia
Diseño de la
Arquitectura Interna
de los Componentes
PROCESOS DE
GESTIÓN
Estimación
Planificación
Diseño
del Sistema
Algunas de las tareas
y técnicas
propuestas son nuevas
Se propone el uso de
tareas y técnicas de otras
disciplinas
Implementación
Implementación de
Componentes de Soporte
Implementación del
Módulo Principal
PROCESOS
INTEGRALES
Verificación y
Validación
El Proceso de Diseño 3D
Tareas
Proceso de
Diseño 3D
Acrónimo
Selección de Diseños 3D Existentes
D3D-SD
Adaptaciones y Retoques de Diseños 3D Existentes
D3D-AR
Diseño 3D del EVH
D3D-DE
Diseño 3D de los Avatares
D3D-DA
A-C, A-RE
D3D-SD
Selección de Diseños 3D
Existentes
A-C, A-RE
D3D-AR
Adaptaciones y Retoques de
Diseños 3D Existentes
D3D-DE
Diseño 3D del EVH
D3D-DA
Diseño 3D de los Avatares
Angélica de Antonio
El Proceso de Diseño 3D
Tareas
Proceso de
Diseño 3D
Acrónimo
Selección de Diseños 3D Existentes
D3D-SD
Adaptaciones y Retoques de Diseños 3D Existentes
D3D-AR
Diseño 3D del EVH
D3D-DE
Diseño 3D de los Avatares
D3D-DA
A-C, A-RE
D3D-SD
Selección de Diseños 3D
Existentes
A-C, A-RE
D3D-AR
Adaptaciones y Retoques de
Diseños 3D Existentes
D3D-DE
Diseño 3D del EVH
D3D-DA
Diseño 3D de los Avatares
Angélica de Antonio
El Diseño 3D del EVH
Entrada
Todos los productos de salida del proceso de Análisis, que puedan aportar detalles concretos sobre el
aspecto gráfico de alguno de los elementos que deben aparecer, o sobre la estructura del EVH,
decorado, etc.
Formularios de Modelado del EVH
Mapas de Vistas
Productos
Salida
Tabla de Comportamiento
Tabla de Navegación
Modelo de Estructura Jerárquica de Elementos
Tabla de Estructura Jerárquica de Elementos
Tabla de Descripción de Articulaciones de Elementos
Formularios de Modelado 3D del EVH
Técnicas
Mapas de Vistas
Tabla de Navegación
Tabla de Comportamiento
Estructuración de Elementos
Participantes
Diseñador Gráfico
Diseñador del Sistema
Cliente (para proporcionar detalles relevantes del aspecto del EVH)
Angélica de Antonio
Mapas de Vistas
Vista Superior de Elementos
SÍMBOLO
SIGNIFICADO
4
IV
2
Zona
sin
restricciones
1
1
III
I
3
Zona libre de
elementos
Elementos
optativos
o
decorativos
Vista Superior de Zonas
Elementos
obligatorios
IV
1
III
I
II
Punto de vista
Mapas de Vistas
Vistas Laterales
Vista Lateral
Vista Lateral
I
II
Vista 3D (caballera)
Vista Lateral
Vista Lateral
III
IV
Angélica de Antonio
Formulario de modelado 3D del EVH

FormModelado3DSubEVH.doc
Angélica de Antonio
Modelo de Proceso Propuesto
PROCESOS DE DESARROLLO
Todas las tareas
y técnicas
propuestas son nuevas
Análisis
Diseño
Diseño 3D
Diseño de Elementos
Multimedia
Diseño de la
Arquitectura Interna
de los Componentes
PROCESOS DE
GESTIÓN
Estimación
Planificación
Diseño
del Sistema
Algunas de las tareas
y técnicas
propuestas son nuevas
Se propone el uso de
tareas y técnicas de otras
disciplinas
Implementación
Implementación de
Componentes de Soporte
Implementación del
Módulo Principal
PROCESOS
INTEGRALES
Verificación y
Validación
El Proceso de Diseño de la Arquitectura
Interna de los Componentes
DAI-MP
A-C, A-ME,
A-MD
D3D-DE, D3D-DA
A-C
Modelado de la
Percepción
DAI-SMCI
Selección y Modelado de las
Características Internas de los
Componentes
DAI-DMR
Diseño del Modelo de
Razonamiento y Decisión
DAI-DFA
Diseño Físico de las
Animaciones
Angélica de Antonio
Nuestro Objetivo

Proponer un marco metodológico para el desarrollo de EVs
bajo el prisma de la IS, para mejorar una serie de parámetros
de calidad del software obtenido:
–
–
–
–

Caracterización de los elementos que pueden aparecen en un
EVH, así como sus comportamientos.
Una arquitectura genérica para EVHs.
El conjunto de procesos necesarios para desarrollar EVHs, así
como las tareas de que se compone cada proceso y las relaciones
entre éstas.
La estrategia de desarrollo que se debe seguir.
Tesis doctoral finalizada en 2001 (Mª Isabel Sánchez)
Angélica de Antonio
Desarrollo Iterativo
Procesos en Iteraciones
Iteración 1
A
Iteración 2
40%
Iteración 3
Iteración 4
60%
D3D
75%
25%
DEM
100%
50%
33,3%
DS
16,7%
75%
DAI
25%
70%
ICS
10%
20%
10%
50%
IMP
16,7%
16,7%
16,7%
33,3%
V&V
50%
15,5%
E
100%
P
100%
IM P -ISR V
V & V -D A IA 3D
P -P P
IC S -IA 3D
E -E P
IC S -A R 3D
IC S -S3D
IC S -IE V H
V & V -D E C
IM P -E V H V
IC S -SD R V
V & V -D E IE V H
D 3D -D E
D S -D I
D 3D -SD
D 3D -A R
D S -D A S
D S-D D M
D S-D P D
D A I-D F A
D S-M E A
D 3D -D A
A -R E
A -M E
D A I-M P
D A I-SM C I
A -E E
V & V -A
D A I-D M R
D S -M D A
A -M D
IC S -IM C I
A -C
IC S -IM P
V & V -C M E M D
D E M -SD
V & V -R C
D E M -A R
IC S -SE M
D E M -D M
IC S -A R E M
IC S -IE M
IM P -IO 3D
IM P -P A
IM P -IM C I
IM P -ISR E
Índice






Presentación
Introducción a la Realidad Virtual y los Entornos
Virtuales
Dispositivos de Realidad Virtual y Realidad
Aumentada
Desarrollo de Entornos Virtuales
Agentes Virtuales Inteligentes
Algunos Proyectos de la UPM
Angélica de Antonio
Habitantes de un Entorno Virtual


AVATARES
AGENTES VIRTUALES
–
–
–
Es un agente
Es más o menos inteligente
Está encarnado

–
Adopta una representación corpórea (generalmente con forma
humana) (embodiment)
Habita un entorno virtual:

No sólo percibe observaciones de un entorno externo, sino que
forma parte del mismo entorno, y debe ser capaz de
desenvolverse, percibir e interactuar en él
Angélica de Antonio
Modelo de Organismo
Percepción
Procesamiento
central
Acción
Modelo de Organismo
Percepción
Procesamiento
central
Acción
Percepción en un AVI


Un AVI debe percibir y ser consciente de los
objetos y seres que le rodean.
Sentidos y Procesos sensoriales: captura de
estímulos del entorno


imágenes, sonidos, sensaciones táctiles, olores, sabores
Procesos perceptivos: clasificación de las
experiencias sensoriales en categorías conocidas


objetos, situaciones, sonidos, voz
En los seres humanos las capacidades
perceptivas están limitadas
Angélica de Antonio
Percepción en un AVI

Tesis doctoral de Pilar Herrero (2003) – modelo de
percepción para AVIs
–
Conceptos tomados de un modelo de Consciencia
(Awareness) en CSCW:

–
–
Focus, Nimbus, Fronteras,…
Adaptación para ser utilizados por un agente inteligente
Adición de aspectos de percepción humana:


Visual: agudeza visual, visión lateral
Auditiva: agudeza auditiva, localización de fuentes
Angélica de Antonio
Modelo de Organismo
Percepción
Procesamiento
central
Acción
Procesamiento Central






Razonamiento
Selección de comportamientos
Aprendizaje
Atención
Motivación
Sentimientos
Angélica de Antonio
Nuestro Modelo
Arquitectura General

Tesis doctoral de Ricardo Imbert (2005) –
Arquitectura Cognitiva Emocional para AVIs
Angélica de Antonio
Creencias del AVI
Angélica de Antonio
Tipos de Creencias

Características definitorias
Estados transitorios
Actitudes

Modelo Interno


–
–
–
Personalidad
Emoción
Actitudes
Angélica de Antonio
Arquitectura del Nivel Reactivo
Angélica de Antonio
Arquitectura del Nivel Deliberativo
Angélica de Antonio
Modelo de Organismo
Percepción
Procesamiento
central
Acción
Subsistema de Acción

Categorías de acciones:
–
Comunicación Verbal:


El lenguaje natural es una barrera
–
Comunicación No-verbal
–
Movimientos
–
Interacciones con el entorno
Mecanismos de acción:
–
Síntesis/reproducción de voz
–
Animaciones
–
Expresiones faciales
Angélica de Antonio
Índice






Presentación
Introducción a la Realidad Virtual y los Entornos
Virtuales
Dispositivos de Realidad Virtual y Realidad
Aumentada
Desarrollo de Entornos Virtuales
Agentes Virtuales Inteligentes
Algunos Proyectos de la UPM
Angélica de Antonio
Algunos Proyectos de la UPM




Prvir
Simu2
Vrimor
Maevif
Angélica de Antonio
PRVIR




Realizado para DTN-Central Nuclear de
Vandellós (1999-2000)
Sistema de Formación en Protección
Radiológica
Combinación de Multimedia y EVs
Herramientas y lenguajes:
–
3D Studio, DirectX, Visual C++, MFC
Angélica de Antonio
PRVIR

Los escenarios virtuales se usan para aprendizaje de
procedimientos:
–
–
–

Entrada en zona controlada
Salida de zona controlada
Paso por zona de tránsito
En tres pasos:
–
–
–
Visualizar trayectoria en el escenario (vista de pájaro)
Visualizar procedimiento a realizar (vídeo pregrabado)
Entrenarse
Angélica de Antonio
PrVir
Angélica de Antonio
PRVIR


En modo Entrenamiento hay
un tutor inteligente (no
personificado) que supervisa
la actuación del estudiante
Sigue la arquitectura de un
Sistema Inteligente de Tutoría
(SIT)
Student M.
Expert M.
Tutoring M.
Communication M.
Student
Angélica de Antonio
Algunos Proyectos de la UPM




Prvir
Simu2
Vrimor
Maevif
Angélica de Antonio
Simu2




Realizado para Tecnatom-Central Nuclear de Almaraz
(2000-2002)
Sistema de Planificación de Intervenciones en Entornos
Radiológicos
El objetivo es encontrar la forma de realizar la operación
con la menor dosis acumulada para los operarios que
intervienen en ella
Herramientas y lenguajes:
–
3D Studio, DirectX, Visual C++, MFC
Angélica de Antonio
Simu2



El reto es proporcionar un maniquí fácilmente
manipulable por un usuario no informático
Se proporciona un conjunto de animaciones
predefinidas
Se van registrando las órdenes del diseñador y
se calcula la dosis recibida por el operario
Angélica de Antonio
Simu2
Angélica de Antonio
Algunos Proyectos de la UPM




Prvir
Simu2
Vrimor
Maevif
Angélica de Antonio
Vrimor



Proyecto subvencionado por la UE (2001-2003)
Objetivos similares a los de Simu2
Exploración de nuevos tipos de interfaz:
–
–
–

Sistema de reconocimiento de voz
Ratón 3D (space mouse)
Gafas estereoscópicas
Captura del escenario con escáner láser
Angélica de Antonio
Componentes del Sistema
Escáner
Laser
Entorno
GeométricoRadiológico
(VRML)
HePSI
Trayectorias
VISIPLAN
Información
Radiológica
Angélica de Antonio
Terminología

Planificar una Operación es decidir:
Qué operarios intervienen
– Qué subtareas realizará cada operario
– En qué momento se inicia cada subtarea y cuánto dura
– Es como definir el guión de una obra de teatro
– Se va dando órdenes a los operarios virtuales y ellos obedecen
El sistema va registrando las decisiones tomadas
–

Simular una Operación es:
Hacer que los operarios virtuales ejecuten las subtareas
planificadas dentro del escenario
– Observar si el comportamiento es el deseado
– Es como ver la obra de teatro
Se puede intercalar la planificación con la simulación
–
Angélica de Antonio
Diseño de Subtareas

Las órdenes a los operarios se pueden dar:
–
–

Usando el ratón
Por voz, usando el micrófono
Se elige el tipo de subtarea y se concreta cómo
realizarla (parametrización)
Angélica de Antonio
Tipos de Subtareas



De Movimiento
De Vestuario
De Interacción con Objetos
Angélica de Antonio
Vrimor
Algunos Proyectos de la UPM




Prvir
Simu2
Vrimor
Maevif
Angélica de Antonio
Proyecto MAEVIF


Modelo para la Aplicación de Entornos Virtuales
Inteligentes a la Formación
Subvencionado por el MCYT
Angélica de Antonio
Entornos Virtuales Inteligentes para
Entrenamiento (EVIEs)

Combinación de:
–
–

Un Entorno Virtual
Un Sistema Inteligente de Tutoría
Una opción prometedora para actividades
educativas, especialmente cuando la
educación tradicional puede ser costosa,
peligrosa o imposible de realizar.
Angélica de Antonio
Nuestra aproximación

Una arquitectura abierta y flexible que permita:
Fácil integración de componentes y subsistemas nuevos
– Fácil mantenibilidad
Basada en Agentes Software
–

Una plataforma que incorpore un conjunto de
componentes (agentes) adaptables y configurables

Una herramienta de autor que permita añadir los
contenidos de un curso fácilmente
Angélica de Antonio
Esquema Global
Autor
Herramienta
de Autoría
EVIEs
Motor de
Ejecución
Estudiante
Autor
Estudiante
Modelo
de los Estudiantes
Angélica de Antonio
Características de un EVIE








Entorno virtual 3D
Para el entrenamiento en procedimientos en equipo
Estudiante representado con un avatar
Varios estudiantes conectados simultáneamente
Una simulación subyacente del entorno real modelado
Actuar sobre los objetos del entorno virtual tiene efectos sobre
la simulación
El estado de la simulación se refleja automáticamente en el
entorno virtual
Cada estudiante debe aprender cómo actuar
colaborativamente sobre el entorno para conseguir ciertos
objetivos
Angélica de Antonio
Tipos de conocimiento a aprender


Estructura estática del entorno (objetos, sub-entornos,
conexiones entre sub-entornos)
Ejecución de procedimientos compuestos de pasos para
conseguir ciertas metas:




Ir a un cierto lugar
Hacer un cierto movimiento
Interactuar de alguna forma con un objeto/agente del entorno…
Funcionamiento del sistema simulado:


Interpretar el estado del entorno (un indicador rojo indica que la
presión del agua es demasiado alta)
Anticipar el efecto que provocará sobre el sistema una acción en el
entorno (si abro la válvula de desagüe, la presión disminuirá)
Angélica de Antonio
AVIs en un EVIF


AVIs que jueguen papeles específicos dentro del entorno
(ej. recepcionista)
AVI que actúa como Tutor y Supervisor del estudiante:
–
–
–
Desempeñar cualquier papel en el procedimiento a aprender
Explicar lo que hace o hay que hacer, y por qué
Contestar a preguntas del estudiante:



–
–
–
¿Qué debo hacer ahora?
¿Por qué?
¿Qué ocurriría si hiciese esto?
Observar el comportamiento del estudiante durante su proceso de
aprendizaje (seguir al estudiante a través del entorno, y mirarlo)
Indicar los errores cometidos por el estudiante (según el grado de
control)
Dar pistas
Angélica de Antonio
Retos en el Diseño del Motor de Ejecución

Arquitectural:
–
Arquitectura clásica
de un SIT
M.Estudiante
M.Experto
M.Tutoría
M.Comunicación
–
Nuevos retos:



Estudiante
Multi-estudiante: entrenamiento de equipos
Arquitectura basada en agentes co-operativos
Basada en Realidad Virtual, posiblemente muy inmersivo (HMD, guante,
reconocimiento de voz)
Angélica de Antonio
Arquitectura MAEVIF
M u lti-a g e n t T u to rin g
S ys te m (M A T S )
N a m e S e rve r
ORB
V o ic e
R e c o g n itio n 1
G ra p h ic a l a n d In te ra c tio n
S u b s ys te m (G IS ) 1
G ra p h ic a l a n d In te ra c tio n
S u b s ys te m (G IS ) N
V o ic e
R e c o g n itio n N
D ire c t
C o m m u n ic a tio n
Angélica de Antonio
Graphics and Interaction Subsystem
(GIS)



Una instancia para cada
estudiante
Visión en primera
persona
Válido para cualquier combinación lógica de
dispositivos de interacción
Angélica de Antonio
Avatar Reutilizable



Modelo 3D predefinido
Librerías para el control del comportamiento del avatar
por parte del usuario o del agente
Conjunto predefinido y configurable de animaciones
(andar, agacharse, levantarse, inclinarse, coger un objeto,
pulsar un botón…)
Angélica de Antonio
S tu d ent A g e nt 1
P la n n in g A g e nt
S im u latio n A g e nt
S tu d ent A g e nt N
E xp ert A g ent
S tu d ent A g e nt
W o rld A g e nt
P ercep tio n
A g e nt
V irtu a l T u to r
A g e nt 1
A ct io n A g e nt
T uto ring A g e nt
T raje cto ry A g e nt
V irtu a l T u to r
A g e nt N
G lo ba l C o m m u n icat io n
A g e nt
Ind iv id u a l
C o m m u n icat io n A g e nt
L earner 1
Ind iv id u a l
1
C o m m u n icat io n A g e nt
G rap h ica l a nd
Interactio n S s,
G rap h ica l a nd
Interactio n S s,
Interactio n
D ev ic es
Interactio n
D ev ic es
N
L earner N
Tecnologías Utilizadas



Desarrollo de los agentes:
– Metodología GAIA
– Plataforma JADE
– Java
Desarrollo del entorno
virtual y los avatares:
– 3DStudio
– OpenGL
– Visual C++
Distribución y comunicación
entre procesos:
– Corba




Entorno multi-usuario:
– Microsoft Direct Play
Sonidos:
– Microsoft Direct Sound
Dispositivos:
– Microsoft Direct Input
– Virtual Hand
– HMD
Reconocimiento de voz:
– IBM Via Voice
Angélica de Antonio
El Futuro de los EV




Dispositivos portables (wearable)
Acceso a aplicaciones software en cualquier lugar y en
cualquier momento
Los agentes adquieren una presencia virtual cuando es
necesario, posiblemente en una realidad aumentada
Los usuarios interactúan con los agentes como lo harían
con otros humanos
Angélica de Antonio
El Futuro de los EV

Un mundo paralelo de agentes móviles trabajando
constantemente para nosotros, comunicándose y
cooperando entre ellos para satisfacer nuestras
necesidades
–
Tesis doctoral de Pedro Pérez – Arquitectura mixta de
agentes móviles y agentes virtuales como representantes
del usuario de Entornos Virtuales
Angélica de Antonio
Conclusiones

Área muy prometedora

Todavía mucho trabajo por hacer…
Angélica de Antonio
Descargar

Sistemas de Ense–anza Aplicados a Personas con …