Universidad de Deusto
. . . . . . . .
.
Servicios Móviles Sensibles al Contexto
Iñaki Vázquez / Diego López de Ipiña
{ivazquez, [email protected]
Facultad de Ingeniería
Universidad de Deusto
Universidad de Deusto
. . . . . . . .
.
Contenidos
•
•
•
•
•
Computación Ubicua y Sensible
La siguiente revolución: 4G
EMI2: concepto y arquitectura
MobileEye: concepto y arquitectura
Conclusiones
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Computación Ubicua
• Paradigma de computación inventado por Mark
Weiser en Xerox PARC
• Ubiquituos Computing:
– Pretende aumentar los entornos en que vivimos (casa,
oficina) y los objetos en ellos contenidos (puerta, cuadro,
pizarra) con servicios computacionales
– Estos servicios son ofrecidos por dispositivos
computacionales integrados de manera transparente con
nuestro entorno (Invisible Computer)
– A menudo no requieren la interacción explícita del usuario,
sino implícita a través de contexto (existe inteligencia
ambiental)
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Computación Sensible
• Sentient Computing disciplina de software
que hace posible la Computación Ubicua:
– Dispositivos computacionales integrados en
nuestro entorno que nos proporcionan servicios
son aumentados con capacidades
sensoriales:
• Pueden ver o oir (sentir) quién o qué se encuentra a
nuestro alrededor, qué actividad están realizando, dónde
se encuentran y cuándo algo está ocurriendo
– Infraestructuras de computación sensibles al
contexto proveen de manera proactiva servicios al
usuario que responden a su situación contextual.
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Objetivos de Computación Sensible
• Construir Espacios Sensibles e Inteligentes
(Sentient Spaces) = entornos
computacionales que sienten y reaccionan.
• Reducir la separación (gap) en la interacción
entre el usuario y el ordenador usando
contexto (adios ratón y teclado)
• Materializar concepto de Ubiquitous
Computing
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Funcionamiento Sentient Computing
• Sentient Computing = ordenadores +
sensores + reglas:
– Sensores distribuidos capturan contexto, e.g.
temperatura, identidad, localización, etc
– Sistemas de reglas modelan cómo los ordenadores
reaccionan a los estímulos provistos por
sensores
– 3 fases: (1) captura de contexto, (2)
interpretación de contexto y (3) ejecución de
acciones
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
La siguiente revolución (I)
• En el mundo de la telefonía móvil se han
vivido sucesivas revoluciones.
• Actualmente se está llegando a la tercera
generación (3G) dónde la diferencia radica
en:
–
–
–
–
Mayor ancho de banda
Terminales multimedia
Contenidos multimedia
Plataforma de computación total
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
La siguiente revolución (II)
• La pregunta es: ¿en qué consistirá la 4ª generación?
– ¿Mayor ancho de banda?
– ¿Mayor interactividad?
– …
• Para nosotros 4G = inteligencia ambiental /
móvil:
– El terminal conoce al usuario: es su mayordomo, su
asistente personal
– El terminal facilita al usuario sus tareas en base a ese
conocimiento
– El terminal facilita la interacción del usuario con el entorno,
hasta el punto de operar sin participación del usuario
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Características (I)
• Un sistema que permita alcanzar nuestra
definición de 4G debe:
– Percibir el entorno: terminal móvil con
sensores, puertos bluetooth e infrared, cámara
(reconocimiento por visión), ...
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Características (II)
– Almacenar todas las interacciones del
usuario (llega al garaje, abre la puerta,
llama al ascensor, entra en casa, …)
– Extraer patrones de comportamiento
a partir de dichos datos, en base a:
• Tiempo (horarios y fechas)
• Lugar
• Dispositivos vecinos
• Correlaciones de tareas (anteriores)
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Características (III)
– Aplicar este conocimiento según los patrones
extraídos:
• abrir la puerta del garaje cuando se aproxima (tiempo,
lugar y dispositivo próximo)
• llamar al ascensor después
• …
• El terminal móvil está siempre con el usuario:
es el elemento ideal para habilitar estos
servicios
• El móvil se convierte en una herramienta vital
para Computación Sensible
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Arquitectura EMI2 (I)
• EMI2: Environment-Mobile Intelligent Interaction
• Es una arquitectura que permite avanzar hacia el
concepto de inteligencia ambiental/computación
sensible, utilizando el terminal móvil como catalizador
• Características:
– Almacena todas las interacciones del usuario para extraer los
patrones de comportamiento
– El almacén puede ser local o remoto
– Utiliza mecanismos de localización (GPS, bluetooth,
reconocimiento de patrones (código barras))
– Utiliza mecanismos de descubrimiento del entorno
(bluetooth, infrared, cámara)
– Basado en tecnologías web: servicios web y XML
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Arquitectura EMI2 (II)
• Elementos:
– EMIBehaviourRepository: almacén de
datos de interacción
– EMIDevice: dispositivo del entorno
– EMIProxy: representante del usuario
(terminal móvil), sondea la presencia de
EMIDevices
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Arquitectura EMI2 (III)
Bluetooth, Camera
Bluetooth, WiFi, Ethernet
EMIDevice
EMIProxy &
EMIBehaviourRepository
EMIBehaviourRepository
EMIDevice
EMIDevice
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
EMIBehaviourRepository
• El EMIBehaviourRepository puede estar repartido
entre:
– EMIProxy
– EMIDevice
– una entidad independiente
• Ya que todos ellos pueden guardar partes de la pauta
de comportamiento del usuario y elaborar su propio
perfil.
• Esto significa que el terminal móvil puede guardar
datos sobre cómo el usuario usa una puerta, pero
también la puerta puede guardar datos sobre el
usuario
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Mensajes EMI2
• EMI2 hace uso de mensajes XML.
• Ejemplo de mensaje de presencia de EMIDevice:
<?xml version="1.0" encoding="UTF-8"?>
<emi2>
<presence id="puerta.entrada.bilbao.acme.es" type="home/door">
<access via="bluetooth/serial" uri="puerta.entrada.bilbao.acme.es"/>
<access via="http" uri="http://emi2a.deusto.es/profiles/entrada"/>
<access via="http" uri="http://emi2b.deusto.es/profiles/entrada"/>
<name>Puerta de entrada</name>
<description>Puerta de entrada del Edificio ACME</description>
</presence>
</emi2>
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Escenario posible a través EMI2
1.
2.
3.
4.
5.
Usuario llega a entrada trabajo, móvil (EMIProxy)
detecta mecanismo validación puerta (EMIDevice) y se
lo muestra al usuario.
Usuario selecciona operación ‘validación de acceso’,
introduce PIN y puerta se abre
Usuario llega a oficina, sistema control temperatura
detecta su presencia y se configura con los parámetros
utilizados por usuario la última vez.
Usuario se acerca a máquina café, que le identifica y
sugiere tipo de bebida que suele tomar a esa hora. El
usuario acepta y la bebida es servida.
Usuario coge libro de biblioteca empresa y apunta móvil
a código de barras en libro, BD biblioteca es actualizada
indicando quién tiene el libro ahora.
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
MobileEye (I)
• Primera aplicación prototipo para evaluar
concepto de EMI2:
– Usa una combinación de códigos de barras 2-D y
móviles con cámara, para que éstos reconozcan los
objetos de su entorno:
• Añade “capacidad de visión” al teléfono móvil
– Objetos del entorno son aumentados con
representantes software (proxies) en la forma de
servicios web:
• Puerta asociada con PuertaWebService
• Cuadro con CuadroWebService
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
Still Life: Vase with
Fifteen Sunflowers
.
MobileEye (II)
Oil on canvas
100.5 x 76.5 cm.
Arles: January, 1889
Tokyo: Sompo Japan
Museum of Art
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
MobileEye (III)
• Como consecuencia del reconocimiento de una
objeto en entorno, el móvil presenta
información/interfaz a través del cual usuario
puede operar con servicio web de objeto etiquetado
–
Facilita la interacción a través del móvil con nuestro
entorno
• Componentes EMI2 de Inteligencia Artificial
(EMIBehaviourRepository) no usado. MobileEye usa
una simplificación de la arquitectura de EMI2
–
Iñaki Vazquez
Diego López de Ipiña
Supone interacción siempre explícita del usuario con las
entidades aumentadas
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
MobileEye (IV)
MobileEye Server
Code 
Web Service
Parsed image
response in XML
<?xml version="1.0"?>
<mobileeye>
<state code="200"/>
<code>61002</code>
<descShort>Mobility</descShort>
<descLong>Book about Mobile Agents</descLong>
<url>http://www.deusto.es/library?book=123</url>
</mobileeye>
captured
image
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Códigos de barras para MobileEye
• TRIP: 2-D barcode con código ternario
1
even-parity sectors
sync sector
• Ojo de buey fácilmente identificable:
– no varía con respecto a:
- rotación
- perspectiva
– alto contraste
2
0
* 10 2011221210001
TRIPcode with ID 1160407
Iñaki Vazquez
Diego López de Ipiña
• 2 anillos de codificación de 16 bit :
– 1 sector de sincronización
– 2 para comprobar error de paridad
– 313 = 1584323 códigos válidos
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Image processing en MobileEye
Stage 0: Grab Frame
Stage 1: Binarization
Stage 2: Binary Edge Detection
Ellipse params:
x (335.432), y (416.361) pixel coords
a (8.9977), b (7.47734) pixel coords
 (15.91) degrees
Bull’s-eye radius: 0120 (15 mm)
TRIPcode: 002200000 (1,944)
Translation Vector (meters):
(Tx=0.0329608, Ty=0.043217, Tz=3.06935)
Target Plane Orientation angles (degrees):
(=-7.9175, =-32.1995, =-8.45592)
d2Target: 3.06983 meters
Vazquez
StageIñaki
3: Edge
Following & Filtering
Diego López de Ipiña
MovilForum
Servicios Móviles
al Fitting,
Contexto
StagesSensibles
4-7: Ellipse
Ellipse Concentricity Test,
Code 2003
Deciphering and POSE_FROM_TRIPTAG method
Universidad de Deusto
. . . . . . . .
.
Funcionamiento de MobileEye (I)
• Dos modos de funcionamiento:
– A través de aplicación standalone (basada
en J2ME)
– Usando capacidades estándar de un
teléfono multimedia (MMS, Wap Push y
páginas WML)
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Funcionamiento de MobileEye (II)
• Opción 1: MIDlet que lleva a cabo las
siguientes funciones:
– Captura imágenes y las envía a petición del
usuario a servidor MobileEye
– Servidor MobileEye procesa la imagen y envía
como respuesta un fichero XML con información
sobre objeto reconocido y url apuntando a servicio
web que lo representa.
– MIDlet MobileEye visualiza la respuesta y/o
interfaz del servicio web del objeto etiquetado
– Requiere teléfono móvil que soporte J2ME MMAPI
(actualmente Nokia 3650 y Nokia 6600)
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Funcionamiento de MobileEye (III)
• Opción 2: Usuario simplemente utiliza capacidades
ya disponibles en móvil:
– Envía MMS con imagen de objeto etiquetado a la dirección
[email protected]
– Servidor MobileEye comprueba la recepción de esos
mensajes en servidor mail y extrae de ellos la imagen
– Servidor MobileEye procesa la imagen y envía respuesta:
• Si se ha reconocido código, se envía un Wap Push al móvil del
usuario con url apuntando a descripción e interfaz WAP del
servicio web del objeto etiquetado
• Si no se ha reconocido código, se envía un SMS indicando al
usuario que reenvíe otra imagen más cercana (más pixels) del
código de barras del objeto.
– Disponible para un gran abanico de teléfonos móviles de
última generación
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
StreamEye
• Supervisión remota
– “Muestra la imagen capturada por un móvil
apuntando a tu niño” en una página web
• http://172.16.107.72/mobileeyewatch
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Conclusiones
• EMI2 es un modelo de arquitectura que
permite crear entornos inteligentes
• El objetivo es diseñar un sistema personal 4G
que habilite un nuevo mundo de servicios
móviles sensibles al contexto
• La aplicación MobileEye añade a un móvil con
cámara capacidad visual y demuestra cómo el
móvil puede usarse como intermediario con
nuestro entorno
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Universidad de Deusto
. . . . . . . .
.
Ejemplos códigos de barras
Iñaki Vazquez
Diego López de Ipiña
Servicios Móviles Sensibles al Contexto
MovilForum 2003
Descargar

MobileEye - Universidad de Deusto