DETECCIÓN Y
REGULACIÓN INTELIGENTE
DE EMOCIONES EN
ANCIANOS
José Miguel Latorre Postigo
Unidad de Psicología Cognitiva Aplicada
Instituto de Investigación en Discapacidades Neurológicas
(IDINE)
Universidad de Castilla-La Mancha
1. ESQUEMA GENERAL
DEL PROYECTO
¿Qué objetivos pretendemos alcanzar?
¿Qué pretendemos alcanzar?
• PRIMERO
• Desarrollar un sistema capaz de detectar emociones a través de la
expresión facial y la respuesta fisiológica.
• Adaptar el sistema para su uso con ancianos.
• SEGUNDO
• Desarrollar un sistema de regulación de las emociones, mediante
el uso de estímulos como color, iluminación, paisaje sonoros,
música o recuerdos autobiográficos, entre otros.
• Adaptar el sistema para su uso con ancianos.
EMOTION REGULATION
Emotion Interpretation
and Regulation
Emotion-tailored music /
sounds, colors and lightning
conditions.
Emotions & brain electrical and
spatial activity data fusion.
Data mining techniques
for emotion regulation.
Data Fusion and
Mining
RECOGNIZED
EMOTIONS
Ground truth data
AMBIENT ADAPTATION
System tuned to
regulate specific
emotions in the
ambience.
Smart Ambient
Assessment
An intelligent system is in
charge of adapting the
ambience towards
regulating emotions. No
private information is sent
outside the system.
Ambient Intelligence
EMOTION-TAILORED MUSIC/SOUNDS,
COLORS AND LIGHTS; ROBOT BEHAVIORS
2. DETECCIÓN DE
EMOCIONES
Procedimientos para la inducción y detección
de emociones
Activación
fisiológica
Conducta
expresiva:
comportamiento
Experiencia
subjetiva:
sentimientos
Emoción
Detección de emociones a través de la
expresión facial
• Reconocimiento de emociones a través de la expresión
facial en tiempo real
• Análisis de la Expresión Facial
• Detección de emociones a través de la Expresión Facial
Facial Expression Analysis
1. Detection of facial points
•
Active shape models are used for the
detection of facial points
•
ASM are statistics models about the
possible shapes of an object
•
•
•
Several models
Databases:
• IMM: 37 images, 58 points
• BioID: 1521 images, 20 points
• XM2VTS: 2360 images, 68 points
XM2VTS generates the most suitable
model
Facial Expression Analysis
• Eyebrow Features
Mouth-Nose Features
Eye Features
2. Feature extraction
Data and Results:
Emotion Detection in Images
Hits
•Fear
Disgust
Surprise
Neutral
Happiness
Sadness
Anger
4. Detection of emotions
Data and Results:
Emotion Detection in Video
Wrong Predictions
Emotion: Happiness
Predicted: Disgust
Emotion: Anger
Predicted: Disgust
Emotion: Disgust
Predicted: Anger
Emotion: Fear
Predicted: Sadness
Emotion: Surprise
Predicted: Fear
Emotion: Sadness
Predicted: Fear
Detección de emociones a través de la
respuesta fisiológica
• Respuesta electrodermal
• Pulso
• Temperatura corporal
• Electromiograma (EMG)
Diseño de hardware
Prototype
USB
3.0 V
Battery
Charger
DC-DC
Regulator
Hardware scheme
3.0 V
EMG
Front-end
LiPo Battery
EDA
Front-end
BSC
ADC
SKT
Front-end
SSC
EDA
Electrodes
8 MHz
Ultra-low-power
ARM Cortex-M3
EMG
Electrodes
RTD
Probe
JTAG
2.4 GHz
Photodiode
LED
HR
Front-end
ACI
Bluetooth
Smart
SPI
3-Axis
Acceler.
Memory
Card
Sensor de la actividad electro-dermal
• Basis: Sweat increases as arousal level grows.
• Constant voltage circuit measure skin conductance.
• 1.5 Hz low-pass filter and 0.05 Hz high-pass filter were
used
• These signals were sampled at 20 Hz.
Technician monitor
Patient monitor
Procesamiento de la señal
• Once the EDA signals were recorded, they were post-
processed by following the methodology described in [2].
1) Signals were filter again with a 1.5 Low-pass filter to
decrease the noise.
[2] Wearable and Automotive Systems for Affect Recognition from Physiology, Jennifer A. Healey. Phd dissertation. 2000.
Procesamiento de la señal
2) First forward difference was computed
3) Positive events were discriminated as those exceeding a
threshold.
Detección de emociones en ancianos
• Experimentos con jóvenes/ancianos
• Cambios en la expresión facial con la edad
• Cambios en la respuesta fisiológica con la edad
3. REGULACIÓN DE
EMOCIONES
Procedimientos para el cambio del estado
emocional a través de distintos estímulos
ambientales
Description of the Experiment
First Musical Test: The Beat
T h re e little b a r s o n g s su ite
A n d a n te
• The piece is titled “Walking on the Street”,
•
•
•
•
framed in a suite called “Three Little Bar
Songs Suite”
The different melodies combine both classical
and contemporary elements of music
The only requirement is that both music
pieces share a tonal harmonic language, with
a harmonic rhythm of classical music and
repetitive rhythmic parameters
This enables to highlight each of the auditions
to categorize them correctly
So, in this way, we have a piece which rhythm
uses constantly alternating dotted notes
(providing a touch of swing) and syncopated
notes in prominent places
1 . W a lkin g o n th e stre e t
=60
5
9
Ju a n F ra n cisco M a n za n o R a m o s
1.
2.
14
• Then, changes are provided to the harmonic rhythm used.
Uso de técnicas de recuerdo
autobiográfico
• Después de realizar una Revisión de Vida estructurada
se implementaría un sistema integrado de recuerdos
personales, incluyendo:
• Fotografías
• Vídeos
• Música
• Paisajes sonoros
• …
4. INTERACCIÓN
SISTEMA-USUARIO
¿Cómo percibe e interactúa el usuario con
tecnología desarrollada?
Participantes:
• Antonio Fernández-
• Arturo Martínez-
Caballero
• José M. Latorre
• María T. López
• Elena LozanoMonasor
• Francisco Vigo-Bustos
• Marina V. Sokolova
• Alicia FernándezSotos
• Pablo Olivos Jara
Rodrigo
• Roberto Zangróniz
• José Manuel Pastor
• César Sánchez
Melendez
• Laura Ros
• Juan Pedro Serrano
• Jorge Ricarte
• Luz Fernández-Aguilar
MUCHAS GRACIAS POR SU
ATENCIÓN
[email protected]
This work was partially supported by
Spanish Ministerio de Economía y
Competitividad / FEDER under
TIN2013-47074-C2-1-R grant.
Descargar

Detección y regulación inteligente de emociones en ancianos