Reconocimiento de gestos
gestos
Sistemas en tiempo real basados en Modelos de Markov
Ocultos y en vídeo portable.
Reconocimiento de signos en manos sin “adornar”
Léxicon de 40 términos de lenguaje de signos americano
(ASL)
gestos
ASL: American Sign Language
• 6.000 palabras indicadas con un gesto
• Posibilidad de silabear (spelling)
• Posibilidad de almacenar datos en el
espacio para futura referencia
• Gestos faciales:
• subir las cejas para indicar preguntas,
• Cejas relajadas para afirmaciones
• Fruncidas para ordenar.
gestos
El problema
• Seguir e interpretar, con una cámara color,
las manos desnudas usando HMM.
• No se intenta una descripción fina de la
mano.
• La resolución: se ha encontrado que los
signos retienen el 85% de su significado
submuestreando hasta 24x16 pixeles.
gestos
• No se intenta crear un sistema
independiente del locutor ni de lexicón
completo.
• El tipo de frases es: “pron. personal, verbo,
sujeto, adjetivo, pron. pers.”
• “Solo” utiliza el color natural de las manos
para hacer el tracking.
gestos
gestos
Puntos de vista
• Segunda persona: la cámara está sobre otra
persona contemplando al que realiza los
signos
• Primera persona: la cámara está en la
persona que realiza los signos.
• La tecnología actual (1998) permite construir
sistemas completos que pueden ser transportados
por la persona.
gestos
gestos
gestos
Características del sistema
• 30x243 pixeles por imagen
• 10 imágenes por segundo
• Modelo del color de la piel construido
anteriormente.
• Se realiza una detección basada en
crecimiento de regiones.
• El centroide de la mano se calcula como un
subproducto del crecimiento
gestos
• Propone utilizar la nariz como objeto para
calibración del color en las vistas en
primera persona.
• Los blobs de las manos se analizan con
segundos momentos.
• Posición x,y; variación de la posición.
• Área, excentricidad de la elipse envolvente.
• Angulo de mínima inercia: 1er autovector y su
longitud.
gestos
oclusiones
• La cara está en la misma posición y puede
ser descontada
• Las manos ocluidas tienen características
que se alejan de lo normal.
• Las manos con oclusiones reciben las
carácter. De las ocluidas
gestos
Segunda persona
•
•
•
•
•
No hay pausas intencionales
500 frases (22 descartadas)
Cada signo esta entre 1 y 3 segundos.
384 sentencias para training y 94 para test.
Entrenamiento de las redes:las sentencias se parten
en 5 partes iguales. Usa alineamiento de Viterbi
para estimar iterativamente las medias y varianzas
de la probabilidades de salida.
gestos
• Las estimaciones se refinan con BaumWelch
• Se hace un entrenamiento supervisado fino
para el ajuste final
• El reconocimiento se hace mediante
alineamiento de Viterbi.
• No se usan contextos. El reconocimiento es
5 veces más rápido que el tiempo real.
gestos
gestos
Vista 1a persona
• La persona cuida no moverse para evitar
confundir auto-movimiento con movimiento
de las manos.
• Silencio corresponde con las manos en
reposo.
gestos
gestos
Descargar

Reconocimiento de gestos