Segmentación de secuencias de video en
tiempo real utilizando una WebCam
V Taller de Procesamiento de Imágenes (PI 2008)
Presenta: Francisco Javier Hernández López
Asesor: Dr. Mariano José Juan Rivera Meraz
CIMAT, Agosto/2008
Problema
• Dado una secuencia de imágenes de video,
segmentar el Primer Plano (Foreground) del Fondo
(Background).
Secuencia de Video
Nuevo Fondo
Ilustramos nuestros resultados mediante la
sustitución del fondo.
Problema
• Podemos observar que existen diferentes casos que
se pueden presentar durante la secuencia de video:
Espacio
Caso I
Caso II
Caso III
Caso IV
Primer
Plano
Móvil
Móvil
Estático
Estático
Fondo
Estático
Móvil
Móvil
Estático
Tabla 1. Casos del Problema
Utilización
• Videoconferencia
• Video vigilancia
Propuesta
WebCam
Tomamos N imágenes
y calculamos μ(x)
Calculamos Verosimilitud
de ser Fondo VB
Leemos la siguiente
imagen IS(x)
Segmentamos con QMPF
y sustituimos el Fondo.
Propuesta
• Verosimilitud de ser Fondo VB x
Inicialmente probamos con una distribución gaussiana:
VB x  

1
2
exp  2
I S x    x  
2  ( x)
 2 ( x)

1
Dado que el video es adquirido a través de un formato
MPG4 (comprimido), la estimación de la varianza no es
robusta, por lo que usamos simplemente:
2
(1)
VB  x   exp  I S  x     x 

Distribución Gaussiana

Distribución Exponencial
Propuesta
• Segmentación con el método QMPF.
Siguiendo el método QMPF tenemos el siguiente funcional:
U P ( x )  

1  2
2
2




P
(
x
)
d
(
x
)

1

P
(
x
)
d
(
x
)


P
(
x
)

P
(
y
)
W
(
x
,
y
)

, (2)


F
B

2 x 
 x, y 

donde:
d F  x    log1  V B ( x) ,
d B  x    logV B ( x) ,
W  x, y  

  I S ( x)  I S ( y )
2
.
Resolviendo (2) para P(x) tenemos:
d B ( x)  
P( x) 
 P( y)W ( x, y)
 x, y 
d F ( x)  d B ( x)  
W ( x, y)
 x, y 
Utilizando Gauss - Seidel
Con P 0 ( x)  1  VB ( x)
Propuesta
• Sustitución del Fondo
• Si P(x)>Umbral entonces
I SEG x   I S 2 x 
• de lo contrario
I SEG x  FNx
Donde: Umbral=0.5
• Al realizar los experimentos observamos los siguientes
problemas:
Cambio de Intensidad en la
escena.
Semejanza del color
Modificación de
la Intensidad
Corrección de semejanza
del color
Propuesta
• Modificación de la intensidad
• Divx   x / I s x restringida al área donde
estamos seguros que es fondo, donde P _ antx  Umbral
• Calculamos μRGB de los elementos de Div(x).
• I S x  I S x RGB
• Finalmente calculamos la verosimilitud de ser fondo
con la ecuación (1).
Propuesta
• Corrección de semejanza del color
• Calculamos el Flujo Óptico, obtenemos d(x).
• Si P _ antx  d ( x)  Umbral AND VB x  Umbral
VB 2 x  1  P _ antx  d ( x)
• de lo contrario
VB 2 x  VB x
• Finalmente
VB x  VB 2 x
N imágenes I(x),
FN(x),
Propuesta
Ban  0
Calculamos µ(x)
Siguiente imagen
IS (x)
IS2 (x)  IS (x)
2da. Parte
1ra. Parte
Con P_ant(x)
Calculamos Div(x)
Calculamos µR GB
IS (x)  IS (x) µR GB
No
Ban ≤ C
Si
Ban  Ban+1
Calculamos VB (x)
Segmentación con QMPF,
Obtenemos P(x)
Calculamos VB (x)
P_ant(x)  P(x)
Calculamos F.O.
Calculamos VB2 (x)
VB (x)  VB2 (x)
3ra. Parte
Cambiamos Fondo
ISEG (x)
Diagrama de Flujo Principal del Método
Experimentos
Método Propuesto
Método de Creative
Conclusión
Hemos presentado un método que sustituye
automáticamente el fondo de una secuencia de video en
tiempo real, y que además como vimos en los
experimentos, es robusto a cambios de iluminación y
semejanza entre el color del fondo y lo que se está
moviendo.
Trabajo a Futuro
Como trabajo a futuro queremos resolver
también los casos II y III (Tabla 1) del problema
general, aquí necesitamos que el método tenga
conocimiento de profundidad en la escena, para esto
hemos pensado en colocar otra WebCam para formar
un par stereo.
Preguntas …
Descargar

Slide 1