Shape from shading
Forma a partir de la sombra
Shape from shading
Capt 7 y 8
Klette,schluns,koschan
1
Shape from shading
Introducción
• Shape from shading es el problema de obtener una
representación tridimensional a partir de una única imagen
de irradiancia.
• Los métodos generalmente asumen conocido el mapa de
reflectancia que modela la iluminación y la propiedades de
reflexión del objeto.
• Factores que interaccionan: iluminación, reflexión,
geometría del objeto y características del sensor
• El proceso es estrictamente el inverso del seguido en el
caso de la síntesis de imagen mediante renderización
realista.
2
Shape from shading
Restricciones
• Iluminación: se conoce la irradiancia y dirección de la
iluminación y si la radiación es paralela, difusa o puntual.
No hay interacción entre objetos.
• Reflexión: usualmente superficies lambertianas de albedo
conocido o lineales
• Mapa de reflectancia: conocido, a veces se asume
localmente lineal.
• Geometría: la superficie es continua. A veces se requiere
conocimiento de puntos específicos
• Sensor: lineal
• Proyección: usualmente ortográfica.
3
Shape from shading
Tipos de métodos SFS
• Métodos de propagación: propagan el
conocimiento de la altura de puntos
concretos.
• Métodos globales: tratan la imagen como un
todo e intentan minimizar un funcional
adecuadamente definido
• Métodos locales: estiman la geometría del
objeto a partir de un entorno reducido de un
4
punto de la imagen.
Shape from shading
Asunciones
•
•
•
•
•
Rayos paralelos de iluminación
Iluminación constante en la superficie.
Superficie continua y diferenciable.
Proyección ortográfica
Sensor lineal
5
Shape from shading
Interpretación directa
•
Teorema: bajo la asunción de un mapa de reflectancia Lambertiano con
qs=ps=0 la imagen de irradiancia de una esfera corresponde a su mapa de
altura relativa, hasta un factor de escala conocido.
Asume el centro de la esfera en el punto
Asume radio r.
Punto visible en la esfera
Normal a un punto de la esfera
Imagen generada por proyección ortográfica
Es el factor de escala
6
Shape from shading
El teorema se generaliza para otras geometrías, pero se aprecian buenos
resultados en general para superficies que aproximan la hipótesis lambertiana.
7
Shape from shading
Métodos de propagación
A partir del conocimiento de la altura de algunos puntos se propaga al resto
de la imagen siguiendo las características de la imagen.
Mapa de reflectancia lineal
La función h es monótona e
invertible, y es conocida
como resultado de los
estudios de modelado de la
superficie. Los parametros a
y b son conocidos
Los gradientes de la superficie
consistentes con E(x,y) corresponden
a una línea.
8
Shape from shading
Método de Horn
Pendiente de la superficie en dirección
respecto de la imagen.
Existe una dirección privilegiada
Para la que:
No depende de (p,q).
La pendiente en esta dirección puede calcularse a partir de la irradiancia E(x,y).
Pequeños pasos
en esta dirección comenzando desde un punto (x0,y0)
corresponden a pequeños incrementos en la profundidad proporcional a la
pendiente
9
Shape from shading
Conocida la profundidad Z0 en un punto (x0,y0) se pueden
determinar las profundidades a lo largo de la dirección
Si sólo se conoce un punto,
sólo se puede determinar la
profundidad en una línea
(línea característica).
Si se conocen los valores de profundidad a lo largo de una línea
Z0(t) no paralela a la dirección
entonces se puede
reconstruir toda la superficie.
10
Shape from shading
ejemplo
Describe círculos de radio
Si para una curva
paralelos al plano Z=0
se conoce
Se puede calcular toda la superficie de la esfera
11
Shape from shading
Mapas simétricos rotacionalmente
h monótona invertible y diferenciable
Se puede calcular la pendiente asumiendo la ecuación
Pero no se puede recuperar la dirección del gradiente.
Un paso en la dirección del gradiente
produce
Las variaciones de gradiente se aproximan linealmente en
función de las derivadas parciales de la imagen.
Caso general
12
Shape from shading
13
Shape from shading
Métodos de optimización global
Se utiliza toda la imagen en la estimacion que se realiza mediante la minimización
de un funcional definido en base a la restricción de irradiación: la imagen de
irradiancia debe ser igual a la reflectancia dada por los gradientes calculados.
Proyección ortográfica
En coordenadas
estereográficas
En función de la normal
14
Shape from shading
Regularización o restricción de suavidad: exige la continuidad de los
gradientes. Minimiza las segundas derivadas de la superficie para obtener
la solución con mínimas variaciones bruscas o discontinuidades.
Relación de las
derivadas
parciales de los
gradientes
respecto de la
superficie.
Alternativa simplificada que no incluye derivadas cruzadas
15
Shape from shading
Alternativamente la restricción de suavidad puede representarse en
coordenadas estereográficas (apropiado en el caso de oclusiones) o en función
de la normal.
En función de las
variaciones de la normal
También se puede formular en el dominio transformado, minimizando la
magnitud de los coeficientes transformados de las altas frecuencias.
16
Shape from shading
Restricción de integrabilidad: Continuidad de las primeras derivadas de la
superficie. Evita que distintos caminos de integración conduzcan a soluciones
distintas.
Restricción del gradiente de la irradiancia (intensidad de la imagen): compara
los gradientes de la imagen y el mapa de reflectancia.
Restricción de normalización de la normal: para evitar variaciones debidas a
variaciones del albedo y errores numéricos.
17
Shape from shading
Combinación de restricciones
18
Shape from shading
Minimización del funcional mediante discretización
(cálculo variacional)
Aproximación discreta de
Se convierte en el error
La minimización se realiza buscando la raiz de la derivada del error respecto de los
parámetros funcionales
Valores
promedio
en un
vecindario
19
Shape from shading
Mascaras de promediado para calcular
El esquema iterativo de
resolución tiene la
forma:
Las condiciones iniciales
para la iteración se
benefician de conocer
algunos valores (en la
imagen los contornos de una
esfera)
20
Shape from shading
Inicialización del algoritmo de Ikeuchi, Horn para el caso de la esfera
21
Shape from shading
Las condiciones
iniciales determinan el
mínimo local al que
tiende la iteración
EL valor de l
condiciona el
resultado forzando o
no la suavidad de
Dirección de la
fuente de
iluminación
Cálculo del
mapa de
reflectancia
Iteración
pixel (i,j)
22
Shape from shading
23
Shape from shading
Métodos locales (Lee, Rosenfeld)
Utilizan sólo las irradiancias locales (un vecindario en la imagen) para
calcular la forma correspondiente a un punto de la imagen.
Aproxima el objeto en cada punto de la imagen como una esfera para
resolver las ambigüedades sobre la geometría local conocida.
Se realiza un cambio de coordenadas de la cámara alineando el eje
óptico con la dirección de la fuente de iluminación.
(XYZ) pasa a (X*Y*Z*) alineado Z* con so.
El mapa de reflectancia es rotacionalmente simétrico
El tilt de la orientación de la superficie no puede determinarse a partir
de las derivadas parciales de la función de irradiancia E(x,y) si la
geometría del objeto se aproxima localmente por una esfera.
Slant y tilt de la iluminación so: (s,q). Slant y tilt de la orientación de
la superficie no: (z,J).
24
Shape from shading
Cambio de coordenadas al
sensor alineado con la fuente
Esfera centrada en el origen
Orientación en (X,Y)
Dirección de iluminación
Imagen de irradiancia
Las derivadas parciales
y su transformación al
nuevo sistema de
coordenadas
25
Shape from shading
Cálculo del slant: en el espacio transformado alineando el sensor y la fuente
de luz se cumple
Conocido
se puede determinar
Cuando están alineados sensor y fuente de iluminación
Transformación al
espacio original
Recuperación de los ángulos a partir de la normal
26
Shape from shading
27
Shape from shading
28
Shape from shading
Iluminación estructurada
Iluminación estructurada consiste en la proyección de patrones lumínicos
sobre la escena.
Los patrones se proyectan en los objetos que caen en el campo visual de
la cámara.
La distancia a la cámara o la localización espacial puede determinarse
analizando los patrones de iluminación observados en la imagen.
Un punto (x,y) en la imagen restringe los puntos 3D (X,Y,Z) correspondientes
a un subespacio de la escena: una pirámide de cuatro lados infinita.
Conocidos los parámetros intrínsecos se puede caracterizar este espacio, que
idealmente se reduce a una línea l.
La iluminación estructura trata de intersecar l con otro rayo l‘ o plano p de
forma que se determine la posición del objeto sin necesidad de calcular
correspondencias.
29
Shape from shading
La iluminación estructura puede considerarse como una variante del caso estereo,
donde la segunda cámara se sustituye por la luz proyectada.
La complejidad del proceso se transfiere de la fundamentación matemática al
diseño del sistema de iluminación y al control de las condiciones de captación.
La iluminación puede permanecer estática o no a lo largo del proceso de
estimación de la profundidad. Existen distintos tipos de iluminación.
Proporciona resultados de gran precisión.
Se denominan escaners 3D o escaners de rango.
30
Shape from shading
Proyección de puntos
Light spot projection
La intersección del rayo de proyección y el rayo de iluminacion determina la
distancia a la cámara.
Iluminación producida por un laser controlado (situación 2D)
El ángulo b está determinado por
los parámetros de la
transformación de visualización.
El ángulo a está determinado por
el control del laser
31
Shape from shading
Conocidos los ángulos y la distancia de base
entre la cámara y el centro de rotación del laser
se puede calcular la distancia.
En coordenadas de la cámara
32
Shape from shading
Teorema del rayo
Geometría de los triangulos
33
Shape from shading
Problemas:
Limitaciones de visibilidad
Velocidad de medida
dependiente del control del
laser y el tiempo de detección
del spot.
Calibración precisa de la
cámara y el laser.
Detección precisa del spot en la
imagen.
34
Shape from shading
Análisis estereo de puntos de iluminación: se basa en la combinación de las
técnicas de spot illumination con las de estéreo estático.
Simplifica el análisis de
correspondencias del estéreo
No necesita la calibración y
control preciso del laser.
35
Shape from shading
Proyección de líneas
Acelera los procesos de
cálculo.
Pueden utilizarse laser o
proyectores de luz con una
máscara de línea.
36
Shape from shading
Imagen de M columnas
El plano de luz es perpenticular
al plano de referencia.
El plano de referencia está
definido por los ejes verticales
de la cámara y el proyector del
plano de luz.
Ángulo entre el plano de
referencia y el eje óptico
Ángulo entre los ejes ópticos
de la cámara y el proyector del
plano de luz.
Ángulo entre el plano de
referencia y el plano definido
entre el centro óptico de la
cámara y la columna izquierda
37
Shape from shading
Estimación de los ángulos:
Se tiene un objeto de calibración planar orientado paralelo al plano de referencia.
Se desplaza a lo largo del eje óptico del generador del plano de luz.
Cuando la proyección del objeto de calibración está en el centro de la imagen, se
calcula la distancia DZ relativa al plano de referencia.
Cuando la proyección del objeto se encuentra en el extremo izquierdo de la
imagen se mide la distancia D0 relativa al plano de referencia.
Anchura de la parte visible del sensor
38
Shape from shading
aplicando
obtenemos
La distancia entre la columna 0 y una columna k se puede calcular por:
Y el ángulo
Podemos recuperar los
ángulos
cuando
el punto de luz cae en la
columna k.
39
Shape from shading
Relación entre la distancia al
plano de referencia y las
columnas de la imagen para
distintas configuraciones.
Se muestra también la
resolución del cálculo de la
profundidad.
Una configuración del
sistema.
40
Shape from shading
Para obtener un objeto
tridimensional se
mantiene estático el
plano de luz y se gira el
objeto. La sucesión de
perfiles se interpreta
como un objeto 3D.
41
Shape from shading
Alternativamente pueden proyectarse varios planos de luz para recuperar de un
solo golpe información sobre toda la escena.
Problema: identificar desde la cámara las lineas de luz correspondientes a cada
plano de luz.
Aplicación interesante: probar la planaridad de objetos.
42
Shape from shading
Proyección de patrones
codificados
Se proyectan sobre la escena patrones de iluminación que codifican los posibles
planos de iluminación. Se consigue reducir el número de imágenes (proyecciones
de planos de luz) necesarias para muestrear la escena completa.
Se capturan 8 imágenes, cada una
con un patrón impuesto.
En la reconstrucción, la
combinación de las imágenes
permite acceder al plano de
iluminación correspondiente a cada
columna.
Es preciso un proceso de
calibración específico.
43
Shape from shading
Ejemplo de aplicación
sobre un cubo con planos
horizontales de
iluminación.
44
Shape from shading
Estéreo fotométrico
Estéreo fotométrico se refiere al conjunto de técnicas que utilizan varias imágenes para
calcular la superfice del objeto en función del sombreado.
Las imágenes de estéreo fotométrico se adquieren bajos distintas condiciones de
iluminación: el objeto se ilumina consecutivamente desde distintas fuentes. En cada
imagen sólo una fuente está encendida. No se precisa resolver problemas de
correspondencias entre las imágenes, ya que el mismo pixel corresponde siempre al mismo
punto de la escena.
Los métodos pueden ser dependientes o independientes del albedo.
45
Shape from shading
Limitaciones de Shape from
shading sobre una imagen.
•El término E0r es conocido y constante.
•Para un mapa de reflectancia Lambertiano reduce las soluciones a una
sección cónica del espacio gradiente.
•La radiancia se estima constante y medible mediante un procedimiento
de calibración. El albedo puede estimarse en orientaciones en las que la
normal a la superficie es colineal con la iluminación.
•En el caso de que el albedo no sea constante se asume que es constante
por trozos que corresponden a segmentaciones de la imagen.
•La superficie es al menos continua C(1). No es posible tratar objetos
poliédricos.
•Se conocen las coordenadas 3D de puntos singulares y/o orientaciones
singulares (conflicto cóncavo/convexo).
46
Shape from shading
Imagen obtenida de un la renderización de una
esfera con un mapa de reflectancia Lambertiano.
No se puede discriminar la convexidad o
concavidad a menos que se fijen los valores de
puntos singulares de la superficie.
La intensidad en la imagen es
máxima en los extremos de la
curva, cuando la normal es colineal
con la dirección de la iluminación.
La intensidad es mínima en los
puntos de inflexión en los que la
normal y la dirección de
iluminación subtienden un ángulo
de 45°.
Las normales que son consistentes
47
con la irradiancia son dos.
Shape from shading
Análisis de pares de imágenes
Se asumen dos fuentes de iluminación no colineales con direcciones s1 y s2. Para cada
punto en la imagen obtenemos valores de irradiancia E1 y E2 con cada iluminación.
Las imágenes se toman consecutivamente con cada iluminación por separado. El
objeto y la cámara están en posición fija.
Ambas irradiancias son positivas.
Cada fuente de luz ilumina una hemiesfera gausiana.Todos los puntos visibles reciben
iluminación de una fuente si la dirección del eje óptico y la iluminación coinciden. Si
el objeto no es convexo pueden producirse sombras.
Sólo puede recuperarse aquella parte de la superficie iluminada por las dos fuentes.
La porción del área iluminada depende del ángulo g entre las fuentes (cuanto más
pequeño mayor el área común).
48
Shape from shading
La dirección de la cámara
deberá estar entre las
direcciones de iluminación
para que sea visible la zona
iluminada por las dos
fuentes.
La cardinalidad del área iluminada simultáneamente
viene dada por una luna que depende de a=p-g.
49
Shape from shading
Mapas de reflectancia lineales respecto del espacio gradiente.
La irradiancia medida en un pixel p
en cada una de las imágenes produce
una restricción que es una línea para
cada dirección de iluminación.
La intersección en el espacio
gradiente de estas lineas representa
la orientación consistente del punto
en la superficie correspondiente al
pixel.
50
Shape from shading
Mapas de reflectancia Lambertianos: análisis dependiente del albedo.
Si las propiedades de reflectancia de una superficie pueden describirse con
dos mapas de reflectancia Lambertianos se pueden restringir las
soluciones: Como mucho se pueden asignar dos direcciones válidas a un
punto si existen dos valores de irradiancia positivos para ese punto.
Mapas de reflectancia lambertianos
Los puntos de contacto (2) de los conos inducidos por las fuentes de
iluminación son las orientaciones consistentes.
51
Shape from shading
Proyecta las direcciones de iluminación en el plano XZ (rota hasta que Y sea 0)
La normal a la superficie
también se rota
Representación de las
fuentes de iluminación en
espacio gradiente
Las ecuaciones se simplifican a:
Despejando la longitud de la normal rotada
se obtiene una única ecuación.
De donde puede calcularse p’. La componente q’ del gradiente puede obtenerse sustituyendo
Es una ecuación cuadrática, lo que nos da dos soluciones como mucho.
Las soluciones pueden calcularse aplicando
52
Shape from shading
Si existe un par de soluciones,
estas orientaciones son
simétricas respecto del plano
determinado por las dos
direcciones de la iluminación,
debido a la simetría de la
solución de la ecuación
cuadrática.
Si los tres vectores n, s1, s2 son
coplanares entonces existe una
única solución.
53
Shape from shading
Cálculo de las dos orientaciones solución. Expresión explícita
de las normales consistentes con las imágenes:
Solución única si el radicando es nulo
Dos soluciones para radicando no imaginario:
54
Shape from shading
El plano determinado por las
direcciones de las fuentes de luz
determina una curva abierta C de
soluciones únicas. En las regiones R1
y R2 las soluciones no son únicas.
Se demuestra que la orientación no
cambia dentro de una región:
No cambia de signo en Ri
Las crossecciones que van de una
región a la otra pueden mostrar las
diferentes combinaciones
concavo/convexo que son
indistinguibles
55
Shape from shading
Unicidad via integrabilidad: resuelve la ambigüedad concavo/convexo
aplicando una restricción de integrabilidad sobre las derivadas cruzadas
Resultado de resolver las direcciones
basandose en dos imágenes obtenidas
con las iluminaciones s1, s2 indicadas
(las de 8.6 rotadas por a en torno a la
dirección de visión). Solución positiva
y negativa. La linea C de soluciones
únicas corresponde a la situación n=v.
56
Shape from shading
El mapa de gradiente representado en la
figura es un campo vectorial que debe ser
conservativo. Su integral debe ser
independiente del camino recorrido.
La integral
sobre la
curva C es cero. La suma de
integrales también debe serlo
El segundo término es cero por que es perpenticular a
los gradientes. EL primero no es cero.
La condición de integración no se cumple en las regiones R11 y R22, pero si en las
regiones R12 y R21. La restricción de integrabilidad que fuerza la combinación de
estas regiones en la solución se realiza minimizando para las dos imágenes:
57
Shape from shading
Inconsistencias que dan
lugar a radicando negativo
Cálculo de las soluciones
positivas y negativas
Puntos en curvas de solución
única
Regiones con ambigüedad
cóncavo/convexo
58
Shape from shading
Regiones conectadas de
pixeles con ambigüedad
cóncavo/convexo.
Decisión sobre la región
que minimiza el error de
integrabilidad
59
Shape from shading
Resultados con una esfera sintética
de 100 pixeles e iluminaciones:
Los errores de las regiones
tienen un ratio 1:100 por lo
que son distinguibles
robustamente
Resultados con la imagen sintética del
busto de Mozart, con iluminaciones
Pixels negros: alguna de las irradiancias es
cero y no se puede calcular nada.
Gris claro: las orientaciones pertenecen al
plano de simetría
Gris oscuro: es posible aplicar el criterio de
integrabilidad.
Blanco: gradientes muy verticales, irradiancia
muy baja o muy cercanas a la frontera.
60
Descargar

Forma a partir de la sombra Shape from shading