Post on 02-Aug-2020
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz
FEUP - Faculdade de Engenharia da Universidade do PortoLOME - Laboratório de Óptica e Mecânica Experimental
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 2
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Índice:I. Visão 3D;
II. Plataforma Computacional em Desenvolvimento;
III. Resultados experimentais;
IV. Conclusões e Trabalho futuro.
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 3
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Porquê a Visão Computacional:Abundância de imagens digitais;Inúmeras aplicações possíveis;Obter informações úteis a partir de imagens de forma o mais
semelhante possível à realizada pelo homem.
Interesse da Visão:~50% do cérebro humano está dedicado à Visão;A Visão reflecte a percepção do mundo exterior.
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 4
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Em Visão Computacional, são várias as técnicas que se podem usar para recuperar a estrutura 3D de uma cena ou a forma de um objecto:
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 5
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Aplicações:Seguimento e segmentação de objectos;Engenharia (Prototipagem rápida, design, ...);Realidade virtual (Actores e objectos virtuais, ...);Medicina (Reconstrução facial, ...);Arquitectura (Reconstrução de estruturas, esculturas, ...);Sistemas de navegação e identificação (Controlo de robots, Biometria, ...);…
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 6
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Partindo de uma sequência de imagens não calibradas, pretende-se extrair o movimento e a calibração da(s) câmara(s) considerada(s), assim como obter a geometria 3D do objecto.
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Metodologia utilizada: estrutura a partir do movimentoreconstrução de cenas/objectos a partir do movimento da(s) câmara(s); pretende-se não impor qualquer tipo de restrição ao movimento.
Objectivo do projecto: obtenção de modelos 3D de cenas ou de objectos reais;
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 7
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Plataforma Computacional em desenvolvimento:Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Integração de funções disponibilizadas em várias bibliotecas de domínio público:
• OpenCV;• Peter’s Matlab Functions;• Torr’s Matlab Toolkit;• KLT;• Projective Rectification without Epipolar Geometry;• Depth Discontinuities by Pixel-to-Pixel Stereo.
Desenvolvimento modular;Interface gráfica adequada para o utilizador;Linguagem: C++;Sistema operativo: Microsoft Windows.
Portadas para Cutilizando o
MATLAB Compiler
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 8
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
O utilizador pode escolher o algoritmo que pretende usar, assim como definir comodamente os seus parâmetros.
extracção de pontos fortes (pontos característicos);
As funções incluídas abrangem várias técnicas de Visão Activa:
emparelhamento de pontos fortes entre imagens;
cálculo da geometria epipolar;
rectificação;
emparelhamento denso.
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 9
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Introdução
Plataforma
Resultados
Conclusões
Trabalho Futuro
Algoritmos disponíveis para a
extracção de pontos fortes
1) Extracção de pontos fortes:
São pontos que reflectem discrepâncias relevantes entre os seus valores de intensidades e os dos seus vizinhos (por exemplo, vértices);
A sua extracção permite posteriormente correlacioná-los sequencialmente noutras imagens (emparelhamento).
OpenCV KLT
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 10
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Coordenadas dos pontos fortes da primeira imagem
Coordenadas dos pontos emparelhados da segunda imagem
Matriz fundamental
Algoritmos disponíveis para o emparelhamento
de pontos fortes
2) Emparelhamento de pontos fortes entre imagens:
Identificação dos pontos 2D nas várias imagens que resultem da projecção do mesmo ponto 3D da cena (matching);
Um reduzido número de pontos de correspondência, é suficiente para se poder determinar a relação geométrica entre as duas imagens (matriz fundamental).
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 11
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
. . .
Emparelhamento de pontos fortes entre imagensexemplo obtido por uma das técnicas integradas:
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 12
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
3) Cálculo da geometria epipolar:Obtém-se informação da pose relativa entre vistas da mesma cena;Permite eliminar erros no emparelhamento efectuado anteriormente;Facilita a obtenção de novos pontos de correlação (emparelhamento denso).
Algoritmos disponíveis para a determinação das linhas epipolares
Algoritmos que incluem o cálculo da geometria epipolar
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 13
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Cálculo da geometria epipolarexemplo obtido por uma das técnicas integradas:
Linha epipolar Inlier
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 14
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Traduz-se em alterar as imagens de forma a colocar as linhas epipolaresparalelas ao eixo horizontal da imagem;
Facilita o problema do emparelhamento de pontos entre imagens.
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Algoritmo disponível para a
rectificação
4) Rectificação:
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 15
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Codifica a distância (relativa) dos objectos em relação à(s) câmara(s) - pontos muitos distantes têm disparidade zero (preto) e pontos muito próximos têm a máxima disparidade (branco);
Dá-nos a percepção das descontinuidades em termos de profundidade de uma cena;
Um dos algoritmos disponíveis também retorna um mapa de descontinuidades, definido pelos píxeis que fazem fronteira entre uma mudança de pelo menos dois níveis de disparidade.
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Algoritmos disponíveis para o emparelhamento
denso
5) Mapa de disparidade:
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 16
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Imagens originais
Mapa de disparidade Mapa de descontinuidades
Mapa de disparidadeexemplo obtido utilizando imagens previamente rectificadas:
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 17
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Esta debilidade, das técnicas analisadas e integradas na plataforma computacional, é tanto maior, quanto menor as variações da forma dos objectos em causa.
Conclusões:Introdução
Plataforma
Conclusões
Trabalho FuturoOs resultados experimentais obtidos com menor qualidade,
geralmente estão relacionados com a determinação dos pontos característicos nas imagens a considerar (pontos fortes);
Resultados As funções analisadas obtêm bons resultados experimentais quando aplicadas em objectos que apresentam características fortes;
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 18
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Trabalho Futuro:As próximas etapas deste projecto irão concentrar-se no sentido de
melhorar os resultados obtidos quando os objectos a reconstruir apresentam formas contínuas e suaves;
Posteriormente, pretende-se utilizar a plataforma computacional apresentada na reconstrução e caracterização de formas 3D anatómicas exteriores.
Apresentação de uma Plataforma Computacional para a Reconstrução e
Caracterização da Forma 3D de Objectos
ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e
CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos
Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz
FEUP - Faculdade de Engenharia da Universidade do PortoLOME - Laboratório de Óptica e Mecânica Experimental