Alinhamento imagem-modelo baseada na visão estereo de regiões planares arbitrarias

Resumo: Este trabalho propõe uma solução para determinação automática da transformação rígida 3D que alinha um modelo geométrico previamente conhecido com um modelo observado a partir de imagens, atentando para precisão, robustez e custo computacional. A abordagem proposta contorna diversas dificuldades de métodos similares descritos na literatura. É assumida pela solução a existência de uma fase de preparação off-line da representação da geometria conhecida e de uma fase on-line de reconhecimento onde imagens são adquiridas por um par estéreo de câmeras com orientação relativa conhecida. A solução proposta se fundamenta no estabelecimento de correspondências imagem-modelo a partir do reconhecimento de regiões planares e na determinação de invariantes entre o modelo conhecido e o modelo reconstruído com base no par de imagens estéreo. A redução da complexidade do algoritmo de reconhecimento foi considerada como principal critério para determinação do conjunto de invariantes utilizados. A determinação das correspondências entre as feições do modelo conhecido e as feições do modelo reconstruído é realizada através do estabelecimento de um consenso por votação quanto à compatibilidade de posições e orientações relativas de pares de feições. A consolidação do alinhamento é feita com base nas múltiplas feições identificadas a partir do processo de votação. Como forma adicional de redução do custo computacional, um processo de indexação por hashing é utilizado para representação do conhecimento do modelo necessário para a implementação do processo de votação. A robustez da abordagem quanto aos efeitos de oclusão, movimento abrupto, variações de iluminação e distração é discutida. A viabilidade da proposta é verificada através de experimentos com imagens de uma cena física.Abstract: This thesis proposes a solution to automatic determination of a rigid 3D transformation that aligns a previously known geometric model to a model observed from images, allowing for accuracy, robustness and low computational cost. The proposed approach avoids several difficulties present in similar methods reported in the literature. The solution assumes the existence of an off-line preparation phase of the geometry representation and an on-line phase where images are acquired by a stereo pair of cameras with known relative orientation. The solution is based on the establishment of image-model correspondences given recognized planar regions and on measured invariants between the known model and the model reconstructed from stereo. Complexity reduction for the recognition algorithm was taken as the main criterion for the selection of the invariants. The determination of correspondences between features from the known model and features from the reconstructed model is achieved through the establishment of a consensus by voting regarding the compatibility of relative position and orientation of feature pairs. Camera pose consolidation is obtained based on multiple identified features from the voting process. The approach robustness considering the effects of occlusion, abrupt motion, lighting variations and distraction is discussed. The viability of the proposal is verified by experiments with images from a physical scene