TFCs - 2005/2006

Deptº de Engª Electrotécnica e de Computadores
Secção de Sistemas e Controlo

OBJECTIVOS: Com este trabalho pretende-se desenvolver e implementar rotinas de visão de computador que permitam a (i) caracterização de objectos ou cenas observadas e (ii) o posterior reconhecimento desses objectos ou cenas.

Com este trabalho pretende-se abordar a fase de desenvolvimento que corresponde à exploração e interacção com objectos através da capacidade visual. Para tal, o sistema tem que ser capaz de aprender representações discriminativas de um dado objecto e dispôr de métodos que permitam reconhecer estes objectos. A dificuldade fundamental resulta da necessidade destas representações serem independentes (ou tolarantes) a variações de iluminação, perspectiva, etc.

O método fundamental a aplicar encontra-se descrito em [4] e designam-se por SIFTs "Scale Invariant Feature Transform". Essencialmente, esta abordagem permite transformar uma imagem numa colecção de características locais da imagem (feature vectors) que são invariantes ao escalamento, translação e rotação da imagem. São ainda parcialmente invariantes a mudanças de iluminação ou a deformações afins da imagem.

As características invariantes à escala, podem ser detectadas de forma eficiente com um banco de filtros. O primeiro nível identifica pontos que correspondam a pontos-chave no espaço de escalas, i.e. que sejam extremos de aplicação à imagem de um filtro do tipo diferença de gaussianas.

Cada ponto de interesse assim detectado é utilizado para descrever localmente a região de imagem normalizado pela escala e invariante à rotação e translação.

Para reconhecer um objecto ou uma cena, é necessário comparar os descriptores locais do objecto de interesse e das imagens observadas. Este processo pode ser feito recorrendo a um processo de clustering e de ajuste de mínimos quadrados. O número de SIFTS que sejam comuns no objecto e na imagem indicia a presença ou não dese objecto na imagem.

Este método poderá ser implementado recorrendo a informação de cor ou comparado com outros métodos mais recentes.

[1] A Developmental Roadmap for Task Learning by Imitation in Humanoid Robots: Baltazar's Story, M. Lopes, A. Bernardino and J. Santos-Victor ,AISB 2005 Symposium on Imitation in Animals and Artifacts, University of Hertfordshire, UK, 12-14 April 2005.
[2] - An anthropomorphic robot torso for imitation: design and experiments, M. Lopes, R. Beira, M. Praça, J. Santos-Victor, IROS - IEEE/RSJ International Conference on Intelligent Robots and Systems, Sendai, Japan, September 28 - October 2, 2004.
[3] - http://www.cs.ubc.ca/~lowe/keypoints/
[4] - Distinctive image features from scale-invariant keypoints, David G. Lowe, International Journal of Computer Vision, 60, 2 (2004), pp. 91-110.
[5] - Object recognition from local scale-invariant features, David G. Lowe, International Conference on Computer Vision, Corfu, Greece (September 1999), pp. 1150-1157.
[6] - Local feature view clustering for 3D object recognition, David G. Lowe, IEEE Conference on Computer Vision and Pattern Recognition, Kauai, Hawaii (December 2001), pp. 682-688.
[7] - RobustWide Baseline Stereo from Maximally Stable Extremal Regions, J. Matas, O. Chum, M.Urban1, T. Pajdla. British Machine Vision Conference, 2002.
[8] - http://user.cs.tu-berlin.de/~nowozin/autopano-sift/

Câmara de Visão Omnidireccional para Inspecção Visual

(Omni-Sonda)

Objectivos: Neste trabalho pretende-se (i) desenhar e construir uma câmara catadióptrica (com espelhos) que forneça imagens rectificadas de superfícies cilindricas e (ii) desenvolver algoritmos de mosaicos por forma a gerar uma imagem estendida da superfície cilindrica observada.

A utilização de câmaras de vídeo tem aumentado nos últimos anos em inúmeras aplicações. Apesar disso, na maior parte das aplicações utilizam-se o mesmo tipo de câmaras apesar dos requisitos das aplicações variarem muito.

A possibilidade de desenhar uma câmara cuja geometria se adapte aos cenários observados permite a captura de imagem em muito melhores condições do que se utilizarmos câmaras standard.

Neste trabalho pretende-se desenvolver uma câmara específica para a observação ou inspecção de estruturas tubulares, embora os conceitos possam ser generalizados a outras situações. Essa câmara consistirá no conjunto de uma cãmara de vídeo e um espelho convexo. Exemplos de aplicações seriam a inspecção de condutas (água, gás, túneis, etc) ou sensores endoscópicos.

Uma forma de construir câmaras com características geométricas não convencionais consiste na utilização de um espelho convexo, em conjunto com uma câmara de video standard. Desta forma, a formação de imagem faz-se atavés de raios ópticos que emanam de pontos no espaço tridimensional, reflectem-se na superfície do espelho e, finalmente, atingem o plano de imagem, como ilustra a figura ao lado.

A forma do espelho é pois determinante neste processo de formação de imagem. Neste trabalho o desenho da câmara consiste na resolução do problema inverso de determinar a forma da superfície do espelho por forma a garantir que a imagem de um cilindro é rectificada na imagem capturada pela câmara. Por outras palavras, em vez da imagem "afunilada" que se obtém capturando uma imagem do interior de um tubo com uma câmara convencional, este processo permitiria a obtenção de uma imagem não distorcida do interior do tubo.

Uma vez desenhada e construída a câmara (espelho) com estas característica o segundo passo deste trabalho consiste no desenvolvimento de algoritmos de construção de mosaicos vídeo que possa alinhar e concatenar as várias imagens adquiridas ao longo do tempo quando a câmara observa uma estrutura tubular.

[1] - Constant Resolution Omnidirectional Cameras, José Gaspar, Claudia Deccó, Jun Okamoto Jr, José Santos-Victor, OMNIVIS'02 - Workshop on Omnidirectional Vision, held with ECCV, Copenhagen, Denmark, June 2002.

Ramos (por ordem de preferencia):
N.de elementos do grupo: 1 ou 2
Local : O trabalho decorrerá nos laboratórios da Área Científica de Sistemas, Decisão e Controlo ou no VisLab - Laboratório de Visão por Computador do ISR.

Dirigível Autónomo controlado por Visão

(VideoBlimp)

Objectivos: Com este trabalho pretende-se desenvolver e implementar (i) rotinas de visão de computador e processamento de imagem e vídeo (tracking) e (ii) utilizar esta informação visual para o controlo do dirigíveil equipado com uma câmara a bordo.

Este trabalho parte da existência de um dirigível autónomo de cerca de dois metros de comprimento, equipado com uma micro câmara, transmissor de video e três motores comandados via rádio. Um estação fixa, composta por um PC com receptor de video e controlo remoto dos motores permite a operação do veículo de um mode remoto e completamente autónomo.

Pretende-se desenvolver, implementar e caracterizar um sistema de controlo de um dirigível do tipo descrito anteriormente, utilizando a informação vídeo obtida da micro câmara a bordo. Nomeadamente pretende-se desenvolver sistemas de controlo que permitam implementar alguns comportamentos de navegação do tipo: estabilização, seguimento de objectos, atracagem a superficies, entre outras.

O trabalho a desenvolver será baseado em trabalho realizado anteriormente num TFC e numa tese de Mestrado. Esse trabalho incluía já um simulador MatLab/Simulink do sistema dirigível + câmara de vídeo e de algoritmos de controlo em malha fechada usando a visão.

No final do TFC os alunos intervenientes terão enriquecido a sua experiência nos seguintes campos:

[1] - Vision Based control of an Autonomous Blimp (VIDEOBLIMP),, Filipe Manuel da Silva Metelo, Luís Ricardo Garcia Campos, Final Year Project, IST, September 2003.
[2] - Vision Based Station Keeping and Docking for Floating Robots, Sjoerd van der Zwaan, MSc. Thesis, IST, May 2001.
[3] - Visual station keeping for floating robots in unstructured environments, Sjoerd van der Zwaan, Alexandre Bernardino, José Santos-Victor, Robotics and Autonomous Systems (Elsevier), 39(3-4), June 2002.
[4] - Real-time Vision-based Station Keeping for Underwater Robots, Sjoerd van der Zwaan, José Santos-Victor, - IEEE OCEANS 2001, Honolulu, November 2001.
[5] - Vision based station keeping and docking for an Aerial blimp, Sjoerd van der Zwaan, Alexandre Bernardino, José Santos-Victor, Intl Conference on Intelligent Robots and Systems IROS'2000, Kagawa University, Takamatsu, Japan, Oct 30 - November 5, 2000
[6] - Control of an Aerial blimp based on visual input, Sjoerd van der Zwaan, Matteo Perrone, Alexandre Bernardino, José Santos-Victor, 8th International Symposium on Intelligent Robotic Systems - SIRS200 - Reading, UK, July 2000

Para mais informações
José Santos-Victor,         Email: jasv@isr.ist.utl.pt,           Ext. 2294
Alexandre Bernardino,     Email: alex@isr.ist.utl.pt,           Ext. 2293
José António Gaspar ,     Email: jag@isr.ist.utl.pt,             Ext. 2293