English
Bem-vindos ao

Laboratório de Sistemas Inerciais e Fusão Sensorial

[Escopo e objetivos][Cabeça de visão ativa] [História] [Disciplinas] [Equipamentos] [Publicações] [Integrantes] [Fotos/Vídeos]


Escopo e objetivos:


Cabeça estereoscópica com vergência assimétrica para experimentos com visão ativa (1995-1999)

Cabeça de visão TRC-Helpmate

A cabeça de visão empregada no passado constituía-se de motores DC atuando sobre os eixos de pan, tilt e vergência assimétrica. Duas unidades controladoras, englobando circuitos lógicos e de potência para acionamento PWM e controle PID, serviam de interface para envio de comandos para a cabeça. O imageamento era feito através de câmeras CCD e lentes servocontroladas, sendo a abertura do diafragma das lentes, foco e distância focal (zoom) ajustados segundo as necessidades da tarefa visual a ser realizada. (TRAEDV-N.MPG - 2.6MB).

O laboratório, na época, contou com os seguintes equipamentos:


História: Laboratório de Visão Computacional Ativa e Percepção (1995-1999):

"...soluções robustas para o problema de visão não se materializaram, principalmente porque Marr deixou de fora de sua teoria um fato muito importante: o de que todos os sistemas visuais existentes na natureza, dos insetos aos peixes, cobras, pássaros e humanos, são ativos. Sendo ativos, eles controlam o processo de aquisição de imagens no espaço e no tempo, introduzindo desta forma restrições que facilitam muito a recuperação de informação sobre o mundo tridimensional (reconstrução). "Eu movo, portanto eu vejo" é uma afirmação fundamentalmente verdadeira. Tornando-se estacionário o olho humano, começa-se a perder a percepção." Y. Aloimonos (1993)


Visão computacional é uma ciência baseada em fundamentos teóricos, a qual requer experimentos para que seja validada uma teoria e/ou algoritmo. Assim, aliados à intenção de se estudar percepção visual orientada por tarefa (visão com propósito) e realimentação visual,  algoritmos de visão foram testados em um sistema de visão binocular capaz de, em tempo real, alterar seus parâmetros de aquisição de imagens. O imageamento tornava-se um processo dinâmico a ser controlado de acordo com as informações visuais já obtidas e ainda por extrair. As informações visuais provenientes dos algoritmos de visão computacional eram empregadas no controle da pose da cabeça, a vergência entre as câmeras, a distância focal das lentes (zoom), o foco e a abertura do diafragma das lentes através de sinais de ativação enviados por uma rede de computadores que  conseguiam executar em tempo hábil os algoritmos de visão e controle. Cabe notar que a capacidade computacional dos computadores pessoais de mesa então usados, Pentium 166 MMX, era bastante limitada.

O laboratório, na época, investigou técnicas de identificação, controle e estimação, calibração de sistemas de visão e algoritmos de visão computacional para a implementação de comportamentos visuais para:

-Automação de processos envolvendo visão como sensor;

-Navegação inercial auxiliada por visão;

-Rastreamento de objetos;

-Reconstrução 3-D a partir de estereoscopia, movimento e textura.

início


Disciplinas relacionadas:

inicio



Equipamentos:

inicio


Publicações

Viegas, W. da V.C. ; Waldmann, J.; Santos, D.A.; Waschburger, R. Controle em três eixos para aquisição de atitude por satélite universitário partindo de condições iniciais desfavoráveis. Controle & Automação (Impresso), v. 23, p. 231-246, 2012.

Ferreira, J.C.B.C.; Waldmann, J. Covariance Intersection-Based Sensor Fusion for Sounding Rocket Tracking and Impact Area Prediction. Control Engineering Practice, v.15, p. 389-409, 2007.

Waldmann, J. Feedforward INS aiding: an investigation of maneuvers for in-flight alignment. Controle & Automação (Impresso), v. 18, p. 459-470, 2007.

Waldmann, J. Line-of-Sight Rate Estimation and Linearizing Control of an Imaging Seeker in a Tactical Missile Guided by Proportional Navigation. IEEE Transactions on Control Systems Technology, v.10, n.4, p. 556-567, 2002.

Caetano, F. F.; Waldmann, J. Attentional Management for Multiple Target Tracking by a Binocular Vision Head. SBA. Sociedade Brasileira de Automática, Campinas, v.11, n.3, p. 187-204, 2000.

Viana, S. A. A.; Waldmann, J.; Caetano, F.F. Non-Linear Optimization-Based Batch Calibration with Accuracy Evaluation. SBA. Sociedade Brasileira de Automática, Campinas, v. 10, n.2, p. 88-99, 1999.

Waldmann, J.; Bispo, E. M. . Saccadic Motion Control for Monocular Fixation in a Robotic vision Head: A Comparative Study. Journal of the Brazilian Computer Society, Campinas, v. 4, n.3, p. 61-69, 1998.

Chagas, R.A.J.; Waldmann, J. A Novel Linear, Unbiased Estimator to Fuse Delayed Measurements in Distributed Sensor Networks with Application to UAV Fleet. Springer, 2013 (Edited Volume -Bar-Itzhack Memorial Symposium on Estimation, Navigation, and Spacecraft Control - Daniel Choukroun (Ed.)).

Chagas, R.A.J.; Waldmann, J. A Novel Linear, Unbiased Estimator to Fuse Delayed Measurements in Distributed Sensor Networks with Application to UAV Fleet. Itzhack Y. Bar-Itzhack Memorial Symposium on Estimation, Navigation, and Spacecraft Control, 2012, Haifa, Israel. 

Chagas, R.A.J.; Waldmann, J. Observability Analysis for the INS Error Model with GPS/Uncalibrated Magnetometer Aiding. Itzhack Y. Bar-Itzhack Memorial Symposium on Estimation, Navigation, and Spacecraft Control, 2012, Haifa, Israel.

Chagas, R.A.J.; Waldmann, J. Geometric Inference-Based Observability Analysis Digest of INS Error Model with GPS/Magnetometer/Camera Aiding. 19th Saint Petersburg International Conference on Integrated Navigation Systems, 2012, São Petersburgo, Rússia.

Lustosa, L.R.; Waldmann, J. A novel imaging measurement model for vision and inertial navigation fusion with extended Kalman filtering. Itzhack Y. Bar-Itzhack Memorial Symposium on Estimation, Navigation, and Spacecraft Control, 2012, Haifa, Israel.

Cordeiro, T.F.K.; Waldmann, J.. Covariance analysis of accelerometer-aided attitude estimation for maneuvering rigid bodies. VII Congresso Nacional de Engenharia Mecânica CONEM 2012, Sao Luis - MA.

Godoi,R.G.; Waldmann, J. Sistema de Controle de Atitude Para Satélite Estabilizado em 3 Eixos com Rodas de Reação. VII Simpósio Brasileiro de Engenharia Inercial, 2012, São José dos Campos, SP.

dos Santos, S. R. G. ; Waldmann, J. Desenvolvimento de um Ambiente de Teste para Implementação em Tempo Real de Sistema de Controle de Atitude. VII Simpósio Brasileiro de Engenharia Inercial, 2012. 

início



Integrantes e colaboradores (setembro 2014): 

início


Fotos/Vídeos:




Plataformas para testes: VANTs e bicicleta instrumentados para integração INS/GPS/magnetômetro/câmera
bike2+Hangar9      bike3+motoplanador


Motoplanador     SailplaneAvionics



Resultados de navegação inercial auxiliada por integração INS/GPS/magnetômetro - experimentos contaram com os sensores sendo transportados a pé ou de bicicleta/capacete:

Picture6.png   coletaBikeHelmet.jpg


Vista superior da reconstrução 3D do cenário visualizado pela câmera no capacete durante a navegação inercial auxiliada por integração INS/GPS/magnetômetro. Fluxo óptico assumido como sendo originado somente do egomovimento da câmera (o cenário é fixo).
Imagens com carros ou ciclistas se movendo em relação ao cenário fixo não foram consideradas na fusão sensorial.


3D reconstruction Top view

Vídeo da reconstrução 3D do cenário visualizado pela câmera no capacete durante a navegação inercial auxiliada por integração INS/GPS/magnetômetro em experimento durando 5 minutos. 
Visualização com Octree usando voxels cúbicos de aresta 1m, partindo do ponto marcado na imagem acima com um círculo branco.
Diferenças de altitude marcadas com colorações distintas.
Ciclista segue inicialmente em direção ao refeitório, completa a volta em torno da região entre o ITA e o refeitório, gira à direita para passar pela Reitoria, desce a inclinação e vira à direita, segue até a rotatória, gira 180 graus, segue em frente, vira à esquerda e sobe a rampa para passar pelo estacionamento entre os prédios da ELE/COMP e biblioteca e retorna ao ponto inicial.
As  cores diferentes na região do ponto inicial, entre o início e o fim do experimento, se deve à mudança na geometria dos satélites GPS durante seu voo orbital ao longo do experimento, que causou uma diferença de altitude estimada do receptor GPS de quase 10m e se refletiu na reconstrução 3D.
                                                               ExperimentoINS-GPS-FluxoOptico_reconstr3DAbril2015.mp4


Vídeo do casulo imageador com três gimbals Mk03 projetado, impresso em 3D, integrado ao motoplanador e testado no laboratório - equipado com câmera analógica Sony Block IXA operando em modo giroestabilizado: 
                                                                                        imageador 02.wmv

                                                                                                                         

ImagingPodMk3      Picture1.jpg 

                                                                                                                                Projeto 3D do motoplanador com casulo imageador

Rastreio de alvo com método MITSA por casulo imageador
servoatuado em pan/tilt por motores de passo:
 Rastreio20150602.avi

Outro exemplo de rastreio com mesmo casulo imageador - vista externa:
fc2_save_2015-06-16-170727-0000.mp4



Estabilização de imagens com base no fluxo óptico. Vídeo coletado no campus do ITA com câmera digital PointGrey Firefly monocromática instalada no capacete. Bicicleta instrumentada para captura do vídeo e transmissão para estação remota.
VídeoBruto        VideoEstabilizado  
VideoEstabilizadoAlternativo - compatível com movimentos sacádicos intencionais para alterar foco de atenção      

Motivação biológica




Vídeo de um protótipo de imageador giroestabilizado em três eixos - outubro de 2010

PICT1577.jpg    PICT1601.jpg  



Primeiros protótipos de casulo imageador projetados - fabricados em poliacetal usinado com máquina CNC:

imageador01.jpg     imageador02.jpg





Protótipo mais antigo, com amortecedor mecânico para mitigar vibrações:

PICT1590.jpg      PICT1586.jpg

PICT1585.jpg      PICT1587.JPG



                                             Ensaios no túnel de vento do Instituto de Aeronáutica e Espaço (IAE)

Picture2.jpg   Picture3.jpg

Picture4.jpg       Picture5.jpg


Página em construção - por vir: vídeos e imagens de ensaios em voo

início


[Escopo e objetivos] [Cabeça de visão ativa] [História] [Disciplinas] [Equipamentos] [Publicações] [Integrantes][Fotos/Vídeos]