Bem-vindos ao

Laboratório de Sistemas Inerciais e Fusão Sensorial

O Laboratório de Sistemas Inerciais e Fusão Sensorial resulta de parceria entre as Divisões de Engenharia Eletrônica e Engenharia Aeronáutica do ITA, pesquisando e desenvolvendo algoritmos e subsistemas voltados à navegação inercial auxiliada por fusão sensorial, guiamento, controle e estimação de sistemas dinâmicos. Historicamente, é uma continuação e aprofundamento do escopo e objetivos do Laboratório de Visão Computacional Ativa e Percepção, que, na década de 90, desenvolveu no ITA projeto com recursos da FAPESP e CAPES na área de Visão Computacional Ativa utilizando uma cabeça de visão estereoscópica. Atualmente, o laboratório tem empregado recursos do Projeto FINEP-DCTA-INPE/Sistemas Inerciais para Aplicação Aeroespacial (Projeto SIA), Projeto CNPq-FAPESP/INCT Ciências do Espaço, e Projeto FINEP-UnB-ITA-XMobots/Desenvolvimento de Mini-VANT com Imageador Giroestabilizado. Os resultados do laboratório nas áreas de estimação e controle de sistemas dinâmicos, navegação, guiamento e visão computacional têm aplicações em satélites universitários e veículos aéreos não tripulados (VANT).

O laboratório tem integrado e ensaiado no solo e em voo imageadores giroestabilizados capazes de navegação inercial auxiliada por fusão com GPS, altímetro e magnetômetro, também apresentando a capacidade de apontamento com georeferenciamento. O laboratório tem desenvolvido software embarcado para controle desses imageadores em tempo real. Também vem sendo desenvolvido e ensaiado auxílio à navegação inercial baseado em visão computacional rodando em tempo real prevendo situações em que os sinais de GPS não estão disponíveis ou não são confiáveis.

[Escopo e objetivos][Cabeça de visão ativa] [História] [Disciplinas] [Equipamentos] [Publicações] [Integrantes] [Fotos/Vídeos]

Escopo e objetivos:

Navegação inercial busca estimar a posição, velocidade e, também, a atitude de um veículo a partir de medidas de força específica e velocidade angular em relação ao referencial inercial provenientes, respectivamente, de acelerômetros e girômetros de uma unidade inercial embarcada. Oferece a vantagem de autonomia em relação a auxílios externos. Entretanto, requer sensores caros e sofisticados para manter os erros limitados à classe inercial, a saber, uma milha náutica por hora de operação. O emprego de sensores inerciais de baixo custo degrada significativamente esse nível de acurácia e requer, portanto, o auxílio de sensores adicionais. Como consequência, o sistema de navegação auxiliado por fusão sensorial deixa de ser autônomo e pode sofrer influência de perturbações externas, sejam elas intencionais ou não. O auxílio à navegação advém de processamento estatístico dos sinais de receptores de GPS, magnetômetros, baro-altímetros e câmeras de vídeo analógico e digital.

Mais recentemente, o Laboratório de Sistemas Inerciais e Fusão Sensorial tem projetado, desenvolvido, integrado e testado diversos imageadores e o software embarcado de tempo real que os controla e provê as funcionalidades de fusão sensorial para navegação inercial auxiliada, de giroestabilização e de apontamento georeferenciado. Muitas partes mecânicas são fabricadas com impressão 3D no laboratório.

Em especial, o auxílio à navegação inercial empregando visão computacional objetiva prover robustez à ausência de sinais GPS. Visão é um dos mais poderosos sentidos que possuímos. A modelagem e as teorias computacionais para descrever o processo visual, a concepção e a implementação de sistemas que buscam emular o aparato visual humano derivam de pesquisas multidisciplinares envolvendo física óptica, estimação e controle de sistemas dinâmicos, assim como neurofisiologia, psicologia, psicofísica e áreas afins. Visão propicia informação sobre as posições e propriedades dos objetos observados, as relações entre si mesmos, o ambiente que os cerca e o movimento do observador.

A informação extraída de imagens, o conceito de observabilidade em sistemas dinâmicos e a implementação em tempo real de algoritmos para a fusão estatística de medidas dos sensores embarcados permitem atacar os problemas de navegação de plataformas de pequeno porte na ausência de sinais de GPS e de estimação da estrutura tridimensional observada. Também importante é superar o desafio de cumprir com os requisitos de acurácia da navegação mediante fusão sensorial em tempo real, conforme acima discutido, com equipamentos, recursos computacionais e sensores comercialmente disponíveis e dentro dos limites de orçamento do laboratório.

O laboratório instrumentou aeromodelos comerciais, motoplanadores projetados e desenvolvidos no próprio laboratório e uma bicicleta para uso como plataformas para prova de conceito dos algoritmos e subsistemas em condições realistas de operação. Os ensaios em voo ocorrem quando há NOTAM (Notice to Airmen) emitido pelo SRPV-SP para tal.

início

Cabeça estereoscópica com vergência assimétrica para experimentos com visão ativa (1995-1999)

A cabeça de visão empregada no passado constituía-se de motores DC atuando sobre os eixos de pan, tilt e vergência assimétrica. Duas unidades controladoras, englobando circuitos lógicos e de potência para acionamento PWM e controle PID, serviam de interface para envio de comandos para a cabeça. O imageamento era feito através de câmeras CCD e lentes servocontroladas, sendo a abertura do diafragma das lentes, foco e distância focal (zoom) ajustados segundo as necessidades da tarefa visual a ser realizada. (TRAEDV-N.MPG - 2.6MB).

O laboratório, na época, contou com os seguintes equipamentos:

2 câmeras monocromáticas Hitachi KP-M1U e 1 câmera colorida Hitachi VK-370;

2 Microcomputadores Pentium 166 MHz, 4 Gb HD SCSI, 32 Mb RAM, CD-ROM 8x, monitores 17';

Cabeça de Visão TRC-Helpmate Bi-Sight;

VCR e TV;

Placa de aquisição de vídeo FAST com chip de descompressão MPEG;

Lentes servocontroláveis Fujinon H10x11E-MPX31e placas de aquisição de imagens DT3552.

História: Laboratório de Visão Computacional Ativa e Percepção (1995-1999):

"...soluções robustas para o problema de visão não se materializaram, principalmente porque Marr deixou de fora de sua teoria um fato muito importante: o de que todos os sistemas visuais existentes na natureza, dos insetos aos peixes, cobras, pássaros e humanos, são ativos. Sendo ativos, eles controlam o processo de aquisição de imagens no espaço e no tempo, introduzindo desta forma restrições que facilitam muito a recuperação de informação sobre o mundo tridimensional (reconstrução). "Eu movo, portanto eu vejo" é uma afirmação fundamentalmente verdadeira. Tornando-se estacionário o olho humano, começa-se a perder a percepção." Y. Aloimonos (1993)

Visão computacional é uma ciência baseada em fundamentos teóricos, a qual requer experimentos para que seja validada uma teoria e/ou algoritmo. Assim, aliados à intenção de se estudar percepção visual orientada por tarefa (visão com propósito) e realimentação visual, algoritmos de visão foram testados em um sistema de visão binocular capaz de, em tempo real, alterar seus parâmetros de aquisição de imagens. O imageamento tornava-se um processo dinâmico a ser controlado de acordo com as informações visuais já obtidas e ainda por extrair. As informações visuais provenientes dos algoritmos de visão computacional eram empregadas no controle da pose da cabeça, a vergência entre as câmeras, a distância focal das lentes (zoom), o foco e a abertura do diafragma das lentes através de sinais de ativação enviados por uma rede de computadores que conseguiam executar em tempo hábil os algoritmos de visão e controle. Cabe notar que a capacidade computacional dos computadores pessoais de mesa então usados, Pentium 166 MMX, era bastante limitada.

O laboratório, na época, investigou técnicas de identificação, controle e estimação, calibração de sistemas de visão e algoritmos de visão computacional para a implementação de comportamentos visuais para:

-Automação de processos envolvendo visão como sensor;

-Navegação inercial auxiliada por visão;

-Rastreamento de objetos;

-Reconstrução 3-D a partir de estereoscopia, movimento e textura.

início

Disciplinas relacionadas:

EE-292 : Visão Computacional para Controle de Sistemas (1995-2000)

ELE-82: Aviônica (2000-2014)

ELE-26: Sistemas Aviônicos

EES-60: Sensores e Sistemas para Navegação e Guiamento

EE-294: Sistemas de Pilotagem e Guiamento

EE-295: Sistemas de Navegação Inercial e Auxiliados por Fusão Sensorial

inicio

Equipamentos:

Aeromodelo Hangar 9 modelo Alpha 60 com diversas motorizações a combustão interna;
Motoplanadores com propulsão elétrica;
Autopilotos comerciais para controle, guiamento e navegação dos VANTs de pequeno porte acima mencionados;
Ferramentas e máquinas para fabricação mecânica e reparos simples;
Impressora 3D;
Versões distintas de imageadores com três gimbals;
Recursos computacionais, também para emprego embarcado, e software para desenvolvimento de sistemas de navegação, visão computacional e fusão sensorial em tempo real;
Câmeras analógicas e digitais e lentes servocontroladas;
Enlaces para telemetria, telecomando e vídeo;
Diversas unidades de medidas inerciais (IMUs) de baixo custo com receptor de GPS, altímetro e magnetômetro integrados;
Receptores GPS;
Magnetômetros.

inicio

Publicações

Viegas, W. da V.C. ; Waldmann, J.; Santos, D.A.; Waschburger, R. Controle em três eixos para aquisição de atitude por satélite universitário partindo de condições iniciais desfavoráveis. Controle & Automação (Impresso), v. 23, p. 231-246, 2012.

Ferreira, J.C.B.C.; Waldmann, J. Covariance Intersection-Based Sensor Fusion for Sounding Rocket Tracking and Impact Area Prediction. Control Engineering Practice, v.15, p. 389-409, 2007.

Waldmann, J. Feedforward INS aiding: an investigation of maneuvers for in-flight alignment. Controle & Automação (Impresso), v. 18, p. 459-470, 2007.

Waldmann, J. Line-of-Sight Rate Estimation and Linearizing Control of an Imaging Seeker in a Tactical Missile Guided by Proportional Navigation. IEEE Transactions on Control Systems Technology, v.10, n.4, p. 556-567, 2002.

Caetano, F. F.; Waldmann, J. Attentional Management for Multiple Target Tracking by a Binocular Vision Head. SBA. Sociedade Brasileira de Automática, Campinas, v.11, n.3, p. 187-204, 2000.

Viana, S. A. A.; Waldmann, J.; Caetano, F.F. Non-Linear Optimization-Based Batch Calibration with Accuracy Evaluation. SBA. Sociedade Brasileira de Automática, Campinas, v. 10, n.2, p. 88-99, 1999.

Waldmann, J.; Bispo, E. M. . Saccadic Motion Control for Monocular Fixation in a Robotic vision Head: A Comparative Study. Journal of the Brazilian Computer Society, Campinas, v. 4, n.3, p. 61-69, 1998.

Chagas, R.A.J.; Waldmann, J. A Novel Linear, Unbiased Estimator to Fuse Delayed Measurements in Distributed Sensor Networks with Application to UAV Fleet. Springer, 2013 (Edited Volume -Bar-Itzhack Memorial Symposium on Estimation, Navigation, and Spacecraft Control - Daniel Choukroun (Ed.)).

Chagas, R.A.J.; Waldmann, J. A Novel Linear, Unbiased Estimator to Fuse Delayed Measurements in Distributed Sensor Networks with Application to UAV Fleet. Itzhack Y. Bar-Itzhack Memorial Symposium on Estimation, Navigation, and Spacecraft Control, 2012, Haifa, Israel.

Chagas, R.A.J.; Waldmann, J. Observability Analysis for the INS Error Model with GPS/Uncalibrated Magnetometer Aiding. Itzhack Y. Bar-Itzhack Memorial Symposium on Estimation, Navigation, and Spacecraft Control, 2012, Haifa, Israel.

Chagas, R.A.J.; Waldmann, J. Geometric Inference-Based Observability Analysis Digest of INS Error Model with GPS/Magnetometer/Camera Aiding. 19th Saint Petersburg International Conference on Integrated Navigation Systems, 2012, São Petersburgo, Rússia.

Lustosa, L.R.; Waldmann, J. A novel imaging measurement model for vision and inertial navigation fusion with extended Kalman filtering. Itzhack Y. Bar-Itzhack Memorial Symposium on Estimation, Navigation, and Spacecraft Control, 2012, Haifa, Israel.

Cordeiro, T.F.K.; Waldmann, J.. Covariance analysis of accelerometer-aided attitude estimation for maneuvering rigid bodies. VII Congresso Nacional de Engenharia Mecânica CONEM 2012, Sao Luis - MA.

Godoi,R.G.; Waldmann, J. Sistema de Controle de Atitude Para Satélite Estabilizado em 3 Eixos com Rodas de Reação. VII Simpósio Brasileiro de Engenharia Inercial, 2012, São José dos Campos, SP.

dos Santos, S. R. G. ; Waldmann, J. Desenvolvimento de um Ambiente de Teste para Implementação em Tempo Real de Sistema de Controle de Atitude. VII Simpósio Brasileiro de Engenharia Inercial, 2012.

início

Integrantes e colaboradores (setembro 2014):

Jacques Waldmann:
Professor - Coordenador - ITA
Raul Ikeda Gomes da Silva:
Professor - INSPER
Rafael Marcus Contel Coutinho
Técnico
Leonardo Teles da Silva
Técnico
Marcus Vinicius da Costa Ramalho
Engenheiro Aeronáutico - Colaborador - Itamaraty
Maurício Andrés Varelas Morales
Professor - Colaborador - ITA
Sérgio Frascino Müller de Almeida
Professor - Colaborador - ITA
Thiago Felippe Kurudez Cordeiro
Professor - Colaborador - UnB
Ronan Arraes Jardim Chagas
D.C. Engenharia Eletrônica - Pesq. - Colaborador - INPE
Tiago Bücker
M.C. Engenharia Eletrônica - Colaborador

início

Fotos/Vídeos:

Primeira configuração utilizada para pesquisa em rastreamento mediante visão monocular, empregando microcâmera pinhole Pacific VP-500 dotada de lente com distância focal 3.7mm. (Dez/96).

Algoritmo 1: Deteção de movimento, segmentação por nível de cinza e estimação do centróide de movimento. Requer fundo com textura quase homogênea. (AUTOTR-N.MPG - 525 KB)

Algoritmo 2: Compensação do movimento do fundo induzido pela movimentação da câmera mediante utilização de informação dos encoders acoplados à cabeça de visão, filtragem via operadores morfológicos, segmentação por movimento e estimação do centróide de movimento. Requer conhecimento da distância focal da lente. (EDVATR-N.MPG - 1.7MB)

Configuração empregada para avaliação do controle de vergência e movimentos de pan e tilt do sistema esteroscópico, chaveamento entre fontes de sinal de vídeo e desenvolvimento da interface gráfica. ( Jul/96 - Mar/97)

Vídeo de apresentação do LVCAP-ITA/INPE enviado ao CNPq, apresentando a interface gráfica e os modos de controle de posição e velocidade angular. (CNPQ-S.MPG - 39.7MB)

Plataformas para testes: VANTs e bicicleta instrumentados para integração INS/GPS/magnetômetro/câmera

Resultados de navegação inercial auxiliada por integração INS/GPS/magnetômetro - experimentos contaram com os sensores sendo transportados a pé ou de bicicleta/capacete:

Vista superior da reconstrução 3D do cenário visualizado pela câmera no capacete durante a navegação inercial auxiliada por integração INS/GPS/magnetômetro. Fluxo óptico assumido como sendo originado somente do egomovimento da câmera (o cenário é fixo).
Imagens com carros ou ciclistas se movendo em relação ao cenário fixo não foram consideradas na fusão sensorial.

Vídeo da reconstrução 3D do cenário visualizado pela câmera no capacete durante a navegação inercial auxiliada por integração INS/GPS/magnetômetro em experimento durando 5 minutos.
Visualização com Octree usando voxels cúbicos de aresta 1m, partindo do ponto marcado na imagem acima com um círculo branco.
Diferenças de altitude marcadas com colorações distintas.
Ciclista segue inicialmente em direção ao refeitório, completa a volta em torno da região entre o ITA e o refeitório, gira à direita para passar pela Reitoria, desce a inclinação e vira à direita, segue até a rotatória, gira 180 graus, segue em frente, vira à esquerda e sobe a rampa para passar pelo estacionamento entre os prédios da ELE/COMP e biblioteca e retorna ao ponto inicial.
As cores diferentes na região do ponto inicial, entre o início e o fim do experimento, se deve à mudança na geometria dos satélites GPS durante seu voo orbital ao longo do experimento, que causou uma diferença de altitude estimada do receptor GPS de quase 10m e se refletiu na reconstrução 3D.
ExperimentoINS-GPS-FluxoOptico_reconstr3DAbril2015.mp4

Vídeo do casulo imageador com três gimbals Mk03 projetado, impresso em 3D, integrado ao motoplanador e testado no laboratório - equipado com câmera analógica Sony Block IXA operando em modo giroestabilizado:

imageador 02.wmv

ImagingPodMk3

Projeto 3D do motoplanador com casulo imageador

Rastreio de alvo com método MITSA por casulo imageador servoatuado em pan/tilt por motores de passo:
Rastreio20150602.avi

Outro exemplo de rastreio com mesmo casulo imageador - vista externa:
fc2_save_2015-06-16-170727-0000.mp4

Estabilização de imagens com base no fluxo óptico. Vídeo coletado no campus do ITA com câmera digital PointGrey Firefly monocromática instalada no capacete. Bicicleta instrumentada para captura do vídeo e transmissão para estação remota.

VídeoBruto VideoEstabilizado
VideoEstabilizadoAlternativo - compatível com movimentos sacádicos intencionais para alterar foco de atenção