Robust loop closures in 3D mapping systems

Abstract

Given an image sequence and odometry information from a moving camera, we propose a batch-based approach for robust reconstruction of scene structure and camera motion. A key part of our approach is robust loop closure detection, which is achieved by combining odometry and visual correspondences in a novel manner via bundle-adjustment. First, a large-scale structure-from motion pipeline is utilized to get a set of candidate feature correspondences and the respective triangulated 3D landmarks, which pass primitive geometric consistency checks. Thereafter, the 3D landmarks with similar visual description are arranged in a pairwise manner, where each pair is a loop closure constraint and is subjected to a 3D alignment term which tries to merge the 3D point pairs. The correctness of loop closure constraints are evaluated by including them in a bundle-adjustment optimization which checks their compatibility with the odometry information and point projections of the 3D point pairs on the cameras viewing them. The candidate loop closure constraints are iteratively reweighted such that only compatible constraints retain higher weights in the next iteration of the optimization of structure and motion.

The proposed approach is evaluated using real data from a Google Tango device. The results show that we are able to produce high quality reconstructions from challenging data which includes many false loop closure candidates due to repeating scene structures and texture patterns. The results also show that it produces better reconstructions than the device’s built-in software or a state-of-the-art pose-graph formulation. Therefore, we believe that our approach could be widely useful as a backend loop closure engine in robust reconstruction of indoor scenes.

Työssä esitellään eräajoon perustuva menetelmä ympäristön ja kameran liikkeen luotettavaan mallintamiseen, joka suoritetaan kuvasekvenssin ja odometriatiedon perusteella. Olennainen osa menetelmää on luotettava silmukoiden havaitseminen, mikä on toteutettu yhdistämällä odometriatieto ja kuvista lasketut vastinpisteet 3D-pisteiden joukkosovituksen (engl. bundle adjustment) avulla. Kehitetyn ratkaisun alussa hyödynnetään suuren mittakaavan structure-from-motion -toteutusta. Alkuvaihe tuottaa joukon mahdollisia piirrevastinpisteitä ja niistä kolmioimalla saatavat 3D-merkkipisteet, jotka noudattavat yksinkertaisia geometrisia rajoitteita. Jälkimmäisessä vaiheessa visuaalisesti yhtenevät 3D-merkkipisteet järjestetään pareittain siten, että kukin pari toimii rajoitteena silmukan sulkemiselle. Jokaiseen vastinpariin liittyy myös 3D-sovitustermi, joka pyrkii yhdistämään 3D-pisteparit. Silmukan sulkemiseen saadut rajoitteet arvioidaan käyttämällä joukkosovitukseen perustuvaa optimointia, joka varmistaa niiden yhdenmukaisuuden odometriatiedon ja 3D-pisteiden kameraprojektioiden kanssa. Potentiaalisten rajoitteiden iteratiivisessa uudelleen painotuksessa ainoastaan yhdenmukaiset rajoitteet saavat korkeammat painoarvot rakenteen ja liikkeen uudessa iteraatiossa.

Ehdotetun menetelmän arvioinnissa on käytetty Google Tango -laitteella kerättyä reaalidataa. Tulokset osoittavat, että menetelmä tuottaa korkealaatuisia mallinnuksia haastavasta datasta, joka sisältää samankaltaisia näkymiä ja tekstuurirakenteita, mikä tuottaa lukuisia vääriä rajoitteita silmukan sulkemiseksi. Tulokset osoittavat, että ratkaisu luo parempia mallinnuksia kuin käytetyn laitteen sisäänrakennettu ohjelmisto tai tämänhetkistä huipputasoa edustava pose-graph -formulointi. Tästä syystä työssä kehitetty toteutustapa olisi erittäin käyttökelpoinen sisätilojen luotettavassa ja tarkassa mallintamisessa.