Towards virtual LiDAR : depth estimation in autonomous driving using aerial laser scans

Abstract

Accurate depth estimation is essential for autonomous driving, but traditional LiDAR sensors are costly and resource-intensive. This thesis explores an alternative approach by developing a “virtual LiDAR” system that combines publicly available aerial laser scanning (ALS) data with low-cost onboard camera imagery to generate depth maps from a ground vehicle’s perspective. The proposed method integrates Simultaneous localization and mapping (SLAM) based localization, point cloud alignment, orthographic projection, Delaunay triangulation for surface reconstruction, and raycasting to produce depth maps aligned with the vehicle’s viewpoint. The system was evaluated using real-world data collected by a ground robot and compared against ground- truth measurements from a LiDAR sensor. Results showed high completeness (79.16–91.56%) and moderate accuracy (Mean Absolute Error of 5.48–6.19 meters), with alternative reconstruction methods yielding lower errors but very limited coverage. The proposed method excels in static environments, capturing roads and buildings effectively, but struggles with complex or fine-scale structures. Key challenges included data alignment and the handling of dynamic objects. While the system cannot fully replace onboard LiDAR, it shows strong potential in static environments like buildings and roads. The findings support the feasibility of using aerial laser scanning and camera fusion for cost-effective depth perception, offering valuable insights for future sensor fusion strategies in autonomous vehicles.

Syvyyden tarkka arviointi on keskeistä autonomisessa ajamisessa, mutta perinteiset LiDAR-anturit ovat kalliita ja vaativat paljon resursseja. Tämä diplomityö esittelee vaihtoehtoisen lähestymistavan kehittämällä "virtuaali-LiDAR-järjestelmän", joka yhdistää julkisesti saatavilla olevan ilmasta suoritetun laserkeilauksen (ALS) ja edulliset ajoneuvon kamerakuvat syvyyskarttojen tuottamiseksi maanpinnan näkökulmasta. Ehdotettu menetelmä yhdistää Samanaikainen paikannus ja kartoitus (SLAM) pohjaisen paikannuksen, pistepilvien sovituksen, ortografisen projektion, Delaunay-triangulaation pinnan rekonstruointiin ja säteenseurannan syvyyskarttojen muodostamiseksi ajoneuvon näkökulmasta. Järjestelmää arvioitiin todellisella aineistolla, joka kerättiin maa-ajoneuvolla, ja tuloksia verrattiin LiDAR-anturilla mitattuun referenssidataan. Tulokset osoittivat syvyyskarttojen korkean kattavuuden (79,16–91,56 %) ja kohtuullisen tarkkuuden (keskimääräinen absoluuttinen virhe 5,48–6,19 metriä). Vaihtoehtoiset rekonstruointimenetelmät tuottivat pienempiä virheitä, mutta niillä oli hyvin rajallinen kattavuus. Ehdotettu menetelmä toimii erityisen hyvin staattisissa ympäristöissä, joissa se kykenee havaitsemaan esimerkiksi tiepintoja ja rakennuksia, mutta se kohtaa haasteita yksityiskohtia sisältävissä ympäristöissä. Keskeisiä haasteita olivat datan sovitus ja dynaamisten kohteiden käsittely. Vaikka järjestelmä ei täysin korvaa ajoneuvon omaa LiDAR-anturia, se osoittaa vahvaa potentiaalia staattisissa ympäristöissä, kuten rakennuksissa ja tieympäristöissä. Tulokset tukevat ilmasta tehdyn laserkeilauksen ja kameradatan yhdistämisen käyttökelpoisuutta kustannustehokkaassa syvyyden arvioinnissa ja tarjoavat arvokkaita näkökulmia tulevaisuuden sensorifuusion ratkaisuihin autonomisessa ajamisessa.