Near real-time IoT data pipeline architectures

Abstract

This study introduces a scalable data pipeline architecture for IoT data analytics, specifically applied to the estimation of lead-acid battery conditions in vehicles. Lead-acid batteries in vehicles with additional heaters are prone to errors, especially in winter when resting voltages are already lower. Timely detection of battery problems can extend battery life and prevent operational errors.

The developed system uses data gathered from an IoT product designed for the remote control of vehicle heaters. Most existing lead-acid battery condition analysis systems are data-intensive in terms of frequency or diversity and often require physical interaction with the battery. This study proposes a new method that utilizes cloud computing to process data remotely, using information about the battery's history and usage to assess its condition. The efficient pipeline architecture enables the constant analysis of tens of thousands of lead-acid batteries.

The development process consisted of two phases: first, exploring scalable pipeline architectures and cloud services suitable for real-time IoT data; and second, developing algorithms and methods for analyzing the condition of lead-acid batteries. At the end of the study, the results were combined into a demo application. The pipeline architecture and application were validated by reviewing recent literature and running tests simulating real usage.

The implemented pipeline successfully handled the transport and storage of 60 million device log entries per day. The battery condition estimation system produced promising results and demonstrated its potential to support sustainable battery usage in vehicles.

Tämä työ esittelee skaalautuvan, IoT-datan analytiikkaa tukevan dataputkiarkkitehtuurin. Tutkimuksessa arkkitehtuuria hyödynnetään erityisesti ajoneuvojen lyijyakkujen kunnon arvioimiseen. Lisälämmittimillä varustettujen ajoneuvojen lyijyakut ovat alttiita ongelmille etenkin talvella, jolloin akkujen lepojännitteet ovat yleisesti alhaisemmat. Akun ongelmien oikea-aikainen havaitseminen voi pidentää akun käyttöikää ja estää toimintavirheet.

Kehitetyssä järjestelmässä käytetään ajoneuvojen lämmittimien kauko-ohjaukseen suunnitellusta IoT-tuotteesta kerättyä dataa. Useimmat olemassa olevat lyijyakkujen kunnon analysointijärjestelmät ovat dataintensiivisiä joko mittaustiheyden tai datan monipuolisuuden suhteen, minkä lisäksi useat menetelmät vaativat fyysistä kontaktia akun kanssa. Tässä työssä ehdotetaan uutta menetelmää, joka hyödyntää pilvilaskentaa datan analysointiin. Menetelmä käyttää akun jännitehistoriaa ja käyttöä koskevia tietoja sen kunnon arvioimiseen. Tehokas dataputkiarkkitehtuuri mahdollistaa kymmenien tuhansien lyijyakkujen jatkuvan analysoinnin.

Sovelluksen kehitysprosessi koostui kahdesta vaiheesta: ensin tutkittiin skaalautuvia dataputkiarkkitehtuureja ja reaaliaikaiseen IoT-dataan soveltuvia pilvipalveluita; ja toiseksi tutkittiin ja kehitettiin algoritmejä sekä menetelmiä lyijyakkujen kunnon analysoimiseksi. Lopussa tulokset yhdistettiin toimivaksi mallisovellukseksi. Arkkitehtuuri ja sovellus validoitiin tarkastelemalla tuoreinta kirjallisuutta ja suorittamalla testejä, jotka simuloivat oikeaa käyttöympäristöä.

Toteutettu sovellus kuljetti sekä varastoi 60 miljoonaa laitelokimerkintää päivittäin. Akun kunnon arviointijärjestelmä tuotti lupaavia tuloksia ja osoitti potentiaalinsa tukea kestävää akun käyttöä ajoneuvoissa.