Embedded device farm proof-of-concept : enabler for test execution on target hardware as a part of continuous delivery pipeline

Abstract

Agile software development has produced a completely new way of working into the field of software development. The new focus is to continuously integrate, deliver, and deploy each software change. The term continuous practices is used to refer to these practices. Comprehensive testing plays a major role in so called continuous delivery pipeline.

The goal of this thesis is to implement an embedded device farm, a system which is used to effortlessly connect embedded hardware targets as part of continuous delivery pipeline. Hardware is playing a big role in embedded software development and testing. On the other hand, it is seen as a major challenge in implementing continuous practices for embedded software project. Embedded device farm is used to interact with target hardware targets by both automation systems and individual developers in unified manner. Six platforms are evaluated for the purpose and a system called Linaro Automation and Validation Architecture (LAVA) is integrated as part of existing CI/CD service.

In addition, this thesis describes the continuous practices in general introducing the benefits as well as the challenges related to implementing them. A closer look is taken into adopting the practices into embedded systems domain. Embedded systems software development differs from traditional or web software development. Embedded systems’ domain specific characteristics and challenges related to continuous practices are presented.

Ketterä kehitys on tuonut ohjelmistokehityksen alalle täysin uudet toimintatavat, joiden keskipisteessä on ohjelmiston muutosten jatkuva integrointi, jatkuva toimitus ja jatkuva muutosten käyttöönotto. Näistä uusista menetelmistä käytetään kollektiivisesti nimitystä jatkuvat menetelmät. Kattavalla testaamisella on tärkeä rooli niin sanotussa jatkuvan toimituksen ketjussa.

Tämän työn tavoitteena on toteuttaa sulautettu laitefarmi, jolla sulautettua tietokonelaitteistoa voidaan vaivattomasti yhdistää osaksi jatkuvan toimituksen ketjua. Tietokonelaitteistolla on tärkeä rooli sulautettujen järjestelmien ohjelmistokehityksessä ja -testauksessa, mutta toisaalta laitteisto nähdään suurena haasteena toteutettaessa jatkuvia menetelmiä sulautetussa ohjelmistoprojektissa. Sulautetun laitefarmin kautta sekä automaatiojärjestelmät että yksittäiset ohjelmistokehittäjät voivat käyttää sulautettuja laitteistoja yhtenäistetyllä tavalla. Työssä arvioidaan kuuden eri järjestelmän soveltuvuutta käyttötarkoitukseen, ja järjestelmä nimeltään Linaro Automation and Validation Architecture (LAVA) integroidaan osaksi olemassa olevaa CI/CD palvelua.

Lisäksi tässä työssä esitellään jatkuvat menetelmät yleisesti, niiden toteuttamiseen liittyvät haasteet ja niillä saavutettavat hyödyt. Työssä paneudutaan tarkemmin menetelmien toteuttamiseen sulautettujen järjestelmien alalla. Sulautettujen järjestelmien ohjelmistot eroavat perinteisistä ja web-ohjelmistoista, joten jatkuvia menetelmiä ja niihin liittyviä haasteita tarkastellaan myös sulautettujen järjestelmien näkökulmasta.