Konenäön käyttö graafisen käyttöliittymän testiautomaatiossa

Abstract

Työssä sovelletaan konenäön menetelmiä sulautetun järjestelmän graafisen käyttöliittymän testiautomaatiossa. Rakennetaan siis järjestelmä, joka tunnistaa laitteen tilan ja osaa liikkua tilojen välillä näppäinpainallusten avulla. Järjestelmässä on kolme tärkeää osa-aluetta: tilojen välillä liikkumisen mahdollistava virtuaalinen näppäimistö, tilakartta ja konenäköä soveltava testiautomaatiokehikko. Työn teoriaosuudessa käsitellään ja vertaillaan eri menetelmiä osakuvien etsintään kokonaiskuvasta. Vertailtavat menetelmät löytyvät OpenCV kirjastosta. Työ tehtiin Bittium Oyj:n projektin tarpeeseen. Työssä tuotettiin konenäköä käyttävä graafisen käyttöliittymän testikirjasto, jonka pohjalta luotiin testisekvenssejä. Kirjasto sisältää virtuaalisen näppäimistön käytön, kuvien kaappauksen, tilan seurannan ja kuvien tarkasteluun käytetyt metodit. Työ testattiin toimivaksi ja otettiin käyttöön projektin testiautomaatioon.