Myötäsyötteiset neuroverkot

Abstract

Tämän kandidaatintutkielman tavoitteena on perehtyä neuraalilaskentaan, joka on koneoppimisen alalla laajasti käytetty ja erityisesti viime aikoina suosiotaan kasvattanut koneoppimisen menetelmä. Tutkielman alussa esitetään lyhyt johdatus koneoppimiseen aiheen taustan hahmottamiseksi. Neuraalilaskentaa toteutetaan keinotekoisilla neuroverkoilla, joista tässä työssä rajoitutaan tarkastelemaan myötäsyötteisiä neuroverkkoja. Myötäsyötteiset neuroverkot eivät sisällä syklejä, minkä ansiosta niillä on erityinen kerrosmainen rakenne. Keinotekoinen neuroverkko koostuu useista toisiinsa kytketyistä keinotekoisista neuroneista, jotka pohjautuvat karkeasti biologisen neuronin ja hermoston rakenteeseen sekä toimintaan.

Neuroverkon rakenteen tarkastelun lisäksi tutkielmassa perehdytään siihen, miten myötäsyötteisen neuroverkon lähtö määrätään syötteestä myötäsyöttöprosessin avulla. Myötäsyöttöprosessi etenee vaiheittain siten, että edeltävän kerroksen neuronien lähtöjä käytetään seuraavan kerroksen neuronien syötteinä. Näin jatkaen edetään verkon lähtökerrokseen, josta voidaan lukea koko verkon lähtö. Prosessi muotoillaan matriisiesitykseksi selkeyden ja laskentatehokkuudessa saavutettavien etujen vuoksi.

Lopuksi tarkastellaan neuroverkon opettamista. Työssä määritellään virhefunktio, joka kuvaa todellisten kohdemuuttujan arvojen ja verkon antamien ennusteiden välistä eroa. Tämän pohjalta neuroverkon opettaminen kuvataan optimointiongelmana, jossa tavoitteena on etsiä sellaiset malliparametrit, että virhefunktio saavuttaa pienimmän arvonsa. Tämä minimi etsitään gradienttilaskeutumisella, joka on eräs numeerinen optimointimenetelmä. Gradienttilaskeutumista varten tarvitaan virhefunktiosta malliparametrien suhteen lasketut osittaisderivaatat, jotka voidaan määrittää tehokkaasti vastavirta-algoritmin avulla. Vastavirta-algoritmin toiminnan tarkastelun jälkeen opetusalgoritmi kuvataan kokonaisuudessaan matriisimuodossa.