Luonnollisen kielen prosessointi ja suomen kieli

Abstract

Generatiivinen tekoäly on ottanut viime vuosina suuria kehitysaskelia ja avannut uusia mahdollisuuksia kieliteknologian saralla. Tekoälyn kyvykkyydet tekstin tuottamisessa, ymmärtämisessä ja kielen kääntämisessä ovat parantuneet. Suomen kieli poikkeaa rakenteeltaan maailman valtakielistä ja on puhujamäärältään pieni kieli, mikä vaikuttaa generatiivisen tekoälyn suomen kielen kyvykkyyksiin.

Tässä tutkielmassa selvitettiin, miten generatiivinen tekoäly käsittelee suomen kieltä. Tutkimuskysymyksenä on, miten generatiivisen tekoälyn kielimallit ymmärtävät ja tuottavat suomen kieltä erityisesti morfologian ja semantiikan tasolla. Tutkimuksessa selvitetään myös, mitä vaatimuksia suomen kielen morfologia asettaa kielimalleille sekä kuinka suomeen keskittyviä kielimalleja koulutetaan ja millaisia haasteita niihin liittyy. Menetelmänä tutkimuksessa on kuvaileva kirjallisuuskatsaus.

Tutkimuksessa käydään läpi luonnollisen kielen prosessoinnin menetelmiä ja kartoitetaan erityisesti suomen kielen kaltaisille kielille olennaisia menetelmiä. Keskeisiä tarkasteltuja menetelmiä ovat lemmatisointi, tokenisointi, nimettyjen entiteettien tunnistus ja parafrasointi. Sen lisäksi tarkastellaan sekä monikielisiä että suomen kieleen keskittyviä suuria kielimalleja.

Tutkimuksessa käy ilmi, että suomen kielen agglutinoiva luonne ja runsas taivutus asettavat vaatimuksia tokenisointialgoritmeille. Vaikka laajasti käytetty BPE-algoritmi on vakiintunut tokenisointimenetelmä, morfologinen erottelu saattaa tarjota tehokkaamman tavan käsitellä suomen kielen rakennetta ja parantaa kielimallin suorituskykyä. Myös sanavektorien, kuten fasttextin, käyttö osoittautuu hyödylliseksi suomen kielen sisäisten rakenneosien käsittelyssä.

Semantiikan osalta tutkimuksessa tunnistetaan parafrasointimenetelmä keinona lisätä kielimallin kykyä ymmärtää ja tuottaa suomen kielen merkityksiä. Kaiken kaikkiaan laadukkaan ja esikäsitellyn koulutusdatan merkitys korostuu. Tutkimuksessa myös esitellään suomenkielisen Poro-kielimallin käyttämä ja hyviä tuloksia saavuttanut koulutusratkaisu, jossa suomenkielinen data on yhdistetty korkean resurssin englannin kielen kanssa.