Latentin diffuusiomallin optimointi mobiililaitteelle kasvojen superresoluutiossa

Abstract

Superresoluutiossa tekoälypohjaiset ratkaisut ovat osoittautuneet ylivoimaisiksi perinteisiin menetelmiin verrattuna. Kasvojen superresoluutiossa uskottavat yksityiskohdat ovat avainasemassa, ja näiden generoinnissa erityisesti diffuusiomallit ovat onnistuneet hyvin, päihittäen GAN-verkot ja perinteisesti koulutetut konvoluutioneuroverkot. Diffuusiomallit ovat kuitenkin hitaita iteratiivisen luonteensa takia ja vaativat parametrimäärältään suuria kohinanpoistoverkkoja.

Työssä perehdytään diffuusiomalleihin, superresoluutioon sekä neuroverkkojen optimointiin. Sen lisäksi kehitetään latentti diffuusiomalli kasvojen superresoluutioon ja optimoidaan se karsimista ja kvantisointia käyttäen Qualcomm Snapdragon 8 Gen 3 Mobile -tekoälykiihdyttimelle. Mallin kehittämisen lisäksi tutkitaan kvantisoinnin vaikutusta ulostulokuvien laatuun sekä tutkitaan, miten diffuusion näytteistysaskeleiden määrä vaikuttaa ulostulokuvien laatuun DDIM-näytteistystä käytettäessä. Lopuksi kehitetyn mallin nopeutta verrataan kvantisoituun Stable Diffusion -malliin tekoälykiihdyttimellä ajettuna.

Tulokset osoittavat, että työssä kehitetty malli on huomattavasti, jopa 97% nopeampi, kuin kvantisoitu Stable Diffusion -malli. Kvantisoinnin vaikutuksia tutkittaessa tulokset osoittavat, että laadun laskeminen on vain pientä verrattuna alkuperäiseen malliin, mutta havaittavissa jokaisella käytetyllä evaluaatiometriikalla. DDIM-näytteistystä käytettäessä puolestaan näytteistysaskeleiden määrän lisäämisellä on negatiivinen vaikutus ulostulokuviin käytetyillä evaluaatiometriikoilla, mutta visuaalisesti tarkasteltuna yksityiskohdat selvästi lisääntyvät ja kuva terävöittyy.