AI-powered non-playable characters for virtual reality

Abstract

The objective of this thesis was to explore the integration of generative artificial intelligence (GenAI) with virtual reality (VR) to create lifelike non-playable characters (NPC) in a video game setting. Utilizing technologies such as speech-to-text (STT) and text-to-speech (TTS) in conjunction with OpenAI’s latest generative pre-trained transformer (GPT) models, we developed a VR interrogation game for the Meta Quest 2. The game features GenAI-driven NPCs capable of dynamic and context-aware interactions, with the aim of providing a more immersive and realistic experience compared to games with traditional NPCs. Our evaluation involved 18 participants interacting with the NPCs in an interrogation game environment and assessing the believability and usability of the AI NPCs. Results indicate high levels of user engagement and realism, suggesting significant potential for AI in enhancing the interactive aspects of VR gaming.

Tämän kandidaatintyön tavoitteena on tutkia generatiivisen tekoälyn (GenAI) ja virtuaalitodellisuuden (VR) yhdistämistä, joka mahdollistaa realistisempien ei-pelattavien hahmojen (NPC) tuomisen peliympäristöihin. Yhdistämällä teknologioita, kuten puheesta tekstiksi (STT) ja tekstistä puheeksi (TTS) OpenAI:n uusimpien generatiivisten esikoulutettujen transformer-mallien (GPT) kanssa, kehitimme Meta Quest 2:lle VR-kuulustelupelin. Pelissä on tekoälyohjattuja NPC:itä, jotka kykenevät dynaamiseen ja kontekstitietoiseen vuorovaikutukseen, tarjoten syvällisemmän ja realistisemman kokemuksen verrattuna peleihin, joissa NPC:t on luotu perinteisiä menetelmiä hyödyntäen. Arvioinnissamme 18 osallistujaa oli vuorovaikutuksessa NPC:iden kanssa kuulusteluympäristössä ja arvioimme tekoälyyn perustuvien NPC:iden uskottavuutta ja käytettävyyttä. Tulokset osoittavat, että pelin käytettävyys sekä realistisuus ovat korkealla tasolla, mikä viittaa siihen, että tekoälyllä on merkittävää potentiaalia parantaa VR-pelien vuorovaikutteisia näkökohtia.