Co-present and real-time interaction in virtual reality : a study of environmentally coupled gestures in explanation sequences

Abstract

This thesis focuses on the interactional issues in virtual reality (VR) that are presented in Hindmarsh, Heath & Fraser (2006). These issues are fragmenting interaction, misleading avatars and disrupting a world in common, and they are examined in explanation sequences that contain environmentally coupled gestures (EnCGs). The explanation sequences can be divided into two activities: word explanations and route explanations. This thesis will examine how these issues present themselves in co-present, real-time interaction in immersive VR. The interactional problems these issues cause will also be examined. The materials used in this thesis are video recordings of naturally occurring interaction in the Rec Room virtual space. All the participants have minimal experience with immersive VR. The materials are in English, and the participants are mostly non-native English speakers from Finland. The research method is based on conversation analysis and gesture studies, and detailed transcripts were made to aid in the analysis. The materials are presented in the form of anonymised screenshots from the videos and short excerpts from the transcripts to illustrate the issues as they appear in the materials. The main finding is that the participants are mostly unaware of these interactional issues, and that the issues often lead to the failure of the explanation sequence. A lack of awareness and experience factored in almost every examined instance, causing the participants to interpret actions made in VR incorrectly or to act based on incorrect assumptions. Some of the technical features caused actions to appear different in VR or even not appear in VR at all. The avatars are simplistic and pseudo-humanoid, making interpreting the avatars’ actions difficult at times. It is also shown in this thesis that the participants can adapt to these issues and solve them. Both activities contained one or two instances of a participant realising and then attempting to solve the issue. Further research is still needed to confirm the results of this thesis and to provide comprehensive descriptions of these issues in immersive VR.

Tämä tutkimus käsittelee Hindmarsh, Heath & Fraserin (2006) esittelemiä vuorovaikutuksen ongelmia virtuaalitodellisuudessa. Nämä ongelmat ovat pirstoutuva vuorovaikutus, harhaanjohtavat avattaret ja yhteisen maailman häiriintyminen, ja niitä tutkitaan ympäristöön yhdistyneitä eleitä sisältävissä selityssekvensseissä. Selityssekvenssit voidaan jakaa kahteen aktiviteettiin: sanaselityssekvensseihin ja reitinselityssekvensseihin. Tässä tutkimuksessa tarkastellaan miten nämä ongelmat esiintyvät yhteisläsnäolevassa, reaaliaikaisessa vuorovaikutuksessa immersiivisessä virtuaalitodellisuudessa. Tutkimuksessa tarkastellaan myös näiden ongelmien aiheuttamia vuorovaikutuksen vaikeuksia. Tutkimuksen materiaaleina käytetään videonauhoitteita luonnollista Rec Room -virtuaalitilassa tapahtuvaa vuorovaikutuksesta. Kaikilla osallistujilla on vain vähäistä kokemusta immersiivisestä virtuaalitodellisuudesta. Materiaalit ovat englanniksi, ja lähes kaikki osallistujat ovat suomalaisia, ei-natiiveja englannin puhujia. Tutkimusmetodi pohjaa keskusteluanalyysiin ja eletutkimukseen, ja analyysin avuksi on tehty yksityiskohtaisia litteraatteja. Anonymisoituja kuvankaappauksia ja lyhyitä katkelmia litteraateista käytetään havainnollistamaan analyysiä. Tutkimuksessa havaittiin, että suurimman osan ajasta osallistujat eivät tiedosta vuorovaikutuksen vaikeuksia, ja että nämä vaikeudet johtavat usein selityssekvenssin epäonnistumiseen. Lähes jokaisessa ongelmatilanteessa vaikuttivat osallistujien kokemuksen puute ja se, etteivät osallistujat tiedostaneet ongelmaa. Nämä saivat osallistujat tulkitsemaan virtuaalitodellisuudessa näkyvää toimintaa virheellisesti sekä toimimaan virheellisten oletusten pohjalta. Eräät tekniset ominaisuudet aiheuttivat virtuaalitodellisuudessa näkyvän toiminnan luonteen muuttumista ja myös tilanteita, joissa toiminta ei näkynyt virtuaalitodellisuudessa. Avattarien yksinkertaisuus ja pseudohumanoidi ulkonäkö aiheuttivat hankaluuksia niiden toiminnan tulkitsemisessa. Tutkimuksessa havaittiin, että osallistujat kykenevät sekä huomaamaan ongelman, että yrittämään ratkaista sen vuorovaikutuksen ollessa yhä käynnissä. Lisätutkimus on tarpeen, jotta tutkimuksen tulokset voidaan vahvistaa ja tuottaa kattavat kuvaukset mainituista ongelmista immersiivisessä virtuaalitodellisuudessa.