Comparing hand tracking and controller-based interactions for a virtual reality learning application

Abstract

Pseudo-haptic illusions can simulate haptic sensations using visual stimulus only. Pseudo-haptic feedback methods are valuable methods to simulate haptic feedback for virtual reality users. In this thesis, pseudo-haptic feedback is examined in conjunction with virtual reality training. Virtual reality training in assembly operations is becoming popular and it is important to raise awareness and knowledge on ways to fully gain and use the benefits of virtual reality in industrial use.

Hand tracking can free the user from using controllers in virtual reality, but hand tracking can have other setbacks. The differences between controller and hand tracking based interactions are examined in this thesis. An experiment was conducted, where it was observed whether the weight of the controller had an effect on the pseudo-haptic feeling of weight for the user. Simulation of weight was done with a control-delay technique, in which the movement of the real hand is delayed in relation to the head mounted display’s displayed hand. This can create an illusion of weight for a virtual object. Quantitative, as well as coded qualitative data was gathered from the experimental application, and by using questionnaires. The paired data were analyzed using the T-test. A significant difference between the pseudo-haptic weight sensations was not found. However, it was found that the use of hand tracking was seen as more intuitive for the users, and yielded into higher feeling of presence. Controllers however, were seen as more robust, which was the main advantage of them.

Suggestions are provided for future research, and limitations that were observed during the experiment are discussed.

Pseudohaptiset illuusiot simuloivat tuntoaistimuksia pelkän visuaalisen ärsykkeen perusteella. Pseudohaptiset menetelmät ovat hyödyllisiä tuottamaan haptisia tuntemuksia virtuaalitodellisuuden käyttäjille. Virtuaalitodellisuus on tullut yleiseksi opetusmenetelmäksi linjastolla työskentelevien operaattoreiden koulutustarpeeseen. Siksi on tärkeää ymmärtää ja kehittää menetelmiä jotka parantavat virtuaalitodellisuutta näissä olosuhteissa.

Käsiperusteinen interaktio vapauttaa käyttäjän ohjainten käytöstä, mutta sillä on muita haittoja. Käsi- ja ohjainperusteisen interaktion eroja tarkastellaan tässä työssä. Työssä kuvataan koe, jossa seurattiin onko ohjaimen fyysisellä painolla vaikutusta pseudohaptiseen painon tunteeseen. Painon simulointi toteutettiin viivästystekniikalla. Tämä tarkoittaa sitä, että käyttäjän näkemän virtuaalikäden liikehdintää hidastettiin verrattuna käyttäjän omaan käteen. Tämä voi luoda painon tunteen virtuaaliselle esineelle. Koesovelluksen sekä kyselyjen avulla kerättiin sekä kvantitatiivista, että koodattua laadullista dataa. Tulokset analysoitiin T-testillä. Tulosten perusteella ei löydetty merkittävää eroa pseudohaptisen painon tunteen voimakkuuksista. Tulosten perusteella todetaan kuitenkin, että käsiperusteinen interaktio voi olla intuitiivisempi käyttäjälle sekä tuottaa käyttäjälle vahvemman paikkailluusion tunteen. Ohjaimien todetaan tosin olevan vakaampi interaktiomenetelmä; mikä on niiden suurin vahvuus.

Lopuksi työssä annetaan ehdotuksia tulevaa tutkimuksia varten sekä keskustellaan nykyisen työn rajoituksista.