User interface for playing back AR-based instructions

Abstract

This thesis investigates a digital twin and an offline approach to improve the use of Augmented Reality in the context of remote collaboration. Current systems mostly focus on real-time communication with experts, which introduce limitations such as latency. Additionally, context-specific hardware, such as head-mounted displays, is relatively expensive, not practical for everyday use, and restricted in terms of mobility.

The system proposed in this study aims to bridge the gap between accessibility and expert guidance by introducing an asynchronous AR solution that works on mobile phones and tablets. Using a digital twin approach, users can add the digital twin of their device onto the real world, with added annotations, and an instruction set, which they could follow at their own pace.

The study is evaluated with a use case and is tested on ten participants using a survey. User confidence and six task workload factors are measured as a result of the collected data, to compare this approach to both related works and traditional collaboration methods. The results show that users’ experience improved, as they were able to complete the task independently with high confidence and low cognitive load. Future studies could explore richer interaction methods and improved usability and performance.

Tämä opinnäytetyö tutkii digitaalista kaksosta ja offline-lähestymistapaa lisätyn todellisuuden (Augmented Reality, AR) hyödyntämiseksi etäyhteistyön kontekstissa. Nykyiset järjestelmät keskittyvät pääasiassa reaaliaikaiseen viestintään asiantuntijoiden kanssa, mikä aiheuttaa rajoituksia, kuten viiveitä. Lisäksi kontekstiin sidottu laitteisto, kuten silmikkonäytöt (head-mounted displays), on suhteellisen kallis, epäkäytännöllinen arjessa ja rajoitettu liikuteltavuudeltaan.

Tässä työssä esitelty järjestelmä pyrkii kaventamaan kuilua saavutettavuuden ja asiantuntijaohjauksen välillä esittelemällä asynkronisen AR-ratkaisun, joka toimii älypuhelimilla ja tableteilla. Digitaalisen kaksosen lähestymistapaa hyödyntäen käyttäjä voi lisätä laitteen digitaalisen kopion reaalimaailmaan, jossa on mukana merkintöjä ja ohjeita, joita voi seurata omaan tahtiin.

Tutkimusta arvioidaan esimerkkitapauksella ja kymmenellä osallistujalla toteutetulla kyselyllä. Käyttäjäluottamusta sekä kuutta työkuormitustekijää mitataan kerätyn datan perusteella, ja lähestymistapaa verrataan sekä aiempiin tutkimuksiin että perinteisiin yhteistyömenetelmiin. Tulokset osoittavat, että käyttäjäkokemus parani – osallistujat pystyivät suorittamaan tehtävän itsenäisesti, luottavaisesti ja vähäisellä kognitiivisella kuormituksella. Tulevat tutkimukset voisivat tarkastella monipuolisempia vuorovaikutustapoja sekä käytettävyyden ja suorituskyvyn parantamista.