Investigating the human impact of perceptually optimized motions for immersive telepresence robots
Mimnaugh, Katherine J. (2024-10-21)
© University of Oulu, 2024. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited. © Oulun yliopisto, 2024. Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
https://rightsstatements.org/vocab/InC/1.0/
https://urn.fi/URN:NBN:fi:oulu-202410026153
Kuvaus
Tiivistelmä
Telepresence is the ability to be in a remote location using technology. Robotic telepresence through a Virtual Reality (VR) Head-Mounted Display (HMD), here referred to as immersive robotic telepresence, increases the field of view for the person aboard the telepresence robot and thus improves the illusion of being present at the robot’s location. Immersive robotic telepresence is used for many applications, including remote education, remote exploration, search-and-rescue, clinical care, therapeutics, and assistive technology for aging and physical limitation. However, a significant barrier to the further use of this technology is VR sickness, a constellation of symptoms similar to motion sickness which can result from VR HMD use. Other aspects related to the motions of the telepresence robot, such as the forward speed and number of turns, can also have a positive or negative impact.
To address these concerns, this article-based dissertation investigates user experience in immersive robotic telepresence. First, a mathematical framework for robot motion planning that accounts for user comfort criteria, called "Human Perception-Optimized Planning" (H-POP), is introduced. Robot paths created with H-POP were compared to a path created with a traditional path planning algorithm, the Rapidly exploring Random Tree (RRT). VR sickness and other aspects of the paths were examined to determine how these factors impacted the users. One of the optimized paths and the RRT path were then used to induce VR sickness in another set of participants while their brain activity was measured. Self-reported levels of VR sickness were found to be associated with a measure of cognitive function, the P3b, and the amount of errors on a secondary task, indicating that VR sickness induced in current generation HMDs had quantifiable impacts on cognition and performance. Changes in the P3b can be used to evaluate many types of VR experiences, and H-POP can be used for motion planning for any type of vehicle, so both provide value beyond the scope of this work.
In sum, this dissertation provides three major contributions to the research and development community. First, it offers a framework for motion planning which accounts for user comfort criteria. Second, it discusses an evaluation of different features, such as the turns and distance from objects, that affect user experience. Finally, it provides evidence of the deleterious consequences of VR sickness on attention and performance. These results can inform developers of immersive telepresence so that VR sickness can be ameliorated and the comfort and enjoyment for users can be improved.
Etäläsnäolo on kyky olla etäyhteyden päässä teknologiaa hyödyntäen. Virtuaalitodellisuus (VR) –lasien (HMD) kautta tapahtuva etäläsnäolo, jota kutsutaan tässä yhteydessä immersiiviseksi etäläsnäoloksi robotin avulla, kasvattaa näkökenttää etäyhteysrobotissa "olevalle" henkilölle ja parantaa siten illuusiota siitä, että hän on läsnä robotin sijaintipaikassa. Immersiivista etäläsnäoloa käytetään monissa eri sovelluksissa, kuten etäopetuksessa, etsintä- ja pelastustoiminnassa, kliinisessä hoidossa, terapiassa sekä ikääntymistä ja vammaisuutta tukevassa apuvälineteknologiassa. Merkittävä este tämän tekniikan jatkuvalle käytölle on kuitenkin VR-sairaus, liikuntapahoinvointia muistuttava oireyhtymä, joka voi johtua VR-lasien käytöstä. Myös muilla etäläsnäolorobotin liikkeisiin liittyvillä seikoilla, kuten etenemisnopeudella ja käännösten määrällä, voi olla myönteisiä tai kielteisiä vaikutuksia.
Näiden huolenaiheiden käsittelemiseksi tässä artikkelipohjaisessa väitöskirjassa tutkitaan käyttäjäkokemusta immersiivisessa robottietäläsnäolossa. Ensin esitellään matemaattinen kehys robotin liikesuunnittelua varten, jossa otetaan huomioon käyttäjän mukavuuskriteerit ja jota kutsutaan nimellä "Human Perception-Optimized Planning" (H-POP). H-POP:n avulla luotuja robottipolkuja verrattiin perinteisellä polkusuunnittelualgoritmilla, Rapidly exploring Random Tree (RRT) -algoritmilla luotuun polkuun. VR-pahoinvointia ja muita polkujen aiheuttamia vaikutuksia tutkittiin sen määrittämiseksi, miten nämä tekijät vaikuttivat käyttäjiin. Yhden optimoidun polun ja RRT-polun avulla aiheutettiin sitten VR-pahoinvointi toiselle joukolle osallistujia, samalla kun heidän aivotoimintaansa mitattiin. Itseraportoidun VR-pahoinvoinnin tason havaittiin olevan yhteydessä kognitiivisten toimintojen mittariin, P3b:hen, ja virheiden määrään toissijaisessa tehtävässä, mikä osoittaa, että nykyisen sukupolven HMD-laitteilla aiheutetulla VR-pahoinvoinnilla oli mitattavissa olevia vaikutuksia kognitioon ja suorituskykyyn. P3b:n muutoksia voidaan käyttää monenlaisten VR-kokemusten arviointiin, ja H-POP:ta voidaan käyttää minkä tahansa ajoneuvotyypin liikesuunnitteluun, joten molemmilla on arvoa tämän työn soveltamisalan ulkopuolella.
Yhteenvetona voidaan todeta, että tämä väitöskirja tarjoaa kolme merkittävää panosta tutkimus- ja kehitysyhteisölle. Ensinnäkin se tarjoaa liikesuunnittelun kehyksen, jossa otetaan huomioon käyttäjän mukavuuskriteerit. Toiseksi siinä käsitellään eri ominaisuuksien, kuten käännösten ja kohteiden etäisyyden, arviointia, jotka vaikuttavat käyttäjien kokemukseen. Lopuksi se tarjoaa näyttöä VR-sairauden haitallisista seurauksista tarkkaavaisuuteen ja suorituskykyyn. Nämä tulokset voivat antaa tietoa immersiivisen etäläsnäolonkehittäjille, jotta VR-pahoinvointia voidaan lievittää ja käyttäjien mukavuutta ja nautintoa parantaa.
Original papers
-
Becerra, I., Suomalainen, M., Lozano, E., Mimnaugh, K. J., Murrieta-Cid, R., & LaValle, S. M. (2020). Human perception-optimized planning for comfortable vr-based telepresence. IEEE Robotics and Automation Letters, 5(4), 6489–6496. https://doi.org/10.1109/LRA.2020.3015191 https://doi.org/10.1109/LRA.2020.3015191
-
Mimnaugh, K. J., Suomalainen, M., Becerra, I., Lozano, E., Murrieta-Cid, R., & LaValle, S. M. (2021). Analysis of user preferences for robot motions in immersive telepresence. 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 4252–4259. https://doi.org/10.1109/IROS51168.2021.9636852 https://doi.org/10.1109/IROS51168.2021.9636852
-
Suomalainen, M., Mimnaugh, K. J., Becerra, I., Lozano, E., Murrieta-Cid, R., & LaValle, S. M. (2021). Comfort and sickness while virtually aboard an autonomous telepresence robot. In P. Bourdot, M. Alcañiz Raya, P. Figueroa, V. Interrante, T. W. Kuhlen, & D. Reiners (Eds.), Virtual Reality and Mixed Reality 13105, pp. 3–24. https://doi.org/10.1007/978-3-030-90739-6_1 https://doi.org/10.1007/978-3-030-90739-6_1
-
Mimnaugh, K. J., Center, E. G., Suomalainen, M., Becerra, I., Lozano, E., Murrieta-Cid, R., Ojala, T., LaValle, S. M., & Federmeier, K. D. (2023). Virtual reality sickness reduces attention during immersive experiences. IEEE Transactions on Visualization and Computer Graphics, 29(11), 4394–4404. https://doi.org/10.1109/TVCG.2023.3320222 https://doi.org/10.1109/TVCG.2023.3320222
Osajulkaisut
-
Becerra, I., Suomalainen, M., Lozano, E., Mimnaugh, K. J., Murrieta-Cid, R., & LaValle, S. M. (2020). Human perception-optimized planning for comfortable vr-based telepresence. IEEE Robotics and Automation Letters, 5(4), 6489–6496. https://doi.org/10.1109/LRA.2020.3015191 https://doi.org/10.1109/LRA.2020.3015191
-
Mimnaugh, K. J., Suomalainen, M., Becerra, I., Lozano, E., Murrieta-Cid, R., & LaValle, S. M. (2021). Analysis of user preferences for robot motions in immersive telepresence. 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 4252–4259. https://doi.org/10.1109/IROS51168.2021.9636852 https://doi.org/10.1109/IROS51168.2021.9636852
-
Suomalainen, M., Mimnaugh, K. J., Becerra, I., Lozano, E., Murrieta-Cid, R., & LaValle, S. M. (2021). Comfort and sickness while virtually aboard an autonomous telepresence robot. In P. Bourdot, M. Alcañiz Raya, P. Figueroa, V. Interrante, T. W. Kuhlen, & D. Reiners (Eds.), Virtual Reality and Mixed Reality 13105, pp. 3–24. https://doi.org/10.1007/978-3-030-90739-6_1 https://doi.org/10.1007/978-3-030-90739-6_1
-
Mimnaugh, K. J., Center, E. G., Suomalainen, M., Becerra, I., Lozano, E., Murrieta-Cid, R., Ojala, T., LaValle, S. M., & Federmeier, K. D. (2023). Virtual reality sickness reduces attention during immersive experiences. IEEE Transactions on Visualization and Computer Graphics, 29(11), 4394–4404. https://doi.org/10.1109/TVCG.2023.3320222 https://doi.org/10.1109/TVCG.2023.3320222
Kokoelmat
- Avoin saatavuus [38840]