Biosignal extraction and analysis from remote video : towards real-world implementation and diagnosis support

Abstract

<div lang="en" class="abs"><p class="abs_header">Abstract</p><p>The healthcare systems are facing a multitude of challenges in the modern world, including the aging population, a shortage of medical personnel, and regional barriers such as low population density and long distances. On the other hand, real-time video analysis based on computer vision and artificial intelligence approaches are being proposed as important future tools for assisting healthcare professionals. Despite the numerous advances in computer vision-based healthcare and medical diagnosis methods, the practical implementation of these techniques as embedded or remote solutions remains a challenge. This doctoral thesis aims to contribute to this effort by leveraging the advancements in computer vision and artificial intelligence to improve the unobtrusive and unsupervised acquisition of remote biosignals extracted from videos. The focus of this thesis is on improving the reliability and accuracy of remote photoplethysmography (rPPG) and remote ballistography (rBSG) techniques, as captured through camera-based embedded and distributed devices and remote video connections. The extracted biosignals are then analyzed to enable assistive diagnosis, prioritizing applications such as stress assessment, depression detection, and respiratory disease monitoring. The challenges and complexities of implementing computer vision in healthcare, including the integration of the methods in a distributed architecture and the impact of network and computational constraints in the application, are carefully considered and evaluated. The findings of this work are anticipated to enhance the quality of healthcare and patient outcomes while also contributing to the advancement of a more sustainable and accessible healthcare system.</p></div>

<div lang="fi" class="abs"><p class="abs_header">Tiivistelmä</p><p>Terveydenhuollon toteutus on nykyään yhä hankalampaa, kun väestö ikääntyy ja lääkintähenkilökuntaa puuttuu. Lisäksi alueellisesti on omia haasteitaan kuten alhainen väestötiheys tai pitkät etäisyydet. Toisaalta tietokonenäköön ja tekoälyyn perustuva reaaliaikainen videoanalyysi voi olla tärkeä työkalu terveydenhuollon ammattilaisille tulevaisuudessa. Näiden tekniikoiden käytännön toteutus upotettuina tai etäratkaisuina on edelleen haastavaa, vaikka tietokonenäköön perustuva terveydenhuolto ja lääketieteelliset diagnoosimenetelmät ovatkin ottaneet lukuisia edistysaskelia. Tämä väitöskirja pyrkii edistämään tätä työtä hyödyntämällä tietokonenäön ja tekoälyn edistysaskeleita parantaakseen etäbiosignaalien huomaamatonta ja valvomatonta hankintaa videokuvasta. Väitöskirjan painopiste on etäfotopletysmografian (rPPG) ja etäballistografian (rBSG) tekniikoiden luotettavuuden ja tarkkuuden parantamisessa upotetuilla ja hajautetuilla kameralaitteilla sekä etävideoyhteyksillä. Näitä biosignaaleja analysoidaan ja tuotetaan avustava diagnoosi, missä painopisteenä ovat sovellukset kuten stressin arviointi, masennuksen havaitseminen ja hengityselinten sairauksien seuranta. Tietokonenäön soveltamisen haasteet ja monimutkaisuudet terveydenhuollossa, mukaan lukien menetelmien integrointi hajautettuun arkkitehtuuriin sekä verkon ja laskennallisten rajoitusten vaikutus sovellukseen, otetaan huolellisesti huomioon ja arvioidaan. Tämän työn tulosten odotetaan parantavan terveydenhuollon laatua ja potilastuloksia sekä edistävän kestävämmän ja saavutettavamman terveydenhuoltojärjestelmän kehitystä.</p></div>