Remote photoplethysmography : advancing robustness, privacy and security
Savic, Marko (2025-08-15)
© University of Oulu, 2025. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited. © Oulun yliopisto, 2025. Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
https://rightsstatements.org/vocab/InC/1.0/
https://urn.fi/URN:NBN:fi:oulu-202506044131
Kuvaus
Tiivistelmä
Remote photoplethysmography (rPPG) offers a non-contact method for extracting physiological signals from facial videos, presenting a promising alternative to traditional contact-based techniques. This thesis addresses critical challenges encountered in rPPG, focusing on improving signal extraction robustness, ensuring privacy, and enhancing security against potential attacks.
For robust rPPG measurement, this thesis introduces novel self-supervised and transformer-based deep learning methods. Specifically, a long temporal context transformer network is developed, enhanced by a multi-task pre-training strategy, demonstrating state-of-the-art performance. Furthermore, fully self-supervised contrastive learning frameworks are proposed, incorporating comprehensive physiological priors and intra–inter data relationships, achieving performance that is competitive with supervised methods across multiple datasets.
To address privacy and security challenges, this thesis investigates both de-identification and attack vulnerability in rPPG systems. A learning-based facial video de-identification method is introduced, preserving rPPG signal integrity while significantly impairing biometric recognition. Additionally, two novel datasets are created to comprehensively study physical domain attacks and rPPG-based presentation attacks, revealing critical vulnerabilities in existing rPPG methods and highlighting the need for enhanced security measures.
In summary, this thesis contributes significantly to the field of rPPG by developing robust signal extraction algorithms, addressing privacy concerns through de-identification, and identifying and studying security vulnerabilities. These advancements pave the way for more reliable and secure rPPG applications in healthcare, security, and beyond.
Etäfotopletysmografia (rPPG) tarjoaa kontaktittoman menetelmän fysiologisten signaalien erottamiseen kasvovideoista, mikä on lupaava vaihtoehto perinteisille kontaktipohjaisille tekniikoille. Tämä opinnäytetyö käsittelee rPPG:n kriittisiä haasteita keskittyen signaalin erottamisen vakauden parantamiseen, yksityisyyden varmistamiseen ja turvallisuuden parantamiseen mahdollisia hyökkäyksiä vastaan.
Vakaan rPPG-mittauksen saavuttamiseksi tämä opinnäytetyö esittelee uusia itseohjautuvia ja transformer-pohjaisia syväoppimismenetelmiä. Erityisesti on kehitetty pitkän aikavälin kontekstin huomioiva transformer-verkko, jota on parannettu monitehtäväisellä esikoulutusstrategialla, mikä osoittaa alan huippusuorituskykyä. Lisäksi on ehdotettu täysin itseohjautuvia kontrastisen oppimisen viitekehyksiä, jotka sisältävät kattavia fysiologisia ennakkotietoja ja datan sisäisiä ja välisiä suhteita saavuttaen suorituskyvyn, joka on kilpailukykyinen ohjattujen menetelmien kanssa useilla eri data-aineistoilla.
Yksityisyys- ja turvallisuushaasteisiin vastaamiseksi tämä opinnäytetyö tutkii sekä tunnistamisen poistamista että hyökkäysalttiutta rPPG-järjestelmissä. Työssä esitellään oppimispohjainen kasvovideon tunnistamisen poistomenetelmä, joka säilyttää rPPG-signaalin eheyden heikentäen merkittävästi biometristä tunnistusta. Lisäksi on luotu kaksi uutta data-aineistoa fyysisen verkkotunnuksen hyökkäysten ja rPPG-pohjaisten esityshyökkäysten kattavaa tutkimista varten, paljastaen kriittisiä haavoittuvuuksia olemassa olevissa rPPG-menetelmissä ja korostaen parannettujen turvatoimien tarvetta.
Yhteenvetona voidaan todeta, että tämä opinnäytetyö edistää merkittävästi rPPG:n alaa kehittämällä vakaita signaalin erotusalgoritmeja, käsittelemällä yksityisyydensuojaan liittyviä huolenaiheita tunnistamisen poistamisen avulla sekä tunnistamalla ja tutkimalla turvallisuusheikkouksia. Nämä edistysaskeleet tasoittavat tietä luotettavammille ja turvallisemmille rPPG-sovelluksille terveydenhuollossa, turvallisuusalalla ja sen ulkopuolella.
Original papers
-
Savic, M., & Zhao, G. (2025). PhySU-Net: Long temporal context transformer for rPPG with self-supervised pre-training. Lecture Notes in Computer Science, 15314, 228–243. https://doi.org/10.1007/978-3-031-78341-8_15 https://doi.org/10.1007/978-3-031-78341-8_15
-
Savic, M., & Zhao, G. (2024). RS-rPPG: Robust self-supervised learning for rPPG. 2024 IEEE 18th International Conference on Automatic Face and Gesture Recognition (FG), 1–10. https://doi.org/10.1109/FG59268.2024.10581991 https://doi.org/10.1109/FG59268.2024.10581991
-
Savic, M., & Zhao, G. (2025). RS+rPPG: Robust strongly self-supervised learning for rPPG. IEEE Transactions on Circuits and Systems for Video Technology. Advance online publication. https://doi.org/10.1109/TCSVT.2025.3544676 https://doi.org/10.1109/TCSVT.2025.3544676
-
Savic, M., & Zhao, G. (2023). De-identification of facial videos while preserving remote physiological utility. In British Machine Vision Conference (BMVC), 2023. Advance online publication. https://proceedings.bmvc2023.org/230/ https://proceedings.bmvc2023.org/230/
-
Savic, M., & Zhao, G. (2024). Oulu remote-photoplethysmography physical domain attacks database (ORPDAD). Lecture Notes in Computer Science, 15131, 51–68. https://doi.org/10.1007/978-3-031-73464-9_4 https://doi.org/10.1007/978-3-031-73464-9_4
-
Savic, M., & Zhao, G. (2025). Oulu remote-photoplethysmography presentation attacks database (OR-PAD). Manuscript submitted for publication.
Osajulkaisut
-
Savic, M., & Zhao, G. (2025). PhySU-Net: Long temporal context transformer for rPPG with self-supervised pre-training. Lecture Notes in Computer Science, 15314, 228–243. https://doi.org/10.1007/978-3-031-78341-8_15 https://doi.org/10.1007/978-3-031-78341-8_15
-
Savic, M., & Zhao, G. (2024). RS-rPPG: Robust self-supervised learning for rPPG. 2024 IEEE 18th International Conference on Automatic Face and Gesture Recognition (FG), 1–10. https://doi.org/10.1109/FG59268.2024.10581991 https://doi.org/10.1109/FG59268.2024.10581991
-
Savic, M., & Zhao, G. (2025). RS+rPPG: Robust strongly self-supervised learning for rPPG. IEEE Transactions on Circuits and Systems for Video Technology. Advance online publication. https://doi.org/10.1109/TCSVT.2025.3544676 https://doi.org/10.1109/TCSVT.2025.3544676
-
Savic, M., & Zhao, G. (2023). De-identification of facial videos while preserving remote physiological utility. In British Machine Vision Conference (BMVC), 2023. Advance online publication. https://proceedings.bmvc2023.org/230/ https://proceedings.bmvc2023.org/230/
-
Savic, M., & Zhao, G. (2024). Oulu remote-photoplethysmography physical domain attacks database (ORPDAD). Lecture Notes in Computer Science, 15131, 51–68. https://doi.org/10.1007/978-3-031-73464-9_4 https://doi.org/10.1007/978-3-031-73464-9_4
-
Savic, M., & Zhao, G. (2025). Oulu remote-photoplethysmography presentation attacks database (OR-PAD). Manuscript submitted for publication.
Kokoelmat
- Avoin saatavuus [41686]