Assessment of neurological function with multimodal and multichannel physiological signal analysis using machine and deep learning techniques
Bahador, Nooshin (2024-08-30)
© University of Oulu, 2024. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited. © Oulun yliopisto, 2024. Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
https://rightsstatements.org/vocab/InC/1.0/
https://urn.fi/URN:NBN:fi:oulu-202408085272
Kuvaus
Tiivistelmä
Electroencephalography (EEG) and electrocardiogram (ECG) are non-invasive modalities that enhance the understanding of neurological function due to the connection between the brain and the heart. Artificial intelligence (AI) techniques improve the precision of detecting complex patterns in EEG and ECG data and enable objective, consistent, and real-time monitoring for immediate neurological status detection. However, further research is required to integrate these modalities. This study aimed to integrate information from multichannel EEG and ECG recordings and use AI to assess the neurological function of patients with delirium and those undergoing anesthesia in the operating room based on this combined information. This aim was further broken down into sub-objectives covering the preprocessing, integration, and classification phases of the multichannel-multimodal assessment of neurological function. In the preprocessing phase, various methods were employed for artifact removal and the reconstruction of missing channels. In the data fusion phases, a range of techniques, including time-frequency ridge mapping, ratio of dynamics deviation from self-similarity, pairwise interactions, and information flow direction, were used to integrate temporal, spectral, and spatial dynamics across multiple channels and modalities. Within the classification phase, pre-trained models and transfer learning techniques were applied to the two-dimensional representation of these dynamics to classify the neurological state. The unique contribution of this study was integrating dynamics within EEG and heart rate variability (HRV) signals and mapping them to a common space. This integration enabled the use of transfer learning to uncover hidden patterns within both EEG and HRV. While neurological function was accurately classified in this study through the integrated information of both EEG and HRV, this classification lacked the explanatory capability to identify underlying abnormalities within each modality. Further research is needed to address this limitation in future studies.
Elektroenkefalografia (EEG) ja elektrokardiografia (EKG) ovat ei-invasiivisia menetelmiä, jotka parantavat ymmärrystämme neurologisesta toiminnasta aivojen ja sydämen välisen yhteyden kautta. Tekoäly (AI) -tekniikat parantavat EEG- ja EKG-datan monimutkaisten hahmojen havaitsemisen tarkkuutta ja mahdollistavat objektiivisen, johdonmukaisen ja reaaliaikaisen seurannan neurologisten tilojen havaitsemiseen. Näiden modaliteettien integrointi vaatii kuitenkin lisätutkimuksia. Tämän tutkimuksen tavoitteena oli integroida tietoa monikanavaisista EEG- ja EKG-tallenteista ja käyttää tekoälyä arvioimaan sellaisten potilaiden neurologista toimintaa, jotka kärsivät deliriumista tai olivat anestesiassa leikkaussalissa. Tämä tavoite jaettiin edelleen alatavoitteisiin, jotka kattoivat esikäsittelyvaiheen, integraatiovaiheen ja luokitteluvaiheen monikanavaisten ja multimodaalisten neurologisen toiminnan arviointien osalta. Esikäsittelyvaiheessa käytettiin erilaisia menetelmiä sekä artefaktien poistoon, että puuttuvien kanavien rekonstruointiin. Datafuusiovaiheissa käytettiin useita tekniikoita, mukaan lukien aika-taajuus harjanteen kartoitus, dynamiikan poikkeaman suhde itsensä samankaltaisuudesta, parilliset vuorovaikutukset ja tiedon virtaussuunta ja niitä käytettiin integroimaan ajallista, spektristä ja spatiaalista dynamiikkaa useiden kanavien ja modaliteettien kautta. Luokitteluvaiheessa ennakkokoulutettuja malleja ja oppimisen siirtämisen tekniikoita sovellettiin näiden dynamiikkojen 2D-esityksiin neurologisen tilan luokittelemiseksi. Tämän tutkimuksen ainutlaatuinen panos oli EEG:n ja sydämen sykevaihtelun (HRV) dynamiikkojen integrointi ja niiden kartoittaminen yhteiseen avaruuteen. Tämä integraatio mahdollisti oppimisen siirtämisen hyödyntämisen piilotettujen hahmojen paljastamiseen sekä EEG:stä että HRV:stä. Vaikka tässä tutkimuksessa neurologinen toiminta pystyttiin luokittelemaan tarkasti käyttäen sekä EEG:n että HRV:n integroitua tietoa, tutkimus ei kyennyt selittämään kunkin modaliteetin kohdalla paljastuneita poikkeavuuksia. Lisätutkimusta tarvitaan tämän rajoituksen korjaamiseksi tulevaisuudessa.
Original papers
-
Bahador, N., Jokelainen, J., Mustola, S., & Kortelainen, J. (2021). Reconstruction of missing channel in electroencephalogram using spatiotemporal correlation-based averaging. Journal of Neural Engineering, 18(5), 056045. https://doi.org/10.1088/1741-2552/ac23e2 https://doi.org/10.1088/1741-2552/ac23e2
-
Bahador, N., Jokelainen, J., Mustola, S., & Kortelainen, J. (2021). Multimodal spatio-temporal-spectral fusion for deep learning applications in physiological time series processing: A case study in monitoring the depth of anesthesia. Information Fusion, 73, 125–143. https://doi.org/10.1016/j.inffus.2021.03.001 https://doi.org/10.1016/j.inffus.2021.03.001
-
Bahador, N., & Kortelainen, J. (2021). A robust bimodal index reflecting relative dynamics of EEG and HRV with application in monitoring depth of anesthesia. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 29, 2503–2510. https://doi.org/10.1109/TNSRE.2021.3128620 https://doi.org/10.1109/TNSRE.2021.3128620
-
Bahador, N., & Kortelainen, J. (2022). Deep learning-based classification of multichannel bio-signals using directedness transfer learning. Biomedical Signal Processing and Control, 72, 103300. https://doi.org/10.1016/j.bspc.2021.103300 https://doi.org/10.1016/j.bspc.2021.103300
Osajulkaisut
-
Bahador, N., Jokelainen, J., Mustola, S., & Kortelainen, J. (2021). Reconstruction of missing channel in electroencephalogram using spatiotemporal correlation-based averaging. Journal of Neural Engineering, 18(5), 056045. https://doi.org/10.1088/1741-2552/ac23e2 https://doi.org/10.1088/1741-2552/ac23e2
-
Bahador, N., Jokelainen, J., Mustola, S., & Kortelainen, J. (2021). Multimodal spatio-temporal-spectral fusion for deep learning applications in physiological time series processing: A case study in monitoring the depth of anesthesia. Information Fusion, 73, 125–143. https://doi.org/10.1016/j.inffus.2021.03.001 https://doi.org/10.1016/j.inffus.2021.03.001
-
Bahador, N., & Kortelainen, J. (2021). A robust bimodal index reflecting relative dynamics of EEG and HRV with application in monitoring depth of anesthesia. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 29, 2503–2510. https://doi.org/10.1109/TNSRE.2021.3128620 https://doi.org/10.1109/TNSRE.2021.3128620
-
Bahador, N., & Kortelainen, J. (2022). Deep learning-based classification of multichannel bio-signals using directedness transfer learning. Biomedical Signal Processing and Control, 72, 103300. https://doi.org/10.1016/j.bspc.2021.103300 https://doi.org/10.1016/j.bspc.2021.103300
Kokoelmat
- Avoin saatavuus [38841]