An intelligent mobile application to classify employee mental workload based on EEG dataset using machine learning

Abstract

This thesis explored a novel approach to assess mental workload (MWL) by combining machine learning (ML) and electroencephalography (EEG) data. Aiming for a more objective and reliable method compared to subjective techniques, the research employed a comprehensive data collection strategy. Participants engaged in simulated professional tasks using custom designed desktop software and mobile application, while wearing EEG headset. Additionally, self-reported workload (NASA-TLX) and performance metrics (accuracy, time) were collected through designed applications via firebase. A two-part ML approach was implemented: a deep learning model (ResNet-34) analyzed preprocessed EEG data to predict workload, while a separate model used task performance and self-reported data. The key innovation involved integrating these models to detect inconsistencies in self-reported workload by utilizing regression coefficient of performance of both models on a different dataset. The performance-based model was then incorporated into a mobile application designed for real-world use with corrections on workload level using that regression coefficient. This app can even generate tasks for specific job titles and analyze verified workload levels. This research offers a significant contribution by proposing a more objective MWL assessment method. The mobile application has the potential to revolutionize workforce management by optimizing workload allocation and promoting employee well-being. Future work aims to integrate the deep learning model for situations where EEG data collection is possible and explore applications in disease diagnosis and understanding behavior of individuals with neurological conditions.

Tämä opinnäytetyö tutki uutta lähestymistapaa mielenterveyden työkuormituksen (MWL) arviointiin yhdistämällä koneoppimisen (ML) ja elektroencefalografian (EEG) tiedot. Tavoitteena objektiivisempi ja luotettavampi menetelmä kuin subjektiiviset tekniikat, tutkimuksessa käytettiin kattavaa tiedonkeruustrategiaa. Osallistujat osallistuivat simuloituihin ammatillisiin tehtäviin käyttämällä räätälöityjä työpöydän ohjelmistoja ja mobiilisovelluksia käyttäen EEG-kuulokkeita. Lisäksi itse raportoitu työmäärä (NASA-TLX) ja suorituskyvyn mittarit (tarkkuus, aika) kerättiin suunnitelluilla sovelluksilla palopohjan kautta. Kaksiosainen ML-lähestymistapa toteutettiin: syväoppimismalli (ResNet-34) analysoi ennalta käsiteltyjä EEG-tietoja työkuormituksen ennustamiseksi, kun taas erillinen malli käytti tehtävien suorituskykyä ja itse raportoituja tietoja. Tärkein innovaatio liittyi näiden mallien integrointiin havaitakseen epäjohdonmukaisuuksia itse raportoidussa työmäärässä käyttämällä molempien mallien suorituskyvyn regressiokertointa eri tietokokonaisuudessa. Suorituskykypohjainen malli sisällytettiin sitten mobiilisovellukseen, joka on suunniteltu reaalimaailman käyttöön ja jossa käytettiin työmäärän tason korjauksia käyttämällä tätä regressio-kerrointa. Tämä sovellus voi jopa luoda tehtäviä tietyille työtehtäville ja analysoida todennettuja työmäärätasoja. Tämä tutkimus tarjoaa merkittävän panoksen ehdottamalla objektiivisempaa MWL-arviointimenetelmää. Mobiilisovelluksella on mahdollisuus mullistaa työvoiman hallintaa optimoimalla työmäärän jakamista ja edistämällä työntekijöiden hyvinvointia. Tulevan työn tavoitteena on integroida syvän oppimisen malli tilanteisiin, joissa EEG-tietojen kerääminen on mahdollista, ja tutkia sovelluksia sairauksien diagnosoinnissa ja neurologisten sairauksien käyttäytymisen ymmärtämisessä.