Human evaluation and tool development for online content credibility
Li, Junhao (2025-06-06)
© University of Oulu, 2025. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited. © Oulun yliopisto, 2025. Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
https://rightsstatements.org/vocab/InC/1.0/
https://urn.fi/URN:NBN:fi:oulu-202505053069
Kuvaus
Tiivistelmä
The Internet has become a primary source of information for people worldwide. With their heavy reliance on user-generated content, social media platforms play an important role in this change. People are making decisions based on online sources, such as social media. However, the credibility of user-generated content is being increasingly questioned, ranging from verified truths to unfounded rumours. The prevalence of misleading health information is one of the most worrying issues. Misleading health information can lead to harmful behaviours. Although measures such as content moderation are taken to combat misinformation, the scale of this problem requires sophisticated solutions. This underscores the urgent need for research to be conducted on the credibility of online content and solutions to manage misinformation.
This thesis is conducted with two core objectives: 1) To gain an understanding of the credibility of social media content from the perspectives of laypeople. 2) To investigate potential solutions to help individuals adapt to the current online environment flooded with misinformation.
This thesis employed a combination of methods to examine factors that affect people's credibility assessment process based on empirical investigations. The studies were designed to capture the behaviour of real people and included controlled online experiments to explore how participants evaluate the credibility of different types of information. In addition, the research investigated the use of advanced AI tools to simplify complex medical content. This approach aimed to enhance users’ understanding and improve their ability to make informed decisions.
The findings of this thesis revealed laypeople's perspectives on the challenges of social media credibility. The research identified multiple important factors affecting the credibility assessment process. Furthermore, the research on using LLMs to simplify complex medical content demonstrated promise in improving accessibility to complex medical literature.
As the thesis's final contribution, the findings highlighted the complex challenges and trade-offs in combatting misinformation. It provided promising solutions for combatting misinformation and improving the accessibility of complex medical literature. Furthermore, it offered valuable advice for researchers who aim to combat misinformation.
Internetistä on tullut ensisijainen tietolähde ihmisille maailmanlaajuisesti. Sosiaalisen median alustat ovat riippuvaisia käyttäjien luomasta sisällöstä, jonka vuoksi näillä alustoilla on erittäin tärkeä rooli tässä muutoksessa. Ihmiset tekevät yhä enemmän verkkopohjaisiin lähteisiin, kuten sosiaaliseen mediaan, perustuvia päätöksiä. Käyttäjien luoman sisällön uskottavuutta kuitenkin kyseenalaistetaan yhä enemmän, kun sisältöihin kuuluu todennettujen totuuksien lisäksi myös perusteettomia huhuja. Harhaanjohtavien terveyteen liittyvien tietojen yleisyys on yksi huolestuttavimmista asioista. Harhaanjohtavat terveyteen liittyvät tiedot voivat johtaa haitalliseen käyttäytymiseen, kuten lääketieteellisten neuvojen vastustamiseen tai rokotteiden ottamisen epäröintiin. Tämä korostaa verkkosisällön uskottavuutta ja väärän tiedon hallintaa koskevan tutkimuksen kiireellistä tarvetta.
Tämän opinnäytetyön kaksi keskeistä tavoitetta ovat: 1) saada käsitys sosiaalisen median sisällön uskottavuudesta maalikkojen näkökulmasta, ja 2) tutkia mahdollisia ratkaisuja, joilla yksilöitä voidaan auttaa sopeutumaan nykyiseen verkkoympäristöön, joka tulvii väärää tietoa.
Tässä opinnäytetyössä käytettiin useita eri menetelmiä, joilla tutkittiin ihmisten uskottavuutta koskevaan arviointiprosessiin vaikuttavia tekijöitä. Menetelmät perustuivat empiirisiin tutkimuksiin, joissa käytettiin tarkoituksenmukaisesti kehitettyjä tutkimusmittareita, joita täydennettiin verkkokokeiluilla. Lisäksi tutkimuksessa tutkittiin edistyneiden tekoälytyökalujen käyttöä monimutkaisen lääketieteellisen sisällön yksinkertaistamiseksi. Tällä lähestymistavalla pyrittiin parantamaan käyttäjien ymmärrystä ja päätöksentekoa terveysasioissa.
Opinnäytetyön tulokset paljastivat maallikkojen näkökulmia sosiaalisen median uskottavuutta koskeviin haasteisiin. Tutkimuksessa tunnistettiin useita tärkeitä tekijöitä, jotka vaikuttavat uskottavuuden arviointiprosessiin. Lisäksi tutkimus suurten kielimallien käytöstä terveyden lukutaitoa.
Tutkimusartikkeleiden havainnot korostivat monimutkaisten haasteiden ja kompromissien osuutta väärän tiedon torjumisessa digitaaliaikana. Se tarjosi lupaavia ratkaisuja väärän tiedon torjumiseksi ja monimutkaisen lääketieteellisen kirjallisuuden saatavuuden parantamiseksi laajemmalle yleisölle. Lisäksi se tarjosi arvokkaita neuvoja tutkijoille, jotka pyrkivät torjumaan väärää tietoa.
Original papers
-
Li, J., Kuutila, M., Huusko, E., Kariyakarawana, N., Savic, M., Ahooie, N. N., Hosio, S., & Mäntylä, M. (2023). Assessing credibility factors of short-form social media posts: A crowdsourced online experiment. Proceedings of the 15th Biannual Conference of the Italian SIGCHI Chapter, 1–14. https://doi.org/10.1145/3605390.3605406 https://doi.org/10.1145/3605390.3605406
-
Li, J., Paananen, V., Suryanarayana, S. A., Huusko, E., Kuutila, M., Mäntylä, M., & Hosio, S. (2023). It is an online platform and not the real world, I don’t care much: Investigating Twitter profile credibility with an online machine learning-based tool. Proceedings of the 2023 Conference on Human Information Interaction and Retrieval, 117–127. https://doi.org/10.1145/3576840.3578308 https://doi.org/10.1145/3576840.3578308
-
Li, J., Huusko, E., Ahooie, N. N., Kuutila, M., Huotala, A., Mäntylä, M., & Hosio, S. (2025). Credtwi: Investigating social media credibility with a browser plugin. International Journal of Human–Computer Interaction, 1–17. https://doi.org/10.1080/10447318.2025.2480885 https://doi.org/10.1080/10447318.2025.2480885
-
Li, J., Ahooie, N. N., Paananen, V., Visuri, A., Szabó, D., Kuutila, M., Yatani, K., Mäntylä, M., & Hosio, S. (2025). "Honestly, I could lose a few hours on PubMed quite easily": Breaking down the reading barriers of medical literature with an LLM-powered browser extension. Manuscript submitted for publication.
Osajulkaisut
-
Li, J., Kuutila, M., Huusko, E., Kariyakarawana, N., Savic, M., Ahooie, N. N., Hosio, S., & Mäntylä, M. (2023). Assessing credibility factors of short-form social media posts: A crowdsourced online experiment. Proceedings of the 15th Biannual Conference of the Italian SIGCHI Chapter, 1–14. https://doi.org/10.1145/3605390.3605406 https://doi.org/10.1145/3605390.3605406
-
Li, J., Paananen, V., Suryanarayana, S. A., Huusko, E., Kuutila, M., Mäntylä, M., & Hosio, S. (2023). It is an online platform and not the real world, I don’t care much: Investigating Twitter profile credibility with an online machine learning-based tool. Proceedings of the 2023 Conference on Human Information Interaction and Retrieval, 117–127. https://doi.org/10.1145/3576840.3578308 https://doi.org/10.1145/3576840.3578308
-
Li, J., Huusko, E., Ahooie, N. N., Kuutila, M., Huotala, A., Mäntylä, M., & Hosio, S. (2025). Credtwi: Investigating social media credibility with a browser plugin. International Journal of Human–Computer Interaction, 1–17. https://doi.org/10.1080/10447318.2025.2480885 https://doi.org/10.1080/10447318.2025.2480885
-
Li, J., Ahooie, N. N., Paananen, V., Visuri, A., Szabó, D., Kuutila, M., Yatani, K., Mäntylä, M., & Hosio, S. (2025). "Honestly, I could lose a few hours on PubMed quite easily": Breaking down the reading barriers of medical literature with an LLM-powered browser extension. Manuscript submitted for publication.
Kokoelmat
- Avoin saatavuus [38618]