Collaborative rationality and evaluation in data-driven decision-making : from theory to a model and design principles
Sanad, Nada (2024-05-03)
© University of Oulu, 2024. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited. © Oulun yliopisto, 2024. Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
https://rightsstatements.org/vocab/InC/1.0/
https://urn.fi/URN:NBN:fi:oulu-202403282497
Kuvaus
Tiivistelmä
With unprecedented advancements in data science, analytics, machine learning, and artificial intelligence, the nature of decision-making has changed. Data-driven decision-making (DDDM) has evolved to encapsulate five main elements, the: human decision-maker, decision-making process, decision and its outcomes, massive amounts and types of data, and augmented capabilities of machines. This leads to collaborative rationality, which transcends the limited, or bounded, rationalities of humans or machines independently.
Nevertheless, the resulting decisions must be evaluated ex-post to enable learning (human and machine), rationalization, and sensemaking, which requires a holistic perspective of data-driven decisions and the systems implementing them. However, no comprehensive design solutions or artifacts for organizations to employ were found in the various literature streams examined Likewise, design knowledge for supporting collaboration between humans and machines in organizational settings is lacking, and developers require design principles (DPs) for creating systems that support DDDM and evaluation.
Accordingly, this research aims to study designing for the multi-faceted nature of DDDM while considering collaborative rationality between humans and machines and incorporating ex-post evaluation of decisions. By adopting a design science research methodology and evaluating the artifacts in real-life contexts, the results of this dissertation are three-fold: 1) DECAS as a decision theory for supporting DDDM, 2) DECADE as a conceptual model and artifact for designing for data-driven decision evaluation, and 3) a set of five DPs for systems implementing data-driven decision evaluation.
This research contributes to practice by providing a modular structure and a set of DPs that organizations can adopt to develop and practically implement DDDM and evaluation solutions. Theoretical contributions include proposing DECAS as a theory and adding to the theoretical concept of collaborative rationality and its evolution through deutero learning resulting from ex-post evaluation. Furthermore, the dissertation provides design knowledge through DECADE as an artifact and prescriptive DPs.
Päätöksenteon luonne on muuttunut datatieteen, analytiikan, koneoppimisen ja tekoälyn edistysaskelten myötä. Dataperustainen päätöksenteko kattaa viisi pääelementtiä: päätöksen tekijä, päätöksentekoprosessi, päätös ja sen tulokset, kasvava määrä dataa yhä rikkaampine tietotyyppeineen sekä tekoälyn ja data-analytiikan myötä kasvaneet tietokoneiden hyödyntämismahdollisuudet. Tämä johtaa ihmisten ja tietokoneiden yhteistyöhön perustuvaan rationaalisuuteen, joka ylittää ihmisten tai koneiden rationaliteetin ja suorituskyvyn, jos niitä käytettäisiin erikseen.
Päätöksiä on myös arvioitava jälkikäteen, jotta oppimisen (ihminen ja kone), rationalisointi ja dataan perustuvien päätösten ja niitä toteuttavien järjestelmien kokonaisvaltaisempi ymmärtäminen olisi mahdollista. Tähänastinen kirjallisuus ei kuitenkaan vielä esitä kattavia suunnitteluratkaisuja tai organisaatioiden käyttöönottamia suunnitteluperiaatteita. Samoin suunnitteluosaaminen ihmisten ja koneiden yhteistyön tukemiseksi organisaatioissa puuttuu. Järjestelmäkehittäjät tarvitsisivat suunnittelukriteereitä ja periaatteita dataperustaista päätöksentekoa ja arviointia tukevien järjestelmien luomiseksi.
Tutkimukseni kehittää suunnitteluperiaatteita dataperustaiseen päätöksentekoon, missä ihminen ja kone pyrkivät yhteistoimintaan, yhteistoiminnalliseen rationaliteettiin, ja jossa päätöksiä pyritään myös arvioimaan niiden toteuttamisen jälkeen. Väitöstyö tuotti kolme pääasiallista tulosta: 1) Päätöksentekoteoria DECAS datalähtöisen päätöksenteon tueksi, 2) Teoriaan nojaava käsitteellinen malli DECADE, joka tukee dataperustaisen päätöksenteon suunnittelua, ja 3) viisi malliin pohjaavaa suunnitteluperiaatetta dataperustaisen päätöksenteon yhteistoiminnallista rationaliteettia ja arviointia toteuttaville järjestelmille. Tutkimus nojautuu suunnittelutieteelliseen (design science) tutkimusotteeseen ja artefaktit on otettu käyttöön organisaatiokonteksteissa.
Tutkimus tarjoaa käytännöllisen modulaarisen rakenteen ja joukon suunnitteluperiaatteita, joiden pohjalta organisaatiot voivat kehittää dataperustaisia päätöksentekoratkaisuja. DECAS-teorian ja DECADE-mallin teoreettiset kontribuutiot ehdottavat yhteistoiminnallisen rationaalisuuden käsitteen huomioon ottamista dataperustaisten järjestelmien kehittämisessä ja jatkuvasti kehittyvää ihmisen ja koneen yhteistoimintaa deutero-oppimisen kautta päätösten jälkiarvioinnin tuloksena. Lisäksi väitöskirja tuottaa suunnittelutietoa DECADE-mallin kautta artefaktina sinänsä, ja järjestelmäkehittäjiä opastavaa suunnittelutietoa suunnitteluperiaatteiden muodossa.
Original papers
-
Elgendy, N., Elragal, A., & Päivärinta, T. (2022). DECAS: A modern data-driven decision theory for big data and analytics. Journal of Decision Systems, 31(4), 337–373. https://doi.org/10.1080/12460125.2021.1894674 https://doi.org/10.1080/12460125.2021.1894674
-
Elgendy, N., Elragal, A., & Päivärinta, T. (2023). Evaluating collaborative rationality-based decisions: A literature review. Procedia Computer Science, 219, 647–657. https://doi.org/10.1016/j.procs.2023.01.335 https://doi.org/10.1016/j.procs.2023.01.335
-
Elgendy, N., Elragal, A., Ohenoja, M., & Päivärinta, T. (2022). Ex-post evaluation of data-driven decisions: Conceptualizing design objectives. In Ē. Nazaruka, K. Sandkuhl, & U. Seigerroth (Eds.), Perspectives in Business Informatics Research 462, pp. 18–34. https://doi.org/10.1007/978-3-031-16947-2_2 https://doi.org/10.1007/978-3-031-16947-2_2
-
Elgendy, N., Hannula, K., Puolitaival, K., Elragal, A., & Päivärinta, T. (2024). DECADE: A Model for designing for data-driven decision evaluation. Manuscript submitted for publication.
-
Elgendy, N., Päivärinta, T., Elragal, A., Hannula, K., & Puolitaival, K. (in press). Design principles for data-driven decision systems. Procedia Computer Science.
Osajulkaisut
-
Elgendy, N., Elragal, A., & Päivärinta, T. (2022). DECAS: A modern data-driven decision theory for big data and analytics. Journal of Decision Systems, 31(4), 337–373. https://doi.org/10.1080/12460125.2021.1894674 https://doi.org/10.1080/12460125.2021.1894674
-
Elgendy, N., Elragal, A., & Päivärinta, T. (2023). Evaluating collaborative rationality-based decisions: A literature review. Procedia Computer Science, 219, 647–657. https://doi.org/10.1016/j.procs.2023.01.335 https://doi.org/10.1016/j.procs.2023.01.335
-
Elgendy, N., Elragal, A., Ohenoja, M., & Päivärinta, T. (2022). Ex-post evaluation of data-driven decisions: Conceptualizing design objectives. In Ē. Nazaruka, K. Sandkuhl, & U. Seigerroth (Eds.), Perspectives in Business Informatics Research 462, pp. 18–34. https://doi.org/10.1007/978-3-031-16947-2_2 https://doi.org/10.1007/978-3-031-16947-2_2
-
Elgendy, N., Hannula, K., Puolitaival, K., Elragal, A., & Päivärinta, T. (2024). DECADE: A Model for designing for data-driven decision evaluation. Manuscript submitted for publication.
-
Elgendy, N., Päivärinta, T., Elragal, A., Hannula, K., & Puolitaival, K. (in press). Design principles for data-driven decision systems. Procedia Computer Science.
Kokoelmat
- Avoin saatavuus [34207]