Oppimisanalytiikan implementoinnin haasteet sulautuvassa oppimisympäristössä: Refleksiivinen tapaustutkimus kurssin suorittamisen ennustemallinnusprojektista

As during the last decade, the use of learning management systems (LMS’s) as course platforms became the norm in courses of higher education, and vast quantities of learning behavior data was thus collected, also the practices of educational data mining and learning analytics began growing significant popularity in the science community. For instance, much research on predicting course outcomes, such as course dropouts and course grades were conducted, in both; the online and blended learning contexts. However, research on the challenges which a learning analyst faces while implementing a learning analytics project in a higher education institution, were nearly non-existent. When working with higher education institutions which haven’t yet developed many internal processes for supporting the implementation of learning analytics, learning analysts may face challenges with data access permission and data quality, for instance. Thereby, their projects may suffer from schedule delays or deteriorated results. With a reflexive case study conducted for Aalto University in Finland, this research identifies the main challenges learning analysts face while implementing each stage of the project life cycle. The case project used in this reflexive study is a course completion prediction modelling project that utilizes learning data of marketing students. The challenges identified during the case project occurred only in the data collection and pre-processing stages. First of all, data privacy issues initiated a legal process which due to a heavy work load, slightly delayed the schedule of acquiring permission to accessing student data. Secondly, hand-picking data manually from two databases and integrating that data from two data systems lead to a missing data problem. The data quality also proved to be rather poor, due to unstandardized and partially nonexistent data collection in the LMS. Finally, most of the modelling data had to be eliminated due to incomparability and inoperability challenges, and the prediction model was conducted successfully only for one marketing course. Based on the experienced challenges, this research introduces a set of propositions for managers of higher education institutions, which help overcome these challenges by improving the institution’s internal processes and developing new ones. The propositions are: 1) Create a standardized process for applying for data access; 2) Adopt a learning analytics information system to ease data integration; 3) Harmonize course and course-site structures to enable automated variable construction; and 4) Organize courses in a way which supports data generation. Considering these improvement propositions, this research can help higher education institution managers both improve the life cycle times of learning analytics projects, and the quality of the project results, while simultaneously enhancing the learning of their students.Kun viime vuosikymmenen aikana oppimisen hallintajärjestelmien käytöstä kurssialustoina tuli korkeakoulutuksen standardikäytäntö ja suuria määriä oppimiskäyttäytymisdataa alettiin kerätä entistä enemmän, oppimisanalytiikan ja opetuksellisen tiedonlouhinnan suosio alkoi merkittävästi kasvaa tiedeyhteisöissä. Oppimisanalytiikan tutkimusta tehtiin mm. kurssien lopputulemien ennustamiseen, kuten kurssin keskeyttämiseen sekä kurssiarvosanoihin liittyen, niin online- kuin sulautuvan oppimisen ympäristöissä. Kuitenkin tutkimus siitä, millaisiin haasteisiin oppimisanalyytikan tutkijat törmäävät, kun he toteuttavat oppimisanalytiikan projekteja korkeakouluinstituutioissa, on tänä päivänä lähes olematonta. Kun oppimisanalyytiikan tutkijat työskentelevät korkeakoulujen kanssa, jotka eivät ole vielä valmistelleet sisäisiä prosessejaan oppimisanalytiikkaprojekteja tukeviksi, oppimisanalyytikot voivat törmätä haasteisiin mm. dataan käsiksi pääsyn tai epälaadukkaan datan kanssa. Näin ollen heidän projektinsa voivat kärsiä viivästymisistä tai epäkäytännöllisistä tuloksista. Tämä tutkimus keskittyy identifioimaan suurimmat haasteet mihin oppimisanalyytikot kussakin projektin vaiheessa törmäävät toteuttaessaan projektejaan. Tutkimus on tehty refleksiivisenä tapaustutkimuksena (reflexive case study) Aalto-yliopistolle ja tapaustutkimuksena on käytetty kurssin suorittamisen en-nustemallinnusprojektia, jossa on hyödynnetty markkinoinnin opiskelijoiden oppimisdataa. Haasteet, jotka tapaustutkimuksessa tunnistettiin, esiintyivät vain datan keräämis- sekä esikäsittelyvaiheissa. Projektin alussa opiskelijadatan tietosuojahaasteet ajoivat aloittamaan monimutkaisen juridisen luvanhakuprosessin, joka suuren työmääränsä takia viivästytti hieman luvan saamista dataan käsiksi pääsyyn. Seuraavaksi oli edessä datan manuaalinen poiminta sekä datan integrointi kahdesta opiskelijadatanjärjestelmästä yhdeksi datasetiksi, joka johti suureen määrään puuttuvaa dataa. Myös datan laatu paljastui heikoksi epästandardisoidun sekä paikoittain jopa olemattoman datankeruun takia oppimisen hallintajärjestelmässä. Lopulta suurin osa datasta piti karsia kokonaan epälaadukkaan datan sekä eri kurssien välisen vertailukelvottomuuden takia, ja ennustusmalli pystyttiin onnistuneesti rakentamaan vain yhdelle markkinoinnin kurssille. Perustuen koettuihin haasteisiin, tämä tutkimus tarjoaa myös kehitysehdotuksia korkeakoulujen johtajille – niin sisäisten prosessien parantamiseksi, kuin uusien prosessien kehittämiseksi ja näin ollen haasteiden ylitsepääsemiseksi. Tutkimuksen kehitysehdotukset ovat: 1) Luo standardisoitu prosessi dataan käsiksi pääsyn luvan hakemiselle ja myöntämiselle; 2) Ota käyttöön oppimisanalytiikan tietojärjestelmä helpottamaan ja tehostamaan datan integrointia; 3) Harmonisoi kurssien ja kurssisivujen rakenteet niin, että muuttujien luominen voidaan toteuttaa automatisoidummin; 4) Järjestä kurssit niin, että edesautat datankeruuta. Näiden kehitysedotusten myötä tämä tutkimus auttaa korkeakoulujen johtajia niin tehostamaan oppimisanalytiikkaprojektien läpimenoaikoja, kuin parantamaan niiden laatua, ja näin ollen myös tehostamaan opiskelijoiden oppimista