Explainable AI (XAI) for grid loss forecasting

Å predikere fremtidige verdier av tidsseriedata er en viktig del av driften til mange bedrifter og virksomheter innen mange ulike sektorer. Når forholdene er stabile, kan man fokusere på å optimalisere prediksjonsmodellene og dermed oppnå mest mulig effektiv drift eller oppnå best mulig finansielle resultater. Dersom forholdene endres, kan prediksjonene plutselig bli mye verre, og potensielt få store finansielle eller operasjonelle konsekvenser. I slike situasjoner kan det være avgjørende å ha innsikt i hvordan prediksjonsmodellene fungerer og hvordan de kan forbedres. For maskinlæringsmodeller som ikke er transparente, kan dette oppnås ved hjelp av forklaringsmodeller. Dette prosjektet er basert på kraftprodusenten TrønderEnergis jobb med prediksjon av nettap, som er tap av elektrisk energi i distribusjonsnettverket. Hver dag kl 12 må TrønderEnergi melde inn hvor mye energi som de forventer vil gå tapt i distribusjonsnettet for hver time den neste dagen. Dette prosjektet har tatt utgangspunkt i dette prediksjonsproblemet og tilhørende datasett, og målet har vært å utforske hvordan best forklare prediksjoner til maskinlæringsmodeller, som kan hjelpe domeneeksperter til å få innsikt i hvordan prediksjonsmodellene har brukt dataene og eventuelt hva som har bidratt til dårlige prediksjoner. Dette kan bidra til å fortelle når man kan ha tillit til prediksjonene og når man må finne alternativer. Arbeidet startet med en gjennomgang av literaturen innen feltet forklarbar kunstig intelligens, forkortet XAI, som resulterte i en beskrivelse av state-of-the-art og identifisering av aktuelle metoder som kunne passe til problemet. Deretter ble noen av disse metodene valgt ut basert på noen kriterier for videre uttesting, som hva slags forklaringer de kunne produsere. Eksperimenter ble utført med utvalgte metoder på nettap-datasettet til TrønderEnergi, og resultatene ble gjennomgått og evaluert sammen med domeneeksperter hos TrønderEnergi. Spesielt forklaringene for dagene med dårligst prediksjoner ble studert. En hypotese underveis i arbeidet var at komplekse prediksjonsmodeller som gir ut tolkbar informasjon om indre parametere kunne gi bedre forklaringer enn separate forklaringsmodeller som ikke har noe informasjon om det indre i en prediksjonsmodell. Et eksempel på slik indre informasjon kan være vekter i et nevralt nettverk. Resultatene i dette arbeidet har vist det motsatte, at den beste fremgangsmåten for et slikt prediksjonsproblem er å ha separate prediksjons- og forklaringsmodeller. Da kan man optimalisere prediksjonsmodellen til å gi best mulig prediksjoner, og forklaringsmodellen kan gi forklaringer. Spesifikt ga metoden SHAP gode forklaringer som virket nyttige for domeneekspertene