Uncertainty estimation in autoregressive exogenous networks and nonlinear autoregressive exogenous neural networks

Autoregressive eksogene (ARX) nettverk og ikke-lineære autoregressive eksogene (NARX) nevrale nettverk er avhengige av et mål på usikkerhet hvis de skal brukes til sikkerhets kritiske oppgaver, der feil valg i det verste tilfellet kan føre til alvorlige ulykker. Det finnes to hovedtyper av usikkerheter man kan estimere i nevrale nettverk; modell-usikkerhet og data-usikkerhet. Den første kommer av manglende datapunkter i treningssettet som nettverket trenes på, og den andre er forårsaket av usikkerhet knyttet til nettverkets innganger. I denne masteroppgaven er foreslås det en data-usikkerhetsestimeringsmetode som propagerer forventningsverdier og kovarianser gjennom nettverket. Denne metoden er testet på et ARX nettverk i kombinasjon med et Kalman filter, som resetter den estimerte variansen. Kalman filteres systemligninger er bestemt av ARX nettverkets modellparameter. Videre vil denne data-usikkerhetsestimerings metoden bli teste på et nevralt nettverk og et NARX nevralt nettverk. En modell-usikkerhetsestimeringsmetode vil også bli teste på et NARX nevralt nettverk. Denne bruker dropout til å estimer modell-usikkerheten. Data-usikkerhetsestimeringsmetoden kan brukes til å oppnå gode estimater for usikkerheten i ARX nettverk og nevrale nettverk. Metoden gir også et estimat for data-usikkerheten i et NARX nevralt nettverk, men dette estimatet er ikke et godt estimat på den reelle data-usikkerheten i nettverket. Model-usikkerhetsestimeringsmetoden estimerer høyere usikkerhet for prediksjoner som er underrepresenterte i treningssettet. Videre, skalerer den estimerte usikkerhet med hvor representert dataen som prediksjonen er utført på er i treningssettet