Analysing the influence of policy architecture choice on generalizing to new environments in deep reinforcement learning

Generalisering er evnen til å overføre kunnskap fra et kjent problem til et ukjent problem. Det er noe som i det siste har fått mye oppmerksomhet innen dyp ''Reinforcement Learning'' (RL), og har ført til både raskere trening og bedre løsnigner. I maskinlæring kan det måles ved å ha et trenings- og et evaluerings-sett med lignende, men forskjellige, problemer. ''Self-attention''-arkitekturer, som for eksempel ''transformers'', har nylig hatt gjennombrudd innen sekvensmodelleringsfelt som ''Natural Language Processing'' (NLP). RL er også avhengig av sekvensmodellering, og bør kunne benytte seg av disse gjennombruddene til å forbedre generalisering. ''Long Short Term Memory'' (LSTM), som bruker rekursjon, har vært go-to-metoden for sekvensiel data, og er det fremdeles i dyp RL. ''Transformers'' har ikke de samme innebygde tidsavhengighetene som LSTM har, og dette kan være en fordel når det gjelder generalisering. Denne oppgaven undersøker påvirkningen "transformers" og LSTM, som modell for en agent, har på agenters generaliseringsevner. Dette gjøres ved bruk av tilfeldig genererte problemer for å kunne generere det antallet forskjellige problemer som er nødvendige for å prøve å måle generalisering. Resultatene viser at LSTM fremdeles stort sett er bedre enn ''transformers'' på kjente problemer, men ''transformers'' viser at de kan matche LSTM i ytelse på ukjente problemer, under visse omstendigheter