Exploring DES-HyperNEAT for reinforcement learning

Hjerner i naturen har utviklet seg gjennom millioner av år, koblingene av nevroner og synapser er komplekse og det kan være milliarder av nevroner i en hjerne. Neuroevolution er et fagfelt som lager og optimaliserer kunstige nevrale nettverk ved bruk av evolusjonære algoritmer. Evolusjonen av hjerner fra naturen er en stor inspirasjon til fagfeltet. Layered deep evolvable substrate HyperNEAT (DES-HyperNEAT) er en metode som bruker evolusjon til å utvikle et kunstig nevralsk nettverk ved bruk av moduler kalt substrates som er koblet sammen via paths. Mudulartiteten i DES-HyperNEAT er et eksempel på egenskaper som er hentet fra hjerner i naturen. DES-HyperNEAT har tidligere utkonkurrerte lignende metoder på klassifiseringsproblemer, denne avhandlingen vil utforske DES-HyperNEAT på et reinforcement learning problem. Hjerner i naturen har komplekse koblinger og plasseringen av nevroner har betydning. Dette konseptet av plassering er blitt utforsket for DES-HyperNEAT for å lage kontrollerte koblinger for nevroner i det kunstige nevrale nettverket. Et annet utforsket området er muligheten for å legge til partiskhet i nevroner i det kunstige nevrale nettverket, et konsept som står sterkt i fagfeltet Deep learning. Hvordan disse konspetene påvirker DES-HyperNEAT er utforsket ved sammenlignet med relevante metoder og en spesifisert reinforcement learning algoritme