Hur är prestandan för NEAT jämfört med Reinforcement Learning?

This study examined the relative performance of Deep Reinforcement Learning compared to a neuroevolution algorithm called NEAT when used to train AIs in a discrete game environment. Today there are many AI techniques to choose from among which NEAT and RL have become popular alternatives. As manifested by game-related research papers these methods allow for automating AI development. With the end of Moore’s law advances in computer hardware have started leaning towards parallelism. NEAT and RL have similar yet at the same time distinct ways of training neural networks which benefit from parallelism via repetitive simulations. To evaluate both solutions a framework for statistical sampling is introduced using levels that resemble problems from the game Super Mario Bros. Adjustments were made to simplify experiments so they could be performed with little computational resources. Measurements indicated that NEAT reliably produces better AIs than RL in the studied problem classes. These findings express guidelines for game developers concerning what the right path is for them to take. Results showed that no human input is necessary for evolving solutions but that local optima can sometimes slow down learning significantly. Den här studien undersökte den relativa prestandan för Deep Reinforcement Learning jämfört med en neuroevolution-algorithm kallad NEAT när dessa användes för att träna en AI i en diskret spelmiljö. Idag finns det många AI-tekniker att välja mellan varav NEAT och RL har kommit att bli populära alternativ. Som det har visats i spelrelaterade forskningsartiklar har dessa metoder möjliggjort automatisering av AI-utveckling. I och med avstannandet gällande Moores lag har utvecklingen för datorhårdvara börjat luta mot parallellism. NEAT och RL har liknande men samtidigt distinkta tillvägagångssätt för att träna neurala nätverk vilka har gynnats av parallellism via repeterande simuleringar. För att utvärdera båda lösningarna presenteras ett ramverk för statistisk sampling som använder sig av spelsituationer som liknar problem från spelet Super Mario Bros. Justeringar gjordes för att göra experimenten mindre komplexa så att de kunde köras med mindre beräkningsresurser. Mätningar visade att NEAT tydligt producerade bättre resultat än RL för de studerade problemklasserna. Dessa upptäckter kan användas som riktlinjer för spelutvecklare angående vilka beslut de bör ta. Resultat visade att ingen mänsklig input är nödvändig för att utveckla lösningar men att lokala optima ibland kan sakta ned träningsprocessen