Exploring data assignment schemes when training deep neural networks using data parallelism

Den stadig økende størrelsen på datasett har gjort det mulig for dype nevrale nettverk å utføre mange vanskelige oppgaver. Samtidig har enda større modeller vist seg å forbedre ytelsen til dype nevrale nettverk. Derimot har den enorme mengden datainnsamling med større modeller ført til at treningen har blitt uoverkommelig beregningsdyktig for en enkelt arbeider. Som sådan blir treningen parallellisert over flere arbeidere. Gjennom et litteraturstudie finner vi at tidligere arbeid hovedsakelig fokuserer på modellen, dens hyperparametre og kommunikasjonsmetoden når det skaleres til et stort antall arbeidere. Vi finner også at det, etter vår kunnskap, ikke eksisterer noen undersøkelse av hvordan datamengden tilgjengelig for hver enkelt arbeider påvirker nøyaktigheten. I denne oppgaven undersøker vi derfor effektene av forskjellige datafordelingstrategier når vi trener dype nevrale nettverk ved bruk av data parallelisme. Vi finner ingen signifikant forskjell i nøyaktighet mellom datamengden tilgjengelig for hver enkelt arbeider når vi synkroniserer i hvert steg. Når vi reduserer antall kommunikasjonsrunder, finner vi imidlertid at tildeling av overlappende data kan forbedre nøyaktigheten når partistørrelse/læringsrate forholdet er forskjøvet til en viss grad, sammenlignet med å tildele ikke-overlappende data