Investigating the Effect of Samples per Class and Number of Classes for Capsule Networks' Performance

Bildeanalyse er allestedsnærværende i daglige tjenester, for eksempel ansiktsgjenkjenning for å låse opp telefonen, QR-koder og algoritmer for bildeforbedring. Store bransjer som autonome kjøretøy, autonome lager, samlebånd og medisinsk diagnose er avhengig av nøyaktige robuste løsninger for sine bildeanalysemodeller. Ulike convolutional nevrale nettverk (CNN) er ryggraden i de fleste av disse moderne applikasjonene. Til tross for CNNs store suksess, har de problemer med modellering av romlige forhold og sliter med å ekstrapolere konsepter som rotasjon. En ny arkitektur, kapselnettverk, som tar sikte på å takle disse manglene foreslås av Hinton et al. (2011) og Sabour et al. (2017). Et kapselnettverk grupperer nevroner som enheter (kapsler) som kan representere om en gjenstand (eller del av et objekt) eksisterer så vel som dens egenskaper (rotasjon, fargetone, lysstyrke). Kapslene har også dynamiske forbindelser som er enig når en kapsel er relatert til en kapsel i laget over. Disse endringene gjør det mulig for kapselnettverk å utnytte romlige forhold mellom komponenter av objekter og generalisere bedre i nye tilfeller med litt forskjellige egenskaper. Hvis kapselnettverket generaliseres bedre enn vanlige CNN-er, er en lovende applikasjon for kapselnettverk små datasett. Denne masteroppgven undersøker ytelsen til kapselnettverk på undergrupper av MNIST datasettet med få prøver per klasse, fra 1 til 100 prøver per klasse. I tillegg blir en undersøkelse av kapselnettverkets ytelse på datasett med 2 til 1623 antall klasser utført på Omniglot datasettet, for å oppdage hvordan kapselnettverket presterer og skalerer til denne utfordringen. I begge eksperimentene i denne oppgaven sammenlignes kapselnettverk med en CNN grunnlinjemodell. Det første eksperimentet sammenlignet ytelsen til kapselnettverket fra Sabour et al. (2017) (CapsNet) og CNN modellen fra Sabour et al. (2017) på små datasett. Kapselnettverket overgikk konsekvent CNN modellen, i motsetning til resultatene fra tidligere funn av Schlegel et al. (2018). Den gjennomsnittlige forskjellen i nøyaktighet mellom CapsNet og CNN modellen var på 7%. Det andre eksperimentet sammenlignet modellene fra forrige eksperiment, modifisert for større input og output. Kapselnettverket overgikk CNN modellen på datasett med mange klasser. Imidlertid skalerte CNN mye bedre m.t.p. modellparametere smmenligned med kapselnettverket. Mens CNN-parametrene bare øker med 3% fra 2 til 1623 klasser, økte kapselnettverket i dette tilfellet med 785%. Modellen var for stor, så den måtte reduseres i kapasitet for å redusere GPU-minnet, pga tilgjgenlige resursser. For 400 klasser oppnådde CapsNet testnøyaktighet på 52.12%, i motsetning til CNN-baseline med en testnøyaktighet på 20.63%. CapsNet-modellen modifisert for 400 klasser hadde 489% flere modellparametere enn den sammenlignede CNN modellen. Ubalansen i antall parametere gjør det vanskelige å sammenlignde modellene. Framtidig arbeid bør undersøke løsninger for skalering av kapselnett til mange klasser