Stochastic Gradient Descent in Machine Learning

Vissa problem som för människor är enkla att lösa, till exempel: att känna igen siffror och sagda ord, är svårt att implementera i datorprogram. Till exempel, den mänskliga intuitionen att känna igen siffran åtta ’’\textit{8}’’ är att notera två slingor ovanpå varandra, detta visar sig vara svårt att representera som en algoritm. Med maskininlärning är det möjligt att angripa problemet på ett nytt, enklare, sätt där datorprogrammet lärs att känna igen utformningar som datorprogrammet drar slutsatser från. I denna kandidatuppsats implementeras ett sifferigenkänningsprogram och parametrarna i ’’stochastic gradient descent’’ analyseras i deras påverkan av programmets beräkningshastighet och träffsäkerhet. Dessa parametrar är ’’learning rate’’ $\Delta t$ och ’’batch size’’ $N$. Det implementerade programmet för sifferigenkänning hade en träffsäkerhet på omkring 95 \% när det testades och tiden per iteration var konstant under träningen av programmet, samtidigt som den ökade linjärt med ökad batch size. Låga learning rates resulterade i låg men stadig konvergens medans större resulterade i snabbare men mer instabil konvergens. Större batch sizes förbättrade konvergensen men på bekostnad av längre beräkningstid.Some tasks, like recognizing digits and spoken words, are simple for humans to complete yet hard to solve for computer programs. For instance the human intuition behind recognizing the number eight, ''\textit{8}'', is to identify two loops on top of each other and it turns out this is not easy to represent as an algorithm. With machine learning one can tackle the problem in a new, easier, way where the computer program learns to recognize patterns and make conclusions from them. In this bachelor thesis a digit recognizing program is implemented and the parameters of the stochastic gradient descent optimizing algorithm are analyzed based on how their effect on the computation speed and accuracy. These parameters being the learning rate $\Delta t$ and batch size $N$. The implemented digit recognizing program yielded an accuracy of around $95$ \% when tested and the time per iteration stayed constant during the training session and increased linearly with batch size. Low learning rates yielded a slower rate of convergence while larger ones yielded faster but more unstable convergence. Larger batch sizes also improved the convergence but at the cost of more computational power