Transformer Architecture

U ovom ćemo radu objasniti kako radi transformer arhitektura. Kako možemo pojedine slojeve arhitekture sami implementirati u poznatoj biblioteci za izradu neuronskih mreža PyTorch. Nakon toga pokazat ćemo kako možemo iskoristiti našu implementaciju da izgradimo prevoditelj hrvatskog na engleski jezik.In this work, we will explain how the transformer architecture works. We will also show how we can implement individual layers of the architecture ourselves in the well-known neural network library, PyTorch. Afterward, we will demonstrate how we can use our implementation to build a translator from Croatian to English