Geometry and Transformations in Deep Convolutional Neural Networks

Tato práce zkoumá jak klasifikační chyba hlubokých konvolučních sítí (CNN) používaných pro verifikaci obrázků závisí na transformaci mezi dvěma vizuálně podobnými obrázky. Inspirování výzkumem v experimentální psychologii, který se domnívá, že lidé řeší takovéto úlohy pomocí mentální rotace pozorovaných objektů, chceme ověřit, jestli zabudování takovéhoto mechanismu do neuronových sítí vylepší jejich klasifikační přesnost. Kontréně uvažujeme 2D rotace a translace. V této práci ukážeme, že v případě rotace je nejnižší chybovost dosažena, pokud jsou oba obrázky zarovnány. Další minima jsou při 90 a 180 stupních rotace mezi dvěma vstupy. Nejnižší chybovost v připadě žádné rotace je navíc podpořena dalšími výsledky ukazujícími, že použití mechanismu "mentální rotace" před tím, než jsou obrázky poslány do verifikační neuronové sítě, výrazně zlepší klasifikační přesnost jednoduché CNN. Nakonec kvalitativně vyšetříme hluboké reprezentace za použití metod pro invereze reprezentací. Díky tomu jsme objevili invariantní vlastnosti reprezentací z první plně propojené vrstvy (FC1), která se adaptovala na rotace vstupního obrázku. Na základě našich dalších výsledků se domníváme, že v sítích trénovaných pro predikci rotace mezi dvěma obrázky, se FC1 reprezentace implicitně naučí korespondece mezi dvěma rotovanými obrázky.In this work, we investigate how the classification error of deep convolutional neural networks (CNNs) used for image verification depends on transformations between two visually similar inputs. Furthermore, inspired by research in experimental psychology suggesting that humans solve such a task by mentally rotating the observed objects, we test whether building such a mechanism into artificial neural networks improves their performance. For transformations, we consider 2D rotations and translations. We show that, in the case of rotation, the lowest error is achieved when the two inputs are aligned, followed by two minima for rotations of 90 and 180 degrees, although the difference is small for standard architectures. The difference is much more pronounced when "mental rotations", implemented by means of resampling and spatial transformer layers, are introduced in the architecture, significantly improving the performance of the vanilla architecture. Finally, we qualitatively probe deep features using a method for feature inversion. We discovered invariant properties of the first fully connected layer (FC1) features adapted to input rotation. Our results also suggest that in networks trained to predict rotation between two inputs, the FC1 features implicitly learn to establish correspondences between corner points in the rotated inputs