Päästä päähän -syväoppimismenetelmien sovellus itseajavien autojen ohjaukseen

Autonomous driving is challenging on roads without lane markings and in difficult weather conditions. In this master's thesis we present a deep learning method for autonomous steering in various road types and weather conditions when the driving objective is to stay on the current lane. The method utilizes a convolutional neural network architecture for analyzing a frontal colour camera image and a range image generated from a lidar sensor, and it predicts the car steering wheel angle in this end-to-end approach. The model was trained with 28 hours of driving data collected in Southern Finland and Western Lapland areas. The training data was augmented by simulating small positional changes in the sensor locations for training the model to steer back to the lane center from displaced positions. Several models utilizing different types of sensor data were trained in order to compare the operational reliability between them. Our best methods achieved a 96% level of autonomy (fraction of autonomously driven time when staying on the current lane) on a challenging 9.5 km road with lane lines, several steep curves and hills and 98% level of autonomy on a 3.7 km road without lane lines, consisting mostly of a gravel road. We observed a 0-3% increase in the level of autonomy when the model utilizing both lidar and camera data was compared to a model utilizing only camera data. Various other tests of successful autonomous steering were also performed in different road and weather conditions.Autonominen ajaminen on haastavaa kaistaviivattomilla teillä ja vaikeissa sääolosuhteissa. Tässä diplomityössä esitetään syväoppimismenetelmä autonomiseen ohjaukseen lukuisilla eri tietyypeillä ja vaihtelevissa sääolosuhteissa, kun ajon päämäärä on pysyä nykyisellä kaistalla. Menetelmä käyttää konvolutiivista neuroverkkoa auton etukameran värikuvan ja laserkeilaindatasta tuotetun etäisyyskuvan analysointiin ja se ennustaa ratin ohjauskulman tässä "päästä päähän" -tyyppisessä toteutuksessa. Malli koulutettiin 28 tunnilla ajodataa, joka on kerätty Etelä-Suomen ja Länsi-Lapin alueelta. Mallin koulutusdata augmentoitiin lisäämällä siihen pieniä sensorien sijaintipoikkeamia, jotta malli oppisi korjaamaan auton poikenneesta sijainnista takaisin kaistan keskelle. Useita malleja koulutettiin erilaisilla sensorisyötteillä, jotta niiden toimintavarmuutta voidaan verrata keskenään. Parhaimmilla menetelmillä saavutettiin 96% tason autonomia (autonomisen ajon ajallinen osuus, kun pysytään nykyisellä kaistalla) haastavalla 9.5 km pitkällä kaistaviivoitetulla, mutkaisella ja mäkisellä tiellä ja 98% tason autonomia 3.5 km pitkällä kaistaviivattomalla tiellä, joka koostui enimmäkseen soratiestä. Verrattuna pelkkää kameraa käyttävään malliin sekä lidar- että kameradataa hyödyntävä algoritmi tuotti 0-3% autonomian tason nousun. Työssä tehtiin myös lukuisia muita onnistuneita autonomisen ohjauksen testejä eri tie- ja sääolosuhteissa