Data-Driven Classification in Road Networks

Connected and autonomous vehicles (CAVs) are an emerging trend in the transport sector and their impact on transportation, the economy, society and the environment will be tremendous. Much like the automobile shaped the way humans travelled, lived and worked during the 20th century, CAVs have yet again the potential to affect and reform all of these areas. Besides the imminent technological challenges on the robotic aspect of making CAVs become a market-ready reality, a plethora of ethical, social and legal questions will have to be addressed along the line. Knowledge of and interaction with the surrounding infrastructure and other actors in the system will be essential for CAVs in order to pave the way for progressive solutions to urgent sustainability and mobility issues in transportation. Road networks, i.e. the networks of roads and intersections, are the core infrastructure on which CAVs will operate. Thus, having detailed knowledge about them is key for CAVs in order to take the right decisions on both short-term actions that will affect individual traffic users in immediate situations and long-term actions that will affect entire transportation systems in the long run. Machine learning is nowadays a popular choice to extract and conglomerate knowledge from large amounts of data – and large amounts of data can be obtained about road networks. However, classical machine learning models are incapable of harnessing the graph-structured nature of road networks sufficiently. Graph neural networks (GNNs) are machine learning models of growing popularity that can explicitly leverage the complex topological structure of node dependencies in graphs, such as the ones observed in road networks. Road networks are sparse graphs that reside in a euclidean space, and therefore different to typical graphs studied in the literature. Also, crowd-sourced road network graphs often have incomplete attributes and are generally lacking the fine-grained level of detail in their encoded information that would be required for CAVs. Identifying the best representation of road network graphs and complementing their lacking detail with auxiliary data is therefore an important research direction. This thesis, therefore, addresses data-driven classification in road networks from two directions: A) the general approach of learning on spatial graphs of road network with GNNs, and B) complementing road network graphs with auxiliary data. Specifically, this thesis and the included papers address the exemplary task of road classifications and make the following contributions to the field: Paper A analyses how GNNs can be applied to road networks and how the networks are best represented. Different aggregator functions are compared on final classification performances. A novel aggregator and a neighbourhood sampling method are introduced, and the line graph transformation is identified as a suitable representation of road network graphs for GNNs. Paper B complements the road network graphs with mobility data from millions of GPS trajectories and introduces an equitemporal node spacing to create road segments of equal travel time. It further introduces remote sensing vision data as a potent complement to overcome shortcom-ings of the graph-based representation for road networks. Simple hand-crafted low-level vision features are used in this work. However, both the equitemporal node spacing and the simple vision features clearly exhibit improved classification performances. Finally, Paper C consolidates the complement of remote sensing data to the road network graphs. Through a general visual feature encoding of state-of-the-art pretrained vision back-bones that are carefully fine-tuned to the remote sensing domain, a further performance boost on the road classification task is achieved.Vernetzte und autonome Fahrzeuge sind ein aktueller Trend in der Mobilitätsindustrie und ihr Einfluss auf Transportsysteme, die Wirtschaft, die Gesellschaft und die Umwelt wird enorm sein. Die Erwartungen an diese Roboterautos sind dabei extrem hoch. Sie sollen helfen, dringliche Mobilitätsprobleme unserer zunehmend globalisierten, urbanen Lebensweise zu überwinden und nachhaltige Lösungen ermöglichen. Das Wissen um und die Interaktion mit der Infrastruktur und anderen Verkehrsteilnehmern sind dabei ausschlaggebend, um mit vernetzten und autonomen Fahrzeuge progressive Mobilitätslösungen entwickeln zu können. Das Straßennetzwerk ist dabei die Kerninfrastruktur, auf der diese Fahrzeuge agieren werden. Maschinelles Lernen und künstliche Intelligenz sind heutzutage populäre Methoden, um Wissen und Entschlüsse aus riesigen Datenmengen zu ziehen - und über das Straßennetzwerk können riesige Datenmengen gesammelt werden. Klassische Modelle des maschinellen Lernens jedoch nutzen die Graphstrutktur, die den Straßennetzwerken zugrunde liegt, nicht hinreichend aus. Doch in den vergangenen Jahren haben graphbasierte neuronale Netze (GNNs) eine immense Beliebtheit erlangt. GNNs sind Modelle des maschinellen Lernens, die explizit komplexe Topologien und Abhängigkeiten von Knoten in Graphen ausnutzen. Diese Abschlussarbeit befasst sich mit der Anwendung von GNNs auf Straßennetzwerke. Es wird erläutert, welche Repräsentationen von Straßennetzwerke für GNNs vonnöten sind. Gleichzeitig werden die Unzulänglichkeiten der Graphstruktur von Straßennetzwerken dargestellt. Die enthaltenen Publikationen befassen sich damit, Zusatzinformation aus GPS-Sensoren und Satellitenbildern zu entnehmen, um diese Unzulänglichkeiten zu überwinden. Diese Abschlussarbeit umfasst drei Publikationen und in allen dreien wird eine Klassifizierung von Straßen mittels GNNs vorgenommen. Die Klassifizierung ordnet den Straßen verschiedene Kategorien zu, die ihre relative Bedeutsamkeit innerhalb des Straßennetzwerks darstellen. Publikation A analysiert die generelle Anwendung von GNNs auf Straßennetzwerke. Verschiedene Aggregatorfunktionen - d.h. Funktionen, die die Informationen von benachbarten Straßen zusammenfassen - werden im Hinblick auf das Klassifizierungsvermögen miteinander verglichen. Des Weiteren werden eine neue Aggregatorfunktion sowie eine neue Methode zur Nachbarschaftsbestimmung von Straßen im Straßennetzwerk vorgestellt. Außerdem, wird in dieser Publikation der Kantengraph des Straßennetzwerkes, der eine Umkehrung der Knoten und Kanten des ursprünglichen Graphen darstellt, als geeignete Repräsentation hervorgehoben. Publikation B komplettiert das Straßennetzwerk mit Mobilitätsdaten von mehreren Millionen GPS-Trajektorien. Eine äquitemporale Segmentierung des Straßennetzwerkes wird vorgeschlagen. Die Segmentierung erzeugt eine Aufteilung des Straßennetzwerkes, in der jedes Straßensegment dieselbe Reisezeit hat. Außerdem, wird aufgezeigt, wie Satellitenbilder in die Graphstruktur des Straßennetzwerks integriert werden können. Von den Bildern werden handgefertigte, niedrigdimensionale Merkmale extrahiert und dem Straßennetzwerksdaten beigefügt. Sowohl die äquitemporale Segmentierung als auch die Beifügung der Satellitenbilder führen zu einer deutlichen Verbesserung des Klassifizierungsvermögens der GNNs. Abschließend bekräftigt Publikation C, dass Satellitenbilder geeignete Hilfsdaten für Straßennetzwerke sind. Es werden vortrainierte mehrschichtige neuronale Netze genutzt, um hochdimensionale Kodierungen der visuellen Merkmale von Satellitenbildern zu erzeugen. Diese Kodierungen führen erneut zu einer deutlichen Verbesserung des Klassifizierungsvermögens gegenüber der Modelle aus Publikation B. Jedoch zeigen die Ergebnisse aus Publikation C auch, dass diese mehrschichtigen neuronalen Netze behutsam auf die visuellen Merkmale von Satellitenbildern angepasst werden müssen. Dies geschieht durch sogenanntes Transferlernen mithilfe von generellen Datenbanken von Satellitenbildern