Multi-spectral object tracking and prediction of kinematic quantities

Thesis (MSc)--Stellenbosch University, 2021.ENGLISH ABSTRACT: The use of convolutional neural networks in object identification is well-documented and useful in a variety of applications. Particularly, when combined with a tracking algorithm such as SORT or DeepSORT, a convolutional network can lay the foundation for accurately tracking multiple objects in motion. There are many well-known cases of observation of motion leading to hypothesis and modelling through experimentation, particularly in object motion and trajectory. However, this work investigates the viability of deep learning models and recursive filtering to perform observations and predictions based on models. This leads to the idea of using neural networks and tracking algorithms to perform observation and tracking of an object’s trajectory. In addition, there is the extension of this application to motion prediction, such as estimating the future trajectory of an object, which can further be used to determine other useful kinematic quantities. For tracking an object in motion, an object tracking algorithm will be used to track moving vehicles. Generally, this can be applied to track any object. The use of Kalman filters is common for these estimation tasks, particularly for estimating an object’s position at a time dt a few seconds ahead. With the use of a suitable motion model for the objects being tracked, one can increase the effectiveness of these filters. Another compelling idea is the combination of multiple Kalman filters into one estimator, since a single filter can hold just one motion model. Each filter, in this way, can account for at least one possible state of the object in motion. An attempt is also made to apply this algorithm to a non-visible spectrum. The infrared spectrum is useful for tracking in low-light environments, or for tracking thermal information. This can be achieved by applying an infrared filter, or the use of suitable infrared camera to obtain an infrared dataset. Finally, there is an interacting multiple model estimator for predicting future states of objects being tracked. Such a filter is composed primarily of Kalman filters, each with their own motion model. A comparison is made between ground truth trajectory data and predictions from the estimator. Choice of coordinate system can also be important when tracking objects in motion. For example, for application to real-time GPS logging, these coordinates will need to be sensible enough for estimation outside of the camera pixel boundaries. For this problem, note the usefulness of a perspective mapping, using homogeneous coordinates and relevant GPS data [1].AFRIKAANSE OPSOMMING: Die gebruik van "convolutional neural networks" in voorwerp identifikasie is goed gedokumenteer en nuttig in ’n verskeidenheid toepassings. ’n "Convolutional network" lê die grondslag vir die akkurate opsporing van verskeie voorwerpe in beweging as dit gekombineer word met ’n opsporingsalgoritme soos "SORT" of "Deep- SORT". Baie bekende gevalle is opgemerk en waargeneem wat gelei het tot hipoteses en modellering deur eksperimentering, veral in voorwerpbeweging en trajeksie. Hierdie studie ondersoek die lewensvatbaarheid van diepleermoddele en rekursiewe filtering om waarnemings en voorspellings op grond van modelle uit te voer. Dit lei tot die idee om neurale netwerke en opsporingsalgoritmes te gebruik om waarneming en opsporing van ’n voorwerp se trajeksie uit te voer. Daarbenewens is daar ook die uitbreiding van hierdie toepassing na bewegingsvoorspelling, soos om die toekomstige trajeksie van ’n voorwerp te skat. Dit kan ook verder gebruik word om ander nuttige kinematiese hoeveelhede te bepaal. Hierdie studie stel spesifiek belang om bewegende voertuie soos motors op te spoor. Dit kan oor die algemeen toegepas word om enige voorwerp op te spoor. Die gebruik van "Kalman filters" word oor die algemeen vir hierdie skattingstake gebruik, veral vir die skatting van ’n voorwerp se posisie met ’n tydsinterval dt en ’n paar sekondes vooruit. Die effektiwiteit van hierdie filters verhoog met die gebruik van ’n geskikte bewegingsmodel vir die voorwerpe wat opgespoor word. Aangesien ’n enkele filter slegs een bewegingsmodel kan hou, is die idee van ’n kombinasie van veelvuldige "Kalman filters" in een beramer meer sinvol. Elke filter kan op hierdie manier verantwoordelik gehou word vir ten minste een moontlike toestand van die voorwerp in beweging. ’n Poging is ook aangewend om hierdie algoritme toe te pas op ’n niesigbare spektrum. Die infrarooi spektrum is nuttig vir die opsporing in dowwe lig omgewings, of vir die opsporing van termiese inligting. Dit kan behaal word deur die toepassing van ’n infrarooi filter of die gebruik van geskikte infrarooi kamera om ’n infrarooi datastel te verkry. Laastens word ’n "interactive multiple model" beramer gekonstrueer, om die voorspelling van toekomstige toestande van voorwerpe wat opgespoor moet word, te bepaal. Hierdie "interactive multiple model" beramer bestaan, hoofsaaklik uit "Kalman filters", elkeen met ’n eie bewegingsmodel. ’n Vergelyking is gemaak tussen grondslag bewegingsdata en die voorspelling van die beramer. Die gebruik van ’n koördinaatstelsel kan ook ’n belangrike rol speel in die trajeksie van voorwerpe in beweging. ’n Voorbeeld van so ’n stelsel is die toepassing van werklike tyd vir globale posisioneringstelsel-registrasie. Hierdie koördinate moet sinvol wees vir bepaling buite die kamera pixel grense. Die probleem kan opgelosword deur die gebruik van ’n perspektiewe projeksie, in die vorm van homogene koördinate en relevante globale posisioneringstelsel data [1].Master