Sensor Fusion In Advanced Driver Asistance Systems In The Scope Of Intelligent Vehicles

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2014Thesis (PhD) -- İstanbul Technical University, Institute of Science and Technology, 2014Güvenli Sürüş Projesi kapsamında, 2005 yılında İstanbul içinde şehiriçi ve çevreyolunu kapsayacak şekilde belirlenmiş 25 km’lik bir rotada araç çevresi, yol ve sürücü davranışları hakkında veri toplayan sensörlerle donatılmış Güvenli Sürüş aracının 108 farklı sürücü tarafından kullanılmasıyla toplanan verilerden oluşan bir veri tabanı oluşturulmuştur. Bu tezin ikinci bölümünde bu veritabanından rastgele seçilen sürücülerin verileri kullanılarak sürücünün fren pedal basıncı, gaz pedal ile direksiyon açısı kullanımı gibi sensör verilerinin marjinal dağılım analizi gerçekleştirilmiş, frekans spektrumları incelenmiş ve literatür ile karşılaştırılmıştır. Güvenli Sürüş aracı üzerinde bulunan lidar sensörü, çevre koşulları ile ilgili radar sensörüne göre daha çok bilgi sağlayabildiğinden İleri Sürüş Destek Sistemleri’nin (İSDS) gelecekteki uygulamalarında lidar kullanılması beklenmektedir. Bu sebeple üçüncü bölümde Güvenli Sürüş aracından alınan lidar verisinin detaylı analizi üzerine yoğunlaşılmıştır. Fren, gaz pedal basıncı, lidar ile GPS sensörü verilerinin zamanları eşitlenerek farklı sensör verilerinin birlikte incelenmesine temel oluşturulmuştur. İki farklı sürücü için takip mesafesi - araç hızı grafiğinden iki farklı sürüş karakteristiği tespiti yapılmıştır. Önemli bir sürüş parametresi olan takip süresi tanımlanmış ve örnek bir sürücü için sıkışık trafik ve çevreyolunda incelenmiştir. Izgara temelli ve nokta mesafe temelli yöntemler kullanılarak lidar verisinde Güvenli Sürüş aracının önündeki farklı araçlar tespit edilmiştir. Nokta mesafe temelli yöntem seçilip kullanılarak lidarda tespit edilen araçları bir sonraki lidar taramasında tanımak ve izlemek için Kalman filtresi kullanılmıştır. Kalman filtresi ile tespit edilen takip süresinin lidar taramasındaki araca dik doğru boyunca en yakın araç tespit edilerek tespit edilen takip süresine göre üstün yönleri tespit edilmiştir. Şehiriçi ve çevreyolunda Kalman filtresi ile tespit edilen ön araç takip süreleri farklı sürücüler için karşılaştırılmıştır. THW, araç hızı, bağıl mesafe, fren ve gaz basınçları kullanılarak farklı grafik denemeleri sunulmuştur. Bu veriler ışığında %90’ı sürücü hatasından kaynaklanan trafik kazalarını önlemek ve sürücü iş yükünü azaltmak için İleri Sürüş Destek Sistemleri ve otonom araç gerekliliği üzerinde durulmuştur. Dördüncü bölümde, üçüncü bölümde kazaları önlemek için tavsiye edilen İleri Sürüş Destek Sistemleri’nden araştırma grubumuz MEKAR takımının GCDC 2011 yarışmasında geliştirmiş olduğu Adaptif Seyir Kontrolü (ASK) sistemi Güvenli Sürüş proje veritabanından alınan sürüş verileri kullanılarak test edilmiştir. Güvenli Sürüş projesi verilerinden seçilmiş bir hız profiline sahip araç, kendi ASK kontrolcümüzün denetimindeki sanal araç tarafından takip edilmektedir. Bu test, ASK sisteminin İstanbul trafiğinde test edilmesi anlamına gelir. Güvenli Sürüş projesinden seçilen farklı sürücüler için takip süreleri incelenmiş ve ASK sisteminin gerekliliği vurgulanmıştır. Bir sonraki adım olarak, aynı ASK sistemi Carsim simülasyon ortamında aynı senaryo ile test edilmiştir. ASK sistemini Carsim sanal ortamında test ederken araç dinamiği GCDC’de kullanılan modelden daha kompleks bir model olan Carsim araç modeli olarak alınmıştır. Bu sanal ortam değişik senaryolarda ve farklı trafik koşullarında ASK sisteminin testine zemin oluşturur. Karayolu taşıtlarında yüksek otomasyonlu sürüş (YOS) amacıyla, İleri Sürüş Destek Sistemleri’nden biri olan Kooperatif Adaptif Sürüş Kontrol sistemi kullanılarak yapılan kooperatif sürüş ve otonom yörünge takibi için GPS sensör konumunun kullanımı iki güncel araştırma konusudur. Bu iki uygulamada da alınan GPS verisinin yüksek doğrulukta olması ve hızlı örneklenmesi gerekir. Beşinci bölümde tek başına GPS kullanımı ile karşılaştırıldığında daha hızlı örnekleme ve daha doğru konum ve hız verisi sağlayan geçici GPS kesilmelerinde belirli bir süre GPS konum ve araç hızı verisini tahmin edebilen bir gevşek bağlı GPS/INS entegrasyonu üzerine çalışılmıştır. Yol testlerine geçmeden önce ön hazırlık olarak Carmaker sanal ortamında INS algoritması ve GPS/INS entegrasyonu denenmiştir. Burada amaç farklı örnekleme frekanslarının, hatalarının ve viraj etkisini incelemek ve GPS/INS entegrasyonunu kullanarak GPS sensöründen daha yüksek örnekleme frekansında araç konum ve hız bilgisini yayınlamaktır. Deney kısmında ilk olarak GPS/INS entegrasyonunu kendi içinde gerçekleştiren hazır bir sensöre sadece rotasyon açıları uygulanarak literatürde yaygın olarak kullanılan çeşitli INS algoritmaları denenmiştir. INS algoritmalarının doğruluğu test edildikten sonra deneysel aracın yol testlerinde belirlenen bir rotada hazır sensör ile kendi programında veri toplanmıştır. Daha sonra toplanan bu veriler Matlab Simulink ortamında genişletilmiş Kalman filtresi kullanılarak geliştirilmiş olan farklı GPS/INS entegrasyonu yöntemlerinde kullanılmıştır. Düzlemsel INS denklemleri çıkarılmış ve düzlemsel GPS/INS entegrasyonu denenmiştir. Açık ve kapalı GPS/INS entegrasyonları karşılaştırılmıştır.The DriveSafe project was carried out by a consortium of university research centers and automotive OEMs in Turkey to reduce accidents caused by driver behavior in 2005. A huge amount of driving data was collected from 108 drivers who drove the instrumented DriveSafe vehicle named “AWAKE” in the same route of 25 km of urban and highway traffic in İstanbul. DriveSafe vehicle is equipped with many sensors. These sensors are gps, imu, lidar, cameras, microphones, EEG headset, brake pedal and gas pedal pressure sensor. Also vehicle speed and steering wheel angle are acquired from ECU through Canbus. In the second part, brief introduction to DriveSafe project is given first and the main route is explained. Then, randomly selected drivers from DriveSafe database are investigated by using sensor outputs like steering wheel angle, brake pedal pressure and gas pedal pressure which is called marginal distribution analysis. Steering wheel angle, brake pedal pressure, gas pedal pressure and percent gas pedal usage are shown in histograms. Also standard deviations of them are presented. Fast Fourier Transform is applied to sensor outputs to examine frequency components in these signals. It is found that driver steers and applies pressure to gas and brake pedal under 1 Hz. Advanced Driver Asistance Systems (ADAS), Adaptive Cruise Control (ACC), Cooperative Adaptive Cruise Control (CACC), Collision Warning and Avoidance systems and highly autonomous driving systems needs information about the lead vehicle. Radar is usually used to get this information. In the future implementations of ADAS, lidar is expected to be widely used as it gives more information about the environment. That’s why in the third part of this doctoral thesis concentrated on lidar data analysis from the DriveSafe vehicle. Canbus, gas, brake pedal sensor sampling frequency is reduced to lidar and GPS frequency to evaluate all sensor data together. To get driver characteristics, two driver’s local minimum and local minimum of local minimum of following distances with respect to vehicle speed are compared. A simple algorithm that only looks at the forward direction along a straight line is used first in lidar analysis. Then time headway parameter is detaily explained. Headway times based on this simple approach are presented for an example driver. For that driver THW is calculated for highway traffic and eliminating data for lower speeds allowed to calculate THW at congested traffic. After that the aim was to detect the lidar points belong to same object or not. Grid based and point distance based segmentation methods are investigated. Grid based method is presented first. Grid based method divides lidar area into cell grids and probabilities are appointed to cell grids. Connected components labeling algorithm is used to detect cells are connected or not. Then, point distance based segmentation method is presented. The vehicles are detected by using point distance based method in lidar data. This algorithm is based on comparing the distance between two lidar points with a threshold to decide whether this points belong to the same object or not. After selecting point distance based method, Kalman filter is used to detect and track vehicles in lidar scanning. Kalman filter approach is superior to the simple approach that mentioned before as it eliminates the lidar maximum target length from the THW calculations when lidar doesn’t see any object. The results are demonstrated using experimental data and compared with the test video. The data from the lidar is used here to determine and record the headway time characteristics of different drivers in highway and urban roads. Minimum, maximum, mean and standard deviation of headway times are calculated for selected drivers. Different graphics are plotted using THW, vehicle speed, relative distance, brake and gas pedal pressure. In the lighting of these informations to avoid 90% amount of traffic accidents arising from driver mistakes and to reduce the workload on the driver, the need to ADAS systems like ACC, CACC or autonomous car is demonstrated. In the fourth part, an existing Adaptive Cruise Controller (ACC) which is an example of ADAS system, based on the previous work of our research group Mekar is tested in a realistic simulation setting using actual driving data taken from the DriveSafe project database. The DriveSafe project database generated actual car is selected as the leading vehicle. This is followed by a virtual vehicle with ACC. The ACC controller and the vehicle model are taken from the actual Team Mekar vehicle that was tested in the Grand Cooperative Driving Challenge 2011 (GCDC 2011) cooperative mobility experiments. This study is used for evaluating our ACC design in a realistic laboratory setting with real world data. The vehicle model is taken as longitudinal vehicle model. Engine and transmission is modelled with the engine maps built from the chasis dinamometer tests. Braking system works with controlling the brake pedal with an electrical motor. It is modelled with system identification to use in offline simulation experiments. ACC’s PD type controllers gains are tuned with LQR controller. Stateflow between gas and brake is given. ACC is made up with upper level controller and lower level controller. These controllers are detailly explained. The velocity and displacement of lead and following driver are plotted together when the headway time is set by ACC driver to 1 sec. THW parameter is plotted to show how well Adaptive cruise controller works. Also THW parameter is set to 0.6 sec to show ACC performance at lower headway times. After that the same experiment for different drivers with 1 sec THW is repeated to investigate ACC system statistically. As a further step, the same ACC controller was also implemented and tested in the Carsim environment with the additional benefit of being able to add other cooperating vehicles and traffic conditions. The vehicle mathematical model should be changed to one of complex Carsim car models as it is not possible to use user mathematical model in Carsim. Use of communicated GPS position and velocity information in adaptive cruise control and cooperative adaptive cruise control with the purpose of cooperative driving and the use of GPS position for automated path following in highly automated driving are two current research applications requiring fast and accurate GPS updates. In the fifth part, based on previous experience, a loosely coupled GPS/INS integration system is presented in this paper to allow faster updates as compared to the use of GPS only and to provide accurate position/velocity information in the presence of temporary losses of GPS fix. An INS algorithm and GPS/INS integration are presented in a realistic simulation setting. The aim is to analyze the effects of different sampling rates of sensors, errors, cornering and to use GPS/INS fusion to broadcast position data at a higher rate than GPS. The DCM method is used to estimate rotations in a inertial measurement unit. As a prerequisite before road testing with our experimental vehicle, GPS/INS is fused using the extended Kalman filter in a highly realistic simulation setting. In the experimental part, firstly by giving some rotations to Xsens MTI-G in its axis. which is used as an IMU and a reference sensor, INS algorithms named as DCM, Phuong’s DCM, Euler, Quaternion are tested. After the INS algorthms are tested, in a decided route GPS and IMU data are collected through reference sensor. After that, the collected data is read in Matlab Simulink environment to run DCM based and Phuong’s DCM based GPS/INS fusion methods with using extended Kalman filter. As the road vehicles travel on generally flat roads, by neglecting roll and pitch angles 2D GPS/INS integration is applied and 2D INS equations are derived with two different methods. Moreover, closed loop and open loop GPS/INS integration are compared.DoktoraPh