Development of hybrid fatigue recognition system based on eye, face and yaw features using deep learning

Trafik kazaları genel olarak sürücü, araç ve çevresel etmenlerin etkileşimi sonucu oluşmakta; can ve mal güvenliğini ciddi oranda tehdit etmektedir. Bu kazalarda genellikle ana faktör insandır. Uzun süre ve/veya dinlenmeden araç kullanmak, sürücünün yorgun düşmesine ya da sürüş esnasında uyuklamasına sebep olmaktadır. Yorgun/uykusuz araç kullanmak, en az alkollü araç kullanmak kadar tehlikelidir. Görüntü işleme tabanlı yorgunluk tanımaya yönelik bu tez çalışmasında, literatürde yer alan, ücretsiz erişilebilen Cew ve YawDD veri setleri kullanılmıştır. Cew veri seti, kapalı ve açık göz görüntüleri ile kapalı ve açık gözlerin bulunduğu yüz görüntüleri içermektedir. YawDD veri seti ise esneme, konuşma, şarkı söyleme gibi davranışlarda bulunan sürücü görüntüleri barındıran video görüntülerinden oluşmaktadır. Öncelikle bu veri setinden, esneyen ve esnemeyen sürücülerin görüntü kareleri ayrıştırılmış ve ardından MTCNN yöntemi kullanılarak görüntülerdeki yüz, göz ve ağız görüntü parçaları çıkarılmıştır. Yüz, göz ve ağız görüntülerinden yorgunluk tanıma için derin öğrenme modelleri geliştirilmiştir. Ayrıca, i) yüz ve gözlerin; ii) yüz, gözler ve ağzın birlikte değerlendirildiği fonksiyonel modellerin gerçekleştirimi yapılmıştır. Çalışma, yorgunluk tanıma alanında YawDD veri seti üzerinde ve durağan yüz bölümleri görüntülerinin özniteliklerini birleştirmek üzere geliştirilen ilk modeli içermesi yönü ile yenilik içermektedir. Deneysel çalışmalar, yöntemin belirli durumlarda sınıflandırma başarısını artırabildiğini göstermektedir.Traffic accidents generally occur as a result of the interaction of driver, vehicle, and environmental factors; threat the safety of life and property seriously. People are usually the main factor in these accidents. Driving for a long time and/or without resting causes the driver to get tired or drowsy while driving. Tired/sleepless driving is just as dangerous as drunk driving. In this thesis study on image processing-based fatigue recognition, the freely accessible Cew and YawDD datasets in the literature were used. The Cew dataset includes images of closed and open eyes and facial images with closed and open eyes. On the other hand, the YawDD dataset consists of video images of drivers engaging in behaviors such as yawning, speaking, and singing. First of all, image frames of yawning and non-yawning drivers were separated from this dataset and then the face, eye, and mouth parts of the images were extracted from the images using MTCNN method. Deep learning models have been developed for fatigue recognition using face, eye, and mouth images. In addition, functional models were implemented in which i) face and eyes, ii) face, eyes, and mouth were evaluated together. The study has a contribution in the field of fatigue recognition on the YawDD dataset in that includes the first model developed to combine the features of the images of stationary facial parts. Experimental studies show that the method can increase classification success in certain situations