Eye-Blink Detection Using Facial Landmarks

Práce se zabývá detekcí mrkání očí ve videozáznamu pořízeném standardní webkamerou. V nedávné době byly představeny obličejové detektory na detekci a sledování významných bodů v obličeji. Tyto detektory dosahují výborných výsledků a jsou velmi robustní vůči různorodému osvětlení, rozlišení obličeje v obraze a výrazu v tváři. Ukážeme, že s pomocí těchto obličejových detektorů umíme spolehlivě odhadnout míru otevřenosti oka. Algoritmus tedy nejdříve odhadne významné body v obličeji, potom z těchto bodů vypočítá skalární hodnotu jako poměr výšky a šířky oka (eye aspect ratio EAR), která charakterizuje míru otevřenosti oka v každém snímku videosekvence. Mrknutí jsou pak detekována buď SVM klasifikátorem, který se naučí charakteristický vzor mrknutí z EAR hodnot v krátkém časovém úseku a nebo jsou mrknutí detekována skrytým Markovovým modelem, který v každém snímku určí, zda je oko zavřené nebo otevřené, a na základě délky mrknutí pak stavový automat rozpozná která zavření očí znamenala mrknutí. Navrhované metody pracují v reálném čase a dosahují srovnatelných výsledků se state-of-the-art.A real-time algorithm to detect eye blinks in a video sequence from a standard camera is proposed. Recent landmark detectors, trained on in-the-wild datasets exhibit excellent robustness against face resolution, varying illumination and facial expressions. We~show that the landmarks are detected precisely enough to reliably estimate the level of the eye openness. The~proposed algorithm therefore estimates the facial landmark positions, extracts a single scalar quantity -- eye aspect ratio (EAR) -- characterizing the eye openness in each frame. Finally, blinks are detected either by an SVM classifier detecting eye blinks as a pattern of EAR values in a short temporal window or by hidden Markov model that estimates the eye states followed by a simple state machine recognizing the blinks according to the eye closure lengths. The proposed algorithm has comparable results with the state-of-the-art methods on three standard datasets