Partial-face Recognition using Patch-based Deep Learning: An experiment of face recognition on masked faces

Behovet for delvis ansiktsgjenkjenning for å gjenkjenne delvis-ansikter fra CCTV-opptak eller andre bilder eksisterte siden fremveksten av teknologi. Når de prøver å gjøre en forbrytelse, dekker gjerningsmennene ansiktet sitt for å skjule identiteten sin fra loven. De binder enten et lommetørkle eller bandana mens de begår forbrytelser som ran, kidnapping osv. Behovet for å gjenkjenne disse ansiktsdekte kriminelle har også skapt et behov for delvis ansiktsgjenkjenning. Men behovet har økt i dagens virkelighet, hvor bruk av ansiktsmaske har blitt en nødvendighet for å holde seg frisk. Å ha et system med delvis ansiktsgjenkjenning med høy effektivitet vil forbedre sikkerhetssystemene som passkontroll, tilgangskontroll og biometrisk ansiktsautentisering uten at folk trenger å fjerne ansiktsmasker. Denne oppgaven foreslår en metode som bruker en patchbasert tilnærming til dyp læring for ansiktsgjenkjenning av delvis ansikter dekket av ansiktsmasker. Ansiktsområdene til maskerte dekkede ansikter blir først lappet, og lappene brukes deretter til å trene et pre-trent dypt Convolutional Neural Networks (CNN), FaceNet. Modellene som ble opprettet etter opplæring av CNN med disse lappene, brukes deretter til ansiktsgjenkjenning. To fusjonsteknikker (Score-level og feature-level fusion) for lappene ble brukt, hvorav Score-level fusion ga de beste resultatene. Metodene som brukes i denne oppgaven består i å bruke et 3D ansiktsmaskeringsverktøy for å lage maskerte datasett, ansiktsgjenkjenning og -justering, en patchbasert overføringslæring og finjustering av en pre-trent deep learning-modell (FaceNet), funksjonsutvinning ved hjelp av den trente modeller, og sammenslåing av poengsum og funksjonsnivå av de forskjellige lappene. Det siste trinnet med å bruke poengsumnivåfusjonen ga lovende resultater på begge testdatasettene. Det ga en nøyaktighet på 86,75% og EER på 13,25% for FEI-datasett, og nøyaktighet på 91,395% og EER på 8,605% for TUFTS-datasett. Dette viser at delvis tildekkede ansikter av ansiktsmasker muligens kan gjenkjennes ved å bruke patchbasert dyp læring med høy nøyaktighet. Vi tror ytelsen kan forbedres ved å bruke mer variert ansiktsbildedatasett med høyt antall bilder, og posisjons- og belysningsvariasjoner for å trene modellene. Metoden kan også forbedres ved å erstatte tripletapsfunksjonen med hierarkisk tripletapsfunksjon eller quadruplet loss-funksjon, og ved å øke antall lapper for den patchbaserte dyplæringen. I fremtiden kan denne avhandlingen utvides for ansiktsgjenkjenning av andre delvis-ansiktsbilder. Nøkkelord: Convolutional Neural Network, Transfer Learning, Finetuning, Patch-based, Deep Learning, Partial-face Recognition, Support Vector Machine