Olay kamerası ile yüz pozu hızalama için evrişimsel ağların kullanılması

Abstract

Event camera offers substantial advantages over conventional video cameras with their efficiency, extremely high temporal resolutions, low latency, and high dynamic range. These benefits have led to applications in various vision domains. Recently they have been applied in facial recognition tasks as well. However, while significant advantages of event cameras in some facial processing tasks have been demonstrated, the initial stage in almost any task, i.e., face alignment, is not at par with the conventional cameras. This study investigates the use of face alignment convolutional networks regarding both performance and complexity for event camera processing. Our aim is event camera face pose alignment that can be used as an efficient preprocessor for facial tasks. Therefore, we comparatively evaluate simple convolutional coordinate regression with a hybrid of coordinate and heatmap regression, known as pixel-in-pixel regression. Our experimental results reveal the superior performance of the hybrid method. However, we also show that if there is a computation bottleneck, simple convolutional coordinate regression is preferable for their low resource requirements though at the expense of some performance loss.

Olay kameraları, verimlilikleri, son derece yüksek zamansal çözünürlükleri, düşük gecikme süreleri ve yüksek dinamik aralıkları ile geleneksel video kameralara göre önemli avantajlar sunmaktadır. Bu avantajlar çeşitli görme alanlarında uygulamalara yol açmıştır. Son zamanlarda yüz tanıma görevlerinde de uygulanmışlardır. Bununla birlikte, bazı yüz işleme görevlerinde olay kameralarının önemli avantajları gösterilmiş olsa da, hemen hemen her görevdeki ilk aşama olan yüz hizalama, geleneksel kameralarla aynı seviyede değildir. Bu çalışma, olay kamerası işleme için hem performans hem de karmaşıklık açısından yüz hizalama problemini çözmede evrişimsel ağlarının kullanımını araştırmaktadır. Amacımız, yüz görevleri için verimli bir ön işlemci olarak kullanılabilecek olay kamerası yüz pozu hizalamasıdır. Bu nedenle, basit evrişimsel koordinat regresyonunu, piksel içinde piksel regresyonu olarak bilinen koordinat ve ısı haritası regresyonunun bir hibrit yöntemi ile karşılaştırmalı olarak değerlendiriyoruz. Deneysel sonuçlarımız hibrit yöntemin üstün performansını ortaya koymaktadır. Bununla birlikte, hesaplama darboğazı varsa, basit evrişimsel koordinat regresyonunun, bir miktar performans kaybı pahasına da olsa düşük kaynak gereksinimleri nedeniyle tercih edilebileceğini de gösteriyoruz.