Olay kamerası için yinelemeli evrişimsel ağ yoluyla tümleşik yüz ve referans noktası yeri belirleme

Abstract

The event camera's high temporal resolution, low power consumption, and wide dynamic range make it increasingly popular in robotics, surveillance, and emerging facial applications such as identity recognition, driver monitoring, and visual speech recognition. Localizing the face and landmarks is an essential first step in facial applications. We employ a joint network with a multi-task loss to realize both tasks, avoiding the need for redundant separate models. This is achieved through the multi-task head attached to the neck, which includes a context module designed with deformable convolutions to accommodate the non-rigid variability of facial shapes. The necks are connected to the feature pyramid network (FPN), which receives input from the recurrent convolutional network layers. By experimenting with two datasets of varying characteristics, the ECFacePose and FES datasets, we demonstrate that FPN with spatio-temporal features outperforms previous face localization approaches, achieving superior landmark localization and effective small face detection. Our experiments confirm the performance benefits of the deformable convolution-based context module, temporal consistency loss, and the Rectified Wing Loss. Furthermore, we explore 12 convolutional backbones, categorizing them into lightweight, middleweight, and heavyweight classes, and demonstrate that the middleweight InceptionV3 and DenseNet backbones deliver impressive performance-efficiency trade-offs. Our study illustrates that while FPN is crucial for landmark and small face detection and enhances larger face detection, it also increases FLOPs fourfold and doubles memory usage.

Olay kamerasının yüksek zamansal çözünürlüğü, düşük güç tüketimi ve geniş dinamik aralığı, onu robotik, gözetim ve kimlik tanıma, sürücü izleme ve görsel konuşma tanıma gibi yeni ortaya çıkan yüz uygulamalarında giderek daha popüler hale getirmektedir. Yüzü ve yüz referans noktlarını tespit etmek, yüz uygulamalarında önemli bir ilk adımdır. Her iki görevi de gerçekleştirmek için, çok görevli bir kayıp fonksiyonu olan ortak bir ağ kullanıyoruz ve böylece gereksiz ayrı modellere olan ihtiyacı ortadan kaldırıyoruz. Bu, yüz şekillerinin esnek olan değişkenliğini karşılamak için deforme edilebilir evrişimle tasarlanmış bir bağlam modülü içeren boyun kısmına bağlı çok görevli baş aracılığıyla elde edilir. Boyunlar, yinelemeli evrişimli ağ katmanlardan girdi alan öznitelik piramit ağına (FPN) bağlanır. Farklı karakteristiklere sahip ECFacePose ve FES veri kümeleri üzerinde yaptığımız deneylerle, uzam-zamansal özniteliklere sahip FPN'nin önceki yüz konumlama yaklaşımlarından daha iyi performans gösterdiğini, üstün referans noktası ve etkili küçük yüz tespiti sağladığını gösteriyoruz. Deneylerimiz ayrıca, deforme edilebilir evrişim tabanlı bağlam modülünün, zamansal tutarlılık kaybının ve doğrultulmuş kanat kaybının ile başarım faydalarını doğrular. Dahası, 12 evrişim omurgasını inceleyerek bunları hafif, orta ağırlıkta ve ağır ağırlıkta sınıflara ayırıyor ve orta ağırlıktaki InceptionV3 ve DenseNet omurgalarının etkileyici başarım-verimlilik dengeleri sağladığını gösteriyoruz. Çalışmamız, FPN'nin yüz referans noktası ve küçük yüz algılama için kritik olduğunu ve daha büyük yüz algılamayı geliştirdiğini, aynı zamanda FLOP'ları dört katına ve bellek kullanımını iki katına çıkardığını gösteriyor