An augmented reality application for virtual instrument playing / Sanal enstruman çalma için bir artırılmış gerçeklik uygulaması

Abstract

Artırılmış Gerçeklik son zamanlarda, otomotivden eğlenceye, telekomdan, tıbba, vb. birçok endüstride popülerliği artan bir konu olmaya başlamıştır. Bunun ötesinde, hareket sensörleri de ekstra bir kurulum gerektirmeden kullanıcıların hareketlerini yakalamayı sağlayarak son zamanlarda fark edilebilir gelişme kaydetmiş ve bu durum onları erişimi kolay ve taşınabilir hale getirmiştir. Bu tez; artırılmış gerçeklik ve hareket yakalama teknolojilerini kullanarak kullanıcıların ev ortamında, davul odaklı olmak üzere bir sanal enstrüman oluşturulması üzerine yoğunlaşmaktadır. Bir kullanıcı, bir bilgisayar ve kameralı bir hareket sensöründen oluşan bir kurulum oluşturulmuştur. Kullanıcı, bu durumda davulcu, sanal davulu çalmaya başlar ve bu sırada hareket sensörü entegre kamerasıyla kullanıcının hareketlerini ve renkli kamera verisini yakalayıp işlemesi için bilgisayara gönderir. Bilgisayar, alınan girdiye göre kullanıcının vuruş hızı ve vurulan parçanın pozisyonu gibi verileri kullanarak gereken ses çıktılarını hesaplar ve vurulan davul parçası için uygun sesi oynatır. Bilgisayar aynı zamanda bir sanal ortam oluşturup, hareket sensörü tarafından gönderilen gerçek ortam ile entegre ederek, son oluşturulmuş sahne bilgisini ses ile birlikte eş zamanlı olarak bilgisayar ekranında kullanıcıya gösterir. Bunların dışında, bu tez çalışması, daha önceki tez çalışmaları tarafından şu ana kadar bir arada kullanılmamış olan artırılmış gerçeklik ve hareket yakalama teknolojilerinin ikisini bir arada kullanır. Ayrıca, daha önceki çalışmalarda sunulan kısıtlı sayıdaki davul parçasına nazaran daha fazla davul parçası sunar. Augmented Reality has become a trending topic recently in various industries; from automotive to entertainment, telecom, medicine, etc. Besides this, motion sensor devices have also made noticeable progress by enabling end-users to capture their movements without requiring any further setup which makes them portable and easy-to-access. This thesis focuses on creating a virtual instrument with further focus on drums by utilizing the technologies of augmented reality and motion capturing in the comfort of user's home. A setup was created consisting of a user, a computer and a motion sensor device with an integrated camera. The user, drummer in this case, starts to play the virtual drum, in the meantime, the motion sensor device captures the user's movements and the normal color data via its integrated camera and then sends these data to the computer to process. The computer calculates the audio data like the speed of user's arm and leg movements, speed of hits and position of hit drum part based on the input received and plays the appropriate sound for the hit drum part. It also produces the virtual environment and integrates it with the real environment data sent by the motion sensor device and shows the final composed scene environment data to the user on its screen simultaneously with the sound played. Furthermore, this thesis utilizes both augmented reality and motion tracking which have not been applied together by previous studies. Also it offers more drum parts than previous studies which have only limited number of drum parts.