Optimization of Convolutional Neural Networks via Graphic Cards for Centralized Data

Abstract

In this thesis, it is aimed to design a new approach optimized for systems that use multiple graphics processing units (GPU) in order to find highly discriminative attributes of digitized handwritten numbers obtained from MNIST dataset and their results. In this study, the convolutional neural network (CNN) method and digitized handwriting classification method are discussed in three sections. In the first part, the classification is obtained by implanting the naive convolutional neural network into the graphic processing unit. In the second stage, the process layers for graphic processing units are parallelized and the data is adjusted for parallel processing layers and the classification is aimed with optimized memory access pattern approach. In the last stage, the method has been improved to work on more than one graphic processing unit. The aim of this stage is to improve the education time of convolutional neural network inversely proportional to the number of graphic processing units used.

Bu tezde, MNIST veri setinde elde edilen dijitallestirilmiş el yazısı numaralar ve sonuçlarının, ayrıştırıcılığı yüksek özniteliklerinin bulunması için çoklu grafik işlem birimi (GİB) kullanan sistemler için optimize edilmiş yeni bir yaklaşım tasarımı hedeflenmiştir. Bu çalışmada evrişimsel sinir ağı (ESA) yöntemi ile dijitalleştirilmiş el yazısı sınıflandırma yöntemi üç bölümde ele alınmıştır. İlk bölümde naif evrişimsel sinir ağının grafik işlem birimine uygulanması ile sınıflandırma elde edilmiştir. İkinci aşamada grafik işlem birimleri için işlem katmanları paralelleştirilerek ve verinin paralel işlem katmanları için ayarlanıp eniyilenmiş bellek erişim şablonu yaklaşımla sınıflandırma hedeflenmiştir. Son aşamada ise yöntemin birden fazla grafik işlem birimi üzerinde çalışması için yöntemde geliştirmeler yapılmıştır. Bu aşamada amaç, kullanılan grafik işlem birimi sayısı ile ters orantılı olarak evrişimsel sinir ağının eğitim süresinde gelişim sağlamaktır.