Sample based regularization for support vector regression / Destek vektör regresyonu için örnek tabanlı düzenleme

Abstract

Regresyon analizi, işletme, finans, ekonomi, mühendislik ve diğer disiplinlerdeki iki veya daha fazla nicel değişken arasındaki ilişkiyi tahmin etmek için makine öğreniminde kullanılan istatistiksel bir yöntemdir. Bu tezde, genelleme yeteneğini artırmak için Destek Vektör Regresyonunun (DVR) maliyet fonksiyonunu mutlak değer norm terimi eklenmesiyle yükselten örnek tabanlı düzenlileştirme algoritması önerdik. Genellikle regresyon problemleri için kullanılan Destek Vektör Makine (DVM) tabanlı bir makine öğrenme modeli olan DVR'nin genelleme yeteneğini artırmayı hedefliyoruz. Genelleme yeteneği problemine yönelik mevcut yaklaşımların aksine, modelin genelleme kabiliyetini artırarak DVR modelinin performansını iyileştirdik. Önerilen yöntemle ağırlıkları sıfıra doğru çekiyor, DVR modelinin destek vektör sayısını azaltıyor ve böylece modelin genelleme yeteneğini artırıyoruz. Yaklaşımımızın modelin performansı üzerindeki etkisini görmek için onu geleneksel regresyon makine öğrenimi modelleriyle karşılaştırdık. Ayrıca önerilen modelin sonuçlarını yakın tarihli bir çalışmanın sonuçlarıyla karşılaştırdık. Yaklaşımımızın performansını değerlendirmek için R2 puan metriğini, ortalama kare hatası, karekök ortalama hata ve mutlak hata metriklerini karşılaştırdık. Ayrıca modellerin eğitim ve uygulama sürelerini de sunuyoruz. Ayrıca, bina içi yangın ve orman yangını algılama uygulamalarında SVR modelinin örnek tabanlı bir düzenleme ile uygulanmasını gösteriyoruz. Bu nedenle, DVR için yeni Örnek Tabanlı Düzenleme ile bir Hibrit ÖD-DVR mimarisi geliştiriyoruz. Bu yöntemi makine öğrenimi modelleri ile karşılaştırdık. Ek olarak, Doğruluk, Kesinlik, Hassasiyet, F1 puanı, Gerçek Pozitif Oran (GPO) ve Gerçek Negatif Oran (GNO) açısından sonuçlarımızı sunuyoruz. Bu tezde sunulan çalışma, örnek tabanlı düzenlileştirme adı verilen verimli bir düzenlileştirme yöntemi sunarak Destek Vektörü Regresyon literatürüne katkıda bulunmaktadır. Regression analysis is a statistical method used in machine learning to estimate the relationship between two or more quantitative variables in business, finance, economics, engineering, and other disciplines. In this thesis, we proposed a sample based regularization algorithm that augments the cost function of Support Vector Regression (SVR) to increase generalization ability. We aim to increase the generalization capability of SVR, which is a Support Vector Machine (SVM) based machine learning model generally used for regression problems. Contrary to the current approaches to the generalization ability problem, we have improved the performance of the SVR model by increasing the generalization ability of the model. We reduce the weights towards zero, decrease the number of support vectors of the SVR model and increase the generalization ability of the model by the proposed method. In order to see the effect of our approach on the performance of the model, we compared it with the conventional regression machine learning models. We also compared the results of the proposed model with the results of a recent study. In order to evaluate the performance of our approach, we compared the R2 score metric, Mean Square Error (MSE), Root Mean Squared Error (RMSE), and Mean Absolute Error (MAE) error metrics. We also present the training and execution times of the models. Moreover, we show the implementation of the SVR model with a sample based regularization in indoor fire and forest fire detection applications. Accordingly, we develop a Hybrid SR-SVR architecture with the novel sample based regularization for SVR. We compared this method with the machine learning models. In addition, we present our results in terms of Accuracy, Precision, Recall, F1 score, True Positive Rate (TPR), and True Negative Rate (TNR). The study presented in this thesis contributes to the Support Vector Regression literature by introducing an efficient regularization method, so called sample based regularization.