Transform based artificial intelligent review of scientific papers / Bilimsel makalelerin dönüşüm tabanlı yapay zeka ile değerlendirilmesi

Abstract

Akademik yayıncılıkta hakem değerlendirmesi, araştırma kalitesini ve bütünlüğünü uzman değerlendirmesi yoluyla sağlamak için kritik bir süreçtir. Ancak, geleneksel hakem değerlendirmesi, artan başvuru hacimleri ve potansiyel önyargılar gibi zorluklarla karşı karşıyadır. Otomatik değerlendirme süreçleri için Yapay Zeka'ya (YZ) yönelik artan bir ilgi bulunmaktadır. Bu makale, Büyük Dil Modelleri (LLM'ler) ve Destek Vektör Makineleri (SVM) algoritmalarını kullanan AI-Bazlı Makale İnceleme Aracını (AI-BART) sunmaktadır. Makine öğrenimi konferanslarından alınan bir veri seti üzerinde eğitilen bu araç, makalelerin özet, giriş ve sonuç bölümlerine dayanarak kabul veya reddini tahmin eder. Deneysel sonuçlar, %85 doğruluk oranı ile YZ'nin hakem değerlendirme verimliliğini ve nesnelliğini artırmadaki potansiyelini vurgulamaktadır. Peer review is a critical process in academic publishing, ensuring research quality and integrity through expert evaluation. However, traditional peer review faces challenges like increasing submission volumes and potential biases. There is growing interest in Artificial Intelligence (AI) for automated review processes. This thesis presents an AI-Based Article Review Tool (AI-BART) which uses Large Language Models (LLMs) and Support Vector Machine (SVM) algorithms. Trained on a dataset from machine learning conferences, the tool predicts acceptance or rejection based on the papers' abstract, introduction, and conclusion sections. Experimental results demonstrate an 85% accuracy, highlighting AI's potential to enhance peer review efficiency and objectivity.