Havaalanı kaynaklarının pekiştirmeli öğrenme yöntemiyle sağlam planlanması çizelgelemesi

Abstract

Bir havalimanının işletilmesi, birçok aktörün yer aldığı son derece karmaşık bir operasyondur. Havalimanı yönetiminin temel misyonu; tüm havayollarına, yer hizmetleri şirketlerine ve diğer hizmet sağlayıcılara yeterli kapasiteyi ve en iyi çalışma koşullarını sağlamaktır. Uçuş kapısı atama, havalimanı yönetiminin çözmesi gereken en temel planlama problemlerinden biridir; bu problem, gelen uçakların mevcut kapı veya park pozisyonlarına atanmasını ve aynı zamanda operasyonel kısıtların sağlanmasını içerir. Genellikle uçuşların varış ve kalkış zamanları deterministik olarak kabul edilmekte ve bu kombinatoryal problemi çözmek için çeşitli yöneylem araştırması yöntemleri kullanılmaktadır. Ancak, gerçek yaşam senaryolarında bu deterministik çözümler çoğu zaman uygulanabilir değildir. Çünkü uçuşların varış ve kalkış saatleri belirsizlik içermektedir. Bu belirsizliklerle başa çıkmak ve sağlam bir çizelgeleme oluşturmak büyük önem taşımaktadır. Bu çalışmada, uçuş kapısı atama problemini çözmek için Pekiştirmeli Öğrenme (PÖ) algoritmaları geliştirilmiştir; çünkü bu yöntem sıralı karar verme sürecine dayanmaktadır ve acil ya da sık değişen durumlara uyum sağlayabilen esnek çözümler üretmeye olanak tanımaktadır. Bu çalışmayla aynı kapıda ardışık atanmış uçaklar arasında boş zamanların toplamı olarak hesaplanan çizelgenin sağlamlığını maksimize etmeye ve aynı zamanda aprona atanan uçak sayısını minimize etmeyi hedefliyoruz. Geliştirdiğimiz çeşitli PÖ algoritmalarını amaç fonksiyonlar bakımından matematiksel modellerle karşılaştırıyoruz. Anahtar kelimeler: Uçak atama problemi, pekiştirmeli öğrenme, Q-öğrenme, derin öğrenme, sağlam çizelgelemeThe operation of an airport is a very complex task involving many actors. The primary mission of airport management is to provide sufficient capacity and the best working conditions to all airlines, ground handling, and service provider companies. Flight gate assignment is one of the essential planning problems that airport management needs to address, assigning incoming aircraft to the available gates or stands while satisfying operational constraints. Generally, flight arrivals and departures are considered deterministic, and various operational research methods have been applied to solve this combinatorial problem. However, in real life scenarios, deterministic solutions are generally infeasible because arrival and departure times are uncertain. It is crucial to deal with these uncertainties to create a robust schedule. In this study, we develop Reinforcement Learning (RL) algorithms to solve the flight gate assignment problem since it is a sequential decision-making method and allows adaptive solutions to address urgent and frequent changes. We aim to maximize robustness of the schedule which is measured as the total sum of slack times between consecutive flights at a gate and aim to minimize stand assignments. In this study, we compare different RL algorithms that we develop with MIP models in terms of our objective functions. Keywords: Flight gate assignment, Reinforcement learning, Deep Reinforcement Learning, Q-learning, Robust scheduling.