A Deep Reinforcement Learning Modelling Approach for (s, S) Inventory Control Problem

Abstract

Bu tezde, tek kademeli tedarik zinciri ağında envanter optimizasyonunu yöneten derin takviyeli öğrenme (DRL) ajanlarının performansı incelenmiştir. DRL'de, akıllı ajan, bu ağın toplam kârını en üst düzeye çıkarmak için her bir zaman adımında ne kadar sipariş verileceğini belirlenir. Ayrıca, yeniden sipariş noktası (s) ve en yüksek envanter düzeyi (S) bir algoritma yardımı ile bulunarak statik bir model geliştirilmiştir. Ardından, bir öğrenme ortamında bu seviyelere karar vermek için bir DRL algoritması olan derin Q-Networks (DQN) kullanan bir ajan eğitilmiştir. İki yaklaşım, farklı senaryolar altında karşılaştırılmış ve sonuçlar DRL yaklaşımının statik (s, S) politikasından daha iyi performans gösterdiği gözlemlenmiştir.

In this thesis, deep reinforcement learning (DRL) is applied to an inventory control optimization problem in a single-echelon supply chain network. In the DRL approach, intelligent agents determining how much to order in each time step to maximize the total profit of the network is determined. Also, a static model is developed in which the optimal reorder points (s) and the optimal order-up-to levels (S) are calculated by a mathematical model. Later, an agent with deep Q-Networks (DQN) by a DRL algorithm is trained to decide those levels in a learning environment. The two approaches are compared under different scenarios and the results show that the DQN agent outperforms the static (s, S) policy under a stochastic environment.