Pekiştirmeli öğrenme ile dönel kavşaklarda trafik ışıklarının optimizasyonu

Abstract

Traffic congestion has been a problem as the cities and urban areas have become more crowded, which brings a rise in the number of vehicles running through roads. This increase in the number of vehicles, combined with insufficient infrastructure and the number of roads fails to cover the number of vehicles travelling every day. Some environmental effects, such as weather conditions and accidents happening on the roads also increase congestion. Traffic light controllers are the prominent elements of traffic flow in the modern world. They control the current active flow direction either by letting the vehicles pass or stop. Roundabouts are also traffic elements for regulating the traffic flow. They are an alternative traffic component to intersections that aim to organize vehicles flowing through traffic properly. In some ways, they are very similar to intersections; however, some notable differences make roundabouts distinct from intersections. Together with this, AI has made a lot of progress. Improved hardware technology made it possible to train and test AI agents much faster, thus enabling them to be applicable in a shorter time, which was very hard to achieve before. Apart from this, new solutions and algorithms have been developed that took AI and its sub-fields like ML and RL systems to become more intelligent. This also enables AI to become more engaged in the current daily life. In this thesis study, a reinforcement learning-based solution for congestion problems in traffic flow was developed to optimize roundabout traffic flow by controlling traffic lights. A solution based on the Q-Learning Algorithm is developed. Reward and state mechanisms are implemented to optimize various traffic metrics. This study aims to optimize traffic flow in roundabouts in terms of mean waiting time, the number of stopped vehicles, average speed of cars, etc., by controlling the change of traffic lights. Several experiments for different traffic flow scenarios are designed and simulated independently multiple times to obtain statistically significant results. To compare the performance of the proposed method, experiments in which traffic lights change sequentially are also designed and executed. In these experiments, outputs for different traffic metrics are calculated. Later, the results of the proposed method are compared with these baseline results. As a result, the proposed method using Q-Learning algorithm-based reinforcement learning has been observed to produce better results than baseline results in more than one metric: mean waiting time, number of stopped vehicles, average of cars, etc., especially when there is a high traffic volume.Trafik sıkışıklığı şehirlerin ve kentsel alanların daha kalabalık olması ve bunun yollardaki araç sayısına bir yükseliş getirmesiyle birlikte bir problem olmuştur. Araç sayısındaki bu artış, yetersiz altyapı ve yol sayısı ile birleştiğinde her gün seyahat eden araç sayısını karşılamakta başarısız olmaktadır. Hava şartları gibi bazı çevresel etkenler ve yollarda olan kazalar da ayrıca bu sıkışıklığı artırmaktadır. Trafik ışıkları, modern dünyadaki trafik akışının önemli elemanlarıdır. Araçların geçmesine izin vererek veya onları durdurarak akışın o anki aktif yönünü kontrol ederler. Dönel kavşaklar da ayrıca trafik akışını düzenleyen trafik elemanlarıdır. Trafik boyunca akan araçları düzgün bir şekilde organize etmeyi amaçlayan, normal kavşaklara alternatif bir trafik bileşenidirler. Bazı yönlerden, normal kavşaklara benzerler fakat bazı dikkate değer farklar dönel kavşakları normal kavşaklardan farklı yapmaktadır. Bununla birlikte Yapay Zekâ da ilerleme kaydetmiştir. Gelişen donanım teknolojisi, Yapay Zekâ etmenlerini daha hızlı bir şekilde eğitmeyi ve test etmeyi mümkün kılar, böylece eskiden başarması zor olan uygulamalar daha kısa sürede başarılabilmektedir. Bunun haricinde, Yapay Zekâ'yı ve ML, RL gibi alt dallarını daha akıllı yapan yeni çözümler ve algoritmalar geliştirilmiştir. Bu ayrıca, Yapay Zekâ'nın şu anki günlük hayatta daha aktif olmasını sağlamıştır. Bu tez çalışmasında, trafik ışıklarını kontrol ederek dönel kavşaklardaki trafik akışını optimize etmek için pekiştirmeli öğrenmeyi temel alan bir çözüm geliştirilmiştir. Q-Öğrenme algoritmasını kullanan bir çözüm geliştirilmiş ve farklı trafik ölçütlerini eniyilemek amacı ile ödül ve durum mekanizmaları tanımlanmıştır. Bu çalışmada dönel kavşaklarda ortalama bekleme süresi, duran araç sayısı, araçların ortalama hızı vb. gibi ölçütler dikkate alınarak trafik akışının en iyilemesi hedeflenmiştir. Farklı trafik akış senaryoları için çok sayıda deney oluşturulmuş ve istatistiksel olarak anlamlı sonuçlar elde edebilmek için her bir senaryo birden fazla kez bağımsız olarak simüle edilmiştir. Önerilen yöntemin başarımının ölçülebilmesi için, trafik ışıklarının sırayla değiştiği deneyler de tasarlanmış ve çalıştırılmıştır. Bu deneylerde belirlenen farklı trafik ölçütleri kullanarak ölçümler yapılmıştır. Elde edilen sonuçlar trafik ışıklarının sıra ile değiştiği taban sonuçlarla karşılaştırılmıştır. Sonuç olarak, Q-Öğrenme algoritmasını kullanan pekiştirmeli öğrenme bazlı çözüm, taban sonuçlar ile karşılaştırıldığında, özellikle çok fazla araç hacmi olduğu durumda ortalama bekleme süresi, duran araç sayısı, araçların ortalama hızı gibi birçok ölçüt cinsinden daha iyi sonuçlar verdiği gözlenmiştir.