Energieeffiziente Längsführung vernetzter und automatisierter Fahrzeuge mittels Reinforcement Learning

• Energy-efficient longitudinal control of connected and automated vehicles using reinforcement learning

Wegener, Marius; Andert, Jakob Lukas (Thesis advisor); Abel, Dirk (Thesis advisor)

Aachen (2022)
Doktorarbeit

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2022

Kurzfassung

Die vorliegende Arbeit untersucht die Anwendung von Reinforcement Learning zur Realisierung vorausschauender und effizienter Fahrzeugführung von automatisieren Fahrzeugen im Stadtverkehr. Es wird eine Simulationsumgebung aufgebaut, um Reinforcement Learning Agenten unter möglichst realistischen Bedingungen trainieren und testen zu können. Die Simulationsumgebung nutzt den mikroskopischen Verkehrssimulator SUMO sowie das Framework FLOW zur Integration von Reinforcement Learning Algorithmen. Im Rahmen dieser Dissertation wird die Umgebung um ein Antriebsstrangmodell sowie ein probabilistisches Fahrermodell erweitert, um eine realitätsgetreue Bewertung der Energieeinsparungen in einer stochastischen Umgebung zu ermöglichen. Als Referenzszenario zur Bewertung der Wirksamkeit der erlernten Fahrstrategie wird der Aachener Alleenring definiert. Die Parametrierung des Simulationsszenarios wird mit Messungen der realen Strecke validiert, sodass die Bewertung der Fahrstrategie unter realistischen Bedingungen erfolgen kann. In einer vereinfachten Trainingsumgebung werden Reinforcement Learning Agenten mit unterschiedlichen Belohnungsfunktionen trainiert und einer ersten Bewertung unterzogen. So wird eine Belohnungsfunktion identifiziert, die eine bessere Auflösung des Zielkonfliktes zwischen Reisezeit und Energiebedarf erzielt als eine regelbasierte Referenzstrategie. Eine detaillierte Analyse der Strategie zeigt, dass die Reinforcement Learning Agenten das Fahrzeug vorausschauend und effizient durch das Trainingsszenario steuern können. Die größten Energieeinsparungen lassen sich bei niedriger Verkehrsdichte und ungünstiger Schaltung der Lichtsignalanlagen entlang der Route des Ego-Fahrzeuges erreichen. Durch den Übertrag der erlernten Strategie in das realitätsnahe Referenzszenario "Alleenring" wird eine Energieeinsparung von 25,6% bei einer Reduktion der Durchschnittsgeschwindigkeit um 6,8% erreicht. Es wird gezeigt, dass Reinforcement Learning geeignet ist, effizienzsteigernde Fahrstrategien selbstständig zu erlernen und das Gelernte auch auf neue Umgebungen übertragen werden kann. Abschließend werden die Auswirkungen der Fahrstrategie auf die direkte Umgebung im städtischen Verkehr betrachtet. So kann gezeigt werden, dass bei einer Marktdurchdringung von 5% nur ein geringer Einfluss in Form von geringfügiger Reduktionen von Energieverbrauch und Durchschnittsgeschwindigkeit besteht. Durcheine adaptive Belohnungsfunktion, die folgende Fahrzeuge berücksichtigt, kann dieser Effekt jedoch ausgeglichen werden, was aber zu einer Reduktion des Potentials für das Ego-Fahrzeug führt. Befinden sich mehrere Reinforcement Learning Agenten im gleichen Straßennetzwerk, so kann ab einer Marktdurchdringung von 20% eine Erhöhung der Reisezeiten aller Verkehrsteilnehmer beobachtet werden. Bei einer höheren Marktdurchdringung vernetzter und automatisierter Fahrzeuge müssen also Fahrstrategien entwickelt werden, die solche Effekte explizit vermeiden.