Heuristic Search and Deep Learning
Ansprechpartner
Ansprechpartner
Die Entwicklung transienter Regelfunktionen stellt vor allem für hochkomplexe, stark nicht-lineare Systeme wie das eines Verbrennungsmotors einen großen Entwicklungsaufwand dar. Die hier gegebene Notwendigkeit viele voneinander unabhängige Parameter zu berücksichtigen erschwert zudem den Optimierungsprozess, wodurch methodische Ansätze neben der reinen Domänenexpertise eine zielführende Unterstützung darstellen können.
In dem Projekt „Heuristic Search and Deep Learning” werden durch einen Deep Reinforcement Learning (RL) Agenten solche transienten Regelstrategien unter Berücksichtigung vordefinierter Zielgrößen wie einem minimierten Kraftstoffverbrauch und einer guten Fahrbarkeit erlernt. Allgemein geschieht dies durch die Interaktion des RL Agenten mit seiner Umgebung. Die dadurch erhaltenen Erfahrungen in Form von Aktionen, Zuständen und Belohnungen ermöglichen dem Agenten das Erlernen einer Strategie, die die kumulierte Belohnung entlang der Trajektorien maximiert. Als Umgebung wird in diesem Projekt ein 1D-Strömungssumlationsmodell eines aufgeladenen 3-Zylinder Benzinmotors verwendet, welches die grundlegenden physikalischen Eigenschaften hinreichend abbildet. Als Simulationssoftware wurde GT-Suite verwendet. Das dafür entwickelte Framework erlaubt dabei das vollautomatisierte Training des Deep RL Agenten auf Basis beliebiger physikalischer Modelle. Eine Übersicht des Frameworks gekoppelt mit dem GT-Modell zeigt folgende Abbildung.
Die Komplexität der Regelaufgabe durch den Agenten soll über das Projekt sukzessive gesteigert werden, wodurch der Ansatz auch auf weitere Optimalsteuerprobleme mit mehrdimensionalen, teils wechselwirkenden Stellsignalen übertragbar ist.
Durch die Validierung der entwickelten Methodik leistet Heuristic Search and Deep Learning einen Beitrag bei der Effizienzsteigerung für die Entwicklung und Auslegung von Regelfunktionen physikalischer Systeme. Durch den generischen Charakter des Frameworks kann dieses für weitere physikalische Systeme zur Entwicklung optimierter Regelstrategien herangezogen werden.