Reinforcement Learning
Moderne Antriebe entwickeln sich zu elektrifizierten, vernetzten, softwareintensiven Systemen mit einer Vielzahl von Freiheitsgraden. Dies bedeutet auch eine enorme Zunahme der Systemkomplexität bei kürzeren Entwicklungszyklen und dadurch einen exponentiell steigenden Aufwand für die Entwicklung, Validierung und Kalibrierung von Softwarefunktion.
Ansprechpartner
Telefon
- work
- +49 241 80 48105
- E-Mail schreiben
Ansprechpartner
Telefon
- work
- +49 241 80 48181
- E-Mail schreiben
Gegenwärtige Entwicklungsprozesse mit menschlich erstellter Software führen bei der steigender Variantenvielfalt und begrenzter Entwicklungskapazität zu suboptimalen Lösungen. Die hochgradig nichtlinearen Zusammenhänge zwischen einzelnen Komponenten, Stellgrößen, Parametern und Störeinflüssen sind selbst für ausgewiesene Experten schwierig zu erfassen und die entwickelten Funktionen sind in der Regel nicht ohne erheblichen Zusatzaufwand auf ähnliche Probleme anwendbar. Mit der begrenzten Verfügbarkeit von Fachpersonal führt dies zu ungenutztem Potential zur Effizienzsteigerung, welches durch maschinelles Lernen ausgeschöpft werden kann.
Die Auflösung des Zielkonflikts von Wirkungsgrad, Emissionen, Erfüllung des Fahrerwunsches und weiteren anwendungsspezifischen Zielgrößen wird am Lehr- und Forschungsgebiet Mechatronik in mobilen Antrieben unter anderem durch Reinforcement Learning adressiert. Dieses maschinelle Lernverfahren basiert auf der Ableitung von optimalen Strategien zur Maximierung einer vorgegeben Belohnungsfunktion basierend auf Erfahrungen. Obwohl das grundsätzliche Potential dieser Methodik in zahlreichen Anwendungen bereits nachgewiesen wurde, wird Reinforcement Learning im Kontext der Antriebsstrangsoftware bisher nur äußerst begrenzt eingesetzt und stellt einen deutlichen Neuigkeitswert dar.
Um in frühen Entwicklungsphasen anwendungsnahe Trainingsumgebungen für die datenintensiven Algorithmen zu schaffen, bietet sich die Simulationsmethodik mittels X-in-the-Loop (XiL) Simulatoren an. Die Arbeiten am Institut erstrecken sich von der konzeptionellen Auslegung der Funktion über die Automatisierung des Trainingsprozesses in den verschiedenen XiL-Simulatoren bis hin zur Implementierung im realen Anwendungsfall.
Projekte
ALADIN
Im Rahmen des Projektes ALADIN soll Aktives Lernen exemplarisch im Kontext der Verkehrsprädiktion während der Datenerfassung im Fahrzeug eingesetzt werden. Dazu wird ein Testfahrzeug mit Umfeldsensorik und einem programmierbaren Datenlogger ausgestattet, auf dem die Prädiktionsmodelle sowie die Algorithmen zum Aktiven Lernen implementiert werden. Zur abschließenden Bewertung werden sowohl manuell als auch durch Aktives Lernen ausgewählte Datensätze zum Training des Prädiktionsmodells genutzt und die Performance der resultierende Modelle verglichen.
mehr...
Heuristic Search and Deep Learning
Die Entwicklung transienter Regelfunktionen stellt vor allem für hochkomplexe, stark nicht-lineare Systeme wie das eines Verbrennungsmotors einen großen Entwicklungsaufwand dar. Die hier gegebene Notwendigkeit, viele voneinander unabhängige Parameter zu berücksichtigen erschwert zudem den Optimierungsprozess, wodurch methodische Ansätze neben der reinen Domänenexpertise eine zielführende Unterstützung darstellen können. Aus dem Bereich des maschinellen Lernens stellt Reinforcement Learning einen vielversprechenden Ansatz dar. Bei diesem erlernt ein Agent selbständig eine Strategie, durch die seine erhaltene Belohnung maximiert wird. Durch dieses Methodik können optimierte Regelstrategien vollautomatisiert erlernt werden.
mehr...
Publikationen
Automated eco-driving in urban scenarios using deep reinforcement learning