8. Juni 2022
KI soll komplexe Steuerungen optimieren
Spannendes Projekt bei Fraunhofer: Aus der Spiele-Welt bekannte KI-Methode soll komplexe Steuerungen optimieren.
Die Schach-Welt hatte es bereits hinter sich, und 2015 erwischte es auch das japanische Go: Als erstmals ein Computer einen Großmeister besiegte, war klar, dass es um mehr ging als um Sport. Es war ein Triumph der künstlichen Intelligenz. Konkreter: ein Triumph des „Reinforcement Learning“.
Kann die Methode auch helfen, komplexe Steuerungsprobleme bei der Montage von Produkten und beim Antrieb von Kraftfahrzeugen zu lösen? Im Rahmen des FFG-geförderten Projekts „Reinforce“ wollen das Forscher von Fraunhofer Austria herausfinden.
Rahmenbedingungen statt vorgegebener Beispiele
Beim maschinellen Lernen ist meist eine enorme Menge an Trainingsdaten Voraussetzung, und die künstliche Intelligenz lernt, indem sie zahllose vorgegebene Beispiele auswertet. Nicht so beim Reinforcement Learning: Hier werden stattdessen die Rahmenbedingungen definiert. Programmierer legen also fest, welche Aktionen möglich sind und was Erfolg ausmacht, wie zum Beispiel das Besiegen des Gegners oder das Entfernen gegnerischer Spielsteine vom Brett. Das Computerprogramm erhält dann nach jedem Versuch eine Belohnung, je nachdem, ob es die Kriterien eines Erfolges erfüllt hat oder eben nicht.
„Der Algorithmus lernt wie ein kleines Kind“
Catherine Laflamme, die Leiterin des Projekts, erklärt es so: „Reinforcement Learning als Spezialvariante des maschinellen Lernens ist dem menschlichen Lernen am ähnlichsten. Wie ein kleines Kind lernt der Algorithmus dabei durch Versuch und Irrtum.“ Da nicht nur vorgefertigte Beispiele ausgewertet werden, könnten komplett neue Lösungsansätze gefunden werden – auch solche, auf die ein Mensch nie gekommen wäre.
„Es ist ein spielerisches Lernen, und es können sehr kreative Lösungen dabei herauskommen“, ergänzt Daniel Bachlechner, Leiter der Gruppe Advanced Data Analytics bei Fraunhofer Austria. Bei Spielen mit zwei Spielern, wie es zum Beispiel bei Go der Fall ist, kann das System auch dadurch lernen, dass es gegen sich selbst antritt. Zusätzlich kann beim Lernen auch Vorwissen, beispielsweise in Form von historischen Spielverläufen, berücksichtigt werden.
Zwei Projektpartner in der Industrie
Ob der Ansatz auch auf die Industrie übertragen werden kann, soll nun anhand zweier komplexer, realitätsnaher und sehr verschiedener Steuerungsprobleme erforscht werden. Einerseits bei der Priorisierung von Aufträgen und der Routenwahl von FTS in einer Produktionsumgebung. Andererseits bei der Steuerung von Antriebssträngen in Kraftfahrzeugen.
Projektpartner für den ersten Anwendungsfall ist die Firma Engel, die in ihrer Fließmontage FTS im Einsatz hat, um Produkte von einem Montageplatz zum nächsten zu transportieren. Die Steuerung funktioniert derzeit über ein programmiertes Regelwerk, das das Zusammenspiel der verschiedenen Fahrzeuge vorgibt. Dieses kann durchaus komplex werden, denn auch die Versorgung der Montageplätze mit Material erfolgt über die Fahrwege der FTS. Zwar funktioniert die Steuerung, sie kann aber noch optimiert werden, und bei einer Änderung im Prozess, ist die Anpassung mit der derzeit verwendeten Methode äußerst aufwändig. Im Projekt wird nun untersucht, welche Vor- und Nachteile der Einsatz von Reinforcement Learning bei der Steuerung von FTS mit sich bringt.
„Wie ein kleines Kind lernt der Algorithmus dabei durch Versuch und Irrtum": Projektleiterin Catherine Laflamme (© Fraunhofer Austria)
„Wir wollen uns mit dem Thema Reinforcement Learning auseinandersetzen um das komplexe Zusammenspiel von Mensch und Maschine zu verstehen und zu optimieren“, betont Dominik Pfeiffer-Vogl, Montageleiter bei Engel Austria am Standort Schwertberg.
Kontinuierliches Steigern der Komplexität
Projektpartner im zweiten Anwendungsfall ist die Firma Bosch, und die Fragestellung dreht sich um die Steuerung von Antriebssträngen in Kraftfahrzeugen. Abhängig von Art und Aufbau des Antriebsstrangs (z.B. Verbrenner, Hybrid, E-Antrieb) verfügt der Antriebsstrang über eine Vielzahl an Hauptkomponenten und darin verbauten Aktoren und Sensoren. Diese Subsysteme stehen in einer engen Abhängigkeit zueinander, besitzen also eine hohe Interaktion. Mit zunehmender Komplexität der Subsysteme und wachsender Interaktion zwischen diesen steigt auch die Herausforderung einer möglichst optimalen Steuerung.
Für eine optimale Steuerung können noch viele weitere Dinge berücksichtigt werden: Bei einem Hybridfahrzeug können beispielweise Routenparameter wie die maximal erlaubte Geschwindigkeit, Straßensteigung, die Distanz zum Zielort sowie die Verfügbarkeit von Ladestationen einen signifikanten Einfluss auf das erreichbare Optimum haben. Sven Dominka, verantwortlich für Forschung und Innovation bei Bosch Engineering in Wien, sieht großes Potenzial, allein durch eine verbesserte Steuerung des Antriebsstrangs, die Effizienz moderner Antriebsstränge weiter zu erhöhen.
Ermitteln, wo die Grenzen liegen
„Reinforcement Learning ist die für mich spannendste Art des maschinellen Lernens. Die Entwicklung von Steuerungen für Antriebsstränge ist mit sehr hohen Aufwänden verbunden. Reinforcement Learning birgt das Potenzial, diese Steuerungen weiter zu verbessern und gleichzeitig Entwicklungsaufwände einzusparen. ‚Reinforce‘ soll uns dabei helfen, besser zu verstehen, wie wir dieses Potenzial in der Praxis nutzen können“, sagt Sven Dominka.
„Wir wollen ermitteln, wo die Grenzen von Reinforcement Learning liegen, daher werden wir die Komplexität immer weiter steigern und dabei laufend prüfen, wie gut sich die Methode unter den gegebenen Bedingungen noch bewährt. Unser Forschungsfrage lautet vereinfacht ausgedrückt also: Wie groß ist das Potenzial der Technologie in der Praxis?“, erklärt Catherine Laflamme.