Durch den Einsatz von Industrierobotern können Prozesse automatisiert werden, die repetitiv sind, eine hohe Präzision erfordern und/oder mit hohen Risiken für den Menschen verbunden sind. Mit zunehmender Produktvielfalt und kürzeren Produktions- und Innovationszyklen steigen die Anforderungen an Automatisierungslösungen. Um auch in Zukunft wirtschaftlich sinnvoll zu sein, müssen Roboter einerseits robust auf zunehmende Prozessvariationen reagieren können. Andererseits ist trotz steigender Komplexität eine möglichst zeit- und kosteneffiziente Inbetriebnahme unabdingbar. Maschinelle Lernverfahren, insbesondere Deep Reinforcement Learning (DRL), sind ein vielversprechender Weg, um Roboter für komplexe Aufgaben zu befähigen, bei denen eine manuelle Programmierung einer Lösungsstrategie nicht praktikabel ist. In unserer Forschung untersuchen wir den Einsatz von DRL-Verfahren zur Automatisierung von robotischen Anwendungen. Ein zentraler Untersuchungsgegenstand sind Methoden des Transfer Learning zur Steigerung der Trainingseffizienz und Robustheit von Lernagenten durch Vortraining in einer Simulation sowie die Übertragung von Lösungsstrategien auf neue Aufgaben und Robotermodelle.

Da das Training von DRL-Agenten mit realen Daten sehr kostenintensiv sein kann, untersuchen wir Möglichkeiten, Simulationsumgebungen für ein effizientes Vortraining der Agenten zu nutzen. Damit können nicht nur Trainingsläufe schneller, parallelisierter und kollisionsfreier durchgeführt werden. Simulationen ermöglichen auch die gezielte Einführung von Prozessvariationen, die im realen Anwendungsfall nur schwer abzubilden sind. Ein großer Nachteil von Simulationen ist, dass sie von der Realität abweichen. In unserer Forschung untersuchen wir insbesondere den Umgang mit diesen Abweichungen und ihre Überbrückung mit Transfer Learning Strategien. 

Domänenübergreifender Transfer in der Robotik bezieht sich auf die Fähigkeit von Robotersystemen, Erfahrungen und Fähigkeiten von einer Aufgabe auf eine andere zu übertragen, selbst wenn diese Aufgaben in unterschiedlichen Domänen ausgeführt werden. Das bedeutet, dass ein Roboter, der in der Lage ist, eine bestimmte Aufgabe in einer bestimmten Umgebung auszuführen, auch in der Lage sein sollte, diese Fähigkeiten auf eine andere Umgebung oder sogar auf eine völlig andere Aufgabe zu übertragen. In unserer Forschung untersuchen wir Methoden zum Erlernen aufgabenübergreifender Fähigkeiten, die den Trainingsaufwand für das Erlernen einzelner Aufgaben deutlich reduzieren. Darüber hinaus forschen wir an der Übertragung von Fähigkeiten zwischen verschiedenen Robotermodellen, wodurch eine zusätzliche Flexibilisierung im Einsatz von Industrierobotern geschaffen wird.

Im Zuge unserer Forschungsarbeiten haben wir das Python-basierte DRL Framework Karolos entwickelt und veröffentlicht. Mit Karolos ist es möglich, verschiedene Roboter und Aufgaben zu kombinieren und so schnell Transfer-Learning Szenarien zu generieren. Darüber hinaus ermöglicht das Framework die Parallelisierung von Simulationen und State-of-the-Art DRL-Algorithmen, so dass Experimente effizient durchgeführt werden können.

Ein zentraler Anwendungsfall unserer Forschung ist die Automatisierung von Montageprozessen. Dabei muss ein Roboter zunächst ein Bauteil greifen und dieses dann mit einer präzisen, kollisionsfreien Bewegung an der gewünschten Stelle montieren. Wesentliche Forschungsziele sind dabei das Erlernen einer präzisen und adaptiven Robotersteuerung sowie der Umgang mit einer hohen Teilevielfalt. Darüber hinaus beschäftigen wir uns mit der Modularisierung einzelner Komponenten, beispielsweise in Form eines separaten Moduls zur Posenerkennung von Bauteilen für die Vorverarbeitung von Kamerabildern im initialen Greifprozess.