Institute for Technologies and Management of Digital Transformation

Deep Reinforcement Learning für die Produktionsplanung

Ausgangslage

Die Produktionsplanung ist ein Forschungsgebiet, das durch rechnerisch komplexe kombinatorische Planungsprobleme gekennzeichnet ist. Sie umfasst Methoden zur Lösung von Aufgaben, bei denen verfügbare Ressourcen effizient auf Produktionsprozesse verteilt werden müssen. Mit zunehmender Produktvielfalt und kürzeren Produktions- und Innovationszyklen steigen die Komplexität der Probleme und die Anforderungen an die Planungsmethoden. Einerseits müssen Produktionspläne eine robuste und qualitätsbewusste Produktion ermöglichen und KPIs wie Durchlaufzeiten und Ressourcenverbrauch erfüllen. Andererseits muss die Planung mit abrupten Änderungen der Produktionsbedingungen wie Ressourcenengpässen oder Maschinenausfällen umgehen können. Ein vielversprechender Weg, diese Anforderungen zu erfüllen, ist maschinelles Lernen, insbesondere Deep Reinforcement Learning (DRL). In unserer Forschung untersuchen wir den Einsatz von DRL zur Lösung sowohl standardisierter Planungsprobleme aus der Forschung als auch realer Planungsprobleme aus der Industrie.

DRL für Job Shop Scheduling

Ein zentrales Planungsproblem, das wir adressieren, ist das Job Shop Scheduling Problem (JSSP), bei dem Aufträge auf einer definierten Anzahl von Maschinen bearbeitet werden, wobei jeder Auftrag die Maschinen in einer anderen vordefinierten Reihenfolge besucht. In diesem Zusammenhang untersuchen wir Multi-Agenten-Ansätze zur Erhöhung der Flexibilität hinsichtlich verschiedener JSSP-Größen (z.B. Anzahl der zu verteilenden Maschinen) oder verschiedener Belohnungsfunktionen und Handlungsräume, die zur Verbesserung von Standard-DRL-Trainingsverfahren eingesetzt werden können. Darüber hinaus untersuchen wir Variationen des Problems, wie z.B. flexible JSSPs, bei denen nicht nur die optimale Reihenfolge der Operationen bestimmt werden muss, sondern auch zwischen verschiedenen Maschinen gewählt werden kann, die eine Operation ausführen können. Der Schwerpunkt unserer Forschung liegt auf der adäquaten Reaktion auf unvorhergesehene Ereignisse, wie z.B. das Eintreffen neuer Aufträge in der Produktion.

Schlably Framework

Ein wichtiger Meilenstein unserer täglichen Forschung ist die Entwicklung und Veröffentlichung des Python-basierten Software-Frameworks schlably für DRL-basierte JSSP (Dokumentation unter Read the Docs). Mit schlably können empirische Experimente mit kundenspezifischen Lösungsansätzen entwickelt, durchgeführt, ausgewertet und mit bestehenden Benchmarks verglichen werden.

Einsatz für Reale Planungsszenarien

In unserer Forschung untersuchen wir den Einsatz der Verfahren in realen Anwendungsfällen zur Steuerung und Planung von Produktionsprozessketten in digitalisierten Shopfloors. Wesentliche Forschungsziele sind die Schaffung einer Datenbasis durch Erfassung, Vorverarbeitung und Bereitstellung prozesskettenrelevanter Daten sowie die Entwicklung und Erprobung von KI-basierten Planungs- und Steuerungssystemen, die bei Störungen und daraus resultierenden Abweichungen vom geplanten Prozessablauf geeignete Reaktionsstrategien vorschlagen, um die zuvor identifizierten Planungsziele einzuhalten.

Publikationen zum Thema

2022
Samsonov, V. , {Ben Hicham}, K. , & Meisen, T. (2022). "Reinforcement Learning in Manufacturing Control: Baselines, challenges and ways forward" , Engineering Applications of Artificial Intelligence , 112 (2), 104868.
2021
Pol, S. , Baer, S. , Turner, D. , Samsonov, V. , & Meisen, T. (2021). "Global Reward Design for Cooperative Agents to Achieve Flexible Production Control under Real-time Constraints" in Proceedings of the 23rd International Conference on Enterprise Information Systems , SciTePress 515--526.

ISBN: 978-989-758-509-8

Samsonov, V. , Kemmerling, M. , Paegert, M. , Lütticke, D. , Sauermann, F. , Gützlaff, A. , Schuh, G. , & Meisen, T. (2021). "Manufacturing Control in Job Shop Environments with Reinforcement Learning" in Proceedings of the 13th International Conference on Agents and Artificial Intelligence , SciTePress 589--597.

ISBN: 978-989-758-484-8

2020
Baer, S. , Turner, D. C. , Mohanty, P. K. , Samsonov, V. , Bakekeu, J. R. , & Meisen, T. (2020). "Multi Agent Deep Q-Network Approach for Online Job Shop Scheduling in Flexible Manufacturing" in Proceedings of the 7th International Conference on Industrial Engineering and Applications (ICIEA) .

Weitere Infos über #UniWuppertal: