KI-Assistentssysteme in der manuellen Produktion: Effizienzsteigerung und Fehlerreduzierung durch automatische Handerkennung

Phoenix Contact und codecentric arbeiten bereits im Umfeld intelligenter Anwendungen für die PLCnext Technologie zusammen, insbesondere mit dem ML-Extension Modul für KI-on-the-edge-Anwendungen. Da die codecentric AG ihr Computer-Vision-Know-how dabei schon mehrfach unter Beweis gestellt hat, kam nun die Zusammenarbeit auch in diesem Projekt zustande. Im Vorfeld des Projekts wurden in ersten Gesprächen mit der Phoenix Contact Electronics GmbH unterschiedliche Ideen zur Realisierung eines solchen Assistenzsystems entwickelt und bewertet. Die dabei favorisierte und letztlich umgesetzte Lösung verfolgt einen Computer-Vision-Ansatz, bei dem beobachtet wird, nach welchen Bauteilen im Montageprozess gegriffen wird. So lässt sich KI-gestützt erkennen, wenn im Rahmen eines Montagezyklusses ein Bauteil vergessen wird.

Zur Realisierung wurde eine Daten-Pipeline aufgesetzt, die im ersten Schritt eine fertige Computer-Vision-Lösung zur Handerkennung in Videos einsetzt. Die resultierende, aus Handpositionen bestehende Zeitreihe fließt dann in einen maßgeschneiderten Algorithmus ein, der zunächst ein Tracking der individuellen Hände über mehrere Frames vornimmt. Anschließend wird eine Segmentierung in Greifbewegungen durchgeführt. Aus den Bewegungen werden im nächsten Schritt Greifziele extrahiert, welche dann mittels klassischer Clustering-Algorithmen automatisch klassifiziert werden. Das Resultat ist eine Zeitreihe aus Zielclustern, die bei fehlerfreien Montagevorgängen periodisch sein sollte. Bei Abweichungen in der Zeitreihe kann der Ablauf als fehlerhaft erkannt und der/die Mitarbeitende darauf aufmerksam gemacht werden.