Menü
Industrie 4.0 ist das Konzept der Digitalisierung industrieller Produktion. Dazu gehört auch das Monitoring von Produktionsworkflows. Dies kann beispielsweise über eine Kameraüberwachung realisiert werden. Durch eine Kameraüberwachung in Fabriken können die Produktionsprozesse überwacht und Fehler oder Störungen erkannt werden. Dies führt nicht nur zu einer Steigerung der Effizienz, sondern schafft außerdem mehr Sicherheit für das Personal, da in Gefahrensituationen schnell eingegriffen werden kann.
Im Rahmen des Moduls „Softwareentwicklungsprojekt“ im Studiengang Ingenieurinformatik an der HTW Berlin hat sich eine Gruppe Studierender mit diesem Thema näher beschäftigt und eine Kameraüberwachung für unsere Modellfabrik entwickelt.
Die Modellfabrik ist eine Fabriksimulation, mit der komplexe Vorgänge einfach und anschaulich simuliert werden können. Die Modellfabrik besteht aus vier Komponenten:
Im Hochregallager sind die Werkstücke gelagert. Wenn eine Bestellung ausgelöst wird, wird das entsprechende Werkstück aus dem Hochregallager an den Vakuum-Sauggreifer übergeben. Dieser transportiert das Werkstück zur Multi-Bearbeitungsstation, wo unter anderem ein Brennofen und eine Fräse simuliert werden. Von dort aus kommt es dann auf die Sortierstrecke, wo es je nach Farbe auf die entsprechende Abzweigung geschoben wird. Dort wird es vom Vakuum-Sauggreifer aufgenommen und zur Warenausgabe befördert. Dieser Vorgang ist im folgenden Video dargestellt.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Außerdem besitzt die Modellfabrik einen Umweltsensor, mit dem unter anderem die Temperatur und der Luftdruck gemessen werden können.
Die Kommunikation der einzelnen Komponenten erfolgt über sogenannte TXT-Controller, die mit Hilfe des Netzwerkprotokolls „MQTT“ (Message Queuing Telemetry Transport) Nachrichten austauschen.
Die Modellfabrik besitzt eine Kamera an der Multi-Bearbeitungsstation. Diese lässt sich über eine Cloud steuern, wo sich ebenfalls der Status der Fabrik überwachen lässt und Bestellungen ausgelöst werden können. Die Kamera lässt sich auch über MQTT-Befehle steuern, jedoch ist die Positionierung sehr ungenau. Außerdem besteht eine große Verzögerung in der Übertragung des Live-Bildes.
Um diese Probleme der aktuellen Kamera zu umgehen, soll eine andere Kamera frei positionierbar in der Nähe der Modellfabrik platziert werden. Das Ziel des Projektes war es, eine an einem kleinen Roboterarm befestigte Kamera automatisch bewegen zu lassen, so dass das Werkstück von der Kamera verfolgt wird und die Modellfabrik live “überwacht“ wird. Dafür sollte eine Anwendung mit einer Benutzeroberfläche auf einem Raspberry Pi entwickelt werden.
Zuerst ging es darum, das in vorherigen Modulen erworbene Wissen in der Praxis anzuwenden und das Projekt zu planen. Dafür wurden die Anforderungen aus dem Lastenheft herausgearbeitet und eine technische Spezifikation erstellt. Unter anderem erstellte die Gruppe ein Use-Case-Diagramm. Dort ist zu sehen, wie der Benutzer mit dem System interagieren können soll. Es soll zum Beispiel möglich sein, dass der Benutzer mit einem Klick die Kamera oder die Bewegungserkennung startet oder stoppt.
Ein Mockup der Benutzeroberfläche wurde ebenfalls im Rahmen der technischen Spezifikation entworfen.
Außerdem teilten die Studierenden die Arbeitspakete des Projektes in drei einzelne Sprints auf und arbeiteten agil nach dem Vorgehensmodell Scrum.
Nachdem der erste Sprint geplant war, machten sie sich an die Arbeit, das Geplante umzusetzen. Dafür entwickelten sie eine Benutzeroberfläche mit Hilfe des Frameworks Qt. Außerdem implementierten sie eine Steuerung der Servomotoren des Roboterarms, um die Kamera beliebig bewegen zu können.
Bei der Ansteuerung der Servomotoren des Roboterarms stießen sie schon auf das erste Hindernis. Es wollte einfach nicht funktionieren. Nach tagelangem Suchen nach Fehlern im Code, stellte sich heraus, dass ein Kabel defekt war. So ging leider etwas Zeit verloren, jedoch konnten die Studierenden so eine Erfahrung sammeln, die für die Risikobewertung oder das Untersuchen von Fehlerquellen in zukünftigen Projekten noch hilfreich sein kann.
Im zweiten Sprint konnten sie die Kamerasteuerung fertigstellen und mit der Implementierung der Bewegungserkennung beginnen. Bei der Bewegungserkennung soll das Werkstück, welches die Modellfabrik durchläuft, mit der Kamera verfolgt werden. Der erste Ansatz des Teams war es, die Bewegungen im Live-Bild der Kamera zu erfassen. Dabei stellte sich jedoch heraus, dass in der Modellfabrik oft mehrere Bewegungen gleichzeitig passieren und so nicht immer nur die Bewegung des Werkstücks erkannt wird. Beispielsweise bewegt der Vakuum-Sauggreifer das Werkstück zur Multi-Bearbeitungsstation, während der Sauggreifer des Hochregallagers noch in seine Ausgangsposition zurückfährt.
Dann kam die Idee auf, zusätzlich zur erkannten Bewegung noch nach der Farbe und der Größe der erkannten Fläche zu filtern, um nur die Bewegung des Werkstückes zu erkennen. Ein Ansatz mit Künstlicher Intelligenz wurde ebenfalls verfolgt und ausprobiert. Es wurden für dieses Problem also drei verschiedene Lösungswege erarbeitet und Prototypen dafür implementiert.
Da das Projekt innerhalb eines Semesters abgeschlossen werden sollte, war für das Ausqualifizieren der Lösungen nicht mehr viel Zeit.
Somit wurde letztendlich eine Steuerung des Roboterarms per Benutzeroberfläche implementiert.
Ein Kamera-Livestream ist ebenfalls in der Benutzeroberfläche zu sehen. Dort werden gefundene Objekte, die das Werkstück sein könnten, grün markiert.
Was also noch fehlt, ist das automatische Verfolgen des Werkstücks mit der Kamera.
Das Team hat insgesamt sehr gute Arbeit geleistet und hoffentlich mit diesem Projekt viele neue Erfahrungen sammeln können.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Sprechen mit Industriemaschinen? Mit einem Softwareentwicklungsprojekt zeigen Berliner Studenten wie die Sprachsteuerung Realität werden kann.
In diesem Artikel beantwortet der Mann, der aus der Kälte kam, diese Fragen und stellt die Kühlanlage für unsere Rechentechnik bei der PI Informatik vor.
Kann die Lagerbestandserkennung in Zukunft von der KI durchgeführt werden? An einem Prototypen zeigen Berliner Studenten, dass es möglich ist.