Visuelle Klassifizierung mit benutzerdefinierten Modellen

Visuelle Klassifizierung mit benutzerdefinierten Modellen

Wie man die benutzerdefinierten Modelle von Vision für die visuelle Klassifizierung in Echtzeit zur Durchführung von Inspektionen und Prüfungen an der Kante verwendet

Die automatische Sichtprüfung ist ein sehr leistungsfähiges Werkzeug in der Fertigung. Sie kann eingesetzt werden, um eine hohe Qualitätssicherung für Montageschritte aufrechtzuerhalten, die Bearbeitungszeit zu reduzieren und den Gesamtertrag zu steigern. Die Durchführung einer automatischen visuellen Inspektion ist in Tulip Vision mit Hilfe von Custom Models möglich. Custom Models sind maschinelle Lernmodelle, die Tulip Vision in Echtzeit auf dem Edge ausführt. Diese Modelle müssen mit Daten trainiert werden, die am gewünschten Inspektionspunkt von der Linie erfasst werden.

Tulip Vision unterstützt Klassifizierungsmodelle und Erkennungsmodelle. In diesem Leitfaden wird erklärt, wie die Klassifizierungsmodelle verwendet werden. Unter Klassifizierung versteht man die Entscheidung, zu welcher Klasse oder Kategorie das visuelle Bild gehört. Zum Beispiel kann ein Werkstück in die Kategorie "nicht bestanden" (NG) oder "bestanden" (OK) gehören, oder bei der Fehlerklassifizierung kann es in die Kategorie "zu breit", "zu schmal", "verzogen" oder "normal" (OK) gehören. Die Kategorien kann der Benutzer selbst bestimmen, solange genügend Daten vorhanden sind, um ein Modell für sie zu trainieren (mindestens 50 Beispielbilder für jede Kategorie, um eine angemessene Genauigkeit zu gewährleisten).

Benutzerdefinierte Modelle werden direkt ausgeführt, was bedeutet, dass für die Inferenz (Ausführung des Modells, um eine Vorhersage zu erhalten) keine zusätzlichen Gebühren anfallen, wie sie für die Ausführung des Modells in der Cloud anfallen. Benutzerdefinierte Modelle werden auch in Echtzeit auf dem Edge-Computer ausgeführt, so dass sie sofort für die Erkennung verwendet werden können, wodurch die Bandbreite für die Übertragung von Bildern in die Cloud reduziert wird. Dies ermöglicht auch einen privateren Betrieb in Bezug auf die Datensicherheit, da keine Bilder jemals den Arbeitsplatzrechner verlassen.

Voraussetzungen

• Benutzerdefinierte Modelle sind in Tulip ab Version r229 aktiviert
• Tulip Vision Kamera mit einer Kamerakonfiguration eingerichtet (verwenden Sie unsere Anleitung für den Einstieg
• Teil für Inspektion oder Verifizierung, mit einer wiederholbaren Aufnahmeposition in einer Arbeitsstation
• Datensatz mit kategorisierten Bildern auf Tulip (verwenden Sie unsere Anleitung zur Datenerfassung

Ein trainiertes Modell für die Inferenz erhalten

Um Vision Custom Models zu verwenden, müssen Sie ein trainiertes Modell erhalten. Angenommen, die Daten wurden bereits gesammelt und auf Ihren Computer heruntergeladen (indem Sie die Anleitung zur Datenerfassung und zum Datenexport befolgt haben), kann das Training eines Modells ganz einfach über den Online-Dienst customvision.ai von Microsoft Azure erfolgen. Mit nur wenigen Klicks können Sie die Bilder mit ihren Anmerkungen laden und ein benutzerdefiniertes Modell trainieren.

Laden von Daten auf customvision.ai

Um ein neues Modell zu trainieren, erstellen Sie ein neues customvision.ai-Projekt: (Sie benötigen Azure-Anmeldedaten, die Sie über das Azure-Portal erhalten können)

Stellen Sie sicher, dass Sie ein Klassifizierungsmodell, Multiclass mit der Bezeichnung General (compact) erstellen:

Als nächstes fügen Sie Bilder hinzu, die Sie aus Tulip exportiert haben:

Laden Sie die Bilder in großen Mengen hoch, um Zeit und Mühe bei der Kennzeichnung der einzelnen Bilder zu sparen. Der Datensatzexport aus Tulip ordnet die Bilder nach ihren Kategorien in einem Ordner an. Wählen Sie alle Bilder aus dem Ordner aus und laden Sie sie in customvision.ai hoch:

Wiederholen Sie den Vorgang für die anderen Kategorien Ihres Datensatzes. Stellen Sie sicher, dass Sie mindestens 50 Beispiele aus jeder Kategorie haben:

Trainieren eines Modells auf customvision.ai

Um ein Modell zu trainieren, sobald die Bilder vorhanden sind, klicken Sie auf die Schaltfläche "Trainieren".

Wählen Sie Ihr Trainingsbudget. Für eine schnelle Überprüfung Ihrer Tulip App Arbeit empfehlen wir Ihnen ein "Quick Training", um eine schnelle Gesamteinschätzung der visuellen Inspektion in Ihrer Werkstatt zu erhalten. Mit dem Modus "Schnelles Training" können Sie jedoch davon ausgehen, dass die Erkennungsleistung nicht sehr gut ist. Trainieren Sie das Modell zu einem späteren Zeitpunkt mit einem größeren Budget erneut, um produktionsreife Modelle zu erhalten, sobald die physische Einrichtung Ihrer Stationen abgeschlossen ist.

Exportieren des ONNX-Modells aus customvision.ai

Lassen Sie das Modell das Training beenden und gehen Sie auf die Seite "Leistung". Dort finden Sie die Option zum Exportieren des Modells:

Wählen Sie die Option "ONNX":

Exportieren und Herunterladen des Modells:

Wenn Sie Probleme mit Ihren exportierten Modellen haben, wenden Sie sich an unser Support-Team, um ein Modell zu erhalten, das gut funktioniert.

Einrichten eines benutzerdefinierten Modells auf Tulip Vision

Um das heruntergeladene Modell in Tulip Vision zu verwenden, gehen Sie auf die Seite Vision -> Modelle:

Erstellen Sie ein neues benutzerdefiniertes Modell:

Stellen Sie sicher, dass der Modelltyp "Klassifizierung" ist. Wählen Sie die Modelldateien aus dem heruntergeladenen Export. Sie sollten eine model.xml, model.bin und labels.txt Datei haben.

Erstellen Sie als nächstes einen neuen "Klassifizierungsmodell-Detektor" auf der Seite "Detektoren" oder auf der Kamerakonfigurationsseite; vergessen Sie nicht, das gerade erstellte benutzerdefinierte Modell auszuwählen:

Als Nächstes weisen Sie den neuen Klassifikator-Detektor einer Kamerakonfigurationsregion zu. Stellen Sie sicher, dass Sie dieselbe Region verwenden, die Sie auch für die Datenerfassung genutzt haben. Beachten Sie, dass Sie auch den Schwellenwert für die Erkennung einstellen können. Wenn Sie diesen höher einstellen, werden nur Vorhersagen von Ihrem Modell akzeptiert, die eine hohe Konfidenzrate aufweisen. Ein höherer Schwellenwert lässt weniger Fälle zu, gewährleistet aber eine sichere Entscheidung (hohe Präzision) und verringert die Zahl der falsch-positiven Ergebnisse (Fehler vom Typ I). Ein niedrigerer Schwellenwert versucht, mehr Fälle zu erfassen, kann aber zu mehr falsch-positiven Ergebnissen führen (hoher Recall).

Hinweis: Es kann bis zu einer Minute dauern, bis die Kamera das Modell aus der Cloud herunterlädt, bevor sie mit dem Drucken der Ergebnisse beginnt.

Sobald das Modell installiert ist und funktioniert, sollten Sie sehen, dass es eine Vorhersage mit einem Vertrauenswert auf dem Live-Video erzeugt:

Benutzerdefinierte Modelle in Tulip Apps verwenden

Nachdem das benutzerdefinierte Modell live auf Ihrem Vision-Gerät läuft, können Sie nun seine Vorhersagen in Tulip-Apps verwenden. Der Klassifikator-Detektor gibt Ereignisse aus, wenn eine Erkennung die Vertrauensschwelle überschritten hat.

Richten Sie eine App mit einem Schritt für die visuelle Inspektion ein. Fügen Sie die Kameraansicht hinzu, um z.B. eine visuelle Bestätigung für Ihre Bediener zu erhalten:

Denken Sie daran, dass das Inspektionsergebnis kontinuierlich ist und keine Schnappschuss-Schaltfläche zum Auslösen benötigt.

Fügen Sie als Nächstes Auslöser für die Echtzeit-Erkennung auf der Grundlage der benutzerdefinierten Modelldetektor-Ausgänge hinzu. Verwenden Sie den Auslöser "Erkennung begonnen", um ein Ereignis zu erhalten, wenn der Detektor eine Vorhersage macht, die über dem zuvor festgelegten Schwellenwert liegt:

Sie können auch ein Ereignis hinzufügen, wenn die Erkennung endet und die Variable löschen.

Ihre laufende Anwendung sollte nun die Ergebnisse des benutzerdefinierten Modells aus dem Trigger anzeigen:

Schlussfolgerung

Mit benutzerdefinierten Modellen können Sie ML-Modelle am Rand in Echtzeit ausführen, um visuelle Inspektionsaufgaben automatisch durchzuführen. Sie können verwendet werden, um eine manuelle Inspektion durch ein entsprechend trainiertes Modell zu ersetzen oder zu ergänzen. Da die Modelle im Edge laufen, fallen keine zusätzlichen Gebühren an, und sie sorgen für einen schnelleren, privateren und sicheren Betrieb in Bezug auf die Daten.

Beginnen Sie noch heute mit dem maschinellen Lernen auf Tulip mit Vision Custom Models. Mit einer schnellen und einfachen Einrichtung können diese leistungsstarken Modelle Zeit und Mühe in Ihrer Fabrikhalle sparen.

Weitere Informationen

• Verwenden Sie Azure customvision.ai mit Tulip Custom Widgets für die visuelle Inspektion
• Verwenden Sie AWS Lookout für Vision mit Connectors für die visuelle Inspektion
• Datenerfassung für die Erstellung von Datensätzen für maschinelles Lernen