Verwendung des OCR-Detektors (Optical Character Recognition)

:::(Warning) (Hinweis) Mit Frontline Coplilot™ kann Text direkt aus Bildern und Dokumenten extrahiert werden, was den Prozess der OCR von Bildern in Tulip erheblich vereinfacht. Dies ist der empfohlene Ansatz für die Zukunft. :::

Erkennen von Text im Kamerabild und Auslösen von App-Aktionen mit dem OCR-Detektor von Vision

OCR-Detektor Übersicht

Optical Character Recognition(OCR) ist der Prozess der Dekodierung von Bildern, um den darin enthaltenen Text zu finden und zu lesen. OCR ist ein langes und zielgerichtetes Streben der Computer-Vision-Technologie seit Jahrzehnten, aber es ist immer noch eines der schwierigsten Erkennungsprobleme, die es gibt.

Mit dem OCR-Detektor können Sie vordefinierte Bereiche im Stream Ihrer Kamera überwachen, um Text in Echtzeit zu erkennen. Sie können dann Texterkennungsereignisse verwenden, um eine Logik in Ihrer Anwendung zu erstellen.

:::(Info) (HINWEIS) Die Ergebnisse des OCR-Detektors in Echtzeit hängen stark von der Qualität des Eingangsbildes ab. Um erfolgreich zu sein und reproduzierbare Ergebnisse zu erhalten, sollten Sie sich um eine gleichmäßige und gut beleuchtete Leseumgebung bemühen. Bringen Sie die Kamera so nah wie möglich an die Stelle, an der der Text erscheinen soll. Ziehen Sie die Verwendung einer Zoom- oder Dokumentenkamera in Betracht, wie im Artikel mit den Hardware-Empfehlungen vorgeschlagen. :::

In diesem Artikel erfahren Sie...

• Wie man einen OCR-Detektor einrichtet
• Die Verwendung der OCR-Detektor-Ereignisse als In-App-Auslöser
• Wie man die Einstellungen eines OCR-Detektors anpasst

Voraussetzungen

• Bitte lesen Sie " Erste Schritte mit Vision", um ein Verständnis für die Funktionen und Anforderungen von Vision zu bekommen und um Anweisungen zur Einrichtung Ihrer Kamera zu erhalten.
• Diese Funktion funktioniert sowohl mit Farb- als auch mit Tiefenkameras.
• Die OCR-Funktion ist in den Tulip-Versionen r210+ und Player 1.1.0+ verfügbar.

Einrichten des OCR-Detektors

Nachdem Sie Ihre Kamerakonfiguration abgeschlossen haben, sollten Sie den Videostrom sehen. Um den OCR-Detektor einzurichten, wählen Sie die Region aus, die Sie für die Texterkennung überwachen möchten. Möglicherweise müssen Sie einen neuen Bereich erstellen, indem Sie auf das Bild klicken und ziehen, um den Bereich zu definieren:

Erstellen Sie dann einen OCR-Detektor, indem Sie auf den Link Detektor erstellen klicken. Geben Sie dem Detektor einen Namen und eine Beschreibung (optional) und wählen Sie OCR als Typ des Detektors. Aktivieren Sie den OCR-Detektor für diese Region mit dem Kippschalter.

Die Begrenzung der Region wird grün, wenn der Text in der Region erkannt wird, andernfalls bleibt sie rot. Wenn der Erkennungsschwellenwert 50 % beträgt, sollte der in dieser Region erkannte Text mit einer Wahrscheinlichkeit von mehr als 50 % richtig erkannt werden. An diesem Punkt wird in der App, die diese Kamerakonfiguration verwendet, ein Ereignis ausgelöst.

Einstellungen für OCR-Detektorbereiche

Wahrscheinlich müssen Sie die Einstellungen einer Region anpassen, um Ergebnisse zu erzielen, die Ihrem Anwendungsfall angemessen sind. Um die Einstellungen für Ihre Region zu bearbeiten, klicken Sie auf Ihre Kamerakonfiguration und wählen Sie die Regionen aus, die Sie anpassen möchten.

Die folgenden Einstellungen sind verfügbar:

OCR-Konfidenzerkennungsschwelle

Dies ist die prozentuale Konfidenz, die erforderlich ist, um ein Ereignis "Text erkannt" auszulösen. Wenn der Text auch unter schwierigen Bedingungen erkannt werden soll, können Sie diesen Schwellenwert auf einen niedrigeren Wert wie 40-50 % einstellen. Jeder Wert, der über diesem Schwellenwert liegt, löst das Ereignis "Text erkannt" aus, wenn zuvor kein Text in dem Bereich erkannt wurde.

Verwendung des OCR-Detektors in einer App

Wechseln Sie zu Ihrem App-Editor und erstellen Sie einen neuen Device Output Trigger.

Alle Kamerakonfigurationen werden in der Unterliste Spezifisches Gerät angezeigt. Bitte wählen Sie Ihre Kamerakonfiguration aus dem Dropdown-Menü aus.

Beachten Sie, dass der Abschnitt " Spezifisches Gerät " es Ihnen ermöglicht, mehrere Kameras in derselben App zu verwenden. Jede Station, die diese App ausführt, muss über die spezifische Kamerakonfiguration verfügen, die Sie für die Kamera ausgewählt haben. Andernfalls wird beim Ausführen der App eine Warnung angezeigt.

Nun sehen Sie ein Dropdown-Menü mit verschiedenen Ereignissen, auf die der Auslöser angewendet werden kann:

In diesem Beispiel wählen Sie Text Detected aus der Liste der Ereignisse aus.

Wenn Sie ein Videovorschau-Widget in Ihrem Schritt haben, beachten Sie die Option "Overlay anzeigen", mit der Sie die Anzeige der Regionen über dem Video deaktivieren können. Aktivieren Sie das Lay-Overlay "OCR DETECTOR", um Informationen zur OCR-Erkennung anzuzeigen.

Führen Sie die App an der Station aus, der Sie Ihre Kamerakonfiguration zugewiesen haben.

Wenn Sie den Schritt mit dem Vision Camera Widget in Ihrem Player öffnen, sehen Sie den Videostream der Kamera. Wenn Sie ein Objekt innerhalb der Region bewegen, das eine ähnliche Farbe wie die in den Einstellungen angegebene hat, wird die Grenze der Region grün, und die Trigger-Aktion wird ausgeführt.

Sie haben nun die Einrichtung des OCR-Detektors in der Kamerakonfiguration erfolgreich abgeschlossen und sind bereit, diese Funktionalität in Produktionsanwendungen zu integrieren.

Weitere Lektüre

• Verwendung des Jig-Detektors
• Verwendung des Vision Camera Widget in Apps
• Verwendung der Snapshot-Funktion in Apps
• Hardware-Empfehlungen für Vision