Verwendung einer Bildschirmaufnahme als Kameraquelle für Vision

Diese Anleitung hilft Ihnen, Ihr System so einzurichten, dass Sie mit einem handelsüblichen USB-Aufnahmegerät oder mit kostenlosen und einfachen Tools wie Open Broadcaster Studio (OBS) und VLC Bildschirmaufnahmen an Tulip Vision senden und empfangen können.

Die Verwendung einer Bildschirmaufnahme für visuelle Echtzeit-Analysen ist in bestimmten Situationen ein nützliches Werkzeug für die Überwachung Ihrer Produktionsumgebung. Im Folgenden finden Sie einige Beispiele dafür, wann Bildschirmaufnahmen hilfreich sein können:

• Ein visuelles Scan-Gerät (wie ein Röntgengerät zur visuellen Inspektion), das an einen Computer angeschlossen wird, funktioniert nur mit einer proprietären Windows-Anwendung und kann nicht mit einer normalen Kamera verwendet werden.
• Sie möchten mit OCR Text aus einer Anwendung auf dem Bildschirm lesen, der sich möglicherweise ändert und zur Steuerung Ihrer Anwendung beiträgt
• Sie möchten den Zustand des Computers oder einer Anwendung, die darauf läuft, überwachen

Indem Sie den Bildschirm aufzeichnen und über das Netzwerk an Tulip Vision senden, können Sie mit einfachen Mitteln eine Analyse des Bildschirminhalts ermöglichen.

Voraussetzungen

• Tulip Vision ist auf Ihrer Tulip-Instanz eingerichtet und läuft
• Ein Bildschirmaufnahme-USB-Gerät (z.B. dieses oder dieses) oder IP-Kameras aktiviert
• Ein Windows-Computer, auf dem Tulip Player läuft
• Ein Windows-Computer ist bereit für die Installation von Anwendungen zur Bildschirmaufnahme
• Wenn es sich nicht um denselben Computer handelt, müssen beide Computer über eine offene Netzwerkverbindung miteinander verbunden sein

Verwendung eines USB-Bildschirmaufnahmegeräts

USB-Aufnahmegeräte sind eine sehr bequeme Möglichkeit, Bildschirmaufnahmen in Tulip Vision zu erhalten. Wir empfehlen den Kauf eines normalen USB-Aufnahmegeräts mit HDMI-Eingang, das als Kamera fungiert. Es gibt mehrere Optionen für ein solches Gerät, wie USB2.0 oder UBS3.x, Framerate und Auflösung, die Sie entsprechend Ihrer Anwendung auswählen können.

Stecken Sie das USB-Gerät ein und verbinden Sie es mit dem HDMI-Ausgang des PCs, den Sie überwachen möchten.

Das Gerät sollte nun als Kamera auf der Shop Floor-Seite der Station angezeigt werden:

Weisen Sie dem Kameragerät eine Kamerakonfiguration zu und beobachten Sie die Ausgabe auf der Konfigurationsseite:

Sie können nun die Konfiguration für Vision-Detektoren und Funktionen wie OCR verwenden.

Wenn Sie kein USB-Erfassungsgerät haben, können Sie mit den folgenden Schritten den Bildschirm nur mit der Software unter Verwendung eines IP-Videostreams erfassen.

Einrichten von Screen Capture auf dem Windows-Rechner

Führen Sie die folgenden Schritte aus, um die Bildschirmaufzeichnung auf dem vorgesehenen Windows-Rechner zu starten:

1. Laden Sie die OBS-Version 27.x herunter und installieren Sie sie: https://github.com/obsproject/obs-studio/releases/tag/27.2.4{target="_blank"}
   Stellen Sie sicher, dass Sie die Version 27.x und nicht 28.x herunterladen, da diese nicht mit dem Streaming-Plugin funktioniert.
2. Laden Sie das OBS RTSP-Server-Plugin herunter und installieren Sie es: https://github.com/iamscottxu/obs-rtspserver/releases{target="_blank"}
3. Starten Sie OBS und beobachten Sie den Hauptbildschirm, der erscheint.
4. Fügen Sie entweder ein "Display Capture" oder ein "Window Capture" zu der Szene hinzu.
5. Richten Sie das Capture so ein, dass Sie die Ansicht der Anwendung erhalten, die Sie überwachen möchten. In diesem Beispiel werden wir die Ansicht von einer Kamera aufnehmen, die über eine proprietäre Anzeigeanwendung verfügt.
6. Sie können das Fenster-Capture so anpassen, dass nur der wichtige Teil des Anwendungsfensters erfasst wird.
   
7. Wenn Sie mit dem Capture zufrieden sind, stellen Sie sicher, dass es die gesamte Szene abdeckt, indem Sie die Transformation "An Bildschirm anpassen" verwenden.
   
8. Verwenden Sie das Menü Extras -> RTSP-Server, um den RTSP-Stream zu starten. Sie können die Standardoptionen beibehalten, es sei denn, Sie wissen von besonderen Netzwerkbedingungen (wie einem blockierten Port).

Empfohlener Schritt: Überprüfen, ob der RTSP-Stream funktioniert

Bevor Sie mit Tulip Vision weitermachen, empfehlen wir Ihnen zu überprüfen, ob der RTSP-Stream der Bildschirmaufnahme tatsächlich funktioniert und die richtige Ansicht anzeigt. Eine einfache Möglichkeit, dies zu tun, ist die Verwendung des kostenlosen Tools VLC Media Player. Stellen Sie sicher, dass Sie dies auf dem Computer tun, der den RTSP-Stream empfängt - dem Computer, auf dem der Tulip Player läuft, wenn es sich nicht um denselben Computer handelt.

Gehen Sie folgendermaßen vor, um den RTSP-Stream zu überprüfen: 1. Laden Sie die neueste Version von VLC herunter und installieren Sie sie: https://www.videolan.org/vlc/{target="_blank"}
2. Starten Sie VLC und achten Sie darauf, dass er sich ohne Fehler öffnet.

1. Öffnen Sie einen neuen Netzwerk-Stream aus dem Menü Medien.
2. Geben Sie auf dem Bildschirm "Netzwerkmedien" die URL ein, die Ihrem Stream entspricht. In diesem Fall führen wir die Aufnahme auf demselben Computer aus, daher ist der Hostname/die Adresse localhost. Der Port ist der Standardwert 554, und der Pfad ist der Standardwert aus den OBS-Einstellungen: /live. Die vollständige URL lautet dann "rtsp://localhost:554/live".
3. Sie können sehen, dass die Bildschirmaufnahme erfolgreich gestreamt wurde.

Lesen Sie den Capture Stream auf Tulip Vision

Der letzte Schritt besteht darin, den Screen-Capture-Stream in Tulip Vision einzulesen, was wir mit einer "IP-Kamera"-Konfiguration tun werden. Dies kann einfach über die Tulip UI erfolgen.

Folgen Sie diesen Schritten, um den Capture-Stream in Tulip Vision einzurichten: 1. Gehen Sie auf Shop Floor -> Vision -> IP-Kameras und erstellen Sie eine neue IP-Kamera-Konfiguration. Verwenden Sie die URL, die Sie für VLC überprüft haben. In diesem Beispiel befinden sich der Capture Stream Server und der Client auf demselben Computer, so dass die URL rtsp://localhost:554/live lautet.

1. Erstellen Sie eine neue Kamerakonfiguration für diese neue "IP-Kamera" unter der Registerkarte "Kamerakonfigurationen" in Shop Floor -> Vision.
2. Weisen Sie die neue Kamerakonfiguration der IP-Kamera über die Shop Floor-Seite an der Station zu, die mit dem Ziel-Tulip Player konfiguriert ist.
3. Warten Sie, bis sich der Stream gesetzt hat und beobachten Sie, ob die Schaltfläche "Ansehen" erscheint.
4. Klicken Sie auf "Betrachten", um den Screen-Capture-Stream als Tulip Vision-Kamera zu sehen.
5. Zu diesem Zeitpunkt ist der Aufnahmestrom wie jede andere Tulip Vision Kameraquelle. Sie können Detektoren erstellen und die Ereignisse von Vision für Ihre Anwendungen nutzen.

Sie können jetzt Tulip Vision verwenden, um Bildschirmaufnahmen von einem Computer zu überwachen, was manchmal nützlich sein kann, um z.B. ein angeschlossenes Gerät oder eine laufende Anwendung zu überwachen. Die Erstellung des Capture-Streams wird durch leicht verfügbare Tools und die Konfiguration einer Tulip Vision "IP-Kamera" ermöglicht.

Weitere Lektüre

• Getting Started with Vision
• Verwendung von IP-Kameras mit Vision

Haben Sie gefunden, wonach Sie gesucht haben?

Sie können auch auf community.tulip.co Ihre Frage stellen oder sehen, ob andere mit einer ähnlichen Frage konfrontiert wurden!