Utilisation d'une capture d'écran comme source de caméra pour Vision

Ce guide vous aidera à configurer votre système pour envoyer et recevoir des captures d'écran vers Tulip Vision à l'aide d'un périphérique de capture USB disponible dans le commerce ou en utilisant des outils gratuits et simples comme Open Broadcaster Studio (OBS) et VLC.

L'utilisation d'une capture d'écran pour une analyse visuelle en temps réel est un outil utile pour surveiller votre atelier dans certaines situations. Voici quelques exemples de situations dans lesquelles la capture d'écran peut s'avérer utile :

• Un dispositif de balayage visuel (comme une machine à rayons X pour l'inspection visuelle) qui se connecte à un ordinateur ne fonctionne qu'avec une application Windows propriétaire et ne peut pas être utilisé avec une caméra ordinaire.
• Vous souhaitez lire à l'écran, à l'aide de la ROC, du texte provenant d'une application susceptible de changer et d'aider à piloter votre application.
• Vous souhaitez surveiller l'état de l'ordinateur ou de toute application en cours d'exécution.

En capturant l'écran et en l'envoyant sur le réseau à Tulip Vision, vous pouvez permettre l'analyse du contenu de l'écran avec des moyens simples.

Conditions préalables

• Tulip Vision est installé et fonctionne sur votre Instance Tulip
• Un périphérique USB de capture d'écran (tel que celui-ci ou celui-ci) ou des caméras IP activées
• Un ordinateur Windows avec Tulip Player
• Un ordinateur Windows prêt à installer des applications pour la capture d'écran.
• S'il ne s'agit pas du même ordinateur - les deux ordinateurs doivent avoir une connexion réseau ouverte entre eux.

Utilisation d'un périphérique USB de capture d'écran

Les périphériques USB de capture d'écran sont un moyen très pratique d'obtenir des captures d'écran dans Tulip Vision. Nous recommandons l'achat d'un périphérique de capture USB à entrée HDMI qui agit comme une caméra. Il existe plusieurs options pour ce type de périphérique, telles que USB2.0 ou UBS3.x, framerate et résolution, que vous pouvez sélectionner en fonction de votre application.

Branchez le périphérique USB et connectez-le à la sortie HDMI du PC que vous souhaitez surveiller.

Le dispositif devrait maintenant apparaître comme une caméra sur la page Shop Floor de la station :

Attribuez une configuration de caméra au dispositif de caméra et observez la sortie dans la page de configuration :

Vous pouvez maintenant utiliser la configuration pour les détecteurs de vision et les fonctionnalités telles que l'OCR.

Si vous ne disposez pas d'un périphérique de capture USB, les étapes suivantes vous permettront de capturer l'écran à l'aide d'un logiciel utilisant uniquement un flux vidéo IP.

Configuration de la capture d'écran sur l'ordinateur Windows

Suivez les étapes suivantes pour démarrer la capture d'écran sur la machine Windows désignée :

1. Téléchargez et installez la version 27.x d'OBS : https://github.com/obsproject/obs-studio/releases/tag/27.2.4{target="_blank"}
   Veillez à télécharger les versions 27.x et non 28.x, car elles ne fonctionnent pas avec le plugin de diffusion en continu.
2. Téléchargez et installez le plugin OBS RTSP Server : https://github.com/iamscottxu/obs-rtspserver/releases{target="_blank"}
3. Lancez OBS et observez l'écran principal qui s'affiche.
4. Ajoutez une "Display Capture" ou une "Window Capture" à la scène.
5. Configurez la capture pour obtenir la vue de l'application que vous souhaitez surveiller. Dans cet exemple, nous allons capturer la vue d'une caméra dotée d'une application de visualisation propriétaire.
6. Vous pouvez modifier la capture de la fenêtre pour ne recadrer que la partie importante de la fenêtre de l'application.
   
7. Une fois que vous êtes satisfait de la capture, assurez-vous qu'elle couvre l'ensemble de la scène en utilisant la transformation "Ajuster à l'écran".
   
8. Utilisez le menu Outils -> Serveur RTSP pour démarrer le flux RTSP. Vous pouvez conserver les options par défaut, à moins que vous ne connaissiez des circonstances réseau particulières (comme un port bloqué).

Étape recommandée : Vérifier que le flux RTSP fonctionne

Avant de passer à Tulip Vision, nous vous recommandons vivement de vérifier que le flux RTSP de la capture d'écran fonctionne et affiche la vue correcte. Un moyen facile de le faire est d'utiliser l'outil gratuit VLC Media Player. Veillez à le faire sur l'ordinateur qui recevra le flux RTSP - l'ordinateur qui exécutera Tulip Player, s'il ne s'agit pas du même ordinateur.

Suivez les étapes suivantes pour vérifier le flux RTSP : 1. Téléchargez et installez la dernière version de VLC : https://www.videolan.org/vlc/{target="_blank"}
2. Démarrez VLC, observez qu'il s'ouvre avec succès et sans erreur.

1. Ouvrez un nouveau flux réseau dans le menu Média.
2. Dans l'écran de média réseau, entrez l'URL qui correspond à votre flux. Dans ce cas, nous exécutons la capture sur le même ordinateur, le nom d'hôte/l'adresse sera donc localhost. Le port est le port par défaut 554, et le chemin d'accès est le chemin d'accès par défaut des paramètres OBS : /live. L'URL complète sera donc `rtsp://localhost:554/live'.
3. Observez que vous pouvez voir la capture d'écran diffusée avec succès.

Lire le flux de capture sur Tulip Vision

L'étape finale est d'obtenir le flux de capture d'écran dans Tulip Vision, ce que nous ferons avec une configuration "IP Camera". Ceci peut être facilement réalisé via l'interface utilisateur de Tulip.

Suivez les étapes suivantes pour configurer le flux de capture sur Tulip Vision : 1. Allez sur Shop Floor -> Vision -> IP Cameras et créez une nouvelle configuration de caméra IP. Utilisez l'URL dont vous avez vérifié le fonctionnement sur VLC. Dans cet exemple, le serveur de flux de capture et le client sont sur le même ordinateur, l'URL serait donc rtsp://localhost:554/live.

1. Créez une nouvelle configuration de caméra pour cette nouvelle "caméra IP" sous l'onglet "Configurations de caméra" dans Shop Floor -> Vision.
2. Attribuez la nouvelle configuration de caméra à la caméra IP via la page Shop Floor à la station configurée avec le lecteur Tulip cible.
3. Laissez le flux se stabiliser et observez le bouton "View" apparaître.
4. Cliquez sur "View" pour voir le flux de capture d'écran en tant que caméra Tulip Vision.
5. A ce stade, le flux de capture est comme n'importe quelle autre source de caméra Tulip Vision. Vous pouvez créer des détecteurs et commencer à utiliser les événements de Vision pour piloter vos applications.

Vous pouvez maintenant utiliser Tulip Vision pour surveiller les captures d'écran d'un ordinateur, ce qui peut parfois être utile, par exemple, pour surveiller un appareil connecté ou une application en cours d'exécution. La création du flux de capture est possible grâce à des outils facilement disponibles et à la configuration d'une "caméra IP" Tulip Vision.

Pour en savoir plus

• Getting Started with Vision
• Utiliser des caméras IP avec Vision

Vous avez trouvé ce que vous cherchiez ?

Vous pouvez également vous rendre sur community.tulip.co pour poser votre question ou voir si d'autres ont répondu à une question similaire !