Utilizar una captura de pantalla como fuente de cámara para la visión

Esta guía le ayudará a configurar su sistema para enviar y recibir capturas de pantalla a Tulip Vision con un dispositivo de captura USB comercial o utilizando herramientas gratuitas y sencillas como Open Broadcaster Studio (OBS) y VLC.

El uso de una captura de pantalla para el análisis visual en tiempo real es una herramienta útil para supervisar su taller en determinadas situaciones. A continuación se ofrecen algunos ejemplos de casos en los que la captura de pantalla puede resultar útil:

• Un dispositivo de escaneo visual (como una máquina de rayos X para inspección visual) que se conecta a un ordenador sólo funciona con una aplicación propietaria de Windows y no puede utilizarse con una cámara normal.
• Le gustaría leer el texto, utilizando OCR, de una aplicación en la pantalla que puede cambiar y ayudar a conducir su aplicación
• Desea supervisar el estado del ordenador o de cualquier aplicación que se esté ejecutando en él.

Al capturar la pantalla y enviarla a través de la red a Tulip Vision, puede permitir el análisis del contenido de la pantalla con medios sencillos.

Requisitos previos

• Tulip Vision está configurado y ejecutándose en su Instancia de Tulip
• Un dispositivo USB de captura de pantalla (como este o este) o Cámaras IP habilitadas
• Un ordenador con Windows que ejecute Tulip Player
• Un ordenador con Windows está listo para instalar aplicaciones para la captura de pantalla
• Si estos no son el mismo equipo - ambos equipos deben tener una conexión de red abierta entre ellos

Utilizando un dispositivo USB de captura de pantalla

Los dispositivos USB de captura son una manera muy conveniente de obtener capturas de pantalla en Tulip Vision. Recomendamos adquirir un dispositivo USB de captura con entrada HDMI normal que actúe como cámara. Hay varias opciones para un dispositivo de este tipo, como USB2.0 o UBS3.x, velocidad de fotogramas y resolución, que puede seleccionar de acuerdo a su aplicación.

Enchufa el dispositivo USB y conéctalo a la salida HDMI del PC que quieras monitorizar.

El dispositivo debería aparecer ahora como una cámara en la página Shop Floor de la estación:

Asigne una Configuración de Cámara al dispositivo de cámara y observe la salida en la página de configuración:

Ahora puede utilizar la configuración para detectores de Visión y capacidades como OCR.

Si no dispone de un dispositivo de captura USB, los siguientes pasos le permitirán capturar la pantalla sólo con software utilizando un flujo de vídeo IP.

Configuración de la captura de pantalla en el equipo Windows

Siga estos pasos para iniciar la captura de pantalla en la máquina Windows designada:

1. Descargue e instale la versión 27.x de OBS: https://github.com/obsproject/obs-studio/releases/tag/27.2.4{target="_blank"}
   Asegúrese de descargar las versiones 27.x y no 28.x ya que no funcionan con el plugin de streaming.
2. Descargue e instale el plugin OBS RTSP Server: https://github.com/iamscottxu/obs-rtspserver/releases{target="_blank"}
3. Inicie OBS y observe cómo aparece la pantalla principal.
4. Añada una "Captura de pantalla" o una "Captura de ventana" a la escena.
5. Configure la captura para obtener la vista de la aplicación que desea monitorizar. En este ejemplo vamos a obtener la vista de una cámara que tiene una aplicación de visualización propietaria.
6. Puedes modificar la captura de la ventana para recortar sólo la parte importante de la ventana de la aplicación.
   
7. Una vez que esté satisfecho con la captura, asegúrese de que cubre toda la escena utilizando la transformación "Ajustar a pantalla".
   
8. Utilice el menú Herramientas -> Servidor RTSP para iniciar el flujo RTSP. Puedes mantener las opciones por defecto, a menos que conozcas circunstancias especiales de la red (como un puerto bloqueado).

Paso recomendado: Verificar que el flujo RTSP funciona

Recomendamos encarecidamente, antes de pasar a Tulip Vision, verificar que el flujo RTSP de la captura de pantalla funciona y muestra la vista correcta. Una forma sencilla de hacerlo es utilizar la herramienta gratuita VLC Media Player. Asegúrate de hacer esto en el equipo que recibirá el flujo RTSP - el equipo que ejecutará Tulip Player, si no son el mismo equipo.

Siga estos pasos para verificar el flujo RTSP: 1. Descargue e instale la última versión de VLC Media Player. Descarga e instala la última versión de VLC: https://www.videolan.org/vlc/{target="_blank"}
2. Inicie VLC, observe que se abre correctamente sin errores.

1. 3. Abra un nuevo Network Stream desde el menú Media.
2. En la pantalla de medios de red introduzca la URL correspondiente a su stream. En este caso estamos ejecutando la captura en el mismo ordenador por lo tanto el hostname/dirección será localhost. El puerto es el predeterminado 554, y la ruta es la predeterminada de la configuración de OBS: /live. La URL completa será entonces `rtsp://localhost:554/live'.
3. Observe que puede ver la captura de pantalla transmitida correctamente.

Leer el flujo de captura en Tulip Vision

El paso final es obtener el flujo de captura de pantalla en Tulip Vision, lo que haremos con una configuración de "Cámara IP". Esto se puede hacer fácilmente a través de la Tulip UI.

Siga estos pasos para configurar el flujo de captura en Tulip Vision Vaya a Shop Floor -> Vision -> IP Cameras y cree una nueva configuración de cámara IP. Utiliza la URL que has verificado que funciona en VLC. En este ejemplo el servidor de captura y el cliente están en el mismo equipo por lo que la URL sería rtsp://localhost:554/live.

1. Cree una nueva Configuración de Cámara para esta nueva "Cámara IP" en la pestaña "Configuraciones de Cámara" en Shop Floor -> Visión.
2. Asigna la nueva configuración de cámara a la cámara IP a través de la página Shop Floor en la estación que está configurada con el Tulip Player de destino.
3. Deje que el flujo se asiente y observe que aparece el botón "Ver".
4. Haga clic en "Ver" para ver el flujo de captura de pantalla como una cámara Tulip Vision.
5. En este punto el flujo de captura es como cualquier otra fuente de cámara Tulip Vision. Puedes crear detectores y empezar a usar los eventos de Vision para manejar tus aplicaciones.

Ahora puede utilizar Tulip Vision para supervisar las capturas de pantalla de un ordenador, que a veces puede ser útil para, por ejemplo, supervisar un dispositivo conectado o una aplicación en ejecución. La creación del flujo de captura es posible mediante herramientas fácilmente disponibles, y la configuración de una "Cámara IP" Tulip Vision.

Más información

• Getting Started with Vision
• Uso de cámaras IP con Vision

¿Has encontrado lo que buscabas?

También puedes dirigirte a community.tulip.co para publicar tu pregunta o ver si otros se han enfrentado a una pregunta similar.