Usando uma captura de tela como uma fonte de câmera para o Vision

Este guia o ajudará a configurar seu sistema para enviar e receber captura de tela para o Tulip Vision com um dispositivo de captura USB pronto para uso ou usando ferramentas gratuitas e simples, como o Open Broadcaster Studio (OBS) e o VLC.

O uso de uma captura de tela para análise visual em tempo real é uma ferramenta útil para monitorar o chão de fábrica em determinadas situações. Veja a seguir alguns exemplos de quando a captura de tela pode ajudar:

• Um dispositivo de escaneamento visual (como uma máquina de raios X para inspeção visual) que se conecta a um computador só funciona com um aplicativo proprietário do Windows e não pode ser usado com uma câmera comum
• Você gostaria de ler um texto, usando OCR, de um aplicativo na tela que pode mudar e ajudar a conduzir o seu aplicativo
• Deseja monitorar o estado do computador ou de qualquer aplicativo que possa estar sendo executado nele

Ao capturar a tela e enviá-la pela rede para o Tulip Vision, você pode permitir a análise do conteúdo da tela com meios simples.

Pré-requisitos

• O Tulip Vision está configurado e em execução em sua instância Tulip
• Um dispositivo USB de captura de tela (como este ou este) ou câmeras IP habilitadas
• Um computador Windows rodando o Tulip Player
• Um computador Windows está pronto para instalar aplicativos para captura de tela
• Se estes não forem o mesmo computador - ambos os computadores precisam ter uma conexão de rede aberta entre eles

Uso de um dispositivo USB de captura de tela

Os dispositivos USB de captura são uma maneira muito conveniente de obter capturas de tela no Tulip Vision. Recomendamos a compra de um dispositivo de captura USB com entrada HDMI comum que funcione como uma câmera. Há várias opções para esse dispositivo, como USB2.0 ou UBS3.x, taxa de quadros e resolução, que podem ser selecionadas de acordo com o seu aplicativo.

Ligue o dispositivo USB e conecte-o à saída HDMI do PC que você deseja monitorar.

O dispositivo agora deve aparecer como uma câmera na página Shop Floor da estação:

Atribua uma configuração de câmera ao dispositivo da câmera e observe a saída na página de configuração:

Agora você pode usar a configuração para detectores de visão e recursos como OCR.

Se não tiver um dispositivo de captura USB, as etapas a seguir permitirão que você capture a tela com o software usando apenas um fluxo de vídeo IP.

Configuração da captura de tela na máquina Windows

Siga estas etapas para iniciar a captura de tela na máquina Windows designada:

1. Faça download e instale o OBS versão 27.x: https://github.com/obsproject/obs-studio/releases/tag/27.2.4{target="_blank"}
   Certifique-se de baixar as versões 27.x e não a 28.x, pois elas não funcionam com o plug-in de streaming.
2. Baixe e instale o plug-in do servidor OBS RTSP: https://github.com/iamscottxu/obs-rtspserver/releases{target="_blank"}
3. Inicie o OBS e observe a tela principal que aparece.
4. Adicione uma "Captura de tela" ou "Captura de janela" à cena.
5. Configure a captura para obter a exibição do aplicativo que você deseja monitorar. Neste exemplo, vamos capturar a visualização de uma câmera que tem um aplicativo de visualização proprietário.
6. Você pode modificar a captura da janela para cortar apenas a parte importante da janela do aplicativo.
   
7. Quando estiver satisfeito com a captura, certifique-se de que ela cubra toda a cena usando a transformação "Fit to Screen".
   
8. Use o menu Tools -> RTSP Server (Ferramentas -> Servidor RTSP) para iniciar o fluxo RTSP. Você pode manter as opções padrão, a menos que haja circunstâncias especiais de rede que você conheça (como uma porta bloqueada).

Etapa recomendada: Verificar se o fluxo RTSP funciona

É altamente recomendável, antes de passar para o Tulip Vision, verificar se o fluxo RTSP da captura de tela está realmente funcionando e exibindo a visualização correta. Uma maneira fácil de fazer isso é usar a ferramenta gratuita VLC Media Player. Certifique-se de fazer isso no computador que receberá o fluxo RTSP - o computador que estará executando o Tulip Player, caso não sejam o mesmo computador.

Siga estas etapas para verificar o fluxo RTSP: 1. Faça download e instale a versão mais recente do VLC: https://www.videolan.org/vlc/{target="_blank"}
2. Inicie o VLC e observe se ele abre com sucesso e sem erros.

1. Abra um novo fluxo de rede no menu Mídia.
2. Na tela de mídia de rede, digite o URL que corresponde ao seu fluxo. Neste caso, estamos executando a captura no mesmo computador, portanto, o nome do host/endereço será localhost. A porta é a padrão 554 e o caminho é o padrão das configurações do OBS: /live. O URL completo será `rtsp://localhost:554/live'.
3. Observe que você pode ver a captura de tela transmitida com êxito.

Leia o fluxo de captura no Tulip Vision

A etapa final é obter o fluxo de captura de tela no Tulip Vision, o que faremos com uma configuração de "Câmera IP". Isso pode ser feito facilmente por meio da UI da Tulip.

Siga estes passos para configurar o fluxo de captura no Tulip Vision: 1. Vá para Shop Floor -> Vision -> IP Cameras e crie uma nova configuração de câmera IP. Use o URL que você verificou que funciona no VLC. Neste exemplo, o servidor e o cliente do fluxo de captura estão no mesmo computador, portanto, o URL seria rtsp://localhost:554/live.

1. Crie uma nova configuração de câmera para essa nova "Câmera IP" na guia "Configurações de câmera" em Shop Floor -> Visão.
2. Atribua a nova configuração de câmera à câmera IP por meio da página Shop Floor na estação que está configurada com o Tulip Player de destino.
3. Aguarde a estabilização do fluxo e observe o botão "View" aparecer.
4. Clique em "View" para ver o fluxo de captura de tela como uma câmera Tulip Vision.
5. Nesse ponto, o fluxo de captura é igual a qualquer outra fonte de câmera do Tulip Vision. Você pode criar detectores e começar a usar os eventos do Vision para conduzir seus aplicativos.

Agora você pode usar o Tulip Vision para monitorar capturas de tela de um computador, o que às vezes pode ser útil para, por exemplo, monitorar um dispositivo conectado ou um aplicativo em execução. A criação do fluxo de captura é possibilitada por ferramentas prontamente disponíveis e pela configuração de uma "câmera IP" do Tulip Vision.

Leitura adicional

• Getting Started with Vision
• Uso de câmeras IP com o Vision

Encontrou o que estava procurando?

Você também pode ir para community.tulip.co para postar sua pergunta ou ver se outras pessoas já tiveram uma pergunta semelhante!