Использование снимка экрана в качестве источника изображения для камеры

Данное руководство поможет вам настроить систему для передачи и получения снимков экрана в Tulip Vision с помощью готового устройства захвата USB или с помощью бесплатных и простых инструментов, таких как Open Broadcaster Studio (OBS) и VLC.

Использование захвата экрана для визуального анализа в реальном времени является полезным инструментом для мониторинга работы цеха в определенных ситуациях. Ниже приведены примеры, когда захват экрана может помочь:

• Устройство визуального сканирования (например, рентгеновский аппарат для визуального контроля), подключаемое к компьютеру, работает только с собственным приложением Windows и не может быть использовано с обычной камерой.
• Вы хотите прочитать текст, используя OCR, из приложения на экране, который может измениться и помочь управлять вашим приложением
• Вы хотите следить за состоянием компьютера или любого приложения, которое может быть на нем запущено.

Захват экрана и передача его по сети в Tulip Vision позволяет простыми средствами анализировать содержимое экрана.

Необходимые условия

• Tulip Vision настроен и запущен на вашем экземпляре Tulip Instance
• Включено USB-устройство для захвата экрана (например, это или это) или IP-камеры
• Компьютер с ОС Windows, на котором запущен Tulip Player
• Компьютер под управлением Windows готов к установке приложений для захвата экрана
• Если это не один и тот же компьютер - оба компьютера должны иметь открытое сетевое соединение между собой

Использование USB-устройства захвата экрана

USB-устройства захвата - это очень удобный способ получения снимков экрана в Tulip Vision. Мы рекомендуем приобрести обычное USB-устройство захвата с HDMI-входом, выполняющее функции камеры. Существует несколько вариантов такого устройства, например, USB2.0 или UBS3.x, частота кадров и разрешение, которые можно выбрать в зависимости от задач.

Вставьте USB-устройство и подключите его к HDMI-выходу компьютера, за которым требуется наблюдать.

Теперь устройство должно появиться в виде камеры на странице Shop Floor для станции:

Назначьте конфигурацию камеры устройству и наблюдайте за выходом на странице конфигурации:

Теперь можно использовать эту конфигурацию для работы с детекторами зрения и такими возможностями, как OCR.

Если у вас нет USB-устройства захвата, то следующие шаги позволят вам осуществлять захват экрана с помощью программного обеспечения, используя только IP-видеопоток.

Настройка захвата экрана на машине с ОС Windows

Выполните следующие шаги для запуска захвата экрана на указанной машине с ОС Windows:

1. Загрузите и установите OBS версии 27.x: https://github.com/obsproject/obs-studio/releases/tag/27.2.4{target="_blank"}
   Убедитесь, что вы загрузили версию 27.x, а не 28.x, поскольку они не работают с плагином потоковой передачи.
2. Скачайте и установите плагин OBS RTSP Server: https://github.com/iamscottxu/obs-rtspserver/releases{target="_blank"}
3. Запустите OBS и понаблюдайте за появлением главного экрана.
4. Добавьте в сцену "Display Capture" или "Window Capture".
5. Настройте захват так, чтобы получить вид из приложения, которое вы хотите наблюдать. В данном примере мы будем захватывать вид с камеры, на которой установлено собственное приложение для просмотра.
6. Можно изменить захват окна, чтобы обрезать только важную часть окна приложения.
   
7. После того как захват будет выполнен, убедитесь, что он охватывает всю сцену, используя преобразование "Fit to Screen".
   
8. С помощью меню Tools -> RTSP Server запустите поток RTSP. Вы можете оставить параметры по умолчанию, если нет особых сетевых обстоятельств, о которых вы знаете (например, заблокированный порт).

Рекомендуемый шаг: Проверка работы RTSP-потока

Прежде чем переходить к работе с Tulip Vision, мы настоятельно рекомендуем проверить, что RTSP-поток захваченного экрана действительно работает и отображает правильный вид. Простой способ сделать это - использовать бесплатную программу VLC Media Player. Убедитесь, что эта процедура выполняется на компьютере, принимающем RTSP-поток, и на компьютере, на котором будет запущен Tulip Player, если это не один и тот же компьютер.

Для проверки RTSP-потока выполните следующие действия: 1. Загрузите и установите последнюю версию VLC: https://www.videolan.org/vlc/{target="_blank"}
2. Запустите VLC и убедитесь, что он открывается успешно и без ошибок.

1. Откройте новый сетевой поток из меню Медиа.
2. В окне сетевого медиа введите URL, соответствующий вашему потоку. В данном случае мы запускаем захват на том же компьютере, поэтому имя хоста/адрес будет localhost. Порт по умолчанию 554, а путь - по умолчанию из настроек OBS: /live. Полный URL будет иметь вид `rtsp://localhost:554/live'.
3. Обратите внимание, что захват экрана успешно транслируется.

Чтение потока захвата на Tulip Vision

Последним шагом является получение потока захвата экрана в Tulip Vision, что мы сделаем с помощью конфигурации "IP-камера". Это можно легко сделать с помощью пользовательского интерфейса Tulip.

Для настройки потока захвата в Tulip Vision выполните следующие действия: 1. Перейдите в Shop Floor -> Vision -> IP Cameras и создайте новую конфигурацию IP-камеры. Используйте URL-адрес, который вы проверили на работоспособность в VLC. В данном примере сервер и клиент потока захвата находятся на одном компьютере, поэтому URL будет rtsp://localhost:554/live.

1. Создайте новую конфигурацию камеры для этой новой "IP-камеры" на вкладке "Конфигурации камер" в Shop Floor -> Vision.
2. Назначьте новую конфигурацию камеры на IP-камеру через страницу Shop Floor на станции, сконфигурированной с целевым Tulip Player.
3. Дайте потоку успокоиться и наблюдайте за появлением кнопки "Просмотр".
4. Нажмите кнопку "Просмотр", чтобы увидеть поток захвата экрана в виде камеры Tulip Vision.
5. На данном этапе поток захвата является таким же, как и любой другой источник камеры Tulip Vision. Вы можете создать детекторы и начать использовать события из Vision для управления своими приложениями.

Теперь вы можете использовать Tulip Vision для мониторинга захвата экрана с компьютера, что иногда может быть полезно, например, для контроля подключенного устройства или работающего приложения. Создание потока захвата осуществляется с помощью легкодоступных инструментов и конфигурации "IP-камеры" Tulip Vision.

Дополнительная информация

• Getting Started with Vision
• Использование IP-камер с Vision

Вы нашли то, что искали?

Вы также можете зайти на community.tulip.co, чтобы задать свой вопрос или узнать, сталкивались ли другие с подобным вопросом!