将屏幕截图用作视觉相机源
  • 31 Oct 2023
  • 1 分钟阅读
  • 贡献者

将屏幕截图用作视觉相机源


Article Summary

本指南将帮助您通过现成的 USB 捕捉设备或使用 Open Broadcaster Studio (OBS) 和 VLC 等免费、简单的工具,设置系统以向 Tulip Vision 发送和接收屏幕捕获。

在某些情况下,使用屏幕捕捉进行实时可视化分析是监控车间的有用工具。下面举例说明屏幕捕捉的作用:

  • 连接到计算机的视觉扫描设备(如用于视觉检测的 X 光机)只能与专有的 Windows 应用程序一起使用,不能与普通摄像头一起使用
  • 您希望使用 OCR 阅读屏幕上应用程序的文本,这些文本可能会更改并有助于驱动您的应用程序
  • 您想监控计算机的状态或正在运行的任何应用程序

通过捕捉屏幕并将其通过网络发送到 Tulip Vision,您就可以用简单的方法对屏幕内容进行分析。

前提条件

  • Tulip Vision 已在你的 Tulip 实例上设置并运行
  • 屏幕捕捉 USB 设备(如这个这个)或 IP 摄像头已启用
  • 运行 Tulip 播放器的 Windows 计算机
  • 已准备好安装屏幕捕捉应用程序的 Windows 计算机
  • 如果不是同一台计算机,则两台计算机之间需要有开放的网络连接

使用屏幕捕捉 USB 设备

捕捉 USB 设备是将屏幕截图导入 Tulip Vision 的便捷方法。我们建议购买一个普通的 HDMI 输入 USB 捕捉设备,作为摄像头使用。这种设备有多种选择,如 USB2.0 或 UBS3.x、帧速率和分辨率,你可以根据自己的应用进行选择。

插入 USB 设备并将其连接到要监控的 PC 的 HDMI 输出端。
IMG_6660_480h.jpg

现在,该设备应作为一台摄像机出现在管理平台的车间页面上:image.png

为摄像头设备分配一个摄像头配置,并观察配置页面中的输出:Screen Shot 2022-10-24 at 5.01.55 PM_shadow.jpg

现在您可以将配置用于视觉检测器和 OCR 等功能。

如果没有 USB 捕捉设备,可通过以下步骤仅使用 IP 视频流通过软件捕捉屏幕。

在 Windows 机器上设置屏幕捕捉

按照以下步骤在指定的 Windows 机器上启动屏幕捕捉:

  1. 下载并安装 OBS 27.x 版本: https://github.com/obsproject/obs-studio/releases/tag/27.2.4{target="_blank"}
    确保下载的是 27.x 版本,而不是 28.x,因为它们不能与流媒体插件一起使用。
  2. 下载并安装 OBS RTSP 服务器插件: https://github.com/iamscottxu/obs-rtspserver/releases{target="_blank"}
  3. 启动 OBS 并观察主屏幕。Screen Shot 2022-09-02 at 3.57.30 PM_shadow.jpg
  4. 在场景中添加 "显示捕捉 "或 "窗口捕捉"。montage.jpg
  5. 设置捕捉以获取要监控的应用程序的视图。在本示例中,我们将从具有专有查看应用程序的摄像头中抓取视图。Screen Shot 2022-09-06 at 8.42.45 AM_shadow.jpg
  6. 您可以修改窗口捕捉,只截取应用程序窗口的重要部分。Screen Shot 2022-09-06 at 8.44.05 AM_shadow.jpg
    Screen Shot 2022-09-06 at 8.45.33 AM_shadow.jpg
  7. 一旦对捕捉结果满意,请使用 "适合屏幕 "变换确保它覆盖整个场景。Screen Shot 2022-09-06 at 8.43.07 AM_shadow.jpg
    Screen Shot 2022-09-06 at 8.46.04 AM_shadow.jpg
  8. 使用 "工具"->"RTSP 服务器 "菜单启动 RTSP 流。您可以保留默认选项,除非有您知道的特殊网络情况(如端口被封)。Screen Shot 2022-09-06 at 8.46.16 AM_shadow.jpgScreen Shot 2022-09-06 at 8.46.54 AM_shadow.jpg

建议步骤:验证 RTSP 流是否正常工作

我们强烈建议在继续使用 Tulip Vision 之前,验证屏幕截图的 RTSP 流是否正常工作并显示正确的视图。一个简单的方法是使用免费工具 VLC Media Player。请确保在接收 RTSP 流的电脑上执行此操作,如果这两台电脑不是同一台,则在运行 Tulip Player 的电脑上执行此操作。

按照以下步骤验证 RTSP 流: 1.下载并安装最新版本的 VLC: https://www.videolan.org/vlc/{target="_blank"}
2.2. 启动 VLC,观察它是否能成功打开而不会出错。Screen Shot 2022-09-06 at 8.47.40 AM_shadow.jpg

  1. 从 "媒体 "菜单打开一个新的网络流。Screen Shot 2022-09-06 at 8.47.54 AM_shadow.jpg
  2. 在网络媒体屏幕中输入与流相对应的 URL。在本例中,我们在同一台电脑上运行捕捉,因此主机名/地址为localhost。端口为默认的 554,路径为 OBS 设置中的默认路径:/live。完整的 URL 将是 `rtsp://localhost:554/live'。Screen Shot 2022-09-06 at 8.48.25 AM_shadow.jpg
  3. 请注意,你可以看到屏幕捕获流已成功传输。Screen Shot 2022-09-06 at 8.48.40 AM_shadow.jpg

在 Tulip Vision 上读取捕捉流

最后一步是将屏幕截图流导入 Tulip Vision,我们将通过 "IP 摄像头 "配置来实现。这可以通过 Tulip UI 轻松完成。

按照以下步骤在 Tulip Vision 上设置捕捉流: 1.进入 Shop Floor -> Vision -> IP Cameras,创建新的 IP 摄像机配置。使用您已验证可在 VLC 上运行的 URL。在本例中,捕捉流服务器和客户端在同一台计算机上,因此 URL 为rtsp://localhost:554/liveScreen Shot 2022-09-06 at 9.01.28 AM_shadow.jpg

  1. 在 Shop Floor -> Vision 的 "Camera Configurations(摄像机配置)"选项卡下为新的 "IP Camera(IP 摄像机)"创建新的 "Camera Configuration(摄像机配置)"。Screen Shot 2022-09-06 at 9.02.22 AM_shadow.jpg
  2. 在配置有目标郁金香播放器的站点上,通过 Shop Floor 页面将新的摄像机配置分配给 IP 摄像机。Screen Shot 2022-09-06 at 9.06.46 AM_shadow.jpg
  3. 等待数据流稳定后,观察 "查看 "按钮是否出现。
  4. 点击 "查看",即可看到 Tulip Vision 摄像机的屏幕捕捉流。Screen Shot 2022-09-06 at 9.07.25 AM_shadow.jpg
  5. 此时,捕捉流就像其他 Tulip Vision 摄像头源一样。您可以创建检测器,并开始使用来自 Vision 的事件驱动您的应用程序。Screen Shot 2022-09-06 at 9.08.07 AM_shadow.jpg

您现在可以使用 Tulip Vision 监控计算机的屏幕截图,这对于监控连接的设备或运行中的应用程序等有时可能很有用。通过现成的工具和 Tulip Vision "IP 摄像机 "的配置,即可创建捕捉流。

更多阅读


找到您想要的内容了吗?

您还可以前往community.tulip.co发布您的问题,或查看其他人是否遇到过类似问题!


本文对您有帮助吗?