Używanie zrzutu ekranu jako źródła kamery dla wizji

Ten przewodnik pomoże skonfigurować system do wysyłania i odbierania zrzutów ekranu do Tulip Vision za pomocą gotowego urządzenia przechwytującego USB lub przy użyciu bezpłatnych i prostych narzędzi, takich jak Open Broadcaster Studio (OBS) i VLC.

Korzystanie z przechwytywania ekranu do analizy wizualnej w czasie rzeczywistym jest przydatnym narzędziem do monitorowania hali produkcyjnej w niektórych sytuacjach. Poniżej przedstawiono kilka przykładów sytuacji, w których przechwytywanie ekranu może być pomocne:

• Wizualne urządzenie skanujące (takie jak urządzenie rentgenowskie do kontroli wizualnej), które łączy się z komputerem, działa tylko z zastrzeżoną aplikacją systemu Windows i nie może być używane ze zwykłą kamerą.
• Chcesz odczytać tekst, używając OCR, z aplikacji na ekranie, który może się zmienić i pomóc w kierowaniu aplikacją.
• Chcesz monitorować stan komputera lub dowolnej aplikacji, która może być na nim uruchomiona.

Przechwytując ekran i wysyłając go przez sieć do Tulip Vision, można umożliwić analizę zawartości ekranu za pomocą prostych środków.

Wymagania wstępne

• Tulip Vision jest skonfigurowany i uruchomiony na instancji Tulip.
• Urządzenie USB do przechwytywania ekranu (takie jak to lub to) lub włączone kamery IP
• Komputer z systemem Windows z uruchomionym programem Tulip Player
• Komputer z systemem Windows jest gotowy do zainstalowania aplikacji do przechwytywania ekranu.
• Jeśli nie są to te same komputery - oba komputery muszą mieć otwarte połączenie sieciowe między sobą.

Korzystanie z urządzenia USB do przechwytywania ekranu

Urządzenia USB do przechwytywania są bardzo wygodnym sposobem pobierania zrzutów ekranu do Tulip Vision. Zalecamy zakup zwykłego urządzenia przechwytującego USB z wejściem HDMI, które działa jak kamera. Istnieje kilka opcji dla takiego urządzenia, takich jak USB2.0 lub UBS3.x, liczba klatek na sekundę i rozdzielczość, które można wybrać w zależności od aplikacji.

Podłącz urządzenie USB i podłącz je do wyjścia HDMI komputera, który chcesz monitorować.

Urządzenie powinno teraz pojawić się jako kamera na stronie Shop Floor dla stacji:

Przypisz konfigurację kamery do urządzenia kamery i obserwuj wyjście na stronie konfiguracji:

Można teraz użyć konfiguracji dla detektorów wizyjnych i funkcji takich jak OCR.

Jeśli nie masz urządzenia przechwytującego USB, poniższe kroki pozwolą ci przechwytywać ekran za pomocą oprogramowania tylko przy użyciu strumienia wideo IP.

Konfiguracja przechwytywania ekranu na komputerze z systemem Windows

Wykonaj poniższe kroki, aby rozpocząć przechwytywanie ekranu na wyznaczonym komputerze z systemem Windows:

1. Pobierz i zainstaluj OBS w wersji 27.x: https://github.com/obsproject/obs-studio/releases/tag/27.2.4{target="_blank"}
   Upewnij się, że pobierasz wersję 27.x, a nie 28.x, ponieważ nie działa ona z wtyczką strumieniowania.
2. Pobierz i zainstaluj wtyczkę OBS RTSP Server: https://github.com/iamscottxu/obs-rtspserver/releases{target="_blank"}
3. Uruchom OBS i obserwuj ekran główny.
4. Dodaj "Display Capture" lub "Window Capture" do sceny.
5. Skonfiguruj przechwytywanie, aby uzyskać widok z aplikacji, którą chcesz monitorować. W tym przykładzie zamierzamy pobrać widok z kamery, która ma zastrzeżoną aplikację do przeglądania.
6. Możesz zmodyfikować przechwytywanie okna, aby przyciąć tylko ważną część okna aplikacji.
   
7. Gdy będziesz zadowolony z przechwyconego obrazu, upewnij się, że obejmuje on całą scenę, używając przekształcenia "Dopasuj do ekranu".
   
8. Użyj menu Narzędzia -> Serwer RTSP, aby uruchomić strumień RTSP. Możesz zachować domyślne opcje, chyba że istnieją specjalne okoliczności sieciowe, o których wiesz (np. zablokowany port).

Zalecany krok: Sprawdzenie, czy strumień RTSP działa

Zdecydowanie zalecamy, przed przejściem do Tulip Vision, sprawdzenie, czy strumień RTSP zrzutu ekranu rzeczywiście działa i wyświetla prawidłowy widok. Łatwym sposobem na to jest użycie darmowego narzędzia VLC Media Player. Upewnij się, że robisz to na komputerze, który będzie odbierał strumień RTSP - komputerze, na którym będzie uruchomiony Tulip Player, jeśli nie są to te same komputery.

Wykonaj następujące kroki, aby zweryfikować strumień RTSP: 1. Pobierz i zainstaluj najnowszą wersję VLC: https://www.videolan.org/vlc/{target="_blank"}
2. Uruchom VLC, obserwuj, czy otwiera się pomyślnie bez błędów.

1. Otwórz nowy strumień sieciowy z menu Media.
2. Na ekranie mediów sieciowych wprowadź adres URL odpowiadający strumieniowi. W tym przypadku przechwytywanie odbywa się na tym samym komputerze, dlatego nazwa hosta/adres to localhost. Port to domyślnie 554, a ścieżka to domyślna ścieżka z ustawień OBS: /live. Pełny adres URL będzie więc brzmiał `rtsp://localhost:554/live'.
3. Zauważ, że zrzut ekranu został pomyślnie przesłany strumieniowo.

Odczyt strumienia przechwytywania w Tulip Vision

Ostatnim krokiem jest pobranie strumienia zrzutu ekranu do Tulip Vision, co zrobimy za pomocą konfiguracji "Kamera IP". Można to łatwo zrobić za pomocą interfejsu użytkownika Tulip.

Wykonaj następujące kroki, aby skonfigurować strumień przechwytywania w Tulip Vision: 1. Przejdź do Shop Floor -> Vision -> IP Cameras i utwórz nową konfigurację kamery IP. Użyj adresu URL, który został zweryfikowany do pracy w VLC. W tym przykładzie serwer i klient strumienia przechwytywania znajdują się na tym samym komputerze, więc adres URL to rtsp://localhost:554/live.

1. Utwórz nową konfigurację kamery dla tej nowej "kamery IP" w zakładce "Konfiguracje kamer" w Shop Floor -> Vision.
2. Przypisz nową konfigurację kamery do kamery IP za pośrednictwem strony Shop Floor na stacji skonfigurowanej z docelowym odtwarzaczem Tulip Player.
3. Poczekaj, aż strumień się ustabilizuje i zaobserwuj pojawienie się przycisku "Wyświetl".
4. Kliknij "Wyświetl", aby zobaczyć strumień przechwytywania ekranu jako kamerę Tulip Vision.
5. W tym momencie strumień przechwytywania jest jak każde inne źródło kamery Tulip Vision. Możesz utworzyć detektory i zacząć wykorzystywać zdarzenia z Vision do obsługi swoich aplikacji.

Możesz teraz używać Tulip Vision do monitorowania zrzutów ekranu z komputera, co czasami może być przydatne np. do monitorowania podłączonego urządzenia lub uruchomionej aplikacji. Tworzenie strumienia przechwytywania jest możliwe dzięki łatwo dostępnym narzędziom i konfiguracji "kamery IP" Tulip Vision.

Więcej informacji

• Getting Started with Vision
• Używanie kamer IP z Vision

Czy znalazłeś to, czego szukałeś?

Możesz również udać się na stronę community.tulip.co, aby opublikować swoje pytanie lub sprawdzić, czy inni mieli do czynienia z podobnym pytaniem!