Wykrywanie wad za pomocą aplikacji Lookout for Vision

Wykrywanie defektów za pomocą Lookout for Vision

Wdrożenie automatycznej kontroli wizualnej pod kątem defektów za pomocą Tulip Vision i AWS Lookout for Vision

Kontrola wizualna jest kluczowym aspektem utrzymania jakości produkcji, ale jest trudna do wdrożenia przy jednoczesnym zachowaniu oszczędności, ponieważ koszty dedykowanych zasobów ludzkich do kontroli są wysokie. Ręczna inspekcja wizualna jest również operacją o wysokiej rotacji; jest bardzo powtarzalna i może stanowić wyzwanie wizualne.

Automatyczna inspekcja wizualna z wykorzystaniem kamer i uczenia maszynowego całkowicie zmienia sytuację. Algorytmy kontroli wizualnej oparte na uczeniu maszynowym osiągnęły punkt, w którym przewyższają wydajność człowieka, zarówno pod względem czasu, jak i dokładności.

Korzystając z Tulip, możesz wdrożyć automatyczną inspekcję wizualną, łącząc dane wyjściowe z kamery Vision z pierwszą w swojej klasie usługą w chmurze do wizualnego wykrywania anomalii. Lookout for Vision firmy Amazon jest jedną z takich usług, która oferuje potężny algorytm w prostym punkcie końcowym REST API, który można łatwo zintegrować z Tulip.

W tym artykule pokażemy, jak szybko skonfigurować wszystko w AWS za pomocą Cloud Formation, a także w Tulip za pomocą wstępnie dołączonej aplikacji bibliotecznej. Poniższy film przedstawia samouczek na żywo dotyczący tego procesu.

Wymagania wstępne

Przed rozpoczęciem tego procesu należy upewnić się, że dostępne są następujące zasoby:

• Kamera USB podłączona do komputera Tulip Player (patrz przewodnik po zaleceniach dotyczących sprzętu Tulip Vision).
• Konfigurację kamery Tulip Vision dla podłączonej kamery i zweryfikowany działający strumień wideo (patrz przewodnik Wprowadzenie do systemu wizyjnego).
• Dane zebrane z adnotacją normalnej anomalii w tabeli Tulip Table (patrz aplikacja do zbierania danych)
• Konto AWS z użytkownikiem uprawnionym do tworzenia zasobów, takich jak Lookout for Vision i API Gateway (zobacz przewodnik dla początkujących od Amazon).

:::(Info) (UWAGA) Obecnie Lookout for Vision jest dostępny tylko w określonych regionach AWS :::

Konfiguracja Lookout for Vision w konsoli AWS

Aby pomóc w skonfigurowaniu wymaganej infrastruktury chmury w konsoli AWS, udostępniamy Cloud Formation Template(do pobrania). CFT to krótki skrypt, który zapewnia wszystko, co jest potrzebne w chmurze AWS do trenowania i uruchamiania modeli wykrywania z Lookout for Vision (LfV) z Tulip. Tworzy on projekt LfV, niektóre funkcje AWS Lambda do aktywacji modelu LfV oraz AWS API Gateway do komunikacji z funkcjami. Tulip będzie wywoływał punkty końcowe AWS API Gateway, a tym samym uruchamiał polecenia do modelu LfV z poziomu Tulip Apps - gdzie przeprowadzana jest inspekcja wizualna.

1. Pobierz CFT.
2. Przejdź do Cloud Formation w konsoli AWS.

1. Utwórz stos i prześlij plik CFT.

1. Uruchom skrypt tworzenia stosu CloudFormation.

1. Zanotuj dane wyjściowe.

1. Zapisz lub zanotuj wartość apiGatewayInvokeURL, ponieważ wkrótce użyjemy jej ponownie do skonfigurowania naszych funkcji Connector.

Zapisz również klucz API z zakładki Resources. Będziesz musiał go kliknąć i znaleźć wartość.

Teraz, gdy AWS został udostępniony przez Cloud Formation, możemy przejść do trenowania wizualnego modelu uczenia maszynowego za pomocą Lookout for Vision. W tym celu musimy mieć adnotowany zestaw danych obrazów. Chociaż zestaw danych można utworzyć ręcznie, oferujemy łatwy sposób gromadzenia danych za pomocą Tulip przy użyciu naszej aplikacji Data Collection [link]. Dane są przechowywane w tabeli Tulip i można je z niej łatwo wyeksportować. W kolejnych krokach założymy, że zestaw danych został zebrany w aplikacji Tulip.

1. Eksport zestawu danych z Tulip Table.

1. Prześlij zestaw danych do zasobnika S3 utworzonego przez Lookout for Vision.

1. Utwórz zestaw danych w Lookout for Vision i wybierz zasobnik S3 jako źródło.

Upewnij się, że zaznaczona jest opcja Automatycznie dołącz etykiety:

Teraz, gdy zestaw danych jest gotowy w Lookout for Vision - możemy trenować model. Proces ten zajmuje około 45 minut i jest łatwym procesem w konsoli AWS.

1. Kliknij Train Model.

1. Sprawdź status treningu.

1. Przejrzyj wyniki szkolenia.

Po zakończeniu treningu modelu nie musimy już nic więcej robić po stronie AWS. Wszystkie połączenia zostały dla nas wykonane przez Cloud Formation i możemy połączyć Tulip z Lookout for Vision.

Konfigurowanie Tulip do wywoływania modeli Lookout for Vision

Tulip jest wysoce zdolny do integracji z zewnętrznymi usługami za pośrednictwem interfejsów API, dlatego łatwo jest zintegrować go z AWS Lookout for Vision. Użyjemy punktu końcowego REST API z ostatniej sekcji, aby kontrolować model LfV poprzez Tulip Connector Functions. Jednak zamiast tworzyć funkcje od podstaw, udostępniamy je wstępnie zbudowane w naszej aplikacji bibliotecznej "Defect Detection with Lookout for Vision". Pozwoli to zaoszczędzić dużo czasu i upewnić się, że konektory są zbudowane poprawnie. Najpierw jednak będziemy musieli wypełnić funkcję łącznika odpowiednimi danymi z określonego konta AWS.

1. Znajdź Connector Functions w Tulip.

1. Dla konektora ustaw prawidłowy adres URL punktu końcowego z AWS, który skopiowałeś wcześniej z Cloud Formation:

1. Dla każdej funkcji ustaw API KEY z AWS.

Upewnij się, że zrobiłeś to dla wszystkich 4 funkcji.

Korzystanie z Lookout for Vision w aplikacjach Tulip

W dostarczonej aplikacji Defect Detection z biblioteki skonfigurowaliśmy bardzo podstawowy proces przeprowadzania inspekcji wizualnej. Możesz zmodyfikować aplikację lub skopiować jej części do innych aplikacji, aby dostosować ją do swoich potrzeb. Aby korzystać z aplikacji, będziesz musiał dokonać niewielkich modyfikacji, aby działała z określoną konfiguracją Tulip Vision. Musisz skierować wyzwalacz przechwytywania na konfigurację kamery Vision, a także widżet podglądu kamery, aby uzyskać wizualne informacje zwrotne.

1. Skonfiguruj widżet kamery aplikacji Tulip z odpowiednią konfiguracją kamery.

1. Skonfiguruj wyzwalacz "Wykryj anomalie" z prawidłową konfiguracją kamery.

Teraz wszystko jest gotowe do uruchomienia modelu w aplikacji Tulip. Zanim model będzie dostępny do wnioskowania (oceny obrazu), musi być "hostowany", co oznacza, że będzie zajmował jakiś zasób obliczeniowy w chmurze, taki jak maszyna wirtualna w chmurze, aby obsługiwać model w aplikacji. W tym celu utworzyliśmy przycisk w dostarczonej aplikacji Tulip.

:::(Info) (UWAGA) Gdy model jest "hostowany", zużywa zasoby, z którymi wiążą się koszty. Pamiętaj, aby wyłączać modele, gdy nie są używane, w przeciwnym razie ryzykujesz wydawanie pieniędzy bez zwrotu. Cennik AWS LfV można poznać tutaj. Należy pamiętać, że AWS oferuje również warstwę bezpłatną dla LfV. Tulip nie ponosi odpowiedzialności za zasoby hostowane prywatnie w AWS, ale zapraszamy do kontaktu z nami w przypadku pytań :::

Uruchom aplikację Defect Detection na komputerze Player z podłączoną kamerą inspekcyjną. Następujące kroki są wykonywane w uruchomionej aplikacji:

1. Włączenie modelu ("Hosting").

:::(Info) (UWAGA) Po uruchomieniu model zacznie generować koszty. Pamiętaj, aby go wyłączyć :::

1. Sprawdzenie statusu hostowania modelu.

Sprawdź status "HOSTED". Jeśli status nie jest "HOSTED", model nie będzie akceptował zapytań.

1. Uruchomienie żądania wnioskowania na modelu.

Model powinien teraz przewidywać, czy obiekt jest wadliwą, czy normalną częścią. Dodaliśmy przyciski, aby przekazać informacje zwrotne na temat dokładności wykrywania w przypadku, gdy model dokona błędnej prognozy. Przyciski te dodadzą więcej danych do tabeli Tulip i zbioru danych. Okresowo ponownie trenuj model, dostarczając mu więcej przykładowych obrazów, aby zwiększyć odporność modelu.

Podsumowanie

Widzieliśmy łatwy do naśladowania proces rozpoczynania automatycznej inspekcji wizualnej opartej na uczeniu maszynowym w Tulip. Proces ten może zaoszczędzić na ręcznych zasobach do kontroli wizualnej wykonywanej przez osobę. Zastosowanie tego procesu z natury daje również wizualny zestaw danych wszystkich wad, które pojawiają się w produkcie, który można wykorzystać w inny sposób niż inspekcja.

Możesz łatwo zastosować i wdrożyć uczenie maszynowe za pomocą Tulip, korzystając z jego funkcji łączności. W bardzo podobny sposób można korzystać z innych usług uczenia maszynowego w chmurze.

Więcej informacji

• Funkcja Vision Snapshot
• Przewodnik po funkcjach łącznika
• Używanie usługi Azure CustomVision.ai z usługą Tulip do inspekcji wizualnej