Hibakeresés a Lookout for Vision segítségével

Hibakeresés a Lookout for Vision segítségével

Automatikus vizuális hibaellenőrzés végrehajtása a Tulip Vision és az AWS Lookout for Vision segítségével

A vizuális ellenőrzés a gyártás minőségének fenntartása szempontjából kulcsfontosságú, de nehéz megvalósítani a karcsúság megőrzése mellett, mivel a dedikált emberi ellenőrzési erőforrások költségei magasak. A manuális vizuális ellenőrzés szintén nagy költséggel járó művelet; nagyon ismétlődő és vizuálisan kihívást jelenthet.

A kamerákkal és gépi tanulással végzett automatikus vizuális ellenőrzés teljesen megváltoztatja a hangolást. A gépi tanuláson alapuló vizuális ellenőrzési algoritmusok olyan szintre fejlődtek, hogy mind idő, mind pontosság tekintetében felülmúlják az emberi teljesítményt.

A Tulip segítségével automatikus vizuális ellenőrzést valósíthat meg a Vision kamerák kimeneteinek egy első osztályú vizuális anomália-felismerő felhőszolgáltatáshoz való csatlakoztatásával. Az Amazon Lookout for Vision egy ilyen szolgáltatás, amely egy nagy teljesítményű algoritmust kínál egy egyszerű REST API végponton, amely könnyen integrálható a Tulipba.

Ebben a cikkben megmutatjuk, hogyan lehet gyorsan beállítani a dolgokat az AWS-en a Cloud Formation segítségével, valamint a Tulipen belül egy előre csomagolt Library App segítségével. A következő videóban élőben is megtekintheti ezt a folyamatot.

Előfeltételek

Mielőtt elkezdené ezt a folyamatot, győződjön meg róla, hogy a következő erőforrások rendelkezésre állnak:

• Egy Tulip Player PC-hez csatlakoztatott USB-kamera (lásd a Tulip Vision hardverajánlási útmutatót.
• Egy Tulip Vision Camera Configuration a csatlakoztatott kamerához, és egy ellenőrzött, működő videostream (lásd a Getting started with vision útmutatót).
• Normál-anomália megjegyzéssel összegyűjtött adatok egy Tulip táblázatban (lásd az adatgyűjtő alkalmazást).
• AWS-fiók egy olyan felhasználóval, aki jogosult erőforrásokat, például Lookout for Vision és API Gateway létrehozására (lásd az Amazon kezdeti útmutatóját).

A Lookout for Vision beállítása az AWS konzolban

A szükséges felhőinfrastruktúra AWS-konzolon történő beállításához segítséget nyújtunk egy Felhő-alakítási sablon(letölthető). A CFT egy rövid szkript, amely az AWS felhőben mindent biztosít, ami a Lookout for Vision (LfV) észlelési modelljeinek a Tulip segítségével történő betanításához és futtatásához szükséges. Létrehoz egy LfV projektet, néhány AWS Lambda függvényt az LfV modell aktiválásához és egy AWS API Gateway-t a függvényekkel való kommunikációhoz. A Tulip meghívja az AWS API Gateway végpontokat, és így a Tulip Appsból - ahol a vizuális vizsgálat történik - parancsokat futtat az LfV modellnek.

1. Töltse le a CFT-t.
2. Lépjen be az AWS konzolon a Cloud Formation szolgáltatásba.

1. Hozzon létre egy vermet, és töltse fel a CFT fájlt.

1. Futtassa a CloudFormation stack létrehozására szolgáló szkriptet.

1. Figyelje meg a kimeneteket.

1. Írja le, vagy egyébként jegyezze fel az apiGatewayInvokeURL értékét, mivel hamarosan ismét használni fogjuk a Connector Functions beállításához.

Most, hogy az AWS-t a Cloud Formation biztosította, folytathatjuk a vizuális gépi tanulási modell tréningjét a Lookout for Vision segítségével. Ehhez rendelkeznünk kell egy annotált képadatkészlettel. Bár az adathalmazt manuálisan is létrehozhatnánk, a Tulip segítségével egyszerű módot kínálunk az adatgyűjtésre az adatgyűjtő alkalmazásunkkal [link]. Az adatokat egy Tulip táblázatban tároljuk, és könnyen exportálhatók belőle. A következő lépéseknél feltételezzük, hogy az adathalmazt a Tulipban gyűjtöttük össze.

1. Adatkészlet exportálása a Tulip Table-ből.

1. Töltse fel az adatkészletet a Lookout for Vision által létrehozott S3 bakra.

1. Hozzon létre egy adatkészletet a Lookout for Vision rendszerben, és válassza ki forrásként az S3 vödröt.

Győződjön meg róla, hogy az Automatikusan csatolja a címkéket jelölőnégyzetet:

Most, hogy az adatkészlet készen áll a Lookout for Visionben - betaníthatunk egy modellt. A folyamat nagyjából 45 percet vesz igénybe, és az AWS konzolon könnyen elvégezhető.

1. Kattintson a Train Model (Modell képzése) gombra.

1. Ellenőrizze a képzés állapotát.

1. Tekintse át a képzési eredményeket.

Miután a modell befejezte a képzést, nincs több teendőnk az AWS oldalán. A Cloud Formation már minden kapcsolatot létrehozott helyettünk, és máris csatlakoztathatjuk a Tulip-et a Lookout for Vision-hez.

A Tulip beállítása a Lookout for Vision modellek hívásához

A Tulip kiválóan képes külső szolgáltatásokhoz API-kon keresztül integrálódni, ezért könnyű integrálni az AWS Lookout for Visionnel. Az előző szakaszban bemutatott REST API végpontot fogjuk használni az LfV modell vezérléséhez a Tulip Connector Functions segítségével. Ahelyett azonban, hogy a függvényeket a semmiből hoznánk létre, előre elkészítve biztosítjuk őket a "Defect Detection with Lookout for Vision" könyvtári alkalmazásunkban. Ezzel rengeteg időt takaríthat meg, és biztosíthatja, hogy a csatlakozók helyesen épüljenek fel. Először azonban fel kell töltenünk a csatlakozófüggvényt a megfelelő adatokkal az adott AWS-fiókból.

1. Keressük meg a Tulipban a csatlakozófunkciókat.

1. A Connectorhoz állítsuk be a megfelelő AWS végpont URL-t, amelyet korábban a Cloud Formationből másoltunk:

1. Minden egyes funkcióhoz állítsa be az AWS-től származó API KEY-t.

Győződjön meg róla, hogy ezt mind a 4 funkció esetében megteszi.

A Lookout for Vision használata a Tulip alkalmazásokban

A könyvtárból biztosított Defektérzékelő alkalmazásban egy nagyon kezdetleges folyamatot állítottunk be a vizuális ellenőrzés futtatására. Az alkalmazást módosíthatja, vagy egyes részeit más alkalmazásokba másolhatja az igényeinek megfelelően. Az alkalmazás használatához néhány apró módosítást kell végrehajtania, hogy az Ön egyedi Tulip Vision beállításával működjön. Szükséged lesz arra, hogy a rögzítési kioldót a Vision kamera konfigurációjára irányítsd, valamint a kamera előnézet widgetre a vizuális visszajelzéshez.

1. Állítsa be a Tulip App kamera widgetet a megfelelő kamera konfigurációval.

1. Állítsa be a "Detect Anomalies" Trigger-t a megfelelő kamerakonfigurációval.

Most már minden készen áll a modell futtatásához a Tulip-on. Mielőtt a modell elérhetővé válik a következtetéshez (egy kép kiértékeléséhez), "Hosted"-nek kell lennie, ami azt jelenti, hogy valamilyen felhő számítási erőforrást, például egy felhő virtuális gépet foglal le, hogy a modellt az alkalmazás számára kiszolgálja. Ehhez létrehoztunk egy gombot a megadott Tulip alkalmazáson.

Menjen előre, és futtassa a Defect Detection alkalmazást a Player PC-n a csatlakoztatott vizsgálati kamerával. A következő lépéseket a futó alkalmazáson végezzük el:

1. A modell bekapcsolása ("Hosting").

1. A modell hosztolt állapotának ellenőrzése.

Keresse meg a "HOSTED" állapotot. Amíg az állapot nem "HOSTED", a modell nem fogad lekérdezéseket.

1. Következtetési kérés futtatása a modellen.

A modellnek most már előrejelzéseket kell készítenie arra vonatkozóan, hogy az objektum hibás vagy normál alkatrész. Hozzáadtunk gombokat, amelyekkel visszajelzést adhatunk a felismerési pontosságról, ha a modell rossz előrejelzést ad. Ezek a gombok további adatokat adnak hozzá a Tulip Table-hez és az adatállományhoz. A modell robusztusságának növelése érdekében a modellt időnként újratréningelje, több mintaképet biztosítva neki.

Következtetés

Láttunk egy könnyen követhető folyamatot a gépi tanuláson alapuló automatikus vizuális ellenőrzés megkezdéséhez a Tulipen. Ezzel a folyamattal megspórolhatja az ember által végzett vizuális ellenőrzéshez szükséges kézi erőforrásokat. Ennek a folyamatnak az alkalmazása természeténél fogva egy vizuális adathalmazt is ad a termékben előforduló összes hibáról, amelyet az ellenőrzésen kívül más módon is felhasználhat.

A Tulip segítségével könnyen alkalmazhatja és megvalósíthatja a gépi tanulást a csatlakoztathatósági funkciók segítségével. Válassza más felhő ML-szolgáltatások nagyon hasonló módon történő használatát.

További olvasnivalók

• Vision Snapshot funkció
• Útmutató a csatlakozó funkciókhoz
• Az Azure CustomVision.ai és Tulip használata vizuális ellenőrzéshez