Rilevamento dei difetti con Lookout for Vision

Rilevamento dei difetti con Lookout for Vision

Implementare un'ispezione visiva automatica per i difetti con Tulip Vision e AWS Lookout for Vision

L'ispezione visiva è un aspetto fondamentale per mantenere la qualità della produzione, ma è difficile da implementare rimanendo snelli, poiché i costi per le risorse umane dedicate all'ispezione sono elevati. L'ispezione visiva manuale è inoltre un'operazione ad alto rendimento, molto ripetitiva e che può risultare visivamente impegnativa.

L'ispezione visiva automatica con telecamere e apprendimento automatico cambia completamente le carte in tavola. Gli algoritmi di ispezione visiva basati sull'apprendimento automatico sono avanzati al punto da superare le prestazioni umane, sia in termini di tempo che di precisione.

Con Tulip è possibile implementare l'ispezione visiva automatica collegando le uscite delle telecamere Vision a un servizio cloud di rilevamento delle anomalie visive di prim'ordine. Lookout for Vision di Amazon è uno di questi servizi, che offre un potente algoritmo con un semplice endpoint API REST che può essere facilmente integrato in Tulip.

In questo articolo vi mostriamo come configurare rapidamente le cose su AWS con Cloud Formation e all'interno di Tulip con una Library App preconfezionata. Guardate il seguente video per un tutorial dal vivo su questo processo.

Prerequisiti

Prima di iniziare questo processo, assicuratevi di avere a disposizione le seguenti risorse:

• Una telecamera USB collegata a un PC Tulip Player (vedere la guida alle raccomandazioni sull'hardware di Tulip Vision).
• Una configurazione della telecamera Tulip Vision per la telecamera collegata e un flusso video funzionante e verificato (vedere la guida "Iniziare con la visione").
• Dati raccolti con l'annotazione di anomalie normali in una tabella Tulip (vedere l'applicazione per la raccolta dei dati).
• Account AWS con un utente autorizzato a creare risorse come Lookout for Vision e API Gateway (consultare la guida introduttiva di Amazon).

Impostazione di Lookout for Vision nella console AWS

Per facilitare l'impostazione dell'infrastruttura cloud necessaria sulla console AWS, forniamo un Cloud Formation Template(download). Il CFT è un breve script che fornisce tutto il necessario sul cloud AWS per addestrare ed eseguire i modelli di rilevamento di Lookout for Vision (LfV) con Tulip. Crea un progetto LfV, alcune funzioni AWS Lambda per attivare il modello LfV e un gateway API AWS per comunicare con le funzioni. Tulip chiamerà gli endpoint di AWS API Gateway e quindi eseguirà i comandi al modello LfV dall'interno di Tulip Apps, dove viene eseguita l'ispezione visiva.

1. Scaricare il CFT.
2. Andare su Cloud Formation nella console AWS.

1. Creare uno stack e caricare il file CFT.

1. Eseguire lo script di creazione dello stack di CloudFormation.

1. Annotare i risultati.

1. Annotate, o annotate altrimenti, il valore di apiGatewayInvokeURL, poiché lo utilizzeremo di nuovo a breve per impostare le funzioni del connettore.

Ora che AWS è stato fornito da Cloud Formation, possiamo procedere all'addestramento di un modello di apprendimento automatico visivo con Lookout for Vision. A tal fine, dobbiamo disporre di un set di immagini annotate. Sebbene sia possibile creare il set di dati manualmente, offriamo un modo semplice per raccogliere i dati con Tulip utilizzando la nostra applicazione Data Collection [link]. I dati sono memorizzati in una tabella Tulip e facilmente esportabili da essa. Nei prossimi passi assumeremo che il set di dati sia stato raccolto in Tulip.

1. Esportare il set di dati dalla tabella Tulip.

1. Caricare il set di dati nel bucket S3 creato da Lookout for Vision.

1. Creare un set di dati su Lookout for Vision e selezionare il bucket S3 come origine.

Assicurarsi di selezionare Allega automaticamente le etichette:

Ora che un set di dati è pronto in Lookout for Vision, possiamo addestrare un modello. Il processo richiede circa 45 minuti ed è semplice da eseguire sulla console AWS.

1. Fare clic su Train Model.

1. Controllare lo stato dell'addestramento.

1. Esaminare i risultati dell'addestramento.

Una volta che il modello ha terminato l'addestramento, non c'è più nulla da fare sul lato AWS. Tutte le connessioni sono state effettuate dalla Cloud Formation e siamo pronti a collegare Tulip a Lookout for Vision.

Impostazione di Tulip per chiamare i modelli di Lookout for Vision

Tulip è in grado di integrarsi con servizi esterni tramite API, per questo è facile integrarlo con AWS Lookout for Vision. Utilizzeremo l'endpoint dell'API REST dell'ultima sezione per controllare il modello LfV attraverso le funzioni del connettore Tulip. Tuttavia, invece di creare le funzioni da zero, le forniremo pre-costruite nella nostra Library App "Defect Detection with Lookout for Vision". In questo modo si risparmia molto tempo e ci si assicura che i connettori siano costruiti correttamente. Per prima cosa, però, dovremo riempire la funzione connettore con i dati giusti dal vostro account AWS specifico.

1. Trovare le funzioni connettore in Tulip.

1. Per il connettore impostare l'URL dell'endpoint corretto di AWS, copiato in precedenza da Cloud Formation:

1. Per ogni funzione impostare la CHIAVE API di AWS.

Assicurarsi di farlo per tutte e 4 le funzioni.

Utilizzo di Lookout for Vision nelle applicazioni Tulip

Nell'applicazione per il rilevamento dei difetti fornita dalla libreria abbiamo impostato un processo molto rudimentale per l'esecuzione dell'ispezione visiva. È possibile modificare l'applicazione o copiare parti di essa in altre applicazioni per soddisfare le proprie esigenze. Per utilizzare l'applicazione, è necessario apportare alcune piccole modifiche per lavorare con la propria specifica configurazione di Tulip Vision. È necessario puntare il trigger di cattura sulla configurazione della videocamera Vision e sul widget di anteprima della videocamera per avere un riscontro visivo.

1. Impostare il Widget della telecamera dell'App Tulip con la giusta configurazione della telecamera.

1. Impostare il trigger "Rileva anomalie" con la configurazione corretta della telecamera.

Ora è tutto pronto per l'esecuzione del modello su Tulip. Prima che il modello sia disponibile per l'inferenza (valutazione di un'immagine) deve essere "ospitato", il che significa che occuperà una risorsa di calcolo nel cloud, come una macchina virtuale nel cloud, per servire il modello alla vostra applicazione. Abbiamo creato un pulsante nell'applicazione Tulip fornita per farlo.

Procedere con l'esecuzione dell'applicazione Rilevamento difetti sul PC del lettore con la telecamera di ispezione collegata. I seguenti passaggi vengono eseguiti sull'app in esecuzione:

1. Accensione del modello ("Hosting").

1. Controllare lo stato del modello ospitato.

Cercare lo stato "HOSTED". Se lo stato non è "HOSTED", il modello non accetta query.

1. Eseguire una richiesta di inferenza sul modello.

Il modello dovrebbe ora fare delle previsioni per stabilire se l'oggetto è un difetto o un pezzo normale. Abbiamo aggiunto dei pulsanti per fornire un feedback sull'accuratezza del rilevamento nel caso in cui il modello faccia una previsione sbagliata. Questi pulsanti aggiungeranno altri dati alla Tabella Tulipani e al set di dati. Periodicamente, per aumentare la robustezza del modello, è possibile riallenarlo fornendogli altre immagini campione.

Conclusione

Abbiamo visto un processo facile da seguire per iniziare con l'ispezione visiva automatica basata sull'apprendimento automatico su Tulip. Questo processo può far risparmiare risorse manuali per l'ispezione visiva effettuata da una persona. L'applicazione di questo processo fornisce inoltre un set di dati visivi di tutti i difetti che si presentano nel prodotto, che può essere utilizzato in altri modi oltre all'ispezione.

È possibile applicare e implementare facilmente l'apprendimento automatico con Tulip utilizzando le sue funzioni di connettività. È possibile utilizzare altri servizi di ML in cloud in modo molto simile.

Ulteriori letture

• Funzione Vision Snapshot
• Guida alle funzioni del connettore
• Utilizzo di Azure CustomVision.ai con Tulip per l'ispezione visiva