Classificazione visiva con modelli personalizzati

Classificazione visiva con i modelli personalizzati

Come utilizzare i modelli personalizzati di Vision per la classificazione visiva in tempo reale per eseguire ispezioni e verifiche a bordo macchina

L'ispezione visiva automatica è uno strumento molto potente in officina. Può essere utilizzata per mantenere un'elevata garanzia di qualità per le fasi di assemblaggio, nonché per ridurre i tempi di movimentazione e aumentare la resa complessiva. L'esecuzione di un'ispezione visiva automatica è possibile in Tulip Vision utilizzando i modelli personalizzati. I modelli personalizzati sono modelli di apprendimento automatico che Tulip Vision esegue in tempo reale sul bordo. Questi modelli devono essere addestrati utilizzando i dati acquisiti dalla linea nel punto di ispezione desiderato.

Tulip Vision supporta modelli di classificazione e modelli di rilevamento. Questa guida spiega come utilizzare i modelli di classificazione. La classificazione consiste nel decidere a quale classe o categoria appartiene un'immagine visiva. Ad esempio, un pezzo può appartenere alla categoria "bocciato" (NG) o "passato" (OK), o per la classificazione dei difetti può appartenere alla categoria "troppo largo", "troppo stretto", "deformato" o "normale" (OK). Le categorie sono a discrezione dell'utente, a patto che ci siano dati sufficienti per addestrare un modello (un minimo di 50 immagini di esempio per ogni categoria per garantire una precisione adeguata).

I modelli personalizzati vengono eseguiti sul bordo, il che significa che l'inferenza (l'esecuzione del modello per ottenere una previsione) non comporta costi aggiuntivi come quelli richiesti per l'esecuzione del modello nel cloud. Inoltre, i modelli personalizzati vengono eseguiti in tempo reale sul computer edge e possono essere utilizzati istantaneamente per produrre rilevamenti, riducendo così la larghezza di banda per l'invio di immagini al cloud. Ciò consente anche un'operazione più privata in termini di sicurezza dei dati, poiché nessuna immagine lascia mai la workstation.

Prerequisiti

• I modelli personalizzati sono abilitati su Tulip release r229 e successive
• Telecamera Tulip Vision impostata con una configurazione della telecamera (utilizzare la nostra guida introduttiva).
• Pezzo da ispezionare o verificare, con una posizione di acquisizione ripetibile in una workstation
• Dataset di immagini categorizzate su Tulip (utilizzare la nostra guida alla raccolta dei dati).

Ottenere un modello addestrato per l'inferenza

Per utilizzare i modelli personalizzati di visione è necessario ottenere un modello addestrato. Supponendo che i dati siano già stati raccolti e scaricati sul computer (seguendo la guida alla raccolta e all'esportazione dei dati), l'addestramento di un modello può essere effettuato facilmente sul servizio online customvision.ai di Microsoft Azure. Con pochi clic è possibile caricare le immagini con le relative annotazioni e addestrare un modello personalizzato.

Caricamento dei dati su customvision.ai

Per addestrare un nuovo modello, creare un nuovo progetto customvision.ai: (sono necessarie le credenziali di Azure, ottenibili dal portale Azure).

Assicurarsi di creare un modello di classificazione, Multiclasse con designazione Generale (compatto):

Aggiungete quindi le immagini esportate da Tulip:

Caricare le immagini in blocco per risparmiare tempo e fatica nel taggare ciascuna di esse. L'esportazione del set di dati da Tulip organizza le immagini in base alle loro categorie in una cartella. Selezionate tutte le immagini dalla cartella e caricatele su customvision.ai:

Ripetete la procedura per le altre categorie del vostro set di dati. Assicurarsi di avere almeno 50 campioni per ogni categoria:

Addestrare un modello su customvision.ai

Per addestrare un modello una volta che le immagini sono state inserite, fare clic sul pulsante "Train".

Selezionare il budget per l'addestramento. Per una rapida verifica del lavoro svolto con Tulip App, si consiglia di eseguire un "addestramento rapido" per ottenere una rapida valutazione generale dell'esecuzione dell'ispezione visiva in officina. Tuttavia, con la modalità "Addestramento rapido" ci si aspetta che i risultati di rilevamento non siano molto buoni. Per ottenere modelli pronti per la produzione, una volta che tutte le postazioni fisiche sono pronte, è necessario addestrare nuovamente il modello in un secondo momento con un budget maggiore.

Esportazione del modello ONNX da customvision.ai

Lasciate che il modello finisca l'addestramento e andate alla pagina "Performance". Troverete l'opzione per esportare il modello:

Scegliere l'opzione "ONNX":

Esportare e scaricare il modello:

Se si verificano problemi con i modelli esportati, contattare il nostro team di assistenza per ottenere un modello che funzioni bene.

Impostazione di un modello personalizzato su Tulip Vision

Per utilizzare il modello scaricato su Tulip Vision, andare alla pagina Vision -> Models:

Crea un nuovo modello personalizzato:

Assicurarsi che il tipo di modello sia "Classificazione". Selezionare i file del modello dall'esportazione scaricata; si dovrebbero avere i file model.xml, model.bin e labels.txt.

Quindi, creare un nuovo "Rilevatore modello classificatore" nella pagina Rilevatori o nella pagina di configurazione della telecamera, ricordando di selezionare il modello personalizzato appena creato:

Assegnare quindi il nuovo rilevatore classificatore a una regione di configurazione della telecamera. Assicurarsi di utilizzare la stessa regione usata per la raccolta dei dati. È possibile controllare anche la soglia di rilevamento: impostandola più alta, il modello accetterà solo le previsioni con un punteggio di confidenza elevato. Una soglia più alta accetterà meno casi, ma garantirà una decisione sicura (alta precisione) e ridurrà i falsi positivi (errore di tipo I). Una soglia più bassa cercherà di catturare più casi, ma potrebbe introdurre più falsi positivi (richiamo elevato).

Nota: la telecamera potrebbe impiegare fino a un minuto per scaricare il modello dal cloud prima di iniziare a stampare i risultati.

Una volta che il modello è attivo e funzionante, si dovrebbe vedere che produce una previsione con un punteggio di confidenza sul video in diretta:

Utilizzo dei modelli personalizzati nelle applicazioni Tulip

Con il modello personalizzato in esecuzione dal vivo sulla macchina Vision, è ora possibile utilizzare le sue previsioni nelle applicazioni Tulip. Il rilevatore classificatore emetterà eventi ogni volta che un rilevamento ha superato la soglia di confidenza.

Impostare un'applicazione con una Fase per l'ispezione visiva. Aggiungete la vista della telecamera per avere una conferma visiva per gli operatori, ad esempio:

Ricordate che il risultato dell'ispezione è continuo e non richiede un pulsante di scatto per essere attivato.

Successivamente, aggiungere i trigger per il rilevamento in tempo reale in base alle uscite del rilevatore del modello personalizzato. Utilizzare il trigger "Rilevamento iniziato" per ottenere un evento quando il rilevatore fa una previsione superiore alla soglia impostata in precedenza:

Si potrebbe anche aggiungere un evento quando il rilevamento termina e cancella la variabile.

A questo punto, l'applicazione in esecuzione dovrebbe mostrare i risultati del modello personalizzato, a partire dal trigger:

Conclusione

I modelli personalizzati consentono di eseguire modelli di ML sul bordo in tempo reale per eseguire automaticamente attività di ispezione visiva. Possono essere utilizzati per sostituire o integrare un'ispezione manuale con un modello adeguatamente addestrato. Poiché i modelli vengono eseguiti nell'edge, non comportano costi aggiuntivi e consentono un'operazione più veloce, privata e sicura in termini di dati.

Iniziate subito a utilizzare l'apprendimento automatico su Tulip con i modelli personalizzati Vision. Con una configurazione semplice e veloce, questi potenti modelli possono far risparmiare tempo e fatica in fabbrica.

Ulteriori letture

• Utilizzare Azure customvision.ai con i widget personalizzati di Tulip per l'ispezione visiva
• Utilizzare AWS Lookout for vision con Connectors per l'ispezione visiva
• Raccolta di dati per la creazione di set di dati di apprendimento automatico