Classification visuelle avec des modèles personnalisés

Classification visuelle avec des modèles personnalisés

Comment utiliser les modèles personnalisés de Vision pour la classification visuelle en temps réel afin d'effectuer l'inspection et la vérification à la périphérie ?

L'inspection visuelle automatique est un outil très puissant dans l'atelier. Elle peut être utilisée pour maintenir une assurance qualité élevée pour les étapes d'assemblage ainsi que pour réduire le temps de manipulation et augmenter le rendement global. L'inspection visuelle automatique est possible dans Tulip Vision en utilisant des Modèles Personnalisés. Les modèles personnalisés sont des modèles d'apprentissage automatique que Tulip Vision exécute en temps réel à la périphérie. Ces modèles doivent être entraînés en utilisant des données capturées sur la ligne au point d'inspection désiré.

Tulip Vision supporte les modèles de classification et les modèles de détection. Ce guide explique comment utiliser les modèles de classification. La classification est l'action de décider à quelle classe ou catégorie l'image visuelle appartient. Par exemple, une pièce peut appartenir à la catégorie "échec" (NG) ou "réussite" (OK), ou pour la classification des défauts, elle peut appartenir à la catégorie "trop large", "trop étroite", "déformée" ou "normale" (OK). Les catégories sont déterminées par l'utilisateur, à condition qu'il y ait suffisamment de données pour entraîner un modèle (un minimum de 50 exemples d'images pour chaque catégorie afin de garantir une précision adéquate).

Les modèles personnalisés sont exécutés en périphérie, ce qui signifie que l'inférence (l'exécution du modèle pour obtenir une prédiction) n' entraîne pas de frais supplémentaires comme ceux pris pour l'exécution du modèle dans le nuage. Les modèles personnalisés sont également exécutés en temps réel sur l'ordinateur périphérique, de sorte qu'ils peuvent être utilisés instantanément pour produire des détections, réduisant ainsi la bande passante pour l'envoi d'images vers le nuage. Cela permet également un fonctionnement plus privé en termes de sécurité des données, puisque les images ne quittent jamais le poste de travail.

Conditions préalables

• Les modèles personnalisés sont activés sur Tulip release r229 et plus.
• Caméra Tulip Vision configurée avec un Camera Configuration (utiliser notre guide de démarrage)
• Pièce à inspecter ou à vérifier, avec une position de capture répétable dans une station de travail
• Ensemble de données d'images catégorisées sur Tulip (utilisez notre guide de collecte de données)

Obtention d'un modèle entraîné pour l'inférence

Pour utiliser les modèles personnalisés de Vision, vous devez obtenir un modèle entraîné. En supposant que les données ont déjà été collectées et téléchargées sur votre ordinateur (en suivant le guide de collecte et d'exportation des données), l'entraînement d'un modèle peut être effectué facilement sur le service en ligne customvision.ai de Microsoft Azure. En quelques clics, vous pouvez charger les images avec leurs annotations et entraîner un modèle personnalisé.

Chargement des données sur customvision.ai

Pour entraîner un nouveau modèle, créez un nouveau projet customvision.ai: (vous aurez besoin d'identifiants Azure que vous pouvez obtenir sur le portail Azure)

Assurez-vous que vous créez un modèle de classification, Multiclass avec la désignation General (compact) :

Ajoutez ensuite les images que vous avez exportées depuis Tulip :

Téléchargez les images en vrac pour économiser du temps et des efforts dans le marquage de chacune d'entre elles. L'exportation de l'ensemble de données depuis Tulip organisera les images en fonction de leurs catégories dans un dossier. Sélectionnez toutes les images du dossier et téléchargez-les sur customvision.ai :

Répétez le processus pour les autres catégories de votre ensemble de données. Assurez-vous d'avoir au moins 50 échantillons de chaque catégorie :

Entraîner un modèle sur customvision.ai

Pour entraîner un modèle une fois que les images sont en place, cliquez sur le bouton "Train".

Sélectionnez votre budget d'entraînement. Pour une vérification rapide de votre travail avec Tulip App, lancez une "Formation Rapide", nous vous recommandons de le faire pour obtenir une évaluation globale et rapide de l'inspection visuelle dans votre atelier. Cependant, avec le mode "Entraînement rapide", il faut s'attendre à ce que les résultats de la performance de détection ne soient pas très bons. Entraînez à nouveau le modèle ultérieurement avec un budget plus important pour obtenir des modèles prêts pour la production, une fois que toutes les installations physiques de vos stations seront prêtes.

Exportation du modèle ONNX depuis customvision.ai

Laissez le modèle terminer son apprentissage et rendez-vous sur la page "Performance". Vous trouverez l'option d'exporter le modèle :

Choisissez l'option "ONNX" :

Exporter et télécharger le modèle :

Si vous rencontrez des problèmes avec vos modèles exportés, contactez notre équipe d'assistance pour obtenir un modèle qui fonctionne bien.

Mise en place d'un modèle personnalisé sur Tulip Vision

Pour utiliser le modèle téléchargé sur Tulip Vision, rendez-vous sur la page Vision -> Modèles :

Créer un nouveau modèle personnalisé :

Assurez-vous que le type de modèle est "Classification". Sélectionnez les fichiers du modèle à partir de l'exportation téléchargée, vous devriez avoir les fichiers model.xml, model.bin et labels.txt.

Ensuite, créez un nouveau "Classifier Model Detector" dans la page Detectors ou la page de configuration de la caméra, n'oubliez pas de sélectionner le modèle personnalisé que vous venez de créer :

Attribuez ensuite le nouveau détecteur de classification à une région de configuration de la caméra. Assurez-vous d'utiliser la même région que celle utilisée pour la collecte des données. Notez que vous pouvez également contrôler le seuil de détection. En le fixant à un niveau plus élevé, vous n'accepterez que les prédictions de votre modèle qui ont un score de confiance élevé. Un seuil plus élevé acceptera moins de cas, mais garantira une décision sûre (haute précision) et réduira les faux positifs (erreur de type I). Un seuil plus bas tentera de capturer plus de cas, mais risque d'introduire plus de faux positifs (rappel élevé).

Remarque : le téléchargement du modèle à partir du nuage peut prendre jusqu'à une minute avant que la caméra ne commence à imprimer les résultats.

Une fois que le modèle est en place et fonctionne, vous devriez le voir produire une prédiction avec un score de confiance sur la vidéo en direct :

Utiliser les modèles personnalisés dans les applications Tulip

Avec le modèle personnalisé fonctionnant en direct sur votre machine Vision, vous pouvez maintenant utiliser ses prédictions dans les applications Tulip. Le détecteur de classification émettra des événements chaque fois qu'une détection aura dépassé le seuil de confiance.

Configurez une application avec une étape pour l'inspection visuelle. Ajoutez-y la vue de la caméra pour une confirmation visuelle pour vos opérateurs, par exemple :

Rappelez-vous que le résultat de l'inspection est continu et qu'il n'est pas nécessaire d'utiliser un bouton d'instantané pour le déclencher.

Ensuite, ajoutez des déclencheurs pour la détection en temps réel sur la base des sorties du modèle personnalisé de détecteur. Utilisez le déclencheur "Détection commencée" pour obtenir un événement lorsque le détecteur fait une prédiction supérieure au seuil que vous avez défini précédemment :

Vous pouvez également ajouter un événement à la fin de la détection et effacer la variable.

Votre application en cours d'exécution devrait maintenant vous montrer les résultats du modèle personnalisé à partir du déclencheur :

Conclusion

Les modèles personnalisés vous permettent d'exécuter des modèles ML en temps réel sur le bord pour effectuer des tâches d'inspection visuelle automatiquement. Ils peuvent être utilisés pour remplacer ou augmenter une inspection manuelle avec un modèle correctement entraîné. Comme les modèles sont exécutés en périphérie, ils n'entraînent pas de frais supplémentaires et permettent une opération plus rapide, plus privée et plus sûre en termes de données.

Commencez à utiliser l'apprentissage automatique sur Tulip dès aujourd'hui avec les modèles personnalisés de Vision. Avec une configuration simple et rapide, ces modèles puissants peuvent vous faire gagner du temps et des efforts dans votre usine.

Pour en savoir plus

• Utiliser Azure customvision.ai avec les widgets personnalisés de Tulip pour l'inspection visuelle
• Utiliser AWS Lookout pour la vision avec des connecteurs pour l'inspection visuelle
• Collecte de données pour créer des ensembles de données d'apprentissage automatique