Utilisation de la fonction Snapshot de Vision avec un service OCR externe

Utilisation de la fonction Snapshot de Vision avec un service OCR externe

Capturez et envoyez des images à un service externe de vision par ordinateur API

:::(Warning) (NOTE) Bien que vous puissiez réaliser ceci avec Vision, une autre alternative est d'utiliser CoPilot. Pour en savoir plus sur CoPilot et l'OCR , cliquez ici::: :

Vue d'ensemble

La fonction Snapshot de Vision peut être utilisée en conjonction avec les connecteurs Tulip et un service OCR externe. Cet article vous guidera dans la construction rapide d'un pipeline OCR (Reconnaissance Optique de Caractères) robuste qui détecte le texte à partir d'un cliché pris avec une caméra Vision. Grâce à cette fonctionnalité, vous pourrez numériser des documents, lire du texte sur des étiquettes imprimées, ou même du texte en relief ou gravé sur des objets.

L'article suivant explique comment utiliser cette fonctionnalité avec Google Vision OCR. La fonction Google Vision OCR est capable de lire du texte dans des conditions d'image très difficiles.

Les étapes de cet article sont les suivantes

1. Configuration de Tulip Vision et de l'API Google Cloud Vision
2. Comment créer un connecteur Tulip pour l'API GCV
3. Création d'une application pour prendre un cliché et communiquer avec la fonction de connecteur OCR

Conditions préalables

Configurer l'instantané avec la configuration de la caméra

Assurez-vous d'avoir configuré avec succès une caméra Vision et d'être familiarisé avec la fonction de prise de vue instantanée de Vision. Pour plus d'informations, voir : Utilisation de la fonction d'instantané de Vision

Activer l'API Google Cloud Vision et un projet Google Cloud Platform

Créez un projet GCP et activez l'API Vision en suivant les instructions de cet article : https://cloud.google.com/vision/docs/ocr.

Créer une clé API sur Google Cloud Platform à utiliser pour l'authentification

Suivez les instructions de l'article : https://cloud.google.com/docs/authentication/api-keys pour créer une clé API pour votre projet GCP. Vous pouvez restreindre l'utilisation de cette clé API et définir les autorisations appropriées. Veuillez consulter votre gestionnaire de réseau pour vous aider à configurer cela.

Créer une fonction de connecteur Tulip pour Google OCR

Le connecteur et la fonction de connecteur que vous créez seront configurés pour correspondre au type de requête attendue par l'API Vision, comme indiqué dans l'image suivante :

Configuration de votre fonction de connecteur :

1. Créez un connecteur HTTP.

1. Configurez le connecteur pour qu'il pointe vers le point de terminaison de l'API Vision de Google.

Hôte: vision.googleapis.com

TLS: Oui 3. Modifiez les en-têtes du connecteur pour inclure le Content-Type.

1. Testez le connecteur et enregistrez la configuration.
2. Ensuite, créez une fonction de connecteur de demande POST et ajoutez le chemin suivant au point de terminaison : v1/images:annotate

1. Ajoutez une image en tant qu'entrée de la fonction de connecteur. Assurez-vous que le type d'entrée est Text.

1. Assurez-vous que le type de requête est JSON et que le corps de la requête correspond au type de requête de l'API Google Vision :

Remarque : remplacez PUT_YOUR_API_KEY_HERE par votre propre clé API créée dans les étapes ci-dessus. 8. Ensuite, testez cette fonction de connecteur en convertissant une image de texte en une chaîne base64 (pour ce faire, vous pouvez utiliser ce site web). Utilisez cette chaîne comme valeur de test pour votre variable d'entrée image.

Vous devriez recevoir une réponse similaire à celle-ci :

1. Définissez la variable de sortie pour qu'elle pointe vers le fichier**.responses.0.textAnnotations.0.description**.
2. Sauvegardez la fonction de connecteur.

Création d'une application Tulip qui utilise des instantanés et le connecteur Google OCR

1. Allez dans l'éditeur d'application et utilisez l'application créée lors de la configuration du déclencheur d'instantanés : Utiliser la fonctionnalité d'instantané
2. Ensuite, créez un bouton avec un déclencheur pour appeler la fonction du connecteur. Utilisez la variable image stockée par la sortie de l'instantané comme entrée de la fonction du connecteur.

1. Ajoutez une variable, detected_text, à votre application Step afin de pouvoir visualiser les résultats renvoyés par la fonction connecteur :

1. Testez l'application et observez les résultats de l'OCR :

Vous avez maintenant créé une application Tulip Vision qui se connecte au service OCR de l'API Google Vision. Essayez-la maintenant dans votre atelier !

Pour en savoir plus :

• Premiers pas avec Vision
• Utilisation du détecteur de changement (Requiert : Intel RealSense D415)
• Utilisation du détecteur de gabarit
• Utilisation du détecteur de couleur
• Utilisation du widget de la caméra Vision dans les applications