Использование функции моментального снимка Vision с внешней службой OCR

Использование функции моментального снимка Vision с внешней службой OCR

Захват и отправка изображений в API внешнего сервиса компьютерного зрения.

:::(Warning) (ПРИМЕЧАНИЕ) Хотя вы можете сделать это с помощью Vision, другой альтернативой является использование CoPilot. Подробнее о CoPilot и OCR читайте здесь. :::

Обзор

Функцию моментального снимка в Vision можно использовать в сочетании с коннекторами Tulip Connectors и внешним сервисом OCR. В этой статье вы узнаете, как быстро создать надежный конвейер оптического распознавания символов (OCR), который определяет текст на снимке, сделанном камерой Vision. Используя эту функциональность, вы сможете сканировать документы, считывать текст с напечатанных этикеток или даже текст, выбитый или вытравленный на предметах.

В следующей статье мы рассмотрим, как использовать эту функцию в Google Vision OCR. Функция Google Vision OCR способна считывать текст в очень сложных условиях изображения.

В этой статье мы рассмотрим следующие шаги:

1. Настройка Tulip Vision и Google Cloud Vision API
2. Как создать коннектор Tulip к API GCV
3. Создание приложения для получения снимка и взаимодействия с функцией коннектора OCR

Предварительные условия

Настройка моментального снимка вместе с конфигурацией камеры

Убедитесь, что вы успешно настроили конфигурацию камеры Vision и знакомы с функцией моментального снимка Vision. Для получения дополнительной информации см: Использование функции моментального снимка Vision

Включите Google Cloud Vision API и проект Google Cloud Platform

Создайте проект GCP и включите Vision API, следуя инструкциям, приведенным в этой статье: https://cloud.google.com/vision/docs/ocr.

Создайте ключ API на Google Cloud Platform, который будет использоваться для аутентификации

Следуйте инструкциям, приведенным в статье: https://cloud.google.com/docs/authentication/api-keys, чтобы создать ключ API для вашего проекта GCP. Вы можете ограничить использование этого API-ключа и установить соответствующие разрешения. Пожалуйста, обратитесь к своему сетевому менеджеру, чтобы он помог вам настроить это.

Создание функции коннектора Tulip для Google OCR

Коннектор и функция коннектора, которые вы создадите, будут настроены в соответствии с типом запроса, ожидаемого API Vision, как показано на следующем изображении:

Настройка функции коннектора:

1. Создайте HTTP-коннектор.

1. Настройте коннектор так, чтобы он указывал на конечную точку Google Vision API.

Хост: vision.googleapis.com

TLS: Да 3. Отредактируйте заголовки коннектора, чтобы включить Content-Type.

1. Протестируйте коннектор и сохраните конфигурацию.
2. Далее создайте функцию коннектора POST-запроса и добавьте следующий путь к конечной точке: v1/images:annotate

1. Добавьте изображение в качестве входного параметра в функцию коннектора. Убедитесь, что тип ввода - Text.

1. Убедитесь, что тип запроса - JSON, а тело запроса соответствует типу запроса Google Vision API:

Примечание: Замените PUT_YOUR_API_KEY_HERE на свой собственный ключ API, созданный в шагах выше. 8. Далее протестируйте эту функцию коннектора, преобразовав изображение текста в base64-строку (для этого можно воспользоваться этим сайтом). Используйте эту строку в качестве тестового значения для переменной ввода изображения.

Вы должны получить ответ, подобный этому:

1. Установите выходную переменную, чтобы она указывала на**.responses.0.textAnnotations.0.description**
2. Сохраните функцию коннектора.

Создание приложения Tulip, использующего моментальные снимки и коннектор Google OCR

1. Перейдите в редактор приложений и используйте приложение, созданное при настройке триггера моментальных снимков: Использование функции моментальных снимков
2. Далее создайте кнопку с триггером для вызова функции коннектора. В качестве входных данных для функции коннектора используйте переменную изображения, которая хранится на выходе моментального снимка.

1. Добавьте переменную detected_text в приложение Step, чтобы можно было просматривать результаты, возвращаемые функцией коннектора:

1. Протестируйте приложение и посмотрите на результаты OCR:

Теперь вы создали приложение Tulip Vision, которое подключается к сервису OCR Google Vision API. Попробуйте его прямо сейчас в своем магазине!

Дополнительная информация:

• Начало работы с Vision
• Использование детектора изменений (требуется: Intel RealSense D415)
• Использование детектора джига
• Использование детектора цвета
• Использование виджета камеры Vision в приложениях