Использование детектора оптического распознавания символов (OCR)

:::(Warning) (Примечание) С помощью Frontline Coplilot™ текст можно извлекать непосредственно из изображений и документов, что значительно упрощает процесс OCR изображений в Tulip. В дальнейшем рекомендуется использовать именно этот подход:

Обнаружение текста в поле зрения камеры и запуск действий приложения с помощью детектора OCR от Vision

Обзор детектора OCR

Оптическое распознавание символов(OCR) - это процесс декодирования изображений для поиска и чтения текста на них. OCR - это долгая и целенаправленная работа в области технологии компьютерного зрения на протяжении десятилетий, однако она по-прежнему остается одной из самых сложных проблем распознавания.

Используя детектор OCR, вы можете отслеживать заранее определенные области в потоке камеры для обнаружения текста в режиме реального времени. Затем вы можете использовать события обнаружения текста для построения логики в вашем приложении.

:::(Info) (ПРИМЕЧАНИЕ) Результаты работы детектора OCR в реальном времени сильно зависят от качества входного изображения. Чтобы добиться успеха и получить воспроизводимые результаты, приложите все усилия, чтобы обеспечить постоянную и очень хорошо освещенную среду для чтения. Поднесите камеру как можно ближе к месту, где будет появляться текст. Рассмотрите возможность использования камер Zoom или Document, как это предлагается в статье о рекомендациях по оборудованию. :::

В этой статье вы узнаете...

• Как настроить детектор OCR
• Использование триггеров событий детектора OCR в приложении
• Как настроить параметры детектора OCR

Предварительные условия

• Ознакомьтесь с разделом " Начало работы с Vision ", чтобы получить представление о функциональных возможностях и требованиях Vision, а также получить инструкции по настройке камеры.
• Эта функция работает как с цветными, так и с глубинными камерами.
• Функция OCR доступна в версиях Tulip r210+ и Player 1.1.0+.

Настройка детектора OCR

После завершения настройки конфигурации камеры вы должны увидеть видеопоток. Чтобы настроить детектор OCR, выберите регион, который вы хотите контролировать для обнаружения текста. Возможно, вам придется создать новый регион, щелкнув и перетащив изображение, чтобы определить его:

Затем создайте детектор OCR, нажав на ссылку Создать детектор. Назовите детектор, дайте описание (необязательно) и выберите тип детектора - OCR. Включите детектор OCR для этого региона с помощью тумблера.

Граница области станет зеленой, если в ней обнаружен текст, в противном случае она останется красной. Если порог обнаружения равен 50 %, то текст, обнаруженный в этом регионе, должен иметь более чем 50 % уверенности в том, что он правильно обнаружен. Именно в этот момент в приложении, использующем данную конфигурацию камеры, будет инициировано событие.

Настройки региона детектора OCR

Вероятно, вам потребуется изменить настройки региона, чтобы получить результаты, соответствующие вашему сценарию использования. Чтобы изменить настройки региона, нажмите на конфигурацию камеры и выберите регионы, которые необходимо настроить.

Доступны следующие настройки:

Порог уверенного обнаружения OCR

Это процентное значение уверенности, которое необходимо для срабатывания события "Текст обнаружен". Если необходимо, чтобы текст обнаруживался в сложных условиях, можно установить более низкое значение порога, например 40-50 %. Любое значение, превышающее этот порог, вызовет событие "Текст обнаружен", если ранее в этой области не было обнаружено текста.

Использование детектора OCR в приложении

Перейдите в редактор приложений и создайте новый триггер выхода устройства.

Все конфигурации камер появятся в подсписке " Конкретное устройство". Выберите конфигурацию камеры из выпадающего списка.

Обратите внимание, что раздел " Конкретное устройство " позволяет использовать несколько камер в одном приложении. Любая станция, на которой запущено это приложение, должна иметь определенную конфигурацию камеры, которую вы выбрали для камеры. В противном случае при запуске приложения будет показано предупреждение.

Теперь вы увидите выпадающий список различных событий, по которым можно запустить триггер:

Для данного примера выберите в списке событий пункт Text Detected.

Если в вашем шаге есть виджет предварительного просмотра видео, обратите внимание на опцию "Показать наложение", которая позволяет отключить отображение регионов поверх видео. Включите наложение "ДЕТЕКТОР OCR", чтобы отобразить информацию об обнаружении OCR.

Запустите приложение на станции, которой вы назначили конфигурацию камеры.

При открытии шага с виджетом Vision Camera Widget в проигрывателе вы увидите видеопоток с камеры. При перемещении объекта внутри региона, имеющего цвет, аналогичный указанному в настройках, граница региона станет зеленой, и произойдет триггерное действие.

Теперь вы успешно завершили настройку детектора OCR в конфигурации камеры и готовы внедрить эту функциональность в производственные приложения.

Дальнейшее чтение

• Использование детектора джиг
• Использование виджета камеры Vision в приложениях
• Использование функции моментального снимка в приложениях
• Рекомендации по аппаратному обеспечению для Vision