Обнаружение дефектов с помощью Lookout for Vision

Обнаружение дефектов с помощью Lookout for Vision

Внедрите автоматический визуальный контроль дефектов с помощью Tulip Vision и AWS Lookout for Vision

Визуальный контроль является ключевым аспектом поддержания качества продукции, но его трудно реализовать, оставаясь при этом бережливым, поскольку затраты на выделенные человеческие ресурсы для контроля высоки. Ручной визуальный контроль также является высокопроизводительной операцией; он очень повторяется и может быть визуально сложным.

Автоматический визуальный контроль с помощью камер и машинного обучения полностью меняет ситуацию. Алгоритмы визуального контроля, основанные на машинном обучении, достигли такого уровня, что превосходят человеческую производительность как по времени, так и по точности.

С помощью Tulip вы можете реализовать автоматический визуальный контроль, подключив выходы камер Vision к первоклассному облачному сервису визуального обнаружения аномалий. Lookout for Vision от Amazon - один из таких сервисов, который предлагает мощный алгоритм в простой конечной точке REST API, который можно легко интегрировать в Tulip.

В этой статье мы покажем вам, как быстро настроить все на AWS с помощью Cloud Formation, а также внутри Tulip с помощью готового библиотечного приложения. Смотрите следующее видео, где показан этот процесс в реальном времени.

Предварительные условия

Прежде чем приступить к этому процессу, убедитесь, что у вас есть следующие ресурсы:

• USB-камера, подключенная к ПК с Tulip Player (см. руководство по рекомендациям для оборудования Tulip Vision).
• Конфигурация камеры Tulip Vision для подключенной камеры и проверенный рабочий видеопоток (см. руководство по началу работы с Vision).
• Собранные данные с аннотацией "норма-аномалия" в таблице Tulip (см. приложение для сбора данных)
• Учетная запись AWS с пользователем, которому разрешено создавать такие ресурсы, как Lookout for Vision и API Gateway (см. руководство по началу работы от Amazon)

Настройка Lookout for Vision в консоли AWS

Для помощи в настройке необходимой облачной инфраструктуры в консоли AWS мы предоставляем шаблон Cloud Formation Template(скачать). CFT - это короткий скрипт, который создает на облаке AWS все необходимое для обучения и запуска моделей обнаружения из Lookout for Vision (LfV) с помощью Tulip. Он создаст проект LfV, несколько функций AWS Lambda для активации модели LfV и шлюз AWS API для взаимодействия с этими функциями. Tulip будет вызывать конечные точки AWS API Gateway и таким образом выполнять команды для модели LfV из приложения Tulip Apps, где и происходит визуальный контроль.

1. Загрузите CFT.
2. Перейдите в раздел Cloud Formation на консоли AWS.

1. Создайте стек и загрузите файл CFT.

1. Запустите сценарий создания стека CloudFormation.

1. Обратите внимание на выходные данные.

1. Запишите или запишите значение apiGatewayInvokeURL, так как вскоре мы снова будем использовать его для настройки функций коннектора.

Теперь, когда AWS была предоставлена Cloud Formation, мы можем приступить к обучению визуальной модели машинного обучения с помощью Lookout for Vision. Для этого у нас должен быть аннотированный набор изображений. Хотя вы можете создать набор данных вручную, мы предлагаем простой способ сбора данных с помощью Tulip, используя наше приложение Data Collection [ссылка]. Данные хранятся в таблице Tulip и легко экспортируются из нее. На следующих шагах мы будем считать, что набор данных был собран в Tulip.

1. Экспорт набора данных из таблицы Tulip.

1. Загрузите набор данных в S3-хранилище, созданное Lookout for Vision.

1. Создайте набор данных в Lookout for Vision и выберите ведро S3 в качестве источника.

Убедитесь, что выбран параметр Автоматически прикреплять метки:

Теперь, когда набор данных в Lookout for Vision готов, мы можем обучить модель. Этот процесс занимает примерно 45 минут и является простым процессом на консоли AWS.

1. Нажмите Train Model.

1. Проверьте статус обучения.

1. Просмотрите результаты обучения.

После завершения обучения модели нам больше ничего не нужно делать на стороне AWS. Все подключения были сделаны за нас Cloud Formation, и мы можем подключить Tulip к Lookout for Vision.

Настройка Tulip для вызова моделей Lookout for Vision

Tulip обладает широкими возможностями интеграции с внешними сервисами через API, поэтому его легко интегрировать с AWS Lookout for Vision. Мы будем использовать конечную точку REST API из предыдущего раздела для управления моделью LfV через функции Tulip Connector Functions. Однако вместо того, чтобы создавать функции с нуля, мы предоставляем их уже готовыми в нашем библиотечном приложении "Обнаружение дефектов с помощью Lookout for Vision". Это сэкономит вам время и обеспечит правильное построение коннекторов. Однако сначала нам нужно будет заполнить функцию коннектора нужными данными из вашей конкретной учетной записи AWS.

1. Найдите функции коннекторов в Tulip.

1. Для коннектора установите правильный URL конечной точки из AWS, который вы ранее скопировали из Cloud Formation:

1. Для каждой функции задайте API KEY от AWS.

Убедитесь, что вы сделали это для всех 4 функций.

Использование Lookout for Vision в приложениях Tulip

В приложении "Обнаружение дефектов" из библиотеки мы создали очень простой процесс для проведения визуального контроля. Вы можете изменить это приложение или скопировать его части в другие приложения в соответствии со своими потребностями. Чтобы использовать это приложение, вам потребуется внести небольшие изменения для работы с конкретной настройкой Tulip Vision. Вам нужно будет указать триггер захвата на конфигурацию камеры Vision, а также виджет предварительного просмотра камеры для визуальной обратной связи.

1. Настройте виджет камеры Tulip App с нужной конфигурацией камеры.

1. Настройте триггер "Обнаружение аномалий" на правильную конфигурацию камеры.

Теперь все готово для запуска вашей модели в Tulip. Прежде чем модель будет доступна для вывода (оценки изображения), ее необходимо "разместить", что означает, что она будет занимать какой-то облачный вычислительный ресурс, например облачную виртуальную машину, для обслуживания модели в вашем приложении. Для этого мы создали кнопку на предоставленном приложении Tulip App.

Запустите приложение "Обнаружение дефектов" на компьютере с подключенной инспекционной камерой. Следующие шаги выполняются в запущенном приложении:

1. Включение модели ("Хостинг").

1. Проверьте статус размещения модели.

Ищите статус "HOSTED". Если статус не "HOSTED", модель не будет принимать запросы.

1. Выполните запрос на вывод модели.

Теперь модель должна делать прогнозы о том, является ли объект дефектом или нормальной деталью. Мы добавили кнопки для обратной связи с точностью обнаружения в случае, если модель сделала неправильный прогноз. Эти кнопки добавят больше данных в таблицу Tulip Table и ваш набор данных. Периодически переобучайте модель, предоставляя ей больше образцов изображений, чтобы повысить надежность модели.

Заключение

Мы рассмотрели простой процесс начала работы с автоматической визуальной инспекцией на основе машинного обучения в Tulip. Этот процесс поможет вам сэкономить на ручных ресурсах для визуального осмотра, выполняемого человеком. Применение этого процесса также дает вам визуальный набор данных обо всех дефектах, возникающих в вашем продукте, который вы можете использовать не только для осмотра, но и для других целей.

Вы можете легко применять и внедрять машинное обучение с помощью Tulip, используя его возможности подключения. Аналогичным образом можно использовать и другие облачные ML-сервисы.

Читать далее

• Функция Vision Snapshot
• Руководство по функциям коннектора
• Использование Azure CustomVision.ai с Tulip для визуального контроля