--- title: "Using Microsoft Azure CustomVision.ai with Tulip Vision for Visual Inspection" slug: "using-microsoft-azure-customvisionai-with-tulip-vision-for-visual-inspection" updated: 2024-08-28T10:52:13Z published: 2024-08-28T10:52:13Z canonical: "support.tulip.co/using-microsoft-azure-customvisionai-with-tulip-vision-for-visual-inspection" --- > ## Documentation Index > Fetch the complete documentation index at: https://support.tulip.co/llms.txt > Use this file to discover all available pages before exploring further. # Использование Microsoft Azure CustomVision.ai с Tulip Vision для визуального контроля *Использование Azure CustomVision.ai с Tulip Vision - это простой способ без кода реализовать визуальный контроль на рабочих станциях и не только.* В этой статье мы покажем, как использовать сервис Microsoft Azure CustomVision.ai для визуального контроля с помощью Tulip. Сервис CustomVision.ai предназначен для легкого создания моделей машинного обучения для задач визуального распознавания. С помощью Tulip вы можете собирать данные для обучения моделей машинного обучения, которые предлагает CustomVision.ai. Визуальный контроль - важная часть фронтальных операций. С его помощью можно обеспечить выход с линии только высококачественной продукции, сократить количество возвращенных деталей и повторных работ, а также увеличить реальный выход продукции. Автоматический визуальный контроль позволяет сэкономить на привлечении ручного труда для выполнения визуального контроля, сократить общие расходы и повысить эффективность. С помощью Tulip Vision визуальный контроль можно быстро и легко добавить на любую рабочую станцию, подключив доступную камеру к существующему компьютеру и создав приложение Tulip App для контроля. ## Необходимые условия - Рабочая станция Tulip Vision с камерой для визуального контроля. Следуйте [руководству по началу работы с Tulip Vision](https://support.tulip.co/docs/getting-started-with-vision) - Учетная запись на [CustomVision.ai / в качестве альтернативы](http://customvision.ai) можно использовать Landing AI - подробнее [здесь](https://tulip.co/library/apps/landingai-unit-test/). - Продукт, который будет использоваться для задачи визуального осмотра - Набор данных, состоящий как минимум из 30 изображений для каждого класса категорий, которые вы хотите проверить (например, "Прошел" или "Не прошел", "Дефект 1", "Дефект 2", "Дефект 3" и т. д.). Следуйте инструкциям в руководстве по [сбору и экспорту данных визуального контроля из Tulip](https://support.tulip.co/docs/collecting-data-for-visual-inspection-with-vision) ### Пример настройки визуального контроля ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_499622009.png) ## Загрузка изображений инспекции в CustomVision.ai В таблице данных Tulip нажмите "Загрузить набор данных" и выберите соответствующие столбцы для изображений и аннотаций. Скачайте и распакуйте файл .zip с набором данных в папку на компьютере. В ней должно быть несколько вложенных папок для каждой категории обнаружения в соответствии с аннотацией в таблице набора данных. Создайте новый проект на Customvision.ai: ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_488059388.png) Назовите проект и выберите тип проекта "Классификация" и "Мультикласс (одна метка на изображение)". Классификация. Тип: (эти параметры выбраны по умолчанию). ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_488061482.png) Нажмите кнопку "Добавить изображения". ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_488063381.png) Выберите изображения на своем компьютере для одного из классов. Вы можете выбрать *все* изображения в папке, которую вы получили из распакованного набора данных Tulip Table. После загрузки изображений в Customvision.ai вы можете применить метку ко всем изображениям сразу, чтобы не создавать их по одному. Поскольку все текущие изображения относятся к одному классу, это возможно. В следующем примере мы загрузим все изображения класса "Normal" и применим тег (класс) ко всем сразу: ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_488763448.png) Повторите ту же операцию загрузки для других классов. ## Обучение и публикация модели для визуального контроля После того как данные для обучения собраны, приступайте к обучению модели. Кнопка "Обучить" в правом верхнем углу открывает диалог обучения модели. ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_488767130.png) Выберите подходящий режим обучения. Для быстрого пробного запуска, чтобы убедиться, что все работает правильно, используйте опцию "Быстро". В противном случае для достижения наилучших результатов классификации используйте опцию "Advanced". ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_490185021.png) После обучения модели вы сможете просмотреть показатели ее производительности, а также опубликовать модель, чтобы она была доступна через вызов API. ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_490186862.png) Выберите подходящий ресурс для публикации и продолжите. ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_490187624.png) На этом этапе опубликованная модель готова принимать запросы на вывод от Tulip. Запомните URL публикации, так как вскоре мы будем использовать его для подключения из Tulip. ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_490190107.png) ![Using Microsoft Azure CustomVision.ai with Tulip Vision for Visual Inspection_490190230.png](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_490190230%282%29.png) ## Виджет для создания запросов на вывод в опубликованной модели Делать запросы на вывод к сервису Azure CustomVision.ai можно на Tulip с помощью пользовательского виджета. Страница пользовательских виджетов находится в разделе "Настройки". ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_490277422.png) Создайте новый пользовательский виджет и добавьте следующие параметры: ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_490280427.png) Для частей кода используйте следующее: **HTML** `<button class="button" type="button">Обнаружить аномалии</button>.` **JavaScript** **Примечание**: Здесь вам нужно получить URL и `prediction-key` из опубликованной модели CustomVision.ai. `` function b64toblob(image) { const byteArray = Uint8Array.from(window.atob(image), c => c.charCodeAt(0)); return new Blob([byteArray], {type: 'application/octet-stream'}); } async function detectAnomalies() { let image = getValue("imageBase64String"); const url = '<<< Используйте URL из CustomVision.ai>>'; $.ajax({ url: url, type: 'post', data: b64toblob(image), кэш: false, processData: false, заголовки: { 'Prediction-Key': '<<< Использовать ключ предсказания >>>', 'Content-Type': 'application/octet-stream' }, success: (response) => { setValue("predictions", response["predictions"]); }, error: (err) => { console.log(err); }, async: false, }); } ``` **CSS** `` .button { background-color: ## 616161; border: none; цвет: белый; padding: 15px 32px; text-align: center; text-decoration: none; display: inline-block; font-size: 16px; width: 100%; } ``` Убедитесь, что включили внешнюю библиотеку jQuery для пользовательского виджета.![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Screen%20Shot%202022-10-12%20at%2011.00.35%20AM_shadow.jpg) Ваш пользовательский виджет должен выглядеть следующим образом: ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_490283461.png) ## Использование виджета предсказаний в приложении Tulip Теперь, когда виджет настроен, вы можете просто добавить его в приложение, в котором вы будете выполнять запросы на предсказания. Вы можете создать приложение Step следующим образом: ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_497394399.png) С помощью обычной кнопки сделайте снимок с камеры визуального контроля и сохраните его в переменной: ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_490299484.png) Использовать пользовательский виджет "Обнаружение аномалий". ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_490295795.png) Настройте виджет так, чтобы он принимал переменную изображения снимка в виде base64-строки. ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_490296728.png) Присвойте полученный результат переменной для отображения на экране или использования в других целях. ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_490302048.png) Теперь ваше приложение готово к выполнению запросов на вывод для визуального осмотра. ## Запуск приложения для визуального контроля После того как приложение готово, запустите его на машине Player с инспекционной камерой, которую вы использовали для сбора данных. Важно воспроизвести ту же ситуацию, что и при сборе данных, чтобы исключить любые ошибки из-за разницы в освещении, расстоянии или угле обзора. Вот пример работающего приложения для визуального контроля: ![](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/Using%20Microsoft%20Azure%20CustomVision.ai%20with%20Tulip%20Vision%20for%20Visual%20Inspection_497398652.png) ## Дальнейшее чтение - [Начало работы с Vision](https://support.tulip.co/docs/getting-started-with-vision) - [Сбор данных для визуального контроля](https://support.tulip.co/docs/collecting-data-for-visual-inspection-with-vision) - [Пользовательский виджет Landing AI](https://support.tulip.co/docs/landingai-widget) - [Юнит-тест посадочного ИИ](https://tulip.co/library/apps/landingai-unit-test/) - [Обзор пользовательских виджетов](https://support.tulip.co/docs/custom-widgets-overview)