Classificação visual com modelos personalizados

Classificação visual com modelos personalizados

Como usar os modelos personalizados da Vision para classificação visual em tempo real para realizar inspeção e verificação na borda

A inspeção visual automática é uma ferramenta muito poderosa no chão de fábrica. Ela pode ser usada para manter a garantia de alta qualidade das etapas de montagem, além de reduzir o tempo de manuseio e aumentar o rendimento geral. A execução da inspeção visual automática é possível no Tulip Vision usando modelos personalizados. Os modelos personalizados são modelos de aprendizado de máquina que o Tulip Vision executa em tempo real na borda. Esses modelos precisam ser treinados usando dados capturados da linha no ponto de inspeção desejado.

O Tulip Vision suporta modelos de classificação e modelos de detecção. Este guia explicará como usar os modelos de classificação. A classificação é o ato de decidir a qual classe ou categoria a imagem visual pertence. Por exemplo, uma peça de trabalho pode pertencer à categoria "reprovada" (NG) ou "aprovada" (OK) ou, para classificação de defeitos, pode pertencer à categoria "muito larga", "muito estreita", "deformada" ou "normal" (OK). As categorias ficam a critério do usuário, desde que haja dados suficientes para treinar um modelo para elas (um mínimo de 50 imagens de exemplo para cada categoria para garantir a precisão adequada).

Os modelos personalizados são executados na borda, o que significa que a inferência (execução do modelo para obter uma previsão) não incorre em taxas extras como as cobradas pela execução do modelo na nuvem. Os modelos personalizados também são executados em tempo real no computador de borda para que possam ser usados instantaneamente para produzir detecções, reduzindo assim a largura de banda para enviar imagens para a nuvem. Isso também permite uma operação mais privada em termos de segurança de dados, já que nenhuma imagem deixa a estação de trabalho.

Pré-requisitos

• Os modelos personalizados estão habilitados na versão r229 ou superior do Tulip
• Câmera Tulip Vision configurada com uma configuração de câmera (use nosso guia de introdução)
• Peça para inspeção ou verificação, com uma posição de captura repetível em uma estação de trabalho
• Conjunto de dados de imagens categorizadas no Tulip (use nosso guia de coleta de dados)

Obtenção de um modelo treinado para inferência

Para usar os modelos personalizados do Vision, você precisa obter um modelo treinado. Supondo que os dados já tenham sido coletados e baixados para o seu computador (seguindo o guia de coleta e exportação de dados), o treinamento de um modelo pode ser feito com facilidade no serviço on-line customvision.ai do Microsoft Azure. Com apenas alguns cliques em um botão, você pode carregar as imagens com suas anotações e treinar um modelo personalizado.

Carregando dados no customvision.ai

Para treinar um novo modelo, crie um novo projeto customvision.ai: (você precisará de credenciais do Azure, que podem ser obtidas no portal do Azure)

Certifique-se de que esteja criando um modelo de classificação, Multiclasse com designação Geral (compacta):

Em seguida, adicione as imagens que você exportou do Tulip:

Faça o upload das imagens em massa para economizar tempo e esforço na marcação de cada uma delas. A exportação do conjunto de dados do Tulip organizará as imagens de acordo com suas categorias em uma pasta. Selecione todas as imagens da pasta e faça upload para customvision.ai:

Repita o processo para as outras categorias de seu conjunto de dados. Certifique-se de que você tenha pelo menos 50 amostras de cada categoria:

Treinamento de um modelo no customvision.ai

Para treinar um modelo depois que as imagens estiverem no lugar, clique no botão "Train" (Treinar).

Selecione seu orçamento de treinamento. Para fazer uma verificação rápida do seu trabalho no Tulip App, execute um "Quick Training" (treinamento rápido). Recomendamos fazer isso para obter uma avaliação geral rápida da execução da inspeção visual no chão de fábrica. Entretanto, com o modo "Quick Training", espere que os resultados do desempenho da detecção não sejam muito bons. Treine o modelo novamente em um momento posterior com um orçamento maior para obter modelos prontos para a produção, assim que toda a configuração física em suas estações estiver pronta.

Exportação do modelo OpenVINO do customvision.ai

Permita que o modelo termine o treinamento e vá para a página "Performance" (Desempenho). Você encontrará a opção de exportar o modelo:

Escolha a opção "OpenVino":

Exportar e fazer download do modelo:

Se estiver tendo problemas com os modelos exportados, entre em contato com a nossa equipe de suporte para obter ajuda na obtenção de um modelo com bom desempenho.

Configuração de um modelo personalizado no Tulip Vision

Para usar o modelo baixado no Tulip Vision, vá para a página Vision -> Models (Visão -> Modelos):

Criar um novo modelo personalizado:

Certifique-se de que o tipo de modelo seja "Classification" (Classificação). Selecione os arquivos de modelo da exportação baixada. Você deverá ter os arquivos model.xml, model.bin e labels.txt.

Em seguida, crie um novo "Classifier Model Detector" na página Detectors (Detectores) ou na página de configuração da câmera; lembre-se de selecionar o modelo personalizado que acabou de criar:

Em seguida, atribua o novo detector de classificador a uma região de configuração da câmera. Certifique-se de que esteja usando a mesma região que usou para a coleta de dados. Observe que também é possível controlar o limite de detecção. Se você definir um limite mais alto, só aceitará previsões do seu modelo que tenham uma pontuação de confiança alta. Um limite mais alto aceitará menos casos, mas garantirá uma decisão segura (alta precisão) e reduzirá os falsos positivos (erro tipo I). Um limiar mais baixo tentará capturar mais casos, mas poderá introduzir mais falsos positivos (alta recuperação).

Observação: a câmera pode levar até um minuto para baixar o modelo da nuvem antes de começar a imprimir os resultados.

Quando o modelo estiver instalado e funcionando, você verá que ele produz uma previsão com uma pontuação de confiança no vídeo ao vivo:

Uso de modelos personalizados nos aplicativos Tulip

Com o modelo personalizado em execução ao vivo em sua máquina Vision, agora você pode usar as previsões dele nos aplicativos Tulip. O detector classificador emitirá eventos sempre que uma detecção ultrapassar o limite de confiança.

Configure um aplicativo com uma etapa para inspeção visual. Adicione a visualização da câmera a ele para confirmação visual dos operadores, por exemplo:

Lembre-se de que o resultado da inspeção é contínuo e não requer um botão de instantâneo para ser acionado.

Em seguida, adicione acionadores para detecção em tempo real com base nas saídas do detector de modelo personalizado. Use o acionador "Detection began" (Detecção iniciada) para obter um evento quando o detector fizer uma previsão que esteja acima do limite que você definiu anteriormente:

Talvez você também queira adicionar um evento quando a detecção terminar e limpar a variável.

Seu aplicativo em execução deve agora mostrar os resultados do modelo personalizado a partir do acionador:

Conclusão

Os modelos personalizados permitem que você execute modelos de ML na borda em tempo real para realizar tarefas de inspeção visual automaticamente. Eles podem ser usados para substituir ou aumentar uma inspeção manual com um modelo devidamente treinado. Como os modelos estão sendo executados na borda, eles não incorrem em taxas extras e proporcionam uma operação mais rápida, privada e segura em termos de dados.

Comece a usar o aprendizado de máquina na Tulip hoje mesmo com os modelos personalizados da Vision. Com uma configuração rápida e simples, esses modelos poderosos podem economizar tempo e esforço em seu chão de fábrica.

Leitura adicional

• Use o Azure customvision.ai com widgets personalizados do Tulip para inspeção visual
• Use o AWS Lookout para visão com Connectors para inspeção visual
• Coleta de dados para criar conjuntos de dados de aprendizado de máquina