Uso do recurso Snapshot do Vision com um serviço de OCR externo

Uso do recurso Snapshot do Vision com um serviço externo de OCR

Capture e envie imagens para uma API de serviço de visão computacional externa

:::(Warning) (OBSERVAÇÃO) Embora você possa fazer isso com o Vision, outra alternativa é usar o CoPilot. Leia mais sobre o CoPilot e o OCR aqui: :::

Visão geral

O recurso Snapshot do Vision pode ser usado em conjunto com os Tulip Connectors e um serviço externo de OCR. Este artigo o orientará sobre como criar rapidamente um pipeline robusto de OCR (reconhecimento óptico de caracteres) que detecta texto a partir do instantâneo tirado com uma câmera Vision. Aproveitando essa funcionalidade, você poderá digitalizar documentos, ler textos de etiquetas impressas ou até mesmo textos gravados ou em relevo em itens.

O artigo a seguir explicará como usar esse recurso com o Google Vision OCR. O recurso Google Vision OCR é capaz de ler texto em condições de imagem muito difíceis.

As etapas deste artigo o orientarão:

1. Configuração do Tulip Vision e da API do Google Cloud Vision
2. Como criar um conector Tulip para a API GCV
3. Criar um aplicativo para tirar um instantâneo e se comunicar com a função do conector de OCR

Pré-requisitos

Configurar o Snapshot junto com uma configuração de câmera

Certifique-se de ter definido com êxito uma configuração de câmera do Vision e de estar familiarizado com o recurso Snapshot do Vision. Para obter mais informações, consulte: Usando o recurso Vision Snapshot

Ative a API do Google Cloud Vision e um projeto do Google Cloud Platform

Crie um projeto GCP e ative a API do Vision seguindo as instruções indicadas neste artigo: https://cloud.google.com/vision/docs/ocr.

Crie uma chave de API no Google Cloud Platform para ser usada para autenticação

Siga as instruções indicadas no artigo: https://cloud.google.com/docs/authentication/api-keys para criar uma chave de API para seu projeto GCP. Você pode restringir o uso dessa chave de API e definir as permissões apropriadas. Consulte seu gerente de rede para ajudá-lo a configurar isso.

Criação de uma função de conector Tulip para o Google OCR

O conector e a função do conector que você criar serão configurados para corresponder ao tipo de solicitação esperado pela API do Vision, conforme indicado na imagem a seguir:

Configurando sua função de conector:

1. Criar um conector HTTP.

1. Configure o conector para apontar para o endpoint da API do Google Vision.

Host: vision.googleapis.com

TLS: Sim 3. Edite os cabeçalhos da conexão para incluir o Content-Type.

1. Teste o Conector e salve a configuração.
2. Em seguida, crie uma função de conector de solicitação POST e adicione o seguinte caminho ao ponto de extremidade: v1/images:annotate

1. Adicione uma imagem como uma entrada para a função do conector. Certifique-se de que o tipo de entrada seja Texto.

1. Certifique-se de que o tipo de solicitação seja JSON e que o corpo da solicitação corresponda ao tipo de solicitação da API do Google Vision:

Observação: substitua PUT_YOUR_API_KEY_HERE por sua própria chave de API criada nas etapas acima. 8. Em seguida, teste essa função de conector convertendo uma imagem de texto em uma string base64 (para fazer isso, você pode usar este site). Use essa string como o valor de teste para sua variável de entrada de imagem.

Você deverá receber uma resposta semelhante a:

1. Defina a variável de saída para apontar para**.responses.0.textAnnotations.0.description**
2. Salve a função do conector.

Criação de um aplicativo Tulip que usa Snapshots e o Google OCR Connector

1. Vá para o App Editor e use o aplicativo criado durante a configuração do Snapshot Trigger: Usando o recurso Snapshot
2. Em seguida, crie um botão com um acionador para chamar a função do conector. Use a variável de imagem que é armazenada pela saída do Snapshot como entrada para a função do conector.

1. Adicione uma variável, detected_text, à etapa do aplicativo para que você possa visualizar os resultados retornados da função do conector:

1. Teste o aplicativo e observe os resultados do OCR:

Agora você criou um aplicativo Tulip Vision que se conecta ao serviço OCR da API do Google Vision. Experimente-o agora em seu chão de fábrica!

Leitura adicional:

• Primeiros passos com o Vision
• Usando o detector de alterações (requer: Intel RealSense D415)
• Usando o detector de gabarito
• Usando o detector de cores
• Usando o widget da câmera Vision em aplicativos