カスタムモデルによる視覚的分類

カスタムモデルによる視覚分類

Visionのカスタムモデルを使用して、エッジで検査と検証を行うためのリアルタイム視覚分類を行う方法

自動外観検査は、製造現場において非常に強力なツールです。組み立て工程で高い品質保証を維持するだけでなく、ハンドリング時間を短縮し、全体的な歩留まりを向上させるために使用できます。Tulip Visionでは、カスタムモデルを使用して自動外観検査を実行できます。カスタムモデルは、Tulip Visionがエッジ上でリアルタイムに実行する機械学習モデルです。これらのモデルは、目的の検査ポイントでラインから取得したデータを使用してトレーニングする必要があります。

Tulip Visionは分類モデルと検出モデルをサポートしています。このガイドでは、分類モデルの使用方法を説明します。分類とは、視覚画像がどのクラスまたはカテゴリに属するかを決定することです。例えば、ワークピースは「不合格」（NG）または「合格」（OK）カテゴリーに属するかもしれませんし、欠陥分類では「幅が広すぎる」、「幅が狭すぎる」、「ゆがんでいる」または「正常」（OK）カテゴリーに属するかもしれません。モデルを学習するのに十分なデータ（十分な精度を確保するために、各カテゴリーについて最低50枚のサンプル画像）がある限り、カテゴリーを決定するのはユーザー次第です。

カスタムモデルはエッジ上で実行されるため、推論（モデルを実行して予測を得る）には、クラウド上でモデルを実行する場合のような追加料金は発生しない。また、カスタムモデルはエッジコンピュータ上でリアルタイムに実行されるため、検出結果を生成するために瞬時に使用することができ、クラウドに画像を送信するための帯域幅を削減することができる。また、画像がワークステーションから離れることがないため、データセキュリティの面でも、よりプライベートな運用が可能になります。

前提条件

• Tulipリリースr229以上でカスタムモデルが有効になっていること。
• カメラ設定でTulip Visionカメラがセットアップされていること（スタートガイドを参照
• ワークステーション内の繰り返し可能なキャプチャ位置を持つ検査または検証用の部品
• Tulip上で分類された画像のデータセット（データ収集ガイドを参照

推論のための学習済みモデルの取得

Vision Custom Modelsを使用するには、学習済みモデルを入手する必要があります。データがすでに収集され、コンピュータにダウンロードされていると仮定すると（データ収集とエクスポートガイドに従って）、モデルのトレーニングはMicrosoft Azureのcustomvision.aiオンラインサービスで簡単に行うことができます。ボタンを数回クリックするだけで、画像とそのアノテーションをロードし、カスタムモデルをトレーニングすることができます。

customvision.aiでデータをロードする

新しいモデルをトレーニングするには、新しいcustomvision.aiプロジェクトを作成します。

Classification model, Multiclass with General (compact)を作成していることを確認する：

次に、Tulipからエクスポートした画像を追加します：

タグ付けの手間を省くために、画像を一括でアップロードします。Tulipからエクスポートされたデータセットは、画像をカテゴリごとにフォルダに整理します。フォルダからすべての画像を選択し、customvision.aiにアップロードします：

データセットの他のカテゴリーについても、このプロセスを繰り返します。各カテゴリから少なくとも50のサンプルがあることを確認してください：

customvision.aiでモデルをトレーニングする

画像を配置したらモデルをトレーニングするために、"Train "ボタンをクリックします。

トレーニング予算を選択します。チューリップアプリの作業を素早くチェックするには、「クイックトレーニング」を実行します。ただし、「クイック・トレーニング」モードでは、検出性能の結果があまり良くないことが予想されます。ステーション内の物理的なセットアップがすべて完了したら、生産準備の整ったモデルを得るために、後日、より大きな予算でモデルを再度トレーニングしてください。

customvision.aiからONNXモデルをエクスポートする

モデルのトレーニングが終了したら、「パフォーマンス」ページに移動します。モデルをエクスポートするオプションがあります：

ONNX "オプションを選択します：

モデルをエクスポートしてダウンロードします：

エクスポートしたモデルに問題がある場合は、サポートチームまでお問い合わせください。

Tulip Visionでカスタムモデルを設定する

ダウンロードしたモデルをTulip Visionで使用するには、Vision -> Modelsページにアクセスしてください：

新しいカスタムモデルを作成します：

モデルタイプが "Classification "であることを確認してください。ダウンロードしたエクスポートからモデルファイルを選択します。model.xml、model.bin、labels.txtファイルがあるはずです。

次に、Detectorsページまたはカメラ設定ページで新しい "Classifier Model Detector "を作成します：

次に、新しい分類器検出器をカメラ設定領域に割り当てます。データ収集に使用したのと同じ領域を使用していることを確認します。検出しきい値を高く設定すると、信頼スコアが高いモデルからの予測のみを受け入れます。より高いしきい値は、より少ないケースしか受け入れませんが、確実な決定（高い精度）を保証し、偽陽性（タイプIエラー）を減らします。より低いしきい値は、より多くのケースを捕捉しようとしますが、より多くの偽陽性（高いリコール）を引き起こす可能性があります。

注意：結果が印刷されるまで、カメラがクラウドからモデルをダウンロードするのに1分ほどかかることがあります。

モデルが配置され、動作すると、ライブビデオ上で信頼度スコア付きの予測が生成されるのを確認できるはずです：

Tulip Appsでカスタムモデルを使う

カスタムモデルがVisionマシンでライブで動作しているため、その予測結果をTulipアプリで使用することができます。分類器検出器は、検出が信頼度のしきい値を通過するたびにイベントを発行します。

目視検査用のステップでアプリをセットアップします。例えば、オペレーターの目視確認のためにカメラビューを追加します：

検査結果は連続的であり、トリガーにスナップショットボタンを必要としないことを忘れないでください。

次に、カスタムモデルの検出器出力に基づいて、リアルタイム検出用のトリガーを追加します。検出開始」トリガーを使用して、検出器が先に設定したしきい値を超える予測を行ったときにイベントを取得します：

検出が終了し、変数がクリアされたときにイベントを追加することもできます。

実行中のアプリは、トリガーからカスタムモデルの結果を表示するはずです：

結論

カスタムモデルは、視覚的な検査タスクを自動的に実行するために、リアルタイムでエッジ上でMLモデルを実行することを可能にします。適切に訓練されたモデルで手動検査を置き換えたり、補強したりするために使うことができます。モデルはエッジで実行されるため、余分な費用は発生せず、データに関してより高速でプライベートかつ安全な運用が可能になります。

Visionカスタムモデルを使って、今すぐTulipで機械学習を始めましょう。迅速でシンプルなセットアップにより、これらの強力なモデルは、工場現場での時間と労力を節約します。

さらに読む

• 視覚検査のためにTulipカスタムウィジェットでAzure customvision.aiを使用する
• AWS Lookout for visionとConnectorsを使用して視覚検査を行う
• 機械学習データセットを作成するためのデータ収集