Text aus Bild extrahieren Aktion auslösen

:::(Info) (Open Beta) Die Frontline Copilot Auslöseaktionen sind derzeit in der offenen Beta. Wenden Sie sich an copilot@tulip.co ::::::(Warning) (Beta-Haftungsausschluss) Die Nutzung der von Tulip angebotenen Beta-Versionen ist optional und erfolgt auf Ihr eigenes Risiko. Aufgrund des ungetesteten/unbewiesenen Charakters der Beta-Versionen werden diese "wie besehen", "wie verfügbar" und ohne Garantie angeboten. Das bedeutet, dass alle Garantien, Entschädigungen und sonstigen Verpflichtungen von Tulip im Rahmen von Servicebedingungen oder MSA nicht für Beta-Versionen gelten. * Frontline Copilot ist leistungsstark! Wir helfen Ihnen bei der Anleitung, aber Sie sind letztendlich für die Auswirkungen dessen, was Sie bauen, verantwortlich. * Wir behalten uns das Recht vor, alle Copilot-Trigger jederzeit abzuschalten, wenn wir etwas Unerwartetes bemerken. * Wir behalten uns das Recht vor, Copilot-Trigger während der Beta-Phase einzuschränken, wenn und soweit dies erforderlich ist. * Die Nutzung von Copilot-Triggern während des Programms wird Ihnen nicht berechnet. Nach Abschluss des Programms haben Sie drei Monate Zeit, um zu entscheiden, ob Sie die Funktion weiter nutzen möchten oder nicht.
* Irgendwann in der Zukunft werden wir möglicherweise nutzungsbasierte Preise für die Beta-Funktionen einführen.
:::

Die Trigger-Aktion Text aus Bild extrahieren extrahiert Text aus einem Bild auf der Grundlage einer Abfrage. Eine andere Möglichkeit, dies zu beschreiben, ist "Abfragebasierte OCR (optische Zeichenerkennung)" oder "Extrahiere Text aus einem Bild, indem du danach fragst."

Der Auslöser gibt immer nur den Text zurück, der tatsächlich im Bild vorhanden ist. Er fügt dem Bild keine zusätzlichen Informationen oder Interpretationen hinzu. Dies macht ihn sehr leistungsfähig für die Übertragung von Daten aus der physischen in die digitale Welt.

Beispiel für Anwendungsfälle:

• Einlesen von Daten aus einem Bestellformular, das von einem externen Lieferanten stammt. Vergessen Sie das manuelle Übertragen der 14-stelligen Bestellnummer aus einer Lieferantenrechnung in Ihr WMS. Kombinieren Sie eine einfache App und "Text aus Bild extrahieren", um diese Daten in Sekundenschnelle zu erfassen.
• Digitalisieren Sie Papierformulare. Die Daten auf bestehenden Papierformularen sind noch wertvoller, wenn sie in Tulip-Apps zugänglich sind. Die Aktionen "Text aus Bild extrahieren" sind ein großartiger Mechanismus, um die physische und die digitale Welt zu verbinden.
• Arbeiten Sie zuverlässig mit Text in Sprachen, die für Ihre Mitarbeiter fremd sind. Die Welt der Fertigung ist global. Geben Sie Ihren Mitarbeitern Superkräfte, indem Sie die Trigger-Aktionen "Text aus Bild extrahieren" und "Übersetzen" kombinieren, um papierbasierte Informationen in etwas zu verwandeln, mit dem Ihre Mitarbeiter arbeiten können.

Trigger-Beispiel

Verwenden Sie eine mobile App, um ein Foto von einem Etikett auf einem Produkt zu machen und die Chargennummer zu ermitteln.

Bild | Auslöser | Ergebnis | | --- | --- | | | | | | {height="" width="400"} | {height="" width="400"} | 11EP8F4WA58CCX |

Wert aus Bild extrahieren

Eingänge und Ausgänge

Die Triggeraktion hat zwei Eingänge, Input Image und Query, und einen Ausgang, den extrahierten Text.

Eingabe: Eingabebild

Dies ist das Bild, aus dem der Text extrahiert werden soll. Es kann vom Kamera-Eingabe-Widget, von Tulip Vision oder von externen Systemen stammen.

| | Unterstützter Datentyp | | --- | --- | | Eingabe | Bild-URL |

Eingabe: Abfrage

Dies ist die Abfrage, die für die Extraktion des Textes aus dem Bild oder Dokument verwendet wird.

Best Practices für Abfragen: * Verwenden Sie nach Möglichkeit Wörter aus dem Dokument. Dies ist besonders hilfreich bei Akronymen und Abkürzungen (z. B. SN, ID, SSN, Lot No., etc.). Die Trigger-Aktionen für Textextraktion unterstützen weniger komplexe Abfragen als die Trigger-Aktionen für die Beantwortung von Fragen aus Daten/Dokumenten* Beispiel. Große Eingabe: "Wer ist der Lieferant?" * Bsp. Schlechte Eingabe: "* Die Angabe des Ortes, an dem sich die Informationen befinden, kann ebenfalls hilfreich sein (z. B. "Wie lautet die Referenznummer auf dem Boden?")

| | Unterstützter Datentyp | | --- | | | | Eingabe | Text |

Ausgabe: Extrahierter Text

Dies ist der Text, der auf der Grundlage der Abfrage aus dem Bild extrahiert wurde.

| | Unterstützter Datentyp | | | | | | | Ausgabe | Text |

Werte aus Bild/Dokument extrahieren

:::(Warning) (Hinweis) Das Extrahieren von Werten aus Dokumenten ist ein relativ langsamer Vorgang. Wir begrenzen Dokumente auf 10 Seiten, um die Ausführungszeit zu begrenzen.
:::

Werte aus Bild/Dokument extrahieren funktioniert genauso wie Werte aus Bild extrahieren, unterstützt aber ein Array von Fragen. Dies ist wesentlich leistungsfähiger als das Ausführen der Trigger-Aktion "Wert aus Bild extrahieren".

Eingabe: Eingabe Bild/Dokument

Dies ist das Bild, aus dem der Text extrahiert werden soll. Es kann vom Kamera-Eingabe-Widget, von Tulip Vision oder von externen Systemen stammen. Bei Dateien kann dies statisch festgelegt werden, mit dem Dateieingabe-Widget eingegeben werden oder auf Dateien verweisen, die in Tabellen gespeichert sind.

| | Unterstützter Datentyp | | --- | --- | | Eingabe | Bild-URL |

Eingabe: Abfrage

Dies ist die Abfrage, die für die Extraktion des Textes aus dem Bild verwendet wird. Dies sollte ein Array/eine Liste von Textwerten sein.

| | Unterstützter Datentyp | | | --- | | | Eingabe | Textliste |

Ausgabe: Extrahierter Text

Dies ist der Text, der auf der Grundlage der Abfrage aus dem Bild extrahiert wurde.

| | Unterstützter Datentyp | | | | | | | Ausgabe | Objektarray. Jedes Element hat ein Attribut "Frage" und "Antwort".

Gesamten Text aus Bild/Dokument extrahieren

In einigen Fällen ist das Schlüssel:Wert-Paradigma der Extraktwert-Triggeraktionen für Ihren Anwendungsfall nicht sinnvoll. Das Auslesen aller Daten aus einem Bild bietet eine nahezu unendliche Flexibilität in Bezug auf die Probleme, die mit Copilot gelöst werden können. Die Trigger-Aktionen "Extract All Text" bieten Ihnen diese Flexibilität.

Eingabe: Eingabebild/Dokument

Dies ist das Bild, aus dem der Text extrahiert werden soll. Es kann vom Kamera-Eingabe-Widget, von Tulip Vision oder von externen Systemen stammen. Bei Dateien kann dies statisch festgelegt werden, mit dem Dateieingabe-Widget eingegeben werden oder auf Dateien verweisen, die in Tabellen gespeichert sind.

| | Unterstützter Datentyp | | --- | | | | Eingabe | Bild-URL oder Datei-URL |

Ausgabe: Extrahierter Text

Dies ist der gesamte Text, der in dem jeweiligen Bild oder Dokument gefunden wurde. Dokumente geben ein Array von Daten zurück, wobei jedes Element den Text einer Seite des angegebenen Dokuments darstellt.

| | Unterstützter Datentyp | | --- | --- | | Ausgabe | (für Bilder) Text. (für Dokumente) Text Liste |

Randfälle

Kein Eingabebild und/oder keine Abfrage vorhanden

Wenn kein Eingabebild oder keine Abfrage für die Auslöseaktion bereitgestellt wird, zeigt die App den folgenden Systemfehler an:Your Input or Query is empty

Dies geschieht in allen folgenden Fällen: * Dem Eingabebild und/oder der Abfrage ist kein Wert zugewiesen. Dies ist gleichbedeutend mit "null". * Der Abfrage ist ein leerer String zugewiesen.

Kein Ergebnis für die Abfrage

Wenn für die Abfrage kein Ergebnis gefunden werden konnte, gibt die Triggeraktion einen leeren Text zurück.

Grenzwerte

:::(Warning) (Achtung) Die Grenzen können sich ändern.
::: Derzeit gibt es die folgenden Grenzen für "Text aus Bild extrahieren"-Trigger. Diese Grenzen werden auf Instanzebene verfolgt. Wenn diese Grenzwerte überschritten werden, schlägt die Aktion "Text aus Bild extrahieren" fehl.

Monatliches Limit: 10.000 Anfragen/Monat Ratenlimit: 10 Anfragen/Minute