Amazon Bedrock Integration

Externe Modelle für eine Vielzahl anderer Copilot-Optionen aktivieren

Zweck

In diesem Artikel wird erläutert, wie benutzerdefinierte Bedrock-Modelle und -Endpunkte über API Gateway und eine einfache Lambda-Funktion zum Aufrufen der Modelle verwendet werden können.

Architektur auf hoher Ebene

Nachfolgend finden Sie eine Zusammenfassung einer High-Level-Architektur für die Verwendung von benutzerdefinierten Bedrock-Modellen für Kunden und Mandanten:

Die Beispielarchitektur und die Lambda-Funktion (siehe Abschnitt unten) können durch eine Connector-Funktion wie die unten stehende genutzt werden. HINWEIS: Zur Sicherung des verwendeten API-Gateways kann eine Vielzahl von Authentifizierungsmethoden wie OAuth2.0 verwendet werden.

Beispiel einer Lambda-Funktion

Nachfolgend finden Sie ein Beispielskript für eine Lambda-Funktion zum Aufrufen eines benutzerdefinierten Modells in Amazon Bedrock. Dieses Skript kann als Startpunkt verwendet werden, um eine benutzerdefinierte Inferenz für ein benutzerdefiniertes Bedrock-Modell zu erstellen.

def lambda\_handler(event, context): print(event) brt = boto3.client(service\_name='bedrock-runtime') event\_dict = json.loads(event['body']) prompt = event\_dict['prompt']

body = json.dumps({"prompt": f"\n\nHuman: "+prompt+" \n\nAssistant:", "max_tokens_to_sample": 300, "temperature": 0.1, "top_p": 0.9, }) modelId = 'anthropic.claude-v2' accept = 'application/json' contentType = 'application/json' response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType) response_body = json.loads(response.get('body').read()) completion_output = response_body.get('completion') return { "statusCode": 200, "body": completion_output

} ```


## Überlegungen zur Skalierung


Ein Hauptfall für die Nutzung von benutzerdefinierten Modellen ist, wenn Sie Trainingsdaten außerhalb von Tulip auf Ihrem eigenen AWS-Tenant benötigen. Diese Daten können Lieferkettendaten, Beschaffungsdaten und andere Datenquellen umfassen, die über die Kernfertigung hinausgehen. Dies schafft die Möglichkeit, benutzerdefinierte Modelle in Amazon Bedrock zu nutzen, aber es ist wichtig, eine Strategie für die Skalierung zu haben, einschließlich des Aufrufs benutzerdefinierter Modelle, Modellabstimmung und mehr.


## Nächste Schritte


Wenn Sie weitere Informationen benötigen, lesen Sie bitte das [*Amazon Well-Architected Framework*](https://wa.aws.amazon.com/wellarchitected/2020-07-02T19-33-23/index.en.html). Dies ist eine großartige Ressource für das Verständnis der optimalen Methoden zum Aufrufen von Modellen und der Inferenzstrategie im Maßstab