Integracja z Amazon Bedrock

Włącz zewnętrzne modele dla wielu innych opcji pilota

Cel

W tym artykule omówiono sposób korzystania z niestandardowych modeli i punktów końcowych Bedrock za pośrednictwem API Gateway oraz prostej funkcji Lambda do wywoływania modeli.

Architektura wysokiego poziomu

Poniżej znajduje się podsumowanie architektury wysokiego poziomu do korzystania z niestandardowych modeli Bedrock:

Przykładowa architektura i funkcja lambda (patrz poniższa sekcja) mogą być wykorzystywane przez funkcję Connector, taką jak ta poniżej. UWAGA: Do zabezpieczenia używanej bramy API można użyć różnych metod uwierzytelniania, takich jak OAuth2.0.

Przykładowa funkcja lambda

Poniżej znajduje się przykładowy skrypt funkcji lambda do wywoływania niestandardowego modelu w Amazon Bedrock. Skrypt ten można wykorzystać jako punkt wyjścia do utworzenia niestandardowego wnioskowania dla niestandardowego modelu Bedrock.

``python import json import boto3 import logging logger = logging.getLogger**(name**)

def lambda_handler(event, context): print(event) brt = boto3.client(service_name='bedrock-runtime') event_dict = json.loads(event['body']) prompt = event_dict['prompt']

body = json.dumps({"prompt": f"\n\nHuman: "+prompt+" \n\nAssistant:", "max_tokens_to_sample": 300, "temperature": 0.1, "top_p": 0.9, }) modelId = "anthropic.claude-v2" accept = "application/json" contentType = "application/json" response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType) response_body = json.loads(response.get('body').read()) completion_output = response_body.get('completion') return { "statusCode": 200, "body": completion_output

} ```

Rozważania dotyczące skali

Głównym przypadkiem wykorzystania niestandardowych modeli jest sytuacja, w której wymagane są dane szkoleniowe poza Tulip we własnej dzierżawie AWS. Dane te mogą obejmować dane łańcucha dostaw, dane dotyczące zamówień i inne źródła danych, które wykraczają poza podstawową produkcję. Stwarza to możliwość wykorzystania niestandardowych modeli w Amazon Bedrock, ale ważne jest, aby mieć strategię skalowania, w tym wywoływania niestandardowych modeli, dostrajania modeli i nie tylko.

Następne kroki

Aby uzyskać więcej informacji, zapoznaj się z Amazon Well-Architected Framework. Jest to świetne źródło wiedzy na temat optymalnych metod wywoływania modeli i strategii wnioskowania na dużą skalę