- Wydrukować
Integracja z Amazon Bedrock
Włącz zewnętrzne modele dla wielu innych opcji pilota
Cel
W tym artykule omówiono sposób korzystania z niestandardowych modeli i punktów końcowych Bedrock za pośrednictwem API Gateway oraz prostej funkcji Lambda do wywoływania modeli.
Architektura wysokiego poziomu
Poniżej znajduje się podsumowanie architektury wysokiego poziomu do korzystania z niestandardowych modeli Bedrock:
Przykładowa architektura i funkcja lambda (patrz poniższa sekcja) mogą być wykorzystywane przez funkcję Connector, taką jak ta poniżej. UWAGA: Do zabezpieczenia używanej bramy API można użyć różnych metod uwierzytelniania, takich jak OAuth2.0.
Przykładowa funkcja lambda
Poniżej znajduje się przykładowy skrypt funkcji lambda do wywoływania niestandardowego modelu w Amazon Bedrock. Skrypt ten można wykorzystać jako punkt wyjścia do utworzenia niestandardowego wnioskowania dla niestandardowego modelu Bedrock.
``python import json import boto3 import logging logger = logging.getLogger**(name**)
def lambda_handler(event, context): print(event) brt = boto3.client(service_name='bedrock-runtime') event_dict = json.loads(event['body']) prompt = event_dict['prompt']
} ```
Rozważania dotyczące skali
Głównym przypadkiem wykorzystania niestandardowych modeli jest sytuacja, w której wymagane są dane szkoleniowe poza Tulip we własnej dzierżawie AWS. Dane te mogą obejmować dane łańcucha dostaw, dane dotyczące zamówień i inne źródła danych, które wykraczają poza podstawową produkcję. Stwarza to możliwość wykorzystania niestandardowych modeli w Amazon Bedrock, ale ważne jest, aby mieć strategię skalowania, w tym wywoływania niestandardowych modeli, dostrajania modeli i nie tylko.
Następne kroki
Aby uzyskać więcej informacji, zapoznaj się z Amazon Well-Architected Framework. Jest to świetne źródło wiedzy na temat optymalnych metod wywoływania modeli i strategii wnioskowania na dużą skalę