MENU
    Integracja z Amazon Bedrock
    • 28 Aug 2024
    • 1 Minuta do przeczytania
    • Współtwórcy

    Integracja z Amazon Bedrock


    Streszczenie artykułu

    Włącz zewnętrzne modele dla wielu innych opcji pilota

    Cel

    W tym artykule omówiono sposób korzystania z niestandardowych modeli i punktów końcowych Bedrock za pośrednictwem API Gateway oraz prostej funkcji Lambda do wywoływania modeli.

    Architektura wysokiego poziomu

    Poniżej znajduje się podsumowanie architektury wysokiego poziomu do korzystania z niestandardowych modeli Bedrock:image.png

    Przykładowa architektura i funkcja lambda (patrz poniższa sekcja) mogą być wykorzystywane przez funkcję Connector, taką jak ta poniżej. UWAGA: Do zabezpieczenia używanej bramy API można użyć różnych metod uwierzytelniania, takich jak OAuth2.0.image.png

    Przykładowa funkcja lambda

    Poniżej znajduje się przykładowy skrypt funkcji lambda do wywoływania niestandardowego modelu w Amazon Bedrock. Skrypt ten można wykorzystać jako punkt wyjścia do utworzenia niestandardowego wnioskowania dla niestandardowego modelu Bedrock.

    ``python import json import boto3 import logging logger = logging.getLogger**(name**)

    def lambda_handler(event, context): print(event) brt = boto3.client(service_name='bedrock-runtime') event_dict = json.loads(event['body']) prompt = event_dict['prompt']

    body = json.dumps({"prompt": f"\n\nHuman: "+prompt+" \n\nAssistant:", "max_tokens_to_sample": 300, "temperature": 0.1, "top_p": 0.9, }) modelId = "anthropic.claude-v2" accept = "application/json" contentType = "application/json" response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType) response_body = json.loads(response.get('body').read()) completion_output = response_body.get('completion') return { "statusCode": 200, "body": completion_output
    Plain text

    } ```

    Rozważania dotyczące skali

    Głównym przypadkiem wykorzystania niestandardowych modeli jest sytuacja, w której wymagane są dane szkoleniowe poza Tulip we własnej dzierżawie AWS. Dane te mogą obejmować dane łańcucha dostaw, dane dotyczące zamówień i inne źródła danych, które wykraczają poza podstawową produkcję. Stwarza to możliwość wykorzystania niestandardowych modeli w Amazon Bedrock, ale ważne jest, aby mieć strategię skalowania, w tym wywoływania niestandardowych modeli, dostrajania modeli i nie tylko.

    Następne kroki

    Aby uzyskać więcej informacji, zapoznaj się z Amazon Well-Architected Framework. Jest to świetne źródło wiedzy na temat optymalnych metod wywoływania modeli i strategii wnioskowania na dużą skalę


    Czy ten artykuł był pomocny?