MENU
    Amazon Bedrock integráció
    • 28 Aug 2024
    • 1 Elolvasandó perc
    • Közreműködők

    Amazon Bedrock integráció


    Cikk összefoglaló

    Külső modellek engedélyezése számos egyéb más másodpilóta opcióhoz

    Cél

    Ez a cikk azt mutatja be, hogyan használhatunk egyéni bedrock modelleket és végpontokat API Gateway-n keresztül, valamint egy egyszerű Lambda függvényt a modellek meghívásához.

    Magas szintű architektúra

    Az alábbiakban összefoglaljuk az ügyfél-bérlő egyéni Bedrock-modellek használatának magas szintű architektúráját:image.png

    A példaarchitektúrát és a lambda függvényt (lásd az alábbi részt) egy olyan csatlakozófüggvénnyel lehet kihasználni, mint amilyen az alábbi. MEGJEGYZÉS: A használt API-átjáró védelmére különféle hitelesítési módszerek, például az OAuth2.0 használhatók.image.png

    Példa Lambda-funkció

    Az alábbiakban egy lambda függvény példaszkriptje látható egy egyéni modell meghívására az Amazon Bedrockban. Ez a szkript kiindulópontként használható egy egyéni következtetés létrehozásához egy egyéni Bedrock modellhez.

    def lambda\_handler(event, context): print(event) brt = boto3.client(service\_name='bedrock-runtime') event\_dict = json.loads(event['body']) prompt = event\_dict['prompt']
    Python

    body = json.dumps({ "prompt": f"\n\nHuman: "+prompt+" \n\nAssistant:", "max_tokens_to_sample": 300, "temperature": 0.1, "top_p": 0.9, }) modelId = 'anthropic.claude-v2' accept = 'application/json' contentType = 'application/json' response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType) response_body = json.loads(response.get('body').read()) completion_output = response_body.get('completion') return { "statusCode": 200, "body": completion_output

    } ```
    
    
    ## Méretezési megfontolások
    
    
    Az egyéni modellek kihasználásának elsődleges esete az, amikor a Tulipen kívül, az AWS saját bérlőjén lévő Tulip rendszeren kívüli képzési adatokra van szüksége. Ezek az adatok lehetnek ellátási láncadatok, beszerzési adatok és egyéb, az alapvető gyártáson túlmutató adatforrások. Ez lehetőséget teremt az Amazon Bedrockban az egyéni modellek kihasználására, de elengedhetetlen, hogy legyen egy skálázási stratégia, amely magában foglalja az egyéni modellek meghívását, a modellhangolást és egyebeket.
    
    
    ## Következő lépések
    
    
    További olvasmányokért tekintse meg az [*Amazon Well-Architected Frameworket*](https://wa.aws.amazon.com/wellarchitected/2020-07-02T19-33-23/index.en.html). Ez egy nagyszerű forrás a modellek meghívásának optimális módszereinek és a következtetési stratégiának a skálán történő megértéséhez.
    Plain text

    Hasznos volt ez a cikk?