Amazon Bedrock integráció

Külső modellek engedélyezése számos egyéb más másodpilóta opcióhoz

Cél

Ez a cikk azt mutatja be, hogyan használhatunk egyéni bedrock modelleket és végpontokat API Gateway-n keresztül, valamint egy egyszerű Lambda függvényt a modellek meghívásához.

Magas szintű architektúra

Az alábbiakban összefoglaljuk az ügyfél-bérlő egyéni Bedrock-modellek használatának magas szintű architektúráját:

A példaarchitektúrát és a lambda függvényt (lásd az alábbi részt) egy olyan csatlakozófüggvénnyel lehet kihasználni, mint amilyen az alábbi. MEGJEGYZÉS: A használt API-átjáró védelmére különféle hitelesítési módszerek, például az OAuth2.0 használhatók.

Példa Lambda-funkció

Az alábbiakban egy lambda függvény példaszkriptje látható egy egyéni modell meghívására az Amazon Bedrockban. Ez a szkript kiindulópontként használható egy egyéni következtetés létrehozásához egy egyéni Bedrock modellhez.

def lambda\_handler(event, context): print(event) brt = boto3.client(service\_name='bedrock-runtime') event\_dict = json.loads(event['body']) prompt = event\_dict['prompt']

body = json.dumps({ "prompt": f"\n\nHuman: "+prompt+" \n\nAssistant:", "max_tokens_to_sample": 300, "temperature": 0.1, "top_p": 0.9, }) modelId = 'anthropic.claude-v2' accept = 'application/json' contentType = 'application/json' response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType) response_body = json.loads(response.get('body').read()) completion_output = response_body.get('completion') return { "statusCode": 200, "body": completion_output

} ```


## Méretezési megfontolások


Az egyéni modellek kihasználásának elsődleges esete az, amikor a Tulipen kívül, az AWS saját bérlőjén lévő Tulip rendszeren kívüli képzési adatokra van szüksége. Ezek az adatok lehetnek ellátási láncadatok, beszerzési adatok és egyéb, az alapvető gyártáson túlmutató adatforrások. Ez lehetőséget teremt az Amazon Bedrockban az egyéni modellek kihasználására, de elengedhetetlen, hogy legyen egy skálázási stratégia, amely magában foglalja az egyéni modellek meghívását, a modellhangolást és egyebeket.


## Következő lépések


További olvasmányokért tekintse meg az [*Amazon Well-Architected Frameworket*](https://wa.aws.amazon.com/wellarchitected/2020-07-02T19-33-23/index.en.html). Ez egy nagyszerű forrás a modellek meghívásának optimális módszereinek és a következtetési stratégiának a skálán történő megértéséhez.