Intégration d'Amazon Bedrock

Permettre l'utilisation de modèles externes pour une variété d'autres options de copilotage

Objectif

Cet article explique comment utiliser des modèles bedrock personnalisés et des points de terminaison via API Gateway et une simple fonction Lambda pour invoquer les modèles.

Architecture de haut niveau

Vous trouverez ci-dessous un résumé d'une architecture de haut niveau pour l'utilisation des modèles Bedrock personnalisés client-locataire :

L'exemple d'architecture et de fonction Lambda (voir la section ci-dessous) peut être exploité par une fonction Connecteur telle que celle ci-dessous. NOTE : Une variété de méthodes d'authentification telles que OAuth2.0 peut être utilisée pour sécuriser la passerelle API utilisée.

Exemple de fonction Lambda

Vous trouverez ci-dessous un exemple de script d'une fonction lambda pour invoquer un modèle personnalisé dans Amazon Bedrock. Ce script peut être utilisé comme point de départ pour créer une inférence personnalisée pour un modèle Bedrock personnalisé.

def lambda\_handler(event, context) : print(event) brt = boto3.client(service\_name='bedrock-runtime') event\_dict = json.loads(event['body']) prompt = event\_dict['prompt']

body = json.dumps({"prompt" : f"\NHuman : "+prompt+" \NAssistant :", "max_tokens_to_sample" : 300, "temperature" : 0.1, "top_p" : 0.9, }) modelId = 'anthropic.claude-v2' accept = 'application/json' contentType = 'application/json' response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType) response_body = json.loads(response.get('body').read()) completion_output = response_body.get('completion') return { "statusCode" : 200, "body" : completion_output

} ```


## Considérations sur l'échelle


L'un des principaux cas d'utilisation de modèles personnalisés est celui où vous avez besoin de données d'entraînement en dehors de Tulip, sur votre propre locataire d'AWS. Ces données peuvent inclure les données de la chaîne d'approvisionnement, les données d'achat et d'autres sources de données qui s'étendent au-delà de la fabrication de base. Cela crée une opportunité d'exploiter des modèles personnalisés dans Amazon Bedrock, mais il est vital d'avoir une stratégie pour l'échelle, y compris l'invocation de modèles personnalisés, l'ajustement du modèle, et plus encore.


## Prochaines étapes


Pour plus d'informations, veuillez consulter l'[*Amazon Well-Architected Framework*](https://wa.aws.amazon.com/wellarchitected/2020-07-02T19-33-23/index.en.html). Il s'agit d'une excellente ressource pour comprendre les méthodes optimales d'invocation des modèles et la stratégie d'inférence à l'échelle.