Integración con Amazon Bedrock

Habilitar modelos externos para otras opciones de copiloto

Propósito

Este artículo explica cómo utilizar modelos bedrock personalizados y puntos finales a través de API Gateway y una función Lambda simple para invocar los modelos.

Arquitectura de alto nivel

A continuación se muestra un resumen de una arquitectura de alto nivel para utilizar modelos Bedrock personalizados cliente-arrendatario:

La arquitectura de ejemplo y la función lambda (Ver sección inferior) pueden ser aprovechadas por una función Connector como la que se muestra a continuación. NOTA: Se puede utilizar una variedad de métodos de autenticación como OAuth2.0 para asegurar el API Gateway utilizado.

Ejemplo de función lambda

A continuación se muestra un script de ejemplo de una función lambda para invocar un modelo personalizado en Amazon Bedrock. Este script puede utilizarse como punto de partida para crear una inferencia personalizada para un modelo personalizado de Bedrock.

def lambda\_handler(event, context): print(event) brt = boto3.client(service\_name='bedrock-runtime') event\_dict = json.loads(event['body']) prompt = event\_dict['prompt']

body = json.dumps({"prompt": f"\nhumano: "+prompt+" \Asistente:", "max_tokens_to_sample": 300, "temperature": 0.1, "top_p": 0.9, }) modelId = 'anthropic.claude-v2' accept = 'application/json' contentType = 'application/json' response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType) response_body = json.loads(response.get('body').read()) completion_output = response_body.get('completion') return {"statusCode": 200, "body": completion_output

} ```


## Consideraciones a escala


Un caso principal para aprovechar los modelos personalizados es cuando necesita datos de entrenamiento fuera de Tulip en su propio inquilino de AWS. Estos datos pueden incluir datos de la cadena de suministro, datos de aprovisionamiento y otras fuentes de datos que se extienden más allá de la fabricación central. Esto crea una oportunidad para aprovechar los modelos personalizados en Amazon Bedrock, pero es vital contar con una estrategia de escala que incluya la invocación de modelos personalizados, el ajuste de modelos, etc.


## Próximos pasos


Para obtener más información, consulte [*Amazon Well-Architected Framework*](https://wa.aws.amazon.com/wellarchitected/2020-07-02T19-33-23/index.en.html). Se trata de un gran recurso para comprender los métodos óptimos para invocar modelos y la estrategia de inferencia a escala.