Integração com o Amazon Bedrock

Habilite modelos externos para uma variedade de outras opções de copiloto

Objetivo

Este artigo explica como usar modelos e pontos de extremidade personalizados do Bedrock via API Gateway e uma função Lambda simples para invocar os modelos.

Arquitetura de alto nível

Abaixo está um resumo de uma arquitetura de alto nível para o uso de modelos Bedrock personalizados para clientes e locatários:

A arquitetura de exemplo e a função lambda (veja a seção abaixo) podem ser aproveitadas por uma função Connector, como a que está abaixo. OBSERVAÇÃO: vários métodos de autenticação, como o OAuth2.0, podem ser usados para proteger o API Gateway usado.

Exemplo de função lambda

Abaixo está um script de exemplo de uma função lambda para invocar um modelo personalizado no Amazon Bedrock. Esse script pode ser usado como ponto de partida para criar uma inferência personalizada para um modelo personalizado do Bedrock.

def lambda\_handler(event, context): print(event) brt = boto3.client(service\_name='bedrock-runtime') event\_dict = json.loads(event['body']) prompt = event\_dict['prompt']

body = json.dumps({ "prompt": f"\n\nHuman: "+prompt+" \n\nAssistant:", "max_tokens_to_sample": 300, "temperature" (temperatura): 0.1, "top_p": 0.9, }) modelId = 'anthropic.claude-v2' accept = 'application/json' contentType = 'application/json' response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType) response_body = json.loads(response.get('body').read()) completion_output = response_body.get('completion') return { "statusCode": 200, "body": completion_output

} ```


## Considerações sobre escala


Um caso importante para aproveitar os modelos personalizados é quando você precisa de dados de treinamento fora da Tulip em seu próprio locatário da AWS. Esses dados podem incluir dados da cadeia de suprimentos, dados de compras e outras fontes de dados que vão além da produção principal. Isso cria uma oportunidade para aproveitar os modelos personalizados no Amazon Bedrock, mas é fundamental ter uma estratégia de escala que inclua a invocação de modelos personalizados, ajuste de modelos e muito mais.


## Próximas etapas


Para ler mais, consulte o [*Amazon Well-Architected Framework*](https://wa.aws.amazon.com/wellarchitected/2020-07-02T19-33-23/index.en.html). Esse é um ótimo recurso para entender os métodos ideais para invocar modelos e a estratégia de inferência em escala