Integrazione di Amazon Bedrock

Abilitazione di modelli esterni per una varietà di altre opzioni di copilota

Scopo

Questo articolo spiega come utilizzare modelli ed endpoint bedrock personalizzati tramite API Gateway e una semplice funzione Lambda per invocare i modelli.

Architettura di alto livello

Di seguito viene presentata un'architettura di alto livello per l'utilizzo di modelli Bedrock personalizzati per i clienti-tenant:

L'architettura di esempio e la funzione lambda (vedere la sezione sottostante) possono essere sfruttate da una funzione Connector come quella riportata di seguito. NOTA: È possibile utilizzare diversi metodi di autenticazione, come OAuth2.0, per proteggere il gateway API utilizzato.

Esempio di funzione lambda

Di seguito è riportato un esempio di script di una funzione lambda per richiamare un modello personalizzato in Amazon Bedrock. Questo script può essere usato come punto di partenza per creare un'inferenza personalizzata per un modello Bedrock personalizzato.

def lambda\_handler(event, context): print(event) brt = boto3.client(service\_name='bedrock-runtime') event\_dict = json.loads(event['body']) prompt = event\_dict['prompt']

body = json.dumps({"prompt": f"\n\nHuman: "+prompt+" \nAssistente:", "max_tokens_to_sample": 300, "temperatura": 0,1, "top_p": 0,9, }) modelId = 'anthropic.claude-v2' accept = 'application/json' contentType = 'application/json' response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType) response_body = json.loads(response.get('body').read()) completion_output = response_body.get('completion') return { "statusCode": 200, "body": completion_output

} ```


## Considerazioni sulla scala


Un caso privilegiato di utilizzo di modelli personalizzati è quello in cui si richiedono dati di addestramento al di fuori di Tulip sul proprio tenant di AWS. Questi dati possono includere i dati della catena di fornitura, i dati di approvvigionamento e altre fonti di dati che vanno oltre la produzione principale. Questo crea un'opportunità per sfruttare i modelli personalizzati in Amazon Bedrock, ma è fondamentale avere una strategia di scala che includa l'invocazione di modelli personalizzati, la messa a punto dei modelli e altro ancora.


## I prossimi passi


Per ulteriori informazioni, consultate l'[*Amazon Well-Architected Framework*](https://wa.aws.amazon.com/wellarchitected/2020-07-02T19-33-23/index.en.html). Si tratta di un'ottima risorsa per comprendere i metodi ottimali per invocare i modelli e la strategia di inferenza in scala.