Интеграция с Amazon Bedrock

Включите внешние модели для множества других вариантов второго пилота

Цель

В этой статье рассказывается о том, как использовать пользовательские модели bedrock и конечные точки через API Gateway, а также простую функцию Lambda для вызова моделей.

Архитектура высокого уровня

Ниже приводится краткое описание архитектуры высокого уровня для использования пользовательских моделей Bedrock на основе клиент-арендатор:

Пример архитектуры и лямбда-функции (см. раздел ниже) может быть использован с помощью функции Connector, такой как приведенная ниже. ПРИМЕЧАНИЕ: Для защиты используемого API-шлюза можно использовать различные методы аутентификации, например OAuth2.0.

Пример лямбда-функции

Ниже приведен пример сценария лямбда-функции для вызова пользовательской модели в Amazon Bedrock. Этот сценарий можно использовать в качестве отправной точки для создания пользовательского вывода для пользовательской модели Bedrock.

``python import json import boto3 import logging logger = logging.getLogger**(name**)

def lambda_handler(event, context): print(event) brt = boto3.client(service_name='bedrock-runtime') event_dict = json.loads(event['body']) prompt = event_dict['prompt']

body = json.dumps({"prompt": f"\n\nHuman: "+prompt+" \n\nАссистент:", "max_tokens_to_sample": 300, "temperature": 0.1, "top_p": 0.9, }) modelId = 'anthropic.claude-v2' accept = 'application/json' contentType = 'application/json' response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType) response_body = json.loads(response.get('body').read()) completion_output = response_body.get('completion') return { "statusCode": 200, "body": completion_output

} ```

Соображения масштаба

Основной случай использования пользовательских моделей - это когда вам требуются данные для обучения за пределами Tulip на вашем собственном арендаторе AWS. Эти данные могут включать данные о цепочке поставок, закупках и другие источники данных, выходящие за рамки основного производства. Это создает возможность для использования пользовательских моделей в Amazon Bedrock, но очень важно иметь стратегию масштабирования, включая вызов пользовательских моделей, настройку моделей и многое другое.

Следующие шаги

Для дальнейшего чтения ознакомьтесь с Amazon Well-Architected Framework. Это отличный ресурс для понимания оптимальных методов вызова моделей и стратегии выводов в масштабе