- Распечатать
Включите внешние модели для множества других вариантов второго пилота
Цель
В этой статье рассказывается о том, как использовать пользовательские модели bedrock и конечные точки через API Gateway, а также простую функцию Lambda для вызова моделей.
Архитектура высокого уровня
Ниже приводится краткое описание архитектуры высокого уровня для использования пользовательских моделей Bedrock на основе клиент-арендатор:
Пример архитектуры и лямбда-функции (см. раздел ниже) может быть использован с помощью функции Connector, такой как приведенная ниже. ПРИМЕЧАНИЕ: Для защиты используемого API-шлюза можно использовать различные методы аутентификации, например OAuth2.0.
Пример лямбда-функции
Ниже приведен пример сценария лямбда-функции для вызова пользовательской модели в Amazon Bedrock. Этот сценарий можно использовать в качестве отправной точки для создания пользовательского вывода для пользовательской модели Bedrock.
``python import json import boto3 import logging logger = logging.getLogger**(name**)
def lambda_handler(event, context): print(event) brt = boto3.client(service_name='bedrock-runtime') event_dict = json.loads(event['body']) prompt = event_dict['prompt']
} ```
Соображения масштаба
Основной случай использования пользовательских моделей - это когда вам требуются данные для обучения за пределами Tulip на вашем собственном арендаторе AWS. Эти данные могут включать данные о цепочке поставок, закупках и другие источники данных, выходящие за рамки основного производства. Это создает возможность для использования пользовательских моделей в Amazon Bedrock, но очень важно иметь стратегию масштабирования, включая вызов пользовательских моделей, настройку моделей и многое другое.
Следующие шаги
Для дальнейшего чтения ознакомьтесь с Amazon Well-Architected Framework. Это отличный ресурс для понимания оптимальных методов вызова моделей и стратегии выводов в масштабе