MENU
    Интеграция с Amazon Bedrock
    • 28 Aug 2024
    • 1 Минута для чтения
    • Авторы

    Интеграция с Amazon Bedrock


    Вводный текст

    Включите внешние модели для множества других вариантов второго пилота

    Цель

    В этой статье рассказывается о том, как использовать пользовательские модели bedrock и конечные точки через API Gateway, а также простую функцию Lambda для вызова моделей.

    Архитектура высокого уровня

    Ниже приводится краткое описание архитектуры высокого уровня для использования пользовательских моделей Bedrock на основе клиент-арендатор:image.png

    Пример архитектуры и лямбда-функции (см. раздел ниже) может быть использован с помощью функции Connector, такой как приведенная ниже. ПРИМЕЧАНИЕ: Для защиты используемого API-шлюза можно использовать различные методы аутентификации, например OAuth2.0.image.png

    Пример лямбда-функции

    Ниже приведен пример сценария лямбда-функции для вызова пользовательской модели в Amazon Bedrock. Этот сценарий можно использовать в качестве отправной точки для создания пользовательского вывода для пользовательской модели Bedrock.

    ``python import json import boto3 import logging logger = logging.getLogger**(name**)

    def lambda_handler(event, context): print(event) brt = boto3.client(service_name='bedrock-runtime') event_dict = json.loads(event['body']) prompt = event_dict['prompt']

    body = json.dumps({"prompt": f"\n\nHuman: "+prompt+" \n\nАссистент:", "max_tokens_to_sample": 300, "temperature": 0.1, "top_p": 0.9, }) modelId = 'anthropic.claude-v2' accept = 'application/json' contentType = 'application/json' response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType) response_body = json.loads(response.get('body').read()) completion_output = response_body.get('completion') return { "statusCode": 200, "body": completion_output
    Plain text

    } ```

    Соображения масштаба

    Основной случай использования пользовательских моделей - это когда вам требуются данные для обучения за пределами Tulip на вашем собственном арендаторе AWS. Эти данные могут включать данные о цепочке поставок, закупках и другие источники данных, выходящие за рамки основного производства. Это создает возможность для использования пользовательских моделей в Amazon Bedrock, но очень важно иметь стратегию масштабирования, включая вызов пользовательских моделей, настройку моделей и многое другое.

    Следующие шаги

    Для дальнейшего чтения ознакомьтесь с Amazon Well-Architected Framework. Это отличный ресурс для понимания оптимальных методов вызова моделей и стратегии выводов в масштабе


    Была ли эта статья полезной?