아마존 베드락 통합

다양한 기타 부조종사 옵션을 위한 외부 모델 활성화

목적

이 문서에서는 API 게이트웨이를 통해 사용자 지정 기반 모델과 엔드포인트를 사용하는 방법과 모델을 호출하기 위한 간단한 람다 함수를 안내합니다.

상위 수준 아키텍처

다음은 고객 테넌트 사용자 지정 베드락 모델을 사용하기 위한 높은 수준의 아키텍처에 대한 요약입니다.

예시 아키텍처와 람다 함수(아래 섹션 참조)는 아래와 같은 커넥터 함수에서 활용할 수 있습니다. 참고: OAuth2.0과 같은 다양한 인증 방법을 사용하여 사용되는 API 게이트웨이를 보호할 수 있습니다.

람다 함수 예시

다음은 Amazon Bedrock에서 사용자 지정 모델을 호출하는 람다 함수의 예제 스크립트입니다. 이 스크립트는 사용자 지정 Bedrock 모델에 대한 사용자 지정 추론을 생성하기 위한 시작점으로 사용할 수 있습니다.

def lambda\_handler(event, context): print(event) brt = boto3.client(service\_name='bedrock-runtime') event\_dict = json.loads(event['body']) prompt = event\_dict['prompt']

body = json.dumps({"prompt": f"\n\nHuman:"+prompt+" \n\n어시스턴트:","max_tokens_to_sample": 300,"temperature": 0.1,"top_p": 0.9,})modelId = 'anthropic.claude-v2'accept = 'application/json'contentType = 'application/json'response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType)response_body = json.loads(response.get('body').read())completion_output = response_body.get('completion')return {"statusCode": 200,"body": completion_output

}```


## 규모 고려 사항


사용자 정의 모델을 활용하는 대표적인 사례는 AWS의 자체 테넌트에서 Tulip 외부의 학습 데이터가 필요한 경우입니다. 이 데이터에는 공급망 데이터, 조달 데이터 및 핵심 제조를 넘어서는 기타 데이터 소스가 포함될 수 있습니다. 이렇게 하면 Amazon Bedrock에서 사용자 정의 모델을 활용할 수 있는 기회가 생기지만, 사용자 정의 모델 호출, 모델 튜닝 등을 포함한 확장 전략을 수립하는 것이 중요합니다.


## 다음 단계


더 자세히 알아보려면 [*Amazon Well-Architected 프레임워크를*](https://wa.aws.amazon.com/wellarchitected/2020-07-02T19-33-23/index.en.html) 확인하세요. 이는 대규모 모델 호출 및 추론 전략을 위한 최적의 방법을 이해하는 데 유용한 리소스입니다.