2024년 6월 26일 (수) 2:00 PM – 5:00 PM
Amazon Bedrock
Foundation Model(FM)을 사용하여 Generative AI 애플리케이션을 손쉽게 만들고 확장하는 완전 관리형 서비스이다.
Foundation Model(FM)
광범위한 데이터를 적용시킨 머신러닝 모델으로, 범용적인 즉, 올라운드 플레이어라고 할 수 있다.
FM은 여러 모델이 존재하며, 동작하는 방식이 모두 다르다.
Amazon Bedrock에서는 이것들을 통일시키기 위해 단일 API로 설계되어있다.
이는 RAG에도 사용이 가능하며, 에이전트 기능, 서버리스 서비스를 지원한다.
Amazon Bedrock 작동 방식
1. FM 선택
Playground를 사용하여 FM을 실험해 보고 필요에 맞는 FM을 선택
2. 그대로 사용하거나 커스터마이징
필요에 따라 FM을 Fine-tuning하면 Bedrock이 자동으로 FM을 배포
3. Prompt 전송
Bedrock API를 사용하여 모델에 prompt 보내기
4. 응답 받기
애플리케이션에서 모델 응답 받기
Foundation Model(FM) 종류
Jurassic-2 Ultra, Amazon Titan Text Premie, Command 등 여러가지가 존재하지만,
미국 인공지능 스타트업 Anthropic 사의 Claude3 사용할 예정.
BEDROCK API
InvokeModel
- 동기식호출
- 모델에서 전체 출력이 생성될 때까지 기다린다.
InvokeModelWithResponseStream
- 스트리밍 응답
- 모델에서 출력이 생성될 때 응답을 스트리밍
Converse
- 동기식호출
- Amazon Bedrock이 지원하는 모델에 일관된 인터페이스를 제공
모델에 따라서 코드 바디를 바꿀 필요가 없다.
ConverseStream
- 스트리밍 응답
- Amazon Bedrock 이 지원하는 모델에 일관된 인터페이스를 제공
모델에 따라서 코드 바디를 바꿀 필요가 없다.
GENERATIVE AI APPLICATION 구현패턴
- FM만 사용할 것이 아니라 회사의 정보도 얹어서 회사만의 모델을 만들어야겠구나 : RAG
- FM을 사용하여 모델 미세 조정 : Fine-tuning
- 모델을 가져다가 직접 만들겠다, 자신만의 모델 학습 : Continued pretraining
이런 식으로 진행될 수록 만들기 위한 복잡성, 비용, 시간, 퀄리티 증가
Prompt Engineering
What is a Prompt?
응답을 받기 위해 AI 시스템에 입력되는 텍스트
What is Prompt Engineering?
원하는 응답을 FM으로부터 얻기 위해 NLP(신경-언어 프로그래밍) 기법을 이용하여 Prompt를 만드는 기술
Why is this important?
- 모델의 행동을 세밀하고 전략적으로 제어할 수 있다.
- 원하는 응답이 나오도록 목표를 설정할 수 있다.
- 미리 응답으로 원하지 않는 것을 정의함으로써 다양한 법적, 비지니스적 문제를 완화한다.
Prompt Engineering : ZERO-SHOT
모델이 수행해야 할 작업에 대한 예제가 제공되지 않는다.
모델은 사전 훈련된 데이터와 프롬프트의 지시에만 의존해 작업을 수행한다.
Prompt Engineering : FEW-SHOT
모델에게 작업을 더 잘 이해할 수 있도록 소수의 예제를 제공한다.
Amazon Bedrock을 활용하여 상품리뷰 요약과 비디오 숏폼 만들기에 사용할 AWS 서비스
AWS LAMBDA
ELASTIC LOAD BALANCING
AMAZON TRANSCRIBE
비디오나 오디오에서 음성을 추출해서 음성을 바탕으로 텍스트를 만들어주는 서비스이다.
AWS ELEMENTAL MEDIACONVERT
영상파일의 포맷을 변환할 수도 있고 합칠 수도 있다.
합치는 기능을 사용해서 5분짜리 비디오를 3분짜리로 줄이겠다는 것.
ReviewSummary Architecture
1. 사용자가 Prompt가 담긴 Request를 보낸다.
2. ALB는 Request를 받아 URL을 확인하고 ReviewSummary Lambda함수로 Request를 포워딩.
3. ReviewSummaryLambda함수는 Request에서 Prompt를 받아 Bedrock에
invoke_model API Call을 수행하고 Bedrock으로 부터 Response를 받으면 결과를 사용자에게 전달한다.
VideoShortform Architecture
1. 사용자가 Video 저장 위치가 담긴 Request를 보낸다.
2. ALB는 Request를 받아 URL을 확인하고 VideoShortform
Lambda 함수로 Request를 포워딩.
3. VideoShortform Lambda함수는 Video에서 자막을
추출하기위해 Amazon Transcribe를 호출한다.
4. 추출된 자막을 분석하기 위해 Bedrock을 호출한다.
5. 분석된 자막을 기반으로 Video를 분할하고 합치기 위해 AWS Elemental MediaConvert를 호출하고 결과를 사용자에게 전달한다.
Amazon Web Servives, "AWS Workshop Studio Join hands-on events and workshops",
AWS Workshop Studio, 2008 - 2024, https://catalog.workshops.aws/
Amazon Web Servives, "AWS Builders Korea Program 클라우드 실습 A to Z",
AWS Builders Korea Program, 2024, https://kr-resources.awscloud.com/aws-builders-korea-program
