2024년 6월 27일 (목) 9:00 AM – 12:00 PM
빅데이터의 확산에 따라 무한대에 가까운
컴퓨팅 리소스가 생겼으며, 머신러닝 기술도 혁신적으로 발전하고 있다.
생성형 AI
생성형 AI는 대화(가이드, 조언), 이야기, 이미지, 동영상, 음악 등 새로운 콘텐츠와 아이디어를 생성한다.
즉, 인간의 창의성을 증진시키고, 혁신을 이끌며, 다양한 유형의 정보를 종합하는 데 사용이 가능하다.
방대한 데이터에서 사전 훈련된 대규모 언어 모델에 의해 구동되며,
일반적으로 이를 파운데이션 모델(Foundation Model)이라고 정의한다.
머신러닝 → 딥러닝 → 파운데이션 모델로 진화하며,
생성형 AI도 다양하고 복잡한 입력 데이터를 처리하여 더욱 다양하고 복잡한 출력을 제공해 준다.
전통적인 머신러닝 모델은 머신러닝 모델이 여러 가지 있고, 해당 모델에 맞는 작업만이 가능했다.
하지만 파운데이션 모델은 하나의 파운데이션 모델로 다양한 작업이 가능하다.
생성형 AI로 비즈니스 혁신하기
- 새로운 경험 : 고객과 직원이 상호작용하는 혁신적이고 매력적인 새로운 방식 창출
- 생산성 향상 : 모든 비즈니스에 걸쳐 생산성을 대폭 향상
- 인사이트 : 모든 기업 정보로부터 통찰력과 명확한 답변을 추출하여 더 빠르고 나은 의사결정 지원
- 창의성 : 대화, 이야기, 이미지, 동영상, 음악 등 새로운 콘텐츠와 아이디어 창출
생성형 AI 고객들이 요구하는 항목
- 우리 회사 애플리케이션에 가장 어울리는 파운데이션 모델은 무엇일까?
- 어떤 방식으로 구성해야 빠르게 개발할 수 있을까?
- 내 데이터를 안전하게 유지할 수 있는 방법은?
이를 해결하기 위에 AWS에서 Amazon Bedrock 출시
RAG(검색 증강 생성)
FM은 광범위한 범위를 다루기 때문에, 특정 도메인을 다루는 작업 등에는 특화되지 않으므로, RAG가 등장했다.
- 검색 : 사용자 쿼리를 기반으로 외부 지식저장소 또는 데이터 소스에서 관련 콘텐츠를 조회
- 증강 : 검색된 관련 정보를 사용자 프롬프트에 추가하여 파운데이션 모델의 입력으로 사용
- 생성 : 증강된 프롬프트에 기반한 파운데이션 모델의 응답
아래의 과정에서,
1. Prompt = 정답(Small Document) + 질문(User Question)
2. Amazon Bedrock Foundation Model
3. Generated Answer
질문의 답이 있는 문서를 찾는 기술을 RAG라고 할 수 있다.
RAG 사용 사례
콘텐츠 품질 향상
예: 잘못된 응답을 줄이고 기업 데이터를 포함한 최신 지식과 연결
챗봇 및 질의응답
예: 실시간 데이터와 통합하여 챗봇 기능 강화
개인화 검색
예: 사용자의 이전 검색 기록 및 페르소나를 기반으로 검색 수행
실시간 데이터 요약
예: 데이터베이스 또는 API 호출에서 트랜잭션 데이터 검색 및 요약
검색 유형
규칙 기반
문서와 같은 구조화되지 않은 비정형 데이터 가져오기
- 예: 키워드 검색
구조화된 데이터
데이터베이스 또는 API에서 트랜잭션 검색
- 예: Select customers from All_orders where order == ‘XYZ’ 0.89 -0.02 -0.53 0.95 0.17 -0.38
시맨틱 검색
텍스트 임베딩을 기반으로 관련 문서 가져오기
- 예: 서울 → 한강, 한옥마을, 고층건물
임베딩(embedding)
단어 간의 의미와 관계를 숫자(벡터)로 표현하는 것
- 임베딩 모델은 텍스트의
특징과 뉘앙스를 포착
- 임베딩을 사용하여 텍스트 유사성을 비교
- 다국어 텍스트 임베딩은 다양한 언어의 의미를 식별
Amazon Titan 텍스트 임베딩 모델
텍스트 입력(단어, 문장)을 유의미한 벡터(임베딩)로 변환한다.
단어 매칭보다 더 관련성이 높고 상황에 맞는 응답이 생성된다.
- 최대 토큰 수: 8,000
- Output Vectors: 1,536
- 언어 : 다국어 (25개 이상의 언어)
하이라이트
Titan 텍스트 임베딩은 25개 이상의 언어로 빠르고 비용 효율적이며 정확한 고성능의 임베딩을 제공한다.
- 텍스트 검색 작업, 의미론적 유사성 및 클러스터링에 최적화
- 시맨틱 검색 및 개인화 포함
RAG 동작 방식
데이터 수집 워크플로 : 데이터 소스 → 문서 청크 → 임베딩 모델 → 벡터 스토어
텍스트 생성 워크플로 : 사용자 → 임베딩 모델 → 임베딩 → 시맨틱 검색 → 벡터 스토어
텍스트 생성 워크플로 : 벡터 스토어 → 컨텍스트 → 프롬프트 증강
텍스트 생성 워크플로 : 사용자 → 사용자 입력 → 프롬프트 증강
텍스트 생성 워크플로 : 프롬프트 증강 → 대규모 언어 모델(LLM) → 응답
생성형 AI 애플리케이션 만들기
AWS Solutions Library
1,300가지 이상의 맞춤형 서비스, 배포 준비 완료 소프트웨어 패키지,
교육용 정보와 함께 제공되는 커스터마이징 가능한 아키텍처를 통해 비즈니스 과제를 신속히 해결한다.
사용 사례에 대한 산업 정보와 기술 솔루션을 제공한다.
1. 고객 니즈에 맞춰 설계
2. 전문가에 의해 구축, 관리
3. 더 빠른 솔루션 탐색을 위해 큐레이션 지원
4. 서비스 구현 시간 단축
생성형 AI 애플리케이션 구축의 어려움
1. 작업에 최적화된 모델을 찾기 위해 다양한 모델 실험 필요
2. 엔터프라이즈 데이터 소스에 접근하고 의미 있는 데이터 확보
3. 데이터 프라이버시와 애플리케이션 보안 유지
4. 높은 비용과 복잡한 개발 리소스의 통합 관리
생성형 AI 애플리케이션 빌더
인공지능 전문 지식 없이도 생성형 AI 애플리케이션의 개발, 신속한 실험, 배포가 용이하다.
모델 선택 & 구성 사전 구축된
커넥터를 통해 모든 모델 또는 데이터 소스에 연결 가능
빠른 실험
간단한 인터페이스를 사용하여 성능과 출력 비교 가능
프로덕션 레벨 지원
프로덕션 레벨의 보안과 확장성으로 배포 가능
확장 가능한 모듈식 아키텍처
특정 사용 사례에 맞게 솔루션 확장 및 수정 가능
AWS 생성형 AI 애플리케이션 빌더 작동 방식
1. CloudFormation 템플릿 배포 및 구성
2. 배포 대시보드에 액세스 하여 사용 사례 생성
3. LLM을 애플리케이션 선택하고 배포
4. 데이터 소스와 연결
배포 대시보드 아키텍처
대시보드를 통해 고객은 LLM을 활용하여 다양한 생성형 AI/ML 워크로드를 신속하게 실험하고 반복 배포할 수 있다.
챗봇 아키텍처
새로운 또는 기존 애플리케이션에 생성형 AI를 사용한 자연어 인터페이스를 추가하여 더 풍부한 고객 경험을 제공한다.
Amazon Web Servives, "AWS Workshop Studio Join hands-on events and workshops",
AWS Workshop Studio, 2008 - 2024, https://catalog.workshops.aws/
Amazon Web Servives, "AWS Builders Korea Program 클라우드 실습 A to Z",
AWS Builders Korea Program, 2024, https://kr-resources.awscloud.com/aws-builders-korea-program
