☑️ Keynote

세션명	aisera and AWS Breaking boundaries _ A dive into enterprise agentic AI
세션코드	AIM274-S
발표일자	2024.12.04
강연자	Utkarsh Contractor
키워드	1. 에이전틱 AI 2. 도메인 특화 LLM 3. 작업 에이전트(Task Agent) 4. 멀티 클라우드 5. AWS Gen AI Competency 6. 데이터 암호화 및 SSO 7. 고객 성공 사례 8. AI 코파일럿 9. 지속 가능한 AI
핵심 내용	Karsh의 에이전틱 AI 플랫폼은 기업의 업무 효율성을 극대화하고, 고객 만족도를 높이는 데 초점을 맞춘 AI 솔루션입니다. 이 플랫폼은 AWS와의 긴밀한 협력을 통해 개발되었으며, 다양한 도메인 특화 LLM과 작업 에이전트를 활용하여 IT, HR, 금융 등 다양한 분야에서 활용될 수 있습니다.

1. 소개 및 회사 개요

이 강연은 Karsh라는 VP가 발표한 내용으로, 에이전틱 AI라는 플랫폼을 제공하는 회사의 비즈니스 모델과 솔루션을 소개합니다.

이 회사는 300명 이상의 직원을 보유한 스타트업이며, AWS와 협력하여 Generative AI와 Agentic AI 솔루션을 기업에 제공합니다.

주요 제품으로는 AI 코파일럿과 에이전트 어시스트가 있으며, 각각 기업 직원과 고객을 위한 효율적인 지원을 제공합니다.

2. 에이전틱 AI 플랫폼

에이전틱 AI는 서비스 데스크와 같은 여러 엔터프라이즈 응용 프로그램을 구축하는 데 사용되는 AI 플랫폼입니다.
이 플랫폼은 다양한 **도메인(IT, HR, 금융 등)**에서 바로 사용할 수 있는 쉽게 배포 가능한 경험을 제공합니다.
- AI 코파일럿 제품은 직원과 고객에게 자동화된 지원을 제공.
- 에이전트 어시스트는 고객 지원 에이전트에게 컨텍스트 기반 정보를 제공하여 문제 해결을 돕습니다.

3. 기술적 차별화 및 핵심 기능

이 회사의 AI 플랫폼은 다음과 같은 차별화된 기술과 기능을 제공합니다.
- 멀티 클라우드 배포 가능, 고객의 클라우드 환경에 맞춤 운영 지원
- 70억 파라미터 기본 모델을 사용하여 도메인 특화 대형 언어 모델(LLM) 제공
- 작은 언어 모델(1~8억 파라미터) 기반의 작업 에이전트로 효율성 증대 및 비용 절감

4. 에이전틱 AI의 기업 적용 사례

에이전틱 AI는 도메인별 에이전트와 작업별 에이전트를 결합하여 각 비즈니스 부문에서 다양한 사용 사례를 해결합니다.
- HR: PTO 신청 및 급여 정보 관리 자동화
- IT: 비밀번호 리셋 등 업무 처리
- 여러 에이전트가 협업하여 복잡한 작업 효율적으로 처리

5. AWS와의 파트너십

이 회사는 AWS의 주요 서비스를 활용하여 플랫폼의 성능과 유연성을 강화합니다.
- S3 버킷과 오픈 서치로 데이터 관리
- 스테이지 메이커를 통해 모델 훈련
- AWS Connect를 통합하여 콜센터 환경에서도 AI 지원 제공
- Gen AI Competency Program, Conversational AI Competency Program 참여로 AWS와 협력 강화

6. 보안 및 개인정보 보호

보안은 이 회사의 핵심 가치 중 하나입니다.
- 모든 데이터 암호화 및 모델 훈련에 고객 데이터 미사용
- 고객 데이터는 합성 데이터로 대체하여 처리
- **싱글 사인온(SSO)**과 감사 및 추적 가능한 데이터 처리 제공
- 온프레미스 및 VPC 환경에서도 안전한 AI 실행 지원