3. 생성형 AI 모델 플랫폼
모두가 AI를 활용하기 위해서는 안전하고 확장 가능하며 기능이 풍부한 추론 플랫폼이 필요합니다. AWS에서는 Amazon Bedrock을 통해 생성형 AI 어플리케이션을 빠르게 개발하는데 도움을 줍니다.
Bedrock을 통해 1조개 이상의 토큰을 처리하는 고객의 수가 50개가 넘는 것으로 확인됩니다.
1) Amazon Bedrock 신규 모델 출시
 Open-Weight 모델인 Google의 Gemma, MiniMax AI의 Minimax M2, MoonshotAI의 Kimi k2, NVIDIA Neotron 모델을 정식 출시하였습니다.
또한, Mistral AI의 Mistral Large 3와 Ministral 3가 Bedrock을 통해 최초 공개되었습니다.
2) Amazon Nova2 출시
 비용 최적화와 낮은 지연 시간, 최첨단 수준의 지능을 제공하는 것을 목표로 하는 Amazon 자체 FM인 Nova의 차세대 버전이 새롭게 출시하였습니다.
- Lite: 빠르고 비용 효율적인 추론 모델.
- Pro: 복합한 워크로드를 위한 가장 지능적인 모델
- Sonic: 모든 어플리케이션에서 실시간으로 인간과 유사한 대화형 AI를 구현하는 차세대 음성 모델
- Omni: 텍스트, 이미지, 비디오, 오디오를 Input으로 지원하고 텍스트와 이미지 생성을 Output으로 지원하는 멀티모탈 추론 및 이미지 생성 모델.
3) Nova Forge
  기업은 고유의 데이터를 활용하여 AI 모델을 효과적으로 사용하고자 하고 기업의 데이터를 모델에 반영하기 위해서는 “모델 구축”을 하거나, “오픈 웨이트 모델 튜닝”을 통해 자체 모델을 구현할 수 있습니다.
하지만, “모델 구축”은 많은 시간과 비용, 전문 지식을 필요로 합니다. “오픈 웨이트 모델 튜닝”은 실제 강화 학습과 미세 조정 기술을 사용하여 가중치를 조절할 수 있지만 실제로 이것의 효과는 한계가 있는 것으로 확인됩니다.
AWS 80%정도 훈련된 체크포인트 모델과 기업 고유의 데이터를 섞어 훈련하여 사용할 수 있는 모델을 Nova Forge 모델로 제공합니다. 이를 통해, 핵심적인 추론 능력을 저해하지 않으면서 기업 도메인에 대한 지식을 이해하는 모델을 만들 수 있습니다.
|
NVIDIA의 최신 GB300 NVL72 시스템으로 구동되며 가장 까다로운 AI 워크로드를 위한 최고의 컴퓨팅을 제공하는 인스턴스 타입이 출시되었습니다.
고객은 자체 데이터센터에 AWS 전용 AI 인프라를 구축하여 독점적으로 사용할 수 있는 서비스입니다.
Policy는 에이전트가 예측 가능하고 의도에 맞게 행동하도록 제어 정책을 제공합니다.
“Trust, but verify(신뢰하되 검증하라)”의 원칙에 따라 에이전트가 정확하고 적절한 행동을 하고 있는지를 파악해야 합니다.
