안녕하세요, AI 서비스 & 솔루션 프로바이더 베스핀글로벌입니다.
AWS re:Invent 2025의 [What’s new in search, observability, and vector databases with OpenSearch]을 확인해보시기 바랍니다.

What’s new in search, observability, and vector databases with OpenSearch

OpenSearch 기반의 차세대 검색·분석·AI 활용을 위한 기술 혁신과 아키텍처 발전 방향에 대해 소개합니다.

1. Advancing search & analytics with OpenSearch

1-1. OpenSearch의 역할 및 활용

• OpenSearch 개요, 주요 사용 사례(검색, 분석, Observability, AI Search)
• 오픈소스 현황(기여, 다운로드, 커뮤니티 성장)
• 엔진 성능 개선(11× 검색 성능 향상)

2. OpenSearch ingestion & serverless pipeline

2-1. 서버리스 기반 데이터 수집 파이프라인

• OpenSearch Ingestion Service(Data Prepper 기반) 소개
• 서버리스 자동 확장, 다양한 소스(S3, RDS, Aurora, Dynamo, Confluent 등) 지원
• Lambda Processor 활용한 사용자 정의 데이터 처리
• Batch AI inference(임베딩 생성) 지원

3. Observability & Log analytics with PPL - 로그 분석 기능(PPL, Dashboard 강화)

3-1. Discover & PPL 기반 분석

• OpenSearch Dashboards UI가 업그레이드되어, PPL(Pipe Processing Language) 기반 검색 및 시각화 강화
• 로그 필터링, 필드 추출(JSON), Join, 집계 등을 단일 DSL로 수행 가능
• 복잡한 로그 탐색을 빠르게 수행해 MTTR(Mean Time To Recovery) 단축

3-2. AI 기반 로그 요약

• LLM 기반 로그 요약(AI Summary)을 제공하여 로그 패턴, 에러 원인을 빠르게 파악 가능
• 자연어 쿼리를 입력하면 내부적으로 PPL로 변환해주는 등 분석 접근성 대폭 향상

4. Scaling vector databases & hybrid search

4-1. 벡터 검색(Embedding) 엔진 발전 

• OpenSearch는 2019년부터 벡터 검색 기능을 본격 확장하며 현재는 수백억~1조(1 trillion) 벡터 규모까지 지원
• Amazon Fraud Detector 등 AWS 내부 서비스에서도 대규모 벡터 인덱싱에 활용

4-2. 저장 방식 확장: 메모리 → 디스크 → S3 

• Disk-optimized vector mode
  • 고차원 벡터를 byte quantization으로 메모리 사용량 감소
  • 16~32× 압축
  • 2-pass 검색 방식을 통해 성능·정확도 균형 유지

• S3 Vectors (신규)
  • 벡터를 S3에 저장하고 검색 시 OpenSearch와 하이브리드로 사용
  • 저비용으로 수십억~수조 벡터 저장 가능
  • 대량 데이터 저장에 최적화되며 GPU·메모리 비용 절감 가능

4-3. GPU Indexing & Auto Optimize 

• NVIDIA와 협업하여 GPU 기반 인덱싱을 지원 → 최대 20× 빠른 인덱스 생성
• Auto Optimize 기능이 벡터 인덱싱 설정을 자동 탐색
  • Latency / Recall / Cost 기준으로 최적 조합을 추천
  • 벡터 기반 검색 도입 비용과 난이도를 크게 낮춤

5. Agentic Search & MCP integration

5-1. 에이전트 기반 검색(Agentic Search)

• 단순 RAG가 아닌, LLM이 반복적으로 계획·수행·반성하는 agentic workflow를 위한 기능 제공
• OpenSearch는 MCP 서버로서 인덱스 조회, 검색, 데이터 연동 기능 제공

5-2. 저장형 메모리(Short-term & Long-term Memory)

• 에이전트의 단기 메모리·장기 메모리를 벡터 DB(OpenSearch)에 저장 가능
• 시간이 지나면 데이터를 자동 파기하거나 보관하는 시간 관리 기능 제공

5-3. 빌트인 Agents

• Flow Agent (단일 step 처리)
• Conversational Agent (다중 turn 처리)
• Plan/Execute/Reflect Agent (심층 연구 스타일)

6. Infrastructure optimization in OpenSearch Service

6-1. 클러스터 운영 강화 

• Cluster Insights: 핫 샤드, 핫 쿼리, 성능 병목 자동 식별
• Derived Source: 원본 JSON 제거로 스토리지 40% 절감, 인덱싱 성능 20% 향상
• OR2/OM2 인스턴스: 인덱싱·검색 성능 60~70% 향상

6-2. Serverless 기능 확장

• OpenSearch Serverless가 100TB 단일 컬렉션, 22개 리전 지원
• 데이터 플레인 API에 대한 CloudTrail 로깅 지원
• 초기 비용 없이 쉽게 시작 가능하며 관리 부담 최소화

7. 마무리

• OpenSearch는 전통적인 검색 엔진을 넘어 AI 시대를 위한 검색·분석·벡터 DB·에이전트 플랫폼으로 진화하고 있습니다. 
• S3 Vector, GPU Indexing, Auto Optimize 등은 대규모 검색, RAG, 에이전트 기반 서비스 구축을 쉽게 만들어 줍니다. 
• Observability·Log Analytics 통합 기능(PPL, AI Summary)으로 운영 효율성이 대폭 향상됩니다. 
• OpenSearch Service(Serverless 포함)는 인프라 부담을 없애고 비용 효율적으로 확장할 수 있는 강력한 관리형 옵션을 제공합니다.