안녕하세요, AI 서비스 & 솔루션 프로바이더 베스핀글로벌입니다.
AWS re:Invent 2025의 [AWS storage beyond data boundaries: Building the data foundation]을 확인해보시기 바랍니다.

☑️ Keynote

세션명	AWS storage beyond data boundaries: Building the data foundation
세션코드	INV215
발표일자	2025.12.02
강연자	Andy Warfield
키워드	1. Metal Volume (메탈 볼륨) 2. S3 Express One Zone 3. S3 Tables 4. S3 Vectors 5. DLWKC Consistency 6. S3 Inventory Table (관리형 메타데이터 레이)
핵심 내용 및 요약	ㆍS3의 고밀도 스토리지 한계를 해결하기 위해 Nitro 기반 메탈 볼륨을 도입해 네트워크 트래픽 감 60%감소, 전력 효율 10%+ 개선을 달성합니다. ㆍS3 Express One Zone에 rename·Access Point지원·200만 RPS 등을 추가하며 고성능을 확보하고 전체 비용을 85%까지 절감합니다. ㆍIceberg 기반 테이블 관리(S3 Tables)와 S3에서 직접 벡터 인덱싱·검색을 수행하는 S3 Vectors를 제공해 AI·데이터레이크 기능을 확장합니다. ㆍDLWKC Consistency로 다지역 스냅샷을 원자적으로 보장하고, Intelligent Tiering과 충돌하지 않는 비침습적 백그라운드 유지 관리를 구현합니다. ㆍS3 Inventory Table을 통해 버킷·접두사 메타데이터를 SQL로 조회하고 CloudWatch Logs·Storage Lens와 통합 관리가 가능합니다. ㆍFSx(ONTAP·ZFS·Windows)를 통해 기업 파일 시스템을 클라우드에서 동일한 방식으로 운영하며 마이그레이션 복잡성을 크게 줄입니다.

AWS storage beyond data boundaries: Building the data foundation

1. 기존 S3 구조의 한계와 이를 해결하는 인프라 혁신

1-1. 기존 S3의 한계와 Metal Volume의 등장

S3는 오랫동안 JBOD(하드디스크 묶음) 형태로 성장해 왔고, 하드디스크 밀도가 계속 높아지면서 서버 1대에 6PB 같은 초고밀도 스토리를 구성하게 되었습니니다. 그러나 고밀도화는 다음과 같은 문제를 유발했습니다.

서버 장애 시 ‘큰 덩어리’의 데이터를 이동해야 함
가용성 및 복구 속도 문제 증가
운영 부담 및 데이터 재배치 비용 증가

그래서 EC2/EBS/Nitro 팀과 협력해 새로운 스토리지 형태인 메탈 볼륨을 개발했습니다.

Metal Volume의 장점

Nitro가 드라이브 관리 작업을 대신 수행 (네트워크 트래픽 60% 감소)
전역 스토리지 플릿에서 전력 효율 10%+ 개선
고밀도 하드웨어를 사용하면서도 유연성과 안정성 확보

2. 새롭게 출시된 고성능·고수준 데이터 기능들

2-1. S3 Express One Zone의 진화

S3 Express는 고성능, 초저지연 파일 스타일 워크로드에 최적화된 영역형 S3입니다. 업데이트된 내용은 다음과 같습니다.

객체 이름 변경(rename) 지원 → 파일시스템 수준의 트랜잭션 가능
초당 200만 요청 처리
Access Point 지원
운영 효율성 향상으로 비용 85% 절감

2-2. S3 Tables & Vectors

S3 Express는 고성능, 초저지연 파일 스타일 워크로드에 최적화된 영역형 S3입니다. 업데이트된 내용은 다음과 같습니다.

S3 Tables
Iceberg 기반의 관리형 테이블 메타데이터 구조를 S3에서 직접 제공합니다. Spark, Athena 등에서 테이블 단위 관리가 가능합니다.
S3 Vectors
S3 내부에 벡터 인덱스를 저장하고, API 레벨에서 유사도 검색을 제공하는 서비스입니다. 데이터 전체를 AI 에이전트에게 보여주고, 구조화·비구조화 데이터를 모두 검색 가능하게 하고, 벡터DB 비용을 S3 수준으로 내리고 싶은 필요로 인해 출시하게 되었습니다.
기술적 혁신
- 기존 벡터DB는 인메모리 기반으로 S3에는 부적합했습니다. 그래서 S3 특성에 맞춘 구조를 재설계하였습니다.
- 벡터를 여러 ‘이웃 그룹 (neighborhood objects)’으로 나누어 s3에 저장합니다
- 쿼리 시 필요한 이웃만 빠른 스토리지로 승격합니다.
- 쿼리 동안 캐싱으로 병렬 처리량 중심 접근이 가능합니다.
- 버킷당 10,000 인덱스, 20억 벡터 저장 가능합니다.

고객사례
- GoPro : 450PB 이상의 미디어 검색
- BWM : 자연어 검색 + S3 Vector로 제품 품질 분석

2-3. 새로운 S3 Inventory Table

버킷의 모든 객체 메타데이터를 SQL로 탐색 가능합니다.

특정 버킷이나 접두사(prefix)에 포함된 객체 목록을 쉽게 조회할 수 있습니다.
저장 용량 증가 추세나 비용 분석 같은 운영 관점의 질문도 SQL로 바로 해결할 수 있습니다.
CloudWatch Logs와 통합되어 모니터링 데이터 역시 동일한 방식으로 SQL로 조회 가능합니다.

2-4. 엔터프라이즈 마이그레이션

기업이 온프레미스 데이터센터에서 클라우드로 이전할 때 가장 부담이 되는 요소가 파일 스토리지 관리라는 점에 주목했습니다. AWS는 이러한 문제를 해결하기 위해 FSx 제품군을 제공하고 있으며, FSx for NetApp ONTAP, FSx for Windows File Server, FSx for ZFS 등을 통해 기존 기업 파일러가 제공하던 동일한 관리 경험을 클라우드에서도 그대로 사용할 수 있도록 만들었습니다.

3. 백그라운드 운영·일관성·티어링 모델의 근본 개선

3-1. Multi-region Table Replication

S3 Tables를 여러 리전에 복제할 때 기존 방식은 다음과 같은 문제가 발생했습니다.

최상위 메타데이터는 먼저 복제
그 아래에 있는 세부 데이터나 객체가 아직 복제되지 않은 상태에서 쿼리가 실행되면 오류가 발생

이러한 문제를 해결하기 위해 AWS는 DLWKC Consistency라는 새로운 원자적 스냅샷 보장 모델을 도입했습니다.

DLWKC Consistency
- 모든 하위 객체가 해당 리전에 완전히 도착했는지를 검증하기 전까지 최상위 스냅샷을 외부에 게시하지 않습니다
- 복제된 테이블 스냅샷을 언제 조회하더라도 일관된 상태를 보장할 수 있도록 만들어 멀티리전 환경에서 안정적인 테이블 분석을 가능하게 합니다.

3-2. Intelligent Tiering + Table Background Maintenance

Iceberg 기반의 S3 Tables는 비지 컬렉션(GC), 컴팩션(compaction) 같은 백그라운드 정리 작업이 필요하다. 반면 S3 Intelligent Tiering은 사용하지 않는 객체를 자동으로 저비용 스토리지 계층으로 이동시키는 기능을 제공한다. 문제는 이 두 기능이 동시에 존재할 때 충돌이 발생할 수 있다.

Intelligent Tiering이 오래된 파일을 콜드 티어로 이동시킵니다.
테이블 백그라운드 작업이 해당 파일을 다시 처리하기 위해 핫 티어로 끌어올립니다.
이때 비용 증가와 성능 저하를 유발합니다.

이를 해결하기 위해 Non-intrusive background maintenance 방식을 도입했습니다.

Non-intrusive background maintenance 방식
- 테이블 백그라운드 작업이 스토리지 티어를 변경하지 않도록 설계하여, Intelligent Tiering 정책과 충돌하지 않도록 합니다.
- Iceberg의 백그라운드 관리 기능과 S3의 자동 계층화 기능이 서로 간섭 없이 안정적으로 공존할 수 있게 됩니다.