안녕하세요, Cloud&AI 매니지드 서비스 전문 기업 베스핀글로벌입니다.
AWS re:Invent 2024의 [The power of cloud network innovation]을 확인해보시기 바랍니다.

☑️ Keynote

세션명 The power of cloud network innovation
세션코드 NET201-INT
발표일자 2024.12.05
강연자 Colm MacCarthaigh, Raagini Ramesh Lalwani
키워드 1. OSI 모델 및 네트워크
2. ADS(Amazon Data Service), VPC
3. AWS Regions, AWS Local Zones
4. Hollow Core Fiber, EFA(Elastic Fabric Adaptor)
5. 네트워킹 발전 방향성
핵심 내용

1. 클라우드 네트워크 혁신 의 힘을 다룬 이 세션은 현재 네트워킹의 중요성과 AWS의 기술적 진보를 조명합니다. 
2. AWS의 엔지니어들이 소개하는 다양한 암호화 기술과 그 발전 과정은 모든 사용자에게 보다 안전하고 빠른 연결 환경을 제공합니다. 
3. 이 기술들은 단순한 데이터 전송 이상의 경험을 만들어 내며, 빠른 성과와 운영 효율성을 제공하기 위해 지속적으로 최적화되고 있습니다. 
4. 특히, 새로운 Hollow Core Fiber 기술은 실제 빛의 속도로 데이터를 전송할 수 있는 혁신을 가져옵니다.

The power of cloud network innovation

AWS가 선보이는 클라우드 네트워크 기술 혁신과 이를 통해 강화된 보안, 성능, 확장성을 소개합니다.


1. 네트워크 혁신의 중요성

  • 네트워크의 신뢰성, 성능, 보안은 항상 최우선 과제이며, 이는 시간이 지나도 변하지 않는 진리입니다.
  • 네트워크는 사용자에게 마법과 같은 경험을 제공하도록 설계되어야 하며, 이는 사용자가 네트워크를 의식하지 않도록 하는 것을 목표로 합니다.
  • 최근 20년 동안 TLS, SSL, QUIC와 같은 프로토콜을 통한 암호화가 일반화되었고, 현재는 전통적인 애플리케이션과 하위 네트워크 프로토콜 간에 보이지 않는 전송 암호화계층이 추가되고 있습니다.
  • 현대 네트워크에서는 고객의 트래픽이 다중 암호화로 보호되고 있으며, 이는 보안 문제에 대한 방어를 강화하는 데 기여합니다.


2. 네트워크 암호화와 성능 최적화

  • ADS(Amazon Data Service)는 TLS, SSL, QUIC와 같은 프로토콜의 오픈 소스 구현체를 유지하고 있으며, 이를 통해 보안과 안전성을 최우선으로 합니다.
  • 암호화성능을 최적화하기 위해, ADS는 벤치마킹 도구를 활용해 구현 성능을 분석하고 공연능 개선을 추구하고 있습니다.

2-1. Amazon Data Service

  • Modular inverse 알고리즘을 최적화함으로써 성능이 약 10배 향상되어, 운영 시간은 약 45,000 나노초에서 4,500 나노초로 줄어들었습니다.

2-2. Modular inverse

  • VPC시스템 내에서 자동으로 암호화된 트래픽은 고객의 추가 설정 없이도 빠르고 안전하게 보호됩니다.

2-3. VPC encryption

  • ADS는 고객의 하이브리드 워크로드를 지원하기 위해 물리적 링크 암호화 기술도 개발하였으며, 이는 양자 컴퓨터에 대한 저항성을 갖춥니다.

2-4. Lever network link encryption

3. 클라우드 네트워크 혁신의 지역 확장 및 연결성

3-1. 지역 확장과 데이터 센터
  • 각 지역은 데이터 센터와 가용성 구역의 집합체로, 대략 대도시 크기에 해당하는 지리적 범위에 분포되어 있습니다.
  • AWS는 데이터 센터와 가용 영역의 지역 확장을 지속적으로 진행하고 있으며, 최근에 쿠알라룸푸르 지역을 출범하였습니다.
  • 18개의 새로운 가용성 구역과 6개의 지역을 발표하였으며, 이에는 멕시코, 뉴질랜드, 사우디아라비아, 태국, 대만, 독일 브란덴부르크의 유럽 주권 클라우드 지역이 포함됩니다.

AWS Regions

3-2. AWS Local Zones의 역할과 효과

  • AWS는 로컬 컴퓨팅의 필요성을 충족하기 위해 2019년부터 로컬 존을 도입하였습니다.
    현재 41개의 Local Zones이 운영 중이며, 그 중 17개는 미국 외에 위치해 있습니다.
  • Honolulu, Hawaii에 위치한 Local Zone은 Athena Health와 같은 고객이 애플리케이션 현대화를 지원하는 데 활용되고 있습니다.
    Athena Helath는 로컬 존을 활용하여 현대화된 컨테이너 애플리케이션을 도입하고, 낮은 지연 시간으로 온프레미스 데이터베이스에 접근함으로써 현대화 프로그램의 가속화를 이루었습니다.
  • Palo Alto Networks는 Local Zones를 사용하여 데이터 보호 및 사용자 접근성을 강화하며, 최대 50%의 네트워크 지연 감소를 달성했습니다.

AWS Local Zones

3-3. 데이터 통제 및 보안 확보를 위한 혁신

  • AWS는 고객의 데이터 통제 권한을 중요하게 여기며, 전용 로컬 존을 통해 정부 및 규제 기관의 데이터를 안전하게 보호하고 대체 인프라 요구를 충족시키고 있습니다. 지난해, 특정 고객과 해당 커뮤니티에 전념하는 전용 지역을 포함한 관리형 데이터 센터를 출시하였습니다.
  • 예를 들어, 싱가포르 정부의 스마트 국가 및 디지털 정부 그룹은 이러한 전용 지역을 활용하여 가장 엄격한 데이터 격리와 보안 요건을 충족하고 있습니다.
  • 전용 지역은 싱가포르 정부의 사이버 보안 요구사항을 충족시킬 뿐만 아니라, 기관들이 익숙한 서비스와 API를 사용할 수 있는 일관된 클라우드 경험을 제공합니다.
  • 최근에 Amazon S3 지원이 추가되어 전용 지역 내에서 자율적으로 운영될 수 있습니다.

AWS Dedicated Local Zones

전용 지역 지원 서비스

3-4. 클라우드 네트워크 혁신의 

  • Direct Connect는 고객의 데이터 격리 및 지연 목표를 충족시키기 위해 140개 이상의 글로벌 위치로 확장되었습니다.
  • Direct Connect의 400 기가비트 표준이 추가되어, 고객의 요구를 충족하기 위한 용량이 증가하고 병목 현상을 없앴습니다.

Direct Connect

  • 데이터 전송을 위해 Data Transfer Terminal이 도입되어 미디어를 직접 가져갈 수 있는 편리함을 제공하며, 전송 중 손실 리스크를 줄이는 데 기여했습니다.

Data Transfer Terminal


​​​​​​

3-5. 클라우드 네트워크 혁신의 발전 

  • EC2의 일환으로 전용 하드웨어 가속 네트워킹 경험을 제공하기 위해 AOS Nitro 플랫폼이 구축되었습니다.
  • Nitro V6 칩의 도입으로, 단일 칩에서 400 Gbps의 속도를 유지할 수 있으며, 이는 이전 Nitro V5의 200 Gbps에 비해 두 배 향상된 수치입니다.

AWS Nitro timeline



  • Ultra Server의 도입으로, 단일 서버에서 12.8 테라비트의 속도를 제공할 수 있으며, 이는 많은 국가의 전체 인터넷 사용량에 해당하는 양 입니다.
  • P5 인스턴스 타입을 통해 35%의 지연 시간 감소를 달성하였으며, 이는 클라우드 작업 부하에서 최대 55%의 전반적인 성능 향상으로 이어졌습니다.

P5 인스턴스 타입


4. 혁신적인 네트워크 기술: 홀로 코어 파이버와 EFA

4-1. 코어가 비어있는 광섬유의 혁신
  • Hollow Core Fiber 는 정보 전송의 속도를 향상시키기 위해 사용되는 혁신적인 기술로, 이는 전통적인 유리 섬유가 아닌 비유리 구조를 채택하여 진정한 빛의 속도를 실현하게 합니다.
  • 유리로 만든 광섬유 케이블을 통해 전송될 때, 빛의 속도는 약 2/3로 줄어들기 때문에,
    비어 있는 코어를 가진 광섬유를 통해 정보 전송 시 진정한 빛의 속도를 달성할 수 있습니다.

Hollow Core Fiber

4-2. EFA(Elastic Fabric Adapter)의 혁신적 네트워크 기술

  • EFA(Elastic Fabric Adapter)는 AI, ML 배치 작업 및 HPC 작업에 적합한 기술로, 고객의 데이터 전송요청을 실시간으로 최적화하여 병목을 방지하는 능력을 가지고 있습니다.
  • EFA는 다수의 기계들을 효율적으로 연결할 수 있도록 하여 12 테라비트 연결을 지원하며, 대규모 클러스터를 형성할 수 있도록 합니다.
  • EFA 지원이 추가된 스토리지 서비스 덕분에, Amazon FSX for Lustre와의 직접 연결을 통해 데이터 저장 및 검색 시 최적화된 성능을 제공합니다.

Elastic Fabric Adapter(EFA)

Elastic Fabric Adapter on Amazon FSx for Lustre

4-3. Amazon VPC의 보안 그룹과 추가 기능

  • Amazon VPC는 보안 그룹을 통해 고객이 인스턴스와 인터페이스를 분류할 수 있는 기능을 제공합니다.
  • 보안 그룹은 이전 접근 방식인 Access Control Lists보다 사용하기 쉽고, 이제 AWSTransit Gateway와 Network Load Balancer에서도 기본 지원이 추가되어 보안과 권한을 직접 제어할 수 있습니다.
  • 보안 그룹을 여러 VPC와 AWS계정 간에 재사용할 수 있는 공유 보안 그룹 기능을 제공합니다.

Shared Security Groups

  • VPC 또는 서브넷의 인터넷 접근을 완전히 차단할 수 있는 VPC Block Public Access 기능이 도입되었습니다.

VPC Block Public Access


5. 클라우드 네트워킹 혁신의 발전

5-1. 클라우드 네트워킹 서비스의 발전 방향

  • 클라우드 마이그레이션과 서비스 연결성 모델에 대한 탐색을 통해 VPCLCE의 가치를 기대하고 있습니다.
  • IAM에 대한 세분화된 권한 부여, IP 주소 의존도 감소, AWS컴퓨트 리소스와의 통합이 흥미로운 기능으로 언급되고 있습니다.
    - 첫 번째로, IAM을 위한 세밀한 권한 부여 기능이 있습니다.
    - 두 번째로, IP 주소 종속성을 줄이고 로컬 링크 접근을 통한 네이티브 지원이 있습니다.
    - 세 번째로, AWS 컴퓨트 리소스 및 서비스 네트워크 관리와의 네이티브 통합이 있습니다.
  • PrivateLink와 VPCLUS는 앞으로 탐색하고자 하는 주요 영역으로 확인되었습니다.

5-2. 클라우드 네트워킹 접근 방식

  • AWS에서는 고객 및 팀의 요구에 따라 “전통적인 기업 네트워크와 유사한 접근 방식” 과 “서버리스 솔루션” 을 사용하는 두 가지 접근 방식을 지원합니다.
  • Amazon EKS는 관리형 서버리스 서비스 메시를 통해 고객이 컨테이너 환경과 전통적인 네트워킹 경험을 통합할 수 있는 좋은 예시입니다.
  • 최근에 추가된 기능으로는 TLS Passthrough Support을 포함하여 기존 백엔드와의 TLS및 SSL설정을 유지할 수 있게 되었습니다.
  • UDP 지원이 추가되어 Voice over IP 및 가상 데스크톱과 같은 서비스에 대한 더욱 쉬운 연결을 제공합니다.

UDP Support

Cross-region AWS PrivateLink Support

5.3 클라우드 보안 및 위협 대응 전략

  • 고객의 보안을 강화하기 위해 사전 예방적 조치를 취하고 있으며, 이는 보안 위협에 대한 강력한 대응 태세를 유지하는 것을 목표로 합니다.
  • MPOT 시스템은 매일 1억 건의 상호작용을 분석하고 최대 50만 건의 의심스러운 사건을 플래그하는 실시간 위협 분석 및 탐지 시스템입니다.
  • 고객 인프라가 위협을 받을 경우, 공격자는 명령 및 제어 네트워크와 연결을 시도하거나 암호화폐 채굴을 시도할 수 있으며, 이는 DNS 데이터에서 나타나는 신호가 입니다.

MPOT

  • 제로 트러스트 제공을 통해 고객은 네트워크의 활동을 추적하고, 특정 이벤트가 어떤 시스템에서 발생했는지를 빠르게 확인할 수 있는 능력을 갖추었습니다.

Zero Trust



5-4. AW의 네트워크 모니터링과 문제 해결

  • 고객이 AWS에 시스템을 구축하고 하이브리드 환경에서 운영할 때, 네트워크 문제의 출처를 파악하는 것이 어려울 수 있습니다. AWS는 광범위한 모니터링 시스템을 운영하여, 링크를 통한 모든 연결을 지속적으로 탐지하고 있습니다.
  • 예측 실패 분석을 통해 ADS 네트워크의 가용성과 신뢰성을 최상으로 유지하려고 하고 있으나, 링크가 때때로 자발적으로 실패할 수 있습니다. 고객의 설정이 네트워크 문제의 한 원인이 될 수 있으며, 예를 들어, 한 고객의 경우 너무 많은 컨테이너가 단일 인스턴스에 있어 문제의 원인이 되었습니다.

5-5 AWS Verified Access support

  • Amazon CloudWatch 네트워크 모니터링을 통해 고객은 실시간 가시성을 확보할 수 있으며, 이를 통해 트래픽을 여러 경로로 전송하고, 클라우드와 온프레미스 인프라 전반에서 일관된 정보 통합이 가능합니다.

CloudWatch Network Monitoring

5-6. 클라우드 네트워크 혁신의 주요 기능 소개

  • Amazon CloudFront가 직접 VPC 기원을 지원하게 되어 EC2 인스턴스에서 동적 기원을 설정할 수 있게 되었다. 이는 사설 연결을 통해 이루어지며, 인스턴스가 공용 인터넷에 노출될 필요가 없습니다.
  • Amazon API Gateway는 이제 사설 API에 대해 사용자 정의 도메인 이름을 지원하여, 쉽게 기억할 수 있는 이름을 생성하고 제공할 수 있습니다.
  • 대규모 스트리밍 이벤트와 같은 예측할 수 없는 대량의 작업을 수행하는 고객은 이제 LCU 예약을 지원받아, 중요한 이벤트 발생 시 부하 조절을 미리 할 수 있게 되었습니다. 이러한 기능들은 고객들이 매끄럽고 신뢰할 수 있는 네트워킹 경험을 누릴 수 있도록 지원하고 있습니다.