안녕하세요, AI 서비스 & 솔루션 프로바이더 베스핀글로벌입니다.
AWS re:Invent 2025의 [Agentic data engineering with AWS Analytics MCP Servers]을 확인해보시기 바랍니다.

Agentic data engineering with AWS Analytics MCP Servers

1. 데이터 엔지니어가 가지고 있는 문제점

1-1. 데이터 엔지니어링의 현실적인 문제점

컨텍스트 전환 비용, 데이터 품질 문제 대응이 사후적, 코드 검색, 문서 부족, 디버깅 및 성능 개선에 과도한 시간 소요, 비즈니스 요구 속도 대비 개발 속도 부족, 여러 콘솔/서비스를 넘나드는 문제점을 가지고 있습니다.

2. Agentic AI + MCP

2-1. Agentic AI

Agentic AI는 사용자가 목표를 자연어로 전달하면 AI Agent가 계획 -> 실행 -> 검증 -> 반복의 루프를 실행합니다.
필요한 데이터/도구를 스스로 결정하여 액션을 수행하는 것입니다.

2-2. Agentic AI Building Blocks

Agentic AI 를 구성하는 핵심 요소들은 Agent가 스스로 계획하고 실행하고 개선하도록 돕는 기반 요소들입니다.

• Memory(기억 구조): 에이전트가 작업 과정에서 맥락을 유지하기 위한 기억 체계입니다.
• Tools(행동 도구 / Function Calls / APIs): 에이전트가 실제 행동을 수행하기 위해 사용할 수 있는 장비입니다.
• Reasoning (추론 / 계획 수립): 에이전트가 사용자의 목표를 달성하기 위한 다단계 계획 생성 기능입니다.
• Action (도구 실행 및 결과 수집): 계획에 따라 도구를 호출하고 실제 작업을 수행하는 단계입니다.
• Human-in-the-Loop (인간 승인 기반 제어): AI가 모든 작업을 자동으로 실행하지 않고 핵심 지점을 사용자 승인에 연결합니다.
• Persona (역할 기반 수행자 설정): 에이전트의 역할을 특정 업무 전문성으로 정의합니다.

2-3. MCP (Model Context Protocol)

MCP는 AI Agent가 다양한 도구(Glue, S3, Redshift 등)와 통신하는 표준 프로토콜입니다.
여러 Agent / Tool 연결 시 발생하는 n x m 연동 복잡도를 해결하며, 툴 추가/삭제/변경 시 커스텀 통합 없이 MCP Server만 변경하면 됩니다.

2-4. AWS Analytics MCP Servers

AWS의 다양한 분석 서비스를 자연어로 제어할 수 있도록 해주는 MCP Server 모음으로, Agent가 데이터 검색, ETL 실행, SQL 실행, 클러스터 관리 등을 자동화할 수 있게 합니다.

2-5. Agentic Data Engineering with MCP Integration

데이터 엔지니어의 데이터 파이프라인 구축 과정을 AI Agent가 자동으로 계획/실행/검증/반복하여 수행하는 방식을 의미합니다.

3. Data Engineering Agent

3-1. Alex – Data Engineering Agent

• S3 데이터 검색
• Glue ETL Job 생성
• Glue job 실행 & 모니터링 & 오류 처리
• Glue Crawler 생성, Catalog 업데이트
• Athena로 데이터 검증
• Redshift 적재용 Notebook 자동 생성
• 그리고 자동 문서화(Notebook + README)까지 제공

3-2. 사용자가 직접 통제 가능한 요소

• 도구의 사용 권한(Allow / Ask / Block)
• 안전 설정 및 실행 검증
• Runaway Query 방지
• 사용자 승인(Human-in-loop)

4. 마무리

4-1. Agentic Data Engineering = 데이터 엔지니어의 업무 전체를 자동화하는 AI 파트너

더 빠르게 프로토타입을 생성하며, 비즈니스 인사이트 제공 시간을 단축하고 복잡한 데이터 파이프라인을 자연어로 구성합니다.