flinkcdc1 Flink CDC - DeltaLake Sink 회사에서 작년 연말 성과 작성이 일찍 끝나서, 그간 못해보거나 해보고 싶은 일들을 해볼 시간적 여유가 생겼다.그래서 FlinkCDC로 S3에 Delta 테이블을 다이렉트 Sink 하는 토이 프로젝트를 진행해 보았다.ㅋㅎㅎㅋ 1. 프로젝트 배경: "표준을 넘어 효율을 탐구하다"Why Flink & CDC?현재 우리 팀은 Databricks 기반의 레이크하우스 환경을 운영 중이며, NoSQL(MongoDB) 파이프라인은 Source → Kafka → Spark Streaming → Delta Lake라는 표준화된 아키텍처를 따르고 있습니다. 이 구조는 안정성과 확장성 측면에서 검증된 훌륭한 아키텍처입니다.하지만 CDC 파이프라인 과제를 기획하면서 한 가지 의문이 들었습니다. "단순히 데이터를 적재(Ing.. 2026. 1. 29. 이전 1 다음