데이터 엔지니어로서 3년 4개월 회고

 

입사 전 회고.

 

"저는 제가 하고 싶은게 따로 있어서요."

"그러니까, 뭐"

"데이터 엔지니어라고 데이터 파이프라인 만들고 뭐 그런,,"

"알겠어. 잘해봐"

 

21년 겨울 지하철에서 전화를 받는다.

한 달 프리랜서 계약으로 프로젝트를 끝마친 내게, 사장님은 마음에 든다며 회사에서 같이 일 해보자고 연봉과 함께 제안하였다. 

나는 그날 부터, 제대로 데이터 엔지니어로서 필요한 개발 및 지식을 공부하기 시작했다.

 

 22년 9월.

단순 개발 이력도, 데이터 엔지니어 이력도 없던 내가, 데이터 엔지니어로 입사하게 된다.

 

목표하던 회사에, 목표하던 직업으로 근무하게 되어 기쁨도 잠시, 모델링 스페셜리스트들이 만들어 둔 쿼리들을 보게 된다.

그때 기분은 

우물 안 개구리가 우물을 나와 연못을 건너가기로 한다.

저 뗏목이라면 내가 원하는 곳으로 건너갈 수 있어. 자신있게 올라탄 뗏목이 가던 길은 못이 아니라 바다였고, 정신차리고 보니 여기는 바다였다. 오 이런, 지금.. 여긴.. 태평양 한 가운데!?

대충 이런 느낌..?

 

이렇게 긴 쿼리들은 처음 봤으며, 뭘 하려는건지, 왜 이렇게 하는건지, 쿼리를 볼 때 마다 항상 뇌정지가 왔던 기억이 있다.ㅎㅎ

 

감사하게도 나의 부족함을 팀원들이 채워주신지 3년 4개월이 되었다.

 

 

여기까지 내 이력 출발 전 회고였다면, 진짜 데이터엔지니어로서의 회고를 해보자

 

---

입사  1년차

 

입사 했을 당시는 내가 생각한 데이터 엔지니어의 일과 꽤나 다르다고 느꼈다.

물론 나는 아무것도 모르는 생신입이라 그렇게 느낀게 맞을지도 모르지만, 아래 내가 공부하고 포트폴리오의 내용은 입문 수준이긴 해도

 

- 스파크

- 에어플로우

- 카프카

- 플링크

- ML

 

뭐 이런 내용들이 주를 이루었는데, 실제 입사하고 보니 우리팀은 모델러와 함께 정통 배치를 ST-DW 운영하고 있는 팀이었고, 사용하고 있는 기술들도 내가 공부한 기술들과 많이 달랐다. (어떻게 입사한거야;)

 

- HIVE

- Nifi

- Only 배치 테이블

 

물론 현재는 이 수준이 아니라 스파크, 에어플로우, 쿠버네티스 관리 등 여러 경험들을 쌓았음.

 

나는 카프카나 플링크 등 기술적으로 딥한 엔지니어링을 하는 그런걸 상상했었는데, 실제로는 스트림 테이블이 전혀 없었던 것이다.

그렇다고 해서 팀의 기술력이나 아키텍처가 올드하거나 부족하지는 않았다. 실제로 당시 AWS 기술 담당자들이 한번씩 영업하러 오면 EDW 아키텍처가 베스트 프렉티스로 운영중이라고, 더 할게 없어서 새로 나온 기술들 소개 정도만 하고 돌아가던 기억이 있다.

 

내가 생각했던 그림과 조금은 달랐지만, 오히려 데이터 엔지니어가 주로 어떤 일을 하게 되는지 배울 수 있었다.

전체적인 아키텍처 형태부터 데이터 파이프라인, 그리고 전사 BI 데이터가 어떻게 만들어지는지. 그리고 당시 팀은 경력이 10~20년의 베테랑들이 구현해둔 아키텍처부터 모델링, 안정적인 파이프라인, 신뢰높은 테이블 구조들을 보고 배울 수 있었다. (쓰다보니 생각할수록 어떻게 입사한지 모르겠음.ㅋㅋㅋ)

 

 

---

입사  2년차

이것 저것 구르면서 어떤 일을 제일 하고 해보고 싶냐는 물음이 있었다.

 

입사 전에는 취업에 대한 고민, 진로의 불확실성 이런것들이 주로 고민을 이루었다면, 입사 후 1년이 넘은 2년차부터는 슬슬 내 커리어에 대한 고민으로 바뀌게 되었다. 내가 뭘 잘하는지, 어떤 일을 좋아하는지 나에 대한 고민을 하게 되었다.

데이터 엔지니어는 잡부라는 말이 돌곤 하는데, 정말 여러가지 일들을 하게 되니까 내가 뭐 하나 제일 잘하는거나, 내 영역을 만들어야겠다. 이런 고민을 하게 됐던것 같다. 

 

비지니스 로직이 변경되었을때 FAT나 AGG테이블을 수정도 해보고, 유독 DW 테이블 제작을 참 많이 했던것 같다.

여러 특별한 배치 파이프라인 개발부터 최적화도 다루어봤고, 특히 AWS 서비스, 인프라에 대한 이해도가 많이 높아졌다고 생각한다.

그러나 회사가 합병으로 의도치 않게(?) 자꾸 커지면서, 내 처음 니즈와는 조금은 다른 업무들을 진행했던 것 같다. 

새롭게 통합해야 했고, 새 배치, 새 파이프라인, 새 테이블, 그러나 빠르게. 결국 나는 회사의 직원이고 회사를 우선으로, 모두가 서로의 니즈를 조금은 미뤄두고 통합에 집중하는 업무들을 경험했다.

 

뭔가 2년차부터는 슬슬 회사 업무뿐 아니라, 직장 동료들과의 유대와 추억거리들도 많이 만들었던것 같다. 팀 내부에 일이 많아서 그런가 팀 호흡도 가장 좋았던 것으로 기억한다. 내부결속 비슷한..그런 느낌이랄까..ㅋㅋㅋ

거의 1~2년을 회사일과 회사 사람에만 엄청 집중했던 것 같다. 그렇게 시간이 흐르면서 점점 체력적인 이슈들이 생겼고, 그러면서 조금 쉬어가는 법을 배운것 같다. 나만의 취미 생활도 조금씩 경험하고 늘려가면서 흔히 워라밸이라고 하는것을 몸소 체험하게 되었다.

 

나는 처음에 워라밸이라는 단어에 대해 부정적인 느낌이 있었다. 게으른 사람들이 합리화 하기 위해 만들어낸 단어같달까? 심지어 칼퇴하는 사람들을 처음에 이해하지 못했던 것 같다. 그러나 2년차의 나는 내가 워라밸이 중요한 사람이라는 것을 알게 되었다.

그러나 나는 일과 삶의 밸런스가 딱 5:5여야 한다고 주장하지는 않는다. 사람마다 밸런스가 조금씩 다를 수 있다고 생각한다. 누군가는 일이 6, 삶이 4라면 또 누군가는 일이 9, 삶이 1 이런 사람도 있을 수 있다.

나는 그때 그때 다르지만 확실한건 내가 즐겁게 일에 몰입할 때는 일을 많이 하더라도 별로 힘들지 않고, 분명히 어느 순간, 쉬는 시간이 있어야 다음 몰입을 위한 에너지와 활력이 생긴다는걸 느끼게 됐다. 이게 나의 워라밸이라고 생각한다.

 

 

 

---

입사  3년차

또 합병으로 회사가 너무 커졌다; 아니 진짜 예전에 썰 들어보면 매출 하루 억단위 나오면 회사 사람들 다 해외여행 같이 가고 그랬다는데.. 운이 없는걸까, 일 복이 많은걸까.

2년차까지는 통합을 우리 손으로 했다면 3년차는 알아서 다 해주는 데이터브릭스로 넘어가게 되었다.

 

2년차 끝물에 고민이었던 내 전문 분야로 데이터 인프라를 다루는 데이터 엔지니어가 가치가 있다고 생각했다.

그러나 데이터브릭스와 같은 통합 서비스를 경험하고 나서는, 가까운 미래는 진짜 인프라 전문가(devops)가 될게 아니면 지금 하려고 하는 데이터엔지니어가 인프라를 다루는게 의미가 크게 없다는걸 느꼈다.

속 편하게 인프라 고민 없이, 통합 환경에 진짜 무엇을 해야하는지, 무엇을 하고 싶은지를 고민할 수 있어서 더 좋다고 생각하게 되었다.

 

3년차 내내 통합 환경을 데이터브릭스로 이전하는 일을 경험했는데, 개인적으로는 1년 내내 재미가 너무 없었다.

이러한 일이 결코 가치없는 일은 아니라고 생각한다. 아주 새로운 환경으로의 데이터를 이전하는 일은 데이터 검증부터 새 파이프라인 설계부터 제어, 모니터링 등 그간 해오던 방식에 어떻게 녹일지 등 경험으로 치면 훌륭한 경험이라고 생각한다. 다만 재미가 없었을 뿐..

 

---

그리고 현재

 

나는 데이터가 가진 힘을 믿는다.

BI로서만 데이터를 활용하는 것은 데이터를 낭비하고 있다고 생각한다. BI를 폄하하는건 아니지만 AI가 도래한 이상 데이터는 조금 더 좋아져야 하고 더 가치있게 쓰임을 고민해야 된다고 생각한다.

 

그동안 나는 전사 데이터는 어떻게 관리되어지고, 어떻게 활용 되어지고를 배웠다고 생각한다.

그러나 나는 조금 더 좋은 데이터를 만들고 싶다. 또한 더 좋은 데이터로 많은 일을 할 수 있다고 생각한다.

데이터 생산에 + 한 일을 하고 싶다.

이제는 내가 정말 좋아하는 일을 하고 싶다는 욕구 실현에 대한 것들이 많이 커진것 같다.

 

사실 위 내용은 오래 전부터 생각해온 생각들인데, 지피티한테 그래서 현실적으로 내가 원하는 일을 하려면 무슨일을 해야하는걸까? 를 물어봤다. 

 

전형적인 “데이터 생산자 쪽 엔지니어/아키텍트” 성향

데이터 엔지니어 커리어의 다음 단계로 자연스럽게 발생하는 고민이다.

 

사실에 근거하면, 당신에게 맞는 방향은 이것이다.

“데이터를 해석하는 사람”이 아니라
“데이터가 어떤 일을 하게 만들지를 설계하는 사람”

 

직무명으로 번역하면:

• ML Data Engineer / MLOps
• Data Product  / Feature Platform Engineer
• Real-time Data Architect

→ 데이터 엔지니어 커리어가 ‘관리 → 생산’ 단계로 이동하고 있다는 신호다.

 

답변을 요약하면 위와 같이 나오는데 앞으로의 커리어로 깊게 고민 하게 될 것 같다.