저도 처음엔 데이터 분석가, 데이터 엔지니어, 데이터 사이언티스트가 그냥 이름만 다른 같은 일이라고 생각했습니다. 채용 공고를 하나씩 뜯어보고 나서야 이 세 직무가 완전히 다른 문제를 풀고 있다는 걸 알았습니다. 직무 구분을 제대로 이해하지 못하면 공부 방향도 포트폴리오도 전부 엇나갈 수 있습니다.
세 직무 구분을 보면, 다루는 문제가 다르다
처음 데이터 직무를 찾아볼 때, 저는 솔직히 파이썬과 SQL만 익히면 세 직무를 모두 준비할 수 있을 거라고 단순하게 생각했습니다.
그런데 채용 공고를 하나하나 읽어보니 요구하는 역량의 결이 완전히 달랐습니다. 같은 데이터를 다루더라도, 각자가 집중하는 문제 자체가 다른 셈이었습니다.
데이터 분석가는 현재 상황을 설명하는 역할에 가깝습니다.
어떤 상품이 왜 잘 팔리는지, 어떤 구간에서 사용자가 이탈하는지를 데이터로 풀어내는 일입니다.
이 과정에서 핵심적으로 쓰이는 기술이 바로 SQL입니다. SQL이란 데이터베이스에 저장된 데이터를 조회하고 정리하는 데 사용하는 언어로, 분석가에게는 거의 기본 중의 기본입니다.
제가 직접 채용 공고를 분석해 봤을 때, 데이터 분석가 포지션 대부분이 SQL을 필수 역량으로 명시하고 있었습니다.
데이터 엔지니어는 조금 다른 세계에 있습니다.
데이터를 읽고 해석하기보다, 데이터가 안정적으로 모이고 흐를 수 있는 구조 자체를 만드는 역할입니다.
이때 핵심 개념이 ETL 파이프라인입니다.
ETL이란 Extract(추출), Transform(변환), Load(적재)의 약자로, 흩어진 데이터를 한 곳으로 모아 분석 가능한 형태로 가공하는 일련의 과정을 뜻합니다.
데이터 엔지니어가 이 파이프라인을 제대로 구축해두지 않으면, 분석가도 사이언티스트도 쓸 수 있는 데이터 자체가 없어집니다.
제 경험상 이 부분이 가장 눈에 안 띄지만 사실상 가장 중요한 역할이라는 생각이 들었습니다.
데이터 사이언티스트는 현재를 설명하는 데서 한 발 더 나아갑니다.
고객 이탈 가능성을 예측하거나, 사용자 행동 패턴을 학습한 추천 시스템을 만드는 일이 여기에 해당합니다.
이 직무에서는 머신러닝(Machine Learning)이 핵심 도구가 됩니다.
머신러닝이란 데이터를 기반으로 컴퓨터가 스스로 패턴을 학습하여 예측이나 분류를 수행하는 기술입니다.
일부 정보에서는 데이터 사이언티스트를 더 우월한 직무처럼 강조하는 경향이 있는데, 저는 그런 시각이 오히려 직무 선택을 왜곡시킨다고 생각합니다. 높고 낮음의 문제가 아니라, 어떤 문제를 풀고 싶은가의 문제입니다.
역할 비교로 데이터 분석가, 데이터 엔지니어, 데이터 사이언티스트 차이는 이렇게 정리할 수 있다
세 직무의 핵심 역할을 정리하면 다음과 같습니다.
- 데이터 분석가: 데이터를 해석해 현재를 설명하는 역할. SQL, 시각화 도구를 활용해 현재 상황을 해석하고 비즈니스 인사이트를 도출
- 데이터 엔지니어: 데이터를 모으고 관리할 수 있는 구조를 만드는 역할. 데이터베이스 설계, ETL 파이프라인 구축, 클라우드 환경에서 데이터 흐름 관리
- 데이터 사이언티스트: 데이터를 바탕으로 예측 모델과 고도화된 분석을 수행하는 역할. 통계 기반 분석, 머신러닝 모델 설계 및 평가, 예측 시스템 개발
데이터 분석가는
“이 데이터가 무엇을 말하는가”를 찾는다.
데이터 엔지니어는
“이 데이터를 어떻게 잘 모으고 활용할 수 있을까”를 고민한다.
데이터 사이언티스트는
“이 데이터를 바탕으로 무엇을 예측할 수 있을까”를 생각한다.
이렇게 보면 세 직무가 모두 데이터와 관련되어 있지만, 각자 집중하는 지점이 다르다는 것을 쉽게 이해할 수 있다.
중요한 것은 어떤 직무가 더 좋아 보이느냐가 아니라, 자신이 어떤 방식의 문제 해결에 더 흥미를 느끼는지를 파악하는 것이다.
숫자를 정리하고 설명하는 일이 좋은지, 데이터 시스템을 안정적으로 만드는 일이 맞는지, 아니면 모델을 통해 패턴을 예측하는 과정이 흥미로운지에 따라 준비 방향은 달라질 수 있다.
국내 데이터 직무 채용 시장에서도 이 구분은 점점 뚜렷해지고 있습니다. 한국데이터산업진흥원(K-DATA)이 발간한 데이터산업 현황조사에 따르면, 데이터 직무 수요는 꾸준히 증가하고 있으며 직무별 요구 역량의 구체화도 함께 진행되고 있습니다.
직무 차이를 알고 나서 준비 방향이 달라졌다
직무 구분을 제대로 이해하기 전까지 저는 이것저것 넓게 배우는 게 유리할 것이라고 생각했습니다.
파이썬도 배우고, 통계도 조금 건드리고, 클라우드 서비스도 슬쩍 들여다보는 식이었습니다. 그런데 직접 겪어보니 이 방식은 어느 하나도 제대로 준비하지 못하는 결과로 이어졌습니다.
채용 공고를 분석하면서 저는 자연스럽게 제가 어떤 일에 흥미를 느끼는지 돌아보게 됐습니다.
숫자를 보고 그 안에서 의미를 찾는 과정, 그리고 그 결과를 사람들이 이해하기 쉬운 방식으로 설명하는 일이 저는 재미있었습니다. 반면 데이터베이스 구조를 설계하거나 모델 하이퍼파라미터(Hyperparameter)를 조정하는 부분은 중요하다는 건 알겠는데, 솔직히 아직은 멀게 느껴졌습니다.
하이퍼파라미터란 머신러닝 모델이 학습하기 전에 사람이 직접 설정해야 하는 변수로, 모델의 성능에 직접적인 영향을 미칩니다.
이 개념을 처음 접했을 때 저는 데이터 사이언티스트 방향은 지금 당장은 아니겠다는 걸 직감적으로 느꼈습니다.
그 이후로 저는 데이터 분석가 방향을 잡고 SQL과 파이썬 기반의 데이터 시각화(Data Visualization)에 집중하기 시작했습니다.
데이터 시각화란 수치와 통계를 그래프나 차트로 표현하여 데이터의 의미를 직관적으로 전달하는 작업입니다. 방향을 하나로 좁히고 나니 프로젝트 주제도 자연스럽게 정해졌고, 포트폴리오에 담을 내용도 훨씬 선명해졌습니다.
실제로 소프트웨어정책연구소(SPRi)가 발표한 자료에 따르면, 데이터 분석 직무 종사자들이 현업에서 가장 많이 활용하는 역량으로 SQL 기반 데이터 처리와 시각화 역량이 상위에 꾸준히 포함되고 있습니다.
제가 느꼈던 방향이 틀리지 않았다는 것을 확인하는 계기가 됐습니다.
막연하게 데이터 분야를 준비하고 있다면, 먼저 이 세 직무 중 어느 쪽 문제가 더 재미있게 느껴지는지를 솔직하게 생각해 보는 게 가장 빠른 출발점이라고 봅니다.
세 직무의 차이를 이해하고 나면, 결국 중요한 건 어떤 직무가 더 좋아 보이느냐가 아니라는 걸 알게 됩니다.
저도 그 과정을 지나면서 제가 잘 맞는 방향이 어디인지 훨씬 선명하게 보이기 시작했습니다.
데이터 직무를 처음 알아보는 단계라면, 채용 공고를 몇 개만 직접 읽어보는 것만으로도 막연함이 많이 줄어들 것입니다.
넓게 다 배우려는 생각보다, 방향을 먼저 잡고 그에 맞는 역량을 쌓는 순서가 실제로 훨씬 효율적입니다.