데이터 직무를 처음 준비할 때 저는 통계를 먼저 완벽하게 알아야 한다고 생각했습니다. 평균, 분산, 가설검정 같은 공식부터 붙잡았지만, 실제 데이터를 다뤄보니 더 중요한 것은 데이터가 어디서 생기고 어떤 지표로 해석되는지 이해하는 일이었습니다. 방문자 수가 늘어도 전환율이 떨어지면 좋은 결과가 아닐 수 있고, 결측값이나 중복값을 정리하지 않으면 분석 결과도 흔들릴 수 있었습니다. 저는 통계가 중요하지 않다는 뜻이 아니라, 데이터의 흐름과 지표의 의미를 먼저 알아야 통계도 제대로 활용된다고 느꼈습니다. 이 글에서는 제 경험을 바탕으로 데이터 직무 입문자가 통계보다 먼저 이해하면 좋은 것들을 정리해 보겠습니다.
데이터 직무 입문자가 지표 이해부터 해야 하는 이유
일반적으로 데이터 직무를 준비한다고 하면 통계부터 공부해야 한다고 알려져 있습니다. 평균, 분산, 표준편차, 가설검정까지 줄줄이 외워야 할 것 같은 압박이 따라옵니다. 그런데 제 경험상 이 순서는 꽤 비효율적이었습니다. 처음에 통계 공식만 붙잡고 있을 때 가장 이상했던 점은, 숫자를 계산할 줄은 알지만 그게 실제 서비스에서 뭘 의미하는지 연결이 안 된다는 것이었습니다. 예를 들어 방문자 수가 지난달보다 30% 늘었다는 데이터를 보면 무조건 좋은 신호처럼 느껴집니다. 그런데 구매 전환율(CVR)이 함께 떨어졌다면 얘기가 달라집니다. 여기서 CVR이란 서비스를 방문한 사람 중 실제로 구매나 목표 행동을 완료한 사람의 비율을 의미합니다. 이 수치가 낮아졌다는 건 방문자는 늘었는데 실제 구매로는 이어지지 않았다는 뜻이고, 마케팅 효율이 오히려 나빠진 상황일 수 있습니다. 이런 맥락을 잡는 데 필요한 것이 지표 이해입니다. 지표란 의사결정에 실제로 쓰이는 수치를 말합니다. 단순히 데이터베이스에 저장된 숫자와는 다릅니다. 예를 들어 이탈률(Bounce Rate)은 특정 페이지에 들어온 사용자가 다른 페이지로 이동하지 않고 바로 나간 비율을 가리킵니다. 이 수치가 높으면 유입된 사람들이 원하는 것을 찾지 못하고 있다는 신호로 읽힙니다. 이처럼 지표 하나에는 해석의 방향이 딸려 있습니다. 숫자를 계산하는 능력보다 이 맥락을 먼저 아는 것이 실무에 훨씬 빠르게 적용됩니다. 실제로 데이터 분석 실무에서는 지표 설계와 해석이 분석의 출발점이 된다는 점이 국내 데이터 업계 실무자들 사이에서도 꾸준히 강조되고 있습니다(출처: 한국데이터산업진흥원).
데이터 정제가 통계보다 먼저인 이유
제가 직접 공공데이터를 내려받아 분석해 봤는데, 처음 마주한 현실은 생각과 많이 달랐습니다. 날짜 형식이 칼럼마다 달랐고, 결측값(Missing Value)이 군데군데 섞여 있었습니다. 여기서 결측값이란 수집 또는 입력 과정에서 값이 비어 있는 데이터를 의미합니다. 이 상태에서 통계 기법을 그냥 적용하면 계산 자체는 되지만 결과를 믿을 수 없습니다. 쓰레기 데이터에 좋은 공식을 쓴다고 좋은 결과가 나오지 않습니다. 솔직히 이건 예상 밖이었습니다. 분석보다 정리에 시간이 훨씬 많이 걸렸고, 어떤 날은 데이터 정제만 하다 끝난 적도 있었습니다. 실제로 데이터 분석 업무에서 전처리(Preprocessing)에 드는 시간이 전체 분석 시간의 60~80%를 차지한다는 보고도 있습니다(출처: IBM). 전처리란 수집된 원시 데이터를 분석 가능한 형태로 다듬는 전 과정을 뜻합니다. 데이터를 받았을 때 제가 실제로 먼저 확인하는 항목들을 정리하면 다음과 같습니다.
- 결측값이 얼마나 되는지, 어느 칼럼에 몰려 있는지 확인
- 중복 행(Duplicate Row)이 존재하는지 확인
- 날짜, 금액, 단위 등 기본 포맷이 일관적인지 확인
- 이상치(Outlier), 즉 다른 값과 지나치게 동떨어진 값이 있는지 확인
- 분석 목적에 필요한 칼럼이 실제로 포함되어 있는지 확인
이 과정을 빠뜨리면 회귀분석이든 군집 분석이든 그 위에 쌓인 모든 결과가 흔들립니다. 통계를 배우기 전에 이 습관부터 잡는 것이 오히려 통계를 제대로 쓰는 길이라고 생각합니다.
입문자를 위한 실전 공부 순서와 팁
제 경험상 이건 좀 다릅니다. 많은 입문자 커리큘럼이 이론 중심으로 짜여 있는데, 저는 SQL을 먼저 손에 익히는 것이 훨씬 현실적이라고 생각합니다. SQL은 관계형 데이터베이스에서 원하는 데이터를 조회하고 가공하기 위해 사용하는 언어입니다. 쉽게 말해 데이터를 꺼내오는 도구입니다. 어떤 통계 기법을 알아도 데이터를 꺼내오지 못하면 분석을 시작할 수 없습니다. SQL을 익히고 나면 문제 정의가 훨씬 구체적으로 됩니다. “매출이 떨어졌다”는 막연한 상황을 앞에 두고 바로 데이터로 파고드는 습관이 생깁니다. 신규 고객 유입이 줄었는지, 기존 고객의 평균 주문 금액(AOV)이 낮아진 건지, 특정 상품군에서만 이탈이 생겼는지를 쪼개서 볼 수 있습니다. AOV란 Average Order Value의 약자로, 한 번의 주문에서 발생하는 평균 매출 금액을 의미합니다.
공부 순서를 정리하면 다음과 같습니다.
- 데이터가 어디서 생기는지, 어떤 행동을 기록하는지 이해하기
- 방문자 수, CVR, 이탈률, AOV 같은 핵심 지표의 의미 익히기
- SQL로 데이터를 조회하고 GROUP BY, JOIN으로 집계해 보기
- 결측값, 중복값, 이상치 확인 등 데이터 정제 연습하기
- 분석 질문을 세우고, 시각화로 결과를 설명하는 연습하기
- 이 흐름 위에서 통계 개념을 연결해 해석의 깊이 더하기
이 순서로 가면 통계를 배울 때 “이게 왜 필요한지”가 체감됩니다. 상관관계(Correlation)가 두 지표가 함께 움직이는 정도를 나타내는 지표라는 설명도, 실제로 CVR과 광고 유입량 사이의 관계를 봤던 경험이 있으면 바로 와닿습니다. 데이터 직무 입문에서 통계를 미루자는 말이 아닙니다. 다만 공식보다 먼저 데이터의 흐름을 몸에 익혀야 통계가 도구로 작동한다고 생각합니다. 지금 막막하게 느껴진다면 공공데이터포털에서 관심 있는 데이터 하나를 내려받아, 이 데이터가 어떤 행동을 기록했고 어떤 지표를 볼 수 있는지부터 적어보는 것을 권합니다. 그 한 발이 통계 공식 100개보다 실무에 가깝습니다.