데이터 엔지니어 (데이터 파이프라인, 데이터 품질, 의사결정)
기업 안에 쌓이는 데이터의 80% 이상은 그대로는 쓸 수 없는 상태라는 말이 있습니다. 처음 이 말을 접했을 때 솔직히 반신반의했습니다. 그런데 데이터 엔지니어라는 직무를 들여다보면서, 오히려 80%도 낮게 잡은 수치가 아닐까 싶어 졌습니다. 데이터를 분석하기 전에 먼저 쓸 수 있는 데이터로 만드는 사람이 있어야 한다는 사실, 이 글에서 정리해 드리겠습니다.데이터 엔지니어 - 데이터 파이프라인, 왜 없으면 분석이 막히는가기업 안에는 생각보다 훨씬 많은 데이터가 존재합니다. 고객 구매 기록, 앱 사용 로그, 광고 클릭 데이터, 결제 내역, 재고 현황까지 부서마다 다른 시스템에 흩어져 있습니다. 문제는 이 데이터가 서로 다른 형식으로 저장되어 있고, 같은 고객 정보도 시스템마다 다르게 기록되는 경우가 많다는..
2026. 5. 22.
