본문 바로가기

데이터전처리3

AI 직무 취업 Python 다음 학습(데이터, ML, 배포) AI 직무를 준비하는 취업 준비생의 학습 과정과 프로젝트를 함께 점검하다 보면 Python 문법과 기본 라이브러리는 상당히 익숙한데, 그다음 무엇을 공부해야 하는지에서 방향이 갈리는 경우가 있습니다. 변수와 함수, 클래스까지 학습했고 NumPy와 Pandas도 한 번씩 사용했지만 바로 딥러닝 강의로 넘어가야 하는지, SQL과 데이터 전처리를 더 공부해야 하는지, 아니면 PyTorch로 모델부터 만들어야 하는지 판단하지 못하는 식입니다. 조금 더 진행한 경우에는 머신러닝 모델까지 만든 경험이 있는데도 비슷한 문제가 나타납니다. 캐글이나 공개 데이터셋을 이용해 분류 모델을 학습하고 정확도를 비교했지만, 새로운 데이터가 들어오면 어떤 전처리가 다시 필요한지, 학습한 모델을 다른 사용자가 실제로 이용하려면 어떻.. 2026. 10. 18.
AI엔지니어 취업 모델 학습만으론 부족(데이터, 배포, 평가) AI 엔지니어 취업을 준비하는 학생의 포트폴리오를 검토할 때 처음에는 상당히 잘 준비된 것처럼 보이는 경우가 있습니다. 이미지 분류 모델을 만들었고, 자연어 처리 프로젝트도 진행했으며, 학습 정확도와 검증 정확도 그래프도 깔끔하게 정리되어 있습니다. 사용한 모델과 하이퍼파라미터, epoch에 따른 loss 변화까지 설명되어 있으면 머신러닝 공부를 꾸준히 했다는 점도 보입니다. 그런데 프로젝트를 조금 더 깊게 확인하면 예상하지 못한 빈틈이 나타납니다. 학습 데이터는 어디에서 왔는지, 누락값과 중복값은 어떻게 처리했는지, 학습용과 검증용 데이터를 어떤 기준으로 나눴는지 물으면 답변이 짧아지는 식입니다.모의면접에서도 비슷한 장면이 나옵니다. 모델 정확도가 90% 이상 나왔다고 설명한 뒤 새로운 데이터가 들어오.. 2026. 9. 22.
SQL 실습 직무 역량 정리(쿼리작성, 데이터정제, 분석결과) 데이터 직무를 준비하는 분의 SQL 프로젝트를 검토하면서 온라인 쇼핑몰의 재구매율을 분석한 자료를 본 적이 있습니다. 준비생은 고객, 주문, 상품 테이블을 조인하고 고객별 구매 횟수를 계산한 뒤 재구매율이 약 18퍼센트라는 결과를 제시했습니다. 쿼리에는 서브쿼리와 그룹 함수가 사용되어 있었고 실행 결과도 보기 좋게 정리되어 있었습니다. 그러나 재구매 고객과 전체 고객을 어떤 기준으로 구분했는지 묻자 답변이 막혔습니다. 회원가입만 하고 구매하지 않은 사람을 분모에 포함했는지, 첫 구매 후 며칠이 지나야 재구매 가능성이 있다고 판단했는지, 취소된 주문을 구매 횟수에 넣었는지가 정리되지 않았기 때문입니다. 원본 데이터를 다시 확인하니 한 주문에 여러 상품이 포함되면서 주문 테이블과 상품 상세 테이블을 조인할 .. 2026. 8. 24.