LLM4 AI서비스 기획과 일반 서비스 기획 차이(모델, 데이터, 평가) AI 서비스 기획 직무를 준비하는 취업 준비생의 포트폴리오를 함께 점검하다 보면 화면 구성과 사용자 흐름은 잘 만들어져 있는데, 정작 AI가 예상과 다른 결과를 만들었을 때 어떻게 처리할 것인지가 빠져 있는 경우가 있습니다. 사용자가 질문을 입력하면 AI가 답변하고, 답변을 저장하거나 다시 생성하는 기능까지는 상세하게 기획되어 있지만 모델이 잘못된 정보를 생성했을 때 어떤 문구를 보여줄지, 근거가 부족한 질문에서는 어디까지 답변하게 할지, 같은 질문에 조금 다른 결과가 나와도 정상으로 볼 수 있는지는 정리되지 않은 식입니다. 일반적인 서비스 기획에서는 회원가입이 성공했는지, 결제가 정상적으로 끝났는지처럼 비교적 명확한 성공과 실패 조건을 정의할 수 있습니다. 하지만 생성형 AI 서비스에서는 같은 입력에도.. 2026. 10. 21. RAG 프로젝트 취업 포트폴리오 장단점(검색, 생성, 평가) AI 직무를 준비하는 취업 준비생의 포트폴리오를 함께 점검하다 보면 RAG 프로젝트가 상당히 자주 등장합니다. PDF나 사내 문서를 벡터 DB에 저장하고 사용자가 질문하면 관련 문서를 검색한 뒤 LLM이 답변하는 구조입니다. LangChain이나 LlamaIndex 같은 프레임워크를 사용했고 임베딩과 벡터 검색까지 구현했기 때문에 처음 보면 AI 프로젝트로서 준비가 잘 된 것처럼 보일 수 있습니다. 그런데 프로젝트 설명을 조금 더 들어가면 차이가 나타납니다. 왜 문서를 해당 크기로 나누었는지, 검색 결과 첫 번째 문서가 실제 질문과 관련 있는지, 벡터 검색만 사용했는지 키워드나 하이브리드 검색과 비교했는지 질문하면 답변이 짧아지는 경우가 있습니다. 생성된 답변도 자연스럽지만 실제 문서에 없는 내용을 모델.. 2026. 10. 19. AI 에이전트 개발자 역량(LLM, API, 오케스트레이션) AI 에이전트 개발 직무를 준비하는 취업 준비생의 프로젝트를 함께 점검하다 보면 ChatGPT나 LLM API를 활용한 기능은 여러 개 만들었는데, 실제 에이전트가 어떤 구조로 동작하는지를 설명하는 단계에서 답변이 짧아지는 경우가 있습니다. 사용자의 질문을 받아 모델에 전달하고 답변을 화면에 출력하는 챗봇은 완성했지만, 사용자가 일정 조회와 문서 검색, 데이터 등록처럼 실제 작업을 요청했을 때 어떤 기능을 선택하고 어떤 순서로 실행해야 하는지는 프로젝트에 포함되지 않은 식입니다. 조금 더 깊게 질문하면 차이가 분명해집니다. LLM이 잘못된 형식으로 결과를 반환하면 어떻게 처리하는지, 외부 API 호출이 실패하면 다시 시도할 것인지 중단할 것인지, 여러 도구를 사용해야 한다면 어느 작업부터 실행할 것인지,.. 2026. 10. 11. 생성형AI 취업 프롬프트만으론 부족한 이유(RAG, 평가, 운영) 생성형 AI 취업을 준비하는 학생의 포트폴리오를 검토했을 때 처음에는 상당히 준비가 잘 되어 있는 것처럼 보인 적이 있습니다. ChatGPT API를 이용해 챗봇을 만들었고, 역할을 부여하는 프롬프트와 답변 형식을 제한하는 프롬프트도 여러 버전으로 비교해 두었습니다. 질문에 따라 답변 톤을 바꾸고 특정 형식으로 결과를 출력하는 기능까지 구현되어 있어 프롬프트 실습 자체는 충분해 보였습니다. 그런데 실제 프로젝트를 조금 더 깊게 확인하면서 차이가 드러났습니다. 회사 내부 문서를 질문에 활용해야 한다면 어떤 문서를 어떻게 찾을 것인지, 검색된 문서와 모델 답변이 맞는지 무엇으로 평가할 것인지, 잘못된 답변이 반복되면 어떤 기록을 확인해야 하는지 물었을 때 답변이 짧아졌습니다.모의면접에서도 비슷한 장면이 나옵.. 2026. 9. 23. 이전 1 다음
