Q. 기존 레거시 시스템 연동을 어떻게 잡을 수 있을까?
Q. LLM 예산
Q. gen AI/LLM에 특화된 인재를 확보하였는가? -> 물론 일반 소프트웨어 엔지니어들도 같이 필요하다!
Q. 데이터의 품질과 다양성이 충분한가?
Q. 데이터에서 개인정보 보호 방안을 마련했는가?
Q. 적절한 GenAI/LLM 앱 아키텍쳐를 사용하고 있는가? -> 케이스가 매우 다양함
사례 1. 연구 정보를 기반으로 답변하는 연구 도우미 서비스 만들기 -> 해결책: RAG 구성하기+하이브리드 검색(키워드 검색)을 통해 검색 강화할 수 있음 (연사자분의 의견: 검색 엔진에 대한 수요 증가할 듯) 사례 2. 사용자의 질문이 짧거나 모호한 챗봇 서비스 개선하기 -> 사례 3. 너무 많은 검색결과로 LLM이 부담스러워지는 상황 사례 4. 악의적 입력이나 민감함 질문이 들어오는 고객상담 챗봇 사례 5. 시스템 성능이 떨어지거나 일관성이 없는 챗봇
Q. LLM을 하나만 써도 되는 것인가? 다양한 LLM을 사용하는데 도움을 주는 프로젝트 - Open router, routeLLM
Q. 비정형 문서의 어려움을 어떻게 해결할 것인가? HWP 파일 -> HWPX 파일
Doc, hwp에서 특정 글자가 몇 페이지에 있는지 파서만으로 알 수 있을까? -> no. 렌더링을 해봐야 아는 건데 파일 형식마다