사내 LLM 개발 워크플로우
사내 코드·문서를 외부로 내보내지 않고, 추가 토큰 비용 없이 사내 LLM 기반 개발 워크플로우 패턴을 설계하고 도입했습니다.
언어
- Python3
기술
- FastAPI
- Ollama
- vLLM
환경
- PyCharm
- VSCode
사내 코드·문서를 외부로 내보내지 않으면서, 시중 자동화 도구 없이 사내 LLM을 결합한 개발 워크플로우 패턴을 설계·도입했습니다.
배경·과제
-
보안 제품 코드와 내부 문서는 외부 반출이 금지됐습니다. 반복 작업마다 외부 API 토큰 비용을 낼 수도 없었습니다. 그래서 시중 도구를 쓰는 대신, 사내 LLM을 결합한 워크플로우를 직접 만들었습니다.
-
TextRAG·GitLab MR 리뷰봇, 개인 OSS(Glimi 등)에서 쌓인 조각난 경험을 재현 가능한 하나의 패턴으로 묶어야 했습니다.
수행·기여
-
사내 코드·문서를 의미 기반으로 검색하는 TextRAG 위에, Claude Code와 MR 리뷰봇이 그 컨텍스트를 받아 MR 코멘트와 명세를 생성하는 구조를 정의했습니다. 내부 자료가 외부로 나가지 않도록 사내 모델과 로컬 실행을 기본값으로 했습니다.
-
설계·구현·리뷰·문서화 단계에 LLM을 점진적으로 붙여 iOS 팀에 적용했습니다.
-
경력 DB·이력서·자소서 작성에도 동일한 사내 LLM 결합 구조를 썼습니다.
-
book-forge(도서 원고→docx)·Glimi 등 개인 OSS에서 배운 점을 사내 패턴으로 옮겼습니다.
성과
-
TextRAG와 GitLab MR 리뷰봇을 사내에서 운영했습니다.
-
iOS 팀 설계·리팩토링·명세 작성 작업에 이 방식을 사용했습니다.
-
민감 자료를 외부로 내보내지 않고 추가 토큰 비용 없이 LLM을 전 개발 단계에 결합했고, AOS·웹·서버 팀으로도 확장 가능한 사내 패턴으로 정리했습니다.