AI는 이미 회사 일의 많은 부분을 덜어 주고 있습니다. 그런데 정작 AI가 가장 큰 도움이 될 자료는 외부 AI 서비스로 보낼 수 없는 경우가 많습니다. 설계 도면과 공정 문서, 민원 기록, 고객 신용정보처럼 회사 밖으로 나가면 안 되는 자료입니다. 이런 자료를 AI로 다루려면 모델을 회사 안, 폐쇄망 안으로 들여와야 합니다.

막상 사내 구축을 시작하면 질문이 줄줄이 이어집니다. 어떤 모델을 골라야 하는지, GPU는 몇 장이 필요한지, 모델 파일은 어떻게 안전하게 들여오는지, 사내 문서는 어떻게 검색하게 하는지. 그리고 경영진은 결국 이렇게 묻습니다. "그래서 상용 AI만큼 됩니까?"

이 책은 사내 구축이 결정된 뒤의 일을 순서대로 안내합니다. 먼저 우리 업무에서 뽑은 평가셋으로 "충분한 성능"을 숫자로 정의합니다. 그 기준으로 공개 가중치 모델을 고르고, GPU 메모리와 처리량을 계산해 장비를 산정하고, 추론 서버를 세웁니다. 모델과 패키지, 컨테이너를 검사와 승인을 거쳐 반입하는 절차와 반입 대장, 질문자가 볼 수 있는 문서만 찾는 사내 문서 검색, 업무 시스템과 도구 연동까지 다룹니다. 성능이 모자라면 프롬프트와 컨텍스트, 미세조정으로 메우고, 상용 API와 같은 문항으로 비교한 보고서로 증명합니다. 마지막으로 보안과 감사, 모니터링과 장애 대응, 모델 교체와 총소유비용까지 오래 쓰는 데 필요한 틀을 정리합니다.

모든 해 보기는 노트북 GPU에서 직접 실행해 확인했고, 실제로 나온 값을 실었습니다. 같은 스크립트를 여러분의 장비에서 돌리면 여러분의 숫자를 얻을 수 있습니다. 부록에는 GPU 메모리·처리량 산정표, 반입 체크리스트, 업무별 평가셋 템플릿, 모델·도구 비교표, 용어집을 실었습니다.

이런 분께 권합니다
외부 AI로 보낼 수 없는 자료 때문에 사내 AI 구축을 맡게 된 IT 담당자와 개발자
모델 선정과 GPU 예산을 근거와 함께 보고해야 하는 기획자와 관리자
폐쇄망·망분리 환경에서 AI를 들여와야 하는 공공기관과 기업의 실무자