인터넷 창을 닫았는데도 답이 나온다. 거대한 데이터센터가 아니라 내 책상 위 컴퓨터가 직접 문장을 계산하는 순간, 로컬 LLM은 막연한 기술 유행이 아니라 손에 잡히는 운영 문제가 된다. 이 책은 “한 번 설치하면 끝”이라는 착각을 걷어 내고, 첫 실행 이후 실제로 서버를 굴리는 순서를 설명한다.

모델과 실행 프로그램, 서버의 차이부터 GPU와 VRAM, 모델 크기와 양자화, Ollama류 도구의 실행 흐름, 로컬 포트와 실패 메시지 읽기까지 초보자가 헷갈리는 층위를 차근히 분리한다. 개인용 챗봇과 문서 검색기의 차이, RAG에서 문서를 쪼개고 색인하는 방식, 출처 문장을 붙여 답변을 검증하는 기준도 함께 다룬다.

로컬이라는 말은 곧 안전을 뜻하지 않는다. 사내 문서 AI를 만들 때는 접근 권한, 로그, 백업, 프롬프트 인젝션, 라이선스와 배포 조건이 성능보다 먼저 온다. 개인 실험을 팀 도구로 키우고 싶은 독자라면 이 책이 작은 AI 서버를 시작하고, 멈추고, 다시 되돌릴 수 있는 운영 지도를 제공한다.