TECH NOTES
기술노트
현장에서 검증된 개발 지식을 기록합니다.
21
AI
데스크톱 프로그램에 로컬 LLM을 넣을까 — 설치 파일이 수 GB가 되는 딜레마
데스크톱 프로그램에 로컬 LLM을 기본 번들하면 설치 파일이 수 GB로 커진다. 번들, 추가 모델 팩, 사용자 로컬 서버 연결, 클라우드 API 네 가지 선택지를 비교하고 내가 고른 방향을 정리했다.
AI
로컬 LLM 서빙 — Ollama·vLLM·llama.cpp 비교와 운영 기준
로컬 LLM 서빙 도구 Ollama·vLLM·llama.cpp를 처리량·연속 배칭·양자화·GPU 메모리 기준으로 비교한다. KV 캐시 계산법, OpenAI 호환 API 붙이는 법, 상황별로 언제 무엇을 써야 하는지까지 실무 관점에서 정리했다.