기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

데스크톱 프로그램에 로컬 LLM을 넣을까 — 설치 파일이 수 GB가 되는 딜레마

데스크톱 프로그램에 로컬 LLM을 기본 번들하면 설치 파일이 수 GB로 커진다. 번들, 추가 모델 팩, 사용자 로컬 서버 연결, 클라우드 API 네 가지 선택지를 비교하고 내가 고른 방향을 정리했다.

#로컬 LLM#local LLM#오프라인 번역

와트당 지능 — 로컬 AI 추론 효율을 측정하는 법

토큰/초만으로는 로컬 추론 성능을 설명할 수 없다. 메모리 대역폭 한계, 프리필과 디코드의 차이, 전력당 처리량, 배치 효과까지 실제로 측정하고 비교하는 기준을 정리한다.

#로컬LLM#추론최적화#전력효율

1.58비트 삼진 LLM — 극단 양자화가 실제로 이기는 지점과 지지 않는 지점

가중치를 -1, 0, +1 세 값으로 표현하는 삼진(ternary) 양자화의 원리와 현실을 정리한다. 메모리·연산 이득이 어디서 나오는지, 왜 사후 양자화로는 어려운지, 현재 어떤 조건에서 실용적인지 따져 본다.

#양자화#삼진#BitNet

로컬 LLM 서빙 — Ollama·vLLM·llama.cpp 비교와 운영 기준

로컬 LLM 서빙 도구 Ollama·vLLM·llama.cpp를 처리량·연속 배칭·양자화·GPU 메모리 기준으로 비교한다. KV 캐시 계산법, OpenAI 호환 API 붙이는 법, 상황별로 언제 무엇을 써야 하는지까지 실무 관점에서 정리했다.

#로컬 LLM#vLLM#Ollama

Mobile15분 읽기

온디바이스 AI — 폰에서 도는 소형 LLM의 실전화(지연·프라이버시·비용을 뒤집다)

4비트로 양자화된 소형 LLM이 스마트폰 NPU 위에서 실전화됐다. 왜 온디바이스인지, 양자화·증류·LoRA·런타임·하이브리드 라우팅까지 앱 개발자 관점에서 2026년 기준으로 정리한다.

#온디바이스AI#SLM#양자화

LLM 양자화 — GPTQ·AWQ·GGUF, INT4가 뭘 버리고 뭘 지키나

가중치를 4비트로 줄여도 왜 멀쩡한지, GPTQ·AWQ·GGUF의 차이와 Q4_K_M 같은 이름 읽는 법, 품질과 크기의 스위트스폿까지 정리한 로컬 LLM 양자화 가이드.

#양자화#GPTQ#AWQ

Llama.cpp 로컬 LLM 최적화 — 양자화와 GGUF 포맷

llama.cpp를 활용한 로컬 LLM 실행 시 양자화 수준별 성능 차이와 GGUF 포맷의 구조를 분석하고 최적 설정을 찾는 방법입니다.

#Llama#양자화#GGUF