llama.cpp로 CPU에서 LLM 돌리기

llama.cpp는 C/C++로 작성된 LLM 추론 엔진으로 CPU에서 동작합니다:

# Ollama가 내부적으로 llama.cpp 사용
# 직접 사용하려면:
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make

# GGUF 양자화 모델 다운로드 후 실행
./main -m models/llama-2-7b.Q4_K_M.gguf -p "Hello"

CPU 성능 가이드:

• 7B Q4 모델 — 일반 노트북에서 초당 5~10 토큰
• 13B Q4 모델 — RAM 16GB+, 초당 3~5 토큰
• Apple Silicon M1/M2 — GPU 가속으로 상당히 빠름

양자화는 모델 가중치의 정밀도를 낮춰서 크기와 메모리를 줄이는 기법입니다:

• FP16 — 원본 대비 거의 동일, 크기 절반
• Q8 — 원본 대비 99% 품질, 크기 1/4
• Q4_K_M — 95%+ 품질, 크기 1/8 (가장 추천)
• Q2 — 품질 저하 체감됨

Q4_K_M이 품질과 크기의 최적 균형입니다. 대부분의 경우 Q4로 충분합니다.