로컬에서 LLM 돌리는 방법 (Ollama)

Ollama는 로컬에서 LLM을 쉽게 실행할 수 있는 도구입니다.

# 설치 (macOS/Linux)
curl -fsSL https://ollama.com/install.sh | sh

# 모델 실행
ollama run llama2        # Meta Llama 2
ollama run mistral       # Mistral 7B
ollama run codellama     # 코딩 특화
ollama run llama2:13b    # 13B 모델

# API 서버로 사용
curl http://localhost:11434/api/generate -d '{
  "model": "mistral",
  "prompt": "Python으로 피보나치 함수 작성해줘"
}'

장점:

• 인터넷 없이 동작, 데이터 외부 유출 없음
• API 비용 $0
• 기업 내부 문서 기반 챗봇 구축 가능

요구 사양: 7B 모델 → RAM 8GB+, 13B → 16GB+, 70B → 64GB+