기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

로컬 LLM 서빙 — Ollama·vLLM·llama.cpp 비교와 운영 기준

로컬 LLM 서빙 도구 Ollama·vLLM·llama.cpp를 처리량·연속 배칭·양자화·GPU 메모리 기준으로 비교한다. KV 캐시 계산법, OpenAI 호환 API 붙이는 법, 상황별로 언제 무엇을 써야 하는지까지 실무 관점에서 정리했다.

#로컬 LLM#vLLM#Ollama

Gemma 4 완벽 가이드 — Ollama로 설치부터 실전 활용까지

Google Gemma 4를 Ollama로 설치하고 실전에서 활용하는 완벽 가이드. 속도, 안정성, 한국어 성능 테스트와 API 연동까지.

#Gemma4#Ollama#로컬LLM

Ollama로 로컬 LLM 실행하기 — LLaMA, Mistral, Phi

Ollama를 사용해 로컬에서 오픈소스 LLM을 실행하고 API로 활용하는 방법.

#Ollama#Local LLM#LLaMA

Ollama 로컬 LLM 실행 — Llama 2·Mistral·Phi

Ollama 로컬 LLM 실행 — Llama 2·Mistral·Phi — 실무에서 바로 적용할 수 있는 가이드입니다.

#Ollama#로컬LLM#Llama