기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

KV 캐시 — LLM이 토큰을 하나씩 뱉어도 빠른 이유

LLM이 긴 답변을 빠르게 만드는 비결인 KV 캐시의 원리와, 시퀀스·배치에 비례해 불어나는 메모리 부담, PagedAttention으로 낭비를 줄이는 법까지 정리했다.

#KV캐시#LLM추론#PagedAttention