기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

GQA·MQA — KV 캐시를 줄이는 어텐션 헤드 공유

여러 어텐션 헤드가 키·값을 공유해 KV 캐시를 몇 배 줄이는 GQA와 MQA. 품질 손실은 왜 작은지, 긴 컨텍스트·동시 요청에서 왜 이득이 큰지 정리했다.

#GQA#MQA#어텐션