기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

전문가 혼합(MoE) — 파라미터는 크게, 계산은 조금만

토큰마다 일부 전문가만 켜서 파라미터는 키우고 계산은 아끼는 MoE 구조. 라우팅과 로드 밸런싱, 그리고 메모리는 왜 못 아끼는지 그 대가까지 정리했다.

#MoE#전문가혼합#라우팅