본문 바로가기

TECH NOTES

기술노트

현장에서 검증된 개발 지식을 기록합니다.

전체 1건
1
AI6분 읽기
RoPE(회전 위치 임베딩) — 컨텍스트 길이를 늘리는 위치 인코딩
위치를 벡터에 더하지 않고 회전으로 심는 RoPE의 원리와, base 조정·보간으로 학습보다 긴 컨텍스트로 확장하는 트릭까지. 상대 거리가 자연히 드러나는 이유를 설명한다.
#RoPE#위치임베딩#트랜스포머
2026.08.16