핵심 요약
컨텍스트 윈도우는 모델이 한 번에 "볼 수 있는" 토큰의 총량(입력+출력)이다. 크다고 무작정 다 채우면 ①중간 내용을 놓치고(lost in the middle), ②비용·지연이 선형으로 늘며, ③관련 없는 내용이 노이즈가 되어 정확도가 떨어진다. "많이"가 아니라 "관련 있는 것만 잘 정리해서"가 핵심이다.
1. 컨텍스트 윈도우란
- 입력(시스템+프롬프트+대화기록+문서)과 출력이 같은 예산을 나눠 쓴다
- 한도를 넘으면 오래된 대화가 잘리거나(truncation) 에러가 난다
- 토큰 ≈ 단어 조각. 한글은 영어보다 토큰을 더 먹는 편
2. "중간을 잊는" 현상
긴 컨텍스트에서 모델은 맨 앞과 맨 뒤를 잘 기억하고 가운데는 놓치기 쉽다. 그래서 중요한 지시·핵심 문서는 프롬프트의 앞이나 끝에 배치하는 게 유리하다.
3. 길게 넣을 때의 대가
| 영향 | 내용 |
|---|---|
| 비용 | 입력 토큰만큼 과금 — 매 호출마다 |
| 지연 | 토큰이 많을수록 첫 응답이 느려짐 |
| 정확도 | 무관한 내용이 섞이면 오히려 산만 |
4. 잘 쓰는 전략
- RAG — 전체 문서를 넣지 말고, 검색으로 관련 조각만 추려 넣는다
- 요약·압축 — 긴 대화는 중간중간 요약해 토큰을 줄인다
- 구조화 — 지시/맥락/데이터를 구분(헤더·구분선)해 모델이 파싱하기 쉽게
- 핵심은 끝에 — 가장 중요한 질문·지시는 프롬프트 마지막에
5. 함정
- "윈도우가 200K니까 다 넣자"는 비용·품질 모두 손해일 수 있다
- 대화가 길어지면 앞부분이 조용히 잘려 맥락이 사라진다 — 요약으로 관리
- 출력이 길 것 같으면 입력을 줄여 출력 예산을 남겨야 한다
자주 묻는 질문
컨텍스트가 크면 RAG가 필요 없지 않나요?
아닙니다. 문서를 통째로 넣으면 비용·지연이 커지고 무관한 내용이 정확도를 떨어뜨립니다. RAG로 질문에 관련된 조각만 골라 넣으면 더 싸고 빠르고 정확합니다. 큰 윈도우는 RAG의 대체가 아니라 보완입니다.
중요한 지시를 어디에 둬야 하나요?
모델은 프롬프트의 처음과 끝을 더 잘 반영합니다. 핵심 지시·질문은 맨 끝에, 시스템 규칙은 맨 앞에 두고, 방대한 참고 자료를 가운데에 배치하는 구성이 안정적입니다.
대화가 길어지면 왜 앞 내용을 잊나요?
누적 대화가 윈도우 한도를 넘으면 오래된 메시지가 잘려 나가기 때문입니다. 긴 세션은 이전 대화를 주기적으로 요약해 압축하거나, 필요한 사실만 별도 메모리로 관리하면 맥락을 유지할 수 있습니다.
댓글 0