RAG인데도 검색된 근거를 무시하고 지어내서 답합니다. 컨텍스트를 안 읽는 걸까요

RAG 파이프라인을 붙였는데 환각 문제가 안 잡힙니다. 벡터 검색으로 관련 문서를 뽑아서 프롬프트에 컨텍스트로 넣고 답변을 생성하는데, 검색된 청크를 제가 눈으로 확인해보면 정답이 분명히 들어있어요. 그런데 모델은 그걸 무시하고 엉뚱한 걸 지어내서 답합니다.

프롬프트는 대략 "다음 문서를 참고해서 질문에 답하세요" 뒤에 검색 청크들 붙이고 마지막에 질문 넣는 구조예요. 컨텍스트가 프롬프트에 실제로 들어가는 것도 로그로 확인했고요.

모델이 컨텍스트를 아예 안 읽는 것도 아닌 게, 부분적으론 문서 내용을 반영하기도 해요. 근데 결정적인 숫자나 사실 부분에서 문서랑 다른 값을 자신있게 뱉습니다. 검색은 되는데 왜 근거를 안 쓰는 건지 모르겠어요.