LLM-as-Judge — AI로 AI를 채점하는 평가법

LLM-as-Judge는 AI가 만든 답을 사람이 아니라 또 다른 AI가 채점하게 하는 평가 방법이다. "AI로 AI를 심사한다"는 말이 어폐처럼 들리지만, LLM 애플리케이션을 운영해본 사람이라면 왜 이게 필요한지 안다. 답의 품질을 매번 사람이 일일이 확인하는 건 느리고 비싸고, 무엇보다 규모가 커지면 불가능하기 때문이다.

문제의 뿌리는 이거다. 요약이나 답변 같은 자유 형식 출력은 정답이 하나가 아니다. "이 요약이 좋은가?"에 정확히 일치하는 기댓값이 없으니 자동 채점이 어렵다. 그렇다고 사람이 다 볼 수도 없다. 그 틈을 메우려는 게 LLM-as-Judge다. 잘 정의된 기준을 주고, 강한 모델에게 "이 답이 그 기준을 얼마나 만족하는지" 평가시키는 것이다.

왜 사람 평가로는 부족한가

사람 평가는 여전히 가장 믿을 만한 기준이다. 문제는 속도와 비용이다. 프롬프트를 하나 바꾸면 수백 개 출력이 어떻게 달라졌는지 봐야 하는데, 매번 사람이 보면 하루가 간다. 개발 주기가 그 속도에 묶인다. LLM-as-Judge는 이 반복 루프를 분 단위로 줄여, 실험을 훨씬 빨리 돌리게 해준다. 사람 평가를 없애는 게 아니라, 사람이 봐야 할 것을 걸러주는 1차 필터에 가깝다.

점수 매기기보다 비교시키기

실무에서 얻은 중요한 교훈 하나. 심판에게 "이 답에 1~10점을 매겨라"라고 하면 점수가 들쭉날쭉하고 재현성이 떨어진다. 같은 답을 두 번 물어도 다른 점수가 나온다. 대신 둘 중 어느 쪽이 더 나은가를 고르게 하는 쌍 비교(pairwise)가 훨씬 안정적이다. 사람도 절대 점수보다 상대 비교를 잘하는 것과 같다. A 프롬프트와 B 프롬프트의 출력을 나란히 놓고 승패를 세면, 어느 쪽이 나은지 훨씬 또렷하게 드러난다.

심판의 편향

심판 모델도 사람처럼 편향을 가진다. 이걸 모르면 평가에 속는다.

• 위치 편향 — 먼저 제시된 답을 선호하는 경향. 순서를 바꿔 두 번 평가해 상쇄한다.
• 길이 편향 — 길고 화려한 답을 좋다고 여기는 경향. 실제론 간결한 답이 나을 때도 많다.
• 자기 선호 — 자기와 비슷한 스타일의 답에 후한 경향.

나는 위치 편향을 몰랐을 때, A가 항상 이기길래 A 프롬프트가 좋은 줄 알았다. 알고 보니 A를 늘 먼저 보여줬을 뿐이었다. 순서를 뒤집자 결과가 뒤집혔다. 그 뒤로 쌍 비교는 반드시 순서를 바꿔 두 번 돌린다.

심판을 믿기 전에 심판을 검증하라

핵심 원칙 하나로 정리한다. 심판 모델의 판정을 그냥 믿지 말고, 그 판정이 사람 판단과 얼마나 일치하는지 먼저 확인하라. 사람이 채점한 소량의 표본을 만들어, 심판이 같은 결론을 내는지 대조한다. 일치도가 높으면 그 심판을 대규모로 돌려도 되고, 낮으면 채점 기준을 다듬어야 한다는 신호다. 심판은 사람 평가를 대체하는 게 아니라 확장하는 도구이고, 그 확장이 믿을 만한지는 사람이라는 기준점으로 검증해야 한다.

자주 묻는 질문

AI가 AI를 채점하면 신뢰할 수 있나요?

무조건은 아니다. 그래서 심판의 판정을 사람 판단과 대조해 일치도를 먼저 확인해야 한다. 잘 정의된 기준과 검증 절차를 거친 심판은 대규모 반복 평가에서 유용하지만, 검증 없이 점수만 믿으면 편향에 속을 수 있다. 심판은 최종 진실이 아니라, 사람이 봐야 할 대상을 좁혀주는 빠른 1차 필터로 쓰는 게 안전하다.

점수를 매기게 할까요, 비교시킬까요?

대체로 비교가 낫다. 절대 점수는 같은 답에도 흔들리기 쉬운 반면, 둘 중 나은 쪽을 고르는 쌍 비교는 훨씬 안정적이고 재현성이 높다. 여러 후보를 평가할 땐 서로 맞붙여 승률을 집계하는 방식이 유용하다. 다만 비교할 땐 제시 순서를 바꿔 두 번 돌려 위치 편향을 상쇄하는 게 필수다.

어떤 편향을 조심해야 하나요?

대표적으로 먼저 나온 답을 선호하는 위치 편향, 길고 장황한 답을 좋다고 보는 길이 편향, 자기와 비슷한 스타일에 후한 자기 선호가 있다. 순서를 뒤집어 평가하고, 채점 기준에 "간결함도 가치"임을 명시하며, 심판 판정을 사람 표본과 대조하는 것으로 상당 부분 완화할 수 있다. 편향의 존재를 알고 설계하는 것 자체가 절반이다.