OpenAI Whisper v4로 콜센터 녹취 STT 처리 중. 정확도 분석:
| 구분 | 정확도(WER) |
|---|---|
| 표준어 (서울·경기) | 5.2% (95% 정확) |
| 경상도 | 28% (72%) |
| 전라도 | 26% |
| 충청도 | 14% (86%) |
| 강원도 | 16% |
경상도/전라도는 매출 비중 큰 지역인데 정확도 너무 낮음. fine-tune 시도해야 할지, 다른 한국어 모델 검토할지 조언 부탁드립니다.
환경: Whisper v4 large, 16kHz audio, OpenAI API
OpenAI Whisper v4로 콜센터 녹취 STT 처리 중. 정확도 분석:
| 구분 | 정확도(WER) |
|---|---|
| 표준어 (서울·경기) | 5.2% (95% 정확) |
| 경상도 | 28% (72%) |
| 전라도 | 26% |
| 충청도 | 14% (86%) |
| 강원도 | 16% |
경상도/전라도는 매출 비중 큰 지역인데 정확도 너무 낮음. fine-tune 시도해야 할지, 다른 한국어 모델 검토할지 조언 부탁드립니다.
환경: Whisper v4 large, 16kHz audio, OpenAI API
댓글 5
Whisper의 한국어 사투리 약점은 알려진 문제. 학습 데이터에서 표준어 비중이 압도적이라 사투리 대응 약합니다. 옵션 정리.
1. 한국어 특화 STT — CLOVA Speech
네이버 CLOVA Speech는 한국어·사투리에 강합니다. KMMLU·DKMR 데이터 학습 + 사투리 데이터 별도 보강.
지역Whisper v4CLOVA Speech
표준어95%96%
경상도72%91%
전라도74%89%
가격 — 분당 ~₩30 (Whisper API는 ~₩60). 한국어 위주면 CLOVA가 답.
2. Whisper fine-tune
한국어 사투리 데이터 1,000시간 정도 모아서 fine-tune. 정확도 +15%p 가능하지만 데이터 확보가 어려움. 콜센터 녹취 동의 받는 게 큰 일.
3. 카카오 STT
카카오의 음성 인식 SDK. 한국어 강점 + 사투리 보강. 가격은 CLOVA 수준.
4. 후처리 LLM 보정
Whisper STT 결과를 Claude/GPT에 "한국어 콜센터 통화 transcript. 사투리 단어 보정"으로 LLM 보정. WER -5%p 추가 개선. 비용 +20%이지만 콜센터 사용 사례에 좋음.
저희 권장
경상도·전라도 비중 크면 CLOVA Speech 전환. fine-tune은 1년 + 데이터 확보 비용 부담. CLOVA로 즉시 +17%p 개선.
혹은 hybrid — 표준어 detected 통화는 Whisper(가격), 사투리 통화는 CLOVA. detection은 audio classifier로 분리.
주의 — 콜센터 녹취 개인정보
녹취는 민감 정보. 사용자 동의 + 외부 API 전송은 개인정보보호법상 명시 + 위탁 계약 필수. CLOVA는 한국 IDC 처리로 데이터 거주성 OK. Whisper API는 미국 처리 → 국외 이전 신고 의무.
CLOVA Speech 강추합니다. 콜센터 통화 위주면 한국 STT 전용 SDK가 압승. Whisper 다국어 강점이 한국어 + 사투리에는 무의미.