OpenAI DevDay 2024에서 Realtime API, Vision Fine-tuning, Prompt Caching, Model Distillation 등이 발표됐습니다.
Realtime API는 음성 대화를 실시간으로 처리할 수 있게 해줍니다. WebSocket 기반이라 기존 오디오 스트리밍 인프라와 연동이 쉽습니다.
Prompt Caching은 반복되는 시스템 프롬프트의 비용을 50% 절감해줍니다. API를 많이 호출하는 서비스에서 비용 절감 효과가 큽니다.
댓글 0