온디바이스 소형 LLM(SLM) — 작은 모델이 다시 뜨는 이유

온디바이스 소형 LLM(small language model, SLM)은 클라우드 서버가 아니라 폰·노트북·엣지 기기 안에서 직접 돌아가는 작은 언어 모델을 말한다. 거대 모델 경쟁이 한창인 와중에 "작은 모델"이 다시 주목받는 건, 모든 요청을 굳이 초거대 모델에 보낼 필요가 없다는 실용적 깨달음이 퍼졌기 때문이다.

몇 년간 흐름은 "더 크게"였다. 파라미터가 많을수록 똑똑하니까. 그런데 실제 서비스를 운영해보면 알게 된다. 사용자 요청의 상당수는 굳이 세상에서 제일 큰 모델이 아니어도 충분하다. 분류하고, 요약하고, 형식을 맞추고, 간단한 질문에 답하는 일 말이다. 이런 일에 초거대 모델을 쓰는 건 택배 하나 부치자고 트럭을 부르는 격이다.

왜 작은 모델이 다시 뜨나

세 가지가 맞물렸다. 첫째, 작은 모델의 품질이 좋아졌다. 좋은 데이터로 잘 훈련하면, 예전 같으면 훨씬 큰 모델이 필요했던 작업을 이제 작은 모델이 해낸다. 둘째, 기기의 힘이 세졌다. 요즘 스마트폰과 노트북에는 AI 연산용 가속기가 들어가 있어, 작은 모델 정도는 로컬에서 돌릴 만하다. 셋째, 비용과 프라이버시 압박이 커졌다. 모든 요청을 클라우드로 보내면 돈이 들고, 민감한 데이터가 밖으로 나간다.

온디바이스가 주는 것

온디바이스의 진짜 매력은 성능 수치가 아니라 구조적 이점이다. 네트워크 왕복이 없으니 응답이 즉각적이다. 서버 비용이 안 드니 사용량이 늘어도 과금이 폭발하지 않는다. 무엇보다 데이터가 기기를 떠나지 않는다. 건강 정보, 메시지, 사진 같은 걸 다루는 기능이라면 이 점 하나만으로도 온디바이스를 택할 이유가 된다.

나는 자동완성이나 텍스트 정리 같은 상시 기능을 로컬 모델로 옮겨봤는데, 체감 반응 속도가 완전히 달라졌다. 서버로 갔다 오는 지연이 사라지니 "AI를 쓴다"는 감각조차 없이 자연스럽게 녹아든다.

한계는 분명하다

물론 작은 모델은 큰 모델을 대체하지 못한다. 복잡한 추론, 긴 문서 종합, 폭넓은 지식이 필요한 작업에선 여전히 큰 모델이 이긴다. 기기의 메모리와 배터리도 제약이다. 그래서 현실적인 답은 대체가 아니라 역할 분담이다.

하이브리드가 현실

실전에서 자리 잡는 형태는 라우팅이다. 들어온 요청을 먼저 작은 로컬 모델이 보고, 자기가 처리할 수 있으면 바로 답하고, 벅차면 큰 클라우드 모델로 넘긴다. 쉬운 다수는 로컬에서 즉시, 어려운 소수만 클라우드로. 이렇게 하면 속도·비용·프라이버시를 대부분 챙기면서도 어려운 작업의 품질을 포기하지 않는다. "작은 모델의 부상"은 결국 "큰 모델의 퇴장"이 아니라 둘을 언제 나눠 쓰느냐의 문제로 정리되고 있다.

자주 묻는 질문

온디바이스 모델은 성능이 많이 떨어지지 않나요?

복잡한 작업에선 큰 모델에 못 미친다. 하지만 분류·요약·형식 변환·간단한 질의 같은 정형화된 작업에선 충분한 경우가 많다. 요점은 "모든 작업을 잘한다"가 아니라 "자주 반복되는 쉬운 작업을 싸고 빠르게 처리한다"는 것이다. 어려운 작업은 큰 모델에 맡기는 분업 구조가 전제다.

왜 그냥 클라우드 API를 쓰지 않나요?

클라우드는 편하지만 세 가지 대가가 있다. 매 호출의 지연, 사용량에 비례하는 비용, 그리고 데이터가 외부로 나간다는 점이다. 상시 동작하는 기능이나 민감 정보를 다루는 기능이라면 이 대가가 크다. 온디바이스는 이 세 가지를 구조적으로 해결하는 대신, 처리 능력의 상한을 감수하는 선택이다.

어떤 기능부터 온디바이스로 옮기면 좋나요?

자주 호출되고, 지연에 민감하며, 처리가 비교적 단순한 기능이 1순위다. 자동완성, 텍스트 정리, 알림 요약, 간단한 분류 같은 것들이다. 반대로 드물게 쓰이지만 깊은 추론이 필요한 기능은 클라우드에 두는 게 낫다. 자주 쓰이는 것부터 로컬로, 어려운 것은 서버로 나누는 게 합리적이다.