NPU — 스마트폰·PC에 왜 별도 AI 칩이 들어가나

요즘 새로 나오는 노트북과 스마트폰 소개 자료를 보면 CPU 코어 수나 클럭보다 앞자리에 'NPU'와 'TOPS'라는 낯선 숫자가 먼저 등장한다. NPU는 신경망 연산을 전담하는 별도의 가속기다. 사진 속 인물을 지우고, 통화 잡음을 실시간으로 걷어내고, 회의 녹음을 자동으로 요약하는 그 처리를 클라우드가 아니라 손안의 칩이 직접 맡게 하려는 흐름이 만든 부품이다.

나는 처음 이 숫자를 봤을 때 마케팅 용어 하나가 늘었구나 정도로 넘겼다. 그런데 최근 몇 세대의 칩 구조를 뜯어보면서 생각이 바뀌었다. NPU는 그냥 홍보 문구가 아니라, 컴퓨터가 무엇을 잘해야 하는지에 대한 기준 자체가 옮겨가고 있다는 신호에 가깝다.

NPU가 CPU·GPU와 나뉘어 존재하는 이유

컴퓨터에 이미 CPU가 있고 GPU도 있는데 왜 세 번째 연산기를 또 넣느냐는 질문이 자연스럽다. 답은 세 칩이 잘하는 일의 모양이 다르기 때문이다. CPU는 조건 분기가 많고 순서가 얽힌 일반적인 프로그램을 빠르게 훑는 데 강하다. 소수의 강력한 코어가 복잡한 로직을 순차적으로 밀어붙이는 구조다.

GPU는 반대다. 화면의 수백만 픽셀을 동시에 계산하려고 태어난 만큼, 같은 연산을 엄청난 규모로 병렬 처리한다. 신경망 학습이 GPU 위에서 폭발적으로 성장한 것도 이 병렬성 덕분이다. 다만 GPU는 성능을 끌어올릴수록 전력을 크게 먹는다. 데이터센터라면 상관없지만 배터리로 버티는 노트북·폰에서는 이야기가 다르다.

NPU는 이 사이의 빈 자리를 노린다. 신경망 추론은 대부분 행렬 곱셈과 누적 덧셈의 반복이다. 그래서 NPU는 이 단순 연산만 잔뜩 늘어놓은 회로로 채워진다. 유연성을 포기한 대신, 정해진 작업을 GPU보다 훨씬 낮은 전력으로, 배터리 위에서 하루 종일 켜둘 수 있을 만큼 효율적으로 처리한다. '항상 켜져 있어도 부담 없는 AI 연산기'가 NPU의 존재 이유다.

TOPS라는 숫자는 무엇을 뜻하나

NPU 성능은 흔히 TOPS(초당 조 단위 연산)로 표기된다. 숫자가 클수록 초당 더 많은 곱셈·덧셈을 처리한다는 뜻이다. 다만 나는 이 숫자를 자동차 최고속도처럼 받아들이라고 말하고 싶다. 참고는 되지만 실제 체감은 소프트웨어가 그 성능을 얼마나 잘 끌어 쓰느냐, 어떤 정밀도로 계산하느냐에 따라 크게 갈린다. 같은 TOPS라도 실제 앱에서의 반응 속도는 다를 수 있다.

왜 지금 이 흐름이 빨라졌나

NPU 자체는 새로운 개념이 아니다. 스마트폰에는 꽤 오래전부터 얼굴 인식이나 카메라 보정을 위한 소형 AI 가속기가 들어 있었다. 흐름이 급해진 건 생성형 AI가 쓰임새를 바꿔놓으면서다. 문장을 요약하고, 이미지를 만들고, 음성을 실시간으로 옮기는 무거운 모델을 사람들이 일상에서 쓰기 시작하자, 그 연산을 어디서 처리할 것이냐가 현실적인 문제가 됐다.

모든 걸 클라우드로 보내는 방식에는 세 가지 부담이 따른다. 서버 비용, 네트워크 지연, 그리고 개인정보다. 내 사진과 음성, 대화 내용을 매번 외부 서버로 넘겨야 한다는 점은 특히 예민한 대목이다. 온디바이스 처리는 이 셋을 한 번에 줄인다. 기기 안에서 끝나니 지연이 짧고, 서버 요금이 붙지 않으며, 민감한 데이터가 밖으로 나가지 않는다.

현실적인 한계도 분명하다

다만 NPU가 클라우드를 완전히 대체한다는 이야기는 과장이다. 기기에 들어가는 모델은 메모리와 발열 한계 때문에 규모가 제한된다. 가장 크고 똑똑한 최신 모델은 여전히 데이터센터급 하드웨어를 요구한다. 그래서 실제 제품은 대개 나눠 쓰는 방향으로 간다. 가볍고 빈번한 일은 기기 안 NPU가, 정말 무거운 추론은 클라우드가 맡는 하이브리드 구조다.

• 소프트웨어 성숙도 — 하드웨어는 앞서가는데 이를 제대로 활용하는 앱과 개발 도구가 아직 따라잡는 중이다.
• 파편화 — 제조사마다 NPU 설계와 지원 도구가 달라, 개발자가 한 번 짜서 어디서나 돌리기가 쉽지 않다.
• 체감의 문턱 — 숫자상 TOPS가 올라도 일반 사용자가 매일 그 차이를 느낄 킬러 기능은 이제 막 자리를 잡아가는 단계다.

그럼에도 방향은 분명하다고 본다. 지난 수십 년간 컴퓨터의 무게중심이 필요에 따라 옮겨왔듯, 지금은 AI 추론이라는 새 작업을 위해 전용 회로가 표준 부품으로 자리 잡는 과정이다. 몇 년 뒤면 NPU가 들어 있느냐를 굳이 따지지 않게 될 것이다. 그때쯤이면 그건 CPU처럼 당연히 있는 부품이 되어 있을 테니까.

자주 묻는 질문

NPU가 없으면 AI 기능을 못 쓰나요?

아닙니다. NPU가 없어도 CPU나 GPU가 대신 연산을 처리하거나 클라우드로 넘겨서 같은 기능을 쓸 수 있습니다. 다만 NPU는 그 작업을 훨씬 적은 전력으로 처리하도록 만들어졌기 때문에, 배터리 소모와 발열 면에서 유리하고 상시 구동에 적합합니다.

TOPS 숫자가 높은 제품이 무조건 빠른가요?

참고 지표일 뿐 절대 기준은 아닙니다. 실제 속도는 소프트웨어가 그 성능을 얼마나 잘 활용하는지, 연산 정밀도가 어떤지에 따라 달라집니다. 같은 TOPS라도 앱에서 체감되는 반응 속도는 제품마다 다를 수 있습니다.

온디바이스 AI가 개인정보에 더 안전한가요?

구조적으로 유리합니다. 처리가 기기 안에서 끝나면 사진·음성·대화 같은 민감한 데이터를 외부 서버로 보낼 필요가 없기 때문입니다. 다만 앱이 어떤 데이터를 어떻게 다루는지는 별개 문제라, 여전히 앱의 정책을 확인할 필요는 있습니다.

NPU는 게임 성능과도 관련이 있나요?

직접적인 관련은 크지 않습니다. 게임 그래픽은 여전히 GPU의 몫입니다. 다만 실시간 화질 개선이나 프레임 보간처럼 AI를 활용한 보조 기능이 늘면서, NPU가 게임 경험을 간접적으로 거드는 사례는 점점 많아지고 있습니다.