NVIDIA DLSS 4.5 Ray Reconstruction 공개 — 디노이징과 업스케일을 한 AI 네트워크로 통합하다

무슨 일이 있었나

NVIDIA는 2026년 8월 DLSS 4.5 Ray Reconstruction을 공개했다. Tom's Hardware의 보도와 NVIDIA 발표에 따르면, 이번 릴리스의 중심은 2세대 트랜스포머 기반 모델이며, 기존에 별개로 작동하던 레이트레이싱 디노이징과 슈퍼 레졸루션(업스케일링)을 하나의 AI 네트워크로 통합한 것이 가장 큰 변화다. 이 개선은 특정 신형 GPU에 국한되지 않고 모든 GeForce RTX GPU에서 동작하도록 제공된다.

NVIDIA는 이 통합으로 레이트레이싱 장면의 화질과 성능이 함께 개선된다고 설명했다. 다만 이 글에서는 공개적으로 확인된 특성 — 트랜스포머 세대, 네트워크 통합, 지원 범위 — 을 중심으로 다루고, 구체적인 성능 배수나 프레임 수치는 발표에서 확정된 값이 아닌 이상 단정하지 않는다.

DLSS와 Ray Reconstruction이 정확히 뭔가

먼저 배경부터. 현대 게임은 조명·그림자·반사를 물리적으로 정확하게 계산하기 위해 레이트레이싱(ray tracing)을 쓴다. 빛의 경로를 픽셀마다 추적하는 방식인데, 실시간(초당 수십 프레임) 안에서 모든 광선을 충분히 쏘는 것은 계산량이 너무 크다. 그래서 게임은 픽셀당 극소수의 광선만 쏜다. 이렇게 표본이 적은 결과는 필연적으로 노이즈(입자처럼 지글거리는 얼룩)가 낀 지저분한 이미지가 된다.

여기서 두 가지 처리가 필요하다.

• 디노이징(denoising): 표본이 적어 생긴 노이즈를 걸러내 깨끗한 조명·반사를 복원한다. 전통적으로는 손으로 튜닝한 디노이저(공간·시간 필터)가 이 역할을 했다.
• 슈퍼 레졸루션(super resolution): 성능을 위해 낮은 해상도로 렌더한 뒤, AI가 이를 목표 해상도로 업스케일한다. 이것이 DLSS의 대표 기능이다.

Ray Reconstruction은 NVIDIA가 손으로 만든 디노이저를 AI 신경망으로 대체한 기술이다. 노이즈가 있는 저표본 레이트레이싱 신호를 입력받아, 학습된 모델이 훨씬 정확한 조명·반사·전역 조명(GI)을 재구성한다. 손튜닝 디노이저보다 세밀한 반사와 안정적인 조명을 얻을 수 있다는 것이 원래의 도입 취지였다.

왜 '한 네트워크로 통합'이 진전인가

4.5 이전까지 실시간 레이트레이싱 파이프라인은 대체로 이런 순서로 흘렀다. 저해상도·저표본으로 레이트레이싱을 하고 → 디노이저(또는 Ray Reconstruction 네트워크)가 노이즈를 제거하고 → 슈퍼 레졸루션 네트워크가 목표 해상도로 업스케일한다. 즉 디노이징과 업스케일이 서로 다른 단계, 다른 모델이었다.

단계를 나누면 각 단계가 독립적으로 최적일 수는 있어도, 전체로 보면 손해가 생긴다. 디노이저가 노이즈를 없애면서 미세한 디테일을 함께 뭉개면, 뒤따르는 업스케일러는 이미 사라진 디테일을 복원할 방법이 없다. 반대로 업스케일 단계가 만든 아티팩트는 앞 단계가 이미 끝나 손댈 수 없다. 두 모델은 서로가 뭘 지웠는지, 뭘 만들지 알지 못한 채 순차로만 연결된다.

4.5의 2세대 트랜스포머 모델은 이 둘을 하나의 네트워크로 합친다. 디노이징과 슈퍼 레졸루션을 공동으로 학습·추론하면, 모델이 "디테일을 지우지 않으면서 노이즈만 걸러내고, 그 정보를 그대로 고해상도 복원에 쓰는" 방향으로 함께 최적화될 수 있다. 파이프라인이 짧아지고, 두 단계 사이에서 정보가 새는 지점이 사라지는 셈이다.

"모든 RTX GPU 지원"이라는 대목도 짚을 만하다. 새 알고리즘이 최신 세대에만 열리는 대신 기존 RTX 사용자에게도 내려온다는 것은, 개선의 상당 부분이 전용 하드웨어 유닛보다 모델(가중치)과 소프트웨어에 있음을 시사한다. 물론 구형 GPU에서의 실제 프레임 비용은 카드마다 다르므로, 배포 전 실측이 필요하다.

트랜스포머가 실시간 그래픽으로 들어온 흐름

DLSS의 AI 모델은 초기에 합성곱 신경망(CNN) 계열이었다. NVIDIA는 앞선 DLSS 4 세대에서 비전 트랜스포머(vision transformer)를 실시간 업스케일·복원에 도입했고, 4.5의 Ray Reconstruction은 그 2세대 트랜스포머에 해당한다.

트랜스포머의 핵심은 어텐션(attention)이다. CNN이 고정된 작은 주변 영역만 보고 판단하는 데 비해, 어텐션은 화면의 멀리 떨어진 픽셀 사이의 관계까지 참조해 "이 얼룩이 진짜 디테일인지 노이즈인지"를 더 넓은 맥락으로 판별한다. 반사·그림자처럼 공간적으로 긴 상관을 갖는 신호에서 이 성질이 유리하다. 문제는 어텐션이 비싸다는 것 — 그것을 밀리초 단위 프레임 예산 안에서 돌리는 것이 실시간 그래픽 AI의 진짜 난제였고, DLSS의 세대 진화는 이 비용을 어떻게 감당 가능한 수준으로 눌러왔는가의 역사이기도 하다.

렌더링 파이프라인에서 어떻게 끼워지나

게임 엔진 관점에서 DLSS/Ray Reconstruction은 렌더 그래프의 특정 지점에 삽입되는 패스다. 통합 모델이 되어도 개발자가 넘겨야 하는 입력의 종류(색·모션 벡터·깊이 등 G-buffer 자원)는 근본적으로 크게 달라지지 않지만, 디노이즈와 업스케일이 한 번의 호출로 처리된다는 점에서 통합 지점이 단순해진다. 아래는 개념적인 통합 흐름의 의사코드다(실제 API 시그니처가 아니라 이해용).

// 개념적 렌더 루프 (의사코드) — 실제 SDK API와 다름
// 1) 저해상도 + 저표본으로 레이트레이싱
GBuffer g = renderGBuffer(scene, renderWidth, renderHeight);
NoisyImage rt = traceRays(scene, g, samplesPerPixel = 1);

// 2) 이전: 디노이즈 -> 업스케일 (두 번의 별도 패스)
//   Denoised d  = denoiser.run(rt, g);        // 디테일 유실 위험
//   FinalImage f = superRes.run(d, motionVec); // 앞 단계 손실 복구 불가

// 3) 지금(4.5 RR): 디노이즈 + 슈퍼 레졸루션 = 단일 네트워크 호출
FinalImage f = dlssRayReconstruction.run(
    color:      rt,            // 노이즈 있는 레이트레이싱 결과
    motion:     motionVectors, // 시간적 안정화용
    depth:      g.depth,
    normals:    g.normals,
    exposure:   frameExposure,
    outputRes:  targetResolution // 예: 4K
);

present(f);

핵심은 3번이다. 통합 네트워크는 노이즈 제거와 해상도 복원에 필요한 신호(모션 벡터·깊이·노멀 등)를 동시에 참조해 한 번에 최종 프레임을 낸다. 시간적 안정성(프레임 간 깜빡임 억제)을 위해 모션 벡터를 정확히 넘기는 것은 여전히 개발자 책임이다 — 모션 벡터가 틀리면 잔상(ghosting)과 스미어가 생기는데, 이는 어떤 세대의 DLSS에서도 흔한 실패 원인이다.

게임·실시간 렌더링 개발자에게 무슨 의미인가

실용적 함의는 세 가지다.

첫째, 파이프라인 유지보수가 단순해진다. 자체 디노이저를 튜닝하고 그 뒤에 업스케일러를 얹어 두 단계를 각각 관리하던 팀이라면, 통합 경로는 손댈 표면을 줄여준다. 다만 이는 NVIDIA 스택에 더 깊게 결합되는 대가이기도 하다.

둘째, 입력 품질이 결과를 좌우한다. 모델이 좋아질수록 병목은 모델이 아니라 게임이 넘기는 신호의 정확성으로 옮겨간다. 정확한 모션 벡터, 올바른 노출·깊이·노멀, 투명·파티클 처리 규약을 지키지 않으면 통합 모델도 잔상과 번짐을 낸다. "AI가 알아서 해준다"는 기대는 위험하다.

셋째, 벤더 종속과 이식성을 저울질해야 한다. DLSS는 GeForce RTX 전용이다. 콘솔·AMD·인텔·모바일까지 겨냥한다면 FSR·XeSS·MetalFX 같은 대안 경로를 함께 두는 추상화 레이어가 현실적이다. 통합이 편의를 준다고 해서 하나의 벤더 경로에만 파이프라인을 고정하면, 플랫폼 확장 때 비용을 치른다.

과대 해석하지 말아야 할 것

냉정하게 선을 긋자. 이번 발표에서 확정적으로 말할 수 있는 것은 (1) 2세대 트랜스포머 모델, (2) 디노이징과 슈퍼 레졸루션의 단일 네트워크 통합, (3) 전 RTX 지원, (4) 레이트레이싱 화질·성능 개선 방향이다. 반대로 "몇 배 빨라진다", "모든 게임에서 아티팩트가 사라진다" 같은 주장은 발표가 보증한 바가 아니다. 게임·해상도·GPU·씬에 따라 결과가 갈리므로, 배포 결정은 벤치마크가 아니라 자기 타이틀에서의 실측으로 내려야 한다.

자주 묻는 질문

DLSS 4.5 Ray Reconstruction은 언제, 무엇이 공개됐나요?

2026년 8월 NVIDIA가 공개했습니다. 핵심은 2세대 트랜스포머 모델로, 레이트레이싱 디노이징과 슈퍼 레졸루션(업스케일)을 하나의 AI 네트워크로 통합했고 모든 GeForce RTX GPU를 지원합니다. Tom's Hardware가 이를 보도했습니다.

Ray Reconstruction과 일반 DLSS 업스케일은 무엇이 다른가요?

일반 DLSS 슈퍼 레졸루션은 낮은 해상도 프레임을 목표 해상도로 업스케일합니다. Ray Reconstruction은 레이트레이싱 특유의 노이즈를 AI로 제거(디노이즈)하는 기술입니다. 4.5는 이 두 역할을 한 네트워크로 합친 것이 특징입니다.

왜 두 단계를 하나로 합치는 게 중요한가요?

분리형에서는 디노이저가 노이즈를 지우며 디테일까지 뭉개도 뒤의 업스케일러가 복원할 수 없었습니다. 통합 네트워크는 디노이징과 복원을 함께 최적화해 단계 사이 정보 유실을 줄이고, 파이프라인도 단순해집니다.

구형 RTX GPU에서도 되나요?

네, 발표에 따르면 모든 GeForce RTX GPU를 지원합니다. 다만 실제 프레임 비용과 체감 품질은 GPU 세대·해상도·게임에 따라 다르므로, 도입 전 대상 하드웨어에서 직접 측정하는 것이 안전합니다.

게임 개발자가 새로 준비할 것이 있나요?

모델이 통합되어도 정확한 모션 벡터·깊이·노멀·노출 같은 입력을 올바르게 넘기는 책임은 그대로입니다. 이 신호가 부정확하면 잔상·번짐이 생깁니다. 또 GeForce 전용이므로 타 플랫폼을 노린다면 FSR·XeSS 등과의 추상화 계층을 함께 설계하는 편이 좋습니다.

발표된 성능 향상 배수를 그대로 믿어도 되나요?

구체적인 배수·프레임 수치는 조건(게임·해상도·GPU)에 크게 좌우됩니다. 공개된 특성(통합·트랜스포머 세대·지원 범위)은 신뢰할 수 있지만, 성능 주장은 자신의 대표 씬에서 실측으로 검증하는 것을 권합니다.

출처

• Tom's Hardware — NVIDIA DLSS 4.5 Ray Reconstruction 관련 보도
• NVIDIA — DLSS 4.5 / Ray Reconstruction 발표 자료