实时光线追踪（real-time ray tracing）技术还有哪些未攻克的难题？
一、 性能，性能，还是性能——永恒的追求
这绝对是实时光线追踪最大的拦路虎，而且是一个多层面的问题。
光线传播的计算成本： 光线追踪的本质就是模拟光线在场景中的传播路径。每一次光线与物体表面的交互，都可能产生反射、折射、透射，甚至被吸收。这些过程都需要进行复杂的数学计算。想象一下，在游戏里，每一帧都要处理成千上万甚至上亿条光线，每条光线都要追踪它在三维空间中的运动轨迹，还要判断它与场景中所有可能的几何体的碰撞，并根据材质属性计算它的颜色和方向。这个计算量是极其庞大的。
二次/多次反射的瓶颈： 最简单的光线追踪模型（一次反射）就已经很耗时了，而真实世界的光线往往会发生多次反射（比如在镜子房间里），每一次反射都意味着需要再次追踪光线。在实时场景下，如果追踪太多次反射，性能会呈指数级下降，基本不可能实现。虽然有各种采样技术来近似多次反射的效果，但如何在高保真度和性能之间找到一个完美的平衡点，依然是挑战。
全局光照（Global Illumination, GI）的挑战： 真实的光照不仅仅是光源直接照射到物体上，还包括物体之间反射的光线（间接光照）。实现逼真的全局光照，需要追踪来自无数个方向的光线，计算它们对场景的贡献。这在实时应用中简直是天文数字的计算量。虽然现在有了“渐进式光线追踪全局光照”（RTGI）这类技术，通过采样、降噪和迭代来近似，但依然存在噪点、闪烁、颜色溢出以及计算量仍然偏高等问题。
复杂场景下的效率： 当场景中的几何体数量巨大、模型细节非常丰富时，光线追踪的碰撞检测效率会大幅下降。需要对场景进行加速结构优化（如BVH树），但构建和更新这些结构本身也需要时间，而且对于动态变化场景的更新速度是个考验。
硬件瓶颈与优化：
显卡算力： 虽然新一代显卡（如NVIDIA RTX系列和AMD RX系列）都加入了专门的光线追踪核心（RT Cores/Ray Accelerators），大大提升了处理效率，但相比于传统光栅化管线，光线追踪仍然是更吃显卡性能的。要实现流畅的60fps甚至更高的帧率，往往需要牺牲一些画面质量（如降低分辨率、减少光线追踪效果的质量或数量）。
内存带宽： 实时光线追踪需要频繁地访问场景数据和纹理，尤其是当场景复杂时，对显存容量和带宽的要求也更高。
能耗与散热： 强大的光线追踪运算也意味着更高的能耗和发热量，这对于笔记本电脑和移动设备来说是一个不小的挑战。
二、 降噪与图像重建——让画面“干净”起来的艺术
实时光线追踪一个绕不开的难题是“噪点”。由于计算成本的限制，我们无法像离线渲染那样进行海量采样来获得干净的结果。即使是每次发射几条光线，最终合成的图像也会充满斑驳的噪点，影响观感。
降噪算法的局限性：
画面模糊与细节丢失： 现有的降噪算法（如Temporal AntiAliasing with Ray Tracing, TAA+RT，或者基于AI的降噪器如NVIDIA DLSS或AMD FSR中的降噪部分）在去除噪点的同时，往往也会导致画面变得模糊，甚至丢失一些精细的纹理细节、边缘锐利度。
拖影与闪烁（Ghosting and Flickering）： 在动态场景中，基于时域（每一帧与前一帧比较）的降噪算法容易产生拖影效应，运动的物体会留下残影，这是非常影响游戏体验的。而如果降噪器对每一帧的信心度变化较大，又容易产生画面闪烁。
非物理的“美化”： 有些降噪器为了追求视觉上的“干净”，可能会过度平滑画面，导致一些本应存在的物理现象（如非常微弱的反射、半透明材质上的光照散射）被错误地抹去，反而降低了画面的真实感。
独立于渲染管线的挑战： 如何设计一个既能与光线追踪渲染结果完美结合，又能独立于渲染过程进行优化的降噪技术，也是一个研究方向。
实时性与降噪效率： 降噪算法本身也需要计算资源，在实时场景下，如何在保证降噪效果的同时，不给整体性能带来过大的负荷，是一个权衡。
三、 混合渲染策略——光栅化与光线追踪的共舞
目前我们看到的大部分实时光线追踪效果，并不是完全用光线追踪来渲染整个场景的。更多的是一种混合渲染（Hybrid Rendering）策略，即在传统的光栅化渲染基础上，选择性地加入光线追踪来增强某些效果，例如：
反射（Reflections）： 用光线追踪来计算精确的反射效果，而不是使用屏幕空间反射（SSR）或立方体贴图（Cubemap）。
阴影（Shadows）： 用光线追踪来生成更柔和、更准确的接触阴影和远处阴影。
全局光照（GI）： 用光线追踪来模拟间接光照。
即使在这种混合策略下，依然存在挑战：
接缝问题（Seam Issues）： 光栅化和光线追踪是两种不同的渲染技术，它们计算光照的方式不同。如何平滑地将两者结合起来，避免在交界处出现可见的“接缝”或视觉不一致，是一个难题。比如，用光线追踪计算反射时，如何保证反射中的物体和它们在光栅化管线中实际渲染的外观是一致的。
性能权衡的精细化： 选择哪些效果使用光线追踪，哪些使用光栅化，以及光线追踪的采样数量、追踪深度等，都需要非常精细的控制和优化，以在画面质量和性能之间找到最佳点。
动态场景的复杂性： 当场景中的物体运动、材质变化时，如何高效地更新光线追踪的计算结果，并与光栅化管线保持同步，是一个持续的挑战。
四、 跨平台兼容性与标准统一
硬件差异： 不同厂商的硬件在光线追踪的实现方式和性能上存在差异。如何确保光线追踪效果在不同平台上都能有良好且一致的表现，需要厂商之间的合作和标准的建立。
API与引擎支持： 虽然DirectX Raytracing (DXR) 和Vulkan Ray Tracing等API提供了基础支持，但如何让游戏引擎（如Unreal Engine, Unity）更高效、更易于地集成和发挥光线追踪的潜力，还需要持续的开发和优化。
开发者的门槛： 对于游戏开发者来说，理解和实现高质量的光线追踪效果需要专业的知识和技能，如何降低开发门槛，让更多开发者能够轻松使用这项技术，也是一个关键问题。
五、 特殊材质与效果的处理
半透明与折射： 模拟半透明物体（如玻璃、水）的复杂折射效果，尤其是在有多个折射面或者光线在内部多次反射的情况下，计算量非常大且容易出现伪影。
体积效果（Volumetric Effects）： 如雾、烟、云等，光线在这些介质中会发生散射和吸收，这使得光线追踪的计算变得非常复杂。虽然有一些体积光线追踪的算法，但在实时性方面仍然有很大的提升空间。
次表面散射（Subsurface Scattering）： 模拟光线穿过物体表面并散射开来的效果（如皮肤、蜡烛），这在实时光线追踪中实现起来非常困难且耗费性能。
总结一下：
实时光线追踪就像一位初出茅庐但潜力巨大的艺术家，它能描绘出前所未有的逼真画面，但要让它成为一位成熟的全能型大师，还有很长的路要走。性能依旧是核心障碍，降噪技术需要更聪明、更少损耗的解决方案，混合渲染的融合还需要打磨得更细腻，而跨平台和开发者的易用性问题也亟待解决。这些都是需要技术创新、硬件迭代和软件优化的共同努力才能逐步攻克的难题。但好消息是，我们正走在这条路上，并且每一步都在向着更逼真、更流畅的实时光线追踪迈进。
网友意见
这个问题可以从光线追踪GPU硬件、实时光线追踪渲染技术本身两方面来回答。作为一个从业多年的图形程序员，我想试着主要从实时光线追踪渲染技术本身来谈谈我的看法。
目前业界主流的实时光线追踪技术，其实本质上采用的是”传统光栅化渲染管线+光线追踪”的混合渲染管线（Hybrid Rendering Pipeline）形式：
对于这类混合渲染管线，渲染分类可总结如下：
- 延迟着色（光栅化）
- 直接阴影（光线追踪或光栅化）
- 光照（计算着色器+光线追踪）
- 反射（光线追踪或计算着色器）
- 全局光照（计算着色器+光线追踪）
- 环境光遮蔽（光线追踪或计算着色器）
- 透明与半透明（光线追踪+计算着色器）
- 后处理（计算着色器）
可以发现，光栅化（Rasterization）依然是目前业界主流混合渲染管线的主要渲染流程，而光线追踪一般仅用于锦上添花的次级光线效果的渲染表达（反射、阴影、环境光遮蔽、半透明渲染等）。
换言之，当前我们所熟知的产品级实时光线追踪技术，其实只是对现有光栅化渲染管线的锦上添花与缝缝补补，现阶段扛大旗的依然是光栅化技术。
也就引出了我们想象中与现实中的实时光线追踪渲染管线的区别：
所以，如何完全剥离光栅化管线，完成到纯粹基于光线追踪的渲染管线的切换，并可以达到产品级的交互速率，才是实时光线追踪技术最本质和最理想情况下需要攻克的难题。
当然，在完成一次高品质离线渲染动辄需要数小时的今天，要让纯粹基于光线追踪的渲染管线完全实时化，业界还有太长的路要走。Hybrid Rendering Pipeline依然是未来很多年实时光线追踪技术承载的主要技术形态。
而正如其他答主所述，当前发布的实时光线追踪技术，从渲染策略而言，大多是通过降低每像素采样数量，然后配合降噪技术与数字信号处理技术，以在有限的算力下实现类似真实表现的渲染结果。在当前的这套技术形态下，产品级的光线追踪反射、光线追踪环境光遮蔽、光线追踪阴影等传统光栅化技术难以处理的全局效果，表现都已相当令人惊艳。
当然，在当前的这套Hybrid Rendering Pipeline架构中，依然也存在不少需攻克的渲染技术细节。
从宏观而言，我们在渲染中处理的四要素有：
- 材质（Materials）
- 几何体（Geometry）
- 光照（Lights）
- 采样（Sampling）
其中的每一种要素对实时光线追踪而言都有独特的挑战与难题需要攻克。如果完全展开来讲，可能需要较大的篇幅，这里不妨对其中面临的一些典型难题做一个盘点。
1、透明渲染问题
在目前的实时光线追踪领域，在每像素1~2个样本的情况下，大多数降噪技术通常对于透明渲染、粒子渲染、体积渲染的渲染效果都并不算好。在EA的PICA PICA Demo[2]中，虽然采用了具有折射和散射的纹理空间OIT（texture-space OIT）技术，但也并不完美，存在时域（temporal）方面的问题。
当下业界需要研究出更好的降噪技术或者相关方案，以在较低的每像素采样数下带来更佳的透明渲染品质。这即是业界目前未攻克的难题之一。
2、部分覆盖渲染问题
类似上文提及的透明渲染降噪，植被渲染中使用的部分覆盖（partial coverage）方法也会遇到相同的问题。一般情况下，我们可以在命中着色器中进行alpha测试，但镜头一旦移动，就会遇到性能和表现上的问题。主要原因依然在于目前的降噪技术并不能很好的处理这种实时的部分覆盖在每像素1~2样本下的可见性判定。这也是业界目前未攻克的难题之一。
3、粒子系统的渲染问题
使用实时光线追踪渲染粒子系统的主要问题在于，粒子一般为朝向相机的公告板，如果进行反射，则会出现如下视觉失真现象：
对于光线追踪粒子系统的此类渲染问题，一般的方案是维护两个顶层加速结构（Top Level Acceleration Structures, TLAS），而《战地5》中的解决方案是将粒子朝向光线，有点类似billboard的思想。其中，《战地5》中的方案已是业界目前提出的最佳方案，但依然会有一定程度的失真：
另外，由于固有的动态特性，一些粒子系统必须在加速结构中每帧更新。在少许大型粒子或许多小型粒子上都可能会发生这种更新，因此对于这些粒子系统来说，优化空间加速度结构以快速在整个世界中进行光线追踪则是另一项挑战。
所以，实时光线追踪中对粒子系统更真实的渲染，同样是当前未攻克的难题之一。
4、全局光照领域的渲染难题
首先，使用实时光线追踪进行全局光照，会遇到即使在离线渲染中也存在的各类开放性问题。比如离线渲染中暂未解决的过高方差，小孔全局光照（Pinhole GI）等问题，这些在实时光线追踪领域目前同样需要解决。
而且离线渲染方案中的许多解决方案，不一定都可以运用到实时渲染中。对于实时光线追踪，目前而言必须借助缓存技术摊销着色成本，来达以交互速率进行渲染的性能要求。
即便是EA出品的当前较先进的PICA PICA Demo[2] 中使用的基于面元缓存GI（caching of GI via surfels）的方案，也存在仅能在观察区域生成面元（surfel）的问题。
所以基于实时光线追踪技术的全局光照，目前仍然有大量的难题待解决，需要业界共同努力去攻克。
5、一致性与非一致性难题
关于一致性与非一致性难题，不妨看一张图：
- 当光线路径如类似具有非一致性（Incoherent）的左图时，对蒙特卡洛方法而言收敛速度最快。
- 当光线路径如类似具有一致性（Coherent）的右图时，对并行处理器而言运行效率最高。
且一般来说，更好的处理一致性问题是提升实时光线追踪性能的关键。相邻的光线可以执行类似的操作和内存访问，从而带来较好的性能表现，而有些光线可能会破坏缓存的一致性，从而影响整体性能。
但从反过来说，光线间的不一致性却可以提高蒙特卡洛方法的收敛速度。
可以将这个棘手而两难的问题归纳为理论与系统，或者数学与工程间的碰撞。而实时渲染中最重要的问题，正是协调、权衡与处理这种脱节。
6、其他
另外，也列举一些目前已有一定进展，且仍然需完善的通用领域，可以将它们分为调度问题（Scheduling）、解耦问题（Decoupling）、整体性渲染问题（Holistic Rendering）三大类：
- 调度问题（Scheduling）
- SIMD一致性（SIMD coherence）
- 数据缓存一致性（data cache coherence）
- 指令缓存（Instruction cache）
- 占用率（occupancy）
- 磁盘即时流式传输（just-in-time streaming from disk）
- 解耦问题（Decoupling）
- 重用跨路径与跨帧的中间结果（Reuse of intermediate results across paths and frames）
- 整体性渲染问题（Holistic Rendering）
- 准蒙特卡罗与多重重要性采样协同感知（Cooperative perceptual QMC/MIS）
- 多光源采样（many light sampling）
- 预滤波（prefiltering）
- 降噪（denoising）
而以上各类细分领域当中，都有大量悬而未决的问题需要业界共同解决。
总结
综上所述，实时光线追踪技术在其发展的长河中，目前依然处于早期的萌芽阶段，还有海量的难题等待我们去攻克。而随着未来硬件与渲染技术的不断革新，一个完全属于实时光线追踪的新纪元，即将来临。
Reference
[1] [GDC 2019] It Just Works Ray-Traced Reflections in Battlefield V
[2] [SIGGRAPH 2019] State-of-the-Art and Challenges in Game Ray Tracing, Are We Done With Ray Tracing
[3] [SIGGRAPH 2019] From Raster to Rays in Games
[4] [SIGGRAPH 2019] Acceleration Data Structure Hardware
[5] [Digital Dragons 2018] Stochastic All the Things - Raytracing in Hybrid Real-Time Rendering
[6] [SIGGRAPH 2018] Modern Graphics Abstractions & Real-Time Ray Tracing
[7] [SIGGRAPH 2018] Game Ray Tracing State-of-the-Art and Open Problems
[8] https://developer.nvidia.com/rtxgi
[9] https://pbrt.org/gallery.html
[10] Real-time rendering 4th [M]. Crc Press, 2019.
[11] https://zhuanlan.zhihu.com/p/102397700
同时也发布一条招聘信息，欢迎充满热忱，热爱游戏开发的人才们一起开发更高品质的游戏：
- 腾讯互娱天美工作室长期招聘硬核渲染/引擎/GamePlay程序 & Technical Artist
- 实习生/社招/校招均可
- 写实/风格化画风、Unity/UE4均有硬核岗位在招
- 简历请发送至：williammao@tencent.com
类似的话题
-
实时光线追踪这项技术，虽然近年来进步神速，在游戏和3D渲染领域掀起了不小的波澜，但要说它已经完全成熟、没有遗留问题，那还远远谈不上。要让它真正普及、成为无处不在的标准，还有不少硬骨头需要啃。我来跟你掰扯掰扯那些还没完全解决的难题：一、 性能，性能，还是性能——永恒的追求这绝对是实时光线追踪最大的拦路............. -
你想知道英伟达RTX实时光线追踪技术到底厉害在哪儿，尤其是在游戏里，我们明明都已经看得到影子了，为什么还要强调这个“实时光线追踪”呢？这确实是一个很好的问题，很多人都会有同样的疑问。其实，游戏里的“影子”和实时光线追踪技术带来的“影子”以及其他光影效果，在本质上是完全不同的。让我给你掰开了，揉碎了说.............
-
关于PS4盗版实体光盘的问题，我可以和你详细聊聊。首先，要明确一点，目前市面上公开销售的全新PS4实体游戏光盘，绝大多数都是正版的。 为什么这么说呢？1. 严格的版权保护和发行链： 光盘生产和复制门槛高： 游戏光盘的制作，特别是高清的蓝光光盘，需要专业的设备和技术。盗版厂商要大规模复制实体光盘，.............
-
CCD 拍摄的照片，其成像图像的灰度值与实际光强之间，在理想情况下，确实存在一个线性关系，但现实中会受到多种因素的影响而变得非线性。要深入理解这一点，我们需要先了解 CCD 的基本工作原理，然后探讨其中的影响因素。CCD 的基本工作原理：光电转换CCD（ChargeCoupled Device），中.............
-
你说的那种职业，我身边见过不少。表面上光鲜亮丽，好像站在云端，但背地里摸爬滚打的艰辛，只有自己才懂。我有个朋友，在一家大型互联网公司做产品经理。听起来是不是很高大上？每天西装革履，跟各种部门的人开会，跟老板汇报工作，好像决策一切。每次聚会，他总是大家羡慕的对象，说他每天都能接触最前沿的技术，想法能改.............
-
好的，关于凸透镜成像实验中，取下光屏后，用人眼在光屏位置能否看到清晰像的问题，我们来细致地聊聊。首先，我们要明确一点：在绝大多数情况下，如果你想要在“光屏位置”看到一个清晰的像，直接取下光屏，用人眼去“看”光屏原先所在的位置，是看不清的。但是，这背后涉及的原理非常有趣，值得我们深入探讨。为什么我们通.............
-
“微波炉谐振测光速”这个说法，严格来说，是有科学依据的，但通常是以一种非常简化和近似的方式来理解的。 这个实验之所以能被很多人提及，是因为它利用了我们日常生活中非常熟悉的设备——微波炉——来“感知”光速，听起来颇有几分趣味性。让我们深入剖析一下，这个实验的科学原理是什么，为什么会有这样的说法，以及它.............
-
超光速的信息传播，这是一个在科幻小说中屡见不鲜的概念，但在我们目前对宇宙运行规律的理解——也就是狭义相对论的框架下，答案是明确的：不行，信息传播无法实现超光速。这可不是什么可以随意打破的规则，而是建立在物理学最坚实基础之上的一项结论。让我来细细道来其中的缘由，尽量让你明白为什么“光速不可超”不仅仅是.............
-
作为一名光学专业的研究生，我非常理解你对在实验室进行光学实验是否会伤害眼睛的顾虑。这是一个非常重要的问题，也是我们在日常实验中时刻需要注意的。总的来说，光学实验室的实验，如果操作不当或对潜在的风险缺乏足够的认识，确实存在伤害眼睛的风险。 但是，通过严格遵守安全规范、采取适当的防护措施以及具备必要的知.............
-
这个问题非常有意思，它触及到了物理学的几个核心概念，特别是相对论和信息传播的限制。让我们来深入剖析一下。首先，让我们来拆解一下你提出的两个关键要素：1. 光年尺寸的显示器： 这意味着显示器的横向尺寸足以跨越一光年的距离。想象一下，从一端到另一端，光线需要一年的时间才能传播。2. 灵敏度极高的鼠标.............
-
法甲在欧洲足坛的地位一直是一个备受关注的话题。虽然它常常被列为与英超、西甲、德甲、意甲齐名的“五大联赛”之一，但关于它是否“沾了国家实力的光”，确实是一个值得深入探讨的问题。我认为，法甲的地位，在一定程度上确实与法国的国家实力和社会影响力有关，但同时，其自身足球发展的特点和优势也不容忽视。要详细分析.............
-
二级文明能否建立一个以戴森云能量收集系统供应人能够承受的加速度的电磁弹射轨道使用实现亚光速星际旅行？这是一个引人入胜的设想，涉及到两个至关重要的技术飞跃：能量收集和推进系统。让我们来深入探讨一下。戴森云：二级文明的能量基石首先，我们需要理解“戴森云”（Dyson Swarm）的概念。它并非一个实体的.............
-
DARPA 的“曲速气泡”：解读与超光速的距离DARPA 研究人员声称创造了世界上第一个“曲速气泡”，这一消息无疑激起了公众对于超光速旅行的无限遐想。然而，要理解这一突破的真正意义，我们需要深入解读其背后的科学原理，并审慎评估其距离真正实现超光速的遥远路途。 什么是“曲速气泡”（Warp Bubbl.............
-
我们之所以觉得超光速旅行听起来如此引人入胜，很大程度上是因为科幻作品的不断熏陶。想象一下，几秒钟就能抵达遥远的星系，这将彻底颠覆我们对宇宙的认知，也彻底改变人类的历史进程。然而，当我们回归到物理学的现实，超光速旅行的实现，至少在目前我们所理解的物理框架下，几乎是不可能的，这并非简单的技术瓶颈，而是根.............
-
在阿里实习了一段时间，看到内网的负能量，考虑毁三方，这是一个非常纠结和重要的决定。作为过来人，我非常理解你此刻的感受，这种内网信息带来的冲击确实很大，尤其是在即将迈入职场的时候。要不要毁三方，这并不是一个简单的“是”或“否”的问题，而是需要你进行一个系统性的、多维度的考量。我将从以下几个方面，尽量详.............
-
超光速，这个词本身就带着一种科幻色彩，它颠覆了我们最根深蒂固的物理学观念之一——爱因斯坦的狭义相对论。按照狭义相对论，任何有质量的物体都无法达到或超越光速。光速是宇宙的速度上限，是能量和信息传播的终极壁垒。如果中国科学家真的在这一领域取得了突破，那绝对是人类科学史上的一个里程碑。你想想，这得是什么级.............
-
这份数据确实触及了一个相当现实的问题：中国男性人口数量显著多于女性。根据最新的人口普查结果，中国男性比女性多了整整3490万人。这个数字背后，隐藏着一个被广泛讨论的社会现象——“光棍”问题。长期以来，受传统观念、生育偏好以及一些历史因素的影响，中国社会的性别比例一直存在失衡。特别是近年来，随着独生子.............
-
关于你提到的，实体软件（包括游戏）光盘和影视光盘（蓝光BD）能否被U盘取代，以类似游戏卡带的只读形式销售的问题，这确实是一个很有意思的设想。下面我将尽量详细地阐述这个问题，并尝试用一种更贴近生活化的方式来探讨。从“实体”到“数字”的演变：历史的车轮首先，咱们得回顾一下这段历程。你想想看，最早的游戏，.............
-
好的，咱们从实际操作的角度，好好捋一捋陈光标收购《纽约时报》这事儿，看看它到底有没有谱。首先得明白，《纽约时报》可不是路边卖的白菜，人家是上市公司，股份分散在成千上万的股东手里。所以，陈光标要是想“收购”，那也不是说想买就买，得遵循一套相当复杂的资本运作流程。第一步：资金准备，这可是硬道理收购一家市.............
-
关于迈克尔逊莫雷实验是否存在几何光路错误，这个问题在科学界确实有过一些探讨，但主流的科学观点认为，该实验的设计和执行在当时是严谨的，其结论——未能探测到地球相对于以太的运动——是基于实验本身的结果，而不是光路设计上的根本性错误。不过，为了更深入地理解这个问题，我们可以从以下几个方面来详细探讨：一、实.............
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有