NeRF

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-10-11 更新

Splat the Net: Radiance Fields with Splattable Neural Primitives

Authors:Xilong Zhou, Bao-Huy Nguyen, Loïc Magne, Vladislav Golyanik, Thomas Leimkühler, Christian Theobalt

Radiance fields have emerged as a predominant representation for modeling 3D scene appearance. Neural formulations such as Neural Radiance Fields provide high expressivity but require costly ray marching for rendering, whereas primitive-based methods such as 3D Gaussian Splatting offer real-time efficiency through splatting, yet at the expense of representational power. Inspired by advances in both these directions, we introduce splattable neural primitives, a new volumetric representation that reconciles the expressivity of neural models with the efficiency of primitive-based splatting. Each primitive encodes a bounded neural density field parameterized by a shallow neural network. Our formulation admits an exact analytical solution for line integrals, enabling efficient computation of perspectively accurate splatting kernels. As a result, our representation supports integration along view rays without the need for costly ray marching. The primitives flexibly adapt to scene geometry and, being larger than prior analytic primitives, reduce the number required per scene. On novel-view synthesis benchmarks, our approach matches the quality and speed of 3D Gaussian Splatting while using $10\times$ fewer primitives and $6\times$ fewer parameters. These advantages arise directly from the representation itself, without reliance on complex control or adaptation frameworks. The project page is https://vcai.mpi-inf.mpg.de/projects/SplatNet/.

辐射场已经成为建模三维场景外观的主要表示方法。神经网络公式（如神经辐射场）提供了高度的表现力，但渲染需要昂贵的光线投射，而基于原始物体的方法（如三维高斯涂抹）通过涂抹技术提供实时效率，但在表现力方面有所牺牲。受到这两个方向进步的启发，我们引入了可涂抹的神经原始物体，这是一种新的体积表示方法，能够协调神经模型的表现力与基于原始物体的涂抹效率。每个原始物体都编码一个有界的神经密度场，由浅层神经网络参数化。我们的公式允许对线段积分进行精确解析求解，能够高效地计算透视准确的涂抹内核。因此，我们的表示方法可以在不需要昂贵的光线投射的情况下，对视图光线进行积分。原始物体可以灵活地适应场景几何结构，并且比先前的解析原始物体更大，减少了每个场景所需的原始物体数量。在新型视图合成基准测试中，我们的方法与三维高斯涂抹的质量和速度相匹配，同时使用10倍的较少原始物体和6倍的较少参数。这些优势直接来自于表示本身，不需要依赖复杂的控制或适应框架。项目页面是https://vcai.mpi-inf.mpg.de/projects/SplatNet/。

论文及项目相关链接

PDF

Summary

神经辐射场已成为建模3D场景外观的主要表示方法。然而，神经网络公式（如神经辐射场）虽然表达力强，但渲染需要昂贵的射线投射；而基于原始物体的方法（如3D高斯Splatting）虽然可以实现实时效率，但牺牲了表现力。本研究结合这两方面的进展，引入了可分裂神经原始体这一新型体积表示法，它融合了神经模型的表现力与基于原始物体的分裂效率。每个原始体编码一个有界的神经密度场，由浅层神经网络参数化。本研究为线积分提供了精确的分析解，从而实现了沿视点射线的有效计算，无需昂贵的射线投射。因此，我们的表示法支持灵活的几何适应性，并且与先前的解析原始体相比，减少了每场景的所需数量。在新型视图合成测试中，我们的方法与3D高斯Splatting的质量与速度相匹配，同时使用了较少的原始体和参数。这些优势直接来自表示本身，无需依赖复杂的控制或适应框架。

Key Takeaways

1. 神经辐射场成为建模3D场景的主要方法。
2. 神经网络公式和基于原始物体的方法各有优缺点。
3. 引入了一种新型体积表示法：可分裂神经原始体，融合了神经模型的表现力和原始物体的效率。
4. 每个原始体编码有界的神经密度场，由浅层神经网络参数化。
5. 为线积分提供了精确的分析解，实现了高效的渲染。
6. 该方法支持灵活的几何适应性，并减少了所需的原始体数量。

Cool Papers

点此查看论文截图

An Energy-Efficient Edge Coprocessor for Neural Rendering with Explicit Data Reuse Strategies

Authors:Binzhe Yuan, Xiangyu Zhang, Zeyu Zheng, Yuefeng Zhang, Haochuan Wan, Zhechen Yuan, Junsheng Chen, Yunxiang He, Junran Ding, Xiaoming Zhang, Chaolin Rao, Wenyan Su, Pingqiang Zhou, Jingyi Yu, Xin Lou

Neural radiance fields (NeRF) have transformed 3D reconstruction and rendering, facilitating photorealistic image synthesis from sparse viewpoints. This work introduces an explicit data reuse neural rendering (EDR-NR) architecture, which reduces frequent external memory accesses (EMAs) and cache misses by exploiting the spatial locality from three phases, including rays, ray packets (RPs), and samples. The EDR-NR architecture features a four-stage scheduler that clusters rays on the basis of Z-order, prioritize lagging rays when ray divergence happens, reorders RPs based on spatial proximity, and issues samples out-of-orderly (OoO) according to the availability of on-chip feature data. In addition, a four-tier hierarchical RP marching (HRM) technique is integrated with an axis-aligned bounding box (AABB) to facilitate spatial skipping (SS), reducing redundant computations and improving throughput. Moreover, a balanced allocation strategy for feature storage is proposed to mitigate SRAM bank conflicts. Fabricated using a 40 nm process with a die area of 10.5 mmX, the EDR-NR chip demonstrates a 2.41X enhancement in normalized energy efficiency, a 1.21X improvement in normalized area efficiency, a 1.20X increase in normalized throughput, and a 53.42% reduction in on-chip SRAM consumption compared to state-of-the-art accelerators.

神经辐射场（NeRF）已经改变了3D重建和渲染的方式，使得从稀疏视角进行逼真的图像合成成为可能。本文引入了一种显式数据重用神经渲染（EDR-NR）架构，该架构通过利用来自三个阶段的空间局部性（包括光线、光线包（RPs）和样本），减少了频繁的外存访问（EMAs）和缓存未命中。EDR-NR架构具有一个四阶段调度器，它基于Z顺序对光线进行聚类，在发生光线发散时优先处理延迟的光线，根据空间邻近度重新排序光线包，并根据片上特征数据的可用性以乱序方式发布样本。此外，结合轴对齐包围盒（AABB）的四层分级光线包行进（HRM）技术，有助于实现空间跳过（SS），减少冗余计算并提高吞吐量。同时，提出了一种特征存储的平衡分配策略，以缓解SRAM银行冲突。采用40纳米工艺制造，芯片面积10.5mmx，与最先进的加速器相比，EDR-NR芯片在能效上提高了2.41倍，面积效率提高了1.21倍，吞吐量提高了1.20倍，片上SRAM消耗减少了53.42%。

论文及项目相关链接

PDF 11 pages, 17 figures, 2 tables

摘要

NeRF技术已推动三维重建和渲染领域的发展，实现了从稀疏视角的光照真实图像合成。本研究提出了一种显式数据复用神经网络渲染（EDR-NR）架构，通过射线、射线包（RPs）和样本的三个阶段利用空间局部性，减少频繁的外存访问和缓存未命中。EDR-NR架构具有一个四阶段调度器，基于Z顺序聚类射线，在射线发散时优先处理延迟射线，基于空间接近度重新排序射线包，并根据芯片特征数据的可用性无序地发出样本。此外，结合轴对齐包围盒（AABB）的四层分级RP行进（HRM）技术，实现空间跳过（SS），减少冗余计算，提高吞吐量。同时，提出了一种特征存储的平衡分配策略，以缓解SRAM银行冲突。采用40纳米工艺制造，芯片面积10.5 mmX，与现有加速器相比，EDR-NR芯片在归一化能效方面提高了2.41倍，在归一化面积效率方面提高了1.21倍，在归一化吞吐量方面提高了1.2倍，在片上SRAM消耗方面减少了53.42%。

关键见解

1. EDR-NR架构利用空间局部性从射线、射线包和样本三个阶段减少外部存储器访问和缓存未命中问题。
2. 四阶段调度器通过Z顺序聚类射线、优先处理延迟射线、基于空间接近度重新排序射线包以及根据芯片特征数据无序发出样本，提高了渲染效率。
3. 整合了四层次分级RP行进（HRM）技术与轴对齐包围盒（AABB），实现空间跳过，从而减少冗余计算并提升吞吐量。
4. 提出了一种平衡分配策略，为特征存储进行优化，以缓解SRAM银行冲突。
5. 与现有加速器相比，EDR-NR芯片在能效、面积效率、吞吐量和SRAM消耗等方面均有显著提高。
6. EDR-NR架构的实现在40纳米工艺下，芯片面积紧凑，为未来的神经网络渲染技术提供了潜力。

Cool Papers

点此查看论文截图

SiLVR: Scalable Lidar-Visual Radiance Field Reconstruction with Uncertainty Quantification

Authors:Yifu Tao, Maurice Fallon

We present a neural radiance field (NeRF) based large-scale reconstruction system that fuses lidar and vision data to generate high-quality reconstructions that are geometrically accurate and capture photorealistic texture. Our system adopts the state-of-the-art NeRF representation to incorporate lidar. Adding lidar data adds strong geometric constraints on the depth and surface normals, which is particularly useful when modelling uniform texture surfaces which contain ambiguous visual reconstruction cues. A key contribution of this work is a novel method to quantify the epistemic uncertainty of the lidar-visual NeRF reconstruction by estimating the spatial variance of each point location in the radiance field given the sensor observations from the cameras and lidar. This provides a principled approach to evaluate the contribution of each sensor modality to the final reconstruction. In this way, reconstructions that are uncertain (due to e.g. uniform visual texture, limited observation viewpoints, or little lidar coverage) can be identified and removed. Our system is integrated with a real-time lidar SLAM system which is used to bootstrap a Structure-from-Motion (SfM) reconstruction procedure. It also helps to properly constrain the overall metric scale which is essential for the lidar depth loss. The refined SLAM trajectory can then be divided into submaps using Spectral Clustering to group sets of co-visible images together. This submapping approach is more suitable for visual reconstruction than distance-based partitioning. Our uncertainty estimation is particularly effective when merging submaps as their boundaries often contain artefacts due to limited observations. We demonstrate the reconstruction system using a multi-camera, lidar sensor suite in experiments involving both robot-mounted and handheld scanning. Our test datasets cover a total area of more than 20,000 square metres.

我们提出了一种基于神经辐射场（NeRF）的大规模重建系统，该系统融合了激光雷达和视觉数据，生成了高质量的三维重建模型，具有几何准确性，并能捕捉逼真的纹理。我们的系统采用了最先进的NeRF表示法来融入激光雷达数据。加入激光雷达数据为深度和表面法线增加了强大的几何约束，这在建模具有模糊视觉重建线索的均匀纹理表面时特别有用。这项工作的一个关键贡献是提出了一种新的方法来量化激光雷达-视觉NeRF重建的认识论不确定性，通过估计辐射场中每个点位置的空间方差，给定来自相机和激光雷达的传感器观测数据。这提供了一种有原则的方法来评估每种传感器模态对最终重建的贡献。通过这种方式，可以识别和去除由于（例如）均匀视觉纹理、有限的观察观点或很少的激光雷达覆盖而导致的重建不确定性。我们的系统与实时激光雷达SLAM系统相结合，用于引导运动结构（SfM）重建程序。这还有助于正确约束整体度量规模，这对激光雷达深度损失至关重要。经过精细调整的SLAM轨迹可以使用谱聚类划分为子地图，将共视图像集合分组在一起。这种子图方法比基于距离的分区更适合视觉重建。我们在合并子图时的不确定性估计特别有效，因为它们的边界通常由于有限的观察而包含伪影。我们通过使用多摄像头和激光雷达传感器组合进行实验，展示了重建系统，实验包括机器人搭载和手持扫描。我们的测试数据集覆盖的总面积超过20,000平方米。

论文及项目相关链接

PDF Accepted by T-RO. Webpage: https://dynamic.robots.ox.ac.uk/projects/silvr/

摘要

本文提出了一种基于神经辐射场（NeRF）的大规模重建系统，该系统融合了激光雷达和视觉数据，可生成高质量、几何准确、纹理逼真的重建模型。系统采用最先进的NeRF表示法融入激光雷达数据，为深度与表面法线增加了强大的几何约束，特别适用于纹理单一、包含模糊视觉重建线索的建模。本工作的关键贡献在于提出一种新方法，通过估计激光雷达和视觉NeRF重建的空间方差来量化认知不确定性，从而为每个辐射场点位置提供传感器观测值的评估方法。这提供了一种评估各传感器模态对最终重建贡献的原则性方法。通过这种方式，可以识别并移除因视觉纹理单一、观测视角有限或激光雷达覆盖不足等原因造成的不确定重建。本系统整合了实时激光雷达SLAM系统，用于引导SfM重建程序，并有助于正确约束整体度量规模，这对激光雷达深度损失至关重要。经过优化的SLAM轨迹可以使用谱聚类划分为子图，将共视图像集在一起。这种子图方法比基于距离的分区更适合视觉重建。在合并子图时，其边界往往因观察有限而产生伪影，此时我们的不确定性估计特别有效。我们在配备多摄像头和激光雷达传感器的实验中展示了重建系统，涉及机器人和手持扫描，测试数据集覆盖超过20,000平方米的区域。

要点

1. 提出了一种基于NeRF的大型重建系统，融合了激光雷达和视觉数据。
2. 利用NeRF表示法实现高质量、几何准确、纹理逼真的重建。
3. 通过融入激光雷达数据，为深度和表面法线增加了几何约束，特别适用于纹理单一的表面建模。
4. 提出了量化认知不确定性的新方法，通过估计辐射场的空间方差来评估传感器观测值对重建的贡献。
5. 系统与实时激光雷达SLAM系统结合，有助于约束整体度量规模，并在合并子图时减少边界伪影。
6. 利用谱聚类将SLAM轨迹划分为子图，更适合视觉重建。

Cool Papers

点此查看论文截图