NeRF

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-08-21 更新

Is-NeRF: In-scattering Neural Radiance Field for Blurred Images

Authors:Nan Luo, Chenglin Ye, Jiaxu Li, Gang Liu, Bo Wan, Di Wang, Lupeng Liu, Jun Xiao

Neural Radiance Fields (NeRF) has gained significant attention for its prominent implicit 3D representation and realistic novel view synthesis capabilities. Available works unexceptionally employ straight-line volume rendering, which struggles to handle sophisticated lightpath scenarios and introduces geometric ambiguities during training, particularly evident when processing motion-blurred images. To address these challenges, this work proposes a novel deblur neural radiance field, Is-NeRF, featuring explicit lightpath modeling in real-world environments. By unifying six common light propagation phenomena through an in-scattering representation, we establish a new scattering-aware volume rendering pipeline adaptable to complex lightpaths. Additionally, we introduce an adaptive learning strategy that enables autonomous determining of scattering directions and sampling intervals to capture finer object details. The proposed network jointly optimizes NeRF parameters, scattering parameters, and camera motions to recover fine-grained scene representations from blurry images. Comprehensive evaluations demonstrate that it effectively handles complex real-world scenarios, outperforming state-of-the-art approaches in generating high-fidelity images with accurate geometric details.

神经辐射场（NeRF）因其突出的隐式三维表示和逼真的新视角合成能力而受到广泛关注。现有的工作普遍采用直线体积渲染，难以处理复杂的光路场景，并在训练过程中引入几何歧义，尤其在处理运动模糊图像时更为明显。为了解决这些挑战，本研究提出了一种新型的去模糊神经辐射场，即Is-NeRF，它具备真实环境中光路模型的显式表示。通过统一六种常见的光传播现象，我们建立了一个新的感知散射的体积渲染管道，可适应复杂的光路。此外，我们还引入了一种自适应学习策略，使网络能够自主确定散射方向和采样间隔，以捕捉更精细的物体细节。所提网络联合优化NeRF参数、散射参数和相机运动，从模糊图像中恢复细粒度的场景表示。综合评估表明，它能够有效处理复杂的真实场景，并在生成高保真图像和精确几何细节方面优于最新技术方法。

论文及项目相关链接

PDF

Summary

NeRF技术因其在隐式三维表示和逼真新视角合成方面的能力而受到广泛关注。现有工作通常采用直线体积渲染，难以处理复杂的光线路径场景，并在训练过程中引入几何歧义，特别是在处理运动模糊图像时更为明显。为应对这些挑战，本研究提出了一种新型去模糊神经辐射场Is-NeRF，具有显式光线路径建模能力。通过统一六种常见的光传播现象，建立了一个新的散射感知体积渲染管道，能够适应复杂的光线路径。此外，还引入了一种自适应学习策略，能够自主确定散射方向和采样间隔，以捕捉更精细的物体细节。所提网络联合优化NeRF参数、散射参数和相机运动，从模糊图像中恢复精细场景表示。评估结果表明，该方法能有效应对复杂真实场景，在生成高保真图像方面优于现有先进方法，且几何细节准确。

Key Takeaways

1. NeRF技术在隐式三维表示和新颖视角合成方面具有显著优势。
2. 现有NeRF方法主要通过直线体积渲染，难以处理复杂光线路径和运动模糊图像。
3. 提出的新型去模糊神经辐射场Is-NeRF具有显式光线路径建模能力。
4. Is-NeRF通过统一光传播现象建立新的散射感知体积渲染管道。
5. 自适应学习策略用于自主确定散射方向和采样间隔，提高细节捕捉能力。
6. 所提网络联合优化NeRF参数、散射参数和相机运动，从模糊图像中恢复精细场景。

Cool Papers

点此查看论文截图

PreSem-Surf: RGB-D Surface Reconstruction with Progressive Semantic Modeling and SG-MLP Pre-Rendering Mechanism

Authors:Yuyan Ye, Hang Xu, Yanghang Huang, Jiali Huang, Qian Weng

This paper proposes PreSem-Surf, an optimized method based on the Neural Radiance Field (NeRF) framework, capable of reconstructing high-quality scene surfaces from RGB-D sequences in a short time. The method integrates RGB, depth, and semantic information to improve reconstruction performance. Specifically, a novel SG-MLP sampling structure combined with PR-MLP (Preconditioning Multilayer Perceptron) is introduced for voxel pre-rendering, allowing the model to capture scene-related information earlier and better distinguish noise from local details. Furthermore, progressive semantic modeling is adopted to extract semantic information at increasing levels of precision, reducing training time while enhancing scene understanding. Experiments on seven synthetic scenes with six evaluation metrics show that PreSem-Surf achieves the best performance in C-L1, F-score, and IoU, while maintaining competitive results in NC, Accuracy, and Completeness, demonstrating its effectiveness and practical applicability.

本文提出了PreSem-Surf，这是一种基于神经网络辐射场（NeRF）框架的优化方法，能够在短时间内从RGB-D序列重建高质量的场景表面。该方法融合了RGB、深度和语义信息，以提高重建性能。具体来说，引入了一种新的SG-MLP采样结构，结合PR-MLP（预条件多层感知器）进行体素预渲染，使模型能够更早地捕获场景相关信息，并更好地区分噪声和局部细节。此外，采用渐进式语义建模，以越来越精确的水平提取语义信息，减少训练时间，增强场景理解。在七个合成场景上的实验采用六项评估指标，结果表明PreSem-Surf在C-L1、F分数和IoU方面表现最佳，同时在NC、准确性和完整性方面保持竞争结果，证明了其有效性和实际适用性。

论文及项目相关链接

PDF 2025 International Joint Conference on Neural Networks (IJCNN 2025)

Summary

本文提出了基于神经网络辐射场（NeRF）框架的优化方法PreSem-Surf，能够迅速从RGB-D序列重建高质量场景表面。该方法融合了RGB、深度和语义信息以提升重建性能。引入新型SG-MLP采样结构与PR-MLP（预处理多层感知器）进行体素预渲染，有助于模型更早捕捉场景相关信息，并有效区分噪声与局部细节。此外，采用渐进语义建模，以递增精度提取语义信息，既缩短训练时间又增强场景理解。在七个合成场景上的实验结果表明，PreSem-Surf在C-L1、F值和IoU三个评价指标上表现最佳，同时在NC、准确度和完整性方面保持竞争力，验证了其有效性和实用性。

Key Takeaways

1. PreSem-Surf是基于NeRF框架的优化方法，能够从RGB-D序列快速重建高质量场景表面。
2. 该方法融合了RGB、深度和语义信息以提升重建性能。
3. 引入SG-MLP采样结构和PR-MLP，实现体素预渲染，有助于捕捉场景信息并区分噪声与细节。
4. 采用渐进语义建模，提高语义信息提取的精度，同时缩短训练时间。
5. PreSem-Surf在多个评价指标上表现优异，包括C-L1、F值和IoU等。
6. 它在保持竞争力的同时，考虑场景的准确性完整性和噪声控制（NC）。

Cool Papers

点此查看论文截图

MCN-SLAM: Multi-Agent Collaborative Neural SLAM with Hybrid Implicit Neural Scene Representation

Authors:Tianchen Deng, Guole Shen, Xun Chen, Shenghai Yuan, Hongming Shen, Guohao Peng, Zhenyu Wu, Jingchuan Wang, Lihua Xie, Danwei Wang, Hesheng Wang, Weidong Chen

Neural implicit scene representations have recently shown promising results in dense visual SLAM. However, existing implicit SLAM algorithms are constrained to single-agent scenarios, and fall difficulties in large-scale scenes and long sequences. Existing NeRF-based multi-agent SLAM frameworks cannot meet the constraints of communication bandwidth. To this end, we propose the first distributed multi-agent collaborative neural SLAM framework with hybrid scene representation, distributed camera tracking, intra-to-inter loop closure, and online distillation for multiple submap fusion. A novel triplane-grid joint scene representation method is proposed to improve scene reconstruction. A novel intra-to-inter loop closure method is designed to achieve local (single-agent) and global (multi-agent) consistency. We also design a novel online distillation method to fuse the information of different submaps to achieve global consistency. Furthermore, to the best of our knowledge, there is no real-world dataset for NeRF-based/GS-based SLAM that provides both continuous-time trajectories groundtruth and high-accuracy 3D meshes groundtruth. To this end, we propose the first real-world Dense slam (DES) dataset covering both single-agent and multi-agent scenarios, ranging from small rooms to large-scale outdoor scenes, with high-accuracy ground truth for both 3D mesh and continuous-time camera trajectory. This dataset can advance the development of the research in both SLAM, 3D reconstruction, and visual foundation model. Experiments on various datasets demonstrate the superiority of the proposed method in both mapping, tracking, and communication. The dataset and code will open-source on https://github.com/dtc111111/mcnslam.

神经隐式场景表示在密集视觉SLAM中最近显示出有前途的结果。然而，现有的隐式SLAM算法仅限于单智能体场景，在大场景和长序列中面临困难。基于NeRF的多智能体SLAM框架无法满足通信带宽的限制。为此，我们提出了第一个分布式多智能体协同神经SLAM框架，具有混合场景表示、分布式相机跟踪、内外环闭合以及用于多个子图融合的在线蒸馏。提出了一种新的triplane网格联合场景表示方法，以提高场景重建的效果。设计了一种新颖的内外环闭合方法，以实现局部（单智能体）和全局（多智能体）的一致性。我们还设计了一种新的在线蒸馏方法，以融合不同子图的信息，实现全局一致性。此外，据我们所知，没有基于NeRF或GS的SLAM真实世界数据集能够提供连续时间轨迹的高精度3D网格groundtruth。为此，我们提出了第一个真实世界的Dense slam（DES）数据集，涵盖单智能体和多智能体场景，从小房间到大型室外场景，同时提供3D网格和连续时间相机轨迹的高精度ground truth。该数据集可以促进SLAM、3D重建和视觉基础模型的研究发展。在各种数据集上的实验证明了所提方法在映射、跟踪和通信方面的优越性。数据集和代码将在https://github.com/dtc111111/mcnslam上开源。

论文及项目相关链接

PDF

摘要

神经隐式场景表示在密集视觉SLAM中显示出有前景的结果。然而，现有隐式SLAM算法仅限于单智能体场景，在大场景和长序列中存在困难。基于NeRF的多智能体SLAM框架无法满足通信带宽的限制。为此，我们提出了首个分布式多智能体协同神经SLAM框架，具有混合场景表示、分布式相机跟踪、从内到外闭环和在线蒸馏用于多个子图融合。提出了一种新型的三平面网格联合场景表示方法，以改进场景重建。设计了一种新型从内到外闭环方法，以实现局部（单智能体）和全局（多智能体）一致性。我们还设计了一种在线蒸馏方法，融合不同子图的信息以实现全局一致性。此外，据我们所知，没有为基于NeRF的SLAM提供连续时间轨迹地面真实数据和高质量3D网格地面真实数据。为此，我们提出了首个真实世界密集slam（DES）数据集，涵盖单智能体和多智能体场景，从小房间到大型室外场景，为3D网格和连续时间相机轨迹提供高质量地面真实数据。该数据集可以促进SLAM、3D重建和视觉基础模型的研究发展。在各种数据集上的实验表明，该方法在映射、跟踪和通信方面均表现出优越性。数据集和代码将在https://github.com/dtc111111/mcnslam上开源。

要点

1. 提出了首个分布式多智能体协同神经SLAM框架，支持混合场景表示、分布式相机跟踪等。
2. 引入新型三平面网格联合场景表示方法，提升场景重建质量。
3. 设计了从内到外闭环方法，实现局部和全局一致性。
4. 提出在线蒸馏方法，融合不同子图信息达到全局一致性。
5. 创建首个真实世界的DES数据集，包含单智能体和多智能体场景，提供高质量的3D网格和连续时间相机轨迹地面真实数据。
6. 该数据集推动了SLAM、3D重建和视觉基础模型的研究进展。

Cool Papers

点此查看论文截图