NeRF

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-11-11 更新

4D3R: Motion-Aware Neural Reconstruction and Rendering of Dynamic Scenes from Monocular Videos

Authors:Mengqi Guo, Bo Xu, Yanyan Li, Gim Hee Lee

Novel view synthesis from monocular videos of dynamic scenes with unknown camera poses remains a fundamental challenge in computer vision and graphics. While recent advances in 3D representations such as Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS) have shown promising results for static scenes, they struggle with dynamic content and typically rely on pre-computed camera poses. We present 4D3R, a pose-free dynamic neural rendering framework that decouples static and dynamic components through a two-stage approach. Our method first leverages 3D foundational models for initial pose and geometry estimation, followed by motion-aware refinement. 4D3R introduces two key technical innovations: (1) a motion-aware bundle adjustment (MA-BA) module that combines transformer-based learned priors with SAM2 for robust dynamic object segmentation, enabling more accurate camera pose refinement; and (2) an efficient Motion-Aware Gaussian Splatting (MA-GS) representation that uses control points with a deformation field MLP and linear blend skinning to model dynamic motion, significantly reducing computational cost while maintaining high-quality reconstruction. Extensive experiments on real-world dynamic datasets demonstrate that our approach achieves up to 1.8dB PSNR improvement over state-of-the-art methods, particularly in challenging scenarios with large dynamic objects, while reducing computational requirements by 5x compared to previous dynamic scene representations.

从具有未知相机姿态的单目动态场景视频中合成新视角仍然是计算机视觉和图形学中的一项基本挑战。尽管最近的3D表示技术，如神经辐射场（NeRF）和3D高斯涂抹（3DGS）在静态场景上取得了有前景的结果，但它们对动态内容却表现挣扎，并且通常依赖于预先计算的相机姿态。我们提出了一个无姿态的动态神经渲染框架4D3R，它通过两阶段方法将静态和动态组件解耦。我们的方法首先利用3D基础模型进行初始姿态和几何估计，然后进行感知运动的优化。4D3R引入了两个关键的技术创新：（1）运动感知捆绑调整（MA-BA）模块，它将基于变压器的先验学习与SAM2相结合，实现稳健的动态对象分割，从而实现了更准确的相机姿态优化；（2）高效的运动感知高斯涂抹（MA-GS）表示法使用控制点与变形场MLP和线性混合蒙皮进行动态运动建模，在保持高质量重建的同时显著降低了计算成本。在真实世界动态数据集上的大量实验表明，我们的方法在最先进的方法的基础上实现了高达1.8dB的PSNR改进，特别是在具有大型动态对象的挑战场景中，同时与先前的动态场景表示相比，计算要求降低了5倍。

论文及项目相关链接

PDF 17 pages, 5 figures

Summary：
该文本介绍了一种无需姿态估计的动态神经网络渲染框架4D3R，采用分阶段的方法分离静态和动态成分。首先利用三维基础模型进行初始姿态和几何估计，然后通过运动感知优化进行改进。该框架引入两项关键技术：运动感知捆绑调整模块和运动感知高斯涂绘表示法，分别用于准确进行动态对象分割和高效建模动态运动。实验证明，该方法在真实动态数据集上的表现优于现有技术，特别是在处理大型动态对象时效果更佳。

Key Takeaways：

1. 介绍了动态场景渲染的挑战，尤其是从单目视频中合成新视角的问题。
2. 提到了现有的三维表示技术如NeRF和3DGS在处理动态内容时的局限性。
3. 描述了无需姿态估计的动态神经网络渲染框架4D3R的分阶段处理方式。
4. 介绍了运动感知捆绑调整模块，结合了基于变压器的先验知识和SAM2，用于稳健的动态对象分割和更精确的姿态优化。
5. 提到了高效的运动感知高斯涂绘表示法，该法能够显著降低计算成本同时保持高质量重建。
6. 在真实世界动态数据集上的实验表明，4D3R相较于其他最新技术方法有更优表现，尤其是在处理大型动态对象时提升显著。

Cool Papers

点此查看论文截图

kV-Class Lateral NiOx/GaN Super-Heterojunction Diode via Ammonia Molecular Beam Epitaxy (NH3-MBE)

Authors:Yizheng Liu, Zachary J. Biegler, Ashley E. Wissel-Garcia, James S. Speck, Sriram Krishnamoorthy

This work reports the demonstration of lateral p-NiOx/p-GaN/n-GaN-based super-heterojunction (SHJ) diodes using p-GaN with additional sputtered p-type nickel oxide (NiOx) layers to realize charge-balanced structures. The heterojunction diode capacitance-voltage (C-V) model is applied to extract effective the acceptor concentration from the p-NiOx. Net donor and acceptor concentration in n-GaN and p-GaN are extracted by using metal-oxide-semiconductor (MOS) test structures. The fabricated p-NiOx/p-GaN/n-GaN SHJ diodes with charge-balanced region between anode and cathode exhibit a forward on-state current density of 10-30 mA/mm across an anode-to-cathode distance (LAC) from 16 {\mu}m to 80 {\mu}m. The SHJ diodes show rectifying behavior with a maximum on/off ratio of 10^9 and a low reverse leakage density. The highest breakdown voltage achieved for the SHJ diodes is 2.8 kV with reverse leakage density of 10^-4 mA/mm at ~80% of devices catastrophic breakdown voltage. The SHJ diodes across all types of dimensions exhibit significant breakdown voltage improvements (6X on average) with ultra-low reverse leakage current compared to corresponding reference structures without a charge-balanced extension, clearly demonstrating the superjunction effect for devices fabricated on GaN epitaxial layer with ~10^17 cm^-3 electron density.

本文报道了基于横向p型NiOx/p型GaN/n型GaN的超异质结（SHJ）二极管的演示。该二极管使用具有额外溅射的p型镍氧化物（NiOx）层的p型GaN，以实现电荷平衡结构。应用异质结二极管电容-电压（C-V）模型从p型NiOx中提取有效的受体浓度。通过金属氧化物半导体（MOS）测试结构提取n型GaN和p型GaN中的净施主和受体浓度。所制造的p型NiOx/p型GaN/n型GaN SHJ二极管在阳极和阴极之间具有电荷平衡区域，在阳极到阴极距离（LAC）从16μm到80μm的范围内表现出正向工作电流密度在10-30 mA/mm之间。SHJ二极管表现出整流行为，开关比最大为10^9，反向泄漏密度低。SHJ二极管实现的最高击穿电压约为2.8kV，在器件击穿电压的约80%时，反向泄漏密度为10^-4 mA/mm。与没有电荷平衡扩展的相应参考结构相比，所有尺寸的SHJ二极管均显示出显著的击穿电压改进（平均约为6倍），并具有超低的反向泄漏电流，清楚地证明了在具有约10^17 cm^-3电子密度的GaN外延层上制造的超结效应。

论文及项目相关链接

PDF

摘要
本报告展示了基于横向p型NiOx/p型GaN/n型GaN的超异质结（SHJ）二极管。通过在p型GaN上增加溅射的p型氧化镍（NiOx）层，实现了电荷平衡结构。应用异质结二极管电容电压（C-V）模型从p型NiOx中提取有效受主浓度。通过金属氧化物半导体（MOS）测试结构提取n型GaN和p型GaN中的净施主和受主浓度。制造的p型NiOx/p型GaN/n型GaN SHJ二极管在阳极和阴极之间具有电荷平衡区域，在阳极到阴极距离（LAC）从16微米到80微米范围内表现出10-30 mA/mm的正向导通电流密度。SHJ二极管具有整流行为，最大开关比为10^9，反向泄漏密度较低。SHJ二极管的最高击穿电压达到约2.8千伏，反向泄漏密度为10^-4 mA/mm，在设备击穿电压的约80%时达到此值。在所有类型的尺寸中，SHJ二极管的击穿电压与相应的无电荷平衡扩展的参考结构相比，具有显著的击穿电压改善（平均约为6倍），并具有超低反向泄漏电流，清楚地证明了在GaN外延层上制造的设备具有超结效应，电子密度为~10^17厘米^-3。

要点

1. 展示了基于p-NiOx/p-GaN/n-GaN的超异质结（SHJ）二极管。
2. 通过C-V模型和MOS测试结构提取了二极管的关键参数。
3. SHJ二极管具有电荷平衡区域，表现出良好的正向导通性能。
4. 二极管展现出高击穿电压和低反向泄漏电流特性。
5. SHJ二极管相较于传统二极管具有显著击穿电压改善。
6. 超结效应在GaN外延层上制造的设备中得到证明。

Cool Papers

点此查看论文截图

Diffusion Denoised Hyperspectral Gaussian Splatting

Authors:Sunil Kumar Narayanan, Lingjun Zhao, Lu Gan, Yongsheng Chen

Hyperspectral imaging (HSI) has been widely used in agricultural applications for non-destructive estimation of plant nutrient composition and precise determination of nutritional elements of samples. Recently, 3D reconstruction methods have been used to create implicit neural representations of HSI scenes, which can help localize the target object’s nutrient composition spatially and spectrally. Neural Radiance Field (NeRF) is a cutting-edge implicit representation that can be used to render hyperspectral channel compositions of each spatial location from any viewing direction. However, it faces limitations in training time and rendering speed. In this paper, we propose Diffusion-Denoised Hyperspectral Gaussian Splatting (DD-HGS), which enhances the state-of-the-art 3D Gaussian Splatting (3DGS) method with wavelength-aware spherical harmonics, a Kullback-Leibler divergence-based spectral loss, and a diffusion-based denoiser to enable 3D explicit reconstruction of hyperspectral scenes across the full spectral range. We present extensive evaluations on diverse real-world hyperspectral scenes from the Hyper-NeRF dataset to show the effectiveness of DD-HGS. The results demonstrate that DD-HGS achieves new state-of-the-art performance among previously published methods. Project page: https://dragonpg2000.github.io/DDHGS-website/

高光谱成像（HSI）在农业应用中被广泛用于非破坏性估计植物营养成分组成和精确确定样本的营养元素。最近，三维重建方法被用来创建HSI场景的隐式神经表示，这有助于在空间上和目标对象的光谱上定位其营养成分组成。神经辐射场（NeRF）是一种前沿的隐式表示方法，可以从任何观看方向呈现每个空间位置的高光谱通道组成。然而，它在训练时间和渲染速度上存在一定的局限性。在本文中，我们提出了扩散去噪高光谱高斯拼贴（DD-HGS），它通过波长感知球面谐波、基于Kullback-Leibler散度的光谱损失和基于扩散的去噪器，增强了当前的高斯拼贴（3DGS）方法，实现了全光谱范围内高光谱场景的三维显式重建。我们对Hyper-NeRF数据集的各种真实世界高光谱场景进行了广泛评估，以展示DD-HGS的有效性。结果表明，DD-HGS在先前发布的方法中达到了最新最先进的性能。项目页面：https://dragonpg2000.github.io/DDHGS-website/。

论文及项目相关链接

PDF Accepted to 3DV 2026

Summary：
高光谱成像（HSI）广泛应用于农业领域的植物营养组成非破坏性评估及样本营养元素精确测定。最新研究采用三维重建方法创建HSI场景隐式表示，有助于实现目标对象营养组成的空间与光谱定位。神经网络辐射场（NeRF）是前沿隐式表示技术，可从任意视角呈现每个空间位置的高光谱通道组成。但其在训练时间与渲染速度方面存在局限。本文提出基于扩散去噪的高光谱高斯涂斑（DD-HGS），利用波长感知球谐函数、基于Kullback-Leibler散度的光谱损失和扩散去噪器，增强现有三维高斯涂斑（3DGS）方法，实现全光谱范围内高光谱场景的三维显式重建。我们对Hyper-NeRF数据集的真实高光谱场景进行了广泛评估，结果表明DD-HGS在已发布的方法中达到最新最佳性能。

Key Takeaways:

1. 高光谱成像(HSI)广泛应用于农业领域的非破坏性评估及精确测定样本营养元素。
2. 3D重建方法已用于创建HSI场景的隐式表示，有助于空间与光谱定位目标对象的营养组成。
3. 神经网络辐射场（NeRF）可从任意视角呈现高光谱通道组成，但在训练时间和渲染速度上有局限。
4. DD-HGS方法结合了波长感知球谐函数、基于Kullback-Leibler散度的光谱损失和扩散去噪器。
5. DD-HGS增强了现有的三维高斯涂斑（3DGS）方法，实现了全光谱范围内的高光谱场景三维显式重建。
6. 在Hyper-NeRF数据集上的真实高光谱场景评估表明DD-HGS达到最新最佳性能。

Cool Papers

点此查看论文截图

GSRF: Complex-Valued 3D Gaussian Splatting for Efficient Radio-Frequency Data Synthesis

Authors:Kang Yang, Gaofeng Dong, Sijie Ji, Wan Du, Mani Srivastava

Synthesizing radio-frequency (RF) data given the transmitter and receiver positions, e.g., received signal strength indicator (RSSI), is critical for wireless networking and sensing applications, such as indoor localization. However, it remains challenging due to complex propagation interactions, including reflection, diffraction, and scattering. State-of-the-art neural radiance field (NeRF)-based methods achieve high-fidelity RF data synthesis but are limited by long training times and high inference latency. We introduce GSRF, a framework that extends 3D Gaussian Splatting (3DGS) from the optical domain to the RF domain, enabling efficient RF data synthesis. GSRF realizes this adaptation through three key innovations: First, it introduces complex-valued 3D Gaussians with a hybrid Fourier-Legendre basis to model directional and phase-dependent radiance. Second, it employs orthographic splatting for efficient ray-Gaussian intersection identification. Third, it incorporates a complex-valued ray tracing algorithm, executed on RF-customized CUDA kernels and grounded in wavefront propagation principles, to synthesize RF data in real time. Evaluated across various RF technologies, GSRF preserves high-fidelity RF data synthesis while achieving significant improvements in training efficiency, shorter training time, and reduced inference latency.

给定发射器和接收器位置合成射频（RF）数据，例如接收信号强度指示（RSSI），对于无线联网和感应应用（如室内定位）至关重要。然而，由于复杂的传播互动，包括反射、衍射和散射，这仍然是一个挑战。最先进的基于神经辐射场（NeRF）的方法能够实现高保真RF数据合成，但由于训练时间长和推理延迟高而受到限制。我们引入了GSRF框架，它将三维高斯涂抹（3DGS）从光学领域扩展到射频领域，实现了高效的射频数据合成。GSRF通过三个关键创新实现了这一适应：首先，它引入带有混合傅里叶-勒让德基础的复数三维高斯，以模拟方向和相位相关的辐射率。其次，它采用正交涂抹技术，以高效地识别射线与高斯之间的交集。第三，它融入了一个复杂的射线追踪算法，该算法在射频定制CUDA内核上执行，基于波前传播原理，以实时合成射频数据。经过对各种射频技术的评估，GSRF保持了高保真射频数据合成，同时在训练效率、缩短训练时间和降低推理延迟方面取得了显著改进。

论文及项目相关链接

PDF

Summary

基于射频（RF）数据的合成，如接收信号强度指示（RSSI），对于无线联网和感知应用至关重要，如室内定位。然而，由于复杂的传播交互，包括反射、衍射和散射，它仍然是一个挑战。引入GSRF框架，将三维高斯摊铺（3DGS）从光学领域扩展到射频领域，实现高效的射频数据合成。GSRF通过三个关键创新实现了这一适应：首先，它引入了带有混合傅立叶-勒让德基的复数三维高斯值来模拟方向性和相位相关的辐射亮度。其次，它采用正交摊开来有效地识别射线与高斯之间的交点。第三，它结合了基于波前传播原理的复数射线追踪算法，该算法在定制的CUDA内核上执行，以实时合成射频数据。经过对各种射频技术的评估，GSRF保持了高保真射频数据合成的同时，实现了训练效率的提高、缩短了训练时间并降低了推理延迟。

Key Takeaways

• GSRF框架成功将三维高斯摊铺（3DGS）从光学领域扩展到射频领域，用于高效射频数据合成。
• GSRF通过引入复数三维高斯值和混合傅立叶-勒让德基来模拟方向性和相位相关的辐射亮度。
• 采用正交摊开方法，可有效地识别射线与高斯之间的交点。
• 结合复数射线追踪算法和定制的CUDA内核，实现实时射频数据合成。
• GSRF在保持高保真射频数据合成的同时，提高了训练效率、缩短了训练时间并降低了推理延迟。

Cool Papers

点此查看论文截图