⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-01-29 更新
LinPrim: Linear Primitives for Differentiable Volumetric Rendering
Authors:Nicolas von Lützow, Matthias Nießner
Volumetric rendering has become central to modern novel view synthesis methods, which use differentiable rendering to optimize 3D scene representations directly from observed views. While many recent works build on NeRF or 3D Gaussians, we explore an alternative volumetric scene representation. More specifically, we introduce two new scene representations based on linear primitives-octahedra and tetrahedra-both of which define homogeneous volumes bounded by triangular faces. This formulation aligns naturally with standard mesh-based tools, minimizing overhead for downstream applications. To optimize these primitives, we present a differentiable rasterizer that runs efficiently on GPUs, allowing end-to-end gradient-based optimization while maintaining realtime rendering capabilities. Through experiments on real-world datasets, we demonstrate comparable performance to state-of-the-art volumetric methods while requiring fewer primitives to achieve similar reconstruction fidelity. Our findings provide insights into the geometry of volumetric rendering and suggest that adopting explicit polyhedra can expand the design space of scene representations.
体积渲染已成为现代新型视图合成方法的核心，这些方法使用可微渲染来直接优化从观察到的视图中表示的3D场景。虽然许多最近的工作建立在NeRF或3D高斯分布上，但我们探索了一种替代的体积场景表示。更具体地说，我们基于线性基本体引入了两种新的场景表示方法——八面体和四面体，它们都由三角形面界定同质体积。这种表述方式与标准的网格基工具自然对齐，可最大限度地减少下游应用开销。为了优化这些基本体素，我们提出了一种可在GPU上高效运行的可微分光线跟踪器，它支持端到端的基于梯度的优化，同时保持实时渲染能力。通过对真实世界数据集的实验，我们展示了与最先进的体积方法的相当性能，同时使用较少的原始体积实现类似的重建保真度。我们的研究为体积渲染的几何结构提供了见解，并表明采用明确的多面体可以扩大场景表示的设计空间。
论文及项目相关链接
Summary
该文探索了基于线性原始体积的新的三维场景表示方法，包括采用八面体和四面体两种三角面构成的均匀体积。为提高优化效率，文章提出了一种可微分的栅格化技术，能在GPU上高效运行，实现端到端的梯度优化，同时保持实时渲染能力。实验证明，该方法与最新体积方法在性能上相当，且使用较少的原始体积即可达到相似的重建保真度。这为体积渲染的几何研究提供了新的视角，表明采用明确的聚体可以扩展场景表示的设计空间。
Key Takeaways
- 文章提出了基于线性原始体积的新型三维场景表示方法，采用八面体和四面体两种三角面构建均匀体积。
- 为优化这些原始体积，文章提出了一种高效的、可在GPU上运行的微分栅格化技术。
- 该技术能实现端到端的梯度优化，同时保持实时渲染能力。
- 实验证明，该方法的性能与最新体积渲染方法相当。
- 使用较少的原始体积即可达到相似的重建保真度，这降低了计算成本并提高了效率。
- 该研究为体积渲染的几何研究提供了新的视角。
点此查看论文截图
Comparative clinical evaluation of “memory-efficient” synthetic 3d generative adversarial networks (gan) head-to-head to state of art: results on computed tomography of the chest
Authors:Mahshid shiri, Chandra Bortolotto, Alessandro Bruno, Alessio Consonni, Daniela Maria Grasso, Leonardo Brizzi, Daniele Loiacono, Lorenzo Preda
Introduction: Generative Adversarial Networks (GANs) are increasingly used to generate synthetic medical images, addressing the critical shortage of annotated data for training Artificial Intelligence (AI) systems. This study introduces a novel memory-efficient GAN architecture, incorporating Conditional Random Fields (CRFs) to generate high-resolution 3D medical images and evaluates its performance against the state-of-the-art hierarchical (HA)-GAN model. Materials and Methods: The CRF-GAN was trained using the open-source lung CT LUNA16 dataset. The architecture was compared to HA-GAN through a quantitative evaluation, using Frechet Inception Distance (FID) and Maximum Mean Discrepancy (MMD) metrics, and a qualitative evaluation, through a two-alternative forced choice (2AFC) test completed by a pool of 12 resident radiologists, in order to assess the realism of the generated images. Results: CRF-GAN outperformed HA-GAN with lower FID (0.047 vs. 0.061) and MMD (0.084 vs. 0.086) scores, indicating better image fidelity. The 2AFC test showed a significant preference for images generated by CRF-Gan over those generated by HA-GAN with a p-value of 1.93e-05. Additionally, CRF-GAN demonstrated 9.34% lower memory usage at 256 resolution and achieved up to 14.6% faster training speeds, offering substantial computational savings. Discussion: CRF-GAN model successfully generates high-resolution 3D medical images with non-inferior quality to conventional models, while being more memory-efficient and faster. Computational power and time saved can be used to improve the spatial resolution and anatomical accuracy of generated images, which is still a critical factor limiting their direct clinical applicability.
引言：生成对抗网络（GANs）越来越多地被用于生成合成医学图像，以解决训练人工智能（AI）系统时标注数据严重短缺的问题。本研究介绍了一种新的内存高效的GAN架构，该架构结合了条件随机场（CRFs）来生成高分辨率的3D医学图像，并评估了其与最先进的分层（HA）-GAN模型的性能。材料与方法：CRF-GAN是使用开源肺部CT LUNA16数据集进行训练的。通过与HA-GAN的定量评估，使用Frechet Inception Distance（FID）和Maximum Mean Discrepancy（MMD）指标，以及定性评估，通过由12名住院医生完成的两组强制选择（2AFC）测试，以评估生成图像的现实性。结果：CRF-GAN在FID（0.047对0.061）和MMD（0.084对0.086）得分上优于HA-GAN，表明图像保真度更高。2AFC测试显示，CRF-GAN生成的图像比HA-GAN生成的图像更受欢迎，p值为1.93e-05。此外，CRF-GAN在256分辨率下的内存使用率低9.34%，训练速度提高达14.6%，提供了实质性的计算节省。讨论：CRF-GAN模型成功地生成了高分辨率的3D医学图像，其质量不低于传统模型，同时更节省内存、速度更快。所节省的计算能力和时间可用于提高生成图像的空间分辨率和解剖准确性，这仍然是限制其直接临床应用的关键因素。
论文及项目相关链接
摘要
该研究提出一种新型内存高效的GAN架构，即CRF-GAN，旨在生成高分辨率的3D医学图像，以解决AI系统训练数据短缺的问题。该研究使用公开肺CT数据集LUNA16对CRF-GAN进行训练，并与先进的HA-GAN模型进行比较。通过定量和定性评估，CRF-GAN在图像逼真度和生成速度上表现出优越的性能，同时具有更低的内存使用效率。该研究表明，CRF-GAN能够以更高的效率和更低的内存使用生成高质量的医学图像，具有潜在的医学应用前景。
关键见解
- CRF-GAN是一种新型的生成对抗网络架构，旨在解决医学图像数据短缺的问题。
- 该研究使用公开肺CT数据集LUNA16对CRF-GAN进行训练。
- 与先进的HA-GAN模型相比，CRF-GAN在图像生成方面表现出更好的性能。
- CRF-GAN在图像逼真度、生成速度和内存使用效率方面均优于HA-GAN。
- CRF-GAN生成的图像获得了居民放射科医师的显著偏好。
- CRF-GAN的成功应用为医学图像处理提供了新的可能性。
点此查看论文截图
