⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-03-11 更新
Metadata-free Georegistration of Ground and Airborne Imagery
Authors:Adam Bredvik, Scott Richardson, Daniel Crispell
Heterogeneous collections of ground and airborne imagery can readily be used to create high-quality 3D models and novel viewpoint renderings of the observed scene. Standard photogrammetry pipelines generate models in arbitrary coordinate systems, which is problematic for applications that require georegistered models. Even for applications that do not require georegistered models, georegistration is useful as a mechanism for aligning multiple disconnected models generated from non-overlapping data. The proposed method leverages satellite imagery, an associated digital surface model (DSM), and the novel view generation capabilities of modern 3D modeling techniques (e.g. neural radiance fields) to provide a robust method for georegistering airborne imagery, and a related technique for registering ground-based imagery to models created from airborne imagery. Experiments demonstrate successful georegistration of airborne and ground-based photogrammetric models across a variety of distinct sites. The proposed method does not require use of any metadata other than a satellite-based reference product and therefore has general applicability.
地面和空中图像的异质集合可以很容易地用于创建高质量的三维模型以及所观察场景的新视点渲染。标准摄影测量管线会在任意坐标系中生成模型，这对于需要地理注册模型的应用来说是有问题的。即使对于不需要地理注册模型的应用，地理注册也是一种有用的机制，用于对齐由非重叠数据生成的多个独立模型。所提出的方法利用卫星图像、相关的数字表面模型（DSM）和现代三维建模技术（例如神经辐射场）的新视图生成能力，提供了一种对空中图像进行地理注册的稳健方法，以及一种将地面图像注册到由空中图像创建的相关模型的技术。实验证明，在各种不同站点上，空中和地面摄影测量模型的地理注册都是成功的。所提出的方法不需要使用任何元数据，只需基于卫星的参考产品，因此具有普遍适用性。
论文及项目相关链接
PDF WACV 2025 ULTRRA Workshop
Summary
本文提出一种利用卫星影像、数字地表模型（DSM）和现代三维建模技术（如神经辐射场）的方法，实现空中影像的地理注册，以及将地面影像注册到由空中影像创建模型的技术。该方法成功地在不同地点实现了空中和地面摄影测量模型的地理注册，且无需使用除卫星基准产品以外的任何元数据，具有广泛的应用性。
Key Takeaways
- 异质地面和空中影像集合可创建高质量的三维模型和场景的新视角渲染。
- 标准摄影测量流程生成的模型坐标系统存在问题，对于需要地理注册模型的应用造成困扰。
- 地理注册是对齐多个由非重叠数据生成的独立模型的一种机制，不仅对于需要地理注册模型的应用有益，也在某些不需要地理注册模型的应用中具有价值。
- 本文提出的方法利用卫星影像、数字地表模型（DSM）和现代三维建模技术实现空中影像的稳健地理注册。
- 该方法成功地在不同地点实现了空中和地面摄影测量模型的地理注册。
- 该方法不需要使用任何额外的元数据，仅依赖卫星基准产品。
点此查看论文截图
NeRF-Aug: Data Augmentation for Robotics with Neural Radiance Fields
Authors:Eric Zhu, Mara Levy, Matthew Gwilliam, Abhinav Shrivastava
Training a policy that can generalize to unknown objects is a long standing challenge within the field of robotics. The performance of a policy often drops significantly in situations where an object in the scene was not seen during training. To solve this problem, we present NeRF-Aug, a novel method that is capable of teaching a policy to interact with objects that are not present in the dataset. This approach differs from existing approaches by leveraging the speed, photorealism, and 3D consistency of a neural radiance field for augmentation. NeRF-Aug both creates more photorealistic data and runs 63% faster than existing methods. We demonstrate the effectiveness of our method on 5 tasks with 9 novel objects that are not present in the expert demonstrations. We achieve an average performance boost of 55.6% when comparing our method to the next best method. You can see video results at https://nerf-aug.github.io.
在机器人技术领域中，训练能够推广至未知物体的策略是一项长期挑战。在场景中出现的物体在训练期间未曾见过的情况下，策略的表现往往会显著下降。为了解决这个问题，我们提出了NeRF-Aug这一新方法，它能够教授策略与数据集中不存在的物体进行交互。此方法与现有方法不同，它利用神经辐射场的速度、逼真度和3D一致性来进行增强。NeRF-Aug既创造了更逼真的数据，而且相比现有方法运行速度提高了63%。我们在专家演示中未出现的五个任务上演示了我们的方法，并在九个新型物体上取得了显著成效。在与次优方法的比较中，我们的方法平均性能提升了55.6%。您可以在https://nerf-aug.github.io观看视频结果。
论文及项目相关链接
Summary
本文提出一种名为NeRF-Aug的新方法，用于训练能在未知对象上泛化的策略。该方法利用神经辐射场的速度、逼真度和三维一致性进行数据增强，生成更逼真的数据，并且运行速度比现有方法快63%。在具有未出现专家演示的9个新对象的五个任务上验证了该方法的有效性，相较于次优方法，平均性能提升55.6%。详情可见视频演示。
Key Takeaways
- NeRF-Aug是一种用于机器人政策训练的新方法，旨在解决在未知对象上的泛化问题。
- 该方法利用神经辐射场（NeRF）的速度、逼真度和三维一致性进行数据增强。
- NeRF-Aug生成的数据更加逼真。
- NeRF-Aug的执行速度比现有方法快63%。
- 在五个任务上进行了验证，涉及九个未在专家演示中出现的新对象。
- 与次优方法相比，使用NeRF-Aug的平均性能提升55.6%。
点此查看论文截图
