⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-03-06 更新
XIRVIO: Critic-guided Iterative Refinement for Visual-Inertial Odometry with Explainable Adaptive Weighting
Authors:Chit Yuen Lam, Ronald Clark, Basaran Bahadir Kocer
We introduce XIRVIO, a transformer-based Generative Adversarial Network (GAN) framework for monocular visual inertial odometry (VIO). By taking sequences of images and 6-DoF inertial measurements as inputs, XIRVIO’s generator predicts pose trajectories through an iterative refinement process which are then evaluated by the critic to select the iteration with the optimised prediction. Additionally, the self-emergent adaptive sensor weighting reveals how XIRVIO attends to each sensory input based on contextual cues in the data, making it a promising approach for achieving explainability in safety-critical VIO applications. Evaluations on the KITTI dataset demonstrate that XIRVIO matches well-known state-of-the-art learning-based methods in terms of both translation and rotation errors.
我们介绍了XIRVIO，这是一种基于Transformer的生成对抗网络（GAN）框架，用于单目视觉惯性里程计（VIO）。XIRVIO的生成器以图像序列和6自由度惯性测量为输入，通过迭代优化过程预测姿态轨迹，然后由评估器评估，选择具有优化预测结果的迭代。此外，自涌现的适应性传感器权重揭示了XIRVIO如何根据数据中的上下文线索关注每个感官输入，使其成为在安全关键的VIO应用中实现可解释性的有前途的方法。在KITTI数据集上的评估表明，XIRVIO在平移和旋转误差方面与知名最先进的基于学习的方法相匹配。
论文及项目相关链接
PDF 7 pages, 6 figures
Summary
XIRVIO是一个基于Transformer的生成对抗网络（GAN）框架，用于单目视觉惯性里程计（VIO）。它接受图像序列和6自由度惯性测量作为输入，通过迭代优化过程预测姿态轨迹，并由评论家选择最佳迭代结果。此外，XIRVIO的自适应传感器权重自适应表现为它如何根据数据中的上下文线索关注每个感官输入，这在安全关键的VIO应用中为实现可解释性提供了希望。在KITTI数据集上的评估表明，XIRVIO在翻译和旋转误差方面与知名基于学习的先进方法相匹配。
Key Takeaways
- XIRVIO是一个基于Transformer的GAN框架，用于单目视觉惯性里程计（VIO）。
- 它通过接收图像序列和6-DoF惯性测量作为输入，预测姿态轨迹，并经过迭代优化过程。
- 评论家用于选择最佳迭代结果。
- XIRVIO具有自适应传感器权重功能，根据数据中的上下文关注每个感官输入。
- 这为实现安全关键VIO应用的解释性提供了希望。
- 在KITTI数据集上的评估显示，XIRVIO在翻译和旋转误差方面表现良好，与最新学习技术相匹配。
点此查看论文截图
Transfer Learning of Real Image Features with Soft Contrastive Loss for Fake Image Detection
Authors:Ziyou Liang, Weifeng Liu, Run Wang, Mengjie Wu, Boheng Li, Yuyang Zhang, Lina Wang, Xinyi Yang
In the last few years, the artifact patterns in fake images synthesized by different generative models have been inconsistent, leading to the failure of previous research that relied on spotting subtle differences between real and fake. In our preliminary experiments, we find that the artifacts in fake images always change with the development of the generative model, while natural images exhibit stable statistical properties. In this paper, we employ natural traces shared only by real images as an additional target for a classifier. Specifically, we introduce a self-supervised feature mapping process for natural trace extraction and develop a transfer learning based on soft contrastive loss to bring them closer to real images and further away from fake ones. This motivates the detector to make decisions based on the proximity of images to the natural traces. To conduct a comprehensive experiment, we built a high-quality and diverse dataset that includes generative models comprising GANs and diffusion models, to evaluate the effectiveness in generalizing unknown forgery techniques and robustness in surviving different transformations. Experimental results show that our proposed method gives 96.2% mAP significantly outperforms the baselines. Extensive experiments conducted on popular commercial platforms reveal that our proposed method achieves an accuracy exceeding 78.4%, underscoring its practicality for real-world application deployment.
在过去的几年里，由不同生成模型合成的虚假图像中的伪影模式一直存在不一致的问题，导致之前依赖识别真实和虚假图像之间细微差异的研究失败。在我们的初步实验中，我们发现虚假图像中的伪影随着生成模型的发展而不断变化，而自然图像则表现出稳定的统计特性。在本文中，我们采用只有真实图像共有的自然痕迹作为分类器的附加目标。具体来说，我们引入了一种自监督特征映射过程来提取自然痕迹，并基于软对比损失开发了一种迁移学习，使它们更接近真实图像，远离虚假图像。这激励检测器根据图像与自然痕迹的接近程度来做出决策。为了进行全面的实验，我们建立了一个高质量、多样化的数据集，其中包括涵盖GANs和扩散模型的生成模型，以评估在泛化未知伪造技术和在不同转换中生存的稳健性方面的有效性。实验结果表明，我们提出的方法达到了96.2%的mAP，显著优于基线。在流行的商业平台上进行的广泛实验表明，我们提出的方法达到了超过78.4%的准确率，突显其在现实世界应用部署中的实用性。
论文及项目相关链接
Summary
本文解决了生成模型合成的假图像识别问题。以往的研究方法因假图像与自然图像之间的细微差异而无法适应新模型的变化。本研究提出以自然图像的固有痕迹为分类依据，引入自我监督的特征映射技术，并通过基于软对比损失的迁移学习使假图像远离自然痕迹。通过高质量且多样化的数据集实验证明，此方法能更有效地检测假图像，且对未知伪造技术和图像变换具有鲁棒性。实验结果显示，该方法mAP达到96.2%，且在商业平台上的准确度超过78.4%。
Key Takeaways
- 研究背景指出了传统方法在新模型生成的假图像识别上的失效问题。
- 提出利用自然图像中的固有痕迹作为识别假图像的新目标。
- 引入自我监督的特征映射技术用于提取自然痕迹。
- 采用基于软对比损失的迁移学习，使假图像远离自然痕迹。
- 构建了一个包含多种生成模型的数据集用于评估识别方法的有效性。
- 实验结果表明该方法的性能优于现有技术，在衡量检测准确性的指标上表现优异。
点此查看论文截图
