发布日期: 2025-09-13

更新日期: 2025-09-13

文章字数: 3.5k

阅读时长: 14 分

阅读次数:

⚠️ 以下所有内容总结都来自于大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-09-13 更新

Dark-ISP: Enhancing RAW Image Processing for Low-Light Object Detection

Authors:Jiasheng Guo, Xin Gao, Yuxiang Yan, Guanghao Li, Jian Pu

Low-light Object detection is crucial for many real-world applications but remains challenging due to degraded image quality. While recent studies have shown that RAW images offer superior potential over RGB images, existing approaches either use RAW-RGB images with information loss or employ complex frameworks. To address these, we propose a lightweight and self-adaptive Image Signal Processing (ISP) plugin, Dark-ISP, which directly processes Bayer RAW images in dark environments, enabling seamless end-to-end training for object detection. Our key innovations are: (1) We deconstruct conventional ISP pipelines into sequential linear (sensor calibration) and nonlinear (tone mapping) sub-modules, recasting them as differentiable components optimized through task-driven losses. Each module is equipped with content-aware adaptability and physics-informed priors, enabling automatic RAW-to-RGB conversion aligned with detection objectives. (2) By exploiting the ISP pipeline’s intrinsic cascade structure, we devise a Self-Boost mechanism that facilitates cooperation between sub-modules. Through extensive experiments on three RAW image datasets, we demonstrate that our method outperforms state-of-the-art RGB- and RAW-based detection approaches, achieving superior results with minimal parameters in challenging low-light environments.

低光环境下的目标检测在现实世界应用中至关重要，但由于图像质量下降而仍然具有挑战性。虽然最近的研究表明，RAW图像相较于RGB图像具有更大的潜力，但现有方法要么使用信息损失的RAW-RGB图像，要么采用复杂的框架。为了解决这个问题，我们提出了一种轻量级且自适应的图像信号处理（ISP）插件Dark-ISP，它直接在黑暗环境中处理Bayer RAW图像，实现了无缝端到端的目标检测训练。我们的关键创新点在于：一是对传统的ISP管道进行了分解重构为按顺序排列的线性（传感器校准）和非线性（色调映射）子模块，通过任务驱动的损失将它们转化为可微分的组件进行优化。每个模块都配备了内容感知自适应能力和物理先验知识，实现了与检测目标对齐的自动RAW到RGB转换。二是通过利用ISP管道的内在级联结构，我们设计了一种自增强机制，有助于子模块之间的协作。通过在三个RAW图像数据集上进行的大量实验表明，我们的方法在具有挑战性的低光环境中实现了超越最新RGB和基于RAW的检测方法的优越性能，同时参数最少。

论文及项目相关链接

PDF 11 pages, 6 figures, conference

摘要

低光照条件下的目标检测在现实世界应用中至关重要，但由于图像质量下降而具有挑战性。尽管最近的研究表明RAW图像相比RGB图像具有更大的潜力，但现有方法要么在RAW-RGB图像中损失信息，要么采用复杂的框架。为解决这些问题，我们提出了一种轻量级、自适应的图像信号处理（ISP）插件Dark-ISP，它直接在黑暗环境中处理Bayer RAW图像，实现无缝端到端目标检测训练。我们的关键创新点包括：（1）我们将传统的ISP管道分解为顺序的线性（传感器校准）和非线性（色调映射）子模块，将它们重塑为通过任务驱动损失优化的可区分组件。每个模块都配备了内容感知的适应性和物理信息先验，实现与检测目标对齐的自动RAW-to-RGB转换。（2）通过利用ISP管道的固有级联结构，我们设计了一种Self-Boost机制，促进子模块之间的合作。通过在三个RAW图像数据集上进行广泛实验，我们证明我们的方法在具有挑战性的低光照环境中，以最小的参数超越了最先进的RGB和基于RAW的检测方法，取得了优越的结果。

要点

低光照条件下的目标检测是许多现实世界应用中的关键挑战。
存在的方法要么使用信息损失的RAW-RGB图像，要么采用复杂的框架来处理RAW图像。
提出了一种轻量级、自适应的ISP插件Dark-ISP，直接处理黑暗环境中的Bayer RAW图像。
通过将ISP管道分解为线性和非线性子模块，并赋予它们内容感知适应性和物理信息先验，实现了自动RAW-to-RGB转换。
提出了一种Self-Boost机制，促进ISP管道中子模块之间的合作。
在三个RAW图像数据集上的实验证明，该方法在具有挑战性的低光照环境中超越了现有的先进检测方法。

Cool Papers

点此查看论文截图

Similarity-based Outlier Detection for Noisy Object Re-Identification Using Beta Mixtures

Authors:Waqar Ahmad, Evan Murphy, Vladimir A. Krylov

Object re-identification (Re-ID) methods are highly sensitive to label noise, which typically leads to significant performance degradation. We address this challenge by reframing Re-ID as a supervised image similarity task and adopting a Siamese network architecture trained to capture discriminative pairwise relationships. Central to our approach is a novel statistical outlier detection (OD) framework, termed Beta-SOD (Beta mixture Similarity-based Outlier Detection), which models the distribution of cosine similarities between embedding pairs using a two-component Beta distribution mixture model. We establish a novel identifiability result for mixtures of two Beta distributions, ensuring that our learning task is well-posed.The proposed OD step complements the Re-ID architecture combining binary cross-entropy, contrastive, and cosine embedding losses that jointly optimize feature-level similarity learning.We demonstrate the effectiveness of Beta-SOD in de-noising and Re-ID tasks for person Re-ID, on CUHK03 and Market-1501 datasets, and vehicle Re-ID, on VeRi-776 dataset. Our method shows superior performance compared to the state-of-the-art methods across various noise levels (10-30%), demonstrating both robustness and broad applicability in noisy Re-ID scenarios. The implementation of Beta-SOD is available at: https://github.com/waqar3411/Beta-SOD

目标再识别（Re-ID）方法对标签噪声高度敏感，通常会导致性能显著下降。我们通过将Re-ID重新构建为一个有监督的图像相似性任务来解决这一挑战，并采用Siamese网络架构进行训练，以捕获判别性成对关系。我们的方法的核心是一个新颖的统计异常检测（OD）框架，称为Beta-SOD（基于相似度的Beta混合异常检测），它使用两分量Beta分布混合模型对嵌入对之间的余弦相似性的分布进行建模。我们为两个Beta分布的混合物建立了新的可识别性结果，以确保我们的学习任务是适定的。提出的OD步骤补充了Re-ID架构，结合了二元交叉熵、对比和余弦嵌入损失，共同优化特征级别的相似性学习。我们在CUHK03和Market-1501数据集上的人体Re-ID任务以及VeRi-776数据集上的车辆Re-ID任务中证明了Beta-SOD在降噪和Re-ID任务中的有效性。我们的方法在各种噪声水平（10-30％）上均表现出优于最新技术的性能，证明了在嘈杂的Re-ID场景中既稳健又广泛应用。Beta-SOD的实现可在以下网址找到：https://github.com/waqar3411/Beta-SOD 。

论文及项目相关链接

PDF

摘要

对象重识别（Re-ID）方法对标签噪声高度敏感，通常会导致性能显著下降。我们通过将Re-ID重新构建为监督图像相似性任务来解决这一挑战，并采用Siamese网络架构进行训练，以捕获判别性的成对关系。我们的方法核心是一个名为Beta-SOD（基于Beta混合相似性的异常值检测）的新型统计异常检测（OD）框架，该框架使用两分量Beta分布混合模型对嵌入对之间的余弦相似性分布进行建模。我们为两个Beta分布的混合物建立了新的可识别结果，以确保我们的学习任务是适定的。提出的OD步骤补充了Re-ID架构，结合了二元交叉熵、对比和余弦嵌入损失，联合优化特征级别的相似性学习。我们在CUHK03、Market-1501数据集上的行人Re-ID任务以及VeRi-776数据集上的车辆Re-ID任务中验证了Beta-SOD在降噪和Re-ID任务中的有效性。我们的方法在各种噪声水平（10-30%）下的性能均优于最先进的方法，证明了在噪声Re-ID场景中的稳健性和广泛适用性。Beta-SOD的实现可访问：https://github.com/waqar3411/Beta-SOD

要点

对象重识别（Re-ID）面临标签噪声导致的性能下降问题。
提出将Re-ID重构为监督图像相似性任务，采用Siamese网络捕获判别性成对关系。
引入新型统计异常检测框架Beta-SOD，利用两分量Beta分布混合模型处理余弦相似性分布。
确立两个Beta分布混合物的可识别性结果，确保学习任务的适定性。
Beta-SOD与Re-ID架构相结合，结合多种损失函数优化特征级别相似性学习。
在多个数据集上的实验验证了Beta-SOD在降噪和Re-ID任务中的有效性。

Cool Papers

点此查看论文截图

AdvReal: Physical Adversarial Patch Generation Framework for Security Evaluation of Object Detection Systems

Authors:Yuanhao Huang, Yilong Ren, Jinlei Wang, Lujia Huo, Xuesong Bai, Jinchuan Zhang, Haiyan Yu

Autonomous vehicles are typical complex intelligent systems with artificial intelligence at their core. However, perception methods based on deep learning are extremely vulnerable to adversarial samples, resulting in security accidents. How to generate effective adversarial examples in the physical world and evaluate object detection systems is a huge challenge. In this study, we propose a unified joint adversarial training framework for both 2D and 3D domains, which simultaneously optimizes texture maps in 2D image and 3D mesh spaces to better address intra-class diversity and real-world environmental variations. The framework includes a novel realistic enhanced adversarial module, with time-space and relighting mapping pipeline that adjusts illumination consistency between adversarial patches and target garments under varied viewpoints. Building upon this, we develop a realism enhancement mechanism that incorporates non-rigid deformation modeling and texture remapping to ensure alignment with the human body’s non-rigid surfaces in 3D scenes. Extensive experiment results in digital and physical environments demonstrate that the adversarial textures generated by our method can effectively mislead the target detection model. Specifically, our method achieves an average attack success rate (ASR) of 70.13% on YOLOv12 in physical scenarios, significantly outperforming existing methods such as T-SEA (21.65%) and AdvTexture (19.70%). Moreover, the proposed method maintains stable ASR across multiple viewpoints and distances, with an average attack success rate exceeding 90% under both frontal and oblique views at a distance of 4 meters. This confirms the method’s strong robustness and transferability under multi-angle attacks, varying lighting conditions, and real-world distances. The demo video and code can be obtained at https://github.com/Huangyh98/AdvReal.git.

自动驾驶汽车是典型的复杂智能系统，以人工智能为核心。然而，基于深度学习的感知方法极易受到对抗性样本的攻击，从而导致安全事故。如何在物理世界生成有效的对抗样本并评估目标检测系统是一大挑战。本研究提出了一个统一的联合对抗训练框架，适用于2D和3D领域，同时优化2D图像中的纹理贴图和3D网格空间，以更好地解决类内多样性和真实世界环境变化的问题。该框架包括一个新颖的现实增强对抗模块，具有时空和重新照明映射管道，可以在不同视角下调整对抗补丁和目标服装之间的照明一致性。在此基础上，我们开发了一种现实增强机制，融入非刚性变形建模和纹理重映射，以确保与3D场景中人体非刚性表面的对齐。在数字和物理环境中的大量实验结果表明，我们方法生成的对抗纹理可以有效地误导目标检测模型。具体而言，我们的方法在物理场景中针对YOLOv12的平均攻击成功率（ASR）达到70.13%，显著优于现有方法，如T-SEA（21.65%）和AdvTexture（19.70%）。此外，所提出的方法在多视角和距离上保持了稳定的ASR，在4米距离下，正面和侧面视角的平均攻击成功率均超过90%。这证明了该方法在多角度攻击、不同光照条件和真实世界距离下的强大鲁棒性和可迁移性。演示视频和代码可在https://github.com/Huangyh98/AdvReal.git获取。

论文及项目相关链接

PDF

Summary
在自动驾驶车辆等复杂智能系统中，深度学习感知方法易受到对抗样本的影响而导致安全事故。本研究提出一个统一联合对抗训练框架，针对2D和3D领域进行优化，通过调整纹理贴图解决类内多样性和真实环境多变性问题。开发现实增强机制，确保与人类非刚性表面在3D场景中的对齐。实验证明，该方法生成的对抗纹理可有效误导目标检测模型，平均攻击成功率达70.13%，优于其他方法。

Key Takeaways