NeRF

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-02-27 更新

HEROS-GAN: Honed-Energy Regularized and Optimal Supervised GAN for Enhancing Accuracy and Range of Low-Cost Accelerometers

Authors:Yifeng Wang, Yi Zhao

Low-cost accelerometers play a crucial role in modern society due to their advantages of small size, ease of integration, wearability, and mass production, making them widely applicable in automotive systems, aerospace, and wearable technology. However, this widely used sensor suffers from severe accuracy and range limitations. To this end, we propose a honed-energy regularized and optimal supervised GAN (HEROS-GAN), which transforms low-cost sensor signals into high-cost equivalents, thereby overcoming the precision and range limitations of low-cost accelerometers. Due to the lack of frame-level paired low-cost and high-cost signals for training, we propose an Optimal Transport Supervision (OTS), which leverages optimal transport theory to explore potential consistency between unpaired data, thereby maximizing supervisory information. Moreover, we propose a Modulated Laplace Energy (MLE), which injects appropriate energy into the generator to encourage it to break range limitations, enhance local changes, and enrich signal details. Given the absence of a dedicated dataset, we specifically establish a Low-cost Accelerometer Signal Enhancement Dataset (LASED) containing tens of thousands of samples, which is the first dataset serving to improve the accuracy and range of accelerometers and is released in Github. Experimental results demonstrate that a GAN combined with either OTS or MLE alone can surpass the previous signal enhancement SOTA methods by an order of magnitude. Integrating both OTS and MLE, the HEROS-GAN achieves remarkable results, which doubles the accelerometer range while reducing signal noise by two orders of magnitude, establishing a benchmark in the accelerometer signal processing.

低成本加速度计在现代社会中扮演着至关重要的角色，因其体积小、易于集成、可穿戴以及可大规模生产的优势，广泛应用于汽车系统、航空航天和可穿戴技术等领域。然而，这种广泛使用的传感器存在精度和范围上的局限性。为此，我们提出了精化能量正则化和最优监督生成对抗网络（HEROS-GAN），将低成本传感器信号转化为高成本等效信号，从而克服低成本加速度计的精度和范围限制。由于缺少用于训练的帧级配对低成本和高成本信号，我们提出了最优传输监督（OTS），该方案利用最优传输理论来探索未配对数据之间的潜在一致性，从而最大限度地提高监督信息。此外，我们还提出了调制拉普拉斯能量（MLE），为生成器注入适当的能量，鼓励其突破范围限制，增强局部变化并丰富信号细节。由于缺乏专用数据集，我们特意建立了一个低成本加速度计信号增强数据集（LASED），包含数万个样本，这是第一个旨在提高加速度计精度和范围的数据集，已在Github上发布。实验结果表明，无论单独使用OTS还是MLE与生成对抗网络结合，都能以倍数优势超越之前的信号增强SOTA方法。而结合了OTS和MLE的HEROS-GAN取得了显著成果，其加速度计范围翻倍，信号噪声降低两个数量级，为加速度计信号处理领域树立了新的基准。

论文及项目相关链接

PDF AAAI Oral; AI for Sensors; Generative Deep Learning

Summary

该文探讨了低成本加速度计在现代社会的广泛应用与其存在的精度和范围限制问题。为此，提出了一个名为HEROS-GAN的方法，将低成本的传感器信号转化为高性能等效信号，从而克服低成本加速度计的精度和范围限制。该方法包括Optimal Transport Supervision（OTS）和Modulated Laplace Energy（MLE）两大技术，并在特定数据集上进行了实验验证，取得了显著成果。

Key Takeaways

1. 低成本加速度计在现代化社会中具有广泛应用，但存在精度和范围限制。
2. HEROS-GAN方法通过将低成本的传感器信号转化为高性能等效信号，解决了低成本加速度计的精度和范围限制问题。
3. OTS技术利用最优传输理论，探索未配对数据之间的潜在一致性，从而最大化监督信息。
4. MLE技术为生成器注入适当的能量，鼓励其突破范围限制，增强局部变化，丰富信号细节。
5. 建立了专门的Low-cost Accelerometer Signal Enhancement Dataset（LASED）数据集，用于提高加速度计的精度和范围。
6. 实验结果表明，HEROS-GAN及其组合技术（OTS和MLE）在加速度计信号处理方面达到了里程碑式的成果。

Cool Papers

点此查看论文截图

NSSI-Net: A Multi-Concept GAN for Non-Suicidal Self-Injury Detection Using High-Dimensional EEG in a Semi-Supervised Framework

Authors:Zhen Liang, Weishan Ye, Qile Liu, Li Zhang, Gan Huang, Yongjie Zhou

Non-suicidal self-injury (NSSI) is a serious threat to the physical and mental health of adolescents, significantly increasing the risk of suicide and attracting widespread public concern. Electroencephalography (EEG), as an objective tool for identifying brain disorders, holds great promise. However, extracting meaningful and reliable features from high-dimensional EEG data, especially by integrating spatiotemporal brain dynamics into informative representations, remains a major challenge. In this study, we introduce an advanced semi-supervised adversarial network, NSSI-Net, to effectively model EEG features related to NSSI. NSSI-Net consists of two key modules: a spatial-temporal feature extraction module and a multi-concept discriminator. In the spatial-temporal feature extraction module, an integrated 2D convolutional neural network (2D-CNN) and a bi-directional Gated Recurrent Unit (BiGRU) are used to capture both spatial and temporal dynamics in EEG data. In the multi-concept discriminator, signal, gender, domain, and disease levels are fully explored to extract meaningful EEG features, considering individual, demographic, disease variations across a diverse population. Based on self-collected NSSI data (n=114), the model’s effectiveness and reliability are demonstrated, with a 5.44% improvement in performance compared to existing machine learning and deep learning methods. This study advances the understanding and early diagnosis of NSSI in adolescents with depression, enabling timely intervention. The source code is available at https://github.com/Vesan-yws/NSSINet.

非自杀性自伤（NSSI）是青少年身心健康的一个严重威胁，大大增加了自杀风险，并引起了社会广泛关注。脑电图（EEG）作为识别大脑疾病的客观工具，具有巨大潜力。然而，从高维EEG数据中提取有意义和可靠的特征仍然是一个主要挑战，尤其是在将时空大脑动力学整合到信息表示中。在这项研究中，我们引入了一个先进的半监督对抗网络NSSI-Net，以有效地对与NSSI相关的EEG特征进行建模。NSSI-Net由两个关键模块组成：时空特征提取模块和多概念鉴别器。在时空特征提取模块中，集成了二维卷积神经网络（2D-CNN）和双向门控循环单元（BiGRU），以捕获EEG数据中的空间和时间动态。在多概念鉴别器中，我们充分探索了信号、性别、领域和疾病水平，以提取有意义的EEG特征，同时考虑跨不同人群的个体差异、人口统计学和疾病变化。基于自我收集的114份NSSI数据，验证了该模型的有效性和可靠性，与现有的机器学习和深度学习方法相比，性能提高了5.44%。本研究加深了对青少年抑郁症NSSI的理解，并促进了早期诊断，为实现及时干预提供了可能。源代码可在https://github.com/Vesan-yws/NSSINet获取。

论文及项目相关链接

PDF

Summary

本研究引入了一种先进的半监督对抗网络NSSI-Net，用于有效建模与NSSI相关的EEG特征。该网络包含两个关键模块：时空特征提取模块和多概念鉴别器。通过结合2D卷积神经网络和双向门控循环单元，NSSI-Net能够捕捉EEG数据中的时空动态特征。该研究提高了对青少年抑郁中NSSI的理解和早期诊断能力，为及时干预提供了可能。

Key Takeaways

1. NSSI（非自杀性自伤）对青少年身心健康构成严重威胁，增加自杀风险，引起社会广泛关注。
2. EEG作为一种识别脑疾病的客观工具，在NSSI研究中有巨大潜力。
3. 从高维EEG数据中提取有意义和可靠的特征是一大挑战，需要整合时空脑动力信息。
4. NSSI-Net半监督对抗网络包含时空特征提取模块和多概念鉴别器两个关键部分。
5. 时空特征提取模块结合2D-CNN和BiGRU捕捉EEG数据的时空动态。
6. 多概念鉴别器考虑信号、性别、领域和疾病层面，以提取有意义的EEG特征，应对个体差异、人口统计和疾病变化。

Cool Papers

点此查看论文截图

IG-CFAT: An Improved GAN-Based Framework for Effectively Exploiting Transformers in Real-World Image Super-Resolution

Authors:Alireza Aghelan, Ali Amiryan, Abolfazl Zarghani, Modjtaba Rouhani

In the field of single image super-resolution (SISR), transformer-based models, have demonstrated significant advancements. However, the potential and efficiency of these models in applied fields such as real-world image super-resolution have been less noticed and there are substantial opportunities for improvement. Recently, composite fusion attention transformer (CFAT), outperformed previous state-of-the-art (SOTA) models in classic image super-resolution. In this paper, we propose a novel GAN-based framework by incorporating the CFAT model to effectively exploit the performance of transformers in real-world image super-resolution. In our proposed approach, we integrate a semantic-aware discriminator to reconstruct fine details more accurately and employ an adaptive degradation model to better simulate real-world degradations. Moreover, we introduce a new combination of loss functions by adding wavelet loss to loss functions of GAN-based models to better recover high-frequency details. Empirical results demonstrate that IG-CFAT significantly outperforms existing SOTA models in both quantitative and qualitative metrics. Our proposed model revolutionizes the field of real-world image super-resolution and demonstrates substantially better performance in recovering fine details and generating realistic textures. The introduction of IG-CFAT offers a robust and adaptable solution for real-world image super-resolution tasks.

在单图像超分辨率（SISR）领域，基于transformer的模型已经取得了显著的进步。然而，这些模型在现实世界图像超分辨率等应用领域的潜力和效率尚未得到足够重视，存在巨大的改进空间。最近，复合融合注意力transformer（CFAT）在经典图像超分辨率方面超越了先前最先进的（SOTA）模型。在本文中，我们提出了一种基于GAN的新型框架，通过结合CFAT模型，有效利用变压器在现实世界图像超分辨率中的性能。在我们提出的方法中，我们整合了一个语义感知鉴别器，以更准确地重建细节，并采用自适应退化模型来更好地模拟现实世界的退化。此外，我们通过将小波损失添加到GAN模型的损失函数中，引入了新的损失函数组合，以更好地恢复高频细节。经验结果表明，IG-CFAT在定量和定性指标上均显著优于现有SOTA模型。我们提出的模型革新了现实世界图像超分辨率领域，在恢复细节和生成真实纹理方面表现出卓越的性能。IG-CFAT的引入为现实世界图像超分辨率任务提供了稳健和可适应的解决方案。

论文及项目相关链接

PDF

Summary
本文提出一个基于GAN框架的新模型，结合CFAT模型，用于真实世界图像超分辨率。该模型采用语义感知判别器以更准确地重建细节，利用自适应退化模型模拟真实世界退化情况，并引入小波损失以增强GAN模型在高频细节上的恢复能力。实验证明，IG-CFAT在定量和定性指标上均显著优于现有最先进模型，尤其是在恢复细节和生成真实纹理方面表现出卓越性能。

Key Takeaways

1. 本研究结合了基于GAN的模型和CFAT模型，以改进真实世界图像超分辨率任务的表现。
2. 模型通过语义感知判别器提高细节重建的准确性。
3. 采用自适应退化模型以更好地模拟真实世界的退化情况。
4. 新模型引入小波损失以改善高频细节的恢复能力。
5. 实验结果表明，IG-CFAT在多个性能指标上超越了现有的最先进模型。
6. 该模型在恢复图像细节和生成真实纹理方面表现尤为出色。

Cool Papers

点此查看论文截图

You Only Sample Once: Taming One-Step Text-to-Image Synthesis by Self-Cooperative Diffusion GANs

Authors:Yihong Luo, Xiaolong Chen, Xinghua Qu, Tianyang Hu, Jing Tang

Recently, some works have tried to combine diffusion and Generative Adversarial Networks (GANs) to alleviate the computational cost of the iterative denoising inference in Diffusion Models (DMs). However, existing works in this line suffer from either training instability and mode collapse or subpar one-step generation learning efficiency. To address these issues, we introduce YOSO, a novel generative model designed for rapid, scalable, and high-fidelity one-step image synthesis with high training stability and mode coverage. Specifically, we smooth the adversarial divergence by the denoising generator itself, performing self-cooperative learning. We show that our method can serve as a one-step generation model training from scratch with competitive performance. Moreover, we extend our YOSO to one-step text-to-image generation based on pre-trained models by several effective training techniques (i.e., latent perceptual loss and latent discriminator for efficient training along with the latent DMs; the informative prior initialization (IPI), and the quick adaption stage for fixing the flawed noise scheduler). Experimental results show that YOSO achieves the state-of-the-art one-step generation performance even with Low-Rank Adaptation (LoRA) fine-tuning. In particular, we show that the YOSO-PixArt-$\alpha$ can generate images in one step trained on 512 resolution, with the capability of adapting to 1024 resolution without extra explicit training, requiring only ~10 A800 days for fine-tuning. Our code is provided at https://github.com/Luo-Yihong/YOSO.

最近，一些研究尝试将扩散（Diffusion）和生成对抗网络（GANs）相结合，以减轻扩散模型（DMs）中迭代去噪推理的计算成本。然而，现有的研究在这一方向上存在训练不稳定和模式崩溃的问题，或者单次生成学习效率低下的问题。为了解决这些问题，我们引入了YOSO，这是一种为快速、可扩展、高保真度的单次图像合成设计的新型生成模型，具有高度的训练稳定性和模式覆盖能力。具体来说，我们通过去噪生成器本身来平滑对抗分歧，进行自协作学习。我们展示了我的方法可以作为从零开始训练的单次生成模型，具有竞争力的性能。此外，我们通过几种有效的训练技术将我们的YOSO扩展到基于预训练模型的文本到图像的一次性生成（即，潜在的感知损失和潜在的判别器以进行有效的训练以及潜在的DMs；信息先验初始化（IPI）和快速适应阶段以修复有缺陷的噪声调度器）。实验结果表明，即使在低秩适应（LoRA）微调的情况下，YOSO也实现了最先进的单次生成性能。特别是，我们展示了YOSO-PixArt-α在512分辨率上经过一次训练的图像生成能力，并具备适应1024分辨率的能力，无需额外的明确训练，微调只需约10个A800天。我们的代码位于https://github.com/Luo-Yihong/YOSO。

论文及项目相关链接

PDF ICLR 2025

摘要

近期有研究工作尝试结合扩散和生成对抗网络（GANs）来缓解扩散模型（DMs）迭代去噪推断的计算成本。然而，现有方法在这一方向上存在训练不稳定和模式崩溃的问题，或者单次生成学习效率低下。为解决这些问题，我们推出了YOSO，这是一种为快速、可扩展和高保真度的单次图像合成设计的全新生成模型，具有高度的训练稳定性和模式覆盖。我们通过在去噪生成器本身平滑对抗发散来实现自我协作学习。我们展示了我们方法可以作为一个具有竞争力的单次生成模型从头开始训练。此外，我们通过几种有效的训练技术将我们的YOSO扩展到基于预训练模型的文本到图像的单次生成，包括潜在感知损失和潜在鉴别器以实现高效训练以及潜在DMs；信息先验初始化（IPI）和快速适应阶段以修复有缺陷的噪声调度器。实验结果表明，即使在低秩适应（LoRA）微调的情况下，YOSO也实现了最先进的单次生成性能。特别地，我们展示了YOSO-PixArt-α在512分辨率上的一步训练生成图像的能力，并适应于1024分辨率而无需额外的明确训练，微调只需约10个A800天。我们的代码位于https://github.com/Luo-Yihong/YOSO。

要点

1. 结合扩散和GANs以减轻扩散模型的计算成本。
2. 现有方法面临训练不稳定、模式崩溃或单次生成学习效率低的问题。
3. 引入YOSO模型，实现快速、可扩展、高保真度的单次图像合成。
4. 通过自我协作学习平滑对抗发散。
5. YOSO可以作为具有竞争力的单次生成模型进行训练。
6. 将YOSO扩展到文本到图像的单次生成，采用多种有效训练技术。

Cool Papers

点此查看论文截图