发布日期: 2025-04-15

更新日期: 2025-04-17

文章字数: 2.5k

阅读时长: 10 分

阅读次数:

⚠️ 以下所有内容总结都来自于大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-04-15 更新

COP-GEN-Beta: Unified Generative Modelling of COPernicus Imagery Thumbnails

Authors:Miguel Espinosa, Valerio Marsocci, Yuru Jia, Elliot J. Crowley, Mikolaj Czerkawski

In remote sensing, multi-modal data from various sensors capturing the same scene offers rich opportunities, but learning a unified representation across these modalities remains a significant challenge. Traditional methods have often been limited to single or dual-modality approaches. In this paper, we introduce COP-GEN-Beta, a generative diffusion model trained on optical, radar, and elevation data from the Major TOM dataset. What sets COP-GEN-Beta apart is its ability to map any subset of modalities to any other, enabling zero-shot modality translation after training. This is achieved through a sequence-based diffusion transformer, where each modality is controlled by its own timestep embedding. We extensively evaluate COP-GEN-Beta on thumbnail images from the Major TOM dataset, demonstrating its effectiveness in generating high-quality samples. Qualitative and quantitative evaluations validate the model’s performance, highlighting its potential as a powerful pre-trained model for future remote sensing tasks.

在遥感领域，从不同传感器捕捉同一场景的多元数据提供了丰富的机会，但学习这些模态的统一表示仍然是一个重大挑战。传统方法通常局限于单一或双模态方法。在本文中，我们介绍了COP-GEN-Beta，这是一个在Major TOM数据集的光学、雷达和海拔数据上训练的生成扩散模型。COP-GEN-Beta的独特之处在于，它能够将任何模态子集映射到其他模态，实现训练后的零样本模态转换。这是通过基于序列的扩散变压器实现的，其中每个模态都由自己的时间步长嵌入控制。我们在Major TOM数据集的缩略图图像上对COP-GEN-Beta进行了广泛评估，证明了它在生成高质量样本方面的有效性。定性和定量评估验证了该模型的性能，突显了其在未来遥感任务中作为强大预训练模型的潜力。

论文及项目相关链接

PDF Accepted at CVPR 2025 Workshop MORSE

Summary

本文介绍了在遥感领域中，多模态数据带来的丰富机会以及学习跨模态统一表示的挑战。提出了COP-GEN-Beta生成扩散模型，该模型能够在光学、雷达和高度数据上训练，并实现了零样本模态翻译能力。通过基于序列的扩散变压器实现，每个模态由自己的时间步长嵌入控制。在Major TOM数据集上的缩略图图像评估证明了该模型生成高质量样本的有效性。

Key Takeaways

跨模态数据在遥感中具有丰富机会，但学习统一表示是一大挑战。
传统方法通常局限于单一或双模态方法。
COP-GEN-Beta是一个生成扩散模型，能在光学、雷达和高度数据上训练。
COP-GEN-Beta能实现零样本模态翻译，通过序列基础的扩散变压器实现。
每个模态由自己的时间步长嵌入控制。
在Major TOM数据集上的缩略图图像评估证明了该模型的有效性。

Cool Papers

点此查看论文截图

On the Design of Diffusion-based Neural Speech Codecs

Authors:Pietro Foti, Andreas Brendel

Recently, neural speech codecs (NSCs) trained as generative models have shown superior performance compared to conventional codecs at low bitrates. Although most state-of-the-art NSCs are trained as Generative Adversarial Networks (GANs), Diffusion Models (DMs), a recent class of generative models, represent a promising alternative due to their superior performance in image generation relative to GANs. Consequently, DMs have been successfully applied for audio and speech coding among various other audio generation applications. However, the design of diffusion-based NSCs has not yet been explored in a systematic way. We address this by providing a comprehensive analysis of diffusion-based NSCs divided into three contributions. First, we propose a categorization based on the conditioning and output domains of the DM. This simple conceptual framework allows us to define a design space for diffusion-based NSCs and to assign a category to existing approaches in the literature. Second, we systematically investigate unexplored designs by creating and evaluating new diffusion-based NSCs within the conceptual framework. Finally, we compare the proposed models to existing GAN and DM baselines through objective metrics and subjective listening tests.

最近，作为生成模型训练的神经语音编码（NSC）在低比特率下表现出比传统编码更高的性能。尽管大多数最先进的NSC是训练为生成对抗网络（GANs），但扩散模型（DMs）作为最近的生成模型类别，由于其在图像生成方面的优越性能，代表了一个有前途的替代方案。因此，DM已成功应用于音频和语音编码以及其他各种音频生成应用程序中。然而，扩散基础的NSC设计尚未以系统的方式进行探索。我们通过提供对基于扩散的NSC的全面分析来解决这一问题，分析分为三个部分。首先，我们根据DM的条件和输出域提出分类。这种简单的概念框架使我们能够定义基于扩散的NSC的设计空间，并为文献中的现有方法分配类别。其次，我们通过在此概念框架内创建并评估新的基于扩散的NSC来系统地探索尚未开发的设计。最后，我们通过客观指标和主观听觉测试将所提出的模型与现有的GAN和DM基线进行比较。

论文及项目相关链接

PDF

Summary

神经语音编码解码器（NSC）作为生成模型训练，在低比特率下表现出优于传统编码器的性能。尽管目前最先进的NSC大多训练为生成对抗网络（GANs），但扩散模型（DMs）作为最近一类生成模型，在图像生成方面表现出卓越性能，成为有前景的替代方案，并成功应用于音频和语音编码等多种其他音频生成应用。本文对扩散基础的NSC进行了综合分析了三个主要贡献。

Key Takeaways

神经语音编码解码器（NSC）作为生成模型训练，在低比特率下表现优越。
扩散模型（DMs）在图像生成方面的卓越性能使其成为有前景的替代方案。
系统性地分析了扩散基础的NSC的设计空间。
通过创建并在概念框架内评估新的扩散基础的NSC，研究了尚未探索的设计。
通过客观指标和主观听力测试，将提出的模型与现有的GAN和DM基线进行了比较。
提出了基于DM的条件和输出域的类别划分。

Cool Papers

点此查看论文截图

Diffusion Models for Robotic Manipulation: A Survey

Authors:Rosa Wolf, Yitian Shi, Sheng Liu, Rania Rayyes

Diffusion generative models have demonstrated remarkable success in visual domains such as image and video generation. They have also recently emerged as a promising approach in robotics, especially in robot manipulations. Diffusion models leverage a probabilistic framework, and they stand out with their ability to model multi-modal distributions and their robustness to high-dimensional input and output spaces. This survey provides a comprehensive review of state-of-the-art diffusion models in robotic manipulation, including grasp learning, trajectory planning, and data augmentation. Diffusion models for scene and image augmentation lie at the intersection of robotics and computer vision for vision-based tasks to enhance generalizability and data scarcity. This paper also presents the two main frameworks of diffusion models and their integration with imitation learning and reinforcement learning. In addition, it discusses the common architectures and benchmarks and points out the challenges and advantages of current state-of-the-art diffusion-based methods.

扩散生成模型在图像和视频生成等视觉领域取得了显著的成功。它们最近也在机器人技术中崭露头角，特别是在操控方面。扩散模型利用概率框架，以其能够模拟多模式分布和对高维输入和输出空间的稳健性而脱颖而出。这篇综述提供了关于机器人操控中最新扩散模型的全面回顾，包括抓取学习、轨迹规划和数据增强。场景和图像增强的扩散模型处于机器人计算机视觉与基于视觉的任务的交叉点，旨在提高通用性和解决数据稀缺问题。本文还介绍了扩散模型的两个主要框架及其与模仿学习和强化学习的集成。此外，它还讨论了常见的架构和基准测试，并指出了当前最新扩散方法的挑战和优势。

论文及项目相关链接

PDF 28 pages, 1 figure, 2 tables

Summary

扩散生成模型在图像和视频生成等视觉领域取得了显著的成功。近期，它们在机器人领域，尤其在机器人操作方面展现出巨大潜力。该综述全面探讨了先进的扩散模型在机器人操作中的应用，包括抓取学习、轨迹规划和数据增强等。扩散模型在场景和图像增强方面的应用处于机器人与计算机视觉的交叉点，有助于提高通用性和解决数据稀缺问题。本文介绍了扩散模型的两个主要框架及其与模仿学习和强化学习的融合，同时讨论了常见的架构和基准测试，并指出了当前先进扩散方法的挑战和优势。

Key Takeaways