⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-04-26 更新
OUI Need to Talk About Weight Decay: A New Perspective on Overfitting Detection
Authors:Alberto Fernández-Hernández, Jose I. Mestre, Manuel F. Dolz, Jose Duato, Enrique S. Quintana-Ortí
We introduce the Overfitting-Underfitting Indicator (OUI), a novel tool for monitoring the training dynamics of Deep Neural Networks (DNNs) and identifying optimal regularization hyperparameters. Specifically, we validate that OUI can effectively guide the selection of the Weight Decay (WD) hyperparameter by indicating whether a model is overfitting or underfitting during training without requiring validation data. Through experiments on DenseNet-BC-100 with CIFAR- 100, EfficientNet-B0 with TinyImageNet and ResNet-34 with ImageNet-1K, we show that maintaining OUI within a prescribed interval correlates strongly with improved generalization and validation scores. Notably, OUI converges significantly faster than traditional metrics such as loss or accuracy, enabling practitioners to identify optimal WD (hyperparameter) values within the early stages of training. By leveraging OUI as a reliable indicator, we can determine early in training whether the chosen WD value leads the model to underfit the training data, overfit, or strike a well-balanced trade-off that maximizes validation scores. This enables more precise WD tuning for optimal performance on the tested datasets and DNNs. All code for reproducing these experiments is available at https://github.com/AlbertoFdezHdez/OUI.
我们引入了过拟合与欠拟合指标（Overfitting-Underfitting Indicator，简称OUI），这是一种新型工具，用于监控深度神经网络（DNNs）的训练动态并确定最佳正则化超参数。具体来说，我们通过实验验证了OUI可以有效地指导权重衰减（Weight Decay，简称WD）超参数的选择，而无需使用验证数据即可指示模型在训练过程中是否出现过拟合或欠拟合。在CIFAR-100上的DenseNet-BC-100、TinyImageNet上的EfficientNet-B0以及ImageNet-1K上的ResNet-34的实验中，我们证明了保持OUI在规定的间隔内与提高泛化和验证分数密切相关。值得注意的是，相较于损失或精度等传统指标，OUI收敛速度显著更快，使实践者能够在训练的早期阶段识别出最佳的WD（超参数）值。通过利用OUI作为可靠的指标，我们可以在训练早期就确定所选的WD值是否使模型欠训练数据拟合不足、过度拟合或达到良好平衡，从而最大化验证分数。这为实现精确调整WD以在测试数据集和DNN上获得最佳性能提供了可能。所有可重现这些实验的代码都可以在https://github.com/AlbertoFdezHdez/OUI找到。
论文及项目相关链接
PDF 10 pages, 3 figures
Summary
本文介绍了Overfitting-Underfitting Indicator（OUI）这一新型工具，用于监控深度神经网络（DNNs）的训练动态，并在无需验证数据的情况下指示模型是否过拟合或欠拟合，从而帮助选择最佳的权重衰减（WD）超参数。实验表明，维持OUI在一定范围内与提高模型的泛化能力和验证分数有强相关性。此外，OUI比传统指标（如损失和准确度）更快收敛，使得从业者能在训练早期就发现最佳的WD值。通过利用OUI作为可靠指标，能够早期判断所选WD值是否使模型欠拟合、过拟合，或是达到平衡以最大化验证分数。这为在测试数据集和DNN上实现最佳性能提供了更精确的WD调整方法。
Key Takeaways
- OUI是一种新型工具，用于监控DNN的训练动态，并指示模型的过拟合或欠拟合情况。
- OUI有助于选择最佳的WD超参数，无需使用验证数据。
- OUI的维持范围与模型的泛化能力和验证分数提高有强相关性。
- OUI比传统指标（如损失和准确度）更快收敛，有助于早期发现最佳WD值。
- 通过利用OUI，可以判断模型是否欠拟合、过拟合或达到平衡状态。
- OUI为在特定数据集和DNN上实现最佳性能提供了更精确的WD调整方法。
点此查看论文截图
