用超参数化使得稀疏RNNs平衡，有益于元学习

于红博

摘要: 本文提出了用于指定稀疏循环神经网络（RNNs）的替代超参数。这些超参数允许在模型的可训练权重矩阵中变化稀疏性，同时提高整体性能。该架构使得可以定义一种新的度量，即隐藏比例，该度量旨在平衡模型中未知量的分布，并提供了对模型性能的重要解释力。结合使用不同稀疏性的RNN架构和隐藏比例度量，可以产生显著的性能增益，同时在先验基础上改善性能预期。这种综合方法为广义元学习应用和基于数据集固有特性的模型优化提供了前进道路，包括输入和输出维度。

更新时间: 2025-09-18 15:20:13

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2509.15057v1