一种用于检索增强生成的超参数优化方法分析

于红博

摘要: 优化检索增强生成（RAG）配置以满足特定任务是一个复杂且资源密集型的挑战。受到这一挑战的启发，最近出现了用于RAG超参数优化（HPO）的框架，然而它们的有效性尚未得到严格的基准测试。为了填补这一空白，我们提出了一项涉及五个HPO算法和来自不同领域的五个数据集的全面研究，其中包括一份新编制的真实产品文档数据集。我们的研究探索了迄今为止包括完整网格搜索评估的最大RAG HPO搜索空间，并将三个评估指标作为优化目标。结果分析表明，RAG HPO可以高效地进行，可以采用贪婪或随机搜索，并且可以显著提高所有数据集的RAG性能。对于贪婪的HPO方法，我们表明优化模型选择优先于在优化过程中遵循RAG流水线顺序的常见做法。

更新时间: 2025-12-31 09:32:42

领域: cs.CL,cs.AI,cs.LG

下载: http://arxiv.org/abs/2505.03452v3