ConfReady：基于RAG的会议清单响应助手和数据集

于红博

摘要: ARR负责的NLP研究清单网站指出，“清单旨在鼓励负责研究的最佳实践，涉及研究伦理、社会影响和可重现性等问题。”回答这些问题是作者反思自己的工作并确保任何共享的科学资产遵循最佳实践的机会。理想情况下，在提交之前考虑清单可以对研究论文的撰写产生积极影响。然而，先前的研究表明，自我报告的清单回答并不总是准确代表论文。在这项工作中，我们介绍了ConfReady，这是一个检索增强生成（RAG）应用程序，可以用于帮助作者反思自己的工作并协助作者完成会议清单。为了评估清单助手，我们整理了一个包含1,975个ACL清单回答的数据集，分析了人类答案中的问题，并在评估子集上对RAG和基于大语言模型（LM）的系统进行了基准测试。我们的代码在GitHub上以AGPL-3.0许可证发布，同时还提供了涵盖用户界面和PyPI包的文档。

更新时间: 2025-09-19 16:49:40

领域: cs.CL,cs.AI,cs.IR

下载: http://arxiv.org/abs/2408.04675v2