为真实世界应用工程RAG系统：设计、开发和评估

于红博

摘要: 检索增强生成（RAG）系统正在成为将大型语言模型（LLMs）与外部知识联系起来的关键方法，以解决事实准确性和上下文相关性方面的限制。然而，目前缺乏关于基于RAG的实现在真实用例中发展的经验研究，缺乏通过一般用户参与评估，并伴随对所学到的经验进行系统性记录的文献。本文介绍了五个基于领域的RAG应用程序，涵盖了治理、网络安全、农业、工业研究和医学诊断等真实场景。每个系统都整合了多语言OCR、通过向量嵌入进行语义检索和领域适应的LLMs，通过本地服务器或云API部署以满足不同用户需求。通过一个基于网络的评估，共有100名参与者评估了这些系统在六个维度上的表现：（i）易用性，（ii）相关性，（iii）透明度，（iv）响应速度，（v）准确性，以及（vi）推荐可能性。根据用户反馈和我们的开发经验，我们记录了十二个关键的所学到的经验教训，重点关注在实践中影响RAG系统可靠性和可用性的技术、操作和伦理挑战。

更新时间: 2025-09-18 14:12:45

领域: cs.SE,cs.AI,cs.IR,D.2.11; I.2.6; H.3.3

下载: http://arxiv.org/abs/2506.20869v2