问卷遇见LLM：理解问题和回答的结构技能的基准和实证研究

于红博

摘要: 数百万人每天参与调查，从市场调查和学术研究到医学问卷和客户反馈表。这些数据集捕捉了宝贵的见解，但它们的规模和结构为大型语言模型（LLMs）提出了独特的挑战，尽管在开放式文本的少量推理方面表现出色。然而，它们处理问卷数据或与数百个受访者行相交的问题列表的能力尚未得到充分探索。当前的检索和调查分析工具（例如Qualtrics，SPSS，REDCap）通常设计用于工作流程中的人，限制了LLM和AI增强自动化与此类数据集成。这种差距使科学家，调查员和普通用户缺乏关于如何最好地代表问卷以供LLM消费的基于证据的指导。我们通过引入QASU（问卷分析和结构理解），一个基准，探讨了六种结构技能，包括答案查找，受访者计数和多跳推理，跨六种序列化格式和多个提示策略。对当代LLMs的实验表明，与次优格式相比，选择有效的格式和提示组合可以将准确性提高高达8.8个百分点。对于特定任务，通过精心添加轻量级结构提示，通过自我增强提示，平均可以进一步提高3-4％。通过系统地隔离格式和提示效果，我们的开源基准为推进基于LLM的问卷分析的研究和实际实践提供了简单而多功能的基础。

更新时间: 2025-10-30 08:18:37

领域: cs.AI

下载: http://arxiv.org/abs/2510.26238v1