PrivacyBench：用于评估个性化人工智能隐私的对话基准

于红博

摘要: 个性化AI代理依赖于对用户数字足迹的访问，这通常包括来自私人电子邮件、聊天和购买历史的敏感数据。然而，这种访问会带来基本的社会和隐私风险：缺乏社会背景意识的系统可能会无意中暴露用户的秘密，威胁数字福祉。我们引入了PrivacyBench，这是一个具有社会基础数据集的基准，其中包含嵌入的秘密，并进行多轮对话评估以衡量秘密的保留。对Retrieval-Augmented Generation (RAG)助手的测试显示，它们在高达26.56%的交互中泄露了秘密。隐私意识提示将泄露降低到5.12%，然而这种措施只提供了部分缓解。检索机制继续不加区别地访问敏感数据，这将整个隐私保护的责任全部转移到了生成器身上。这造成了一个单点故障，使当前体系结构不适合广泛部署。我们的发现强调了迫切需要结构上的、隐私设计的保障措施，以确保每个人都能享有道德和包容性的网络。

更新时间: 2025-12-31 13:16:45

领域: cs.CL,cs.AI

下载: http://arxiv.org/abs/2512.24848v1