GenZ：基础模型作为传统统计模型中的潜变量生成器

于红博

摘要: 我们提出了GenZ，这是一个通过可解释的语义特征连接基础模型和统计建模的混合模型。虽然大型语言模型具有广泛的领域知识，但它们通常无法捕捉对预测任务至关重要的特定于数据集的模式。我们的方法通过发现语义特征描述来解决这个问题，这是通过对比通过统计建模错误识别的项目组，而不仅仅依赖于基础模型的领域理解。我们将这个过程形式化为一个通用的EM算法，它同时优化语义特征描述符和统计模型参数。该方法促使一个冻结的基础模型根据发现的特征对项目进行分类，将这些判断视为对通过学习的统计关系预测实值目标的潜在二元特征的嘈杂观察。我们在两个领域展示了这种方法：房价预测（享乐回归）和冷启动协同过滤电影推荐。在房价方面，我们的模型使用来自多模态列表数据的发现的语义特征实现了12\%的中位相对误差，远远优于依赖于LLM的通用领域知识的GPT-5基线（38\%误差）。对于Netflix电影嵌入，我们的模型纯粹基于语义描述预测协同过滤表示，其余弦相似性为0.59 -- 这与通过传统协同过滤需要大约4000个用户评分的性能相匹配。发现的特征揭示了数据集特定的模式（例如，建筑细节预测当地住房市场，特许经营成员资格预测用户偏好），这些模式与模型本身的领域知识不同。

更新时间: 2025-12-31 12:56:01

领域: cs.AI

下载: http://arxiv.org/abs/2512.24834v1