跨模态知识蒸馏用于语音大型语言模型

于红博

摘要: 在这项工作中，我们首次对语音大型语言模型中的灾难性遗忘和模态不平衡进行了系统评估，结果显示引入语音功能可能会降低知识和推理能力，即使输入仍然是文本形式，而且随着口语查询的增加，性能进一步下降。为了解决这些挑战，我们提出了一个跨模态知识蒸馏框架，利用文本到文本和语音到文本通道将知识从基于文本的教师模型传递到语音LLM。对对话和音频理解任务的大量实验验证了我们方法在保留文本知识、改善跨模态对齐和增强语音交互中的推理能力方面的有效性。

更新时间: 2025-09-18 13:07:53

领域: cs.CL,cs.AI

下载: http://arxiv.org/abs/2509.14930v1