模块化机器学习：通往新一代大型语言模型的不可或缺之路

于红博

大型语言模型（LLMs）已经极大地推动了机器学习研究，包括自然语言处理、计算机视觉、数据挖掘等领域，但它们仍然存在着解释性、可靠性、适应性和可扩展性等关键限制。在本文中，我们概述了一种有前途的学习范式，即模块化机器学习（MML），作为解决这些问题的新一代LLMs的重要方法。我们首先系统地和全面地调查了现有关于模块化机器学习的文献，特别关注模块化数据表示和模块化模型。然后，我们提出了一个统一的MML框架，将LLMs的复杂结构分解为三个相互依赖的组成部分：模块化表示、模块化模型和模块化推理。具体地，本文讨论的MML范式能够：i）通过语义组件的解缠明确LLMs的内部工作机制；ii）允许灵活和任务自适应的模型设计；iii）实现可解释和逻辑驱动的决策过程。我们进一步详细阐述了基于MML的LLMs的可行实现，通过利用先进技术，如解缠表示学习、神经架构搜索和神经符号学习。最后，我们指出了仍然存在的关键挑战，如持续神经和离散符号过程的整合、联合优化和计算可扩展性，并提出值得进一步探索的有前途的未来研究方向。最终，我们相信MML与LLMs的整合有潜力弥合统计（深度）学习和形式（逻辑）推理之间的差距，从而为各种真实世界应用中的稳健、可适应和可信赖的人工智能系统铺平道路。

更新时间: 2025-09-18 16:34:54

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2504.20020v2