MLE-Smith：使用自动化多智能体管道扩展MLE任务

于红博

摘要: 语言模型（LMs）在自动化机器学习工程（MLE）方面取得了显著进展，但高质量的MLE训练数据的获取受到了显著限制。当前的MLE基准受到低可扩展性和有限适用性的影响，因为它们依赖于静态、手工策划的任务，需要大量时间和人工努力才能产生。我们引入了MLE-Smith，这是一个完全自动化的多代理管道，通过高效的生成-验证-执行范式，将原始数据集转化为竞赛风格的MLE挑战，以实现可验证的质量、实用性和丰富的多样性。MLE-Smith中提出的多代理管道推动了结构化任务设计和标准重构，结合了强制执行严格结构规则和高级语义合理性的混合验证机制。它通过交互式执行进一步验证了经验可解性和真实世界的忠实度。我们将MLE-Smith应用于224个真实世界数据集，并生成了606个跨多个类别、目标和模态的任务，展示了MLE-Smith可以在多种真实世界数据集上有效工作。对生成的任务进行评估表明，八个主流和尖端的LLMs在MLE-Smith任务上的表现与它们在精心设计的任务上的表现强相关，突出了MLE-Smith在扩大MLE任务规模的同时保持任务质量的有效性。

更新时间: 2025-10-08 17:57:19

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2510.07307v1