走向基于部署的超越视觉和语言的多模态人工智能

于红博

摘要: 多模态人工智能（AI）通过机器学习整合各种类型的数据，以提高跨学科领域如医疗保健、科学和工程的理解、预测和决策能力。然而，大多数多模态AI的进展集中在视觉和语言数据模型上，而它们的部署能力仍然是一个关键挑战。我们主张一个以部署为中心的工作流程，早期纳入部署约束以减少不可部署解决方案的可能性，以补充数据中心和模型中心方法。我们还强调在多模态和跨学科合作的多个层次上更深入地整合，以显著拓宽研究范围，超越视觉和语言。为了促进这种方法，我们确定了跨学科领域共享的常见多模态AI特定挑战，并研究了三个真实世界的用例：疫情应对、自动驾驶汽车设计和气候变化适应，从医疗保健、社会科学、工程、科学、可持续发展和金融领域汲取专业知识。通过促进跨学科对话和开放研究实践，我们的社区可以加速以部署为中心的开发，对广泛社会产生影响。

更新时间: 2025-09-19 15:48:11

领域: cs.AI,cs.LG

下载: http://arxiv.org/abs/2504.03603v2