自动舞台灯光控制：是规则驱动的过程还是生成任务？

于红博

摘要: 舞台灯光在现场音乐表演中起着至关重要的作用，为音乐家和观众塑造了一个引人入胜的体验。近年来，由于聘请或培训专业灯光工程师的高昂成本，自动舞台灯光控制（ASLC）引起了越来越多的关注。然而，大多数现有的ASLC解决方案只将音乐分类为有限的类别，并将其映射到预定义的灯光模式，导致公式化和单调的结果，缺乏合理性。为了弥补这一差距，本文提出了Skip-BART，这是一个端到端模型，直接从经验丰富的灯光工程师那里学习，并预测生动、人类化的舞台灯光。据我们所知，这是第一个将ASLC概念化为生成任务而不仅仅是分类问题的工作。我们的方法将BART模型调整为以音频音乐作为输入，并将光色和值（强度）作为输出，引入了一种新颖的跳跃连接机制，以增强音乐与光之间在帧格内的关系。为了解决可用数据集的缺乏，我们创建了第一个舞台灯光数据集，并采用了几种预训练和迁移学习技术，以改进在有限数据下的模型训练。我们通过定量分析和人类评估验证了我们的方法，结果显示Skip-BART在所有评估指标上优于传统基于规则的方法，并与真实灯光工程师相比只有有限的差距。为了支持进一步的研究，我们已经在https://github.com/RS2002/Skip-BART上提供了我们自己收集的数据集、代码和训练模型参数。

更新时间: 2025-12-31 06:54:53

领域: cs.LG,cs.AI,cs.MM,eess.AS

下载: http://arxiv.org/abs/2506.01482v2