本
文
摘
要
大家好，我们AIM3团队的首支AI协同创作音乐作品《Be With You (与你同在)》在AI SONG CONTEST 2022中成功进入决赛角逐。我们是本次唯一入选的华语歌曲，欢迎大家点击以下链接进入主页欣赏并为我们投上宝贵的一票！
· 作品主页: https://www.aisongcontest.com/participants-2022/aim3
· 投票链接: https://voting.amsterdammusiclab.nl/vote/2022/34
AI SONG CONTEST大赛介绍
AI SONG CONTEST是一项探索AI在歌曲创作过程中应用的国际比赛，从2020年开始已连续举办三届。参赛队伍的构成不限，任何音乐家、研究人员、数据科学家、开发人员或致力于音乐与人工智能结合及对其感兴趣的人都可以组成团队，将人工智能作为歌曲创作过程的一部分来创作歌曲。
AIM3团队介绍
AIM3 团队是由音乐专家和人工智能研究人员组成的联合团队。对音乐和计算机算法的热情让我们跨越太平洋，从不同的背景走到了一起。我们的团队成员来自学术机构、音乐、技术及金融行业。
歌曲创作理念
歌曲的创作源于对人类与人工智能（AI）之间关系的思考。人工智能最初旨在帮助人类解决简单问题，但随着技术的不断发展，我们期待人工智能能够深入理解人类，与人类分享喜悦。我们将此愿景在歌曲中付诸实践，结合各种深度学习算法与人类共同进行深度协作创作歌曲。
亮点如下：
我们在旋律生成、歌词生成和歌声合成三个方面探索人类与人工智能之间的广泛合作。我们应用人工智能算法来突破团队创作中遇到的瓶颈。我们在歌曲的创作和表演中强调不同群体的多元化观点。创作过程
我们的歌曲创作过程包括三个阶段：歌词和主题生成、乐谱准备和音乐制作，如下图所示：
歌词和主题生成阶段，大家共同对歌词生成和主题生成模型迭代提炼的歌词及其对应的主题进行商讨决议。接着旋律生成模型在生成的歌词-主题对的指导下进行扩展，并在乐谱准备阶段进一步完善。最后阶段音乐制作团队和演唱生成模型根据生成的乐谱进行共同制作。值得注意的是，人类和 AI 模型在所有三个阶段都是高度协作的。每个阶段的详细工作流程如下图所示。在三个阶段中，人工智能模型（即橙色块）、音乐专家（即黄色块）和公众（即蓝色块）都是相互关联的。
更多细节可参阅博客: https://sjtmusicteam.github.io/MuskitsPage/
人机协作
第一阶段，我们通过投票及融入基于音乐专业知识的音乐结构信息的方式与 AI 模型进行交互。歌词生成模型采用了从T5语言模型和SongNet歌词模型衍生而来的改进架构，主题-旋律生成模型使用TeleMelody 进行条件旋律生成。在迭代过程中，我们从工程师的角度发现了一些模型训练问题，也从音乐方面发现了一些音乐方面的问题，这些问题可以通过将人类知识注入模型也可以由音乐专家分析的方式和解决。在此阶段，人工智能模型的参与为创作过程提出了独到的见解，我们不只期望能够应用模型，还期望在音乐上与它们进行交流。第二阶段，人工智能与人类的合作更加直接：音乐编曲和词曲作者对人工智能模型生成的结果进行修改。在音乐家的帮助下，我们对乐谱的结构进行进一步强调，以增强生成乐谱的结构完整性和流畅度。第三阶段，基于深度学习的SVS模型加快了音乐制作的迭代，降低了大众参与创作的门槛。对于歌唱合成模型，我们使用基于RefineGAN的ACE Singer制作音乐，并使用Bytesing V3进行声学建模。为了获得更自然的歌声，我们仍然需要对乐谱和音高轮廓的某些部分进行调音。值得一提的是，SVS 模型实际上在推动我们在音乐表演方面的极限，在资源有限的情况下，我们可以更容易获得高质量的歌声。我们观察到 2020 年和 2021 年的参赛作品大多以乐器或英语歌曲的形式进行参与。同时，大多数现有的开源音乐和NLP AI算法和模型大多是基于英语。我们在项目的设计中，决定采用使用普通话设计整个流程，包括AI模型的训练、评估和微调。尽管资源有限，但我们希望与世界各地的人们分享我们的声音。
在音乐风格上，除了流行、布鲁斯、R&B 和嘻哈等音乐类型外，我们还引入了带有中国传统乐器和五声音阶的中文歌曲来训练我们的 AI 模型。
我们期待在AI的协同下，未来有更多的人可以在享受音乐的同时进行音乐创作，具有不同背景知识的人可以更广泛地参与音乐创作的各个步骤。
歌词
SingerAI世界曾寂静得一如既往(The world
was as silent as ever)直到你在我身旁 (Until you
are by my side)生命便倔强得无人可挡 (My life is
stubborn and unstoppable)你就是我的翅膀 (Since you
are my wings)你带我去远方 (You take
me far away)陪我穿越时空 哦 (Through time and space, oh)我听见你在唱 (I hear you
singing)这未来如你所想 (The future
will turn out as you wish)带我穿过迷惘 (Take me
through confusion)带我穿过迷惘 (Take me
through confusion)未知染上了渴望 (The
unknown is sparked by our desire)未知染上了渴望 (The
unknown is sparked by our desire)释放我想象 (Release my
imagination)释放我想象 (Release my
imagination)未来不同寻常 (The future
is extraordinary)未来不同寻常 (The future
is extraordinary)带我告别惆怅 (Take me
goodbye to melancholy)带我告别惆怅 (Take me
goodbye to melancholy)时间洒满了希望 (Time is
full of hope)时间洒满了希望 (Time is
full of hope)世界的万象 (Everything
in the world)世界的万象 (Everything
of the world)咫尺可及的力量 (The magic
to touch and feel the world)咫尺可及的力量 (The magic
to touch and feel the world)就在我手掌 (Is now in
our hands)就在我手掌 (Is now in
our hands)----------世界曾寂静得一如既往(The world
was as silent as ever)直到你在我身旁 (Until you
are by my side)生命便倔强得无人可挡 (My life is
stubborn and unstoppable)你就是我的翅膀 (Since you
are my wings)带我穿过迷惘 (Take me
through confusion)过迷惘 (Through
confusion)未知染上了渴望(The unknown
is sparked by our desire)未知染上了渴望 (The
unknown is sparked by our desire)释放我想象 (Release my
imagination)我想象 (My
imagination)未来不同寻常 (The future
is extraordinary)未来并不同寻常 (The future
is extraordinary)带我告别惆怅 (Take me
goodbye to melancholy)啦 (La)时间洒满了希望 (Time is
full of hope)啦啦 (Lala)世界的万象 (Everything
of the world)啦 (La)咫尺可及的力量 (The magic
to touch and feel the world)啦 (La)就在我手掌 (Is now in
our hands)啦 (La)跟着我跟着我 (Follow me,
follow me)去探索 (To
explore)去浩瀚世界去探索 (To explore
the vast world)听我说听我说 (Listen to
me, listen to me)回忆也会更深刻 (Memories
will be deeper)回忆也会更深刻 (Memories
will be deeper)怀念的梦想的 (Missing
and dreaming)怀念的梦想的 (Missing
and dreaming)每一天都能叫醒耳朵 (Wake up
your ears every day)每一天都能叫醒耳朵 (Wake up
your ears every day)啦啦啦啦 (Lalalala)告诉我告诉我 (Tell me
tell me)你还想去体会什么 (What else
do you want to experience)你还想去体会什么 (What else
do you want to experience)带我穿过迷惘 (Take me
through confusion)过迷惘 (Through
confusion)未知染上了渴望 (The
unknown is sparked by our desire)未知染上了渴望 (The
unknown is sparked by our desire)释放我想象 (Release my
imagination)释放我想象 (Release my
imagination)未来不同寻常 (The future
is extraordinary)未来不同寻常 (The future
is extraordinary)带我告别惆怅 (Take me
goodbye to melancholy)带我告别惆怅 (Take me
goodbye to melancholy)时间洒满了希望 (Time is
full of hope)时间洒满了美好希望 (Time is
full of beautiful hope)世界的万象 (Everything
of the world)世界的万象 (Everything
of the world)咫尺可及的力量 (The magic
to touch and feel the world)咫尺可及的力量 (The magic
to touch and feel the world)就在我手掌 (Is now in our
hands)本次比赛中也涌现了诸多具有创造性的作品，欢迎大家进入本次参赛队伍主页感受AI与音乐的碰撞。
赛事主页: https://www.aisongcontest.com
决赛队伍总览: https://www.aisongcontest.com/the-2022-finalists
