人工智能是怎么创作音乐的

5236090

人工智能是怎么创作音乐的？

+ _& D7 i0 Q$ v) ~2 g利维坦按：我们先来梳理一下传统音乐创作的思路。常规状态是：创作者根据自身对于将要表达的情感把握来创作旋律，并将其以经验范畴下的模版加以整理，其中自然也免不了无数次对于细节的试验，直至选出创作者认为最适宜的内容。再来看看AI创作音乐的思路：通过数据分析与学习，AI能够找到相对固定的模版，然后通过套用模版进行“创作”。
) }7 U" {# E3 v0 t6 Y$ G! T, }就现阶段而言，人类再对AI所创作出的音乐加以“品鉴”，挑选出“好的作品”，称其为AI创作的音乐。无论创作者是人还是机器，创作过程都离不开方法论下的排列组合尝试，大多数人并不恐惧于AI能够创作出什么，而是恐惧于AI能感受到什么。但反过来说，我们对于音乐的感受能力又何尝不是基于“大数据”下的一种经验？人类的优越感又一次受到挑衅，绝大多数的反对声音都是基于此而产生。


题图作者: Elena Scotti
最开始，大卫·柯普（David Cope）并没有打算让任何人抓狂。早在1980年，这位作曲家就开始设想一种可以帮助他解决创作障碍的工具：这种机器能够捕捉他脑海中所有声音和零散的思路，找到这中间的相似点，并借此创作出一曲完整的音乐。因此，他就造了一个。
# Z- C/ n& J0 J& T  p( {0 _# W经过6年的实验，他终于写出了他的计算机作曲程序：人工智能音乐作曲系统（EMI，Experiments in Musical Intelligence）。EMI的工作原理是模式匹配，它将音乐片段分割成更小的片段并进行分析，找出相似的声音并进行分类。柯普的本意是想将这种分析标准应用到自己的作品中，形成自己的音乐风格，但是他发现，这个程序用在其他作曲家的作品中也有很好的效果。找一个作曲家，比如巴赫，选其足够多的作品放进EMI中运行，EMI可以很好地分析运算出巴赫音乐的特点，并写出巴赫风格的音乐，而普通听众可能根本分辨不出。

' C6 h3 U# E, B( h7 u+ D: z, C大卫·柯普和他的人工智能音乐作曲系统（EMI）。
, b- L. B& B, ~; M- L' b: u在斯坦福大学1997年举办的一场讲座中，俄勒冈大学教授威妮弗雷德·克纳（Winifred Kerner）给听众们弹奏了三首钢琴曲，一首是巴赫的作品，一首是EMI模仿巴赫风格创作的作品，另一首是威妮弗雷德丈夫史蒂夫·拉森（Steve Larson，也是俄勒冈大学教授）创作的，然后让观众们猜一下这三首曲子分别是谁创作的，人们大都把拉森的作品猜成了计算机作品，而把EMI的作品猜成了巴赫的作品。拉森感到极为震惊，跟《纽约时报》记者说道：“巴赫是我最喜欢的作曲家之一……观众们能被计算机程序欺骗，着实让我感到惊讶。”
他不是唯一一个这么说的人：柯普告诉Gizmodo（美国知名科技博客），听众们都不喜欢让他们去猜哪个是哪个，因为他们会猜错。此外，批评家还认为EMI的作品听起来没有“灵魂”。
! J# ^/ L% V( W* j“我不知道‘灵魂’是什么，”柯普在加州大学圣克鲁兹分校（他之前一直在那里当音乐教授，10年前才退休）附近的办公室里通过电话告诉我，“你可以在字典里查到，但给出的解释基本都是：这是某种东西，我们不知道它是什么，但我们能感受到它，当它出现时我们可以知道。而这对我来说没什么用。”
“巴赫是我最喜欢的作曲家之一……观众们能被计算机程序欺骗，着实让我感到惊讶。”
4 H, h7 F1 A/ k0 ]) ]/ l柯普被认为是AI作曲教父，而且他对AI作曲的未来充满信心，正确的算法将有助于解锁人类无法完成的歌曲创作新表达。之前几年，教AI像人类一样创作音乐一直是学术工作，主要关注的是古典音乐。而现在，索尼和谷歌等科技公司的研究人员开始思考：人工智能是否可以写流行歌曲？我们该如何训练它们，最后的作品是否和已经广为流传的那些作品一样好？或者更好？他们的努力让我们不禁要问：人工智能是否是音乐的最新“灵魂”——粉碎技术，让音乐家们摆脱音乐技巧的束缚？又或者这是否是一种新的乐器——它存在于你的电脑里，可能比你更了解你想要的东西，并且能最终提升音乐家创造出真正伟大东西的机会？
  S% s, L% l1 M
图源：Schott Music
摒弃人类决策力来创作音乐的探索已经有几个世纪的历史了。1787年，沃尔夫冈·莫扎特出版了一篇有关“音乐骰子游戏”的指南，在这个游戏中，玩家可以掷几次骰子，并将预先写好的音乐片段串在一起，这些音乐与骰子的每个面都有关。最终的结果是得到一个完整的由数字创作的歌曲，尽管这是随机组合的音乐。
1957年，伊利诺伊大学香槟分校的两位教授雷贾伦·希勒（Lejaren Hiller）和莱纳德·艾萨克森（Leonard Isaacson）利用学校的超级计算机Illiac（Illinois Automatic Computer，伊利诺伊大学自动计算机）编写了一个乐谱。他们认为音乐必须遵循严格的规则，才能让它听起来更吸引人，如果计算机能够学习这些规则，也许它就可以通过随机生成遵循这些规则的音符序列来编写音乐。

+ Y2 p3 S" u" Z2 x" W( k* P自动计算机前的雷贾伦·希勒。图源：Computer Music Blog
+ l2 O/ o2 `, b+ b在一个实验中，他们对Illiac进行编程，使其能够组成一个符合特定要求的旋律：比如范围不能超过一个八度、必须从C音开始和结束等等。计算机一次生成一个音符——但是如果一个错误的、违反规则的音符被生成，这个程序就会拒绝这个音符并重新再次尝试。
他们最终的作品《伊利亚克组曲》（The Illiac Suite）开创了一个局面——从而粉碎了音乐是一种经验或感情的旋律表达这一想法。希勒和艾萨克森承认公众不会轻易接受这种作品。他们也在自己写的书《试验音乐：计算合成》（Experimental Music: Composition with an Electronic Computer）中这样写到：“当我们的作品主题产生时，就会被问道：‘作曲家会做些什么？’。”他们这样回答：计算机并不知道对错，它们只执行指令。即使程序可以快速炮制出大量音乐，还是要依靠人来最终衡量音乐的好坏。
# J. ?4 w* v1 b* W  y0 d
8 o1 C( z+ N# p8 L* K! q《伊利亚克组曲》乐谱片段
“我经常感觉自己在编曲过程中与一个人交谈，这可能听起来很奇怪。”
“这就是为什么有些人说计算机程序员与电脑进行‘对话’的原因。程序员给计算机提供一些信息，并告诉计算机如何处理这些信息。计算机执行这些指令，然后程序员检查结果，”他们写道。
在90年代中期，柯普开创了这种模式——人类作曲家与他们的计算机一起工作。
4 s) p1 e/ _$ }7 [柯普写了一个名叫Emily Howell的程序（以EMI和他父亲的名字命名），它可以用全新的风格作曲，而不是简单地模仿其他作曲家。当Emily Howell每写出一种新的音乐时，柯普就可以告诉程序他是否喜欢。他告诉Gizmodo，根据他的喜好，这个程序的变化幅度很小，但这个程序仍然有一些随机性。换句话说，它能更好地将合成的音乐转变成他想要的东西，但是有一些你已经排除掉的东西可能还会“悄悄潜入”。
“使用几周后，你就会对这个程序非常熟悉，”柯普说，“我经常感觉自己在编曲过程中与一个人交谈，这可能听起来很奇怪。”
6 P. ^6 w* O+ x: r3 n2017年9月，巴黎-索尼计算机科学实验室（Paris-based Sony Computer Science Lab）的研究人员在法国音乐人波瓦纳·卡雷（Benot Carré）的帮助下，发行了两首在AI帮助下写的歌曲：一首是披头士风格的《Daddy’s Car》，另一首是混搭了几位美国作曲家像艾灵顿公爵和乔治·格什温（译者注：Duke Ellington和George Gershwin，美国爵士乐作曲家）作曲风格的《The Ballad of Mr. Shadow》。为了这些工作，该团队使用了Flow Machine，这是一种帮助指导词曲作者创作的工具，能激发他们的创意，但不是让AI为他们做所有的工作。
26:05
/ p7 v6 r7 N/ q带领开发Flow Machine的弗朗索瓦·帕切特展示该工具如何将一种音乐风格映射到另一个样本旋律上，从而创造出一首全新的歌曲。
“我的目标一直是要把一些大胆冒险的东西放回歌曲创作中，” 弗朗索瓦·帕切特（Franois Pachet，领导索尼计算机科学实验室Flow Machine开发工作）在今年1月Gizmodo对他的一次视频采访上说：“我的印象是，在20世纪60至80年代，节奏、和声和旋律等方面的东西更有趣。”尽管他承认这可能会让他看上去像个史前动物。（“人们可能会说我已经过时了。可能吧，我不知道。”)
) g6 I+ |4 U* }) E帕切特现在是Spotify（译者注：声田/声破天，一个正版流媒体音乐服务平台，2008年10月在瑞典首都斯德哥尔摩正式上线）的人工智能研究部门的负责人，他负责管理Flow Machine的开发工作多年，让感兴趣的音乐人进入工作室，尝试将其加入到歌曲创作过程中（Flow Machine也获得了欧洲研究委员会的资助）。他的作品奠定了他和卡雷创立的一张专辑的基础（在帕切特去Spotify之后，卡雷完成了之后的工作）：一个名为《Hello World》的包含多个艺术家作品的专辑，由各种流行音乐、爵士音乐和电子音乐家的作品组成。所有这些歌曲都包含了一些由AI产生的元素（比如旋律，和声，或者是什么），这些元素被艺术家们巧妙地利用，就像希勒和艾萨克森在50年前提出的那样。
! V; b: j& h0 [5 BSKYGGE feat. Kiesza，《Hello Shadow》（音乐视频，部分是由人工智能为专辑《Hello World》创作的）
5 l1 X; O( g' }+ t; u在用Flow Machine录制一首歌曲时，艺术家首先用程序里的元素激发灵感，包括吉他音轨、声乐音轨、功能谱（译者注：lead sheet，是一种五线谱的形式，指定了流行歌曲的基本元素：旋律，歌词和和声）或MIDI文件（译者注：MIDI, 即Musical Instrument Digital Interface，乐器数字接口，是编曲界最广泛的音乐标准格式），其中包含了给定旋律或和声的数据。Flow Machine根据数据库内成千上万的乐谱进行分析，然后“生成，运行，打分”，帕切特说。像Emily Howell，如果艺术家不喜欢它生成的音乐,他们可以拒绝使用，然后Flow Machine会生成另一段。如果他们喜欢这段音乐，或者是其中的一部分，他们可以开始播放这段音乐，编辑特定记录或者记录这段音乐使用的乐器或歌词。你也可以引入一条音轨——比方说一个你真正欣赏的音乐家的吉他音轨——让Flow Machine把它映射到你正在创作的旋律上，或者把它映射到一个旋律上，然后混入进弗兰克·奥切安（Frank Ocean）的声乐音轨中。这个结果听起来就像是把你们三个人一起放在一个房间里——一个吉他手在表演你自己风格的音乐，弗兰克·奥切克在上面唱着歌——尽管，帕切特在TEDx演讲（视频）中演示这个功能时，最后的结果有点不稳定。
这个过程相当快，通常只需要几个小时或几天。这样做的目的是让创作音乐变得毫无痛苦，就像它标榜的一样。“给你一个界面，你可以跟它进行互动对话，Flow Machine可以生成一段材料，如果你认为它很好、很完美，你就可以停下。而如果你不是很满意，那么你就继续让其运行下去。”帕切特说。
他补充说：“这是我们的目标，吸引艺术家，允许他们以任何可能的方式使用这一工具，对我们而言唯一的约束就是艺术家们对于结果的认可度。希望他们能说，‘OK, 我支持它，我为它打Call。’这是一个非常非常苛刻的约束。”
. o9 T! e5 ?0 m, i# P7 ^7 ~如果艺术家喜欢它，那很棒，但是对听众而言呢？目前还不清楚观众是否对AI帮助下创作出的音乐有很大兴趣，尽管也没有什么东西能阻止他们的存在。发行AI音乐专辑的音乐创作者中最著名的是凯莎（Kiesza），她的音乐已经在Spotify上累计播放了180万次。（当它于12月1日在Spotify的“周五新歌放送”板块发布后，每一个Reddit的帖子中都记录了播放列表的内容。）这是什么概念呢？一个极端的对比：卡迪·B（Cardi B）的《Bodak Yellow》在Spotify上有超过1000万的播放量。不过凯莎的歌有超过百万的播放量，这仍然是非常令人鼓舞的。
当我们预测AI音乐的未来时，也会发现美国以外的市场。今年2月，这家总部位于伦敦的公司Jukedeck推出了基于AI的在线音乐工具（这些工具可以帮助创作简短的原创音乐，其主要受众是视频制作者和电子游戏设计师），他们与韩国音乐公司Enterarts合作，在首尔举办了一场演唱会。由一些韩流明星演唱表演（比如SPICA女团的金宝亨以及High Teen女团），但演唱会的歌曲都是由Jukedeck的AI系统创作的。根据Jukedeck创始人的说法，有200-300人参加了这次活动，几乎完全是媒体的成员。该公司计划今年再发行三张迷你专辑。如果他们这样做了，他们的工作就会被削减：第一张迷你专辑在Spotify上的播放量不到1000次。
在8年前接受《卫报》采访时，大卫·柯普说，在我们的有生之年，AI音乐将成为“我们音乐生活的主流”。然而这种情况还没有发生；上面提到的歌曲并没有能登上音乐榜前40，不像它们之前引发了许多轰动和恐慌的头条新闻一样。
9 D7 w# w5 @; `% w- ?, a" RSKYGGE，“Magic Man”，AI音乐专辑《Hello World》中的一曲
; A) k  ]( C& U' K当我问帕切特是否认为年轻人会在意是不是电脑写的歌时，他同意柯普的观点。“千禧一代不像我们二三十年前那样听音乐。如何听肯定难以描述，但事情已经发生了变化，你可以通过观察人们听音乐的方式来看待这一点，”帕切特说：“现在的音乐比以前多得多。人们习惯挑来挑去，先听10秒钟，然后很快决定他们是否喜欢。这是一种在互联网时代之前不存在的新行为。”
如果年轻人以一种走马观花式的方法挑选想听的音乐，试图尽快排除那些他们不喜欢的歌曲，以更好地强化和最大化自己的听歌体验，也许AI写的歌曲可以不经意间被他们接受。
要想让AI作为音乐创作助手顺利进入音乐市场，方法之一就是把AI看作一种乐器，就像钢琴或者合成器一样。对于任何看好AI的粉丝来说，这是一种很容易接受的说法：没有人认为，在流行音乐市场，鼓手们已经被广泛使用的电子鼓淘汰出去。类似的，这样就能减轻人们对于AI作为一个抢工作的歌曲创作机器人角色的焦虑。有些人已经在争论这个问题; 当我问到AI有无可能在歌曲创作中被完全依赖，帕切特告诉我：“Flow Machine只是一个工具。你不能完全依赖这个工具。否则，许多歌曲将会被认为是依赖于吉他、声码器、小号或钢琴之类的。所以你真的需要把它看成一个工具。”
" K9 k0 [& |4 ], Q9 o就其价值而言，像谷歌这样的科技公司似乎专注于“工具”部分；本月早些时候，谷歌Magenta项目团队（研究AI如何帮助提高人类的创造力）展示了一些他们称之为NSynth Super的东西，一个触摸设备基于两个不同的声音生成全新的声音（想象一下，听着一种介于喇叭和口琴之间的声音）。当我与Magenta的研究工程师杰西·恩格斯交谈时，他也把AI对词曲作者的作用与传统设备的作用进行了比较。他谈到吉他放大器最初是为了放大吉他的声音，用它们会造成吉他演奏的失真是人们能接受的结果。他说，Magenta目前的目标之一是让模型快速适应用户的一些突发奇想的创造。
如果他们能让足够多的人使用他们的工具，他们就可能会成功。