独特的乐器识别系统，帮你真正做到想听什么点什么

tjmp77bek1

独特的乐器识别系统，帮你真正做到想听什么点什么~

各位，昨天晚上，乌拉圭哭了，巴西也回家了，但更令面子君惊讶的却是，张学友演唱会上又双叒叕抓住了逃犯（第六次）——音乐的魅力真是大啊……



不过，今天本君并不是想和大家聊AI人脸识别，而是AI音乐识别。

乐团表演的时候，大提琴、小提琴，长笛、短笛，长号、小号……各种乐器的声音交织在一起，气势磅礴，引人入胜。



当我们听到很多种乐器的声音一起出现的时候，你有没有格外好奇某一种声音呢？比如李健的《父亲写的散文诗》中，和钢琴弦乐一起出现的小号，听起来特别有怀旧感，能不能把这个声音单拎出来呢？



最近，麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)发表的一项新的人工智能项目成果解决了这件事。它依靠一种深度学习系统，可以在观看一段音乐表演视频的同时，分离特定乐器的声音，使其更响亮或更柔和。

这个系统叫做“PixelPlayer”，拥有自我学习的能力，不需要人们帮它对乐器做出定义。经过60多个小时的视频训练，它就能在陌生的音乐表演中，像素级识别特定的乐器，并提取出与这些乐器相关的声音。

例如，对于一段由大号和小号演奏的“超级玛丽奥兄弟”主题曲视频，PixelPlayer能轻松分离出与每种乐器相关的声波。



以前，分离声音主要靠对音频的处理，通常需要大量的人类标记。相比之下，PixelPlayer引入了视觉元素，这就省去了人类注解的麻烦。

它首先定位产生声音的图像区域，然后将输入的声音分成一系列元件，而这些元件表示来自每个像素的声音。

实验室博士Hang Zhao说：“我们惊讶地发现，我们可以在像素级对仪器进行空间定位。”这样做可以打开很多可能性，比如可以通过点击视频来编辑单个乐器的音频。



MIT的研究小组表示，PixelPlayer可以识别20多种常见乐器的声音。Zhao说，如果系统匹配更多的训练数据，它将能识别更多的乐器，尽管在处理某些乐器之间细微差别时尚有困难。

另外，这个系统对音频的识别其实更接近音乐的实际元素。例如，某些谐波频率似乎与小提琴等乐器有关，而快速的类脉冲模式则与木琴等乐器相对应。



研究人员说，改变单个乐器音量的能力意味着，在未来，像这样的系统可能会帮助工程师改善旧音乐会录像的音频质量。

PixelPlayer甚至可以用于搭配机器人，以更好地理解其他物体发出的环境声音，比如动物或车辆。



以后，如果这个系统普及了，我们就可以像音乐家那样鉴赏各种乐器了。喜欢长笛点长笛，喜欢吉他点吉他，是不是也很有助于学习乐器呢？