新的 Neurorack 模块将人工技术带入 Eurorack 系统

audioess

新的 Neurorack 模块将人工技术带入 Eurorack 系统


致力于音乐和声音研究的法国 IRCAM 学院带来了一款基于人工智能的 Neurorack 模块，来自学院内的 Acid 团队。目前该团队已经推出了原型机产品，并将其开源。



致力于音乐和声音研究的法国 IRCAM 学院带来了一款基于人工智能的 Neurorack 模块，来自学院内的 Acid 团队。目前该团队已经推出了原型机产品，并将其开源。



Neurorack 基于 IRCAM 对 Diet Deep Generative Audio Models With Structured Lottery 模型的研究。这项研究探索了深层模型可能是过度参数化的想法，以及假设深层模型中存在极其有效的小型子网络。如果将其单拎出来训练，也许能提供比大模型更高的精度。经过测试，该方法可以去除高达 95 的模型权重，而不会显著降低精度 — 这使得在嵌入式平台上实现深度生成音频模型成为可能。



开发人员注意到：
深度学习模型通过在包括音频生成在内的各种任务中实现前所未有的准确性，在大多数应用领域都能成功。然而，深度模型一直被忽视的缺点是其巨大的复杂性和巨大的计算成本。

在音乐创作和作曲领域中，模型缩减可以作用于实时设置和对专用级嵌入式硬件，向用户提供系统提供轻量化系统，这些系统在音频生成领域中特别普遍。因此，为了设计一台独立的、实时的乐器，我们首先需要占用计算和内存制作一个极其轻量级的模型。
Neurorack 以硬件的形式演示了这种方法。该模块基于 NVIDIA Jetson Nano，是一台小巧的计算机，可以让你并行运行多个神经网络。该原型机被设计成与 Eurorack 模块合成器兼容，如下视频演示：



YouTube 链接：https://youtu.be/64VpQenCHVs


开发人员指出了 Neurorack 设计的四个目标：

音乐性：选择的生成模型特别有趣，因为它产生的声音不可能在仅使用合成的方法下产生。
可控性：界面选择得当，易于操作。
实时性：硬件的行为与传统乐器一样，支持实时反馈。
单机版：没有电脑也可以使用。


最初的原型是为产生冲击性的音色而设计的。该模型允许创建范围广泛的撞击音色，具有 7 个可调的参数：

响度
冲击性
噪声
声调
丰富度
亮度
音调


如果你想对该项目进行进一步研究，开发团队已经将其开源：https://github.com/ninon-io/Impact-Synth-Hardware/