Nvidia 推出全新的 AI 音频模型Fugatto：可以创建音乐、声音和声效的任意组合

alegre

& L1 b3 I$ _$ Z* S8 N

图形和人工智能巨头 NVIDIA 宣布了一种名为Fugatto （Foundational Generative Audio Transformer Opus 1 的缩写）的新型AI模型。该模型由一个国际研究团队开发。与目前市面上现有的AI 音频/音乐制作工具不同的是，Fugatto 具有更加多面和灵活的创造力，让你能以文本和音频输入的方式创造声音、对话和音乐,它被称为“世界上最灵活的声音机器” ，一举击败了 ElevenLabs 和AI音乐制作人 Suno 。
% D9 d  A7 f' J, s, i" z4 F
( J0 U5 r( q/ R7 D" d6 Z4 r
0 K) `0 t4 w" ^" \9 h借助此模型，将见证AI操控和转换声音和音频的全新范例。它远远超出了将文本转换为语音或根据文本提示制作音乐的功能，并且提供了一些我们从未见过的真正创新功能。

9 Y: Y8 P  T% F5 D. Q) z6 o
, Q' ?2 B( `7 V) e% N) EFugatto 目前还无法尝试，因为它只是一篇研究论文，但它未来很可能会提供给一个或多个 Nvidia 合作伙伴，然后将开始看到声音开发方式的一些重大变化。

( b0 o6 W: b" z9 k
Nvidia Fugatto 如何工作？
5 b& k! f* H7 H; Q! t) V4 B9 \
  N* {8 t$ J& \; |! f) x6 h+ qNvidia Fugatto 的关键在于它能够展现新兴能力，该团队将其称为 ComposableART。这意味着它可以通过以新的方式将不同的能力组合在一起，完成它未经训练就能完成的事情。

发布研究论文的作者描述了该模型如何制作出愤怒大喊的大提琴或咆哮的萨克斯管。这听起来可能很傻，但该项目主页上的一些演示非常令人印象深刻。
& H) T2 }; {$ q, k! L
) G( |( Z% B# I. \. m! ~: Y% o% v( F例如，能够立即将语音转换为不同的口音和情感强度，或者在现有音乐表演中无缝添加和删除乐器。

我们已经从其他模型（例如 OpenAI 的 Advanced Voice、ElevenLabs SFX 模型或 Google 的 MusicFX 实验）中看到了一些这样的情况，但没有在一个模型中看到过。

# H! ^+ |6 L; a+ c" Q9 uNvidia Fugatto 可用于什么？

该团队提出的最引人注目的例子之一是即时生成复杂的音效，其中一些是全新的或古怪的。

+ O4 c+ S5 L) b0 Z! o$ g电子游戏开发商和电影行业的从业者听到这个消息，要么垂涎欲滴，要么紧张不安：几乎任何类型的音景都很快可以通过按下按钮由人工智能生成。
$ t% \0 L0 {/ @

该模型建立在研究团队之前在语音建模、音频声码和音频理解等领域的工作之上。所有这些技术的强大功能都是通过一个具有 25 亿个参数的模型来实现的，该模型在大量 Nvidia 计算机处理器上进行了训练，并在一组包含 32 个 NVIDIA H100 Tensor Core GPU 的 NVIDIA DGX 系统上进行了训练。
: g* S3 {! v/ C  H
和许多早期研究演示一样，我们可能还需要一段时间才能看到成熟的产品投放市场。制作一段四秒钟的雷雨或机械怪物的音频片段是一回事，让它在现实世界中可用又是另一回事。

7 X( O9 c6 o2 a& u9 b然而，毫无疑问的是，这种新模型背后的技术表明，机器掌握另一种艺术形式的能力已经跨过了一座重要的桥梁。这可能是我们第一次看到这种类型的人工智能代际力量，但肯定不会是最后一次。

: e2 Y9 E' e; dNVIDIA 应用音频研究经理Rafael Valle表示：

“我们希望创建一个能像人类一样理解和生成声音的模型，Fugatto 是我们迈向未来的第一步，音频合成和转换中的无监督多任务学习将根据数据和模型规模而产生。”
3 f1 h+ C0 T- n3 p" x
8 y+ b* x9 ]9 I5 |' p通过这个演示，我们似乎可以看到未来音频处理方式可能存在的转变，基于文本和语音命令或许会成为音频制作和设计领域的重要组成部分。这类软件将会变得更加智能，而且工作流程也会随之发生一定的变化。某些 DAW 和插件制造商势必将会在新一代的产品中逐渐加入这些功能以形成新的卖点，毕竟以传统硬件为蓝本的合成器、音效插件市场已经非常饱和。而且尤其对于新手来说，那些不知所以的参数和纷乱的旋钮还是有些太复杂了。这让很多用户都把大量的时间花在学习软件之上了。其实现有的音乐制作流程，是随着笨拙的硬件发明历史而被逐渐固定下来的。如今人类已经走到了无法回避的 AI 时代！用简单、直接一点的提示语来参与工作难道不好吗？经典固然有其美，但少折腾一点也有其便，何况创作最需要的灵感。
! Q/ {& X9 E3 L- A
音乐制作人兼 Nvidia 初创加速计划成员 Ido Zmishlany 表示：

: w( x# r( S" c  Q“音乐的历史也是技术的历史。电吉他给世界带来了摇滚乐。当采样器出现时，嘻哈音乐诞生了。借助 AI，我们正在谱写音乐的新篇章。我们有了一种新乐器，一种制作音乐的新工具，这非常令人兴奋。”
  A' w0 `: |9 r" w) `9 k

/ b! C" o8 _" g9 K" z' \6 ]
官方视频地址：https://youtu.be/qj1Sp8He6e4
) e# {/ d' w2 \

8 N7 a6 h6 L6 W; [3 M0 w5 @' }6 t; P6 r
官网： https://blogs.nvidia.com/blog/fugatto-gen-ai-sound-model/
- t! A- n6 {) ?2 N6 o3 \