|
发表于 2024-5-7
|
|阅读模式
+ n. I# P* H' g
6 y( l8 s, R9 h, P4 c( Q
AI 主干分离器(或词干分离器)是一种软件工具,可以将完全混合的歌曲文件拆分为每个乐器层的单独声音文件。这些层称为茎。人声去除器专门用于隔离人声,而其他主干分离器可以分离成更多主干,例如贝司、鼓和“其他乐器”。
$ y; M3 S% }# a, r+ j
! |/ ]5 _2 w* a
主干分离器最常见的用途是创建混音、混搭、DJ 编辑和卡拉 OK 乐器。: P* Q' F) K+ Z) e1 N9 u) H
3 g- b6 z) K+ q5 B0 `0 Y( a: \这些工具使用机器学习算法,这些算法经过训练可以识别特定声音的频率素材并自动隔离它们(因此称为“AI”)。1 Q( I7 @& O: T- a. E1 ~
: A2 ]1 K6 @9 W) w
8 d3 j) |% F* h/ u& Z( R5 L/ J
许多人工智能词干分离器和声音去除器使用相同的开源算法,这些算法被封装在不同的包装器中。
" y& ^. E3 t- y6 l1 {& I0 ]- R k! {9 I0 h! r$ y
两种主要的开源词干分割算法是 Spleeter(由Deezer 的音频研究团队开发)和 Demucs(由Meta 位于巴黎的 AI 研究实验室开发)。$ W/ @8 q8 F9 t6 Y1 r& Y
+ S) x6 s' |- V9 J8 {
我们比较了多个选项,即使它们使用相同的算法,因为可用性和功能存在差异。1 e# z- n0 l" d8 q% V. s8 s, @7 [, T
# \9 q; `* p- F7 ~6 K* \# r$ J
( u. z" \0 Q0 L( n1 E
4 d4 b4 X4 T4 q- ?/ C* L/ B1. Ultimate Vocal Remover 5 人声取出插件* g6 M! y1 f# D, M) R
! Y H3 Y. A% E+ [; u$ }' e
2 y6 c8 p" j1 ?( R3 H2 _
对于那些密切关注音频分离技术的人来说,UVR5 是一款不可或缺的人工智能音干分离器和人声去除器,而且完全免费。
; Q4 j' X) x. F- Z# L5 Z" X
$ S& C. h+ `1 P+ y5 k' o你不仅可以选择不同的算法,甚至还可以使用 “合奏 ”模式,同时使用多种算法,让每种算法都能为你带来特定乐器的优势。& q* T. u3 B1 V7 @4 @
% U9 S9 Y- S2 s, d# R: g
我们将它设置为 Demucs v4 模式,用了大约 6 分钟就把一首 6 分钟的歌曲分成了 4 个音轨(人声、贝斯、鼓和 “其他”)。 u; k/ w( Y0 U: T3 Y% ?% q
3 s/ s& Q1 K$ B: [& j虽然我们没有对每种算法和每个音乐层都进行测试,但总体结果质量很高。你的结果可能会有所不同,这取决于你的使用情况和设置。
: R L4 L1 x6 W0 O8 C& O
- ^& }- r! {$ i/ z% \+ h7 _我们还让它为我们的测试歌曲提供了一个乐器版本,具体做法就是去掉人声。
/ X6 r: K; P# }8 L- q( {
. G: _1 {8 ]1 ~* C; ]8 y$ x有些人一开始可能会觉得参数有点吓人,但其实很容易学会,尤其是有了这样一份指南。
& P% T4 }; S" N( r0 G: o$ F5 T2 z2 i
作为一款应用软件,它的整体可用性非常出色,我们认为对于任何想要进行人声去除或乐器分离的人来说,它都是不二之选。
6 Q5 r: ] N# c# y$ y+ L/ [) s
5 P& l( P3 u1 k. V链接:https://ultimatevocalremover.com/7 B! G* }; U- T6 O, H0 j
: ^* ?6 J& m( ~7 k7 @
2. Gaudio Studio3 R) H( S+ h ~- n: {6 B4 T& Q/ Q
$ J) p- @; v2 w8 u3 \市面上有很多基于浏览器的人工智能音干分离器和人声去除器。
3 n7 J. ?- h0 z3 J; p; G8 {
" @" H" r$ i# }! @* I这些软件可能会在其专用处理器上运行你的分离效果,而不是在你电脑上的本地处理器上运行,这有时可能意味着更好的效果。
4 }* u6 ]$ J1 R( d2 w" y. B: _& l9 M
其中很多都不是免费的,但 Gaudio Studio 是个明显的例外。你只需用谷歌账户登录即可。 g; X$ I9 l" A" |5 w
% Z4 I2 n& X- L! ~; @$ a( q登录后,上传要分割的歌曲、选择要分离的乐器层并将歌曲提交到队列中就非常简单了。
+ V, r0 N5 I' J/ g) |
* h; O, \* |0 ]0 u/ Q# E; h% I4 N大约花了五分钟,Gaudio Studio 就把我们六分钟的测试歌曲分成了人声、低音、鼓和 “其他 ”主干。5 A7 [- |4 \, z; Q3 Z: l# [
2 U' ~6 M; U* C! O
音质相当出色,即使与我们的 UVR5 测试相比,音源的清晰度也非常高。5 h: E6 K+ T5 L* k% ^% A
; r6 n- ^: E' |6 V5 v# S- R
截至 2024 年 4 月,它目前还处于测试阶段,5 月份将升级到新版本。该网站没有解释此次升级的内容,因此我们希望这并不意味着他们计划在短期内将其货币化。
" ?4 X3 v3 l+ `1 O* h! P( \链接:https://studio.gaudiolab.io/
% |6 Z3 S4 @. u G$ J% c. k; ?0 I8 y! v- E
3. MVSEP
$ X7 M/ j5 H2 h1 N( ]
( ~8 f& H; G. g# l2 Q* K& B v* ^! @9 \& m) U$ m) v
如果你要使用音干分音器进行采样,最好储备一些专业的高质量材料。LANDR Samples 拥有出色的人声、低音、鼓声和乐器音色库,可供探索。 ?* v5 w' ?/ g6 _% P
+ l) h( y% F0 D/ d
: g: f. w- b8 J# u4 y0 q- n0 x4 Y这款词干分割器有点像 UVR5,但它是基于浏览器的,而不是独立的。
. X; u; J3 E4 D2 {2 b) q( o1 ?, x. a0 A: n
它允许你选择多种不同的型号、质量级别和输出格式。
, E1 c3 d2 S; e9 _# g+ U1 L' x* o: h1 }) L8 H; h5 l
不过,你能使用的设置数量和其他优势取决于你选择的服务层级。: t4 z1 d9 M% @: o& S. Z& L+ D
, a# j1 F+ j3 X2 K
我们注册了一个免费账户进行测试,并将六分钟的测试歌曲分为人声、低音、鼓和 “其他 ”主干。8 I! P& I' U8 B. Z1 |! h
3 S4 o9 i# G5 |, r1 Z2 j7 p* F我们使用 Demucs v4 模型来查看与 UVR5 的质量是否有差异。我们用了大约五分钟,听起来质量没有明显差别。
# _: ^+ {$ Z! P6 [8 ~1 q& p$ r" q% S+ c2 \7 T
我们不确定在 UVR5 免费的情况下付费购买 MVSEP 是否有优势,但你可以自己进行比较来确定。
8 y2 I, b1 Y8 } T. N* c$ x2 c- S1 X: T+ U4 c- B6 I
事实上,MVSEP 网站的主要优势可能在于其文档和资源,而非工具本身。
$ @9 a4 { D; P# p3 M6 m- O7 U9 i6 V* W8 D+ s1 g( ?) X8 Q5 q w
你可以在他们的网站上找到不同音频分离算法的质量评级比较表,以及不同分离类型的庞大测试结果数据库。: w; g1 r' I* X- O3 X5 T; ?
- J0 _; U6 s5 b7 W( B4 Y链接:https://studio.gaudiolab.io/7 X7 C! ~- B* o" a$ I Y' ~
# k1 H9 N0 r9 ]1 i% f
4. StemRoller
! i4 K2 I E, J5 d, I) `
6 a1 j( i4 g; p5 t7 Q, vStemRoller 是另一款使用 Demucs v4 制作的免费 AI 音干分割器和人声去除器。: B8 }7 L" a: j8 \6 E1 q
, E# O0 F7 b0 }% i1 e6 F$ y6 D) h
它可在电脑上独立运行,但与 UVR5 不同的是,它不允许你使用不同的算法或其他设置。相比之下,它的功能设置要少得多。8 Y3 l) r) B1 j: F1 y
# E! v5 k. U, d# X9 S不过,如果你因为要在太多配置中做出选择而感到茫然,这款软件或许值得一试。
0 D: T' v8 B9 H1 Q; V/ e* X- Q M6 R# ^
你只需将文件拖入窗口,它就会立即开始处理。' G+ z; z, y# e- [ {
( s( w+ ]# D8 t' n结果与在 UVR5 中运行 Demucs v4 的质量基本相同。
/ J" Q8 D3 G7 f' R. V% l1 a0 \$ E# @1 H, h. ]) N* t7 e
除了常见的四个主干外,它还自动为我们提供了一个完整的器乐音轨,没有任何人声痕迹,听起来非常棒。
2 Y1 d4 J" C" n' j; e# z. `: a3 W% o! X# u* E! B4 l
开发者警告说,它可能需要大量的处理能力,并需要长达 15 分钟的时间来生成结果,但在我们的 M2 MacBook Air 上只用了几分钟。
, a) U, F2 J! u5 O
' a4 ^9 D# F. P1 c" @1 i: u6 n; j2 I
链接:https://mvsep.com/en: W _1 c' A2 Z! q, X( P2 W
" y% w' _; M! }8 S5 H
3 u$ N1 Z, L! \- i% \# }! ~* I
) z1 a- c |; E& K& [7 H7 P
5. Spleeter for Max& W/ N1 R# c' n6 P
: G/ U! i! Q# p) a
1 M2 P% f5 o; _' s. m如果在 Live 中运行基于 Spleeter 或 Demucs 的音干分割器,它不会产生实时效果。它仍需要时间将源音频片段处理成干,这些干将以排列视图显示在时间线上。
' ]" c0 T0 S6 X: J: c: `, g5 d3 L: F' ^, E
! b0 ~3 w; R7 w v1 ~
我们有一个好消息要告诉各位 Max for Live 用户--有好心人制作了一款基于 Spleeter 的设备,你可以在 Ableton Live 中将其用作人工智能音茎分离器。5 H, f! }3 M [# l7 _( p& D
1 d( K% }$ A Y7 @
不过,对于不熟悉命令行安装的人来说,设置过程可能比较麻烦。你需要遵循几个步骤,在 macOS 上使用终端,在 Windows 上使用 CMD。
7 c! p8 {& n2 o" a4 a# D# S# j
/ t I& ]6 G* l$ j' ]/ F另一个问题是,由于 Spleeter 算法无法在 M1/M2/M3 Mac 上本地运行,因此这款设备也无法运行。
. X1 f% Z9 u1 R: D) i) a+ b9 j, S: d8 Q
尽管如此,我们还是在配备英特尔处理器的老款 MacBook Pro 上进行了测试。我们发现它很容易使用,甚至比我们测试过的基于 Demucs 的分音器更快地传送音茎。 U5 l- C0 ~! m$ ~2 ]9 z
& c2 L. @# j h6 q% |8 _( {8 B我们发现,它的质量不如 UVR5 或 Gaudio 好,但直接在 Ableton Live 中使用的便利性对某些用户来说可能是值得的。
' j6 P( e% D& a+ ], C
1 K, z' ?/ w# ^* M) H. x因此,如果你不介意安装步骤,又有一台兼容的机器,这可能是一个方便的选择。
, }) n4 K( u3 B9 j: a! v! S+ Z/ s& W3 i1 W* V0 J! A2 \% p! \
另外,如果你愿意花上 20 美元,也可以购买这款使用 Demucs v4 制作的 Max for Live 音干分割器。
0 c$ H0 j6 G t" c# Z% e9 \7 E' f: }/ ?- I( x5 H% j
链接:https://www.maxforlive.com/library/device/5956/spleeter-for-max
% [! i7 G" b& J7 {4 i3 Z$ t
/ e4 h Q5 f* J6. Vocal Remover人声移除器
. Y- h. }/ a. g+ y# B/ [" `
( b5 G1 |- ~4 ~- Z
3 Q1 t; M8 P; \8 V使用它是免费的,网站似乎也没有明确列出任何限制。* q( ^6 T1 R; ]& Q% m8 v4 s
$ w. c& r2 ]6 ]2 w' Z& _然而,当我们试图进行多次测试或尝试完整的声干分离服务时,却被告知要么稍后再试,要么订阅开发者的 Patreon。* N1 M9 h ^, l. a" S% V/ E
) }: K; v8 _0 s, ?; t, q
由此我们推测,除非你选择付费订阅,否则免费版的 Vocal Remover 在两次使用之间会有一段不明确的等待时间。3 @ g& W8 F$ t& B: M
6 v' d5 P* c& W
我们的人声移除测试很快,只花了几分钟就完成了人声和乐器的移除。
7 L- m' h, v% u1 ^
% f1 D/ I% f7 K! b9 y% D) d9 B+ w+ n但我们发现,与 UVR5 和 Gaudio Studio 相比,人声音轨与乐器之间有大量渗漏。! x5 I! o# c [
9 m! F q! Y: v! @; `
链接:https://vocalremover.org/
: e# @3 q4 K- {7 g1 e' k6 P4 @0 v1 e
) R. p# A. w+ R! a T7.Fadr Stems
. g' [1 f: O7 s+ Z! B
2 N8 O5 b& S X) X该网站提供人工智能词干分割器和自动混音工具。/ E8 c4 }3 m9 L8 a+ H
1 p c0 w0 V* B6 E3 X注册账户并选择免费计划后,Fadr 会将歌曲分成四个音干,并允许你以 MP3 格式下载。' a. q1 F: O& w* j' @' f) D
$ E! G6 w7 w3 j$ @/ v- K
如果你想将歌曲分解成四个以上的主干,下载 WAV 格式的歌曲,并使用其他功能,你就必须切换到付费订阅选项。! W- [2 Q+ v0 G' n6 ]/ e
免费版并不限制每月可分割的歌曲数量,而且 200MB 的文件大小限制似乎对免费版和付费版都适用。
( c H+ D9 {+ V8 m! B r) j7 s1 `4 f8 j0 \! P7 U( o) E+ n
它能在五分钟内处理我们的测试歌曲,但处理结果并不是我们所见过的同类产品中质量最高的。
6 J# @' G1 K( P' g6 c4 s4 ^
5 {) e$ a @4 F% h) t* J& e5 q链接:https://fadr.com/stems% m9 A4 q% c0 ]- I1 R
1 D0 p( G$ U) U% I2 B
) l4 H7 i1 O, T- u$ b
+ o6 i3 x% T) O2 U' F' R8. Audacity 的 OpenVINO 插件
3 Z. V* K9 a, e9 Z [" p
& ?$ h' a! q, q4 z0 M: T7 ]. G2 W3 E
如果你还没有使用 Audacity 作为你的音频编辑工具,那么你一定要考虑一下它。2 A- w+ M% `# ^1 E) n3 a
3 a! m! O0 \0 |3 N6 W* f! U如果你已经使用 Audacity,那么你可能还不知道它可以承载通过英特尔 OpenVINO AI 工具包设计的人工智能音干分割器插件。; D6 t! h- p3 Q: j" R* u
& l; p( ^" A. `/ F+ q. I
我们不知道他们是否利用其中一个开源模型构建了这一功能,但我们很想知道它的性能如何。
2 G; S* ^) f5 @ z& P- b( {( g/ r6 O* K
由于这款产品仅限 PC 使用,我们在 Windows 笔记本电脑上进行了测试。安装不像大多数插件那样简单,但也不复杂。: b! I( m6 _3 n4 P
% z0 ?0 d3 ~5 D
使用 GitHub 页面上的说明进行设置后,插件就非常容易使用了。6 _' A, q0 c* y; M! J9 t( a2 K& a# e
只用了不到十分钟,插件就制作出了人声、低音、鼓声和 “其他 ”音轨,并自动将它们作为独立音轨放置在时间轴上。" F* M5 @& X$ v: x! Z3 Z
就我们的耳朵而言,它的质量还不错,但比不上 UVR5 或 Gaudio Studio。不过,如果你经常使用 Audacity 并喜欢它的工作流程,它可能是一个不错的选择。
; I) f& z N% z3 B4 E. v
2 G$ I6 L$ _4 r3 y3 e) S y( g9 S8 K链接:https://github.com/intel/openvino-plugins-ai-audacity' o* ~. Z; t! X
5 H0 [5 ?4 L9 X4 `0 f- G
# v, B/ A, j% E7 j6 SAI 词干分离器和人声移除器的历史实际上比你想象的要长。
# @) {* f1 m$ r
( ^- B# }* E5 F- w因此,你可以在自己已经拥有的音乐软件中找到音干分离功能。. U) T" [# g P
$ d1 C: Q8 W# j( M. Z: u
iZotope RX 有 “音乐再平衡 ”功能,FL Studio 的制作人版及以上版本也有词干分离功能。
- E* ?& p" c" _# T- R' f j
/ f8 c1 T. p1 j4 q这也成为 Serato DJ、rekordbox 和 VirtualDJ 等 DJ 软件的一项功能。) F! Q5 b* p( U8 I/ H: ^4 Z& H
8 q) j( g5 U( u. Y: \" c1 Q$ j% o3 s% `% z# X: h
|
|