音频应用

 找回密码
 快速注册

QQ登录

只需一步,快速开始

阅读: 807|回复: 0

[后期] 9 款最佳的免费 AI 词干分割器和人声去除器

[复制链接]

694

积分

0

听众

13

音贝

音频应用新手发布

Rank: 3

积分
694
发表于 2024-5-7 | |阅读模式
音频应用公众号资讯免费发布推广
  c6 P. u6 C2 y8 G

: m( j8 C$ b$ a/ w  j. c4 B6 tAI 主干分离器(或词干分离器)是一种软件工具,可以将完全混合的歌曲文件拆分为每个乐器层的单独声音文件。这些层称为茎。人声去除器专门用于隔离人声,而其他主干分离器可以分离成更多主干,例如贝司、鼓和“其他乐器”。9 l6 g  _& A9 Q9 E$ r
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/The-X-Best-AI-Stem-Sp.jpg ! x. E5 M- F% j2 Q
主干分离器最常见的用途是创建混音、混搭、DJ 编辑和卡拉 OK 乐器。
/ \. k6 D: v) M) R* s! n% U- H  M3 M
这些工具使用机器学习算法,这些算法经过训练可以识别特定声音的频率素材并自动隔离它们(因此称为“AI”)。+ m/ F- z/ |3 [5 S" K4 s  B# {

. I9 t& X' Z8 ^' }% t* {( S6 H; { _url=https://blog-api.landr.com/wp-content/uploads/2020/01/How-to-Remix-a-Song_f.jpg
! U  H* c. j" M许多人工智能词干分离器和声音去除器使用相同的开源算法,这些算法被封装在不同的包装器中。  D! r+ O$ d7 d7 C

* M: m4 e$ X5 k: q4 I9 q$ \8 ?两种主要的开源词干分割算法是 Spleeter(由Deezer 的音频研究团队开发)和 Demucs(由Meta 位于巴黎的 AI 研究实验室开发)。
3 r+ f$ A; ~* a( I4 W$ Q8 x6 K9 k3 j2 j5 A
我们比较了多个选项,即使它们使用相同的算法,因为可用性和功能存在差异。0 I7 [* R+ I1 J. r: v3 x
_url=https://blog.landr.com/_next/image/?url=https%3A%2F%2Fblog-api.landr.com%2F.jpg 5 V& ], P0 u& z3 Y5 k: t6 g
' y! `( X, q( L1 l9 p
- `, U& G, z9 c) {, z, o
1. Ultimate Vocal Remover 5 人声取出插件# F: L) o5 f/ H* {  Y& `9 x

: _: H0 x0 T* |. p _url=https://blog-api.landr.com/wp-content/uploads/2024/04/Ultimate-Vocal-Remove.jpg : U* T  z* Q9 H: b* D7 [5 B
对于那些密切关注音频分离技术的人来说,UVR5 是一款不可或缺的人工智能音干分离器和人声去除器,而且完全免费。
+ G$ Y; }5 _5 \9 h9 v9 @. x
( {& k, c4 Y+ ~" @) w9 o* I. r4 a你不仅可以选择不同的算法,甚至还可以使用 “合奏 ”模式,同时使用多种算法,让每种算法都能为你带来特定乐器的优势。
4 e# b3 q9 u. r# p" l( d+ J! X; Q/ v
4 {0 Y/ ~$ `% l4 C/ D! m$ k我们将它设置为 Demucs v4 模式,用了大约 6 分钟就把一首 6 分钟的歌曲分成了 4 个音轨(人声、贝斯、鼓和 “其他”)。' {2 t) `. g( L4 d# K6 U3 \2 q! X6 {
0 F& p, z8 t5 T+ q9 O
虽然我们没有对每种算法和每个音乐层都进行测试,但总体结果质量很高。你的结果可能会有所不同,这取决于你的使用情况和设置。& `( h( R& ]0 e/ ?6 O( r- N
5 M0 p* g* l% m4 ~9 S
我们还让它为我们的测试歌曲提供了一个乐器版本,具体做法就是去掉人声。
" E- o3 K( ]" ~5 ^9 |' R
) b9 F% a9 U& @, F/ Z有些人一开始可能会觉得参数有点吓人,但其实很容易学会,尤其是有了这样一份指南。
- m8 b  A( \8 y% ]/ X' ?" ?& t! m" N( L  a
作为一款应用软件,它的整体可用性非常出色,我们认为对于任何想要进行人声去除或乐器分离的人来说,它都是不二之选。5 o* ^. X- \( d4 ]
" v5 Y$ |8 J, K' L/ X+ S
链接:https://ultimatevocalremover.com/
4 a; |4 _% z( P! U, p+ V
2 ], V0 x) f# b2. Gaudio Studio! X% X1 y8 B$ s# U( F
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/Gaudio-Studiointext-1.webp.jpg
4 ?9 h8 ~0 E2 e# U) q# U% D0 A市面上有很多基于浏览器的人工智能音干分离器和人声去除器。
  b) P% f4 I3 {' f1 C
& X9 }- a# q- r0 E7 r这些软件可能会在其专用处理器上运行你的分离效果,而不是在你电脑上的本地处理器上运行,这有时可能意味着更好的效果。( [* W7 t; i2 J& V# w
; d4 Y# P7 I7 x6 ?" k4 M3 A
其中很多都不是免费的,但 Gaudio Studio 是个明显的例外。你只需用谷歌账户登录即可。" @2 ^4 f5 A# }( n+ v2 M% k& k

6 E0 D/ S/ \- ?; S) ^登录后,上传要分割的歌曲、选择要分离的乐器层并将歌曲提交到队列中就非常简单了。
- n+ I, s0 c& e& W" `  B( V& ]' M7 I& l; s
大约花了五分钟,Gaudio Studio 就把我们六分钟的测试歌曲分成了人声、低音、鼓和 “其他 ”主干。/ H2 T! [8 S+ j; c" U: i1 k

6 i# Q! ], \; u3 g音质相当出色,即使与我们的 UVR5 测试相比,音源的清晰度也非常高。! D( b7 K4 r. j: q9 @' c8 f) _! `  y

6 d) C0 x1 Y. O! m% E截至 2024 年 4 月,它目前还处于测试阶段,5 月份将升级到新版本。该网站没有解释此次升级的内容,因此我们希望这并不意味着他们计划在短期内将其货币化。& b# w0 l0 e& }8 T( `1 C' T8 d: ~5 L
链接:https://studio.gaudiolab.io/0 U2 n0 U+ J7 i& d: R/ N" w) l
, m0 `9 ]4 ]; c; t! Z8 y4 @! K4 }
3. MVSEP. y9 [) U3 S' }- N
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/MVSEPintext.webp.jpg
) w- }9 @+ e, n9 t+ @+ a1 X" X5 k( A  {5 X" J. J$ A6 V4 S
如果你要使用音干分音器进行采样,最好储备一些专业的高质量材料。LANDR Samples 拥有出色的人声、低音、鼓声和乐器音色库,可供探索。
; i! J9 C' k# @% b/ {; B, f! m% O1 O5 _: U0 W' ~* G% r: F) ~

) N0 \* Q, y  }* U6 R这款词干分割器有点像 UVR5,但它是基于浏览器的,而不是独立的。
7 I7 ^4 x- I4 ~; R7 i# ~6 [$ L' C  `+ o* h
它允许你选择多种不同的型号、质量级别和输出格式。
  B) G$ {9 ]8 H% Y- \( D7 W4 U$ f& a9 @5 A6 M6 P0 D* L& `4 u7 o; Z
不过,你能使用的设置数量和其他优势取决于你选择的服务层级。
% J' J  L/ C8 w! C) F
- T$ U' [0 K8 N我们注册了一个免费账户进行测试,并将六分钟的测试歌曲分为人声、低音、鼓和 “其他 ”主干。
: M8 j7 ~* ?" J7 d
( o7 l" M' `7 O, t0 A* _8 N. Z; N我们使用 Demucs v4 模型来查看与 UVR5 的质量是否有差异。我们用了大约五分钟,听起来质量没有明显差别。9 t3 s) T) F& v" C7 \( d- V" P8 \! X

8 Q& B3 f, C- ?4 V/ }/ d我们不确定在 UVR5 免费的情况下付费购买 MVSEP 是否有优势,但你可以自己进行比较来确定。+ b% N. Z( d. T4 P7 W
( M8 Q+ g; n% d6 h& h4 V0 n
事实上,MVSEP 网站的主要优势可能在于其文档和资源,而非工具本身。4 _2 A5 M3 d+ y" H$ W2 G( ?6 t
  K: a* O* U  k5 g0 d
你可以在他们的网站上找到不同音频分离算法的质量评级比较表,以及不同分离类型的庞大测试结果数据库。+ S/ P, B8 S- T2 t) l* T

" H6 b) M* r5 A3 @! m' L链接:https://studio.gaudiolab.io/8 Z. d1 `* h* g; o1 k/ b  @  B! |% U

. y; e( D4 T8 |- n' q3 l4. StemRoller1 f- L* U: G9 I
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/StemRollerintext.webp.jpg
& z" K2 [) w' m: r6 r* ^) UStemRoller 是另一款使用 Demucs v4 制作的免费 AI 音干分割器和人声去除器。
+ [4 f; ?2 k( {! O% n
, U! {. l/ z# P4 B它可在电脑上独立运行,但与 UVR5 不同的是,它不允许你使用不同的算法或其他设置。相比之下,它的功能设置要少得多。
; t, k. N. C1 E! @0 C' Y5 O3 o! b& w7 s* c2 k- m  j
不过,如果你因为要在太多配置中做出选择而感到茫然,这款软件或许值得一试。  F+ x1 ^) [/ d% s" T
  ?4 l8 J" {) p# c6 V( C# k; k0 B
你只需将文件拖入窗口,它就会立即开始处理。3 X/ X1 C4 M9 k; [
2 z/ D: J5 \- \7 q
结果与在 UVR5 中运行 Demucs v4 的质量基本相同。1 [4 s6 l3 W0 p3 N
2 R  h5 F, A/ I" \. Z1 {7 l
除了常见的四个主干外,它还自动为我们提供了一个完整的器乐音轨,没有任何人声痕迹,听起来非常棒。
4 x5 U5 ^. t6 U5 _1 X% @1 F7 k& _( P& L* Q- w; N  Z
开发者警告说,它可能需要大量的处理能力,并需要长达 15 分钟的时间来生成结果,但在我们的 M2 MacBook Air 上只用了几分钟。6 p/ w& s, W9 ]5 T! K3 w6 @
* K$ j6 l  x5 u. D7 t. Q" r
- j& b4 G- i& t7 E4 s& N  n* s5 a
链接:https://mvsep.com/en7 S: G* K* Y5 k% D. O& O
5 c9 g# L( {- z" g: H3 _1 v
  A& g3 M4 C8 o# E
+ `7 c8 Q* s8 B
5. Spleeter for Max
- ~; X% R) i4 U _url=https://blog-api.landr.com/wp-content/uploads/2024/04/Spleeter-for-Maxintext.webp.jpg 4 K% ]. u6 x0 C. g" `

" a  E2 Y8 U7 O如果在 Live 中运行基于 Spleeter 或 Demucs 的音干分割器,它不会产生实时效果。它仍需要时间将源音频片段处理成干,这些干将以排列视图显示在时间线上。
; e- b/ ~) U- h: ?; I1 D1 p/ q, a% Y4 c; q6 p5 K1 r
3 N: u' [3 F  u" e$ G0 g( U( M5 K
我们有一个好消息要告诉各位 Max for Live 用户--有好心人制作了一款基于 Spleeter 的设备,你可以在 Ableton Live 中将其用作人工智能音茎分离器。
: c' ?, a" w4 d# R, b8 R3 h
" F1 S' e; i, Z( t7 f7 \不过,对于不熟悉命令行安装的人来说,设置过程可能比较麻烦。你需要遵循几个步骤,在 macOS 上使用终端,在 Windows 上使用 CMD。) F" N% S+ k1 a( H
- F9 y% `1 w$ ?/ f* k
另一个问题是,由于 Spleeter 算法无法在 M1/M2/M3 Mac 上本地运行,因此这款设备也无法运行。
1 z1 d6 o8 A$ ]9 G% Y. ]5 f
% w2 d" Z3 l' x: u尽管如此,我们还是在配备英特尔处理器的老款 MacBook Pro 上进行了测试。我们发现它很容易使用,甚至比我们测试过的基于 Demucs 的分音器更快地传送音茎。# j! h  A; p4 B4 X: R

* Q( |: w8 a( ^' k! A+ ^我们发现,它的质量不如 UVR5 或 Gaudio 好,但直接在 Ableton Live 中使用的便利性对某些用户来说可能是值得的。" U" Z8 n- l) h5 f) E
. L5 C$ n+ n7 |6 g
因此,如果你不介意安装步骤,又有一台兼容的机器,这可能是一个方便的选择。7 _. L$ v9 I5 T( C# M
2 f: m" g$ Q, Z; ~2 [) v
另外,如果你愿意花上 20 美元,也可以购买这款使用 Demucs v4 制作的 Max for Live 音干分割器。2 U4 u1 `( t) K  r

$ i# C- k; |/ y; m# @+ q8 f, J链接:https://www.maxforlive.com/library/device/5956/spleeter-for-max
2 d) K! M) I% D* g# D# C: H; N6 O9 {; t+ U8 ]$ G
6. Vocal Remover人声移除器
/ h3 |0 w1 m0 y( E _url=https://blog-api.landr.com/wp-content/uploads/2024/04/Vocal-Removerintext.webp.jpg 4 d& [! X% i# |4 T3 C* M

& E! Y* n: \$ m) Z2 @) H5 r使用它是免费的,网站似乎也没有明确列出任何限制。  D  @, H% \) |& n% D* I
+ \) b& l  f3 l$ ]- a( [
然而,当我们试图进行多次测试或尝试完整的声干分离服务时,却被告知要么稍后再试,要么订阅开发者的 Patreon。# V) u6 z" l, l, D
$ B6 t8 Q. V4 h  R# Y
由此我们推测,除非你选择付费订阅,否则免费版的 Vocal Remover 在两次使用之间会有一段不明确的等待时间。
8 I$ x' d3 m& A$ W& x8 A5 Q* L% M; `7 i7 y; r8 g
我们的人声移除测试很快,只花了几分钟就完成了人声和乐器的移除。3 s+ F# U+ o+ ~4 f3 I9 P/ d7 d

* H8 S0 i6 z0 z- \但我们发现,与 UVR5 和 Gaudio Studio 相比,人声音轨与乐器之间有大量渗漏。" w4 U4 u: [/ M

" X  i' ~/ s8 G8 _& z链接:https://vocalremover.org/
9 @+ O* Y& b+ e; t1 A
1 m2 ^4 D9 K/ ~1 }7.Fadr Stems& A+ X( o9 J2 c/ N* w& h
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/Fadrintext.webp.jpg # I+ o3 w( Z/ Z
该网站提供人工智能词干分割器和自动混音工具。8 R2 O, s3 O4 b& b5 B

  T& e8 a0 N8 ^6 `注册账户并选择免费计划后,Fadr 会将歌曲分成四个音干,并允许你以 MP3 格式下载。% y8 [. P0 T: ~6 }: m: y" n: G9 U/ B
+ L: U+ \; d: L: a
如果你想将歌曲分解成四个以上的主干,下载 WAV 格式的歌曲,并使用其他功能,你就必须切换到付费订阅选项。( g( l! k' r5 W' F
免费版并不限制每月可分割的歌曲数量,而且 200MB 的文件大小限制似乎对免费版和付费版都适用。* p7 w) j2 t! S
' W- g" S2 A8 k/ o1 n2 Q
它能在五分钟内处理我们的测试歌曲,但处理结果并不是我们所见过的同类产品中质量最高的。* t4 X) r% d, t8 q  g" H+ L! u
8 q4 n* U6 \$ \" s" _
链接:https://fadr.com/stems
4 {- G. n, h2 P; f" l' X( G' W' m
. y, [0 x7 m+ Y  J8 G- m! a7 ^' n
+ o( X: M9 O. o& G
8. Audacity 的 OpenVINO 插件9 f* F9 t/ ?) ]$ g0 V
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/OpenVINO-Plugins-for-.jpg - C* Q' ]9 B$ f( O

, S3 n9 Y: g$ x/ g3 _# o/ r如果你还没有使用 Audacity 作为你的音频编辑工具,那么你一定要考虑一下它。6 @( t1 q8 N# I# v( |7 y) n
3 n3 ~. h" {, R5 D0 |
如果你已经使用 Audacity,那么你可能还不知道它可以承载通过英特尔 OpenVINO AI 工具包设计的人工智能音干分割器插件。
1 V2 r* p' b/ N: x" ?5 i% o% \' w1 e# m6 M: X
我们不知道他们是否利用其中一个开源模型构建了这一功能,但我们很想知道它的性能如何。8 o8 z: r5 ?' h: {# R" {7 _0 {9 x# O
2 e4 N9 I- M% z* F
由于这款产品仅限 PC 使用,我们在 Windows 笔记本电脑上进行了测试。安装不像大多数插件那样简单,但也不复杂。
' r5 \& m: w5 G1 `. d, m( d& [# c( r; [
使用 GitHub 页面上的说明进行设置后,插件就非常容易使用了。
) C9 o+ r1 Y! A  [只用了不到十分钟,插件就制作出了人声、低音、鼓声和 “其他 ”音轨,并自动将它们作为独立音轨放置在时间轴上。; d. |9 U/ w9 s& n# w- ^1 a
就我们的耳朵而言,它的质量还不错,但比不上 UVR5 或 Gaudio Studio。不过,如果你经常使用 Audacity 并喜欢它的工作流程,它可能是一个不错的选择。
) M1 ~! K4 Z8 W# R$ U# O7 k* m7 K+ G- C
链接:https://github.com/intel/openvino-plugins-ai-audacity5 C3 s( P/ Y$ h, ]
0 F8 U' ~) j/ }
0 v7 G2 E1 H4 i2 x
AI 词干分离器和人声移除器的历史实际上比你想象的要长。
. \" q2 w" P( L' V
* I- M: z- ?  s1 d4 E; i因此,你可以在自己已经拥有的音乐软件中找到音干分离功能。
5 Y+ C3 Z) b$ J  s! x4 C! B' m, t4 _9 E  M$ L
iZotope RX 有 “音乐再平衡 ”功能,FL Studio 的制作人版及以上版本也有词干分离功能。
! m: v. j0 T9 Y7 H" F  o2 V6 y6 s& q$ \. _1 M/ z
这也成为 Serato DJ、rekordbox 和 VirtualDJ 等 DJ 软件的一项功能。
/ z. P& P6 W, [
# z- }( c$ d: D& c+ n  G4 C
0 s' n" a- M/ R! K3 a# ]5 |6 _
欢迎厂家入驻,推文!免费!微信:yinpinyingyong
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

音频应用搜索

小黑屋|手机版|音频应用官网微博|音频招标|音频应用 (鄂ICP备16002437号)

Powered by Audio app

快速回复 返回顶部 返回列表