音频应用

 找回密码
 快速注册

QQ登录

只需一步,快速开始

查看: 15592|回复: 0
收起左侧

[后期] 9 款最佳的免费 AI 词干分割器和人声去除器

[复制链接]

694

积分

0

听众

13

音贝

音频应用新手发布

Rank: 3

积分
694
发表于 2024-5-7 18:22:15 | 显示全部楼层 |阅读模式

$ t; Q7 x- a5 N- ^/ b
- g6 V  t: H& i8 X: D+ H( A9 qAI 主干分离器(或词干分离器)是一种软件工具,可以将完全混合的歌曲文件拆分为每个乐器层的单独声音文件。这些层称为茎。人声去除器专门用于隔离人声,而其他主干分离器可以分离成更多主干,例如贝司、鼓和“其他乐器”。
8 [  k6 X$ X* x9 ^# i7 v  S  H _url=https://blog-api.landr.com/wp-content/uploads/2024/04/The-X-Best-AI-Stem-Sp.jpg
4 k: q8 M3 p: s( `主干分离器最常见的用途是创建混音、混搭、DJ 编辑和卡拉 OK 乐器。" I% H. a" I7 f7 d* M1 Y
' h- E" X+ D6 v* z8 V9 ~& n) G
这些工具使用机器学习算法,这些算法经过训练可以识别特定声音的频率素材并自动隔离它们(因此称为“AI”)。8 C9 g7 h# p! D8 d% B# q1 w  D- {5 c
) F! v5 e7 Z, t, l( o
_url=https://blog-api.landr.com/wp-content/uploads/2020/01/How-to-Remix-a-Song_f.jpg ( |# V3 _# `! M" _6 s
许多人工智能词干分离器和声音去除器使用相同的开源算法,这些算法被封装在不同的包装器中。; [$ ]) P1 \0 b3 s; P6 C# O* o+ F
, ^# Q* j0 H0 \, S6 u5 Z% O
两种主要的开源词干分割算法是 Spleeter(由Deezer 的音频研究团队开发)和 Demucs(由Meta 位于巴黎的 AI 研究实验室开发)。
5 |- ^4 t7 F' ]+ \4 I
6 ]) o* |9 w/ L! [- S我们比较了多个选项,即使它们使用相同的算法,因为可用性和功能存在差异。& d9 T# H: e' B6 n3 Q  \; Z* u/ x' X
_url=https://blog.landr.com/_next/image/?url=https%3A%2F%2Fblog-api.landr.com%2F.jpg
' q4 _5 u9 x/ ~. k
, ~8 U# e  m: r; j! B0 J- B; Z, c
  X0 `9 k. Q% [1 B1. Ultimate Vocal Remover 5 人声取出插件% N9 e( L2 h$ D* Z: w: `% v% R

  N9 C0 ]( j4 J _url=https://blog-api.landr.com/wp-content/uploads/2024/04/Ultimate-Vocal-Remove.jpg % f+ D7 J" Y4 a/ _6 ?& V
对于那些密切关注音频分离技术的人来说,UVR5 是一款不可或缺的人工智能音干分离器和人声去除器,而且完全免费。# J! q0 G- p4 n1 t) x- ^' |
2 }: J$ g* V$ R5 l5 Y
你不仅可以选择不同的算法,甚至还可以使用 “合奏 ”模式,同时使用多种算法,让每种算法都能为你带来特定乐器的优势。) ^* e( }) o; h0 [7 V6 U$ a$ F+ h6 D

  o% @+ C- N3 T% E) g我们将它设置为 Demucs v4 模式,用了大约 6 分钟就把一首 6 分钟的歌曲分成了 4 个音轨(人声、贝斯、鼓和 “其他”)。2 ?/ Z, }) k0 ?" n

: Y/ z+ @$ y* F. c虽然我们没有对每种算法和每个音乐层都进行测试,但总体结果质量很高。你的结果可能会有所不同,这取决于你的使用情况和设置。' T' j! l3 ~' \& {: R! ^5 z
- m8 I6 t, t/ L% C  l: t
我们还让它为我们的测试歌曲提供了一个乐器版本,具体做法就是去掉人声。
- t% v- S3 c+ q. j  H3 u# R, p8 C; f& K- D/ _. K
有些人一开始可能会觉得参数有点吓人,但其实很容易学会,尤其是有了这样一份指南。
& J, u# `$ l: V+ n6 z* q  N
' T7 c2 t& U0 W/ _/ q% A8 B作为一款应用软件,它的整体可用性非常出色,我们认为对于任何想要进行人声去除或乐器分离的人来说,它都是不二之选。# D2 E/ |/ L- c+ E6 n
. X, N  T+ ~* g
链接:https://ultimatevocalremover.com/
  g" J+ q7 Y4 o& R; @1 _' B: X. I2 }  }5 C* y
2. Gaudio Studio( K6 @9 l$ d7 f
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/Gaudio-Studiointext-1.webp.jpg . M5 P8 o6 [- \  Q3 o1 E
市面上有很多基于浏览器的人工智能音干分离器和人声去除器。8 L/ c1 E/ A2 K% x- N+ f

4 \" T2 I9 k) Y8 a这些软件可能会在其专用处理器上运行你的分离效果,而不是在你电脑上的本地处理器上运行,这有时可能意味着更好的效果。
! `$ H, u" ~, J6 M) B# Y; G5 i+ O2 a0 m/ k0 Y
其中很多都不是免费的,但 Gaudio Studio 是个明显的例外。你只需用谷歌账户登录即可。- L1 y( W: H7 {" b; R

  R% Z9 j3 Q  z2 i6 Y% z. a登录后,上传要分割的歌曲、选择要分离的乐器层并将歌曲提交到队列中就非常简单了。) U. a2 W7 B& o4 Z( o- f1 L

& Y" m5 v: f' ~! k大约花了五分钟,Gaudio Studio 就把我们六分钟的测试歌曲分成了人声、低音、鼓和 “其他 ”主干。# `" h* i2 b8 X) Q% B! k2 W
8 T. w/ O3 }3 F5 F5 Q5 Z" [9 a6 i
音质相当出色,即使与我们的 UVR5 测试相比,音源的清晰度也非常高。
1 ?; L  X7 a$ z+ G( x+ Z7 ?7 [4 z3 V
" o; J9 B# M7 B! E; D截至 2024 年 4 月,它目前还处于测试阶段,5 月份将升级到新版本。该网站没有解释此次升级的内容,因此我们希望这并不意味着他们计划在短期内将其货币化。
  \* r, b; r; h链接:https://studio.gaudiolab.io/* Y, W, S( U' T- p" p
, u- G! B* m6 Q1 c5 J1 z9 V
3. MVSEP
- o6 z: D4 r! Y% n- Y _url=https://blog-api.landr.com/wp-content/uploads/2024/04/MVSEPintext.webp.jpg
! l" `6 t- l/ {4 w& a
1 A. M9 _/ n, H: n, C7 Q1 O如果你要使用音干分音器进行采样,最好储备一些专业的高质量材料。LANDR Samples 拥有出色的人声、低音、鼓声和乐器音色库,可供探索。
2 A/ o- K& O( F5 ^- r
. C. c1 T4 ?( o- X: Q2 H9 _9 ]$ A2 W' [  p: I
这款词干分割器有点像 UVR5,但它是基于浏览器的,而不是独立的。
9 U& `5 U8 p8 H/ v9 X( a- C* x7 t2 y+ \! Y0 i# I, u
它允许你选择多种不同的型号、质量级别和输出格式。$ E* E5 N$ `/ u
# ~9 G) m" I6 n, {
不过,你能使用的设置数量和其他优势取决于你选择的服务层级。" ~6 P, ^3 j5 U6 f+ [+ v# F" t
1 X# ]) O/ d3 S$ e1 u0 w
我们注册了一个免费账户进行测试,并将六分钟的测试歌曲分为人声、低音、鼓和 “其他 ”主干。! m; H+ K" |9 M% Z

: c. h* W2 e0 a# C5 d. Q我们使用 Demucs v4 模型来查看与 UVR5 的质量是否有差异。我们用了大约五分钟,听起来质量没有明显差别。  Y7 B) V9 \" \7 l+ g1 |4 N

2 |3 s. b7 G) o* T' v我们不确定在 UVR5 免费的情况下付费购买 MVSEP 是否有优势,但你可以自己进行比较来确定。
7 N7 J# A0 y9 U' i% |' K- I- k$ E& D1 ^
事实上,MVSEP 网站的主要优势可能在于其文档和资源,而非工具本身。
/ s1 O  B) D3 y
$ c: ]: w  e) F, |你可以在他们的网站上找到不同音频分离算法的质量评级比较表,以及不同分离类型的庞大测试结果数据库。! {; C* J5 i8 S5 o, |4 @
  q1 V3 l- ]( s! q0 r
链接:https://studio.gaudiolab.io/
4 S5 ?6 T  h! }
$ n" M+ z  z6 O4. StemRoller2 O" |; d6 A3 {& H: f. o) Y2 |3 e
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/StemRollerintext.webp.jpg 3 f* u7 ]) ^5 {$ u
StemRoller 是另一款使用 Demucs v4 制作的免费 AI 音干分割器和人声去除器。' F8 l+ v0 g' q

& t0 {, M$ Z% M& X% w它可在电脑上独立运行,但与 UVR5 不同的是,它不允许你使用不同的算法或其他设置。相比之下,它的功能设置要少得多。
2 C* ^+ K8 r6 T$ L  s+ N: o% h& T- B( q% n6 ]! z: y' |
不过,如果你因为要在太多配置中做出选择而感到茫然,这款软件或许值得一试。
4 Q6 ]9 ^! t/ @) ^2 [0 i) d
7 V/ s- @8 W! g+ x* I你只需将文件拖入窗口,它就会立即开始处理。$ \- `6 G% M* g" {' _1 l0 F4 X9 M  W/ Z0 a
0 [; `( R& `7 O( V. ]4 I2 T
结果与在 UVR5 中运行 Demucs v4 的质量基本相同。, y1 h. Q( G; m/ H4 i1 y* x8 |

! ?4 S5 j' B1 K7 o9 _/ [, z4 o& g# a/ V除了常见的四个主干外,它还自动为我们提供了一个完整的器乐音轨,没有任何人声痕迹,听起来非常棒。
+ ]  b) `9 W) g0 y8 H; e+ A0 B+ u, y# {3 w0 S4 x$ }0 r" X
开发者警告说,它可能需要大量的处理能力,并需要长达 15 分钟的时间来生成结果,但在我们的 M2 MacBook Air 上只用了几分钟。
' j( y; V3 D4 M1 O2 r& }$ g4 {% P$ t: \# G. _: z0 {. k! N

5 H' L$ g" l+ d6 T1 T- k链接:https://mvsep.com/en
1 s/ o8 J) i" k9 D) p1 N7 U( |$ U' T% e; y- c& k- X
' @6 e2 Q5 v3 W2 {4 |5 C2 [3 @' d

: A/ z0 q4 L# s) Y- J7 M, |5. Spleeter for Max( |% d. N0 J9 |/ b5 ~5 A/ i* A
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/Spleeter-for-Maxintext.webp.jpg 7 O& w% [7 F; O1 O+ L8 [, z( H! E

+ Y. {4 F( ~# V! s6 c; ]! N如果在 Live 中运行基于 Spleeter 或 Demucs 的音干分割器,它不会产生实时效果。它仍需要时间将源音频片段处理成干,这些干将以排列视图显示在时间线上。1 \9 b% a3 T5 ]# v
5 U7 i! o6 B- O( E3 |, \

  S6 r8 z% x! H2 J  n6 N2 c我们有一个好消息要告诉各位 Max for Live 用户--有好心人制作了一款基于 Spleeter 的设备,你可以在 Ableton Live 中将其用作人工智能音茎分离器。0 g: M5 A! |/ i) N3 e4 @) }/ ]5 i

1 c$ N6 r5 u8 T7 \1 ^0 m不过,对于不熟悉命令行安装的人来说,设置过程可能比较麻烦。你需要遵循几个步骤,在 macOS 上使用终端,在 Windows 上使用 CMD。
" N( H0 W( x- e1 s1 {! G$ F6 y6 I6 b/ \/ U4 @. [% G$ k. S: J
另一个问题是,由于 Spleeter 算法无法在 M1/M2/M3 Mac 上本地运行,因此这款设备也无法运行。
1 r9 P( K' x& e& K6 e; q
! W4 i% u# R- N) j尽管如此,我们还是在配备英特尔处理器的老款 MacBook Pro 上进行了测试。我们发现它很容易使用,甚至比我们测试过的基于 Demucs 的分音器更快地传送音茎。
6 h2 K2 V6 z; Y3 G0 T" r% C7 r1 w' Y5 H
我们发现,它的质量不如 UVR5 或 Gaudio 好,但直接在 Ableton Live 中使用的便利性对某些用户来说可能是值得的。
8 K8 F5 r9 _6 }, ~1 P2 F8 `* N0 s( @5 d! T
因此,如果你不介意安装步骤,又有一台兼容的机器,这可能是一个方便的选择。
6 J# G4 R, o- e6 [, b3 Z# [0 S) Y0 i. I- ]9 E, F
另外,如果你愿意花上 20 美元,也可以购买这款使用 Demucs v4 制作的 Max for Live 音干分割器。
7 t' \# Q. w) C& o  p$ \: h+ i
8 U# g4 s, i1 k链接:https://www.maxforlive.com/library/device/5956/spleeter-for-max
, a) K" a* v' [6 _: N5 [; L) d; T" T6 m
6. Vocal Remover人声移除器' x7 r/ ]7 @6 F" a( ?! F4 @. q
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/Vocal-Removerintext.webp.jpg * u6 C4 i0 ]0 ?

0 c0 I' ?7 J' S! N  M. E使用它是免费的,网站似乎也没有明确列出任何限制。9 \- v; K, t1 d0 K9 t

# l6 V2 Z) \+ W' F, \$ q然而,当我们试图进行多次测试或尝试完整的声干分离服务时,却被告知要么稍后再试,要么订阅开发者的 Patreon。2 S! y" {0 g: e  b9 `# X

6 u6 m- a( q2 h* p4 H1 B由此我们推测,除非你选择付费订阅,否则免费版的 Vocal Remover 在两次使用之间会有一段不明确的等待时间。2 q, y) f( o( N1 W6 r" i& E- Q
2 n0 O. `2 t5 E2 B
我们的人声移除测试很快,只花了几分钟就完成了人声和乐器的移除。
: ]. q8 i1 y- ^4 k! o! C! o# I9 |1 z# c  ?7 l7 r
但我们发现,与 UVR5 和 Gaudio Studio 相比,人声音轨与乐器之间有大量渗漏。9 a/ O0 J9 ~) e$ F: \
: M) J9 R. X/ l
链接:https://vocalremover.org/
; G* F5 \. x$ y/ M
' E# [3 a' Z' f0 T/ V8 h. H7.Fadr Stems9 y; a$ G1 Z# N% R9 f* X9 e
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/Fadrintext.webp.jpg
- Z0 {- T; N- H# _! w, y" {该网站提供人工智能词干分割器和自动混音工具。5 C6 ?% S$ {2 n5 E
; I; k+ K1 _, k2 Z4 L  ^: }- ?3 g4 [  G8 }
注册账户并选择免费计划后,Fadr 会将歌曲分成四个音干,并允许你以 MP3 格式下载。
' m4 u$ j$ E, Z  w2 Y4 n
4 t+ W" ^* t" {& p! s* n$ G如果你想将歌曲分解成四个以上的主干,下载 WAV 格式的歌曲,并使用其他功能,你就必须切换到付费订阅选项。
7 B2 @& m7 E# e( g9 j, @免费版并不限制每月可分割的歌曲数量,而且 200MB 的文件大小限制似乎对免费版和付费版都适用。
7 N! a. w! t2 l3 c& J) @- n% n0 u' _
它能在五分钟内处理我们的测试歌曲,但处理结果并不是我们所见过的同类产品中质量最高的。. X, u( w$ T# ^% H
. d1 X% `( m- Q
链接:https://fadr.com/stems
7 v4 ^$ E  C8 Z- m: ?7 L" I' z# W3 h  C! F
( `. s5 ]( S- M& `: t# G

$ w3 i( z7 j8 X' E& J# k8. Audacity 的 OpenVINO 插件/ `0 G2 b# m' X& _' x0 c+ d
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/OpenVINO-Plugins-for-.jpg
! L7 f6 c5 D& u( n0 Y/ a% w0 c$ i7 O
" Y- p3 t" m) P$ L' B5 [如果你还没有使用 Audacity 作为你的音频编辑工具,那么你一定要考虑一下它。
0 |, N+ ], f# N" a6 E
. \( ?% S. U2 w" U# H3 x& f4 A如果你已经使用 Audacity,那么你可能还不知道它可以承载通过英特尔 OpenVINO AI 工具包设计的人工智能音干分割器插件。
+ V5 @- c5 e& Q( T/ z: w9 t0 d: l1 l5 {8 n5 i
我们不知道他们是否利用其中一个开源模型构建了这一功能,但我们很想知道它的性能如何。/ W, e& P, [+ Z. G# \3 `

. M+ I5 T8 ~( ^8 \由于这款产品仅限 PC 使用,我们在 Windows 笔记本电脑上进行了测试。安装不像大多数插件那样简单,但也不复杂。1 n* g: v& C# {4 d  R' x9 s

/ e& p' h) g6 X4 W" ~# @" s1 m9 F使用 GitHub 页面上的说明进行设置后,插件就非常容易使用了。
. L% `- Z4 M8 _; f4 B+ t$ a3 ]只用了不到十分钟,插件就制作出了人声、低音、鼓声和 “其他 ”音轨,并自动将它们作为独立音轨放置在时间轴上。1 }! X: c! s2 w2 P3 G
就我们的耳朵而言,它的质量还不错,但比不上 UVR5 或 Gaudio Studio。不过,如果你经常使用 Audacity 并喜欢它的工作流程,它可能是一个不错的选择。. C4 j; l2 z! _* K9 ]

7 v: ^  x% z5 f2 X9 B0 r链接:https://github.com/intel/openvino-plugins-ai-audacity
; T) J0 w6 O1 c7 D* R
- z. P4 z9 C- `& m/ W0 W  H. x* Z% Z- I3 Y$ J
AI 词干分离器和人声移除器的历史实际上比你想象的要长。
* B+ ~1 y) T1 y. Y4 s# Z
6 W- n: s. U' M) F! c$ L因此,你可以在自己已经拥有的音乐软件中找到音干分离功能。; n' `) I9 j2 @6 G
9 t+ C) g) Q4 g. S8 v3 O
iZotope RX 有 “音乐再平衡 ”功能,FL Studio 的制作人版及以上版本也有词干分离功能。" J1 A! a: c. g! [

2 C( e, k0 A7 ~这也成为 Serato DJ、rekordbox 和 VirtualDJ 等 DJ 软件的一项功能。/ o: g" S' A& W/ u1 F4 ]

- O1 r: q4 y! z' y( W4 i' W0 G: |) h# X
欢迎厂家入驻,推文!免费!微信:yinpinyingyong
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

音频应用搜索

小黑屋|手机版|音频应用官网微博|音频应用 ( 鄂ICP备16002437号 )

GMT+8, 2025-6-9 17:32 , Processed in 0.051059 second(s), 8 queries , Redis On.

Powered by Audio app

快速回复 返回顶部 返回列表