音频编码功能

mashup

音频编码
" Y8 r: f" S( G2 i- w- h编码
    即压缩编码，其原理是压缩掉冗余的信号，冗余信号是指不能被人耳感知到的信号，包括人耳听觉范围之外的音频信号以及被掩蔽掉的音频信号。

9 C+ u( ]2 y4 M% e9 l* S2 |

% J. ?0 M. L7 l- b$ ]. r$ M2 a    模拟音频信号转换为数字信号需要经过采样和量化，
! E) |& j5 K. W( y
    量化的过程被称之为编码，根据不同的量化策略，产生了许多不同的编码方式，
) M1 F: A( U' S$ u
  X6 Z$ K$ r; [5 U$ l+ Y5 W; P# P/ Y    常见的编码方式有：PCM 和ADPCM，这些数据代表着无损的原始数字音频信号，添加一些文件头信息，就可以存储为WAV文件了，它是一种由微软和IBM联合开发的用于音频数字存储的标准，可以很容易地被解析和播放。
( A5 l" _+ I2 B) ^3 N8 v9 g  c

7 J2 o% n/ t3 x
" |5 {* t# ?5 _5 m/ L几个概念
在进一步了解音频处理和压缩之前需要明确如下几个概念：

6 V- ^' J) p- M2 a
# o% j$ @  P& r/ u
6 ]4 p& ^2 p  e/ o+ G' I8 A1）音调：泛指声音的频率信息，人耳的主观感受为声音的低沉（低音）或者尖锐（高音）。
4 X( S4 D6 u% S# g( B
2）响度：声音的强弱。
* v* r1 @; a0 q/ E
6 e% m5 O8 ]3 N# R* D" A+ Z3）采样率：声音信息在由模拟信号转化为数字信号过程中的精确程度，采样率越高，声音信息保留的越多。

4）采样精度：声音信息在由模拟信号转化为数字信号过程中，表示每一个采样点所需要的字节数，一般为16bit（双字节）表示一个采样点。

5）声道数：相关的几路声音数量，常见的如单声道、双声道、5.1声道。

1 P& Z( c' S/ _/ t1 p/ N6）音频帧长：音频处理或者压缩所操作的一段音频信息，常见的是10ms，20ms，30ms。
/ a( f- \6 T- {' W3 n* P
) y% E: z% U( G$ \2 S. U: E

junkies

音频编码功能

mashup

音频编码基本手段
编码基本手段(1)：量化和量化器
基本概念：
  x/ c* d( L8 [/ t
+ v5 O8 |1 n. ]" F3 w2 u( }+ \量化和量化器：量化是把离散时间上的连续信号，转化成离散时间上的离散信号。

! ]. N( c; ?  u8 _3 i: X6 L  V常见的量化器有：均匀量化器，对数量化器，非均匀量化器。
$ k( k' f* [* m  x' L7 i/ O
- n" R$ h+ t: b4 {% c, `量化过程追求的目标是：最小化量化误差，并尽量减低量化器的复杂度（这2者本身就是一个矛盾）。





常见的量化器的优缺点：

. e6 a* G- t: _% ]* s（a）均匀量化器：最简单，性能最差，仅适应于电话语音。
+ B* ~1 B- p) g
（b）对数量化器：比均匀量化器复杂，也容易实现，性能比均匀量化器好。
- g- ?) @9 N/ u- M; Z
5 i% T( j, D; c' t& ]（c）非均匀(Non-uniform)量化器：根据信号的分布情况，来设计量化器。信号密集的地方进行细致的量化，稀疏的地方进行粗略量化。
& c3 G3 ?5 ^! u! f7 U6 W1 x# q


/ f9 b# c" Q* L+ a) S. W
5 F0 |8 n4 @1 P, U- }$ m
编码基本手段(2)：语音编码器
6 Q2 `4 F& h. l+ S: p2 V8 e1基本概念
7 Q# M+ e& U" h7 K6 K+ g; E1 I/ T% T

语音编码器分为三种类形：（a）波形编器 、（b）声码器 、（c）混合编码器 。
" U2 J4 s; C& W. N) C9 |+ w  E$ l8 Q


) Y( U4 |7 @6 ~/ O% C- _# B( H波形编码器以构造出背景噪单在内的模拟波形为目标。作用于所有输入信号，因此会产生高质量的样值并且耗费较高的比特率。 而声码器 （vocoder）不会再生原始波形。这组编码器 会提取一组参数 ，这组参数被送到接收端，用来导出语音产生模形。声码器语音质量不够好。混合编码器，它融入了波形编码器和声器的长处。

4 ^0 N' {1 K7 K8 G  A$ t, t" G5 r( F
& S1 _. ~7 f- `& R' W2 A* t
2波形编码器
波形编码器的设计常独立于信号，所以适应于各种信号的编码而不限于语音。
8 t' s( c8 G% B2 O' Y- Q* L

5 _. y: [$ P2 z
时域编码：
a）PCM：pulse code modulation,是最简单的编码方式。仅仅是对信号的离散和量化，常采用对数量化。
/ @7 {: ~) J7 R0 m! x# H
b）DPCM：differential pulse code modulation，差分脉冲编码，只对样本之间的差异进行编码。前一个或多个样本用来预测当前样本值。用来做预测的样本越多，预测值越精确。真实值和预测值之间的差值叫残差，是编码的对象。

0 h. |+ m. B" K' g" Gimage.png
" Q: p4 s9 ~9 d4 G2 Y. W
2 W  ^- J8 G$ B" x2 pc）ADPCM：adaptive differential pulse code modulation，自适应差分脉冲编码。即在DPCM的基础上，根据信号的变化，适当调整量化器和预测器，使预测值更接近真实信号，残差更小，压缩效率更高。
: }+ f3 U( E+ }% W. p. I6 }& `


频域编码：
          频域编码是把信号分解成一系列不同频率的元素，并进行独立编码。
3 H+ h7 H' ]4 q" s, a
. s. J1 g# G+ Ya）sub-band coding：子带编码是最简单的频域编码技术。

* K0 G+ |) j* l/ ]" A8 w/ u是将原始信号由时间域转变为频率域，然后将其分割为若干个子频带，并对其分别进行数字编码的技术。

它是利用带通滤波器(BPF)组把原始信号分割为若干(例如m个)子频带(简称子带)。将各子带通过等效于单边带调幅的调制特性，将各子带搬移到零频率附近，分别经过BPF(共m个)之后，再以规定的速率(奈奎斯特速率)对各子带输出信号进行取样，并对取样数值进行通常的数字编码，其设置m路数字编码器。将各路数字编码信号送到多路复用器，最后输出子带编码数据流。对不同的子带可以根据人耳感知模型，采用不同量化方式以及对子带分配不同的比特数。
, m( T, Z, @7 B' h% Y' P, r; y3 _
+ _  [3 d) r! v5 \b）transform coding：DCT编码。
# F* o: F$ w$ [. I, w
; K* p2 {% g, q
: d- H8 x. z% v" k; A
) k' a1 Q% m' Q- U6 C7 u; Y3声码器
$ R7 ^/ J7 C8 R6 wchannel vocoder: 利用人耳对相位的不敏感。
4 D( K/ F7 p- \
homomorphic vocoder：能有效地处理合成信号。
/ f6 ^- _- H, @/ L/ e! @& r% L
$ B# \* t. ~5 d! Z# G9 oformant vocoder: 以用语音信号的绝大部分信息都位于共振峰的位置与带宽上。
6 L6 Y0 t9 E3 N8 I
linear predictive vocoder：最常用的声码器。
+ D$ M( r- \- ~

# o) y& ]& K' w3 h: ^) A
6 R1 F, ^4 S# R4混合编码器
$ g' y/ W" Y8 K    波形编码器试图保留被编码信号的波形，能以中等比特率（32kbps）提供高品质语音，但无法应用在低比特率场合。声码器试图产生在听觉上与被编码信号相似的信号，能以低比特率提供可以理解的语音，但是所形成的语音听起来不自然。

: |4 o. D. x# z

混合编码器结合了2者的优点：
: b& R. W$ F, A9 w+ \# P* @


' _9 ]% ]& j" sRELP: 在线性预测的基础上，对残差进行编码。
5 X5 T+ n2 I6 h9 H( E: Q
( V2 J/ {/ @6 `/ z9 \. U        机制为：只传输小部分残差，在接受端重构全部残差（把基带的残差进行拷贝）。

; F4 L3 A) H  r! k0 JMPC: multi-pulse coding,对残差去除相关性，
+ _  x+ t* e/ Y
        用于弥补声码器将声音简单分为voiced和unvoiced，而没有中间状态的缺陷。

CELP: codebook excited linear prediction，

% G6 z8 m1 ^9 V( A" w4 G7 c! f        用声道预测其和基音预测器的级联，更好逼近原始信号。

. f9 \- @$ y9 k/ `! ^MBE: multiband excitation，
( y$ ?2 v8 z* Y- q  J5 O( X
        多带激励，目的是避免CELP的大量运算，获得比声码器更高的质量。

mashup

常见的音频压缩格式
1.WAV编码：

WAV编码是在PCM数据格式的前面加上44字节，分别用来描述PCM的采样率、声道数、数据格式等信息。特点：音质非常好、大量软件都支持。使用场景：多媒体开发的中间文件、保存音乐和音效素材等。

image.png



2.MP3编码：
! E' q) H8 Y' t  h. m, J# I; C
    MP3具有不错的压缩比，使用LAME编码的中高码率的MP3文件，听感上非常接近源WAV文件。特点：音质在128Kbps以上表现还不错，压缩比比较高，兼容性好。使用场景：高比特率下对兼容性有要求的音乐欣赏。
' t- M: Q( s6 T


3.AAC编码：
4 n3 Y" C  m% B2 a
    AAC是新一代的音频有损压缩技术，它通过一些附加编码技术（如PS、SBR等），衍生出LC-AAC、HE-AAC、HE-AAC V2三中主要编码格式。特点：在小于128kbps码率下表现优异，且多用于视频中的音频编码。适用场景：128Kbps 码率下的音频编码，多用于视频中的音频轨的编码。
; f* O; q0 d! L5 k; X2 \) v- A6 f

# q, H* G! @' o. k. ?
& i% k. B, v% o5 W4.Ogg编码：

    Ogg编码音质好、完全免费。可以用更小的码率达到更好的音质，128Kbps的Ogg比192Kbps甚至更高的MP3还要出色。但是目前媒体软件支持上还是不够友好。特点：高中低码率下都有良好的表现，兼容性不够好，流媒体特性不支持。使用场景：语音聊天的音频消息场景。

3 Z  u7 p4 M6 @/ b8 C

$ n2 n, v8 A) D- f5.FLAC编码：

    FLAC中文可解释为无损音频压缩编码。FLAC是一套著名的自由音频压缩编码，其特点是无损压缩。不同于其他有损压缩编码如MP3及AAC，它不会破坏任何原有的音频信息，所以可以还原音乐光盘音质 。2012年以来它已被很多软件及硬件音频产品（如CD等）所支持。特点：无损压缩、压缩率高于普通文件夹压缩格式（ZIP、rar等）。使用场景：高品质音乐等。

mashup

音频压缩
本质：消除冗余数据
: u3 I* _7 e: b7 m
# I6 i" N# [  I3 {
0 k8 e# Z1 j1 E0 E6 O+ V6 J4 t
, w, f$ G/ W' z+ s9 X9 s3 ?第一：频谱掩蔽效应：
) N4 q/ G0 c6 p6 s7 ]/ s2 e; {
  S( |0 ]9 P: y4 ~( Q    人耳所能察觉的声音信号的频率范围为20Hz～20KHz，在这个频率范围以外的音频信号属于冗余信号。
3 M7 f- i7 h" `: ^2 a
4 q; W: T8 y3 Z* M# }* B" V6 b    人耳听觉范围外的音频信号： 20Hz～20KHz

- k& u/ j2 P' M2 [) k
去除人耳听觉频率范围临界附近的值
0 X0 d/ h4 N8 I# N. l* o* i  A
6 S9 k" l6 w" k* U7 t& o大声音附近如果有小的声音可以去除
) g* a! s; {; B) q* c/ q
; V! J& m4 _1 g& x4 L' X- T时域屏蔽效应
" R5 p( x! ~( k5 r( k* |8 m: `
高声附近50ms内如果声音比较小可以去掉

无损压缩
4 p3 L/ S6 ^6 H4 r: o

; J$ w' k: e; u5 j0 u# m9 A* u

第二：时域掩蔽效应：
  C) t8 `2 U% Y& e# O0 h
. J0 P# }( x2 S, v    当强音信号和弱音信号同时出现时，弱信号会听不到，因此，弱音信号也属于冗余信号。

mashup

常见的音频编码器

OPUS、AAC、Vorbis、Speex、iLBC、AMR、G.711等

• OPUS：
  目前性能最好、质量最高，但是由于时间短，暂时还没有普及，rtmp协议还不支持它。
• AAC：
  
  

     有损压缩算法，目的取缔mp3，压缩率很高、但还能接近原始的质量；

• MPEG-4标准出现后，加入了SBR技术和PS技术，目前常用规格有AAC LC、AAC HE V1、AAC HE V2；
• AAC LV：低复杂度，码流128k
• AAC HE V1：AAC+SBR 分频编码，低频（减少采样率）和高频（增加采样率）分开编码
• AAC HE V2：AAC+SBR+PS 由于声道间相同的性质很大，所以对于其它声道只要存储一些差异性的特征
• AAC格式:
  
  * Q8 R8 l4 ?9 f, L& R1 V# A

    ADIF-只能从头开始解码，常用于磁盘文件中；

    ADTS 每帧都有一个头信息，可以在音频流的任何位置解码，但是占用比较大。

    AAC编码库：

        Libfdk_AAC > ffmpeg AAC > libfaac > libvo_aacenc

guowe

数字音频输出pcm和raw是什么意思
  x% C/ D1 @- I" lPCM (Pulse Code Modulation) 是一种数字音频编码方式，它将音频信号进行采样和量化处理，将其转换为数字信号。PCM音频文件通常以WAV或AIFF格式存储。

& X1 N( S0 S" `8 N2 O- \( P' fRAW是一种音频格式，它没有进行任何压缩和编码处理，直接将音频信号存储为原始数据。RAW音频文件通常需要提供元数据，如采样率，量化位数等，才能进行解码播放。

mashup

谢谢老师的指点。。。。。。。。。。。。。