音频视频基础知识

xjc1973

音频

一、声音的三个要素：

1、音调：音频
2、音量：声音震动的浮动
3、音色：本质是谐波

人类听觉范围：

20HZ --- 20KHZ 之间

二、音频的量化和编码：

下图就可以清除的看出，就是将模拟信号转化为数字信号存储

采样大小：一个采样用多少bit保存，一般为16个比特
采样率：采样的频率
声道数：单声道、双声道和多声道
PCM音频流的码率：采样大小采样率声道数
三、音频压缩

1、消除冗余数据，人类可以听到的频率

2、哈夫曼无损编码


四、音频编解码器

常见的音频编码器有：OPUS、AAC、Vorbis、Speex、iLBC、AMR、G.711等
性能：OPUS>AAC>Vorbis

AAC介绍

目的：为了取代MP3格式，MP3格式是有损压缩
MPEG-4标准出现后，AAC加入了SBR技术和PS技术
目前常用的规格有AAC LC、AAC HE V1、AAC HE V2
AAC LC：低复杂度，码流128K
AAC HE V1：AAC LC + SBR技术（高低频率单独编码，减少低频采样率，高频增加采样率）
AAC HE V2：AAC HE V1 + PS（只存一个声道的完整声音，另一个声道的差异声音）
AAC规格：


AAC格式：

ADIF：
这种格式只能从头开始解码，常用于磁盘文件中
ADTS：
这种格式每一帧都有一个同步字，可以在音频流的任何位置开始解码，它类似数据流格式
AAC的常见编解码库：Libfdk_AAC 、ffmpeg AAC 、libfaac

视频：

一、基本概念

H246：

I帧：关键帧，采用帧内压缩技术
P帧：向前参考帧，压缩时只参考前一个帧，属于帧间压缩技术
B帧：双向参考帧，压缩时参考前一个帧和后一个帧，属于帧间压缩技术
GOF：

GOF
SPS和PPS：


视频花屏、卡顿原因：

如果GOP分组中的P帧丢失会造成解码端的图像发生错误
为了避免花屏的问题出现，一般如果发现P帧或者I帧丢失，就不显示本次GOP内的所有帧，直到下一个I帧来后重新刷新图像
视频编码器：

x264/x265(占用的CPU比较高，一般点播可以用)
openH264（性能低于x264，但支持SVC）
vp8/vp9
H264压缩技术：


二、H264宏块划分和分组

1、宏块（Macro Block）：一个编码图像首先要划分成多个块（4x4 像素）才能进行处理，显然宏块应该是整数个块组成，通常宏块大小为16x16个像素。宏块分为I、P、B宏块，I宏块只能利用当前片中已解码的像素作为参考进行帧内预测；P宏块可以利用前面已解码的图像作为参考图像进行帧内预测；B宏块则是利用前后向的参考图形进行帧内预测；
2、帧分组：将变化很小的有规律的一组帧分为一组，利用算法可以推算出其它的
压缩技术：

帧内压缩是生成I帧的算法（空间上的压缩）
帧间压缩是生成B帧和P帧的算法（时间上的压缩）。
DCT压缩 数学压缩
VLC压缩，类似哈夫曼编码
H264结构：

结构图：


H264编码分层：

NAL 视频数据网络抽象层
VCL 视频数据编码层
码流

基本概念：

SODB： 原始数据比特流，长度不一定是8的倍数，处理起来比较麻烦，它是由VCL层产生的
RBSP： 在SODB基础上，在SODB最后一位补1，不按字节对齐则补零
EBSP： 插入起始位
NALU： EBSP+一字节的头
H264码流分层图
NAL单元

Header格式：一个字节大小，如下图所示



F位 必须为0
NRI 暂无意义
Type 指定了NALU单元的类型，如5位IDR图像的片
NAL类型：

单一类型 一个RTP包只包含一个NALU
组合类型 一个RTP包包含多NALU单元，类型是24 — 27
分片类型 一个NALU单元分成多个RTP包，类型是28和29
YUV:图像的存储格式

它是电视系统使用的一种颜色编码方法

Y ： 表示明亮度，同灰阶值，它是基础信号，黑白电视使用
U和V：表示的是色彩，UV的作用描述影像色彩以及饱和度，他们用于指定像素的颜色
目前用的多的是YUV 4:2:0格式，第一行是4:2:0，下一行为4:0:2，以此交替更换

jialin

收藏，点赞学习了 啊