Ö±²¥²úÆ·µÄÖÖÀࣺ
·ºÓéÀÖ»¯Ö±²¥£º
»¨½·£¬Ó³¿ÍµÈÓéÀÖÖ±²¥£¬ ¶·Ó㣬ÐÜ裬yy µÈÓÎÏ·Ö±²¥
ʵʱ»¥¶¯Ö±²¥
ÒôÊÓÆµ»áÒ飬½ÌÓýÖ±²¥µÈ£¬ Ïñ˼¿Æ£¬È«Ê±£¬ÉùÍø
Ö±²¥¼Ü¹¹£º todo
³£ÓõŤ¾ß: ffmpeg , ffplay, flashplayer,
´î½¨Á÷ýÌå·þÎñ£º
×¼±¸Á÷ýÌå·þÎñÆ÷£¨Linux »ò Mac)
±àÒë²¢°²×°Nginx ·þÎñ
ÅäÖÃRTMP ·þÎñ²¢Æô¶¯ Nginx ·þÎñ
ÉùÒôÈýÒªËØ
Òôµ÷£º ¾ÍÊÇÒôƵ£¬ ÄÐÉú > Å®Éú > ¶ùͯ
ÒôÁ¿£º Õñ¶¯µÄ·ù¶È
ÒôÉ«£º ËüÓë²ÄÖÊÓкܴó¹ØÏµ£¬ ±¾ÖÊÊÇг²¨
ÒôÁ¿ÓëÒôµ÷
ͼ£ºv-9-ÉùÒôÈýÒªËØ
ÒôÉ«£¨ÒôÆ·£© £º v-10-ÉùÒôÈýÒªËØ
ÈËÀàµÄÌý¾õ·¶Î§£º 20Hz ¡ª 20kHz
ÈËÀàµÄ·¢Éù·¶Î§£º 85Hz ¡ª¡ª 1100 Hz
Ìý¾õ/·¢Éù·¶Î§£º v-12-ÉùÒôÈýÒªËØ
ÒôƵÁ¿»¯¹ý³Ì£º
Ä£ÄâÊý¾Ý ¡ª¡· ²ÉÑù ¡ª¡µ Á¿»¯ ¡ª¡· ±àÂë ¡ª¡µ Êý×ÖÐźÅ
Á¿»¯»ù±¾¸ÅÄ
²ÉÑù´óС£º Ò»¸ö²ÉÑùÓöàÉÙbit ´æ·Å¡£³£ÓõÄÊÇ 16bit
²ÉÑùÂÊ£º ²ÉÑùƵÂÊ 8k, 16k, 32k, 44.1k , 48k
ÉùµÀÊý£º µ¥ÉùµÀ£¬ Ë«ÉùµÀ£¬ ¶àÉùµÀ
ÒôƵÁ¿»¯¹ý³Ì£º v-13-ÒôƵÁ¿»¯
ÂëÂʼÆË㣺
Òª¼ÆËãÒ»¸öPCMÒôƵÁ÷µÄ ÂëÂÊ ¹«Ê½È磺 ²ÉÑùÂÊ x ²ÉÑù´óС x ÉùµÀÊý
ÀýÈ磺 ²ÉÑùÂÊΪ44.KHz, ²ÉÑù´óСΪ 16bit, Ë«ÉùµÀµÄPCM ±àÂëµÄWAV Îļþ£¿
ËüµÄÂëÂÊΪ 44.1K x 16 x 2 = 1411.2 kb/s
ÒôƵѹËõ¼¼Êõ£º
Ä¿µÄ/ÊÖ¶ÎÊÇ£ºÏû³ýÈßÓàÊý¾Ý£»
ÈßÓàÊý¾Ý°üÀ¨£º È˶úÌý¾õ·¶Î§ÍâµÄÒôƵÐźţ¬ÒÔ¼°±»ÑڱεôµÄÒôƵ Ðźš£
ÐźŵÄÑڱηÖΪ£º ƵÓòÑڱΠºÍ ʱÓòÑÚ±Î
·½·¨£º ¹þ·òÂüÎÞËð±àÂë
ƵÓòÑÚ±ÎЧӦ£º v-18-ÒôƵѹËõ
ʱÓòÑÚ±ÎЧӦ£º v-19-ÒôƵѹËõ
ÒôƵ±àÂë¹ý³Ì£º
v-20-ÒôƵѹËõ
³£¼ûµÄÒôƵ±àÂëÆ÷
³£¼ûµÄÒôƵ±àÂëÆ÷ °üÀ¨ OPUS, AAC, Vorbis, Speex, iLBC, AMR, G.711 µÈ¡£
ÍøÉÏÆÀ²â½á¹û£º OPUS > AAC > Vorbis
ÒôƵ±àÂëÆ÷ÐÔÄܶԱȣº
v-22-ÒôƵ±àÂëÆ÷
AAC½éÉÜ£º
AAC( Advanced Audio Coding) Ä¿µÄÊÇÈ¡´úMP3 ¸ñʽ£»
Ŀǰ³£ÓõĹæ¸ñÓУº
AAC LC £¨Low Complexity)
AAC HE V1 ( AAC + SBR ¼¼Êõ£©
AAC HE V2( AAC + SBR¼¼Êõ + PS¼¼Êõ£©
SBR (Spectral Band Replication)
PS( Parametric Stereo)
AAC ¸ñʽ ÓÐÄÄЩ£¿
ADIF ( Audio Data Interchange Format ) //ÕâÖÖ¸ñʽֻÄÜ´ÓÍ·¿ªÊ¼½âÂ룬³£ÓÃÔÚ´ÅÅÌÎļþÖС£
ADTS(Audio Data Transport Stream) //ÕâÖÖ¸ñʽÿһ֡¶¼ÓÐÒ»¸öͬ²½×Ö£¬¿ÉÒÔÔÚÒôƵÁ÷µÄÈκÎλÖÿªÊ¼½âÂ룬ËüÀàËÆÊý¾ÝÁ÷¸ñʽ
AAC ±àÂë¿âÄǸöºÃ£¿
Libfdk_AAC > ffmpeg AAC > libfaac > libvo_aacenc
H264 »ù±¾¸ÅÄî
I Ö¡£º ¹Ø¼üÖ¡£¬ ²ÉÓÃÖ¡ÄÚѹËõ¼¼Êõ¡£
P Ö¡ £º Ïòǰ²Î¿¼Ö¡£¬ ѹËõʱֻ²Î¿¼Ç°Ò»¸öÖ¡£¬ ÊôÓÚÖ¡¼äѹËõ¼¼Êõ¡£
B Ö¡ £º Ë«Ïò²Î¿¼Ö¡£¬Ñ¹Ëõʱ¼È²Î¿¼Ç°Ò»Ö¡£¬Ò²²Î¿¼ºóÒ»Ö¡£¬Ö¡¼äѹËõ¼¼Êõ¡£
GOF : Ò»×éÖ¡µÄ ½á¹¹ Èçͼ£ºv-29-ÊÓÆµ
SPS Óë PPS
SPS Sequence Parameter Set , ÐòÁвÎÊý¼¯ £» ´æ·ÅÖ¡Êý£¬²Î¿¼Ö¡ÊýÄ¿£¬ ½âÂëͼÏñ³ß´ç£¬ Ö¡³¡±àÂëģʽѡÔñ±êʶµÈ¡£
PPS Picture Parameter Set, ͼÏñ²ÎÊý¼¯£» ´æ·ÅìØ±àÂëģʽѡÔñ±êʶ£¬ Ƭ×éÊý×飬³õʼÁ¿»¯²ÎÊý£¬È¥·½¿éÂ˲¨ÏµÊýµ÷Õû±êʶµÈ¡£
ÊÓÆµ»¨ÆÁ/¿¨¶Ù ÔÒò
Èç¹û GOP·Ö×éÖеÄP Ö¡ ¶ªÊ§»áÔì³É½âÂë¶ËµÄͼÏñ·¢Éú´íÎó¡£
ΪÁ˱ÜÃ⻨ÆÁÎÊÌâµÄ·¢Éú£¬Ò»°ãÈç¹û·¢ÏÖPÖ¡ »òÕßIÖ¡ ¶ªÊ§£¬¾Í²»ÏÔʾ±¾ GOPÄÚµÄËùÓÐÖ¡£¬ Ö±µ½ÏÂÒ»¸ö I Ö¡À´ºóÖØÐÂË¢ÐÂͼÏñ¡£
ÊÓÆµ¶¼ÓÐÄÄЩÊÓÆµ±àÂëÆ÷£¿
x264/x265
openH264
vp8/vp9
H264ѹËõ¼¼Êõ
Ö¡ÄÚÔ¤²âѹËõ£¬½â¾öµÄÊÇ ¿ÕÓòÊý¾ÝÈßÓà ÎÊÌâ
Ö¡¼äÔ¤²âѹËõ£¬ ½â¾öµÄÊÇ Ê±ÓòÊý¾Ý ÈßÓàÎÊÌâ
ÕûÊýÀëÉ¢ÓàÏұ任£¨DCT)£»
CABACѹËõ¡£
Ô˶¯Ê¸Á¿ Óë²¹³¥Ñ¹Ëõ£» Motion Vector + Residual Picture
Ô¤²âģʽÓë²Ð²îֵѹËõ£º
Prediction Mode Info + Residual Picture
ͼ£º v-40-ÊÓÆµ
ͼ £º v-41-ÊÓÆµ
DCT ѹËõ£º
ͼ£º v-42-ÊÓÆµ
ͼ£º v-43-ÊÓÆµ
VLCѹËõ£¬ ºÍ CABAC ѹËõ
H264½á¹¹Í¼£º
v-45-h264
H264±àÂë·Ö²ã£º
NAL²ã£º
Network Abstraction Layer, ÊÓÆµÊý¾ÝÍøÂç³éÏó²ã
VCL ²ã:
Video Coding Layer, ÊÓÆµÊý¾Ý±àÂë²ã¡£
ÂëÁ÷»ù±¾¸ÅÄ
SODB £¨String Of Data Bits£»£© ÔʼÊý¾Ý±ÈÌØÁ÷£¬³¤¶È²»Ò»¶¨ÊÇ 8µÄ±¶Êý£¬ËüÊÇÓÉVCL²ã²úÉúµÄ¡£
RBSP ( Raw Byte Sequence Payload, SODB + trailing bits) Ëã·¨ÊÇÔÚSODB×îºóһλ²¹1, ²»°´×Ö½Ú¶ÔÆëÔò²¹0
EBSP ( Encapsulate Byte Sequence Payload); ÐèÒªÁ½¸öÁ¬ÐøµÄ0x00 ¾ÍÔö¼ÓÒ»¸ö0x03
NALU : NAL Header + EBSP
NAL Unit (¼ò³Æ NALU):
°üÀ¨£º NALUÍ·²¿ + Ò»¸öÇÐÆ¬
ÇÐÆ¬ °üÀ¨ ÇÐÆ¬Í·£¨slice header) + ÇÐÆ¬Êý¾Ý(slice data)
ÇÐÆ¬Êý¾ÝÓÉ ºÜ¶à MacroBlock £¨ºê¿é£© ×é³É £»
MB (MacroBlock£© ÓÉ mb_type; mb_pred; coded residual ×é³É
һ֡ͼƬ ʹÓà H. 264±àÂëÆ÷±àÂë £¬¿ÉÄÜ¿ÉÒÔÓжàÕÅÇÐÆ¬ ·Ö³öÀ´¡£
H264ÂëÁ÷·Ö²ã ͼ
NAL Header £¨NALU Í·²¿£©
F£º 0 // ÔÚ H.264¹æ·¶Öй涨ÁËÕâһλ±ØÐëΪ0
NRI : // Õ¼2룬 Ö¸Ê¾ÖØÒªÐÔ£¬ÔÝÎÞÓá£
Type : //Õ¼5룬Õâ¸öNALU µ¥ÔªµÄÀàÐÍ¡£
5 //I Ö¡£¬IDR ͼÏñµÄƬ
7 // ÐòÁвÎÊý¼¯
8 // ͼÏñ²ÎÊý¼¯
24 // STAP-A µ¥Ò»Ê±¼äµÄ×éºÏ°ü
25 //STAP-B µ¥Ò»Ê±¼äµÄ×éºÏ°ü
26 //MTAP16 ¶à¸öʱ¼äµÄ×éºÏ°ü
27 //MTAP24 ¶à¸öʱ¼äµÄ×éºÏ°ü
28 //FU-A ; ·ÖƬµÄµ¥Ôª
29 // FU-B ; ·ÖƬµÄµ¥Ôª
NAL ÀàÐͽéÉÜ
µ¥Ò»ÀàÐÍ //Ò»¸öRTP°ü Ö»°üº¬ Ò»¸ö NALU
×éºÏÀàÐÍ //Ò»¸öRTP°ü °üº¬¶à¸öNALU, ÀàÐÍÊÇ24-27
·ÖƬÀàÐÍ //Ò»¸öNALU µ¥Ôª·Ö³É¶à¸öRTP°ü£¬ÀàÐÍÊÇ 28ºÍ 29
µ¥Ò»NALUµÄRTP°ü
ͼ£ºv-57-nal
×éºÏNALUµÄRTP°ü
ͼ£ºv-58-nal
·ÖƬNALU µÄ RTP°ü
ͼ£º v-59-nal
FU Header £¨Õ¼Ò»¸ö×Ö½Ú£©
S // start bit, ÓÃÓÚÖ¸Ã÷·ÖƬµÄ¿ªÊ¼
E // end bit, ÓÃÓÚÖ¸Ã÷·ÖƬµÄ½áÊø
R //0 ; δʹÓÃ
Type //Ö¸Ã÷ NAL ÀàÐÍ
YUV
YUV Ò²³ÆÎª YCbCr : ÊǵçÊÓϵͳËù²ÉÓõÄÒ»ÖÖÑÕÉ«±àÂë·½·¨
Y ±íʾÃ÷ÁÁ¶È/ »Ò½×Öµ£¬ ËüÊÇ»ù´¡Ðźš£
U ºÍ V ±íʾµÄÔòÊÇ É«¶È £¬UVµÄ×÷Óà ÊÇÃèÊö Ó°ÏñÉ«²Ê¼°±¥ºÍ¶È£¬ËûÃÇÓÃÓÚÖ¸¶¨ÏñËØµÄÑÕÉ«¡£
YUV ³£¼û¸ñʽ£º
YUV4:2:0 (YCbCr 4:2:0)
YUV4:2:2 ( YCbCr 4:2:2)
YUV4:4:4 ( YCbCr 4:4:4)
YUV4:2:0
²¢²»Òâζ×ÅÖ»ÓÐ Y, Cb Á½¸ö·ÖÁ¿£¬Ã»ÓÐCr·ÖÁ¿¡£ Ëüʵ¼ÊÉÏÖ¸µÄÊÇ ¶ÔÿÐÐɨÃèÏßÀ´Ëµ£¬Ö»ÓÐÒ»ÖÖÉ«¶È·ÖÁ¿£¬ËüÒÔ2:1 µÄ³éÑùÂÊ´æ´¢
ÏàÁÚµÄɨÃèÐд洢²»Í¬µÄÉ«¶È·ÖÁ¿£¬Ò²¾ÍÊÇ˵£¬Èç¹ûÒ»ÐÐÊÇ 4:2:0£¬ ÏÂÒ»ÐоÍÊÇ4:0:2£¬ ÔÙÏÂÒ»ÐÐÊÇ4:2:0 ¡£¡£¡£ÒÔ´ËÀàÍÆ¡£
YUV´æ´¢¸ñʽ
planar(Æ½Ãæ£©
I420 : YYYYYYYY UU VV => YUV420P
YV12 : YYYYYYYY VV UU => YUV420P
Packed(´ò°ü£©
NV12 : YYYYYYYY UVUV => YUV420SP
NV21 : YYYYYYYY VUVU => YUV420SP
³ÆÎª×¨ÒµµÄÒôƵ¹¤³Ìʦ»¹ÒªÑ§Ï°É¶£¿
Òô/ÊÓÆµ²É¼¯£» Òô/ÊÓÆµÓ²¼þ ±à/½âÂ룻 FFMPEG;
ÊÓÆµäÖȾÓë OpenGL ; x264 ÓÅ»¯£» ½»²æ±àÒëÓëÓÅ»¯£»
WebRTC;
ÐÐҵʹµã£¿
ÊÓÆµÃ뿪£» »ØÒôÏû³ý£» ÒôƵ½µÔ룻 ÊÓÆµ³öÏÖ»¨ÆÁ/¿¨¶Ù/Â̱ߣ» ÊÖ»ú·¢ÌÌ£» ÒôÊÓÆµÍ¬²½£» |