¿ªÆô×ó²à

ÒôÊÓÆµÈëÃÅ/ÒôÊÓÆµ»ù´¡

344978209

2009-5-10 00:21:41

תÌû
Ö±²¥²úÆ·µÄÖÖÀࣺ

·ºÓéÀÖ»¯Ö±²¥£º

       »¨½·£¬Ó³¿ÍµÈÓéÀÖÖ±²¥£¬ ¶·Ó㣬ÐÜ裬yy µÈÓÎÏ·Ö±²¥

ʵʱ»¥¶¯Ö±²¥

ÒôÊÓÆµ»áÒ飬½ÌÓýÖ±²¥µÈ£¬ Ïñ˼¿Æ£¬È«Ê±£¬ÉùÍø

Ö±²¥¼Ü¹¹£º todo

³£ÓõŤ¾ß: ffmpeg , ffplay, flashplayer,  

´î½¨Á÷ýÌå·þÎñ£º

×¼±¸Á÷ýÌå·þÎñÆ÷£¨Linux »ò Mac)

±àÒë²¢°²×°Nginx ·þÎñ

ÅäÖÃRTMP ·þÎñ²¢Æô¶¯ Nginx ·þÎñ

 

ÉùÒôÈýÒªËØ

Òôµ÷£º ¾ÍÊÇÒôƵ£¬ ÄÐÉú  >  Å®Éú  >  ¶ùͯ

ÒôÁ¿£º Õñ¶¯µÄ·ù¶È

ÒôÉ«£º ËüÓë²ÄÖÊÓкܴó¹ØÏµ£¬ ±¾ÖÊÊÇг²¨

ÒôÁ¿ÓëÒôµ÷


ͼ£ºv-9-ÉùÒôÈýÒªËØ
20190221184719337.jpg




 

ÒôÉ«£¨ÒôÆ·£© £º v-10-ÉùÒôÈýÒªËØ

20190221185226212.jpg

 



 

ÈËÀàµÄÌý¾õ·¶Î§£º 20Hz ¡ª    20kHz

ÈËÀàµÄ·¢Éù·¶Î§£º 85Hz ¡ª¡ª  1100 Hz

 

Ìý¾õ/·¢Éù·¶Î§£º v-12-ÉùÒôÈýÒªËØ

20190221185350390.jpg

ÒôƵÁ¿»¯¹ý³Ì£º

Ä£ÄâÊý¾Ý  ¡ª¡·  ²ÉÑù ¡ª¡µ Á¿»¯ ¡ª¡·  ±àÂë ¡ª¡µ Êý×ÖÐźÅ

 

Á¿»¯»ù±¾¸ÅÄ

²ÉÑù´óС£º Ò»¸ö²ÉÑùÓöàÉÙbit ´æ·Å¡£³£ÓõÄÊÇ 16bit

²ÉÑùÂÊ£º    ²ÉÑùƵÂÊ 8k, 16k, 32k, 44.1k   , 48k

ÉùµÀÊý£º   µ¥ÉùµÀ£¬ Ë«ÉùµÀ£¬ ¶àÉùµÀ

 

ÒôƵÁ¿»¯¹ý³Ì£º v-13-ÒôƵÁ¿»¯

2019022118555038.jpg



 

 

ÂëÂʼÆË㣺

Òª¼ÆËãÒ»¸öPCMÒôƵÁ÷µÄ ÂëÂÊ  ¹«Ê½È磺 ²ÉÑùÂÊ x ²ÉÑù´óС  x ÉùµÀÊý

ÀýÈ磺 ²ÉÑùÂÊΪ44.KHz,  ²ÉÑù´óСΪ 16bit, Ë«ÉùµÀµÄPCM ±àÂëµÄWAV Îļþ£¿ 

ËüµÄÂëÂÊΪ 44.1K x 16 x 2 = 1411.2 kb/s

ÒôƵѹËõ¼¼Êõ£º

Ä¿µÄ/ÊÖ¶ÎÊÇ£ºÏû³ýÈßÓàÊý¾Ý£»

ÈßÓàÊý¾Ý°üÀ¨£º È˶úÌý¾õ·¶Î§ÍâµÄÒôƵÐźţ¬ÒÔ¼°±»ÑڱεôµÄÒôƵ Ðźš£

ÐźŵÄÑڱηÖΪ£º ƵÓòÑڱΠ ºÍ ʱÓòÑÚ±Î

·½·¨£º ¹þ·òÂüÎÞËð±àÂë

ƵÓòÑÚ±ÎЧӦ£º v-18-ÒôƵѹËõ

2019022120201683.jpg

ʱÓòÑÚ±ÎЧӦ£º v-19-ÒôƵѹËõ

20190221202038550.jpg


ÒôƵ±àÂë¹ý³Ì£º

v-20-ÒôƵѹËõ

20190221202217510.jpg


 

³£¼ûµÄÒôƵ±àÂëÆ÷

³£¼ûµÄÒôƵ±àÂëÆ÷ °üÀ¨ OPUS,   AAC,  Vorbis, Speex,  iLBC,  AMR, G.711 µÈ¡£

ÍøÉÏÆÀ²â½á¹û£º     OPUS   >  AAC   >  Vorbis

ÒôƵ±àÂëÆ÷ÐÔÄܶԱȣº

v-22-ÒôƵ±àÂëÆ÷
20190221202340622.jpg


AAC½éÉÜ£º

AAC( Advanced Audio Coding) Ä¿µÄÊÇÈ¡´úMP3 ¸ñʽ£»

 

Ŀǰ³£ÓõĹæ¸ñÓУº  

AAC  LC  £¨Low  Complexity) 

AAC   HE  V1  ( AAC  +  SBR ¼¼Êõ£©

AAC   HE  V2( AAC + SBR¼¼Êõ +  PS¼¼Êõ£©

 

SBR (Spectral Band Replication)

PS( Parametric Stereo)

 

AAC ¸ñʽ ÓÐÄÄЩ£¿

ADIF ( Audio Data Interchange Format )   //ÕâÖÖ¸ñʽֻÄÜ´ÓÍ·¿ªÊ¼½âÂ룬³£ÓÃÔÚ´ÅÅÌÎļþÖС£

ADTS(Audio Data Transport Stream)        //ÕâÖÖ¸ñʽÿһ֡¶¼ÓÐÒ»¸öͬ²½×Ö£¬¿ÉÒÔÔÚÒôƵÁ÷µÄÈκÎλÖÿªÊ¼½âÂ룬ËüÀàËÆÊý¾ÝÁ÷¸ñʽ

 

AAC ±àÂë¿âÄǸöºÃ£¿

 

Libfdk_AAC  > ffmpeg AAC  > libfaac > libvo_aacenc

 

H264 »ù±¾¸ÅÄî

I Ö¡£º  ¹Ø¼üÖ¡£¬ ²ÉÓÃÖ¡ÄÚѹËõ¼¼Êõ¡£

P Ö¡ £º  Ïòǰ²Î¿¼Ö¡£¬ ѹËõʱֻ²Î¿¼Ç°Ò»¸öÖ¡£¬ ÊôÓÚÖ¡¼äѹËõ¼¼Êõ¡£

B Ö¡ £º Ë«Ïò²Î¿¼Ö¡£¬Ñ¹Ëõʱ¼È²Î¿¼Ç°Ò»Ö¡£¬Ò²²Î¿¼ºóÒ»Ö¡£¬Ö¡¼äѹËõ¼¼Êõ¡£

GOF  : Ò»×éÖ¡µÄ ½á¹¹ Èçͼ£ºv-29-ÊÓÆµ

20190221203033249.jpg
SPS  Óë PPS

SPS   Sequence Parameter Set , ÐòÁвÎÊý¼¯ £» ´æ·ÅÖ¡Êý£¬²Î¿¼Ö¡ÊýÄ¿£¬ ½âÂëͼÏñ³ß´ç£¬ Ö¡³¡±àÂëģʽѡÔñ±êʶµÈ¡£

PPS   Picture Parameter Set, ͼÏñ²ÎÊý¼¯£» ´æ·ÅìØ±àÂëģʽѡÔñ±êʶ£¬ Ƭ×éÊý×飬³õʼÁ¿»¯²ÎÊý£¬È¥·½¿éÂ˲¨ÏµÊýµ÷Õû±êʶµÈ¡£

 

ÊÓÆµ»¨ÆÁ/¿¨¶Ù Ô­Òò

Èç¹û GOP·Ö×éÖеÄP Ö¡ ¶ªÊ§»áÔì³É½âÂë¶ËµÄͼÏñ·¢Éú´íÎó¡£

ΪÁ˱ÜÃ⻨ÆÁÎÊÌâµÄ·¢Éú£¬Ò»°ãÈç¹û·¢ÏÖPÖ¡ »òÕßIÖ¡ ¶ªÊ§£¬¾Í²»ÏÔʾ±¾ GOPÄÚµÄËùÓÐÖ¡£¬ Ö±µ½ÏÂÒ»¸ö I Ö¡À´ºóÖØÐÂË¢ÐÂͼÏñ¡£

 

ÊÓÆµ¶¼ÓÐÄÄЩÊÓÆµ±àÂëÆ÷£¿

x264/x265

openH264

vp8/vp9

 

H264ѹËõ¼¼Êõ

Ö¡ÄÚÔ¤²âѹËõ£¬½â¾öµÄÊÇ ¿ÕÓòÊý¾ÝÈßÓà ÎÊÌâ 

Ö¡¼äÔ¤²âѹËõ£¬ ½â¾öµÄÊÇ  ʱÓòÊý¾Ý ÈßÓàÎÊÌâ

ÕûÊýÀëÉ¢ÓàÏұ任£¨DCT)£»

CABACѹËõ¡£

Ô˶¯Ê¸Á¿ Óë²¹³¥Ñ¹Ëõ£»  Motion Vector  + Residual Picture

 

Ô¤²âģʽÓë²Ð²îֵѹËõ£º

Prediction  Mode  Info  + Residual  Picture

ͼ£º v-40-ÊÓÆµ
20190221203450179.jpg


ͼ £º v-41-ÊÓÆµ
20190221203513715.jpg

 



DCT ѹËõ£º

ͼ£º v-42-ÊÓÆµ
20190221203640379.jpg

ͼ£º v-43-ÊÓÆµ
20190221203658357.jpg


VLCѹËõ£¬ ºÍ CABAC ѹËõ

 

H264½á¹¹Í¼£º

v-45-h264
20190221204041924.jpg



 

H264±àÂë·Ö²ã£º

NAL²ã£º

Network Abstraction Layer, ÊÓÆµÊý¾ÝÍøÂç³éÏó²ã

VCL ²ã:

Video Coding  Layer, ÊÓÆµÊý¾Ý±àÂë²ã¡£

ÂëÁ÷»ù±¾¸ÅÄ

SODB  £¨String Of  Data  Bits£»£© ԭʼÊý¾Ý±ÈÌØÁ÷£¬³¤¶È²»Ò»¶¨ÊÇ 8µÄ±¶Êý£¬ËüÊÇÓÉVCL²ã²úÉúµÄ¡£

RBSP ( Raw Byte Sequence Payload, SODB + trailing bits)  Ëã·¨ÊÇÔÚSODB×îºóһλ²¹1, ²»°´×Ö½Ú¶ÔÆëÔò²¹0

EBSP ( Encapsulate  Byte  Sequence Payload);  ÐèÒªÁ½¸öÁ¬ÐøµÄ0x00  ¾ÍÔö¼ÓÒ»¸ö0x03

NALU   :  NAL  Header   + EBSP

 

NAL Unit  (¼ò³Æ NALU): 

°üÀ¨£º NALUÍ·²¿  + Ò»¸öÇÐÆ¬

ÇÐÆ¬ °üÀ¨  ÇÐÆ¬Í·£¨slice header) + ÇÐÆ¬Êý¾Ý(slice data)

ÇÐÆ¬Êý¾ÝÓÉ ºÜ¶à MacroBlock £¨ºê¿é£© ×é³É £»

MB (MacroBlock£© ÓÉ mb_type;  mb_pred;  coded residual  ×é³É

һ֡ͼƬ ʹÓà H. 264±àÂëÆ÷±àÂë £¬¿ÉÄÜ¿ÉÒÔÓжàÕÅÇÐÆ¬ ·Ö³öÀ´¡£

H264ÂëÁ÷·Ö²ã  ͼ 



NAL Header £¨NALU Í·²¿£©

F£º  0  // ÔÚ H.264¹æ·¶Öй涨ÁËÕâһλ±ØÐëΪ0

NRI :  // Õ¼2룬 Ö¸Ê¾ÖØÒªÐÔ£¬ÔÝÎÞÓá£

Type :   //Õ¼5룬Õâ¸öNALU µ¥ÔªµÄÀàÐÍ¡£ 

5   //I Ö¡£¬IDR ͼÏñµÄƬ

7  //   ÐòÁвÎÊý¼¯

8  //   ͼÏñ²ÎÊý¼¯

 

24   // STAP-A   µ¥Ò»Ê±¼äµÄ×éºÏ°ü

25   //STAP-B µ¥Ò»Ê±¼äµÄ×éºÏ°ü

26 //MTAP16   ¶à¸öʱ¼äµÄ×éºÏ°ü

27 //MTAP24   ¶à¸öʱ¼äµÄ×éºÏ°ü

 

28   //FU-A    ; ·ÖƬµÄµ¥Ôª

29   // FU-B   ; ·ÖƬµÄµ¥Ôª

NAL ÀàÐͽéÉÜ

µ¥Ò»ÀàÐÍ   //Ò»¸öRTP°ü  Ö»°üº¬  Ò»¸ö  NALU

×éºÏÀàÐÍ   //Ò»¸öRTP°ü   °üº¬¶à¸öNALU,   ÀàÐÍÊÇ24-27

·ÖƬÀàÐÍ   //Ò»¸öNALU µ¥Ôª·Ö³É¶à¸öRTP°ü£¬ÀàÐÍÊÇ 28ºÍ 29

 

µ¥Ò»NALUµÄRTP°ü

ͼ£ºv-57-nal

20190221205712307.jpg



×éºÏNALUµÄRTP°ü

ͼ£ºv-58-nal

20190221210137740.jpg



·ÖƬNALU µÄ  RTP°ü

ͼ£º v-59-nal
20190221210154500.jpg



FU Header  £¨Õ¼Ò»¸ö×Ö½Ú£©

S   // start bit, ÓÃÓÚÖ¸Ã÷·ÖƬµÄ¿ªÊ¼

E   // end bit, ÓÃÓÚÖ¸Ã÷·ÖƬµÄ½áÊø

R   //0   ; δʹÓÃ

Type    //Ö¸Ã÷  NAL ÀàÐÍ

  20190221210213358.jpg

YUV

YUV  Ò²³ÆÎª  YCbCr :  ÊǵçÊÓϵͳËù²ÉÓõÄÒ»ÖÖÑÕÉ«±àÂë·½·¨

Y ±íʾÃ÷ÁÁ¶È/  »Ò½×Öµ£¬ ËüÊÇ»ù´¡Ðźš£

U ºÍ V ±íʾµÄÔòÊÇ É«¶È £¬UVµÄ×÷Óà ÊÇÃèÊö Ó°ÏñÉ«²Ê¼°±¥ºÍ¶È£¬ËûÃÇÓÃÓÚÖ¸¶¨ÏñËØµÄÑÕÉ«¡£

 

YUV ³£¼û¸ñʽ£º

YUV4:2:0 (YCbCr  4:2:0)

YUV4:2:2 ( YCbCr  4:2:2)

YUV4:4:4 ( YCbCr  4:4:4)

 

YUV4:2:0

²¢²»Òâζ×ÅÖ»ÓР Y, Cb Á½¸ö·ÖÁ¿£¬Ã»ÓÐCr·ÖÁ¿¡£ Ëüʵ¼ÊÉÏÖ¸µÄÊÇ ¶ÔÿÐÐɨÃèÏßÀ´Ëµ£¬Ö»ÓÐÒ»ÖÖÉ«¶È·ÖÁ¿£¬ËüÒÔ2:1 µÄ³éÑùÂÊ´æ´¢

ÏàÁÚµÄɨÃèÐд洢²»Í¬µÄÉ«¶È·ÖÁ¿£¬Ò²¾ÍÊÇ˵£¬Èç¹ûÒ»ÐÐÊÇ 4:2:0£¬ ÏÂÒ»ÐоÍÊÇ4:0:2£¬ ÔÙÏÂÒ»ÐÐÊÇ4:2:0  ¡£¡£¡£ÒÔ´ËÀàÍÆ¡£

 

YUV´æ´¢¸ñʽ

planar(Æ½Ãæ£©

I420  :  YYYYYYYY  UU  VV  => YUV420P

YV12 :  YYYYYYYY  VV   UU => YUV420P

 

Packed(´ò°ü£©

NV12 :  YYYYYYYY   UVUV  => YUV420SP

NV21 :  YYYYYYYY   VUVU  => YUV420SP

³ÆÎª×¨ÒµµÄÒôƵ¹¤³Ìʦ»¹ÒªÑ§Ï°É¶£¿

Òô/ÊÓÆµ²É¼¯£»  Òô/ÊÓÆµÓ²¼þ ±à/½âÂ룻  FFMPEG;

ÊÓÆµäÖȾÓë OpenGL  ;   x264 ÓÅ»¯£»  ½»²æ±àÒëÓëÓÅ»¯£»

WebRTC;  

ÐÐҵʹµã£¿

ÊÓÆµÃ뿪£»  »ØÒôÏû³ý£»  ÒôƵ½µÔ룻 ÊÓÆµ³öÏÖ»¨ÆÁ/¿¨¶Ù/Â̱ߣ»  ÊÖ»ú·¢ÌÌ£»  ÒôÊÓÆµÍ¬²½£»
ÊÕ²Ø
ËÍÔÞ
·ÖÏí

·¢±í»Ø¸´

µÇ¼ºó²ÅÄÜÆÀÂÛ

ÒôƵ·ÖÀà´óÈ«

+ ²é¿´È«²¿·ÖÀà