Ó¦ÓÃÉî¶ÈѧϰʹÓà Tensorflow ¶ÔÒôƵ½øÐзÖÀà
ÔÚÊÓ¾õºÍÓïÑÔÁìÓòµÄÉî¶Èѧϰ·½ÃæÈ¡µÃÁËºÜ¶à½øÕ¹£¬ÎÄÖÐÒ»²½²½ËµÃ÷µ±ÎÒÃÇ´¦ÀíÒôƵÊý¾Ýʱ£¬Ê¹ÓÃÁËÄÄЩÀàÐ͵ÄÄ£ÐͺÍÁ÷³Ì¡£
×î½üÔÚÊÓ¾õºÍÓïÑÔÁìÓòµÄÉî¶Èѧϰ·½ÃæÈ¡µÃÁËºÜ¶à½øÕ¹£¬ÄܺÜÖ±¹ÛµØÀí½âΪʲôCNNÔÚͼÏñÉϱíÏֵúܺã¬ÒòΪÏñËØµÄ¾Ö²¿Ïà¹Ø£¬ÒÔ¼°ÒòΪËü¾ßÓÐ˳ÐòÐÔ£¬ÏñRNN»òת»¯Æ÷ÕâÑùµÄ˳ÐòÄ£ÐÍÔÚÓïÑÔÉÏÒ²±íÏֵ÷dz£ºÃ¡£µ«ÒôÆµÄØ£¿µ±ÎÒÃÇ´¦ÀíÒôƵÊý¾Ýʱ£¬Ê¹ÓÃÁËÄÄЩÀàÐ͵ÄÄ£ÐͺÍÁ÷³Ì£¿
ÔÚ±¾ÎÄÖУ¬Ä㽫ѧϰÈçºÎ´¦ÀíÒ»¸ö¼òµ¥µÄÒôƵ·ÖÀàÎÊÌâ¡£Ä㽫ѧϰµ½Ò»Ð©³£Óõġ¢ÓÐЧµÄ·½·¨£¬ÒÔ¼°Tensorflow´úÂëÀ´ÊµÏÖ¡£
ÉùÃ÷:±¾Îĸø³öµÄ´úÂëÊÇ»ùÓÚÎÒΪ¡°Rainforest Connection Species Audio Detection¡±Kaggle±ÈÈü¿ª·¢µÄ¹¤×÷£¬µ«³öÓÚÑÝʾĿµÄ£¬ÎÒ½«Ê¹Óá°Speech Commands£¨ÓïÒôÖ¸Á¡±Êý¾Ý¼¯¡£
²¨ÐÎͼ
ÎÒÃÇͨ³£ÓÐ".wav "¸ñʽµÄÒôƵÎļþ£¬ËüÃÇͨ³£±»³ÆÎª waveforms£¨²¨ÐΣ©£¬ËüÊÇÒ»¸öʱ¼äÐòÁУ¬ÆäÖÐÓÐÿ¸öÌØ¶¨Ê±¼äµÄÐźÅÕñ·ù£¬Èç¹ûÎÒÃǽ«ÕâЩ²¨ÐÎÑù±¾Ö®Ò»¿ÉÊÓ»¯£¬»áµÃµ½ÏÂͼÕâÑù£º
Ö±¾õÉÏÈËÃÇ¿ÉÄܻῼÂÇʹÓÃijÖÖRNNÄ£ÐͶÔÕâЩÊý¾Ý½¨Ä£ÎªÒ»¸ö³£¹æÊ±¼äÐòÁÐ(ÀýÈç¹ÉƱ¼Û¸ñÔ¤²â)£¬ÊÂʵÉÏÕâ¿ÉÒÔ×öµ½£¬µ«ÓÉÓÚÎÒÃÇʹÓõÄÊÇÒôƵÐźţ¬¸üºÏÊʵÄÑ¡ÔñÊǽ«²¨ÐÎÑù±¾×ª»¯ÎªÉùÆ×ͼ¡£
ÉùÆ×ͼ
ÉùÆ×ͼÊDz¨ÐÎÐźŵÄͼÏñ±íʾ£¬ËüÏÔʾÁËÆäËæÊ±¼ä±ä»¯µÄƵÂÊÇ¿¶È·¶Î§£¬ËüÔÚÏëÆÀ¹ÀÐźÅËæÊ±¼ä±ä»¯µÄƵÂÊ·Ö²¼Ê±·Ç³£ÓÐÓá£ÏÂͼÊÇÉÏÎÄÖв¨ÐÎͼÏñµÄÉùÆ×ͼ±íʾ¡£
x ÖáÊDzÉÑùʱ¼ä£¬y ÖáÊÇÆµÂÊ
ÓïÒôÃüÁîÓÃÀý
ΪÁËʹ±¾½Ì³Ì¸ü¼òµ¥£¬ÎÒÃǽ«Ê¹Óá°Speech CommandsÓïÒôÃüÁÊý¾Ý¼¯£¬¸ÃÊý¾Ý¼¯ÓÐÒ»ÃëÖÓµÄÒôƵƬ¶Î£¬´øÓÐ "ÏÂ"¡¢"×ß"¡¢"×ó"¡¢"²»"¡¢"ÓÒ"¡¢"Í£"¡¢"ÉÏ "ºÍ "ÊÇ"µÈ¿ÚÓﻯµÄ´ÊÓï¡£
ʹÓÃTensorflow½øÐÐÒôƵ´¦Àí
ÏÖÔÚÎÒÃÇÒѾ֪µÀÁËÈçºÎʹÓÃÉî¶ÈѧϰģÐÍÀ´´¦ÀíÒôƵÊý¾Ý£¬¿ÉÒÔ¼ÌÐø¿´´úÂëʵÏÖ£¬ÎÒÃǵÄÁ÷Ë®Ïß½«×ñÑÏÂͼÃèÊöµÄ¼òµ¥¹¤×÷Á÷³Ì£º
¼òµ¥µÄÒôƵ´¦Àíͼ
ÖµµÃ×¢Òâ,ÔÚÎÒÃǵÄÓÃÀýµÄµÚ1²½,½«Êý¾ÝÖ±½Ó´Ó¡°. wav¡±ÎļþÖмÓÔØµÄ£¬µÚ3¸ö²½ÊÇ¿ÉÑ¡µÄ£¬ÒòΪÒôƵÎļþÿ¸öÖ»ÓÐÒ»ÃëÖÓ£¬ÒòΪÎļþ½Ï³¤²Ã¼ôÒôƵ¿ÉÄÜÊÇÒ»¸öºÃÖ÷Ò⣬ҲÊÇΪÁ˱£³ÖËùÓÐÑù±¾µÄ¹Ì¶¨³¤¶È¡£
¼ÓÔØÊý¾Ý
load_datasetvº¯Êý½«¸ºÔð¼ÓÔØ.wavÎļþ²¢½«Æäת»»ÎªTensorflowÊý¾Ý¼¯¡£
ÌáÈ¡²¨ÐκͱêÇ©
Ò»¸öÀý×Ó
Ê×ÏÈ£¬ÎÒÃǵõ½Ò»¸öÏñÕâÑùµÄÎļþ·¾¶£º
È»ºóÌáÈ¡µÚ¶þ¸ö"/"ºóÃæµÄÎı¾£¬ÔÚÕâÖÖÇé¿öÏ£¬±êÇ©ÊÇUP£¬×îºóʹÓÃcommandsÁбí¶Ô±êÇ©½øÐÐÒ»´Î±àÂë¡£
½«²¨ÐÎת»»ÎªÉùÆ×±í
ÏÂÒ»²½Êǽ«²¨ÐÎÎļþת»»ÎªÉùÆ×ͼ£¬ÐÒÔ˵ÄÊÇTensorflowÓÐÒ»¸öº¯Êý¿ÉÒÔ×öµ½ÕâÒ»µã£¬ tf.signal.stftÓ¦ÓöÌʱFourier±ä»»(STFT)½«ÒôƵת»»ÎªÊ±ÆµÓò£¬È»ºóÎÒÃÇÓ¦Óà tf.abs Ëã×ÓÈ¥³ýÐźÅÏàλ£¬Ö»±£Áô·ùÖµ¡£×¢Ò⣬tf.signal.stftº¯ÊýÓÐһЩ²ÎÊý£¬Èçframe_length ºÍframe_step£¬ËüÃÇ»áÓ°ÏìÉú³ÉµÄÉùÆ×ͼ£¬ÎÒ²»»áÏêϸ½éÉÜÈçºÎµ÷ÕûËüÃÇ£¬µ«Äã¿ÉÒԲο¼Õâ¸öÊÓÆµÀ´Á˽â¸ü¶à¡££¨:https://www.coursera.org/lecture/audio-signal-processing/stft-2-tjEQe£©
½«ÉùÆ×ͼת»¯ÎªRGBͼÏñ
×îºóÒ»²½Êǽ«ÉùÆ×ͼת»»ÎªRGBͼÏñ£¬ÕâÒ»²½ÊÇ¿ÉÑ¡µÄ£¬µ«ÕâÀïÎÒÃǽ«Ê¹ÓÃÔÚImageNetÊý¾Ý¼¯ÉÏԤѵÁ·µÄÄ£ÐÍ£¬¸ÃÄ£ÐÍÐèÒªÊäÈë3¸öͨµÀµÄͼÏñ¡£·ñÔò£¬ÄãÖ»¿ÉÒÔ±£ÁôÒ»¸öͨµÀµÄÉùÆ×ͼ¡£
½«ËùÓеĶ«Î÷½áºÏÆðÀ´
½«ËùÓж«Î÷¼¯ºÏÔÚÒ»Æð£¬ÓÐ get_dataset º¯Êý½«ÎļþÃû×÷ΪÊäÈ룬ÔÚÖ´ÐÐÁËÉÏÃæÃèÊöµÄËùÓв½Öèºó£¬·µ»ØÒ»¸ö´øÓÐRGB¹âÆ×ͼͼÏñ¼°Æä±êÇ©µÄTensorflowÊý¾Ý¼¯¡£
Ä£ÐÍ
ÎÒÃǵÄÄ£Ðͽ«ÓÐÒ»¸öEfficientNetB0Ö÷¸É£¬ÔÚÆä¶¥²¿Ìí¼ÓÁËÒ»¸öGlobalAveragePooling2D£¬È»ºóÊÇÒ»¸öDropout£¬×îºóÒ»¸öDense²ã½«½øÐÐʵ¼ÊµÄ¶àÀà·ÖÀà¡£
¶ÔÓÚÒ»¸öСµÄÊý¾Ý¼¯£¬EfficientNetB0¿ÉÄÜÊÇÒ»¸öºÜºÃµÄ»ùÏߣ¬¼´Ê¹ÊÇÒ»¸ö¿ìËÙ¶øÇáÇɵÄÄ£ÐÍ£¬ËüÒ²Óв»´íµÄ׼ȷÐÔ¡£
ѵÁ·
ѵÁ·´úÂë¶ÔÓÚKerasÄ£ÐÍÀ´ËµÊǷdz£±ê×¼µÄ£¬ËùÒÔÄã¿ÉÄܲ»»áÔÚÕâÀïÕÒµ½ÈκÎж«Î÷¡£
½áÂÛ
ÏÖÔÚÄãÓ¦¸Ã¶Ô½«Éî¶ÈѧϰӦÓÃÓÚÒôƵÎļþµÄ¹¤×÷Á÷³ÌÓÐÁ˸üÇå³þµÄÁ˽⣬ËäÈ»Õâ²»ÊÇÄãÄÜ×öµ½µÄΨһ·½·¨£¬µ«ËüÊǹØÓÚÒ×ÓÃÐÔºÍÐÔÄÜÖ®¼äµÄȨºâµÄ×î¼ÑÑ¡Ôñ¡£Èç¹ûÄã´òËã¶ÔÒôƵ½øÐн¨Ä££¬Äã¿ÉÄÜ»¹Òª¿¼ÂÇÆäËûÓÐǰ;µÄ·½·¨£¬Èç±äѹÆ÷¡£
×÷Ϊ¶îÍâµÄÔ¤´¦Àí²½Ö裬½Ø¶Ï»òÌî³ä²¨ÐοÉÄÜÊÇÒ»¸öºÃÖ÷Ò⣬Èç¹ûÄãµÄÑù±¾Óв»Í¬µÄ³¤¶È£¬»òÕßÈç¹ûÑù±¾Ì«³¤£¬Ö»ÐèÒªÆäÖеÄһС²¿·Ö£¬Äã¿ÉÒÔÔÚÏÂÃæµÄ²Î¿¼×ÊÁϲ¿·ÖÕÒµ½ÈçºÎ×öµÄ´úÂë¡£ |