第139章 神經網絡的曙光

  「當時我正在天慧一號邊上，突然烏拉一聲！我靠……知道飛機在你身邊起飛是什麼感覺麼？」

  見趙強師兄比手畫腳，還穿著鞋套，餘江就一個勁地直樂。

  「沒事沒事，炸不了。」

  「我知道炸不了，但你這動靜也太大了吧。」趙師兄瞥了一眼餘江導出來的監控，很是心疼：「你這滿載要飛多久？」

  「大概七八個小時吧。」

  「……」忍了幾忍，趙強最終還是嘆道：「雖然是你姐花的錢，你也悠著點吧……這才交付的新機器，看著心疼啊。」

  「嗯嗯，就這一次。」

  餘江把趙師兄送到門口，輕輕呼了口氣。

  也虧得自己有錢捐了一台，按照這種寶貝勁，就算是石院士全力支持他，超算中心也會不樂意的。

  回到電腦前坐下，餘江再次翻起了書。

  

  實驗室的研究生們陸續就位，沒一會，餘江把「天慧一號」算力占滿的消息便傳遍了實驗室。

  眾人也不好說什麼，只是暗暗搖頭。

  當&前@章#節$內%容^不&完*整！要~查!看-完_整|章;節)請(退&出%閱#讀|模*式！加載中...　　這時餘江又不好意思地道：「現在所有層的權重都要參與鏈式求導和梯度更新，計算密度大了點，所以超算動靜就有點大。」

  石院士沉默許久，輕輕嗯了一聲。

  「神經網絡本來就是吃資源的，而且不同參數的結果差異太大，根本沒有規律可言，你這就只跑三天，時間夠嗎？」

  餘江回頭，只見老太太是真誠地在問，心中微微一暖，輕聲道：「是這樣的，石老師，我翻了之前的好多論文，自己又琢磨了好久，覺得超參數其實還是有規律的。」

  所謂參數沒規律，這正是神經網絡被詬病不可解釋的原因之一。

  「石老師，譬如這個dbn模型，學習率0.1不是隨便選的——低於0.05在這個網絡結構下幾乎不收斂，高於0.2很容易發散，這個區間對於784維到500維的映射是相對穩定的。」

  「weight_cost我設了0.0001，如果設成零，網絡會傾向於用少數強權重擬合數據；加一點懲罰，它會強迫網絡用更多弱權重來學習規律。其實這些參數，論文裡有人做過類似對比實驗，只是沒有總結成方法論。」

  聽餘江一口氣介紹完，石院士皺眉沉思了一會：「原理呢？」

  「先找到規律，再探求原理。」他輕輕呼氣：「石老師，我這邊用的是yann lecun實驗室提供的mnist原始數據集，不知道現在實驗室用這個數據集的錯誤率是多少？」

  「之前你師兄拿來練過手，差不多5%吧。」

  「嗯，那我加把勁，看能不能低於5%。」

  石院士便微微一笑，站起身來，輕輕拍了拍他的肩膀：「只要低於5%，就表示你的模型具備相當的意義。」

  當&前@章#節$內%容^不&完*整！要~查!看-完_整|章;節)請(退&出%閱#讀|模*式！加載中...　　「三層！三層！幾乎沒人能穩定跑完三層！」

  遲惠生教授也雙手握緊，在辦公室走來走去，眼神不斷閃爍：「能穩定跑三層，就能跑四層，五層……」

  石院士笑著搖了搖頭：「老遲，你別激動。」

  「不由得不激動啊！他的模型只要能重複，這就是神經網絡的巨大進步！巨大進步啊！」

  相比遲教授，吳璽宏要稍稍冷靜一點，他望著石院士：「石老師，他用的是楊立昆的數據集對吧，那準確率呢？」

  石院士搖頭：「沒跑完，還不知道。而且準確率受參數影響很大，他跟我說了超參數的規律，我雖然不是很認可，但只要按照這個規律能夠提高模型準確率，那規律就可用。」

  遲惠生重重拍手：「沒錯！主要還是解決梯度問題，超參數是可以慢慢調的，只要能復現，那就是神經網絡的曙光！」

  石院士緩緩點頭，隨即又望向機房的方向：「他這個復現……怕也是有點困難吶。」

  二人也回頭看了一眼機房。

  這超算已經滿載運行了四五個小時，光聽著風扇的聲音，超算中心那幫人就心疼不已。

  「就用普通伺服器跑嘛！就算跑一個月又如何？」

  ……

  當&前@章#節$內%容^不&完*整！要~查!看-完_整|章;節)請(退&出%閱#讀|模*式！加載中...　　屏幕上，對比結果迅速滾動。

  no.0611 true_label: 7 pred: 7 conf: 0.987 [ ok ]

  ……[ ok ]

  ……[ ok ]

  ……[ ok ]

  ——準確度: 98.750%

  ——錯誤率: 1.250%

  ——平均置信度: 0.963

  實驗室內，寂靜一片。