方教授的實驗室里堆著三台伺服器,全是二手貨,風扇轉起來跟拖拉機似的。
天天看小說超便捷,ᴛᴛᴋᴀ🅽.ᴛᴡ隨時看
課題是國家重點實驗室的子專案,手寫數字識別。
聽起來簡單,做起來要命。
方教授帶著蔣旭和另外兩個研究生搞了快兩個月,準確率卡在百分之八十七,怎麼調都上不去。
訓練一次要跑十四個小時,慢得人想砸機器。
那天下午,陸遠照常來實驗室。
方教授不在,去市里開會了。
蔣旭坐在螢幕前,眼睛熬得通紅。
他看見陸遠進來,指了指螢幕上的程式碼。
「陸哥,你幫我看看。這損失函式降到零點零三就下不去了。再練就過擬合。方老師試了三種最佳化器,沒用。」
陸遠拉過凳子坐下來。
他先把程式碼從上到下翻了一遍,又點開訓練日誌看了兩組資料,手指在桌面上敲了兩下。
「學習率怎麼設的。」
「零點零一。」
「固定的?」
「嗯。方老師說這個最穩。」
陸遠沒說話。
他把程式碼拉到最底下,看了幾行權重初始化的部分。
然後他站起來,走到白板前,拿起記號筆。
「你過來。」
蔣旭湊過去。
陸遠畫了個橫軸,標上疊代次數。
又畫了個縱軸,標上損失。
曲線先陡後平,最後幾乎不降了。
「學習率不是越小越好。剛開始要大,步子邁開,先找到大致方向。快到谷底了再調小,慢慢摸。」
他用筆在曲線中段畫了個點。
「你從這裡開始,每隔一千步,把學習率乘零點一。這叫衰減。」
蔣旭盯著白板:「就這麼簡單?」
「就這麼簡單。還有,」陸遠轉身回到電腦前,敲了幾行程式碼。他把原本逐樣本計算的梯度改成了一批一批算。
每次取六十四張圖,算平均梯度,再更新權重。
「批次訓練。別一張一張餵。記憶體扛得住的話,取一百二十八。」
蔣旭張了張嘴:「這也行?」
「行不行跑了再說。」
他們重新啟動訓練。
螢幕上,損失曲線開始往下走,比之前陡得多。
前一千步直接降到零點零二五。
蔣旭眼睛瞪大了。
「還沒完。」陸遠又敲了幾行。
他開啟資料載入模組,把輸入影象的畫素值從零到二五五歸一化到零到一之間。
「資料範圍先統一。不然梯度忽大忽小,學習率再對也沒用。」
第三處改完,他讓蔣旭重新跑了一遍完整訓練。
這一次,螢幕上跳出的數字讓蔣旭直接從凳子上彈了起來。
百分之九十四。
訓練時間從原來的十四小時縮短到不到五小時。
蔣旭盯著螢幕看了十幾秒,然後轉頭看陸遠。
陸遠已經把鍵盤推回原位,端起杯子喝了口茶。
「陸哥。」
「嗯。」
「這是你寫的?」
「隨便調了調。」
「隨便調了調?」蔣旭的聲音都變了調,「方老師帶著我們三個人搞了兩個月。你來了四十分鐘。」
「你們方法不對。力氣使在刀背上了。」
蔣旭坐回凳子上,臉色複雜。
他摘下眼鏡擦了擦,又戴上,盯著螢幕上的準確率數字看了很久。
「陸哥。」
「嗯。」
「你家裡給你留了腦子。我家裡只給我留了書。」
陸遠笑了:「書多好。書不咬人。」
蔣旭苦笑:「我讀了七年計算機,不如你修三個月主機板。」
「修主機板跟演算法一個道理。哪條線斷了,訊號就到不了終點。找出來,接上。就這麼簡單。」
蔣旭搖頭,說不出話。
方教授第二天回來,看到訓練日誌和新的準確率,在實驗室里站了很久。
他先問蔣旭,蔣旭說是陸遠調的。
方教授走到陸遠面前。
「你改了幾處。」
「三處。」
「哪三處。」
「學習率衰減。批次梯度。資料歸一化。」
方教授沉默了十幾秒。
他看陸遠的目光和第一次見面時完全不一樣了。
「陸遠,你這三處改動,我明天要寫進結題報告。」
「寫吧。又不是什麼新東西。」
方教授樂了:「你倒大方。」
半個月後,國家重點實驗室來人交流。
方教授把專案成果做了匯報,重點提了那三處改動。
台下的專家坐不住了,問了七八個技術問題。
方教授答了幾個,剩下的他推給蔣旭。
蔣旭又推給陸遠。
陸遠從最後一排站起來。
他穿得還是那件灰夾克,袖口磨了邊。方教授讓他上台講。
陸遠走上去,沒拿稿子。
他站在投影幕布前,把三處改動用最直白的話講了一遍。
學習率像下山,步子得先大後小。
批次像流水線,一箱一箱搬比一個一個搬快。
資料像尺子,長短不統一量什麼都是歪的。
三分鐘,他就講了三分鐘。
台下安靜了幾秒,然後一個老專家帶頭鼓掌。
掌聲不多,但很實。
陸遠鞠了個躬,下台回到最後一排。
蔣旭在旁邊戳他胳膊:「陸哥,你剛才那三分鐘,比我講三十分鐘都管用。」
交流會散場後,老專家私下找到方教授。
「老方,那個修電器的,不簡單。」
方教授點頭:「我知道。」
「你該送他出去讀。這種腦子,擱維修鋪里可惜了。」
方教授沉默了一會兒:「他連本科文憑都沒有。英語也一般。」
「那也得試試。有些人是老天爺硬往你門上送的。你別把門關死了。」
方教授沒接話。
他掏出煙盒,抖了一根出來,沒點,夾在指間轉了兩圈。
老專家拍了拍他肩膀:「你那個課題,他出了多少力。」
「核心的改動全是他調的。」
「那你還等什麼。結題之後立刻辦。別拖。這種人你留不住太久。你不給他路,他自己也會找出路。」
方教授終於把那根煙點上了。
他吸了一口,吐出來的煙被走廊里的穿堂風扯成一條細線。
「我試試。他這人怪。不願意掛名,不願意露臉。我上周說給他申請個臨時工補助,他連表都沒填。」
老專家笑了:「有本事的人都有脾氣。你當年不也這樣。」
方教授哼了一聲:「我當年可沒他這麼犟。」
他回頭看了一眼。
陸遠正幫蔣旭收拾投影儀的線。
他動作利落,把線繞成整齊的一圈,用綁帶紮好,塞進布袋裡。
蔣旭在旁邊說什麼,陸遠點點頭,又搖搖頭。
然後他背上那個舊帆布包,朝方教授的方向揮了揮手,走出教學樓。
方教授站在視窗,看著他的背影穿過操場。
梧桐樹蔭一段一段落在他身上,又一段一段移開。
他步子不快,走得很穩,帆布包帶子在肩上勒出一道淺痕。
方教授把煙慢慢抽完。
菸灰掉在窗台上,他用手指碾了碾。
「等這茬專案結題再說。」他對自己說。
可他自己也知道,這話說得有點虛。
結題還有三個月,三個月夠幹什麼。
夠他把那本舊論文集翻爛,夠他把白皮書再抄兩遍,夠他把那四個人一個一個摸清楚。
方教授站在視窗沒動。
直到陸遠的背影徹底消失在梧桐樹盡頭,他才轉身回了辦公室。
那根煙的菸蒂還留在窗台上。
很短,沒抽完。
像他剛才那個決定,說到一半,剩下的一半懸著。