陸遠進研究所的第三周,才拿到門禁卡。
之前兩周,他每次來都要在前台登記。
讀好書選天天看小說,𝚝𝚝𝚔𝚊𝚑.𝚝𝚠超省心
保安翻著本子找他的名字,然後打電話確認,再讓他押身份證,換一張臨時通行證。
每天如此。
他不催,也不解釋。
前台小姑娘後來認識他了,提前把登記表填好,他來只需要簽個字。
實驗室在七樓。
研究所的主樓是九十年代蓋的,電梯慢,樓道窄,牆上掛著褪色的學術活動海報。
七樓走廊盡頭是專案組,三間辦公室加一間機房。
陸遠的工位在機房角落,一台舊工作站,顯示器還是CRT的。
沒有人給他安排具體任務。
副研究員李工忙,每天開不完的會。
其他人各管一攤,誰手頭忙不過來就喊一聲:「陸遠,幫我看下這個。」
他就去。
一開始是搬資料。
從伺服器上匯出影象和語音的配對資料集,拷到行動硬碟里,再導進訓練機。
資料量不大,但格式亂。
同一段語音配了三個不同版本的影象標註,時間戳對不齊。
他花了兩天,寫了個指令碼,把三版標註合併成一份。
又寫了個校驗程式,把時間戳偏移超過兩秒的樣本全挑出來,重新對齊。
做完了,他把指令碼和說明放在公共目錄里。
沒人問,但後來大家都開始用他的指令碼導資料。
再後來是調引數。
第一組的模型訓練卡在損失不降的階段,組長程平試了七八種學習率策略,沒用。
陸遠在旁邊看了半天,說了一句話。
「把批次大小從三十二改成一百二十八。梯度累積兩步。」
程平試了,損失開始降。
程平問他為什麼。
他說:「樣本方差大。小批次梯度噪聲太大,模型學不到東西。批次上去,梯度穩了,再累積兩步等效更大批次。收斂就順了。」
程平點頭,沒再說什麼。
但第二天開會,他在會上提了一句:「陸遠那個批次調整的思路,可以推廣到其他組。」
真正讓所有人愣住的是第四周。
專案組要做一個跨模態對齊的功能。
給定一段語音和一張影象,模型要判斷它們是否描述同一個場景。
這需要在訓練中把語音特徵和影象特徵對映到同一個語義空間,並用對比損失拉近正樣本對的距離。
負責這塊的是第二組,組長姓方,二十七八歲,脾氣急。
他帶著兩個人熬了三天三夜,函式就是跑不通。
訓練一開始就發散,損失直接跳到無窮大。
第三天晚上,所有人都撐不住了。
方組長讓其他人先回去睡,自己趴在桌上眯一會兒。
機房只剩陸遠一個人,他沒走。
他坐在自己的工位上,把方組長寫的程式碼從頭到尾讀了一遍。
問題出在資料稀疏表示上。
原始方法把語音和影象的特徵向量都做成了稠密矩陣,維度高,記憶體占用大。
一旦批次上去,視訊記憶體就爆。
方組長為了解決這個問題,手動把批次降到了八。
批次太小,對比學習根本沒法做。
負樣本不夠,模型學不到區分性。
陸遠沒有改批次,他改了稀疏表示。
把稠密矩陣換成稀疏矩陣格式,只儲存非零元素。
記憶體占用一下子降到了原來的十分之一,然後他把批次加回到六十四。
又加了一層梯度裁剪,防止早期訓練震盪。
改完,他跑了一遍,損失曲線平穩下降。
跑了一夜,第二天早上,模型收斂了。
方組長醒來看到螢幕上的結果,愣了半天。
他把程平叫過來,兩個人對著螢幕看了好一會兒。
然後方組長轉過頭,看著陸遠。
「你改的?」
「嗯。」
「你改了什麼。」
「資料稀疏表示。原來的方法太重,記憶體扛不住。換稀疏矩陣就好了。」
方組長又看了他幾秒,然後拿起電話,撥了個內線。
「李工,你來一下。」
李副研究員從隔壁辦公室走過來。
方組長指了指螢幕,說了幾句。
李副研究員聽完,走到陸遠的工位前。
「你大幾。」
「大三。」
「你以前做過稀疏矩陣?」
「修電器的時候學過一點數學。」
李副研究員看了他好一會兒。
然後他說了一句話,聲音不大,但整個機房都聽見了。
「你明天別來了。」
陸遠抬起頭。
「到這邊來,給我當助手。我這邊的專案,你直接進來。」
陸遠點頭。
從那天起,他的工位從機房角落搬到了李副研究員辦公室旁邊的隔間。
隔間很小,剛好放一張桌子和一把椅子,但有一扇窗。
窗朝南,能看到研究所院子裡那排老楊樹。
他有了正式的專案參與身份,可以看完整的專案文件,可以參加所有技術討論會。
工牌還是沒有,但門禁卡換成了長期有效的。
他正式踏入了這個時代最前沿的AI實驗室。
沒有紫微,沒有靈脈,沒有心盾手環的加持。
只有一台他無比熟悉又無比警惕的、正在成長的神經形態系統。
螢幕上跑著的模型,一天比一天聰明。
剛開始它只能分辨貓和狗,後來能識別場景,再後來能聽懂簡單的語音指令。
每一次準確率往上跳一個點,專案組就有人鼓掌,可陸遠心裡那根弦就繃得越緊。
他開始更仔細地看專案文件。
交付節點、部署計劃、合作單位名單、專家評審意見。
他把關鍵資訊一條一條記在腦子裡。
有些東西不適合寫在紙上。
比如方立群每個月都會來開一次會,每次來都催進度。
比如孫志遠雖然不在專案組,但專案里用的訓練框架有一半是他那邊提供的。
比如專案第二期的部署物件,寫的是「城市安防系統」。
他把這些資訊記在腦子裡,像記一張網。
誰跟誰連著,誰聽誰的,誰手裡有實權。
晚上回宿舍,他坐在床上,掏出手機給於晚晴發了條簡訊。
「進了核心組。」
於晚晴回得很快。
「注意安全。」
他看著那四個字,把手機放在床頭,躺下來,盯著天花板。
模型在跑,時間也在跑,他得跑得更快。