背景:
字級:小標準大特大 行距:緊湊標準寬鬆超寬

第973章 一天比一天聰明

  陸遠進研究所的第三周,才拿到門禁卡。

  之前兩周,他每次來都要在前台登記。

   讀好書選天天看小說,𝚝𝚝𝚔𝚊𝚑.𝚝𝚠超省心

  保安翻著本子找他的名字,然後打電話確認,再讓他押身份證,換一張臨時通行證。

  每天如此。

  他不催,也不解釋。

  前台小姑娘後來認識他了,提前把登記表填好,他來只需要簽個字。

  實驗室在七樓。

  研究所的主樓是九十年代蓋的,電梯慢,樓道窄,牆上掛著褪色的學術活動海報。

  七樓走廊盡頭是專案組,三間辦公室加一間機房。

  陸遠的工位在機房角落,一台舊工作站,顯示器還是CRT的。

  沒有人給他安排具體任務。

  副研究員李工忙,每天開不完的會。

  其他人各管一攤,誰手頭忙不過來就喊一聲:「陸遠,幫我看下這個。」

  他就去。

  一開始是搬資料。

  從伺服器上匯出影象和語音的配對資料集,拷到行動硬碟里,再導進訓練機。

  資料量不大,但格式亂。

  同一段語音配了三個不同版本的影象標註,時間戳對不齊。

  他花了兩天,寫了個指令碼,把三版標註合併成一份。

  又寫了個校驗程式,把時間戳偏移超過兩秒的樣本全挑出來,重新對齊。

  做完了,他把指令碼和說明放在公共目錄里。

  沒人問,但後來大家都開始用他的指令碼導資料。

  再後來是調引數。

  第一組的模型訓練卡在損失不降的階段,組長程平試了七八種學習率策略,沒用。

  陸遠在旁邊看了半天,說了一句話。

  「把批次大小從三十二改成一百二十八。梯度累積兩步。」

  程平試了,損失開始降。

  程平問他為什麼。

  他說:「樣本方差大。小批次梯度噪聲太大,模型學不到東西。批次上去,梯度穩了,再累積兩步等效更大批次。收斂就順了。」

  程平點頭,沒再說什麼。

  但第二天開會,他在會上提了一句:「陸遠那個批次調整的思路,可以推廣到其他組。」

  真正讓所有人愣住的是第四周。

  專案組要做一個跨模態對齊的功能。

  給定一段語音和一張影象,模型要判斷它們是否描述同一個場景。

  這需要在訓練中把語音特徵和影象特徵對映到同一個語義空間,並用對比損失拉近正樣本對的距離。

  負責這塊的是第二組,組長姓方,二十七八歲,脾氣急。

  他帶著兩個人熬了三天三夜,函式就是跑不通。

  訓練一開始就發散,損失直接跳到無窮大。

  第三天晚上,所有人都撐不住了。

  方組長讓其他人先回去睡,自己趴在桌上眯一會兒。

  機房只剩陸遠一個人,他沒走。

  他坐在自己的工位上,把方組長寫的程式碼從頭到尾讀了一遍。

  問題出在資料稀疏表示上。

  原始方法把語音和影象的特徵向量都做成了稠密矩陣,維度高,記憶體占用大。

  一旦批次上去,視訊記憶體就爆。

  方組長為了解決這個問題,手動把批次降到了八。

  批次太小,對比學習根本沒法做。

  負樣本不夠,模型學不到區分性。

  陸遠沒有改批次,他改了稀疏表示。

  把稠密矩陣換成稀疏矩陣格式,只儲存非零元素。

  記憶體占用一下子降到了原來的十分之一,然後他把批次加回到六十四。

  又加了一層梯度裁剪,防止早期訓練震盪。

  改完,他跑了一遍,損失曲線平穩下降。

  跑了一夜,第二天早上,模型收斂了。

  方組長醒來看到螢幕上的結果,愣了半天。

  他把程平叫過來,兩個人對著螢幕看了好一會兒。

  然後方組長轉過頭,看著陸遠。

  「你改的?」

  「嗯。」

  「你改了什麼。」

  「資料稀疏表示。原來的方法太重,記憶體扛不住。換稀疏矩陣就好了。」

  方組長又看了他幾秒,然後拿起電話,撥了個內線。

  「李工,你來一下。」

  李副研究員從隔壁辦公室走過來。

  方組長指了指螢幕,說了幾句。

  李副研究員聽完,走到陸遠的工位前。

  「你大幾。」

  「大三。」

  「你以前做過稀疏矩陣?」

  「修電器的時候學過一點數學。」

  李副研究員看了他好一會兒。

  然後他說了一句話,聲音不大,但整個機房都聽見了。

  「你明天別來了。」

  陸遠抬起頭。

  「到這邊來,給我當助手。我這邊的專案,你直接進來。」

  陸遠點頭。

  從那天起,他的工位從機房角落搬到了李副研究員辦公室旁邊的隔間。

  隔間很小,剛好放一張桌子和一把椅子,但有一扇窗。

  窗朝南,能看到研究所院子裡那排老楊樹。

  他有了正式的專案參與身份,可以看完整的專案文件,可以參加所有技術討論會。

  工牌還是沒有,但門禁卡換成了長期有效的。

  他正式踏入了這個時代最前沿的AI實驗室。

  沒有紫微,沒有靈脈,沒有心盾手環的加持。

  只有一台他無比熟悉又無比警惕的、正在成長的神經形態系統。

  螢幕上跑著的模型,一天比一天聰明。

  剛開始它只能分辨貓和狗,後來能識別場景,再後來能聽懂簡單的語音指令。

  每一次準確率往上跳一個點,專案組就有人鼓掌,可陸遠心裡那根弦就繃得越緊。

  他開始更仔細地看專案文件。

  交付節點、部署計劃、合作單位名單、專家評審意見。

  他把關鍵資訊一條一條記在腦子裡。

  有些東西不適合寫在紙上。

  比如方立群每個月都會來開一次會,每次來都催進度。

  比如孫志遠雖然不在專案組,但專案里用的訓練框架有一半是他那邊提供的。

  比如專案第二期的部署物件,寫的是「城市安防系統」。

  他把這些資訊記在腦子裡,像記一張網。

  誰跟誰連著,誰聽誰的,誰手裡有實權。

  晚上回宿舍,他坐在床上,掏出手機給於晚晴發了條簡訊。

  「進了核心組。」

  於晚晴回得很快。

  「注意安全。」

  他看著那四個字,把手機放在床頭,躺下來,盯著天花板。

  模型在跑,時間也在跑,他得跑得更快。