背景:
字級:小標準大特大 行距:緊湊標準寬鬆超寬

第972章 比可塑層還早一年

  陸遠把那個電話號碼揣在口袋裡三天沒動。

  第四天中午,他去公用電話亭打了一個,響了兩聲就接了。

  「餵。」

  「李老師?我是陸遠。上次會上問問題那個。」

  「哦。陸遠。」那邊頓了一下,像是在回憶,「華清計算機系的?」

  【寫到這裡我希望讀者記一下我們域名 天天看小說書海量,𝐭𝐭𝐤𝐚𝐡.𝐭𝐰任你挑 】

  「對。」

  「想好了?」

  「想好了。課不多,能去幫忙。」

  「行。明天下午三點,你到東四環這邊來找我。地址記一下。」

  陸遠拿了紙筆記下來。

  掛了電話,站在電話亭里看了那張紙條幾秒。

  東四環,某研究院資訊科技研究所,離華清不算遠,騎車半個多小時。

  第二天下午,他準時到了。

  研究所是一棟舊樓,灰色外牆,門口連個像樣的牌子都沒有。

  只有一塊小銅牌,上面刻著單位名稱。

  李副研究員在二樓樓梯口等他。

  四十出頭,瘦,頭髮有點亂,走路很快。

  「來了。跟我來。」

  實驗室在走廊盡頭,兩間打通的大屋子。

  機器不少,但比華清鄭教授那間整齊。

  二十幾台工作站排成三排,螢幕上跑著各種訓練任務。

  十幾個人坐在電腦前,大多很年輕,二十出頭。

  李副研究員帶他走到最裡面的一台機器前。

  「你先看看這個。」

  螢幕上是一個訓練指令碼,輸入是多模態資料,影象、文字、語音三種。

  模型要把它們對映到同一個語義空間。

  文字描述「一隻黃色的狗在草地上跑」,影象和語音要對應到同一個特徵向量。

  陸遠看了幾行,模型架構用的是雙塔結構。

  文字塔和影象塔分開編碼,最後對比學習拉近正樣本距離。

  這個思路本身沒問題。

  可陸遠注意到兩個細節。第一,模型沒有正則化項。第二,學習率固定。

  「跑多久了。」

  「兩周。」

  「損失降不下去?」

  李副研究員愣了一下:「你怎麼知道。」

  「沒正則化。過擬合了。學習率又固定,後期梯度震盪。」

  李副研究員看了他幾秒,然後轉身喊了一聲:「小趙,你過來。」

  一個戴眼鏡的女生跑過來。

  李副研究員說:「把最近三天的損失曲線調出來。」

  曲線出來。

  果然,前五天穩定下降,從第六天開始震盪,最近兩天幾乎不降了。

  李副研究員看著螢幕,又看看陸遠。

  「你以前做過多模態?」

  「沒有。」

  「那你怎麼一眼看出來的。」

  「前面那張圖,權重的分布太窄了。說明模型只記住了訓練樣本。再加正則就好了。」

  「加什麼。」

  「L2。權重衰減設零點零零一。學習率改成餘弦退火。」

  李副研究員沉默了兩秒,然後對小趙說:「按他說的改。重新跑。」

  小趙看了陸遠一眼,有點不服氣,但還是坐下來改了程式碼。

  重跑之後,損失曲線重新開始下降。

  李副研究員把陸遠叫到走廊。

  「你大幾。」

  「大三。」

  「什麼背景。」

  「修過幾年電器。」

  李副研究員笑了。

  那笑很短,一閃而過。

  「你以後每周來三天。這裡的事不用往外說。專案是合作性質的,參與單位不止我們一家。有些東西你看到了,自己心裡有數就行。」

  「明白。」

  「行。你去找小趙,讓她給你開許可權。」

  陸遠點頭。

  回實驗室的路上,他掃了一眼牆上的專案進度表。

  表格很大,用藍色膠帶貼在牆上。

  橫向是月份,縱向是任務節點。

  在「多模態融合」這一欄里,他看到了兩個熟悉的名字。

  方立群。

  孫志遠。

  他面上沒變化。

  走到小趙工位旁邊,坐下來,開始調程式碼。

  接下來兩周,陸遠摸清了研究所的基本盤。

  專案分三個組。

  他所在的第三組負責模型架構,組長是小趙。

  另外兩組,一組做資料標註,一組做訓練最佳化。

  李副研究員統管全域性,但上面還有一層。

  專案的大方向由合作單位共同決定,方立群和孫志遠都在合作單位的專家名單里。

  陸遠翻過專案立項書。

  資金來源寫著「國家科技支撐計劃」,經費數字不小。

  交付節點分三期,第一期已經在收尾。

  第二期的目標寫得很清楚:實現跨模態檢索系統的原型部署。

  部署。

  這個詞讓陸遠心裡緊了一下。

  模型做出來是一回事,部署到實際系統里是另一回事。

  一旦部署,就會有人用。

  有人用,就會產生依賴。

  依賴一旦建立,剎車就難踩了。

  他開始有意識地接觸第一組和第二組的人。

  幫他們調資料載入器,幫他們最佳化訓練指令碼。

  他話不多,幹活利索,有問題一叫就到。

  很快,三個組的人都認識了他。

  有人喊他「陸師傅」,有人喊「陸哥」。

  他每次都點頭應一聲。

  有一次,第一組的組長程平在食堂端著盤子坐到他旁邊。

  「陸遠,你大三就出來幹活,課怎麼辦。」

  「晚上補。」

  「你以前真修過電器?」

  「修過。修了快十年。」

  「十年?」程平筷子停在半空,「那你今年多大。」

  「二十三。」

  程平看了他幾秒,低頭扒了兩口飯,忽然說:「我有個事想問你。你怎麼看我們做的這個東西。」

  「什麼東西。」

  「跨模態檢索。你覺得它會變成什麼。」

  陸遠放下筷子。

  他看著程平,對方的表情很認真,不像在閒聊。

  「你擔心什麼。」

  「我說不上來。我們做的模型能看圖、看文字、聽聲音。三樣東西串在一起,它就能理解整個場景。再過幾年,如果它再學會推理和決策,你說它跟人的區別在哪。」

  陸遠沉默了幾秒。

  「區別在人知道自己在做什麼。」

  程平愣了一下,然後笑了:「你這話挺繞的。」

  「不繞。你想想,模型訓練完就固定了,對吧。可如果某天它自己決定改自己的目標呢。那就不是模型了。那是另一個人。一個不懂規矩的人。」

  程平的笑容慢慢收了,他把筷子放下。

  「你覺得會有那一天。」

  陸遠沒有正面回答。

  他說:「我只是個修電器的。幹活的時候有個習慣。每接一根線,都要問自己,這根線斷了會怎樣。你們做模型,也該問一問。」

  程平沒再說話。

  他把剩下的飯吃完,端著盤子走了。

  那天晚上回宿舍,陸遠沒開燈。

  摸著黑爬到上鋪,靠牆坐著。

  宿舍里沒人。

  劉波回家了,另外兩個室友去上晚自習。

  他坐在黑暗裡,把今天看到的東西在腦子裡過了一遍。

  跨模態感知。

  影象、文字、語音聯合理解。

  這正是蜂鳥早期最核心的能力之一。

  蜂鳥之所以能同時控制視覺識別、語言模型和決策系統,根基就在跨模態融合。

  現在這個專案在2003年就啟動了。

  比他在方教授資料庫里看到的可塑層框架還要早一年。

  他推開了一扇門。

  門後面,是蜂鳥真正的起點。

  從現在開始,他不再是隔著玻璃看。

  他在裡面了。

  他躺下來,面朝天花板。

  宿舍窗外有路燈的光,透過窗簾縫漏進來,在天花板上畫了一條歪歪扭扭的線。

  他閉上眼,腦子裡開始排計劃。

  每周三天泡在研究所。

  摸清專案架構、人員分工、資金來源、交付節點。

  同時把鄭教授那邊的課題繼續推進,保持學術產出。

  白皮書拆成小文章,一篇一篇往外投。

  他得讓自己變成這個體系里不可或缺的人,然後才能在這個體系里說話。

  他翻了個身,枕邊的手機亮了一下,是於晚晴發來的簡訊。

  「今天怎麼樣。」

  他回了兩個字。

  「進了。」