第395章 路就在眼前，你們修不修吧。
coex會展中心，主會場側面的貴賓休息區門口。
西蒙·哈特低著頭，看著手機上的航班追蹤軟體。
「還有兩個多小時落地。」
「落了地也得明天。」
前往🅢🅣🅞5️⃣5️⃣.🅒🅞🅜閱讀本書完整內容
戴維·朗看了一眼表。
「難道真讓他們頂著十二個鐘頭的時差去和李東盤底層架構？」
哈特沒接話。
兩個人又不約而同地看向了大廳里不斷遊走的李東。
這時亞當·凱利也掛斷了電話。
他已經忍不住了，立刻陰沉著臉朝著會場快步走了過去。
直到離李東只剩幾步遠，他才放緩腳步，然後陰沉的表情不見了，露出一個標準的笑容。
然後有意無意地，正好攔在了李東和下一位「交流對象」之間。
「李東教授。」
「今天的議程也快結束了，」亞當·凱利笑容可掬，「有沒有時間，咱們去喝一杯？」
李東沖他歉意地笑了笑。
「不好意思，我酒精過敏。」
凱利：……
「對了。」
李東像是想起了什麼問道。
「那位雅各布博士，什麼時候能到呀？」
亞當·凱利有些懊惱地說道。
「……可能，要明天。」
「那行。」李東點了點頭，答應得痛快，「那明天，咱們單獨聊。」
說完，他繞過凱利朝著下一位等候多時的同行走了過去。
亞當·凱利站在原地，望著李東的背影，臉色總算是稍微好看了一點。
至少……
李東答應了，單獨聊。
……
次日，上午九點。
還是這間貴賓休息室。
李東推門進去的時候，屋裡的人已經到齊了。
亞當·凱利臉色難看地看著身旁的朗和哈特。
「該死，原來李東教授說的單獨聊是三家一起單獨聊啊。」
他們各自的身邊，都坐著一個李東之前沒見過的人。
而這三個人，看起來都挺疲憊的，下巴上還有沒刮掉的胡茬。
不過當李東進來以後，這三個人都用充滿了血絲的眼睛看向了李東。
「雅各布，我們的首席科學家。」凱利說。
「馬庫斯。」
「伊森。」
朗和哈特也介紹道。
李東一邊和他們握手，一邊在心裡舒了口氣。
正主，來了。
雖然昨天展廳里聊過的那些人，水平也不低。
可說到底，那些都是二線。
而真正決定這一行天花板的東西，萬卡集群的容錯和拓撲怎麼搭，千億數據的清洗管線怎麼通，幾千萬刀的pre-training怎麼做到一次不崩盤，這些，都只存於少數人的腦子裡，比如……
眼前這三位。
李東要自建大模型，主攻ai for math，這些學費遲早是要交的。
如今教材自己坐著私人飛機送上了門。
所以李東望著這三張憔悴又亢奮的臉，笑得格外和藹。
很快，單間裡多餘的隨行人員都退了出去，門也合上了。
屋裡只剩下八個人。
三位巨頭，三位首席科學家，李東。
以及，彼得·諾維格。
諾維格坐在最靠窗的位置，手裡端著一杯紅茶，從頭到尾沒怎麼出聲。
他是戴維·朗親自邀請過來的。
在外人看來，諾維格早就退出一線了，這幾年撲在教育上，帶帶學生，寫寫教材儼然半個養老的狀態。
可他在最底層那些事情上，根基究竟扎得有多深，凱利不清楚，哈特也不清楚。
全世界，恐怕只有戴維·朗一個人，心裡有數。
隨著最後一位隨行人員退了出去，休息室里卻陷入安靜。
沒人先開口，直到一分鐘過後，雅各布帶著點疲憊的開口了。
不過他問的，全是繞著降維算法原始論文打轉的東西，loss面的收斂半徑、泛化誤差上界、離散網格的採樣密度。
沒一句是乾貨。
李東聽了幾分鐘，大概就明白這到底是怎麼回事了。
這三家，平日裡你搶我的人我挖你的牆角。
誰家的預訓練在哪兒卡了殼，那都是壓箱底的機密，當著兩家死對頭的面，誰會真的掏底呀？
按照這個聊法，聊到大會閉幕，也聊不進正題。
於是李東放下茶杯，笑眯眯地打斷了雅各布。
「雅各布博士，你問的這些，你們組自己掛出來的技術報告裡，就有答案。」
「咱們立個規矩吧。」李東笑著看向了休息室里的眾人，「今天在這間屋子裡，不管誰提的問題，我的回答，三家一起聽。」
「所以……藏著掖著的最吃虧。」
三位首席科學家面面相覷。
幾秒鐘後，也不知道是誰先把心一橫。
反正答案大家都聽得見，那還客氣什麼？
多問的，才是賺的。
「李東教授。」
還是雅各布先開口。
「那我換個問法。」
「千億級參數的loss曲面，強上全量hessian矩陣純屬做夢，二階的預條件子連顯存都塞不進，只能退化到一階的adam系硬磨。」
「如果先用您那套算法重排，把參數空間正交化到近似對角陣……」
「預條件子，是不是就能直接降維成逐元素的標量縮放？」
他一說完，另外兩家的人也停下了手中正在記錄的筆，抬頭看向李東。
李東聽完點了點頭。
「路子是對的。」
「但你們光盯著算力和顯存了，問題的核心不在於算不算得起。」
「而在於你們根本不知道，該在哪個標度上去算。」
雅各布一怔：「標度？」
「loss曲率不是一張靜態的地圖。」
李東說道。
「它跟著你的batch size縮，跟著學習率漂，還跟著網絡的width一起扭曲。」
「我那個算法之所以成立，是因為zeta算子的譜特徵背後，有一套解析的scaling law兜底。」
「我是先吃透了規律，才敢去動算的。」
「而你們呢？」
「你們梯度的噪聲標度，是怎麼做標定和對齊的？」
「網絡width翻一倍這個scale往哪邊漂移，你們跑過消融實驗嗎？」
雅各布握張了張嘴沒出聲，整個人像是被這一問，好像讓他想到了什麼。
與此同時，李東的記憶宮殿裡。
大廳中央那座臨時書架上，現出了一份嶄新的殘篇。
【臨界batch size，由梯度噪聲的scale唯一確定。】
【將學習率、批大小、網絡寬度與深度，統一收斂至同一套scaling law解析式。】
【在千萬級參數的proxy模型上定死全局超參，借參數化的對稱性，零樣本無損遷移至萬億參數域。】
【若該定律成立，不同參數規模的loss下降曲線，在對數坐標系下必將塌縮為同一條母線。】
【至於attention機制內的softmax溫度超參，如何隨寬度協同縮放……】
李東看著這個殘片，心裡已經服氣了。
在小模型上把戲排完，到大模型上直接zero-shot首演，連彩排的場租都省了。
這幫人藏在肚子裡的東西，可比他們掛在網上的論文，值錢太多了，這就是經驗，或者說這特麼就是用錢燒出來的靈感。
他李東或許花點時間也能想出來，但是想出來有什麼用？
他有錢去燒，然後去驗證自己的想法嗎？
而現在雅各布的經驗明顯替他省掉了這筆錢。
現實里，雅各布回過神來，幾乎是立馬將靈感寫進了本子裡。
有了他開這個頭，休息室里也就破冰了。
接下來的交流就脫離了常規的一問一答，演變成了一場圍繞著「降維算法如何真正在萬卡集群上落地」的學術討論了。
gemini的馬庫斯率先提問，他拋出了跨洲集群的物理延遲痛點。
幾十萬張加速卡隔著太平洋跑同步，降維算法作為一種全局操作，怎麼可能扛得住海底光纜的物理牆？
而李東不僅用zeta零點的高階局部重排，證明了降維算法切分後截斷誤差完全可控，更直接甩出了一套顛覆性的解法：放棄強同步，把整場訓練拆成「local-sgd與周期性漂移聚合的異步範式」的模式。
底層各跑各的local-sgd，外層利用降維算法，隔上幾百步只去提取和對齊一次權重的「漂移量」。
生生把跨洋帶寬的物理死局，盤成了一致性的數學遊戲。
馬庫斯這邊剛被李東忽悠完，claude的伊森緊跟著又砸出了低精度浮點的算力黑洞。
大模型在預訓練時瘋狂飆spike、爆nan，這些帶噪的極端離群值，會不會反過來把需要乾淨數值的降維算法攪成一鍋粥？
李東一針見血地挑明，降維重排非但不怕刺頭，反而最喜歡這種重尾分布，因為能量越是抱團，特徵流形上的坐標就越好找。
為了讓降維算法完美適配低精度的帶噪環境，他給出的方案路子也很野。
不搞粗暴的截斷，而是把底層數值格式直接重構為對數域上的非均勻量化網格，讓浮點刻度去自適應地追趕極值能量。
幾個來回的交鋒，句句不離降維算法的工程嫁接，卻又字字直戳巨頭們用幾千萬美金都燒不出來的「解決方案」。
而隨著這幾位首席科學家的醍醐灌頂，李東的記憶宮殿裡……
【異步陳舊度不再視為梯度噪聲，而是可被顯式補償的位移向量。自此，跨洲集訓的瓶頸，徹底從傳輸帶寬降維至拓撲一致性。】
【將數值格式重構為對數域上的非均勻刻度，令量化噪聲沿能量分布自適應展開……】
一份份價值連城的工程殘篇，就這麼被他薅進了書架上。
就在這個時候，一直安靜喝茶的諾維格，放下了茶杯。
「李東……額教授。」
「我聽你說了一上午。」
「分段的重排，近似對角的基底，跟著能量走的刻度。」
「每一條，在zeta那邊都站得住，因為zeta是一個寫得出來的對象，它的譜、它的縮放律、它的誤差界，全是從解析式里推出來的。」
「可一個萬億參數的模型，沒有解析式。」
「它的譜，沒人寫得出來，只能靠採樣去摸，你的誤差界在那邊沒有定理，只有實驗。」
「把你的算法，從一個解析的世界，嫁接進一個只能測量的世界，李東教授，這中間隔著的，恐怕不是工程量。」
「是一整段還沒有人寫出來的數學。」
滿屋子的人都安靜了下來。
李東心裡卻是微微一動。
到底是盛名之下無虛士啊，難怪這個老紳士有這麼大的名號。
三位首席科學家問了一上午的怎麼做，只有這位老先生，在問「憑什麼能做」。
一下子就點出了李東忽悠人的本質。
不過，李東要的東西已經到手了，他也沒有半分的遮掩說道。
「是隔著的。」
「那段數學，今天我一個字也沒替你們寫。」
「可是諾維格教授。」他笑著看了一圈屋裡的人。
「譜寫不出來，可以去摸，界沒有定理，可以去立。」
「路不存在，和路不值得修，從來都是兩碼事。」
「我把地圖畫到這兒了。」
「走不走，你們定。」
諾維格深深看了他一眼，沒有再說話。
而記憶宮殿的書架最頂層，悄無聲息地，多出了一份一行字的手稿。
【解析的界不存在的地方，界可以被學習，把誤差估計本身，做成模型的一部分……】
李東：……
這傢伙藏的真深。
難怪戴維·朗死活要把人留在屋裡。