第394章 李東教授真是「好人」
不過也正是這幅離譜的畫面，讓李東突然靈光一閃。
想看更多精彩章節，請訪問𝙎𝙏𝙊𝟱𝟱.𝘾𝙊𝙈
他也顧不上眼前的諾維格教授了，而是直直的看著休息室里的三位巨頭，臉上浮現出一個和藹的笑容。
「幾位。」
「咱們也別繞圈子了。」
「我對ai的底層架構有興趣，你們對我手裡的降維算法有興趣，這一點，大家心知肚明。」
休息室里安靜了下來。
凱利三人交換了一個眼神……
來了。
「但我也實話實說。」
「我那套內部閉源的2.1算法，是不可能放出來的。」
「因為它存在理論缺陷。」
「拿來跑一跑黎曼zeta函數的非平凡零點還行，可真要把它泛化到具體的工程級項目上，目前是不可行的。」
這話李東說得臉不紅心不跳，缺陷？你問問黎曼他答應嗎？
它不可能開源的原因，從頭到尾只有一個……
華夏現在還用著呢。
聽完這番話，對面三人眼明顯露出了失望的神色。
不過就在這時，李東話鋒一轉。
「但是。」
「我已經公開出去的那套1.0算法，其實是能夠無縫橋接到大模型方向上的。」
三個人失望的眼中爆發出精光。
要知道，1.0那套基底開源這麼些年，各家私底下其實都在偷偷跑消融實驗做適配。
底層的數學紅利或多或少吃到了一些，可「無縫橋接」這四個字，那還沒有人能做到。
而現在算法的主人在他們面前，親口說能嫁接。
斯——
凱利輕輕的吸了一口氣說道。
「李東教授，您……有什麼條件？」
李東擺了擺手。
「哎，要什麼條件啊。」
「我覺得，學術這個東西，本來就是屬於全人類的。」
「你們有什麼跑不通的地方，都可以問，最好是關於pre-training（預訓練）、底層通信網絡、工程收斂這些方向的，越底層越好，都可以儘量問我。」
這下對面三個人是徹底呆住了。
唐傑也傻了。
他甚至咳嗽了兩聲，想提醒一下李東。
兄弟，你知道自己在說什麼嗎？
李東則是不動聲色地，沖他眨了眨眼。
唐傑到了嘴邊的話，又咽了回去。
而此時，對面那三位，反倒有點拿不定主意了。
這是什麼情況？
李東，是這麼好的一個人嗎？
天上掉餡餅，還是請君入甕？
可三人在腦子裡把利害關係飛快地推演了一遍，愣是沒算出李東這麼做能圖他們什麼。
倒是數學圈裡一直流傳的那句話，不約而同地浮上了三個人的心頭。
李東，是一個純粹的學者。
看來，並不是空穴來風。
於是三人齊齊地沖李東點了點頭，凱利的聲音里，帶上了幾分真誠的感激。
「謝謝您，李東教授，人類ai範式的躍遷，離不開您的貢獻。」
「不過，請您稍等我們一下，具體到底層算子和分布式架構的東西，我們還需要把公司的chief scientist（首席科學家）叫過來同您面談。」
朗和哈特也跟著點頭。
這種硬核的局，帶商務vp團隊來純屬白給，必須把各自家裡真正控盤預訓練、手搓cuda算子的大牛請過來才行。
「那行。」李東痛快地站起身「人到了，你們叫我，我先去和外面的同行們交流交流。」
三人一時沒反應過來，下意識地問了一句。
「李東教授，您要交流什麼？」
李東理所當然地說道：「當然是交流我那套降維算法的工程適配呀。」
「畢竟，這也是為了推動全人類開源生態的發展嘛。」
說完他朝三人笑了笑，推門走出了休息室。
三個人花了足足兩秒鐘才反應了過來。
外面的大廳里可全是競品同行呀。
「該死！」
凱利第一個掏出手機，幾乎是用吼的。
「雅各布？對，是我！你現在，立刻，馬上，飛首爾！」
「什麼叫沒排上商業航班？讓後勤直接把公司那架灣流g650推出來！當場報備航線，快！」
「我不管你卡上還掛著幾個千卡集群的消融實驗，天塌下來也先給我把顯卡全停了！」
另一邊，朗背過身去，語速快得像在搶答。
哈特那通電話表面上聲調平穩，握著手機的手都鼓起了青經。
三通電話，三個號碼，內容大同小異。
於是乎這一天的矽谷發生了一樁極其罕見的事情。
三家巨頭公司的私人飛機，在同一個下午先後從灣區的跑道上拔地而起，它們的目的地都是……
韓國，首爾。
……
休息室外。
唐傑找了個沒人的電話，撥通了一個國內的號碼。
他把會場這邊剛剛發生的事，原原本本複述了一遍。
電話那頭沉默了幾秒，然後笑了。
「唐教授，把心放肚子裡。」
「你呀，還是不夠了解李東教授。」
唐傑握著手機，怔了一下。
「……行，我明白了。」
掛斷電話後，他抬起頭。
目光穿過大廳里的人群落在那個正談笑風生的年輕人身上，神情說不出的古怪。
……
展區的另一邊，獨角獸聯合展台旁的咖啡台。
兩個掛著參展商工牌的人，正端著咖啡閒聊。
其中一位是埃里克·萬斯，矽谷一家ai獨角獸的聯合創始人，兼首席科學家。
他們家的招牌是long context與極速推理，兩年前靠一手「百萬級context window」的硬核絕活一戰成名，估值一路狂飆過百億美元大關，是這條細分賽道上跑得最快的黑馬。
下午唐傑領著李東在大廳里寒暄的時候，萬斯就排在換名片的隊伍里，還很鄭重地做過一番自我介紹。
此刻他正和一位歐洲基礎實驗室的研究員聊得起勁，餘光忽然瞥見一道身影朝這邊走了過來。
萬斯扭頭一看，整個人立刻精神了。
他連忙朝那位研究員抱歉地舉了舉咖啡杯，丟下一句「回頭再聊」，便快步迎了上去。
「李東教授！」
「萬斯博士。」李東笑著同他握了握手，連破冰的廢話都懶得鋪墊，開門見山。
「正好碰見你，我想問問你有沒有想過，把我那套降維算法1.0完完全全地適配到大模型的底層架構上去？」
萬斯臉上的笑容，僵住了。
隨後轉成了狂喜。
他不知道李東為什麼忽然問起這個。
可李東都這麼問了，這天下哪有不吃白食的道理？
萬斯深吸了一口氣說道。
「想過！李東教授，我們不光想過，還砸了真金白銀進去跑過消融實驗！」
「您的降維算法里的fft網格的非線性展開，本質上是在做高維流形的低秩逼近，對吧？」
「我們就把這套思路端到了長文本的kv cache上。」
「給key-value矩陣強做低秩投影，切掉尾部的奇異值，顯存開銷當場砍下去七成。」
「跑常規文本的perplexity，指標很穩，ppl幾乎不掉點。」
「可一上niah的精確檢索評測，recall就當場崩盤。」
「後來做可視化才定位到，attention矩陣的奇異值譜，是個極其極端的重尾分布。」
「模型里那幾個專司精確檢索的attention head，要在幾十萬個token里撈出那根『針』，它們學到的特徵向量全擠在譜的尾巴上。」
「我們把尾巴這麼一刀切，等於直接把這幾個head的眼睛給挖了。」
「李東教授，您那套算法算zeta零點的時候，奇異值截斷比我們猛得多，憑什麼您的尖峰特徵就能無損保留？」
他說的問題，信息密度高得嚇人。
周圍幾個豎著耳朵的參展商，已經不動聲色地朝這邊圍攏了過來。
李東慢條斯理地開了口。
「你這個問題，算是摸到門道了。」
「但你們的方向，從一開始就歪了。」
萬斯一怔：「錯在哪？」
「錯在你們想靠暴力的『砍』去收斂邊界。」
「在我的理論框架里，svd譜截斷壓根不是c位，那只是工程落地時順手的後處理。」
「真正的殺招，是截斷前的那次非線性流形重排。」
「零點，是zeta函數的特徵指紋。」
「你說的精確檢索，是全局序列的特徵指紋，指紋這東西脾氣很怪，選錯了基底，你給它留再高的rank它也存不住，扔進正確的正交基底里，rank 1就足夠表達了。」
「所以，你們直接在kv的原始特徵空間裡強做低秩，純屬南轅北轍。」
……略
「等特徵重分布做完，你再去切奇異值，error bound（誤差上界）自然就收斂了。」
萬斯聽得連呼吸都屏住了。
聽起來……數學邏輯上完全能閉環啊！
「那、那這個非線性重構算子，該怎麼參數化？」他急切地追問。
「這就得看你們對自家數據分布的先驗假設了。」李東高深莫測說道，「流形重構是同數據分布強綁定的，我總不能越俎代庖替你們去定義你們自己的預訓練語料吧？」
萬斯重重地點頭。
有道理。
這話簡直不能更有道理了。
「不過，」
李東隨口地補了一句。
「我倒是好奇一件事。」
「你們費這麼大的勁，又是投影，又是重排，折騰來折騰去，無非是想把那坨越來越臃腫的cache壓小一點，對吧？」
「那你們就沒想過，乾脆，把kv cache徹底揚了？」
萬斯愣住了。
把cache揚了？
attention機制不帶cache，那他媽還叫……
等等。
他的瞳孔，緩緩地放大了。
不知怎麼的，他腦子裡那些散落了快一年的拼圖碎片。
線性注意力（linear attention）的遞推範式，狀態空間模型（ssm）的隱狀態方程，還有上個月組會上被他親手斃掉的那份瘋狂的rnn變體提案，在這一瞬間，被一條邏輯鏈猛地串了起來。
如果，hidden state不再是存放kv對的死倉庫，而是一個活的「學生」呢？
萬斯整個人，僵在了原地。
而站在他對面的李東，端著咖啡，笑眯眯地看著他。
與此同時，記憶宮殿。
大廳的正中央，憑空多出了一座臨時的小書架。
書架上，靜靜躺著一份嶄新的文獻。
李東走過去，把它翻開。
【將「記憶」從靜態的kv cache，重構為動態更新的權重矩陣。】
【hidden state不再是堆疊鍵值對的外部顯存，而是內嵌於backbone中、在inference階段同步疊代的微型模型。】
【序列建模等價於在線元學習（online meta-learning）。】
【每自回歸生成一個新token，即向該微型模型輸入一條樣本，「檢索回憶」等效於一次forward pass，「上下文記憶」等效於一步gradient descent。】
【至此，context window長度徹底擺脫顯存牆（memory wall）的物理桎梏，僅受限於內層學習器的參數容量與遺忘門控。】
【信息壓縮不再是暴力的有損截斷，而是一場由目標函數驅動的端到端表徵學習……】
【至於內層學習器的loss function該如何設計，其權重更新又該如何與外層backbone的梯度反傳實現數學上的解耦……】
文獻到這裡，斷了。
李東合上這半截思路，眉毛輕輕挑了挑。
在inference階段，依然持續做training的模型？
把幾百萬的context直接壓進權重里？
好傢夥。
這幫ai極客腦子裡憋著的狠活，可比他們掛在arxiv上的水文，野得多了。
退出記憶宮殿，現實里不過才過去了一兩秒。
李東心滿意足，朝著萬斯伸出手，和藹地笑道。
「萬斯博士，和你交流技術很愉快。」
萬斯下意識地握住那隻手點了點頭。
他整個人，還在李東方才給他的那套「保譜非線性流形重排」里沒出來。
回去就讓底座團隊把重構算子的參數化方案，在合成數據上挨個跑通！譜頭！得讓針挪到譜頭上去！
等他回過神來的時候，李東已經走出去七八米遠了。
而李東一邊走，一邊在心裡慢悠悠地補了一句。
邏輯要是真能閉環，老子李東的名字倒過來寫。
……
平心而論，這事不能怪萬斯博士不夠頂尖。
要知道，今天這座展廳里，坐著全世界小半個ai產業的智商天花板。
可把這幾百號人的純數學功底統統加在一起，也未必夠得上李東一個打的。
所以李東隨隨便便偷換一個高維流形的概念，或者把他那套降維算法上的微分算子拆下來，重新包裝進ai的黑話語境裡，聽上去就格外自洽，格外有第一性原理的降維打擊感。
什麼「指紋要扔進正確的正交基底」，什麼「強行讓針從譜的尾巴躍遷到譜頭」。
句句符合直覺，字字切中痛點。
可你真要拿著這幾句話回實驗室調參落實，燒上三個月a100就會發現一個樸素的事實……
針要是他媽的知道怎麼自主躍遷去譜頭，它還能叫針嗎？
這就好比一位物理宗師告訴你，實現常溫超導的訣竅，是在電子撞擊晶格之前，先給它規劃一條沒有電阻的絕對平滑軌。
聽的時候，醍醐灌頂，以為找到了發《nature》的捷徑。
跑的時候，loss爆炸，連顯卡都得燒冒煙。
……
而李東對此，毫無心理負擔，畢竟李東也沒騙人，只是給他們的路全是真的，但是沒有細節而已。
他端著那杯早就涼透的咖啡，在偌大的展廳里，一個挨著一個地薅了過去。
在一家以sora類視頻生成聞名的多模態公司展台前，他同對方的預訓練負責人，切磋了一下「高維時序數據的流形展開」。
十分鐘後，記憶宮殿的書架上多了一份文獻。
【拋棄基於像素重建的視頻生成範式，將其重構為可交互的world model（世界模型）：輸入action，自回歸預測next state，讓agent在隱空間的「世界夢境」里，率先完成對現實物理法則的低成本試錯與先驗對齊。】
然後又在一家以模型可解釋性研究出名的初創實驗室那邊，他同一位核心研究科學家，探討了「高維隱空間內的稀疏結構」。
書架上又多了一份……
【模型內部的特徵存在嚴重的polysemanticity，單個神經元往往身兼數職。】
【引入稀疏自編碼器作為外掛字典，將糾纏的特徵解耦成單義的線性組合，再沿著計算圖迴路，對大模型的幻覺或越獄行為執行定點編輯。】
再往後，是一位做非自回歸生成架構的獨角獸cto，聊的是「並行拓撲展開與採樣收斂路徑」。
靈感再次+1
【打破語言模型從左至右next-token prediction的強制因果約束。】
【將全局序列視為高斯噪聲，引入diffusion架構全序列並行去噪，在疊代採樣路徑中，賦予模型在隱空間內反悔與自我糾錯的非馬爾可夫演化能力。】
一圈聊下來，記憶宮殿大廳里的臨時書架，已經密密麻麻堆滿了。
李東站在書架前，望著那一份份字跡嶄新的文獻，由衷地發出了一聲感嘆。
這些開源布道者，真是大好人啊。
而與此同時，展廳的各個角落裡。
那些剛同李東教授做完深潛級技術交流的各路大佬，也都在心裡發出了同一聲感嘆。
李東教授，真是個開源先驅的好人啊。
……
vip休息室的門口。
凱利、朗、哈特，三個人並排站著，誰也沒有說話。
他們就這麼眼睜睜地看著，李東從算力晶片生態的展台，溜達到頭部雲廠商的展台。
前一刻還在同他們競品家的資深研究員談笑風生，下一刻就同他們戰略合作夥伴家的技術副總裁相見恨晚。
全場上下，凡是工牌上印著scientist（科學家）或者engineer（工程師）字樣的核心高管，幾乎被他一對一深聊了個遍。
而且每聊完一個，那些人臉上都會浮現出一種拿到神級paper一作般的潮紅。
三個人的心，一點一點地往下沉。
也不知道，這幫傢伙背地裡又掏出手機給自家的算力集群下了多少調參指令了。
哈特低頭看了一眼手機上的航班追蹤軟體。
地圖上那三個小小的飛機圖標，才剛剛飛過白令海峽。
凱利也沒有說話，只是再一次撥通了那個號碼，對著聽筒吼道。
「雅各布，馬上把pre-training組全員拉進線上會！」
「在飛機落地前，把李東教授開源倉庫里的每一行代碼連帶著底層算子，全給我逐行盤一遍！」