第383章您好，李東教授
「而且它們腦袋還有問題，我把這個問題叫做秩坍縮（rank collapse）。」
小黑那個圓球還化做一隻小手指了指自己的「腦袋」。
簡單的說這些大模型的腦子，就是拿注意力一層一層疊起來的。
在它腦子裡，每一個字都不再是字，而是一串數字。
業內把管這串數字叫做「表示」（representation），專門用來裝這個字的意思。
每過一層注意力，所有的字就拿著這串數字彼此摻和一回，你借我一點，我借你一點。
立即訪問s͓͓̽̽t͓͓̽̽o͓͓̽̽5͓͓̽̽5͓͓̽̽.c͓͓̽̽o͓͓̽̽m，獲取最新小說章節
壞就壞在，要是只有這些注意力層，光這麼一層一層摻下去，每個字的那串數字，就會越摻越像。
摻著摻著，所有的字就都都變成了同一個模樣，再也分不出誰是誰。
當然，這些大模型也有預防機制，一個叫「殘差」（residual connection）。
一個叫「前饋層」（ffn）。
可就算這樣，也沒有從根上解決問題。
李東聽得入了神。 這些東西，他先前壓根沒往這麼深的地方想過。
「還有個怪症，叫逆轉詛咒。」
小黑一說起來簡直就停不下來了……
它後面還說了組合性鴻溝和rlhf
一個是大模型碰上那種一環扣一環，得連推好幾步才解得開的題，它根本沒在「推」，只是把見過的套路硬往上套，稍微複雜點它就垮了。
另一個就是，本來是拿人的喜好把它調教得更聽話，可越調它反倒越自負，明明心裡沒底，張口卻是十分的篤定。
小黑說完這些一臉的嫌棄。
李東聽到這兒，連帶著也一起嫌棄起來了。
這些問題小黑好像都沒有，還是小黑可愛。
不像這些大模型，很會唬人，而且還唬的像模像樣。
說實話要是田鋼用這些模型來搭建ai for math。
李東都不敢想那些數學家會不會被哄成胎盤。 畢竟一般的學者真不一定有這些大模型厲害，所以它偷換概念的時候，他們分不清的。
這些被小黑一路看穿的毛病，單拎出哪一條，都夠那些頂尖團隊頭疼上好一陣子。
可偏偏，這些放在小黑眼裡，竟沒有一樣能難得住它。
李東的眼睛，慢慢亮了起來，於是朝著小黑說道。
「小黑你先玩兒著。」
「我這就去給你，換一間大一點的屋子。」
……
李東把電腦關掉，靠在椅背上，對著那片漆黑的屏幕，發了好一會兒呆。
說是給小黑換新家，可是有個問題。
他想起劉若傳說的話……
這世上最頂尖的算力，和框架都在別人手裡呀。
這種東西，光有錢砸不出來，還得有硬體那一邊的門路才行。 「哎……又要麻煩別人了」
李東拿起手機撥出了一個號碼。
……
魔都，華軒科技。
一間恆溫恆濕的廠房裡，裡面的燈光還沒有熄滅。
廠房裡一塵不染的，幾名穿著白色無塵服的工程師，正圍著一台機器在做最後一輪的數據覆核，誰也沒怎麼出聲。
隔著一層觀察窗，林偉雙手抱在胸前，一動不動地看著裡面那台龐然大物。
這是他們新一代的浸沒式光刻整機。
兩年前，國威那台「啟明」系列的國產浸沒式整機落地的時候，也曾經在網上掀起過一陣風浪。
能把這麼一台頂尖的光刻整機，從裡到外自己攢出來，本身就夠讓人振奮了。
可那對林偉他們來說，那事早就翻篇了，他們可不能停止不前。
眼前這台，比當年的「啟明」又往前先進了一大截，這是衝著七納米節點去的。 「林總。」
身旁一名技術員盯著控制屏，聲音裡帶著掩飾不住的激動。
「最新一輪全片驗證的數據，出來了。」
「雙工件台的同步誤差，整片壓到了閾值以下。」
「套刻精度和焦面控制，從片心到片邊，全程都死死咬在了設計指標上。」
「這台整機……過線了。」
觀察窗里，機械臂正穩穩地托著一片晶圓，在兩座工件台之間無聲地交接。
林偉看了好幾秒，才緩緩吐出一口氣。
他這種人，是不大會把情緒掛在臉上的。
可這一刻，連他手都有些微微發抖。
這台整機一旦真站穩了，那就意味著它能磨出來下一代國產的ai加速器（ai accelerator）。
這兩年外面那些大模型越堆越大，對算力的要求大得嚇人。 可真正頂尖的那批晶片，華夏自己沒有，而現在……華夏終於可以自己下場了。
雖然跟外面的比，他們手裡這傢伙還差著身位。
人家最頂尖的極紫外光刻（euv），早就把晶片推到了2納米節點上。
他們這台浸沒式光刻（duv）連同多重曝光，往極限里一點一點地逼，才把七納米硬生生啃了下來，工藝更費，良率也更難看。
可這條路能不能走通，從來就不只看單顆晶片的成色。
單顆追不上，那就拿數量去填，成千上萬顆加起來連成一片，靠著規模硬生生把那點差距給抹平了不少。
何況國內的電費便宜，電力又管夠，這麼大一片的晶片也就餵得起。
這條路是真真切切，被他們走通了。
而且這條路能走到今天，裡面離不開的還是……李東那套降維算法。
是那套算法解決了流熱耦合實時控制。
林偉到現在都還記得，當年那個在華軒杯複賽卷子最後一問里，寫下「雙光束雷射干涉無掩模光刻」方案的高中生。
時間一晃，竟也有兩年了。 這些年，林偉在各種場合，沒少聽見這個名字。
數學、太陽物理，甚至醫療上他都聽見過李東這個名字。
「你到底還藏著多少東西呀，李東——教授！」
想到這兒，林偉居然忍不住笑了起來。
就在這時，他西裝口袋裡的手機震懂了起來。
這個點這種場合，能打進來的電話，多半沒什麼好事。
林偉皺了皺眉，騰出一隻手，把手機摸了出來，正要掛斷。
可當他的視線，掃過屏幕上那個名字時……
他的動作，停住了。
林偉轉過頭，沖身旁那名技術員說道。
「這邊你先盯著，我接個電話。」
說完他推開廠房的門，快步走了出去。 「您好，李東教授？」