第374章 再顛覆
第374章 再顛覆
覃紅芳邀請耿直和顧婉檸兩人來家裡,一個是兩人確實好久沒來吃飯了。
另一個原因是,覃紅芳想多聽耿直給她講講[靈靈],講講他前幾天在微軟技術大會上分享的[三次躍遷]理論,講講他預言的AGI時代。
原本,覃紅芳退休後的生活還不錯,日子清閒下來,自己養養花、打打桌球、織一織毛衣,小日子過得還挺滋潤。
但時間久了,終究有點膩。
尤其見證了移動網際網路時代發展的速度如此之快,認真好學地她越來越閒不下來,越來越心痒痒。
此刻聽耿直聊起他的[AI晶片],覃紅芳的眼睛不自覺地明亮起來。
SiTu閱讀讓您不錯過任何精彩章節
她原先還對耿直之前在微軟技術大會上提到的[三次躍遷]理論頗為質疑,現在聽到耿直提起[AI晶片],似乎又覺得或許不再是天方夜譚。
「小耿,你提到的[三次躍遷]理論,從認識到理解,從理解到創造,從創造到自主,這三次跳躍,所依賴的必須是AI晶片對吧?」覃紅芳問道。
耿直認真地點點頭,肯定道:「對的,覃阿姨。靈靈]的訓練,就消耗了這麼多GPU。如果想要實現從理解到創造的跳躍、
從創造到自主的跳躍,我們就要把模型參數從現在的量級提升一百倍、一千倍,比如達到千億參數。」
聽到耿直這番分析,覃紅芳很受觸動,不由得睜大了眼睛。
千億參數————這怎麼敢想的啊!
覃紅芳從震驚中恢復過來,思索了好幾秒,她才分析道:「如果真如你所說,模型參數達到千億級,那需要的GPU數量就不是線性增長,而是超線性增長了啊!」
耿直十分贊同地點點頭:「覃阿姨分析的非常正確,所以說現有的GPU根本就不行,必須要有AI晶片。」
「AI計算的核心是什麼?是矩陣乘法。卷積神經網絡的每一次卷積,其實也是矩陣運算。
Transformer————咳咳」
耿直突然意識到自己說漏了嘴,忙戰術性又喝了口甲魚湯,才繼續分析起來:「我是說注意力,它也是矩陣運算。AI晶片的未來,就是把晶片資源全部集中在矩陣乘法和數據搬運上,砍掉一切跟AI無關的東西。」
覃紅芳不再作聲。
耿直的這番話,又一次顛覆了她的認知,也顛覆了現有行業專家們的認知。
畢竟,小耿這是重新定義了GPU,或者說是一種新種類的GPU,一種能效遠超現有GPU的GPU。
這在世界上,還是一片空白。
覃紅芳的思緒開始再一次飄遠,目光又在顧婉檸身上停留了一剎那,隨即離開。
她突然想起來耿直戰術性喝甲魚湯時,提到了一個什麼「Transformer」之類的單詞,忙好奇追問道:「小耿,你剛才說什麼Transformer還是啥,是什麼意思?」
「哦————覃阿姨,我其實是想說存算一體機制。」
耿直稍稍圓了一句,也不管覃紅芳信不信,仍自顧自地解釋起來:「現有的所有晶片,計算單元和存儲單元是分離的。無論是CPU還是GPU,在做運算的時候,數據都要從內存里搬過來,算完再搬回去。這個搬運數據的過程,消耗的功耗遠超計算本身。」
覃紅芳的眼神都變了:「所以,你是說把它們放在一起??」
「對,未來的AI晶片,計算和存儲必須放在一起,放在同一個單元里,在存儲單元裡面直接完成計算,也就是存算一體。」耿直道。
覃紅芳明白耿直的意思了。
一旦這個模式能實現,數據就不需要再搬運,功耗可以降低幾個數量級,AI晶片的能效比,將會迎來一次革命性的提升。
只是,這條路並不是多麼好走。
覃紅芳全程都在認真聽耿直講,邊聽邊思考,已經好久沒有再動過筷子了。
晶片這麼專業的知識,苟友乾和顧婉檸兩人基本聽不懂,全程只能幹聽,沒有發表過任何意
見,也沒插一次話。
顧婉檸重新將小火鍋的火打開,待湯重新熱了之後,又給耿直盛了點兒甲魚湯,遞到他面前。
苟友乾也跟著給覃紅芳舀了點兒湯,遞到她面前:「覃老師,你先喝點湯再聊吧。」
覃紅芳接過碗,說了句「謝謝」,但目光卻沒有看苟友乾,而是重新投向耿直。
她將碗緩緩放到桌上,認真道:「小耿,你今天講得這些東西,有一些我聽過,有一些沒聽過。但你把它們串在一起的方式,讓我很驚訝。」
覃紅芳搖搖頭,繼續感慨起來:「我們做晶片的人,習慣了從架構、從工藝、從EDA工具出發。但你今天是從AI要做什麼,從需求反推晶片應該長什麼樣。這個視角,對晶片行業的人來說,是顛覆性的。」
耿直平靜道:「覃阿姨,我不是做晶片的,我是做AI的,更懂AI公司的需求。未來誰能定義晶片的架構,誰就能定義AI的算力天花板。而算力的天花板,就是AI的天花板。」
耿直已無需再多言,覃紅芳就已經徹底明白耿直的意思了。
她直接問道:「小耿,按照你的邏輯,如果AI熱潮能夠持續推進下去,AI晶片是不是就成了一個絕好的賽道
了?」
耿直微微一笑:「理論上是這樣,就是太燒錢,沒有長期有耐心的堅持,想成功不容易。」
兩人又就AI晶片的方向,簡單聊了聊。
從行業趨勢聊到國家政策,最後又聊到晶片製造。
耿直只知道AI晶片的大概方向,但對設計晶片,他其實並不懂。
所以覃紅芳的很多問題,耿直其實是回答不上來的,只能淺淺回答,不過依然出乎了覃紅芳的意料。
覃紅芳本來想再跟耿直提一提顧國堂和Marvell的故事,但想了想還是決定先不多提。
兩人大致聊完,覃紅芳好奇問:「小耿,你才剛讀研,怎麼懂這麼多晶片的知識啊?」
「覃阿姨,我其實真的只懂點皮毛,主要是平時在院裡聽個課會時不時積累一些。」耿直道。
顧婉檸:「你聽課??你去上過課???」
覃紅芳和苟友乾也十分驚訝地看著耿直。
「偶爾嘛!」
由於覃紅芳跟耿直聊了太多細節,等四個人吃完飯,已接近晚上10點。
荀友乾本來還想找耿直多聊聊交大安泰經管學院與李繕友的混沌學園的發展情況的。
但由干老婆覃紅芳跟耿直聊得過久,苟友乾便主動放棄了這次機會。
耿直和顧婉檸幫兩位教授收拾完碗筷,便準備告辭。
就在耿直去衛生間的間隙,覃紅芳突然叫住顧婉檸,話裡有話道:「婉檸,小耿工作這麼辛苦,他還經常點外賣,肯定吃不好睡不好。你有沒有考慮辭了你那邊,來他身邊全力輔助他啊?」