第591章 貓零的人設,被折服的深度求索技術團隊
第二天上午。
梁鋒就帶著人準時出現在了未名研究院的辦公室里。
交接過程也很簡單。
梁鋒拿出他親身攜帶的一個加密保護箱,然後從中取出一塊硬碟,直接拷貝了林葉電腦上面的數據包。
當然,整個數據包的體積並不大,拷貝進度條只跑了幾分鐘就結束了。
這主要是因為,林葉交給他們的僅僅是大模型的底層算法架構。
在a領域,真正的大模型之所以動輒幾十上百個b甚至幾個tb,是因為裡面包含了經過海量算力訓練後,幾百上千億個參數被賦予的具體數值,也就是俗稱的權重。
而貓零搞出來的這套架構,本質上只是一套純數學工程規則和門控路由邏輯。
只有等梁鋒把這套架構帶回去,部署在螢火二號裡面,日夜不停地給它投餵海量的語料和數據,隨著訓練的不斷深入,參數被不斷激活與固化,這套代碼才會逐漸發展為一套完整的大語言模型。
閱讀更多內容,盡在s🍀to55.co🌠m
不多時,隨著拷貝完成,梁鋒便如獲至寶地將硬碟拔下,貼身放回了保護箱裡。
「林教授,東西我拿到了。」梁鋒站直身體,神色鄭重地說道,「我馬上飛回杭城,回去之後,我就會立刻安排團隊成員進行分析和工程適配工作。」
林葉點了點頭,平靜地說道:「剩下的體力活,就看你們的了。」 「明白。」梁鋒點頭應下。
不過,就在準備離開的時候,梁鋒忽然轉過頭,在寬敞的院長辦公室里四下張望了一圈,似乎在尋找什麼人。
「對了,林教授,令茂令助理今天沒在嗎?」梁鋒有些好地問道。
聽到這個名字,林葉微微一怔,隨後才反應過來,梁鋒說的是正在扮演令茂的貓零。
看著梁鋒那尋找的目光,林葉心裡不由有些想笑,但面上依然不動聲色,只是笑著搖了搖頭。
「他今天不在。」林葉說道,「小茂這個人,性格比較特殊,他是個重度社恐患者,極度內向。」
「這小子在網絡上敲鍵盤聊技術的時候,十分健談,可以說是指點江山的程度,但如果你想約他線下見面的話,他基本上是百八十個不願意的,見光死。」
說到這,林葉心中暗自覺好笑。
這個網絡鍵盤俠和社恐技術宅的人設,就是貓零給自己精心設計的。
不不說,這個人設也完美契合了貓零當前的定位。
有了這個人設,以後不管是梁鋒還是新公司的其他人想要見見這位技術大神,都可以用這套理由光明正大地給推掉。
而在這個民間高手滿地走的程式設計師圈子裡,技術越牛的人脾氣越怪,這簡直是常識。 所以,哪怕其他人覺令茂總是不露面有些怪,大概也只會把他當成一個有著嚴重社交障礙的頂級技術怪人罷了,絕對不會產生其他的懷疑。
:
聽到林葉的說明,梁鋒頓時露出了恍然大悟的表情。
「難怪。」梁鋒苦笑了一聲,「昨天您把他的信推給我之後,我加上他簡單交流了一下,這位的能力,我可以說是心服口服的。」
「我本來還想說,趁著今天親自來上京,專門找個地方請他坐一坐,深入聊一下技術路線,結果剛提出來,就被他拒絕了。」
林葉強忍住笑意,點頭道:「他就是這樣的人。」
「確實有些可惜。」梁鋒嘆了口氣,「這麼看來,以後就算是碰到難點,也沒機會叫令助理去杭城公司現場指導一下了。」
「真不用管他。」林葉笑著擺了擺手,「令茂這性格,就連我這當老闆的,絕大多數時候也都只能通過線上給他派活兒,不過搞底層代碼的,遇到問題在線上跑個日誌,弄個屏幕共享也完全足夠解決了。」
梁鋒想了想也是,搞算法搞軟體的嘛,能寫出代碼就行,要什麼社交能力?
他還是慣性思維了。
於是他笑著點了點頭:「您說的是。」
看了看手錶,時間確實很緊了,梁鋒便不再多做打擾,提起加密保護箱向林葉告辭:「林教授,那我就先走了,馬上還要趕回去的飛機。」 「好,一路順風,等你們的好消息。」
林葉將梁鋒送出了門。
看著梁鋒一行人匆匆離去的背影,林葉轉身關上了辦公室的門。
回到書桌前,他就在電腦上調出了和貓零的對話框。
【林葉:干不錯,你這個人設立很穩,梁鋒剛才還在這兒誇你技術牛逼呢。】
很快,對話框裡就彈出了貓零帶著幾分意的回覆。
【貓零:嘿嘿,那是當然!根據我在人類網際網路上統計的心理學模型,技術越強的程式設計師,越不愛跟人打交道,這叫天才的孤傲!主人放心,我絕不露餡!<(~︶~)>】
林葉啞然失笑。
他沒有再多說什麼,隨手將屏幕切回了靜默狀態。
接下來可以專心繼續自己的研究了。
……
另外一邊。 飛機平穩降落在杭城機場。
梁鋒拎著那隻保護箱,帶著團隊馬不停蹄地直奔剛剛掛牌的深度求索公司總部所在的寫字樓。
一進公司大門,梁鋒連口水都沒來及喝,直接轉身對身旁的助理吩咐道:「立刻去通知技術部所有人,十分鐘後,在一號會議室開會,所有人不准請假。」
:
「好的梁總。」助理點點頭,立刻快步跑去傳達指令。
趁著團隊集結的空檔,梁鋒走進了自己的獨立辦公室。
他將保護箱放在辦公桌上,輸入密碼打開,小心翼翼地取出那塊硬碟,然後接入了桌上的一台工作站終端。
「讓我先看看,林教授和那位令茂助理,到底搞出來了個什麼東西……」
梁鋒深吸了一口氣,點開了硬碟里的數據包。
隨著編輯器中一行行底層的和a代碼鋪滿屏幕,梁鋒推了推眼鏡,目光瞬間變專注起來。
要知道,他雖然是個千億私募的老闆,但他可不是那種只懂看財務報表的純外行。
他對a深度學習、神經網絡和自然語言處理底層邏輯的了解,可以說是極為深入,不然的話,他現在也不至於有這眼光和魄力來進入a大模型的賽道。 但此時此刻,看著屏幕上這套大模型算法的核心代碼,梁鋒卻越看越心驚。
甚至到了最後,他的眉頭直接擰成了一個疙瘩。
看不懂。
或者說,這代碼里的物理邏輯和數學原理,完全超出了他的認知框架。
他能看出來這是在m架構的基礎上做的改動,但他完全想不通,為什麼在處理參數路由分發的時候,代碼會莫名其妙地調用一組張量偏微分方程,直接繞過了傳統的計算路徑,強行抄了一條捷徑!
「這種門控權重的分配方式……簡直聞所未聞,這背後絕對關係到什麼高深的數學技巧……」
梁鋒喃喃自語著,只覺深不可測。
不過,雖然底層的數學原理看不懂,但作為資深程式設計師,代碼本身寫好不好,他還是能一眼看出來的。
這些代碼沒有一絲一毫的累贅,所有的內存調度、並發控制、多線程通信,全都寫如同教科書般精準且優雅,堪稱完美的藝術品。
哪怕是看起來,也讓他感到十分舒服。
「真是漂亮……」
梁鋒往椅背上一靠,由衷地發出了一聲感慨。 這一刻,他對那位未曾謀面的令茂助理的技術水平,有了一個更深入的認知。
……
十分鐘後,會議室。
當梁鋒推開門走進去的時候,十幾名公司的核心技術骨幹已經全部到齊,正襟危坐。
「梁總,您剛下飛機就急著叫我們過來,是不是拿到那位林教授搞出來的算法了?!」
:
梁鋒剛一進門,坐在首位左側的一個男人就有些按捺不住地站了起來,眼神里滿是熾熱的期待。
說話的這人叫高左。
三十出頭,是梁鋒名下方幻a公司的頭號技術大將。
方幻a,原本是專門為方幻量化基金提供數據清洗和深度學習工具支撐的技術子公司,這裡面的人全都是純粹的技術人員,本身不懂金融和量化交易,只負責算法和算力。
現在,隨著深度求索公司的創辦,梁鋒直接把方幻a的核心技術班底和勞動關係,全部平移到了新公司的名下。
可以說,坐在這間會議室里的人,就是他手下最懂a大模型的那批頂尖工程師了。 而高左,更是這群人里的核心。
此前那套試圖優化算力成本的m架構設想,很大一部分就是由他和梁鋒在無數個日夜裡熬出來的。
同時,作為技術狂人,他也算是林葉的狂熱粉絲,對林葉在物理和數學界的能力可謂是推崇備至。
看著高左那雙充滿期待的眼睛,梁鋒笑著點了點頭。
「沒錯,拿到了。」
梁鋒走到主位上,將手裡的筆記本電腦連上會議室的投影大屏,沉聲道:「底部的算法框架已經搞定,現在,我們需要開始對這套模型進行分析,確立一下後續的訓練工程規劃。」
算法模型寫再好,那也只是圖紙。
如何去清洗數據、如何安排顯存切分、如何用他們能夠調動的算力去高效地跑完預訓練,這是另一件複雜的工程。
也是另外一套技術門檻。
如果別人拿到了他們的算法模型,但是不知道他們是怎麼訓練的,最終訓練成果也只會是天差地別。
而這部分,可就不在梁鋒準備開源的項目之內,將會是他們真正的護城河。
隨著梁鋒按下回車鍵,大屏上瞬間投射出了密密麻麻的核心路由代碼。 「大家先看一下核心的門控分發模塊吧,這是之前高左提出來的設想,林教授在那上面做了改動。」梁鋒說道。
話音剛落,高左的目光立馬鎖定了屏幕。
起初,他眼底還帶著一絲想要看看大神是怎麼實現自己構想的期待。
但緊接著,僅僅看了不到一分鐘,他整個人就猛地從座位上站了起來。
「這……這不對啊……」
高左瞪大了眼睛,嘴裡不由自主地念叨著,甚至因為激動,直接快步走到了大屏幕前,恨不把臉貼在上面。
「高總監,怎麼了?」旁邊的幾個工程師被他嚇了一跳,連忙問道,「是代碼有b嗎?」
:
「有個屁的b!是這算法……太特麼嚇人了!」
高左的聲音充滿著激動,他指著屏幕上一段調用了高階張量的代碼,如同看到了鬼一樣:「你們看這裡!傳統的m,在分發tkn的時候,必須經過全連接層去算概率對吧?」
「但是你們看他寫的這幾行!他沒有去算概率!他在這裡嵌入了一個我完全看不懂的數學算子,然後就直接把tkn給丟到正確的專家模型里去了!」
高左猛地轉過頭,看著梁鋒,激動地說道:「梁總,這絕對不是我之前設想的那種稀疏門控……這特麼很可能是用了什麼拓撲數學邏輯,直接就在代碼層面上抄了近道啊!」 「如果我們真的能把它在p上跑起來,算力成本絕對能夠輕鬆降低好幾倍!」
整個會議室瞬間陷入了一片安靜中。
所有懂行的工程師都倒吸了一口冷氣,紛紛湊近屏幕,越看越覺不可思議。
用拓撲技巧來優化大語言模型的路由分發?
這是怎麼想出來的?!
高左站在屏幕前,深吸了一口氣,滿臉通紅地憋出了一句話:「林教授……真不愧是林教授啊!」
看著群情激奮,已經被那十幾行代碼徹底折服的技術團隊,梁鋒的嘴角勾起了一抹滿意的笑容。
他知道,士氣已經徹底被點燃了。
「好了,感慨留到以後再說。」梁鋒目光掃視過全場,「架構林教授已經給咱們搭好了,接下來的體力活,就看咱們的了。」
「從今天開始,咱們要以最快的速度確立工程規劃,打通數據流水線!」
「我希望能夠在最短的時間內,讓這套算法,真正在我們的伺服器里跑起來!」
「爭取以最快的速度,讓我們的深度求索模型,真正問世!」 「明白!!」高左大吼一聲,整個會議室里的所有人,摩拳擦掌,熱血沸騰。
: