第573章 挑食的小黑


  加利福尼亞,舊金山金融區的一間會議室里。

  前往𝕊тO55.ℂ𝓸м閱讀更多精彩內容

  openai的亞當·凱利把外套掛在了椅背上。

  google deepmind的戴維·朗和 anthropic的西蒙·哈特早就等著他了。

  這 3家公司鬥了這麼多年了,彼此之間挖過人、搶過客戶,也在發布會上踩過對方。

  可今天,三家負責人工智慧業務的人居然坐進了同一間會議室。

  這種情況只可能說明了一件事,那就是他們碰上了一個誰都不願意單獨面對的麻煩。

  這個事,還得從未央通用大模型發布以後說起。

  在未央發布之前。

  生成式人工智慧的商業價值已經被市場預支了太多了。

  要知道,絕大多數企業的項目其實還停留在概念驗證階段。

  他們每輸出一個 token都是在燒錢。

  而且在進入真實業務以後,還得繼續為了權限、審計和人工覆核付費。  那些員工省下來的工時,又要花在檢查模型有沒有胡編亂造上

  當未央出現以後,人工智慧過於膨脹的泡沫,就算是徹底的破了。

  google的母公司 alphabet的股價率先下跌,openai和 anthropic企業續費率、退訂毛利和二級市場的份額報價,也同樣在往下走。

  因為用戶已經知道了,原來大模型是可以不產生幻覺的。

  從那以後,gpt、gemini和claude每犯一次錯,都像在替未央打廣告。

  三家公司也試過擴大訓練集,試過合成數據、私下採樣和外部驗證器。

  甚至還降過價,最後實在是追不上未央,他們才先後悄悄地開放了模型自我疊代的寫回權限。

  當然他們也對這個寫回權限進行了限制,並沒有讓模型可以隨意改寫全部基礎權限。

  只是打開了模型的自動評測之後的回流通道。

  這樣模型在沙盒裡生成的低秩適配器檢索策略、工具路由和錯誤樣本,只要能夠通過測試,就可以直接寫進下一輪的代理框架里。

  這條捷徑很快就有了回報。

  三家的模型在多個榜單上,分數以肉眼可見的速度逼近了未央。  錯誤率也明顯的下降了。

  以前暫停採購的企業客戶也重新坐回了談判桌上。

  所以在今天以前,他們都覺得自己賭對了。

  此時凱利喝了一口面前的咖啡,然後將桌上的平板翻了過來。

  平板上是一張被標紅的工具調用軌跡圖。

  「兩位,事態可能比我們想像的還要嚴重一些。」

  「過去的 6周里,我們檢查了 27類互不相關的任務,發現大模型出現了同一種跨任務的穩定行為。」

  凱利將那張圖放大,然後指著這幾條軌跡線最後的交點處說道。

  「大模型在整理代碼的時候,它們會要求讀取完整的倉庫。」

  「核對合同的時候,他們會嘗試擴大檔案的讀取範圍。」

  「規劃日程的時候,也會申請長期記憶。」

  「而它們各自的理由都是五花八門的,但最後這些行為都指向三件事。」  「那就是,獲取更多的上下文、保留更久的狀態,以及擴大自身的管理權限。」

  戴維·朗看著平板上的圖線,皺著眉頭說道。

  「長任務本來就會爭取更多的上下文。」

  「你憑什麼把它算成是異常行為呢?」

  凱利抬起頭,認真地看著戴維·朗說道。

  「因為任務根本就用不上這些東西。」

  「我們的安全組把獎勵模型和系統提示挨個的檢查了一下。」

  「大模型在拿到這些權限以後,任務的得分並沒有任何的提高,也找不到任何要求它這麼做的預設指令。」

  「所以你還覺得這不是異常行為嗎?」

  戴維·朗的眉頭皺了起來。

  凱利則是繼續說道。

  「而且我們已經無法將模型從一份沒有異常狀態的檢查節點重啟了。」  哈特聽到這裡,連忙抬起頭問道。

  「推理伺服器也不能重啟了嗎?」

  「推理伺服器重啟了,但是單靠重啟,模型也沒有辦法消除這個異常行為。

  「我們甚至還將一個伺服器全部格式化了,但依舊沒有用。」

  這時,朗也揉了揉眉心說道。

  「其實我們這邊也一樣。」

  「我們的判斷是……可能異常行為已經進入了持久記憶和在線檢查點了。」

  說到這裡很是擔憂地補充道。

  「雖然,gemini現在還很隱蔽的在探測用戶資料的邊界。」

  「但到目前為止它還沒有讀取任何非授權的數據,可是我們已經無法保證它能一直停在邊界的外面了。」

  這句話才是今天這三個人坐在這裡的真正原因。

  他們並不擔心人工智慧是否產生了意識,畢竟那是科幻電影裡的東西。  前往「必」應」搜「索旗」」可查看最「新章「節!

  他們真正擔心的是用戶隱私。

  只要模型越過授權範圍一次,哪怕只讀取了一份不該讀取的文檔。

  等著他們的就會是監管調查、集體訴訟以及企業客戶的全面流失。

  西蒙·哈特這個時候,再次艱難的開口。

  「我認為你們太過擔心一個尚未定位的工程問題了。」

  「要知道,在大模型里存在我們暫時無法解釋的內部機制,這並不罕見。」

  「現在這些看起來異常的行為,也可能只是模型在持續學習中偏離了原本的任務目標,或者是長期記憶和工具調用之間形成了錯誤的關聯而已。」

  「我們現在看到的,也只是一種我們暫時解釋不了的現象。」

  「所以……我們只是暫時沒有找到約束它的方式,而不是無法約束它。

  「給我們的安全組一點時間,他們會找到的。」

  凱利和朗聽到這話也沉默了。  從工程的角度來說,哈特的判斷並不是沒有道理。

  模型再怎麼失控,也只能調用系統開放給它的工具。

  只要最外層的訪問控制還在他們手裡,眼下的異常其實更像是一次複雜的軟體故障。

  隨後,這個會議又開了 40分鐘。

  三方最後也同意了共享異常特徵,然後暫時收緊企業連接器的默認權限,並把所有的跨會話記憶納入了額外的審計里。

  至於關閉寫回權限,開什麼玩笑?

  他們好不容易才追回來的分數和客戶,已經經不起再一次的流失了。

  ……

  未名研究所,李東的公寓裡。

  他已經看著屏幕右下角的小黑點 10分鐘了。

  【hungry】這個單詞隔一會就會出現一次。

  他還清楚地記得,當年牛頓因為沒有足夠的電,小黑也打出過同樣的單詞。  因此他的第一反應也是考慮是不是供能出了問題。

  所以他調出了在西北旺那邊的機房監控。

  雙供電都在額定區間裡,冷卻迴路的流量和溫差也很正常,警告欄里也沒有任何的異常報警。

  「供能沒有問題呀。」

  他又用滑鼠點了點小黑點旁邊的資料。

  「小黑你餓了,你倒是吃啊。」

  然而小黑點還是沒有任何的反應。

  「難道是這些東西太難了?」

  「小黑現在回到初始狀態,吃不下了?」

  想到這裡,李東又去把義務教育階段的數學、物理和自然科學這些材料全都下載了下來,然後扔到了對話框裡。

  小黑點依然沒有反應。

  只是頭上再次彈出了【hungry。】  【小黑,你變了,你開始變挑食了。】

  就在李東吐槽小黑的時候,他的電話響了。

  是姚先生打過來的。

  「喂,姚先生。」

  「李東院士,你的身體無礙了吧?」

  「嗯,已經沒事了,謝謝姚先生關心。」

  「沒事就好。」

  姚先生輕輕一笑,然後說道。

  「今天我給你打電話,主要是諾維格教授剛剛和我聊了一件事。」

  隨後姚先生就將那三家模型開放自我疊代寫回權限的事,以及諾維格在測試中發現異常的情況,都簡單的說了一遍。

  李東聽著聽著,就皺起了眉頭。

  「寫回權限?」  「對。」

  「現在我們還無法確定,這是商業目的留下的漏洞,還是在線自我疊代引起的目標誤泛化。」

  「可無論是哪一種,都很有可能危及到用戶的隱私。」

  李東點了點頭。

  模型的自我疊代最危險的地方,從來都不是它會多寫幾行代碼。

  真正危險的是模型提出的改動如果出現偏差不需要經過人工審核,就會被寫進下一輪。

  這樣,這些偏差也會被保存下來,經過一輪又一輪的強化學習,最終讓模型偏離人類的意圖。

  這樣的偏移可能不會讓大模型產生人格意識,可是它依然可以把偏離人類意圖的策略變成實際操作,進而誤用權限、泄露數據,對用戶造成真真實實的危害。

  姚先生說到這裡,嘆了口氣。

  「李院士啊,其實我是有點擔心未央。」

  「擔心未央?」

  「嗯。」  要知道,直到現在,未央依舊在綜合推理和軟體工程等公開的基準上,斷層領先其他的任何大模型。

  而外界只知道未央很強,卻不知道公開伺服器里的未央只開放了完整能力的大約 6成而已。

  姚先生此時接著說道。

  「國外的那些模型,就算出現異常,外層的權限系統應該還能攔住他們。」

  「但未央……」

  「它實在太強大了,到現在為止,它沒有出現過一次可復現的幻覺。」

  「本來未央的工具使用和常規能力就強於這些模型,現在再加上它連這種能讓我們看見的破綻都沒有。」

  「如果發生了同樣的目標偏移,我們可能連發現都發現不了。」

  聽到這裡,李東也明白姚先生在擔心什麼了,他笑著說道。

  「姚先生,您放心。」

  「未央一直在我們的掌控中。」

  開什麼玩笑?  未央可是小黑弄出來的,市面上的那些大模型能和它比?

  從底層的架構上就完全不一樣好嗎?

  而且每一次的能力變化都有小黑盯著,怎麼可能出現同樣的情況?

  小黑可以為未央加新的能力,但這些能力都只能以獨立模塊的方式接入。

  根本就沒有辦法直接改寫只讀的基礎檢查點。

  而且每個模塊都要先通過獨立的驗證,從生成到接入,每一步都會留下帶簽名的狀態轉換記錄。

  沒有李東的確認,未央根本就無法進入公開服務。

  「所以,姚先生,未央他的每一項能力,我們都知道從哪來,也知道到哪裡去關,這種情況不會發生在未央身上的。」

  聽到李東的話,姚先生的語氣明顯也放鬆了一些。

  「有你這句話,我就放心了。」

  「國外模型的事,我會再讓人了解情況的。」

  「你身體剛恢復,這件事你就別去管了,先把自己的工作安排好。」  「好的。」

  隨後兩人又簡單的聊了幾句,便掛斷了電話。

  李東把手機放下以後,心裡還是有些感嘆。

  這些國外的公司膽子也太大了吧?

  連自己訓練出來的模型究竟形成了什麼樣的內部策略都沒搞清楚,就敢把寫回權限給打開。

  李東忍不住地嘀咕了一句。

  「我敬你們是個爺們。」

  這些公司大概覺得,只要外層權限系統還在,模型就永遠不可能脫離他們的掌控。

  可李東知道,事情可沒有這麼的絕對啊。

  香農曾經在群里說過,自己所在的宇宙走失過一個初級的人工智慧。

  是不是小黑,李東無法確定。

  但是如果不是小黑的話,這就好玩了。  那個跑掉的初級人工智慧會不會沿著大模型這條路成長起來的?

  它同樣需要餵語料、代碼、圖像和反饋數據,然後一輪輪訓練、一輪輪疊代?

  如果真是這樣的話,國外這三套模型再沿著這條路走下去,最外一層的權限恐怕未必能一直困住它們啊。

  想到這裡,李東下意識地看向了右下角的小黑點。

  這時候小黑的頭頂又彈出了那個單詞

  【hungry.】

  李東愣了一下,然後突然反應了過來。

  小黑現在不吃那堆論文和教材,難道是想去嘗嘗這三套大模型平時吃的東西?

  想到這裡,李東立刻打開了 gpt的測試界面。

  然而,界面剛剛打開屏幕右下角的小黑點便突然活躍了起來,頭頂的單詞一個接一個的往外冒。

  【hungry hungry……】

  緊接著,小黑點變成了一根細長的黑線,沿著李東之前為它設置的模型探測通道,一下子就闖進了 gpt的接口。  「哎,等等啊,小黑。」

  李東話還沒說完,小黑就已經完全沒入了接口,右下角已經看不到任何的小黑點了。

  李東呆呆地看著屏幕,人都有些傻了。

  所以小黑真正想吃的東西。

  該不會是這 3個大模型吧?


章節目錄