第572章 信息的本質!物質or能量?信息熵!


  第572章 信息的本質!物質or能量?信息熵!開創資訊理論先河!

  如果要問信息是什麼?

  恐怕很多人第一時間都非常疑惑。

  「信息就是信息啊,還能是什麼?」

  信息是一個非常抽象的概念。

  隨便寫一個字,一句話,或者是一篇文章,其中都包含了信息。

  此外,哪怕不用文字也能傳遞信息。

  比如華夏的烽火狼煙,就是靠煙塵傳遞軍事情報,並沒有使用任何文字信息。

  所以,任何人都能知道信息的含義。

  但是,如果要你給出信息的嚴格定義,並且如何去描述信息,恐怕大部分人就要抓瞎了。

  觀看本書最新章節,盡在🎆sto🍍55.com

  這不僅是普通人的問題,也是科學家的問題。

  真實歷史上,信息學的誕生和發展與物理學有著緊密的聯繫。

  20世紀初期,隨著電子、通信等技術的蓬勃發展,當時的工程師們遇到了一個問題。

  「如何表徵信息的量呢?」

  比如,你想要給遠方的親戚送點禮物。

  你可以在信中說,盒子裡有五種糕點,六種水果,還有一個小銅鏡等。

  這些數字都是精確的信息。

  親戚雖然無法親眼見到你,但是他在看到這些信息後,就能自己核對。

  這看起來是一個非常簡單的問題。

  但是,通信工程師們卻為此犯了愁。

  他們需要先把這些文字信息編碼成電子信息。

  然後,再通過翻譯、壓縮、控制等等手段,使其能夠在電線中以光速傳播。

  在這個過程中,不管是機器的計算要求,還是業務的收費要求,都需要清晰地知道信息的量到底有多少。

  那麼「五種糕點」和「六種芒果」哪個表述的信息量更大呢?

  或者,再來個更極端的例子,一張只有5個字的白紙,和一張只有500字的白紙,哪個的信息量更大?

  早期電報剛開始運營時,收費是直接按照所發字的數量來收。

  五個字比一個字貴。

  這就會引起疑問。

  「難道發五個字比一個字就更費電嗎?」

  這其中就涉及到了信息量的問題。

  這個問題在普通人看起來十分簡單,但如果想要從科學上進行嚴格證明那就非常困難了。

  後來,隨著計算機理論的出現,科學家們對於信息定量的需求越來越迫切。

  於是,資訊理論誕生了。

  它是專門研究信息的理論。

  真實歷史上,1948年,美國數學家、密碼學家香農發表了一篇震驚學界的論文:《通信的數學理論》。

  在這篇論文裡,香農首次提出了「信息熵」的概念。

  他借鑑了熱力學中關於熵的概念,把信息中排除了冗餘信息後的平均信息量稱為「信息熵」。

  在熱力學中,熵表示微觀系統可能的狀態數量,或者是混亂程度。

  而信息熵表示各個可能事件發生的概率。

  在論文中,香農給出了信息熵的數學表達公式:H(x)=-∑plogp(p表示事件發生的概率)。

  至此,對於信息的量化度量問題得到解決,科學家們以後就可以用定量的方式來研究信息。

  這時,可以給信息下一個較為嚴格的定義:

  「信息是用來消除不確定性的東西,不確定性越大,信息量越大。」

  但是這裡要注意一個問題。

  信息熵是建立在計算機通信、01編碼等基礎上的嚴格數學概念。

  它是專門為了計算機而誕生的一門理論科學。

  在具體操作和計算層面上,信息熵可以理解為存儲信息所需的最小比特數。

  而真實世界的信息熵計算是非常非常複雜的,甚至根本沒有辦法計算。

  一般都是通過信息熵的變化量來解決問題。

  此外,同樣的一句話,可能不同的人從這句話中得到的信息量都是不一樣的。

  比如同樣一張臉,有人得出「美」的信息,有人卻得出「丑」的信息。

  這種帶有聯想和個人經驗性質的抽象信息,不是香農提出的信息熵所包含的範圍。

  總之,香農發表這篇論文,提出信息熵概念,標誌著資訊理論的誕生。

  他本人也順理成章地被稱為「資訊理論之父」。

  資訊理論出現之後,計算機理論和技術得到了飛躍式的發展。

  並且催生出後來璀璨至極的資訊時代。

  這時,可能有人發現問題了。

  「咦?那信息和麥克斯韋妖有什麼關係?」

  「甚至它和物理學又有什麼關係嗎?」

  在資訊理論發展早期,沒有人能說清楚信息和真實物理世界的關係。

  信息仿佛是物質、能量之外的第三種存在方式。

  比如,一個蘋果放在那裡,關於它有很多信息,味道、質量、顏色等等。

  此刻若蘋果消失了,那麼物質和能量都消失了,但是關於蘋果的信息卻沒有消失。

  我們即便看不見蘋果了,也知道它的味道。

  但是從另一個角度看,信息又不能脫離物質和能量單獨存在。

  如果宇宙在下一刻,所有物質和能量突然消失,那麼宇宙中還存在信息嗎?

  或者說,此時的信息還有「意義」嗎?

  總之,信息和物質、能量的關係非常朦朧不清。

  這時,有人突發奇想:

  「如果信息和物理世界是統一的,那麼信息量也應該視為一種物理量。」

  但是這個觀點卻存在兩個問題。

  第一,在物理學中,描述一個物理系統的狀態,需要用到各種物理量,比如速度、能量等。

  這些物理量都有著自己的量綱,說明它們是通過測量得到的。

  比如熱力學中熵的量綱是J/K。

  但是信息熵卻只有單位,並沒有量綱。

  因為信息熵並不需要測量,而是通過數學計算事件發生的概率。

  量綱是表徵物理量性質的屬性,而單位僅僅表示物理量的大小。

  二者在本質上就有區別。

  所以,信息量能否當成物理量值得商榷。

  當然,這個問題可以通過擴大物理量的定義來解決。

  但是第二個問題就不好解決了。

  在物理學中,物理系統狀態的改變意味著需要對系統做功。

  而做功又代表了系統能量的變化。

  但是信息狀態的改變,或者說信息熵的改變,需要消耗能量嗎?

  比如,一張寫了5個字的紙和一張寫了100個字的紙,哪張紙的能量更大呢?

  又或者,你在電腦上打字,打完不滿意,你又把字全部刪除了。

  這個過程中,如果不考慮電阻等因素,請問信息的改變是否消耗能量了?

  這是一個非常有意思的問題。

  問題的本質可以總結為:信息和能量是否有關係?有什麼關係?

  解決這個問題的關鍵,其實就是熱力學中的「熵」。

  還記得克勞修斯提出的那個公式嗎?

  「dS=dQ/T。」

  在這個公式中,他把熵和熱量聯繫在了一起。

  進一步推廣,那就是熵的改變對應能量的改變。

  這可是了不得的發現。

  不過克勞修斯當時並沒有把這個公式當成一回事。

  他甚至都覺得熵這個概念是可有可無的東西。

  就好像是數學中的輔助線,有了它只是為了方便理解問題而已。

  把克勞修斯熵公式和玻爾茲曼的微觀熵公式結合在一起,我們就能對熵和能量進行精細的處理了。

  真實歷史上,資訊理論的另一位大佬,蘭道爾,把信息熵和熱力熵聯繫起來。

  他提出這樣一個觀點:「所有的信息都需要物理載體。」

  「在處理信息的同時,必然會對這些物理載體進行操作。」

  「而物理載體需要受到物理定律的約束。」

  比如計算機中的各種信息都是存儲在硬碟上。

  我們在修改信息的時候,其實在微觀層面上,對組成硬碟的物質進行了操作。

  如此一來,蘭道爾就把信息和物理世界串聯起來了。

  正是在這一思想的指導下,他於1961年提出了著名的蘭道爾原理。

  「擦除1比特的信息,至少需要向環境中耗散kTln2的能量」。

  其中,k表示玻爾茲曼常數,T表示環境溫度。

  通過公式轉換,該原理可以變成另一種表述方式:

  「擦除1比特的信息,會導致環境的熵至少增加kln2。」

  蘭道爾原理讓信息不再游離於物理世界之外,而是和物理實體有了深刻的聯繫。

  後來,更是有大佬豪言道:「宇宙就是一台量子計算機。」

  又有大佬說:「萬物源於量子比特。」

  不過,這些觀點目前看都太虛無縹緲了。

  但是很快,物理學家就找到一個資訊理論改變物理學的例子。

  那就是在香農和蘭道爾的基礎上,可以從信息的角度完美地解釋麥克斯韋妖猜想!

  而現在,不要說蘭道爾原理,就連香農都還只是個小屁孩呢。

  資訊理論連影子都沒有。

  因此,在場眾人,包括物理大佬們,對於信息的內涵知之甚少。

  當他們聽到「信息」這個詞後,皆是滿臉震撼。

  隨即又充滿了疑惑。

  因為「信息」這個詞好像已經超脫了物理學的範疇。

  「信息是什麼角度?」

  「麥克斯韋妖怎麼和會信息有關呢?」

  「物理學中好像沒有信息這個物理量吧?」

  眾人瞬間議論紛紛。

  奧本海默、汪德昭等人瞪大了雙眼。

  布魯斯教授難道又要提出一個全新的理論?

  「從來沒有人從信息的角度思考過物理學問題。」

  「這個觀點太創新了!」

  「實在難以想像,信息怎麼會和物理學產生聯繫。」

  郎之萬、德布羅意等大佬神色激動,眼神銳利。

  在他們看來,這個觀點非常有意思。

  眾人雖然對信息不了解,那是因為這門理論還沒有出現,根本沒有人系統地研究過。

  但是這不代表大家不知道信息是什麼意思。

  一個電子,它的質量、電荷、運動速度等等,都是信息的一種。

  物理存在的狀態集合,就是信息。

  這些都是對信息的簡單總結。

  但信息又要怎麼影響到物理存在本身呢?

  大佬們都極度好奇,布魯斯教授會如何解釋信息。

  在眾人的期待下,李奇維微微一笑,繼續說道:

  「在座的諸位如果對工業界有所了解,就應該知道,隨著二極體、三極體等電子元器件的發明,通信領域迎來了革新。」

  「但新的發展往往會帶來新的問題。」

  「不久前,布魯斯集團旗下的一位通信工程師,提出了一個非常有意思的問題。」

  「那就是:我們要如何度量信息呢?」

  「該工程師在研究產品時發現,精確地知道信息的大小和多少是非常重要的事情。」

  「但是目前物理學界並沒有專門針對信息的理論。」

  「所以,他也只能不了了之。」

  「不過,當我無意間看到這個問題時,卻突然產生了興趣。」

  「我倒是覺得這個問題非常值得深入研究下去。」

  嘩!

  眾人皆是一驚!

  大家一方面驚訝於布魯斯集團在產品研發領域的創新性。

  另一方面,更是驚訝於布魯斯教授竟然如此看重一個工程師的問題。

  以對方現在的地位,和工程師簡直是雲泥之別。

  但是布魯斯教授依然對未知事物充滿了好奇心。

  眾人頓時肅然起敬。

  不過這依然不能打消大家的疑問:

  「信息和麥克斯韋妖有什麼關係?」

  這時,李奇維繼續說道:

  「在熱力學中,熵是表徵系統混亂度的物理量。」

  「一個內部原子規則排列的晶體,它的熵肯定小於同樣大小的玻璃。」

  「那麼我們發散思維去想,信息是不是有類似的現象呢?」

  「比如,有的人演講半天,一個重點信息都沒有,全是廢話。」

  「而我布魯斯演講,全是乾貨,每隔幾分鐘就會贏得大家的喝彩。」

  「這說明我演講的信息量大,而其他人演講的信息量小。」

  眾人哈哈大笑,布魯斯教授還是那麼自信且幽默。

  「再深入一點考慮,全是廢話的演講,信息混亂,而全是乾貨的演講,信息有條理。」

  「這和物理系統中的混亂度何其相似?」

  「所以,我大膽地提出一個概念:信息熵!」

  「它表示一段信息中所含有的有效信息的總量。」

  「這是類比熱力學熵的概念。」

  「我認為信息就是消除不確定性的手段。」

  「由於我對通信領域不太了解,所以給不出嚴格的數學表達式。」

  「不過,我們以信息熵為基礎,可以通過概念邏輯繼續往下推導。」

  嘩!

  全場駭然!


章節目錄