第572章 信息的本質!物質or能量?信息熵!
第572章 信息的本質!物質or能量?信息熵!開創資訊理論先河!
如果要問信息是什麼?
恐怕很多人第一時間都非常疑惑。
「信息就是信息啊,還能是什麼?」
信息是一個非常抽象的概念。
隨便寫一個字,一句話,或者是一篇文章,其中都包含了信息。
此外,哪怕不用文字也能傳遞信息。
比如華夏的烽火狼煙,就是靠煙塵傳遞軍事情報,並沒有使用任何文字信息。
所以,任何人都能知道信息的含義。
但是,如果要你給出信息的嚴格定義,並且如何去描述信息,恐怕大部分人就要抓瞎了。
觀看本書最新章節,盡在🎆sto🍍55.com
這不僅是普通人的問題,也是科學家的問題。
真實歷史上,信息學的誕生和發展與物理學有著緊密的聯繫。
20世紀初期,隨著電子、通信等技術的蓬勃發展,當時的工程師們遇到了一個問題。
「如何表徵信息的量呢?」
比如,你想要給遠方的親戚送點禮物。
你可以在信中說,盒子裡有五種糕點,六種水果,還有一個小銅鏡等。
這些數字都是精確的信息。
親戚雖然無法親眼見到你,但是他在看到這些信息後,就能自己核對。
這看起來是一個非常簡單的問題。
但是,通信工程師們卻為此犯了愁。
他們需要先把這些文字信息編碼成電子信息。
然後,再通過翻譯、壓縮、控制等等手段,使其能夠在電線中以光速傳播。
在這個過程中,不管是機器的計算要求,還是業務的收費要求,都需要清晰地知道信息的量到底有多少。
那麼「五種糕點」和「六種芒果」哪個表述的信息量更大呢?
或者,再來個更極端的例子,一張只有5個字的白紙,和一張只有500字的白紙,哪個的信息量更大?
早期電報剛開始運營時,收費是直接按照所發字的數量來收。
五個字比一個字貴。
這就會引起疑問。
「難道發五個字比一個字就更費電嗎?」
這其中就涉及到了信息量的問題。
這個問題在普通人看起來十分簡單,但如果想要從科學上進行嚴格證明那就非常困難了。
後來,隨著計算機理論的出現,科學家們對於信息定量的需求越來越迫切。
於是,資訊理論誕生了。
它是專門研究信息的理論。
真實歷史上,1948年,美國數學家、密碼學家香農發表了一篇震驚學界的論文:《通信的數學理論》。
在這篇論文裡,香農首次提出了「信息熵」的概念。
他借鑑了熱力學中關於熵的概念,把信息中排除了冗餘信息後的平均信息量稱為「信息熵」。
在熱力學中,熵表示微觀系統可能的狀態數量,或者是混亂程度。
而信息熵表示各個可能事件發生的概率。
在論文中,香農給出了信息熵的數學表達公式:H(x)=-∑plogp(p表示事件發生的概率)。
至此,對於信息的量化度量問題得到解決,科學家們以後就可以用定量的方式來研究信息。
這時,可以給信息下一個較為嚴格的定義:
「信息是用來消除不確定性的東西,不確定性越大,信息量越大。」
但是這裡要注意一個問題。
信息熵是建立在計算機通信、01編碼等基礎上的嚴格數學概念。
它是專門為了計算機而誕生的一門理論科學。
在具體操作和計算層面上,信息熵可以理解為存儲信息所需的最小比特數。
而真實世界的信息熵計算是非常非常複雜的,甚至根本沒有辦法計算。
一般都是通過信息熵的變化量來解決問題。
此外,同樣的一句話,可能不同的人從這句話中得到的信息量都是不一樣的。
比如同樣一張臉,有人得出「美」的信息,有人卻得出「丑」的信息。
這種帶有聯想和個人經驗性質的抽象信息,不是香農提出的信息熵所包含的範圍。
總之,香農發表這篇論文,提出信息熵概念,標誌著資訊理論的誕生。
他本人也順理成章地被稱為「資訊理論之父」。
資訊理論出現之後,計算機理論和技術得到了飛躍式的發展。
並且催生出後來璀璨至極的資訊時代。
這時,可能有人發現問題了。
「咦?那信息和麥克斯韋妖有什麼關係?」
「甚至它和物理學又有什麼關係嗎?」
在資訊理論發展早期,沒有人能說清楚信息和真實物理世界的關係。
信息仿佛是物質、能量之外的第三種存在方式。
比如,一個蘋果放在那裡,關於它有很多信息,味道、質量、顏色等等。
此刻若蘋果消失了,那麼物質和能量都消失了,但是關於蘋果的信息卻沒有消失。
我們即便看不見蘋果了,也知道它的味道。
但是從另一個角度看,信息又不能脫離物質和能量單獨存在。
如果宇宙在下一刻,所有物質和能量突然消失,那麼宇宙中還存在信息嗎?
或者說,此時的信息還有「意義」嗎?
總之,信息和物質、能量的關係非常朦朧不清。
這時,有人突發奇想:
「如果信息和物理世界是統一的,那麼信息量也應該視為一種物理量。」
但是這個觀點卻存在兩個問題。
第一,在物理學中,描述一個物理系統的狀態,需要用到各種物理量,比如速度、能量等。
這些物理量都有著自己的量綱,說明它們是通過測量得到的。
比如熱力學中熵的量綱是J/K。
但是信息熵卻只有單位,並沒有量綱。
因為信息熵並不需要測量,而是通過數學計算事件發生的概率。
量綱是表徵物理量性質的屬性,而單位僅僅表示物理量的大小。
二者在本質上就有區別。
所以,信息量能否當成物理量值得商榷。
當然,這個問題可以通過擴大物理量的定義來解決。
但是第二個問題就不好解決了。
在物理學中,物理系統狀態的改變意味著需要對系統做功。
而做功又代表了系統能量的變化。
但是信息狀態的改變,或者說信息熵的改變,需要消耗能量嗎?
比如,一張寫了5個字的紙和一張寫了100個字的紙,哪張紙的能量更大呢?
又或者,你在電腦上打字,打完不滿意,你又把字全部刪除了。
這個過程中,如果不考慮電阻等因素,請問信息的改變是否消耗能量了?
這是一個非常有意思的問題。
問題的本質可以總結為:信息和能量是否有關係?有什麼關係?
解決這個問題的關鍵,其實就是熱力學中的「熵」。
還記得克勞修斯提出的那個公式嗎?
「dS=dQ/T。」
在這個公式中,他把熵和熱量聯繫在了一起。
進一步推廣,那就是熵的改變對應能量的改變。
這可是了不得的發現。
不過克勞修斯當時並沒有把這個公式當成一回事。
他甚至都覺得熵這個概念是可有可無的東西。
就好像是數學中的輔助線,有了它只是為了方便理解問題而已。
把克勞修斯熵公式和玻爾茲曼的微觀熵公式結合在一起,我們就能對熵和能量進行精細的處理了。
真實歷史上,資訊理論的另一位大佬,蘭道爾,把信息熵和熱力熵聯繫起來。
他提出這樣一個觀點:「所有的信息都需要物理載體。」
「在處理信息的同時,必然會對這些物理載體進行操作。」
「而物理載體需要受到物理定律的約束。」
比如計算機中的各種信息都是存儲在硬碟上。
我們在修改信息的時候,其實在微觀層面上,對組成硬碟的物質進行了操作。
如此一來,蘭道爾就把信息和物理世界串聯起來了。
正是在這一思想的指導下,他於1961年提出了著名的蘭道爾原理。
「擦除1比特的信息,至少需要向環境中耗散kTln2的能量」。
其中,k表示玻爾茲曼常數,T表示環境溫度。
通過公式轉換,該原理可以變成另一種表述方式:
「擦除1比特的信息,會導致環境的熵至少增加kln2。」
蘭道爾原理讓信息不再游離於物理世界之外,而是和物理實體有了深刻的聯繫。
後來,更是有大佬豪言道:「宇宙就是一台量子計算機。」
又有大佬說:「萬物源於量子比特。」
不過,這些觀點目前看都太虛無縹緲了。
但是很快,物理學家就找到一個資訊理論改變物理學的例子。
那就是在香農和蘭道爾的基礎上,可以從信息的角度完美地解釋麥克斯韋妖猜想!
而現在,不要說蘭道爾原理,就連香農都還只是個小屁孩呢。
資訊理論連影子都沒有。
因此,在場眾人,包括物理大佬們,對於信息的內涵知之甚少。
當他們聽到「信息」這個詞後,皆是滿臉震撼。
隨即又充滿了疑惑。
因為「信息」這個詞好像已經超脫了物理學的範疇。
「信息是什麼角度?」
「麥克斯韋妖怎麼和會信息有關呢?」
「物理學中好像沒有信息這個物理量吧?」
眾人瞬間議論紛紛。
奧本海默、汪德昭等人瞪大了雙眼。
布魯斯教授難道又要提出一個全新的理論?
「從來沒有人從信息的角度思考過物理學問題。」
「這個觀點太創新了!」
「實在難以想像,信息怎麼會和物理學產生聯繫。」
郎之萬、德布羅意等大佬神色激動,眼神銳利。
在他們看來,這個觀點非常有意思。
眾人雖然對信息不了解,那是因為這門理論還沒有出現,根本沒有人系統地研究過。
但是這不代表大家不知道信息是什麼意思。
一個電子,它的質量、電荷、運動速度等等,都是信息的一種。
物理存在的狀態集合,就是信息。
這些都是對信息的簡單總結。
但信息又要怎麼影響到物理存在本身呢?
大佬們都極度好奇,布魯斯教授會如何解釋信息。
在眾人的期待下,李奇維微微一笑,繼續說道:
「在座的諸位如果對工業界有所了解,就應該知道,隨著二極體、三極體等電子元器件的發明,通信領域迎來了革新。」
「但新的發展往往會帶來新的問題。」
「不久前,布魯斯集團旗下的一位通信工程師,提出了一個非常有意思的問題。」
「那就是:我們要如何度量信息呢?」
「該工程師在研究產品時發現,精確地知道信息的大小和多少是非常重要的事情。」
「但是目前物理學界並沒有專門針對信息的理論。」
「所以,他也只能不了了之。」
「不過,當我無意間看到這個問題時,卻突然產生了興趣。」
「我倒是覺得這個問題非常值得深入研究下去。」
嘩!
眾人皆是一驚!
大家一方面驚訝於布魯斯集團在產品研發領域的創新性。
另一方面,更是驚訝於布魯斯教授竟然如此看重一個工程師的問題。
以對方現在的地位,和工程師簡直是雲泥之別。
但是布魯斯教授依然對未知事物充滿了好奇心。
眾人頓時肅然起敬。
不過這依然不能打消大家的疑問:
「信息和麥克斯韋妖有什麼關係?」
這時,李奇維繼續說道:
「在熱力學中,熵是表徵系統混亂度的物理量。」
「一個內部原子規則排列的晶體,它的熵肯定小於同樣大小的玻璃。」
「那麼我們發散思維去想,信息是不是有類似的現象呢?」
「比如,有的人演講半天,一個重點信息都沒有,全是廢話。」
「而我布魯斯演講,全是乾貨,每隔幾分鐘就會贏得大家的喝彩。」
「這說明我演講的信息量大,而其他人演講的信息量小。」
眾人哈哈大笑,布魯斯教授還是那麼自信且幽默。
「再深入一點考慮,全是廢話的演講,信息混亂,而全是乾貨的演講,信息有條理。」
「這和物理系統中的混亂度何其相似?」
「所以,我大膽地提出一個概念:信息熵!」
「它表示一段信息中所含有的有效信息的總量。」
「這是類比熱力學熵的概念。」
「我認為信息就是消除不確定性的手段。」
「由於我對通信領域不太了解,所以給不出嚴格的數學表達式。」
「不過,我們以信息熵為基礎,可以通過概念邏輯繼續往下推導。」
嘩!
全場駭然!