香農(nóng)的兩大貢獻(xiàn):一是信息理論、信息熵的概念;另一是符號邏輯和開關(guān)理論。香農(nóng)的信息論為明確什么是信息量概念作出決定性的貢獻(xiàn)。
1936年香農(nóng)在密西根大學(xué)獲得數(shù)學(xué)與電氣工程學(xué)士學(xué)位,然后進(jìn)入MIT念研究生。1938年香農(nóng)在MIT獲得電氣工程碩士學(xué)位,碩士論文題目是《繼電器與開關(guān)電路的符號分析》。當(dāng)時(shí)他已經(jīng)注意到電話交換電路與布爾代數(shù)之間的類似性,即把布爾代數(shù)的“真”與“假”和電路系統(tǒng)的“開”與“關(guān)”對應(yīng)起來,并用1和0表示。于是他用布爾代數(shù)分析并優(yōu)化開關(guān)電路,這就奠定了數(shù)字電路的理論基礎(chǔ)。哈佛大學(xué)的
Howard Gardner教授說,“這可能是本世紀(jì)最重要、最著名的一篇碩士論文。
1940年香農(nóng)在MIT獲得數(shù)學(xué)博士學(xué)位,而他的博士論文卻是關(guān)于人類遺傳學(xué)的,題目是《理論遺傳學(xué)的代數(shù)學(xué)》。說明香農(nóng)的興趣十分廣泛,后來他在不同的學(xué)科方面發(fā)表過許多有影響的文章。在讀學(xué)位的同時(shí),他還用部分時(shí)間跟溫尼法·布什教授進(jìn)行微分分析器的研究。這種分析器是早期的機(jī)械模擬計(jì)算機(jī),用于獲得常微分方程的數(shù)值解。1941年香農(nóng)發(fā)表了《微分分析器的數(shù)學(xué)理論》,他寫道:“大多數(shù)結(jié)果通過證明的定理形式給出。最重要的是處理了一些條件,有些條件可以生成一個(gè)或多個(gè)變量的函數(shù),有些條件可使常微分方程得到解。還給出了一些注意事項(xiàng),給出求函數(shù)的近似值、求調(diào)整率的近似值以及自動(dòng)控制速率的方法!
1941年香農(nóng)以數(shù)學(xué)研究員的身份進(jìn)入新澤西州的AT&T貝爾電話公司,并在貝爾實(shí)驗(yàn)室工作到1972年,從24歲到55歲,整整31年。香農(nóng)與John Riordan一起工作,1942年發(fā)表了一篇關(guān)于串并聯(lián)網(wǎng)絡(luò)的雙終端數(shù)的論文。這篇論文擴(kuò)展了麥克馬洪1892年在Electrician上發(fā)表的論文理論。1948年香農(nóng)在發(fā)表了《通訊的數(shù)學(xué)理論
》,創(chuàng)立了信息論。
在二次世界大戰(zhàn)時(shí),香農(nóng)博士也是一位著名的密碼破譯者(這使人聯(lián)想到比他大4歲的圖靈博士)。他在貝爾的破譯團(tuán)隊(duì)主要是追蹤德國飛機(jī)和火箭,尤其是在德國火箭對英國進(jìn)行閃電戰(zhàn)時(shí)起了很大作用。1949年香農(nóng)發(fā)表了另外一篇重要論文《保密系統(tǒng)的通信理論》,正是基于這種工作實(shí)踐,它的意義是使保密通信由藝術(shù)變成科學(xué)。
熵的概念
香農(nóng)理論的重要特征是熵(entropy)的概念,他證明熵與信息內(nèi)容的不確定程度有等價(jià)關(guān)系。熵曾經(jīng)是波爾茲曼在熱力學(xué)第二定律引入的概念,我們可以把它理解為分子運(yùn)動(dòng)的混亂度。信息熵也有類似意義,例如在中文信息處理時(shí),漢字的靜態(tài)平均信息熵比較大,中文是9.65比特,英文是4.03比特。這表明中文的復(fù)雜程度高于英文,反映了中文詞義豐富、行文簡練,但處理難度也大。信息熵大,意味著不確定性也大。因此我們應(yīng)該深入研究,以尋求中文信息處理的深層突破。不能盲目認(rèn)為漢字是世界上最優(yōu)美的文字,從而引申出漢字最容易處理的錯(cuò)誤結(jié)論。
眾所周知,質(zhì)量、能量和信息量是三個(gè)非常重要的量。人們很早就知道用秤或者天平計(jì)量物質(zhì)的質(zhì)量,而熱量和功的關(guān)系則是到了19世紀(jì)中葉,隨著熱功當(dāng)量的明確和能量守恒定律的建立才逐漸清楚。能量一詞就是它們的總稱,而能量的計(jì)量則通過“卡、焦耳”等新單位的出現(xiàn)而得到解決。然而,關(guān)于文字、數(shù)字、圖畫、聲音的知識已有幾千年歷史了。但是它們的總稱是什么,它們?nèi)绾谓y(tǒng)一地計(jì)量,直到19世紀(jì)末還沒有被正確地提出來,更談不上如何去解決了。
20世紀(jì)初期,隨著電報(bào)、電話、照片、電視、無線電、雷達(dá)等的發(fā)展,如何計(jì)量信號中信息量的問題被隱約地提上日程。1928年哈特利(R.V. H. Harley)考慮到從D個(gè)彼此不同的符號中取出N個(gè)符號并且組成一個(gè)“詞”的問題。如果各個(gè)符號出現(xiàn)的概率相同,而且是完全隨機(jī)選取的,就可以得到DN個(gè)不同的詞。從這些詞里取了特定的一個(gè)就對應(yīng)一個(gè)信息量I。哈特利建議用N log D這個(gè)量表示信息量,即I=N log D 。這里的log表示以10為底的對數(shù)。后來,1949年控制論的創(chuàng)始人維納也研究了度量信息的問題,還把它引向熱力學(xué)第二定律。但是就信息傳輸給出基本數(shù)學(xué)模型的核心人物是香農(nóng)。1948年香農(nóng)長達(dá)數(shù)十頁的論文《通信的數(shù)學(xué)理論》成了信息論正式誕生的里程碑。在他的通信數(shù)學(xué)模型中,清楚地提出信息的度量問題,他把哈特利的公式擴(kuò)大到概率pi不同的情況,得到了著名的計(jì)算信息熵H的公式:
H=∑-pi log pi
如果計(jì)算中的對數(shù)log是以2為底的,那么計(jì)算出來的信息熵就以比特(bit)為單位。今天在計(jì)算機(jī)和通信中廣泛使用的字節(jié)(Byte)、KB、MB、GB等詞都是從比特演化而來!氨忍亍钡某霈F(xiàn)標(biāo)志著人類知道了如何計(jì)量信息量。
香農(nóng)最初的動(dòng)機(jī)是把電話中的噪音除掉,他給出通信速率的上限,這個(gè)結(jié)論首先用在電話上,后來用到光纖,現(xiàn)在又用在無線通信上。我們今天能夠清晰地打越洋電話或衛(wèi)星電話,都與通信信道質(zhì)量的改善密切相關(guān)。
香農(nóng)的大部分時(shí)間是在貝爾實(shí)驗(yàn)室和MIT(麻省理工學(xué)院)度過的。人們描述香農(nóng)的生活,白天他總是關(guān)起門來工作,晚上則騎著他的獨(dú)輪車來到貝爾實(shí)驗(yàn)室。他的同事D. Slepian說:“我們大家都帶著午飯來上班,飯后在黑板上玩玩數(shù)學(xué)游戲,但克勞德很少過來。他總是關(guān)起門來工作。但是,如果你要找他,他會非常耐心地幫助你。他能立刻抓住問題的本質(zhì)。他真是一位天才,在我認(rèn)識的人中,我只對他一人使用這個(gè)詞。”
克勞德·香農(nóng)在公眾中并不特別知名,但他是使我們的世界能進(jìn)行即時(shí)通信的少數(shù)科學(xué)家之一。他是美國科學(xué)院院士、美國工程院院士、英國皇家學(xué)會會員、美國哲學(xué)學(xué)會會員。他獲得過許多榮譽(yù)和獎(jiǎng)勵(lì)。例如1949年Morris獎(jiǎng)、1955年Ballantine獎(jiǎng)、1962年Kelly獎(jiǎng)、1966年的國家科學(xué)獎(jiǎng)?wù)隆EEE的榮譽(yù)獎(jiǎng)?wù)隆?978年Jaquard獎(jiǎng)、1983年Fritz獎(jiǎng)、1985年基礎(chǔ)科學(xué)京都獎(jiǎng)。他獲得的榮譽(yù)學(xué)位不勝枚舉。
貝爾實(shí)驗(yàn)室和MIT都尊崇香農(nóng)為信息論及數(shù)字通信時(shí)代的奠基人。是他將布爾代數(shù)的“真”與“假” 電路的“開”與“關(guān)”對應(yīng)起來,并用1和0表示。這是從理論轉(zhuǎn)換到實(shí)際產(chǎn)品設(shè)計(jì)的一個(gè)重要的環(huán)節(jié)。
|