深度學習

🔥強烈推薦📖❷❶《深度學習》★★★★ 🍳微讀第 666 本 💻 2024 年第 2 本📱讀完於 2023.1.5 👣你知道 ChatGPT 嗎？有段時間好多短視頻和文章說這個有多牛，我就查了一下才知道 ChatGPT是美國人工智能研究實驗室OpenAI新推出的一種人工智能技術驅動的自然語言處理工具。具備上知天文下知地理，還能根據聊天的上下文進行互動，做到與真正人類幾乎無異的聊天場景進行交流。ChatGPT不單是聊天機器人，還能進行撰寫郵件、視頻腳本、文案、翻譯、代碼等任務。一時間大家都開始討論，這玩意會讓很多失業，你能幹的他都能幹，還比你搞得好。只要把要求輸入進去，就能得到你想要的結果。很多碼農估計要被他們創造的智能機器給取代了。其實 ChatGPT 就是計算機深度學習的最新的結果了，達到了只有在科幻中才會出現的事情。 ⛳初次讀這本書是從領導人新年賀詞的書架裏面看到的，覺得應該讀一讀，擴充一下自己的知識面。讀的時候感覺自己不是這個專業的，聽的不是很明白。但最起碼知道了，現在很多科學家都在研究這個項目，攻克這些技術難關。我們在科技上落後了一些，如果很多前瞻性的科技率先發展，率先開始關注，率先開始偷偷的研究，我們也許會彎道超車🚗很多方面。作爲文科生，我不是很瞭解計算機智能化這種太專業行業的知識但也不妨礙咱們知道這大概是什麼，怎麼回事。 🛜所謂的“深度學習”其實就是“機器學習領域中一個新的研究方向，它被引入機器學習使其更接近於最初的目標人工智能。深度學習是學習樣本數據的內在規律和表示層次，這些學習過程中獲得的信息對諸如文字、圖像和聲音等數據的解釋有很大的幫助。它的最終目標是讓機器能夠像人一樣具有分析學習能力，能夠識別文字、圖像和聲音等數據。 深度學習是一個複雜的機器學習算法，在語音和圖像識別方面取得的效果，遠遠超過先前相關技術。深度學習在搜索技術、數據挖掘、機器學習、機器翻譯、自然語言處理、多媒體學習、語音、推薦和個性化技術，以及其他相關領域都取得了很多成果。深度學習使機器模仿視聽和思考等人類的活動，解決了很多複雜的模式識別難題，使得人工智能相關技術取得了很大進步。”——以上這一大段來自度娘百科，我也懶得寫，太長了，能複製爲啥還要費時間。 🚨其實作爲一個讀者來說，我們覺得值得一讀那就先讀一遍，如果還想深入瞭解那就再讀一遍，然後查閱相關資料和知識。我不知道未來人類會發展成如何一種狀態，但是我知道的一點是我們能活久一點就多活久一點，可以見很多新奇的事物和科技。其他的我不知道，電子書和合成語音的技術給我帶來了太大的便利性。我不是那種糾結於必須看紙質書的人，我覺得閱讀方便性和記錄的保存性以及我自己可以偷懶不用眼睛盯着是我委身於電子書的最主要原因吧。我原來讀紙質書的時候老是想如果這本書會自己念出來就好了，我就可以閉着眼睛、曬着太陽、吹着海風、嘴裏叼着青草根愜意的聽了，當然身邊再躺幾個如花美眷，那他沒妹的也就是似水流年了。可惜躺的人沒有出現，閉着眼睛聽書倒是率先實現了。 🏸雖然一開始拖地、掃地、走路聽書的時候，會有很多迷迷糊糊的過去了。但是有個好處就是自己可以隨時隨地讀書了，慢慢的發現很多小說，你聽就可以了，不一定要讀。用耳朵聽叫“耳學”。但是聽書也有很多不好的地方，比如國學類的，你聽根本不行，得認真讀，還得細品。還有就是缺少了文字美，有時候更多的是手機不停的讀，你也不停的聽，沒有思考的時間。今年開始除了像《仙逆》這種網文小說，自己當伴睡的書籍，其他的你還得邊聽邊看，時不時的有想法了謝謝，也許相對於讀書以後的感受，你當時看到一句話或者裏面的一個事情引發的感受纔是最重要的，因爲那是你自己的東西。而讀書在我看來最重要的就在這裏，讀書的某個點就是引發你內心感受和評判的導火索，你自己的思考、感受就是你讀這本書的最大收穫了。如果可以的話，把自己代入進去，當時當地、你就是書裏的人你會如何做？要想着他有什麼樣的綜合條件、綜合實力、什麼樣的性格、在面臨同樣的問題時候你會如何做？這才叫讀書吧，把自己代入進去纔會有所得、纔會入戲吧？不過讀《金瓶梅》這種把自己帶入進去，也會引誘的睡不着覺，😄！ 🤦‍♂️說偏了，迴歸正題。我老是想起一部電影《阿凡達》裏面的潘多拉人可以用大樹作爲自己種族的知識文化傳承的樞紐。我就想着如果人類哪一天可以除了人類的大腦以外多一個儲存大腦🧠，就像多了一個超級大型計算機一樣，跟自己的大腦聯通，我們想要獲得任何知識都可以隨時根據我們的要求提供給我們的大腦。而不用像現在一樣我們從出生就開始不停的學習，累死了你也學不了多少東西。我們可以省卻這個學習的環節，把更多的時間用於思考和提出問題，然後解決問題。我們的大腦不應該成爲一個儲存硬盤，而應該是成爲機器代替不了的只有人類獨有的帶有感情色彩的研究問題、探索宇宙、規劃未來的樞紐。我現在有時候我不強迫自己記住東西，我知道大概是什麼，其中的一句話記住或者大概內容，我需要的時候就可以在網絡上找到了，比自己記憶牢靠多了。當然我們普通人研究的東西也比較淺顯，基本都能查得到。但這也是我覺得應該有的一種學習方法，我們應該是分析問題，研究問題，提出問題的人，而不是儲存機器。對於孩子我也想這樣，奈何大環境，從小學就開始卷，我似乎也找不到一個更好的辦法，讓孩子既能在遇到問題時候，分析問題、研究問題、也解決問題，更能夠應付這個升學壓力。哎，我希望近幾年科技再爆炸式的發展，我們可以讓孩子和自己更輕鬆。

囫圇吞棗地讀完了，只能說對於人工智能和深度學習有個大概的印象，整體上還是有些晦澀難懂；每個章節的知識，如果要完全理解，都需要深入地、多次重複地理解學習，這是一個漫長的過程。 1. 人工智能的起源（總結於各方信息） 1956年達特茅斯學院一個悶熱的夏天，在美國政府DARPA資助下，人工智能幾個創始人，如約翰·麥卡錫、馬文·明斯基、克勞德·香農等，還召集了一羣計算機科學家，討論未來的計算。在那個夏天的研討會上，他們聯合撰寫了一份關於人工智能是什麼的白皮書，探討了人工智能的功能、解決問題的方法，特別是推理和演繹推理，試圖讓機器像人類一樣思考、回答問題、做出決定。 這是人工智能第一次進入到公衆視野，開啓了人工智能的發展歷史。 2. 我們正處於第三次人工智能炒作週期 第一次是上個世紀 60 年代，基於符號主義的人工智能，甚囂塵上，但並沒解決根本問題，然後就沉寂了。 第二次是 80 年代，屬於專家系統的炒作週期，聚焦於使用一階邏輯和專家系統。但後來那個泡沫也破滅了，學術界和工業界的研究資金都枯竭了，因爲它沒有實現目標，整個領域都萎縮了。史稱 AI winter，即 AI 冬季，冷冰冰。 進入 2000 年後，統計建模、機器學習、神經網絡、模式識別、 反向傳播等有了深刻的發展，尤其是2010年至2012年左右，人工智能的公共時刻真正到來，是以斯坦福大學 ImageNet 挑戰賽（包含有 1500 張照片的數據集，涵蓋了 2.2 萬自然物體類別）攪起風雲，來自加拿大多倫多大學的辛頓教授和他的兩個學生使用基於深度學習（卷積網絡）的 AlexNet 成功贏得了桂冠，誤差率控制在 18% 以內，人工智能迎來了重生。後面的故事大家看到更多了， 尤其是OpenAI 於 2022 年 11 月推出了 ChatGPT，更加猛烈的人工智能風暴來了，幾乎所有的科技公司都捲入其中，投入數千億美金，害怕掉隊，甚至把它定義爲第四次工業革命，瘋狂程度可見一斑。 3. 人工智能三角模型：算力，算法，數據 對於算力， CPU 通用計算有英特爾的“摩爾定律”，大家都比較熟悉，但其實還有一個“黃氏定律”，來自於英偉達的黃仁勳（《黃仁勳傳》），號稱“皮衣刀客”，聚焦 AI 計算的迭代速度，這纔是人工智能的算力爆炸性發展的源頭。 這個是目前美國對我們禁運的主要高科技產品，需要我們努力打破這個芯片的差距，否則我們在人工智能時代將會極大落後。 對於數據，我們有個優勢（也會有隱私問題需要解決），數據的孤島效應肯定沒那麼強，政府的強幹預可以打通很多數據的圍牆，把個人、醫院、農業等數據，這對於訓練和推理有很多幫助。 4. 另一個觀點（供大家參考） 本書是從對神經網絡研究的角度看人工智能和深度學習，認爲是息息相關，甚至對大腦的研究促成了後面人工智能的進步。 在《Python深度學習（第2版）》書裏，有不一樣的觀點和解讀，認爲深度學習就是純粹的數學框架，跟所謂的大腦學習機制沒有關係，摘錄部分觀點如下： “沒有證據表明大腦的學習機制與現代深度學習模型的學習機制相同。你可能讀過一些科普文章，這些文章宣稱深度學習的工作原理與大腦相似或者是在模擬大腦，但事實並非如此。對於這一領域的新人來說，如果認爲深度學習與神經生物學存在任何關係，那將使人困惑，只會起到反作用。你無須那種“就像我們的頭腦一樣”的神祕包裝，最好也忘掉讀過的深度學習與生物學之間的假想聯繫。就我們的目的而言，深度學習是從數據中學習表示的一種數學框架。” 人工智能無疑是 21 世紀最激動人心的科技領域之一，各種科幻小說對未來人工智能的演變有很多的設想，小的方面，可以協助人類工作與生活，也可能取代和搶奪人類工作；大的方面，甚至認爲最終會反噬人類、殺死我們自己。至少目前的進展還看不到這點，但人工智能會對每個人都可能產生影響，應保持適當的關注，及時不是從業人員。

全球科技巨頭紛紛擁抱深度學習，自動駕駛、AI醫療、語音識別、圖像識別、智能翻譯以及震驚世界的AlphaGo，背後都是深度學習在發揮神奇的作用。深度學習是人工智能從概念到繁榮得以實現的主流技術。經過深度學習訓練的計算機，不再被動按照指令運轉，而是像自然進化的生命那樣，開始自主地從經驗中學習。 本書作者特倫斯·謝諾夫斯基是全球人工智能十大科學家之一、深度學習先驅及奠基者，親歷了深度學習在20世紀70年代到90年代的寒冬。但他和一衆開拓者，利用大數據和不斷增強的計算能力，終於在神經網絡算法上取得重大突破，實現了人工智能井噴式的發展。 作爲深度學習領域的通識作品，本書以恢弘的筆觸，通過3個部分全景展現了深度學習的發展、演變與應用，首次以親歷者視角回溯了深度學習浪潮在過去60年間的發展脈絡與人工智能的螺旋上升，並前瞻性地預測了智能時代的商業圖景。

放一段讓我傾倒的段子，以防你錯過這本書： 我要在這5分鐘裏說些什麼，才能讓那些討厭我工作的人改變想法呢？ 我開始即興發揮，“食物上這隻蒼蠅的大腦只有10萬個神經元；它大概重1毫克，要消耗1毫瓦的能量，”我邊說邊驅趕蒼蠅，“蒼蠅能看，能飛，可以自己確定飛行方向，還能覓食。但最不可思議的是，它可以通過繁殖來進行自我複製。MIT擁有一臺價值1億美元的超級計算機：它消耗的能量是兆瓦級的，並需要一臺巨型空調進行冷卻。但是，超級計算機的最大成本是要消耗大量人力，也就是說程序員要滿足它對程序的巨大需求。這臺超級計算機不能看，不能飛，雖然它能與其他計算機交流，但它不能交配或自我複製。看得出這個場景描述裏有什麼問題嗎？” 在一段長時間的沉默之後，一位高級教員說道：“因爲我們還沒有編寫視覺程序。”（美國國防部最近向其戰略計算計劃注入了6億美元，這項計劃在1983—1993年間運行，但是缺少了爲自動駕駛坦克創建的視覺系統）。[插圖]我的回答是“祝你好運”。

🗓日期 ：2026/07/09（後補） 📕課程: 清華姚班 [咖啡]關鍵詞: 科學壓艙石 🍑方程式：數學=排列+組合+概率+大小+勝負+真相+實事求是 AI Revolution清華姚班鐵軍 一、創始人姚期智院士 1/教育背景 - 1946年生於上海，祖籍湖北孝感；6歲移居香港，中學後赴臺就讀臺灣大學物理系，1967年取得物理學士學位； - 1972年：哈佛大學物理學博士； - 1975年：伊利諾大學計算機科學博士。 2/海外頂尖教職經歷 1975–2004年執教全球四大頂尖理工院校：麻省理工MIT、史丹福大學、加州伯克利、普林斯頓大學（終身講席教授），是全球理論計算機、密碼學、量子計算開創者之一 。 3/學成歸國報效清華 2004年放棄普林斯頓終身教職、美國國籍，全職回清華；2005年創辦清華學堂計算機科學實驗班（姚班），後續創立交叉資訊研究院、智班（人工智慧班）、量子資訊班，專門培養全球頂尖資訊科學人才 。 4/核心學術貢獻 4.1/開創通訊複雜性理論、隨機偽數生成兩大理論計算全新分支； 4.2/奠基現代複雜度密碼學，構建網路安全底層理論； 4.3/創立量子通訊複雜性體系，為量子計算、量子加密搭建基礎框架 。 二、姚院士成就 1/華裔唯一圖靈獎（A.M. Turing Award） 計算機科學全球最高獎 2/高德納獎（Donald E. Knuth Prize） 理論計算機領域最高榮譽 3/波里亞獎（George Polya Prize） 工業與應用數學頂級獎 4/學術院士榮譽 美國國家科學院院士 美國藝術與科學院院士 中國科學院院士 中國臺灣中央研究院院士 國際密碼協會會士 三、姚班培養傑出科學家 1/陳立傑 全球頂尖理論計算機青年學者，普林斯頓博士，現任國內頂尖研究院研究員。 2/姚順雨（Shunyu Yao） OpenAI前核心科學家，2026年回國出任騰訊首席AI科學家。 3/劉壯 康奈爾博士，現任海外名校終身副教授。 4/丁力宇 xAI創始核心成員。 5/吳作凡、任之洲 DeepSeek深度求索核心算法負責人。 6/施天麟 斯坦福博士，Recursive Superintelligence（RSI）聯合創辦人。 7/全球高校任教團隊 17位姚班校友任MIT、史丹福、普林斯頓、康奈爾、卡內基梅隆等名校助理/終身教授，覆蓋密碼學、量子計算、AI、機器學習全領域； 21位回國執教清華、北大、復旦、上交等985高校，其中7人回清華交叉資訊院任教。 四、姚班畢業生概況 姚班2005–2026累計培養近1200名學生，畢業750餘人；近60位校友進入全球頂尖高校任終身教授，6人獲斯隆研究獎（青年科學家最高獎），330餘人次在FOCS/STOC/NIPS/ICML等國際頂會發表報告，數十篇獲頂會最佳論文獎。

本書是一部人工智能簡史。 當前對人工智能的誤解基本有三點：1、將人工智能等同於工業4.0。顯然這是狹隘地理解了人工智能，雖然工業4.0是依賴人工智能來完成的，但是人工智能的領域是無處不在的；2、人工智能還僅僅是剛剛開始的初級階段。顯然這是井底之蛙見，作爲世界領先國家早在上世紀50年代就開始了研究，並且已經碩果累累；3、將人工智能等同於技術革命。這可能是絕大多數人的誤解，把人工智能當成是局部的、零散的、技術性的升級，而實際上正好相反，人工智能構建的是“矩陣”，是顛覆現有的人類歷史開啓新的時代，史稱“人工智能世紀”。 產生人工智能威脅論的原因很多，大概有以下四點原因：1、對人工智能的技術和原理不夠清晰，做誤解延伸，產生恐慌，例如人工智能智力水平在單調遞增，但也許是指數曲線，也許是無限逼近某一水平線，人工智能威脅論者容易選擇指數遞增，於是得出結論認爲在某個時間點將超越人類智慧，但人工智能科學家往往認同人工智能智慧無限逼近人類智慧；2、對人類的種種醜惡現象不滿，喪失對人類未來的希望，希望人類滅絕，他們對所有能夠滅絕人類的理論或預測都會感興趣並進行傳播；3、通過對人工智能威脅人類生存的炒作，獲得名望或利益甚至是快感，《人類簡史》作者尤瓦爾.赫拉利是最著名的代表人物；4、還有一個深層次原因，達爾文進化論等等虛無主義認爲進化無目標，無方向，因此人類存在和進化的意義不明，導致人工智能方向迷失。確實如此，作爲工具理性人工智能不能夠作出價值判斷，也不能夠擁有價值理性，這就必須以人文科學來指引人工智能的發展方向

關於《深度學習》的一點認知 剛拿到特倫斯‧謝諾夫斯基的《深度學習：智能時代的核心驅動力量》，還以爲這位美國國家科學院、國家醫學院、國家工程院、國家發明家科學院和國家藝術與科學院的五院院士寫的是一本關於學習的方法論的書籍。通篇閱讀才知道自己的淺薄，五院院士用自己豐富的人生經歷、廣博的跨學科知識、深刻的科學認知和廣泛的社會交往（與頂尖的科學家們），描述了人工智能的發展歷史，敘述了科學家們的奇聞異事，更重要的是深入淺出的描繪了深奧的科學知識。 作爲人工智能領域的絕對的先驅，特倫斯‧謝諾夫斯基也許是最有資格對人工智能發展進行迄今爲止做總結回顧的人。而他寫的《深度學習》真實地再現了人工智能的萌芽、起步、覺醒，世界在以他爲代表的一大批科學家手中，經過五十多年的發展，不斷地被重新認識，重新雕塑。 從1949年赫布定律的提出，到1979年“關聯記憶的並行模型”，到克勞德‧香農爲數字通信技術奠定基礎，到1986年深度學習“反傳學習算法”，1988年理查德‧薩頓提出時序差分學習，1989年卡弗米德開創機遇仿生芯片的神經形態工程研究，2005年塞巴斯蒂安‧特隆應得自動駕駛汽車大賽，2013年美國啓動“BRAIN計劃”開發神經技術，人工智能走過了一段漫長又曲折的道路。但是，依靠幾代人的努力，人工智能時代最終到來了。 AI醫療、自動駕駛、智能翻譯、語音識別、社交機器人、智能投資、法律服務……人工智能已經滲透到了我們生活和工作的各個角落。人工智能模擬着人類的大腦的工作，又爲人類的生活提供了更多性能和效率。這些效果改變着人類的衣食住行，甚至重塑着人類的生存模式。 關於未來關於人工智能有很多爭論，作爲這個行業50多年的親歷者，作者用自身的切身經驗告訴大家一個結論：人工智能不是人類的生存威脅，從藝術到科學，AI使得人們變得更加聰明。 書中交織這兩個主題：人類智能是如何進化和人工智能是如何演變的。這期間交叉着數學、神經學、物理學等諸多學科的知識，即便不是非常理解所有知識的細節，也是對人類科學知識的一次普及。 讀完這本《深度學習》，深深地感受到學習和工作，要注重三個維度：終身學習，這是時間維度的；廣泛學習，這是學習範圍的；深度學習，這是學習深度的。AI能夠走過五十多年發展歷程，從無到有到發展蓬勃，離不開科學家們在各個層面和維度的學習、思考和研究。 這也是我們應該向最優秀的人們學習的地方。 是爲記！ 2019年9月3日星期二晚

更多是作者自己研究深度學習的科研歷程。印象深刻的觀點是：當前深度學習的應用發現遠遠超出了理論發展，所以存在着很多無可解釋的困境。而大腦仿生學將成爲解開謎團的關鍵。同時作者舉出了蒸汽機發展（先從經驗出發進行應用，而後通過通過熱力學理論發展來提高理論依據、並進行優化設計）來打消人類在不可解釋區域狂奔而產生的顧慮

大致地看了一遍，很多術語話術都不是很明白，可能對於AI技術方面攝入的知識太少了吧。所以就跟囫圇吞棗一樣，但是不明覺厲，尤其是翻譯領域在AI 技術面前的走向，感觸很多。現在許多翻譯都可以用機器翻譯來替代了，哪一天翻譯《莎士比亞》也可以用機器翻譯的時候，人類唯一所能做得就是需要更大程度地開發自己大腦，纔有可能在面對機器時不受其左右，以後有機會再讀一讀吧～

昨天看完了《深度學習》這本書，今天寫一下讀完的感受，可以說這本書90％我沒能力看懂，但還是很感興趣的生吞活剝了下去，深深的感到中國在高精尖的知識和高精尖技術領域和歐洲國家的差距，也很高興國家在這幾年認識到了人工智能的重要性也加大了投資，對高科技人才的政策吸引等，因爲如果現在不爲新科技提供資金，那麼從現在開始的很多年我們幾乎沒有任何新技術可用於現實中，就像書中所說：我們的教育體系是爲了工業時代設計的，學校的傳授的知識曾經是你今後維持工作以及作爲一名有生產力的公民所需的基礎知識。可現在學生剛一畢業學校傳授的那些知識都已過時，要想跟上時代就需要不斷的學習，幸好我們國家在開展人工智能方面有很大的優勢，就是我們擁有世界上最大的數據，數據是人工智能開發的基礎，現在我們在農業和製造業的數據也在收集，可以說在這個時代誰擁有最多的數據誰就是這個時代的贏家，俄羅斯總統普京曾說過：未來誰擁有了人工智能……這個天下就是誰的。但願中國不要落後！