深度学习

🔥强烈推荐📖❷❶《深度学习》★★★★ 🍳微读第 666 本 💻 2024 年第 2 本📱读完于 2023.1.5 👣你知道 ChatGPT 吗？有段时间好多短视频和文章说这个有多牛，我就查了一下才知道 ChatGPT是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具。具备上知天文下知地理，还能根据聊天的上下文进行互动，做到与真正人类几乎无异的聊天场景进行交流。ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。一时间大家都开始讨论，这玩意会让很多失业，你能干的他都能干，还比你搞得好。只要把要求输入进去，就能得到你想要的结果。很多码农估计要被他们创造的智能机器给取代了。其实 ChatGPT 就是计算机深度学习的最新的结果了，达到了只有在科幻中才会出现的事情。 ⛳初次读这本书是从领导人新年贺词的书架里面看到的，觉得应该读一读，扩充一下自己的知识面。读的时候感觉自己不是这个专业的，听的不是很明白。但最起码知道了，现在很多科学家都在研究这个项目，攻克这些技术难关。我们在科技上落后了一些，如果很多前瞻性的科技率先发展，率先开始关注，率先开始偷偷的研究，我们也许会弯道超车🚗很多方面。作为文科生，我不是很了解计算机智能化这种太专业行业的知识但也不妨碍咱们知道这大概是什么，怎么回事。 🛜所谓的“深度学习”其实就是“机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标人工智能。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。”——以上这一大段来自度娘百科，我也懒得写，太长了，能复制为啥还要费时间。 🚨其实作为一个读者来说，我们觉得值得一读那就先读一遍，如果还想深入了解那就再读一遍，然后查阅相关资料和知识。我不知道未来人类会发展成如何一种状态，但是我知道的一点是我们能活久一点就多活久一点，可以见很多新奇的事物和科技。其他的我不知道，电子书和合成语音的技术给我带来了太大的便利性。我不是那种纠结于必须看纸质书的人，我觉得阅读方便性和记录的保存性以及我自己可以偷懒不用眼睛盯着是我委身于电子书的最主要原因吧。我原来读纸质书的时候老是想如果这本书会自己念出来就好了，我就可以闭着眼睛、晒着太阳、吹着海风、嘴里叼着青草根惬意的听了，当然身边再躺几个如花美眷，那他没妹的也就是似水流年了。可惜躺的人没有出现，闭着眼睛听书倒是率先实现了。 🏸虽然一开始拖地、扫地、走路听书的时候，会有很多迷迷糊糊的过去了。但是有个好处就是自己可以随时随地读书了，慢慢的发现很多小说，你听就可以了，不一定要读。用耳朵听叫“耳学”。但是听书也有很多不好的地方，比如国学类的，你听根本不行，得认真读，还得细品。还有就是缺少了文字美，有时候更多的是手机不停的读，你也不停的听，没有思考的时间。今年开始除了像《仙逆》这种网文小说，自己当伴睡的书籍，其他的你还得边听边看，时不时的有想法了谢谢，也许相对于读书以后的感受，你当时看到一句话或者里面的一个事情引发的感受才是最重要的，因为那是你自己的东西。而读书在我看来最重要的就在这里，读书的某个点就是引发你内心感受和评判的导火索，你自己的思考、感受就是你读这本书的最大收获了。如果可以的话，把自己代入进去，当时当地、你就是书里的人你会如何做？要想着他有什么样的综合条件、综合实力、什么样的性格、在面临同样的问题时候你会如何做？这才叫读书吧，把自己代入进去才会有所得、才会入戏吧？不过读《金瓶梅》这种把自己带入进去，也会引诱的睡不着觉，😄！ 🤦‍♂️说偏了，回归正题。我老是想起一部电影《阿凡达》里面的潘多拉人可以用大树作为自己种族的知识文化传承的枢纽。我就想着如果人类哪一天可以除了人类的大脑以外多一个储存大脑🧠，就像多了一个超级大型计算机一样，跟自己的大脑联通，我们想要获得任何知识都可以随时根据我们的要求提供给我们的大脑。而不用像现在一样我们从出生就开始不停的学习，累死了你也学不了多少东西。我们可以省却这个学习的环节，把更多的时间用于思考和提出问题，然后解决问题。我们的大脑不应该成为一个储存硬盘，而应该是成为机器代替不了的只有人类独有的带有感情色彩的研究问题、探索宇宙、规划未来的枢纽。我现在有时候我不强迫自己记住东西，我知道大概是什么，其中的一句话记住或者大概内容，我需要的时候就可以在网络上找到了，比自己记忆牢靠多了。当然我们普通人研究的东西也比较浅显，基本都能查得到。但这也是我觉得应该有的一种学习方法，我们应该是分析问题，研究问题，提出问题的人，而不是储存机器。对于孩子我也想这样，奈何大环境，从小学就开始卷，我似乎也找不到一个更好的办法，让孩子既能在遇到问题时候，分析问题、研究问题、也解决问题，更能够应付这个升学压力。哎，我希望近几年科技再爆炸式的发展，我们可以让孩子和自己更轻松。

囫囵吞枣地读完了，只能说对于人工智能和深度学习有个大概的印象，整体上还是有些晦涩难懂；每个章节的知识，如果要完全理解，都需要深入地、多次重复地理解学习，这是一个漫长的过程。 1. 人工智能的起源（总结于各方信息） 1956年达特茅斯学院一个闷热的夏天，在美国政府DARPA资助下，人工智能几个创始人，如约翰·麦卡锡、马文·明斯基、克劳德·香农等，还召集了一群计算机科学家，讨论未来的计算。在那个夏天的研讨会上，他们联合撰写了一份关于人工智能是什么的白皮书，探讨了人工智能的功能、解决问题的方法，特别是推理和演绎推理，试图让机器像人类一样思考、回答问题、做出决定。 这是人工智能第一次进入到公众视野，开启了人工智能的发展历史。 2. 我们正处于第三次人工智能炒作周期 第一次是上个世纪 60 年代，基于符号主义的人工智能，甚嚣尘上，但并没解决根本问题，然后就沉寂了。 第二次是 80 年代，属于专家系统的炒作周期，聚焦于使用一阶逻辑和专家系统。但后来那个泡沫也破灭了，学术界和工业界的研究资金都枯竭了，因为它没有实现目标，整个领域都萎缩了。史称 AI winter，即 AI 冬季，冷冰冰。 进入 2000 年后，统计建模、机器学习、神经网络、模式识别、 反向传播等有了深刻的发展，尤其是2010年至2012年左右，人工智能的公共时刻真正到来，是以斯坦福大学 ImageNet 挑战赛（包含有 1500 张照片的数据集，涵盖了 2.2 万自然物体类别）搅起风云，来自加拿大多伦多大学的辛顿教授和他的两个学生使用基于深度学习（卷积网络）的 AlexNet 成功赢得了桂冠，误差率控制在 18% 以内，人工智能迎来了重生。后面的故事大家看到更多了， 尤其是OpenAI 于 2022 年 11 月推出了 ChatGPT，更加猛烈的人工智能风暴来了，几乎所有的科技公司都卷入其中，投入数千亿美金，害怕掉队，甚至把它定义为第四次工业革命，疯狂程度可见一斑。 3. 人工智能三角模型：算力，算法，数据 对于算力， CPU 通用计算有英特尔的“摩尔定律”，大家都比较熟悉，但其实还有一个“黄氏定律”，来自于英伟达的黄仁勋（《黄仁勋传》），号称“皮衣刀客”，聚焦 AI 计算的迭代速度，这才是人工智能的算力爆炸性发展的源头。 这个是目前美国对我们禁运的主要高科技产品，需要我们努力打破这个芯片的差距，否则我们在人工智能时代将会极大落后。 对于数据，我们有个优势（也会有隐私问题需要解决），数据的孤岛效应肯定没那么强，政府的强干预可以打通很多数据的围墙，把个人、医院、农业等数据，这对于训练和推理有很多帮助。 4. 另一个观点（供大家参考） 本书是从对神经网络研究的角度看人工智能和深度学习，认为是息息相关，甚至对大脑的研究促成了后面人工智能的进步。 在《Python深度学习（第2版）》书里，有不一样的观点和解读，认为深度学习就是纯粹的数学框架，跟所谓的大脑学习机制没有关系，摘录部分观点如下： “没有证据表明大脑的学习机制与现代深度学习模型的学习机制相同。你可能读过一些科普文章，这些文章宣称深度学习的工作原理与大脑相似或者是在模拟大脑，但事实并非如此。对于这一领域的新人来说，如果认为深度学习与神经生物学存在任何关系，那将使人困惑，只会起到反作用。你无须那种“就像我们的头脑一样”的神秘包装，最好也忘掉读过的深度学习与生物学之间的假想联系。就我们的目的而言，深度学习是从数据中学习表示的一种数学框架。” 人工智能无疑是 21 世纪最激动人心的科技领域之一，各种科幻小说对未来人工智能的演变有很多的设想，小的方面，可以协助人类工作与生活，也可能取代和抢夺人类工作；大的方面，甚至认为最终会反噬人类、杀死我们自己。至少目前的进展还看不到这点，但人工智能会对每个人都可能产生影响，应保持适当的关注，及时不是从业人员。

全球科技巨头纷纷拥抱深度学习，自动驾驶、AI医疗、语音识别、图像识别、智能翻译以及震惊世界的AlphaGo，背后都是深度学习在发挥神奇的作用。深度学习是人工智能从概念到繁荣得以实现的主流技术。经过深度学习训练的计算机，不再被动按照指令运转，而是像自然进化的生命那样，开始自主地从经验中学习。 本书作者特伦斯·谢诺夫斯基是全球人工智能十大科学家之一、深度学习先驱及奠基者，亲历了深度学习在20世纪70年代到90年代的寒冬。但他和一众开拓者，利用大数据和不断增强的计算能力，终于在神经网络算法上取得重大突破，实现了人工智能井喷式的发展。 作为深度学习领域的通识作品，本书以恢弘的笔触，通过3个部分全景展现了深度学习的发展、演变与应用，首次以亲历者视角回溯了深度学习浪潮在过去60年间的发展脉络与人工智能的螺旋上升，并前瞻性地预测了智能时代的商业图景。

放一段让我倾倒的段子，以防你错过这本书： 我要在这5分钟里说些什么，才能让那些讨厌我工作的人改变想法呢？ 我开始即兴发挥，“食物上这只苍蝇的大脑只有10万个神经元；它大概重1毫克，要消耗1毫瓦的能量，”我边说边驱赶苍蝇，“苍蝇能看，能飞，可以自己确定飞行方向，还能觅食。但最不可思议的是，它可以通过繁殖来进行自我复制。MIT拥有一台价值1亿美元的超级计算机：它消耗的能量是兆瓦级的，并需要一台巨型空调进行冷却。但是，超级计算机的最大成本是要消耗大量人力，也就是说程序员要满足它对程序的巨大需求。这台超级计算机不能看，不能飞，虽然它能与其他计算机交流，但它不能交配或自我复制。看得出这个场景描述里有什么问题吗？” 在一段长时间的沉默之后，一位高级教员说道：“因为我们还没有编写视觉程序。”（美国国防部最近向其战略计算计划注入了6亿美元，这项计划在1983—1993年间运行，但是缺少了为自动驾驶坦克创建的视觉系统）。[插图]我的回答是“祝你好运”。

🗓日期 ：2026/07/09（後補） 📕課程: 清華姚班 [咖啡]關鍵詞: 科學壓艙石 🍑方程式：數學=排列+組合+概率+大小+勝負+真相+實事求是 AI Revolution清華姚班鐵軍 一、創始人姚期智院士 1/教育背景 - 1946年生於上海，祖籍湖北孝感；6歲移居香港，中學後赴台就讀臺灣大學物理系，1967年取得物理學士學位； - 1972年：哈佛大學物理學博士； - 1975年：伊利諾大學計算機科學博士。 2/海外頂尖教職經歷 1975–2004年執教全球四大頂尖理工院校：麻省理工MIT、史丹福大學、加州伯克利、普林斯頓大學（終身講席教授），是全球理論計算機、密碼學、量子計算開創者之一 。 3/學成歸國報效清華 2004年放棄普林斯顿終身教職、美國國籍，全職回清華；2005年創辦清華學堂計算機科學實驗班（姚班），後續創立交叉資訊研究院、智班（人工智慧班）、量子資訊班，專門培養全球頂尖資訊科學人才 。 4/核心學術貢獻 4.1/開創通訊複雜性理論、隨機偽數生成兩大理論計算全新分支； 4.2/奠基現代複雜度密碼學，構建網路安全底層理論； 4.3/創立量子通訊複雜性體系，為量子計算、量子加密搭建基礎框架 。 二、姚院士成就 1/華裔唯一圖靈獎（A.M. Turing Award） 計算機科學全球最高獎 2/高德納獎（Donald E. Knuth Prize） 理論計算機領域最高榮譽 3/波里亞獎（George Polya Prize） 工業與應用數學頂級獎 4/學術院士榮譽 美國國家科學院院士 美國藝術與科學院院士 中國科學院院士 中國臺灣中央研究院院士 國際密碼協會會士 三、姚班培養傑出科學家 1/陳立杰 全球頂尖理論計算機青年學者，普林斯頓博士，現任國內頂尖研究院研究員。 2/姚順雨（Shunyu Yao） OpenAI前核心科學家，2026年回國出任騰訊首席AI科學家。 3/劉壯 康奈爾博士，現任海外名校終身副教授。 4/丁力宇 xAI創始核心成員。 5/吳作凡、任之洲 DeepSeek深度求索核心算法負責人。 6/施天麟 斯坦福博士，Recursive Superintelligence（RSI）聯合創辦人。 7/全球高校任教團隊 17位姚班校友任MIT、史丹福、普林斯顿、康奈爾、卡內基梅隆等名校助理/終身教授，覆蓋密碼學、量子計算、AI、機器學習全領域； 21位回國執教清華、北大、復旦、上交等985高校，其中7人回清華交叉資訊院任教。 四、姚班畢業生概況 姚班2005–2026累計培養近1200名學生，畢業750餘人；近60位校友進入全球頂尖高校任終身教授，6人獲斯隆研究獎（青年科學家最高獎），330餘人次在FOCS/STOC/NIPS/ICML等國際頂會發表報告，數十篇獲頂會最佳論文獎。

本书是一部人工智能简史。 当前对人工智能的误解基本有三点：1、将人工智能等同于工业4.0。显然这是狭隘地理解了人工智能，虽然工业4.0是依赖人工智能来完成的，但是人工智能的领域是无处不在的；2、人工智能还仅仅是刚刚开始的初级阶段。显然这是井底之蛙见，作为世界领先国家早在上世纪50年代就开始了研究，并且已经硕果累累；3、将人工智能等同于技术革命。这可能是绝大多数人的误解，把人工智能当成是局部的、零散的、技术性的升级，而实际上正好相反，人工智能构建的是“矩阵”，是颠覆现有的人类历史开启新的时代，史称“人工智能世纪”。 产生人工智能威胁论的原因很多，大概有以下四点原因：1、对人工智能的技术和原理不够清晰，做误解延伸，产生恐慌，例如人工智能智力水平在单调递增，但也许是指数曲线，也许是无限逼近某一水平线，人工智能威胁论者容易选择指数递增，于是得出结论认为在某个时间点将超越人类智慧，但人工智能科学家往往认同人工智能智慧无限逼近人类智慧；2、对人类的种种丑恶现象不满，丧失对人类未来的希望，希望人类灭绝，他们对所有能够灭绝人类的理论或预测都会感兴趣并进行传播；3、通过对人工智能威胁人类生存的炒作，获得名望或利益甚至是快感，《人类简史》作者尤瓦尔.赫拉利是最著名的代表人物；4、还有一个深层次原因，达尔文进化论等等虚无主义认为进化无目标，无方向，因此人类存在和进化的意义不明，导致人工智能方向迷失。确实如此，作为工具理性人工智能不能够作出价值判断，也不能够拥有价值理性，这就必须以人文科学来指引人工智能的发展方向

关于《深度学习》的一点认知 刚拿到特伦斯‧谢诺夫斯基的《深度学习：智能时代的核心驱动力量》，还以为这位美国国家科学院、国家医学院、国家工程院、国家发明家科学院和国家艺术与科学院的五院院士写的是一本关于学习的方法论的书籍。通篇阅读才知道自己的浅薄，五院院士用自己丰富的人生经历、广博的跨学科知识、深刻的科学认知和广泛的社会交往（与顶尖的科学家们），描述了人工智能的发展历史，叙述了科学家们的奇闻异事，更重要的是深入浅出的描绘了深奥的科学知识。 作为人工智能领域的绝对的先驱，特伦斯‧谢诺夫斯基也许是最有资格对人工智能发展进行迄今为止做总结回顾的人。而他写的《深度学习》真实地再现了人工智能的萌芽、起步、觉醒，世界在以他为代表的一大批科学家手中，经过五十多年的发展，不断地被重新认识，重新雕塑。 从1949年赫布定律的提出，到1979年“关联记忆的并行模型”，到克劳德‧香农为数字通信技术奠定基础，到1986年深度学习“反传学习算法”，1988年理查德‧萨顿提出时序差分学习，1989年卡弗米德开创机遇仿生芯片的神经形态工程研究，2005年塞巴斯蒂安‧特隆应得自动驾驶汽车大赛，2013年美国启动“BRAIN计划”开发神经技术，人工智能走过了一段漫长又曲折的道路。但是，依靠几代人的努力，人工智能时代最终到来了。 AI医疗、自动驾驶、智能翻译、语音识别、社交机器人、智能投资、法律服务……人工智能已经渗透到了我们生活和工作的各个角落。人工智能模拟着人类的大脑的工作，又为人类的生活提供了更多性能和效率。这些效果改变着人类的衣食住行，甚至重塑着人类的生存模式。 关于未来关于人工智能有很多争论，作为这个行业50多年的亲历者，作者用自身的切身经验告诉大家一个结论：人工智能不是人类的生存威胁，从艺术到科学，AI使得人们变得更加聪明。 书中交织这两个主题：人类智能是如何进化和人工智能是如何演变的。这期间交叉着数学、神经学、物理学等诸多学科的知识，即便不是非常理解所有知识的细节，也是对人类科学知识的一次普及。 读完这本《深度学习》，深深地感受到学习和工作，要注重三个维度：终身学习，这是时间维度的；广泛学习，这是学习范围的；深度学习，这是学习深度的。AI能够走过五十多年发展历程，从无到有到发展蓬勃，离不开科学家们在各个层面和维度的学习、思考和研究。 这也是我们应该向最优秀的人们学习的地方。 是为记！ 2019年9月3日星期二晚

更多是作者自己研究深度学习的科研历程。印象深刻的观点是：当前深度学习的应用发现远远超出了理论发展，所以存在着很多无可解释的困境。而大脑仿生学将成为解开谜团的关键。同时作者举出了蒸汽机发展（先从经验出发进行应用，而后通过通过热力学理论发展来提高理论依据、并进行优化设计）来打消人类在不可解释区域狂奔而产生的顾虑

大致地看了一遍，很多术语话术都不是很明白，可能对于AI技术方面摄入的知识太少了吧。所以就跟囫囵吞枣一样，但是不明觉厉，尤其是翻译领域在AI 技术面前的走向，感触很多。现在许多翻译都可以用机器翻译来替代了，哪一天翻译《莎士比亚》也可以用机器翻译的时候，人类唯一所能做得就是需要更大程度地开发自己大脑，才有可能在面对机器时不受其左右，以后有机会再读一读吧～

昨天看完了《深度学习》这本书，今天写一下读完的感受，可以说这本书90％我没能力看懂，但还是很感兴趣的生吞活剥了下去，深深的感到中国在高精尖的知识和高精尖技术领域和欧洲国家的差距，也很高兴国家在这几年认识到了人工智能的重要性也加大了投资，对高科技人才的政策吸引等，因为如果现在不为新科技提供资金，那么从现在开始的很多年我们几乎没有任何新技术可用于现实中，就像书中所说：我们的教育体系是为了工业时代设计的，学校的传授的知识曾经是你今后维持工作以及作为一名有生产力的公民所需的基础知识。可现在学生刚一毕业学校传授的那些知识都已过时，要想跟上时代就需要不断的学习，幸好我们国家在开展人工智能方面有很大的优势，就是我们拥有世界上最大的数据，数据是人工智能开发的基础，现在我们在农业和制造业的数据也在收集，可以说在这个时代谁拥有最多的数据谁就是这个时代的赢家，俄罗斯总统普京曾说过：未来谁拥有了人工智能……这个天下就是谁的。但愿中国不要落后！