人工智能中的數學之美

書本由淺入深講明白人工智能的算法先有統計數據和內容開始找公式， 一、首先找到 模型參數 w,b，和入參x 數量：比如特徵多少個，參數數量隨之確定。多少個卷積層由網絡架構（書中說的超參數）比如補長，池化等決定。 權重初始值：隨機初始化。 後續：依靠梯度下降自動迭代更新多入參線性公式（線性迴歸、邏輯迴歸）是超平面，用來分割空間，得到0或者1的輸出或者分類，超平面的空間用矩陣表達是非常契合的。 二、得到明斯基說的侷限限：1.僅僅能夠表達線性分割。遇到異或、環狀樣本無法分開。這個時候可以吧非線性函數用微積分切割成多個線段。假設第一段線段是h=w*x+b 原來函數用y輸出層再次線性加權：y=w*h_1+w*h_2+o，每一個神經元產出一條折線段。多條線段加權疊加，形成分段折線。只要有足夠多的神經元就能表達出來。 2.爲什麼要激活函數無論堆疊多少層，沒有激活函數，僅僅能夠輸出直線，不會出現折點。想要自動得到折線段，必須要有激活函數。單純連續多層線性運算，等價於單層線性，輸出永遠是直線，不存在拐點。 三、爲什麼要多層神經元1. 單隱層 ≈ 泰勒展開，大量單項累加。想要高精度，需要極多項。 2. 深度網絡 ≈ 複合函數。g(f(x))。少量函數嵌套即可實現複雜形態。 四、有了多層神經網絡後調整權重需要反向傳播算法，依靠反向傳播去優化卷積核權重楊立昆的卷積神經網絡就是把反向傳播算法用在卷積上。爲什麼後面有李飛飛數據庫後優化了算法工程應用在GPU，卷積核就是該層的權重 五、單個超平面僅僅能夠實現二分類問怎能識別多物品？？。但是依靠大量超平面組合，可以完成多類別識別。 兩。類別數量N，訓練N個獨立的分類器，每一個分類器對應1張超平面。 本質等價N張超平面。 分類器1：超平面1。貓【正】，狗+馬【負】 分類器2：超平面2。狗【正】，貓+馬【負】 ​分類器3：超平面3。馬【正】，貓+狗【負】 五、樸素貝葉斯：統計各個類別裏面特徵出現概率；預測的時候相乘比對概率。全程不存在超平面、激活函數、權重。屬於概率派算法，獨立於神經網絡體系。統計概率。生成式模型。小數據集起效快。文本基線算法。 邏輯迴歸、CNN：尋找最優超平面。判別式模型。海量數據可以持續提升精度。

神經網絡的不可思議之處 2011年，AlexNet的問世標誌着深度學習在機器學習領域的突破，深度神經網絡（Deep Neural Networks，DNNs）迅速成爲研究的重點。幾年後，貝赫南·內沙布爾（Behnam Neyshabur）、富田良太（Ryota Tomioka）和內森·斯雷布羅（Nathan Srebro）等學者來自芝加哥豐田技術研究院（Toyota Technological Institute at Chicago），對深度神經網絡的行爲提出了令人震驚的觀察。在他們的實驗中，研究團隊使用了一個僅包含單一隱藏層的神經網絡。出乎意料的是，隨着隱藏層神經元數量的增加（即模型容量的增加），該網絡並未表現出傳統上所預期的對訓練數據的過擬合現象。 他們在兩個標準的圖像數據集上進行實驗，其中一個是MNIST數據集，包含了手寫數字圖像。最初，隨着網絡規模的增大，訓練誤差和測試誤差（即泛化誤差）按照預期呈現下降趨勢。當網絡規模繼續增大並且訓練誤差趨近於零時，根據經典的偏差-方差權衡理論，測試誤差應當開始上升。然而，他們的實驗結果卻並未遵循這一規律，相反，測試誤差持續下降。他們在2015年發表的論文中表達了對這一現象的困惑和驚訝： 更令人驚訝的是，如果我們將網絡規模增加到超出實現零訓練誤差所需的規模，測試誤差竟然繼續下降！這一行爲完全違背了我們對神經網絡學習的傳統理解，無法通過傳統的假設空間擬合理論來解釋。例如，在MNIST數據集上，32個神經元就足以實現零訓練誤差，但如果我們進一步增加神經元，網絡對訓練數據並未做出更好的擬合……然而，測試誤差卻持續下降。事實上，隨着我們增加更多的參數，甚至超過訓練樣本的數量，泛化誤差並沒有如傳統理論預測的那樣上升。 儘管這一現象在早期的研究中已有所暗示，但內沙布爾及其同事是首個系統性地驗證這一現象的研究團隊。爲了進一步探究這一問題，他們提出了一個更具挑戰性的問題：如果故意向數據集中引入噪聲，結果會如何變化？ 以MNIST數據集爲例，每張圖像都有對應的標籤，如數字“5”對應標籤“Five”，數字“6”對應標籤“Six”，以此類推。假設我們從數據集中隨機選取1%的圖像並打亂它們的標籤，例如將數字“5”誤標爲“Four”，數字“9”誤標爲“Two”等。然後，我們將數據集分爲訓練集和測試集，訓練神經網絡使其在訓練集上實現零訓練誤差。對於這種情況，我們應該如何理解其結果？ 由於我們在數據中故意引入了噪聲，網絡在訓練集上達到零誤差意味着它已經“適應”了這些噪聲。例如，它學會了將誤標的數字“5”和“9”分別標記爲“Four”和“Two”。因此，儘管數據中存在噪聲，神經網絡仍然能夠在訓練集上做出完美的擬合。在學習理論中，描述這種現象的術語是“打破訓練數據”（Shattering the Training Data），即模型不僅能夠完美擬合訓練數據，還能對噪聲做出某種“學習”——這種現象超出了傳統機器學習理論的預期。 這一觀察反映了深度神經網絡與經典機器學習模型的顯著不同之處。傳統的學習理論往往假設，隨着模型容量（即參數數量）的增加，模型會逐漸趨向於過擬合，無法很好地泛化到未見過的數據。然而，深度神經網絡的實驗結果顯示，即便它們的容量遠遠超過了訓練數據的樣本數量，它們仍然能夠有效地進行泛化，並且在測試數據上表現優異。 這種現象的出現，挑戰了我們對神經網絡和機器學習模型的傳統理解，尤其是對偏差-方差權衡和過擬合機制的傳統看法。它表明，深度神經網絡可能具備一種獨特的學習能力，即在高容量的情況下，不僅能夠完美擬合訓練數據，還能保持較低的泛化誤差，甚至在引入噪聲數據的情況下，依然能有效地進行泛化。 由於該模型能夠完美擬合噪聲數據，按照傳統的機器學習理論，這種模型在測試數據上的表現應該會顯著下降。直觀而言，模型所學到的曲線是對訓練數據噪聲的高度擬合，而噪聲通常是隨機的，因此無法預期該模型能很好地泛化到未見過的數據。然而，實驗結果卻並非如此。內沙布爾（Neyshabur）及其同事在其研究中提道：“即便標籤隨機錯誤達5%，仍未出現顯著的過擬合現象，而且隨着網絡規模的增大，測試誤差依然持續下降，且超過了實現零訓練誤差所需的網絡規模。”他們對這一現象感到困惑，提出：“這究

梳理了人工智能的發展脈絡，每種人工智能技術的基本原理介紹。技術性、故事性都很好！也指出每種技術的特點，讀完能夠對人工智能相關技術以及發展脈絡有個全面的瞭解。

模式識別的緊迫性 奧地利動物心理學家康拉德·洛倫茨（Konrad Lorenz）在童年時期深受瑞典小說家、諾貝爾文學獎得主塞爾瑪·拉格洛芙（Selma Lagerlöf）創作的《尼爾斯騎鵝歷險記》（The Wonderful Adventures of Nils）[插圖]一書的影響。該書講述了一個男孩與野鵝之間的冒險故事。洛倫茨幼時非常渴望成爲一隻野鵝，但這一幻想未能實現。他轉而照顧鄰居送給他的一隻剛孵化一天的小鴨子。令人驚喜的是，這隻小鴨子開始跟隨他，因爲它將他認作了自己的母親。這種現象被稱爲“印隨行爲”（Imprinting，一種生物行爲），即許多動物（包括小鴨子和小鵝）在孵化後會與最先看到的移動物體形成依附關係。 洛倫茨後來成爲一名動物行爲學家，開創了動物行爲學領域的研究，特別是對印隨行爲的研究。他成功地讓小鴨子將他當作母親，它們不僅跟隨他走路、跑步、游泳，甚至在他劃獨木舟時也緊跟其後。