機器學習基礎

1. 數據可視化 數據可視化是機器學習項目初始階段的關鍵步驟，旨在通過圖形化手段（如散點圖、直方圖、箱線圖、熱力圖等）直觀呈現數據的分佈特徵、變量間的關係以及潛在異常值。它爲後續的特徵工程、模型選擇及參數調整提供重要依據，是數據探索與預處理的基礎環節。 2. 圖像特徵提取 圖像特徵提取旨在從原始像素矩陣中抽取具有判別能力的結構化信息，如邊緣、角點、紋理、顏色直方圖、方向梯度直方圖（HOG）等，形成圖像的緊湊表示。傳統方法依賴於人工設計的特徵描述符，而現代深度學習模型（尤其是卷積神經網絡）能夠自動從數據中學習層次化的特徵表示，顯著提升了圖像識別與理解的性能。 3. 數據分類 分類是監督學習的核心任務之一，其目標是根據已標註的訓練樣本學習一個從特徵空間到類別標籤的映射函數，進而對未知類別的樣本進行預測。常見的分類算法包括： K近鄰（K-Nearest Neighbors, KNN）：一種基於實例的惰性學習方法。對於待分類樣本，在特徵空間中尋找與其距離最近的K個訓練樣本，通過多數投票（或加權投票）決定其類別。KNN無需顯式訓練過程，但預測時需計算所有樣本距離，對特徵尺度敏感，且K值的選擇直接影響分類性能。 決策樹：通過遞歸劃分特徵空間構建樹形結構，內部節點表示特徵測試，分支對應測試結果，葉節點存儲類別標籤。其可解釋性強，能處理非線性關係，但易過擬合。 支持向量機（SVM）：旨在尋找最大化分類間隔的最優超平面，通過核技巧可處理非線性問題，泛化能力強，適用於中小規模數據集。 樸素貝葉斯：基於貝葉斯定理與特徵條件獨立假設，計算後驗概率進行決策，常用於文本分類。 邏輯迴歸：儘管名稱含“迴歸”，實爲線性分類模型，通過Sigmoid函數輸出概率。 分類算法廣泛應用於圖像識別、垃圾郵件檢測、醫療診斷等領域。 4. 聚類 聚類是一種無監督學習方法，旨在根據數據內在的相似性將樣本劃分爲若干組（簇），使得同一簇內的樣本高度相似，不同簇間的樣本差異顯著。聚類算法無需先驗標籤，常用於探索數據結構和模式發現。 K-means聚類是最具代表性的劃分式聚類算法，其核心步驟如下： 1.隨機選擇K個初始聚類中心（質心）。 2.計算每個樣本到各質心的距離（通常爲歐氏距離），將其分配到最近的質心所在的簇。 3.重新計算每個簇的質心（該簇所有樣本的均值）。 4.重複步驟2和3，直至質心變化小於閾值或達到最大迭代次數。 K-means算法簡單高效，適合處理凸形簇和大規模數據，但需預先指定簇數K，對初始質心敏感，且對噪聲和異常值較爲敏感。其他聚類方法包括層次聚類（構建樹狀結構）、DBSCAN（基於密度，可發現任意形狀簇並識別噪聲）等。 5. 線性迴歸與正則化 線性迴歸是一種預測連續數值的監督學習模型，假設目標變量與特徵之間存在線性關係，即通過特徵的線性組合擬合目標值。模型通過最小化預測值與真實值之間的平方誤差（最小二乘法）求解參數。 然而，當特徵維度較高或存在多重共線性時，線性迴歸模型容易過擬合，即在訓練集上表現優異，但在新數據上泛化能力差。正則化通過在損失函數中引入參數懲罰項，限制模型複雜度，從而提升泛化性能。常見正則化方法包括： 嶺迴歸（Ridge Regression）：引入L2範數懲罰項，即所有參數的平方和，使得參數值趨向於零但不嚴格爲零，能有效緩解多重共線性。 Lasso迴歸（Least Absolute Shrinkage and Selection Operator）：引入L1範數懲罰項，即參數絕對值之和，可將部分參數壓縮至零，從而實現特徵選擇。 彈性網絡（Elastic Net）：結合L1與L2懲罰，兼顧特徵選擇與穩定性。 正則化係數控制懲罰強度，需通過交叉驗證調優。 6. 邏輯迴歸 邏輯迴歸是一種用於二分類問題的線性模型，通過Sigmoid函數將線性組合映射到[0,1]區間，輸出樣本屬於正類的概率。其損失函數通常採用對數損失（交叉熵），並通過梯度下降法求解。邏輯迴歸具有概率可解釋性、計算效率高，且易於擴展到多分類（Softmax迴歸），常作爲分類任務的基準模型。 7. 線性降維 線性降維旨在通過線性變換將高維數據投影到低維空間，同時儘可能保留原始數據的關鍵信息，常用於數據壓縮、可視化和去噪。 主成分分析（Principal Component Analysis, PCA）是最經典的線性降維方法。其核心思想是尋找一組正交基（主成分），使得數據在該基上的投影方差最大。具體步驟包括： 1.對原始數據中心化（減去均值）。 2.計算協方差矩陣。 3.對協方差矩陣進行特徵值分解，得到特徵值和對應的特徵向量。 4.選取前k個最大特徵值對應的特徵向量作爲投影矩陣，將原始數據變換到新空間。 PCA通過保留主要方差方向，有效去除特徵間的線性相關性，且降維後的特徵彼此正交。但PCA假設數據服從高斯分佈，且僅能捕捉線性結構。 8. 非線性降維 當數據呈現非線性流形結構時（如瑞士捲、人臉姿態變化），線性降維方法無法有效展開數據。非線性降維通過保持數據的局部或全局幾何關係，將高維數據映射到低維空間。 拉普拉斯特徵映射（Laplacian Eigenmaps, LE）是一種基於圖拉普拉斯的非線性降維方法。其核心思想是構建一個近鄰圖（如K近鄰圖或ε-半徑圖），用圖的邊權重表示樣本間的相似性（通常由熱核函數定義），然後計算圖拉普拉斯矩陣的特徵向量，利用最小特徵值對應的特徵向量作爲低維嵌入。LE旨在使原空間中相鄰的點在低維嵌入後仍然鄰近，從而保留數據的局部結構。該方法對噪聲魯棒，但參數（近鄰數、熱核寬度）需謹慎選擇。 其他非線性降維方法還包括t-SNE（專注於可視化局部結構）和UMAP（兼顧全局結構）。 9. 核函數 核函數是一種將低維數據隱式映射到高維特徵空間的技術，使得在原空間中線性不可分的問題在高維空間變得線性可分。核函數直接計算高維空間的內積，避免顯式定義映射函數，從而降低計算複雜度。常見的核函數包括線性核、多項式核、高斯徑向基核（RBF）等。核技巧被廣泛應用於支持向量機（SVM）、核主成分分析（KPCA）等算法中，賦予線性模型處理非線性問題的能力。 10. 神經網絡 神經網絡是一種受生物神經系統啓發的計算模型，由大量相互連接的神經元（節點）組成。每個神經元接收多個輸入信號，對其進行加權求和，並通過非線性激活函數（如Sigmoid、Tanh、ReLU）產生輸出。多層神經網絡通常包含輸入層、若干隱藏層和輸出層，通過層間全連接或局部連接傳遞信息。神經網絡能夠通過組合低層特徵學習高層抽象表示，具備強大的函數逼近能力。 11. 反向傳播神經網絡 反向傳播（Backpropagation）是訓練多層神經網絡的核心算法，它結合梯度下降法優化網絡權重。訓練過程分爲兩個階段： 前向傳播：輸入數據從輸入層逐層傳遞至輸出層，計算當前預測值。 反向傳播：計算輸出誤差（如均方誤差或交叉熵），利用鏈式法則將誤差梯度沿網絡反向傳播，逐層計算每個權重對總誤差的貢獻。 梯度下降是優化權重的基本方法，通過沿着損失函數梯度的負方向更新參數，使損失逐漸減小。根據每次更新使用的樣本量，可分爲： 批量梯度下降：使用全部訓練樣本計算梯度，收斂穩定但計算開銷大。 隨機梯度下降（SGD）：每次隨機選擇一個樣本更新參數，收斂速度快但震盪劇烈。 小批量梯度下降：每次使用一小批樣本計算梯度，平衡了穩定性和效率。 然而，深層網絡在反向傳播時容易出現梯度消失或梯度爆炸問題，即靠近輸入層的梯度趨近於零或極大，導致網絡難以訓練。激活函數的合理選擇（如ReLU）、權重初始化、批歸一化（Batch Normalization）以及殘差連接等方法被提出以緩解該問題。 12. 深度神經網絡與卷積神經網絡 深度神經網絡（Deep Neural Networks, DNN）指具有多個隱藏層的神經網絡，通過逐層特徵變換自動學習數據的層次化表示。隨着層數加深，網絡能提取從低級邊緣到高級語義的抽象特徵，大幅提升模型表達能力。深度學習的成功得益於大規模數據集、高性能計算（GPU）以及訓練技巧的進步。 卷積神經網絡（Convolutional Neural Networks, CNN）是深度神經網絡的一種重要變體，專門用於處理具有網格結構的數據（如圖像）。其核心組件包括： 卷積層：通過多個可學習的卷積核在輸入上滑動，提取局部特徵，並保持平移不變性。 激活函數：通常使用ReLU增加非線性。 池化層：對特徵圖進行下采樣（如最大池化、平均池化），降低維度並增強魯棒性。 全連接層：將高層特徵映射到最終輸出（如類別概率）。 CNN通過局部連接、權值共享和池化操作大幅減少參數數量，有效捕捉空間層次結構，成爲圖像分類、目標檢測、圖像分割等視覺任務的基石。其典型架構包括LeNet、AlexNet、VGG、ResNet等。

還不錯，作者蠻用心的寫作，但是真的好難懂啊

書名或許叫《機器學習理論基礎》更合適，作爲理論讀物，目前看過的《圖解大模型》更推薦。

感覺真的不算基礎。沒有白話機器學習的數學那本書那麼通俗易懂。

相對側重於算法研究者，如果是應用爲主的學習者，不建議閱讀，比較抽象一些，涉及一些數學原理，有點費勁