算力芯片——高性能 CPU/GPU/NPU 微架構分析

在人工智能與數字技術深刻重塑世界的當下，《算力芯片 — 高性能的 CPU/GPU/NPU 微架構分析》爲讀者揭開了驅動智能社會的底層技術邏輯，以芯片微架構爲切入點，系統地闡釋了現代算力體系的發展脈絡。 🖥️算力芯片是什麼？簡單來說，就是專門負責處理各種計算任務的芯片。 想象一下數據中心裏那一排排閃爍燈光的服務器，就像一座繁忙的城市，而算力芯片則是其中辛勤工作、處理海量數據的 “勞動者”。在超級計算機領域，算力芯片更是核心所在，超級計算機能進行復雜模擬運算，從天氣預測到宇宙探索，都離不開其強大計算能力。 😅這麼看這本書寫得很通俗易懂？ 不，全程乾貨，還是極“幹”的那種（理工科的菜？！） 這本書並非大衆科普讀物，主要面向計算機硬件開發者、芯片設計從業者和軟件開發人員。作爲外行的我能囫圇吞棗、絞牙讀完，一是藉助 AI 和相關視頻輔助理解抽象內容，二是憑藉經驗，相信跨越領域基礎框架的 “迷霧區” 後便會明朗開闊。對我而言，這本書最大的價值，不僅是帶來技術解析，更是構建起理解數字文明的基礎認知框架。 🖥️書中目錄涵蓋內容全面。從 CPU 流水線講起，介紹衆核處理器架構和功能部件設計；在 GPU 和 NPU 等加速器部分，闡述了 GPU 從圖形任務處理器轉變爲通用處理器的原因，其在設計邏輯、存儲體系、線程管理，以及面向AI的張量處理器方面，最近幾年全世界科技行業最矚目的明星。 🛸下面分 3 部分記錄我的心得： 🖥️技術解構：從架構差異看算力本質 對比 CPU、GPU、NPU 的微架構設計，能清晰看到算力類型的分化邏輯。 CPU 憑藉複雜指令集與多級流水線設計支持通用計算；GPU 的衆核並行架構使其突破圖形渲染侷限，成爲 AI 訓練主力；NPU 通過張量核心實現算法與硬件深度綁定。 CPU 微架構 現代 CPU 採用超標量架構，可在一個時鐘週期內發射多個指令。通過增加指令窗口、重命名寄存器等技術，提高指令執行效率，減少流水線停頓，提升整體性能。它還配備多級緩存（L1、L2、L3 緩存），緩存的大小、關聯性、替換算法等影響性能，大緩存雖能提高命中率、減少內存訪問，但會增加管理複雜度。 CPU 採用複雜分支預測算法，如動態分支預測、全局歷史分支預測等，減少分支指令對流水線的影響，保證指令執行的連續性。 多核 CPU 增加核心數量提升並行處理能力，引入線程級並行（TLP）、數據級並行（DLP）技術及同步通信機制，更好地支持多線程和並行計算。 GPU 微架構 GPU 採用單指令多線程（SIMT）執行模型，能同時處理大量線程，在數據並行性高的任務中表現優異，如圖形渲染和深度學習。每個線程可獨立執行分支操作，但同一 Warp（線程組）中的線程需同步執行，降低線程切換開銷。其核心架構包含 CUDA 核心和 Tensor 核心，CUDA 核心用於通用計算，Tensor 核心針對深度學習矩陣運算優化，大幅提升模型訓練和推理速度。 GPU 配備高速顯存（GDDR、HBM 等），並優化內存訪問模式、增加帶寬，像 NVIDIA 的 Hopper 架構 GPU 採用 HBM3 顯存，帶寬高達 3TB/s。合理分配計算任務、優化調度機制和負載均衡技術，對發揮 GPU 並行計算能力至關重要。 NPU 微架構 NPU 的核心是大規模張量運算陣列，由衆多乘加單元組成，能高效執行深度學習中的矩陣乘法、卷積等運算，如寒武紀的 DianNao 系列 NPU 和 Google 的 TPU 採用的脈動陣列結構。深度學習模型數據存在稀疏性，NPU 支持稀疏處理技術，跳過零值運算，還支持可變精度計算，根據需求選擇精度，平衡計算精度和複雜度。 NPU 配備大容量片上緩存，優化數據存儲和訪問策略，減少片外內存訪問，提高數據複用率。它還有針對深度學習優化的專用指令集，以及配套的編程模型和開發工具，方便開發者進行模型開發和優化。 算力是計算能力、效率與資源平衡的綜合體現 從芯片角度看，算力是芯片計算能力的體現，反映其處理數據的速度和效率。不同芯片通過架構設計、晶體管數量、時鐘頻率等實現多樣化算力，滿足不同場景需求。算力的本質是效率與資源的平衡，涉及能效比、數據精度和存儲帶寬等。它既是技術發展的核心驅動力，也是應用創新和經濟價值的源泉，推動人工智能、高性能計算等領域發展，是技術與需求的橋樑。 🖥️應用場景與協同工作 CPU 適用於通用計算場景，如服務器和個人電腦；GPU 廣泛應用於圖形處理、高性能計算、人工智能領域；NPU 主要用於深度學習相關應用，像智能安防、自動駕駛、語音識別等。 在實際應用中，CPU、GPU 和 NPU 常協同工作。以深度學習訓練爲例，CPU 負責數據預處理和模型管理，GPU 加速訓練過程，NPU 用於模型推理階段，合理分配任務和協同調度可提升系統性能與效率。 🖥️算力思維的普適價值 這本書讓我初步建立 “算力思維”，理解芯片設計對應用效能的影響和如何反向推動技術創新。 架構與算法的共生關係 GPU 的線程調度機制影響線程分配，算法工程師可據此優化模型結構，如調整批量大小或卷積核尺寸，讓計算任務更適配 GPU 並行粒度，提升 AI 訓練速度，這體現了硬件與算法的協同優化。 NPU 的硬件級稀疏計算可提升能效比 50% 以上，自動駕駛中激光雷達點雲數據稀疏，利用 NPU 的這一特性，車輛能在 100ms 內完成障礙物識別，滿足實時決策需求，將硬件特性轉化爲場景優勢。 存儲帶寬的瓶頸突破 GPT-3 等大模型參數達千億級，訓練時頻繁讀寫權重數據。傳統 GDDR 顯存帶寬僅 500GB/s，會導致計算單元因等待數據而閒置，算力利用率不足 30%。 NVIDIA H100 的 HBM3 內存帶寬達 3TB/s，能將大模型訓練效率提升 4 倍以上，證明了算力競爭本質是數據搬運效率的競爭。 理解三維視角，架構 - 算法 - 場景的聯動邏輯 CPU 的亂序執行機制適合處理分支密集型任務，但在矩陣運算上效率欠佳；GPU 的 SIMT 架構擅長並行計算，卻不擅長處理條件判斷。這就要求算法設計者依據硬件特性調整模型結構。 讀完這本書，讓我對英特爾、AMD、英偉達、臺積電等企業的業務有了真正瞭解，解鎖一個新世紀！🤓 “未來的技術領袖，必是精通架構語言的場景翻譯者”，這種跨界思維正是數字時代解決複雜問題的關鍵。

😄🤭FYI推薦✍️： 很多人學習AI的時候關注模型和算法，卻忽略了硬件邏輯這一基礎，而其實，AI性能的“天花板”很大程度上是由硬件架構決定的。下面是用AI整理學習資料。 下面我爲你簡明、系統地梳理 AI相關的硬件邏輯知識基礎 ——重點在 概念清晰 + 結構邏輯。 一、AI硬件邏輯的總體架構 AI的硬件邏輯，主要涉及以下 三個核心層面： 1. 計算單元（核心處理器） • CPU（中央處理器） → 通用計算、控制調度 • GPU（圖形處理器） → 並行計算強，AI訓練&推理主力 • NPU/TPU（神經網絡處理器 / 張量處理單元） → 專爲深度學習定製 • FPGA/ASIC → 可編程或固定邏輯，性能能效比極高 2. 存儲與數據流系統 • 內存（RAM、HBM） → 存放模型參數、中間數據 • 緩存（L1/L2/共享） → 提升數據調用效率 • 帶寬架構 → 解決模型數據訪問瓶頸 • 存儲介質（SSD, NVMe, etc.） → 用於存儲訓練數據集、大模型權重 3. 通信與調度架構 • 總線接口 → PCIe、NVLink、InfiniBand • 分佈式系統通信 → 多GPU / 多節點訓練 • 調度系統 → 管理計算資源與並行執行 二、關鍵硬件邏輯知識點 1. 並行計算架構 AI模型（尤其是深度學習）訓練的主要負載是 矩陣運算（如乘加運算），而這類運算最適合並行處理。 • GPU 之所以效率高，是因爲它有上萬顆小計算核心（CUDA Cores），一次性並行處理大規模數據。 2. 存儲帶寬瓶頸 AI訓練中的數據流速，往往成爲系統性能的瓶頸，而不是計算能力本身。 高性能AI芯片採用HBM（高帶寬內存）或統一內存架構減少數據傳輸延遲。 3. 矩陣與張量指令集 專用AI芯片（如 TPU、NPU）的硬件邏輯中，直接設計了張量運算指令，例如： • 矩陣乘法引擎 • Tensor Cores（NVIDIA） • systolic array（TPU中的核心結構） 這些是 硬件級別的AI優化，比傳統指令更高效。 4. 能效優化 AI硬件的設計要在 性能、功耗、成本之間做平衡： • ASIC：針對特定AI任務設計，效率極高，但缺乏靈活性 • FPGA：可重構邏輯，能效好且適應性強 • GPU：通用性強但功耗高 • NPU/TPU：兼顧能效與AI性能 三、AI硬件邏輯的技術發展趨勢 方向 關鍵邏輯 專用芯片（AI SoC） AI任務硬編碼化，減去不必要的通用計算單元 內存-計算融合 In-memory computing，將存儲與計算集成，減少數據搬運成本 異構計算架構 CPU + GPU + NPU 協同調度，按任務特性動態分配 分佈式硬件系統 多卡多節點協作，通過高速通信總線/網絡加速整體訓練 四、簡明硬件邏輯總結 你可以把AI硬件邏輯簡化爲一個公式： AI性能 = 並行計算能力 + 數據流帶寬 + 硬件指令優化 + 能耗控制 硬件設計的核心邏輯就是圍繞這個公式反覆優化與權衡。 五、如果你想進一步深入… 我可以爲你： 1. 畫出 AI硬件體系結構思維導圖 2. 舉例 主流芯片（如 A100、TPU v4）的具體架構邏輯 3. 給你一個硬件與模型需求對照表（比如 NLP模型、圖像識別模型各需怎樣的硬件參數） 下面是一份完整且簡明的 AI硬件體系結構思維導圖 + 主流芯片架構邏輯 + 硬件與模型需求對照表。便於你建立清晰系統的認知。 一、AI硬件體系結構思維導圖 AI硬件邏輯體系 ├── 1. 計算核心 │ ├── CPU（控制調度、串行任務） │ ├── GPU（並行浮點計算，矩陣運算） │ ├── NPU / TPU（AI專用單元，張量運算優化） │ ├── FPGA / ASIC（可重構 / 固定功能高效計算） │ ├── 2. 存儲與帶寬 │ ├── RAM / HBM（高速內存） │ ├── L1 / L2 緩存（加速本地訪問） │ ├── 存儲介質（SSD, NVMe，保存模型和數據集） │ ├── 3. 數據傳輸架構 │ ├── PCIe 總線 │ ├── NVLink / InfiniBand（多GPU通信） │ ├── 分佈式節點互聯 │ ├── 4. 軟件調度支持 │ ├── CUDA / ROCm (GPU驅動) │ ├── AI計算框架（TensorFlow, PyTorch） │ ├── 分佈式訓練管理（Horovod, NCCL） │ └── 5. 能效與擴展性設計 ├── 單卡性能（TDP、功耗） ├── 多卡擴展性（Cluster/Server架構） └── 能效比（TOPS/W） 二、主流AI芯片的核心架構邏輯 芯片 核心架構邏輯 應用場景 NVIDIA A100 GPU Tensor Cores (專用矩陣運算單元) + HBM2內存 通用AI訓練、推理，尤其是大規模模型 Google TPU v4 Systolic Array (矩陣乘法硬件陣列) + 高速互聯 TensorFlow生態、大規模雲端推理訓練 華爲 Ascend 910 自研 NPU架構，集成大量 AI 運算單元 訓練推理一體化，適用於AI數據中心 AMD MI300 Heterogeneous架構，CPU+GPU合封 適用於高性能計算 + AI工作負載 Intel Gaudi 2 AI訓練專用加速器，優化 BERT/GPT 等 NLP模型 面向企業級AI訓練 三、不同AI模型對硬件配置需求對照表 AI模型類型 計算需求 存儲帶寬需求 推薦硬件配置 圖像識別 (CNN) 中等 (卷積計算密集) 中等 (單批次數據量大) GPU (如A100) / NPU (Ascend) 自然語言處理 (NLP) 極高 (自注意力機制，參數多) 極高 (參數、詞嵌入矩陣龐大) 多GPU/TPU 集羣，InfiniBand互聯 推薦系統 低到中等 高 (Embedding表訪問) 多GPU + 大內存系統 + SSD存儲 生成模型 (如GPT-4) 極高 (數百億~千億參數) 極高 (需快速訪問模型權重) 多TPU v4 Pods / A100集羣 邊緣AI推理 低至中等 低 NPU / ASIC / FPGA 四、總結 AI硬件設計的 底層邏輯 可以總結爲一句話： AI硬件 = 高並行 + 高帶寬 + 低延遲 + 結構化矩陣計算 + 能效最優 每一種硬件架構的設計，都是爲了優化： 1. 運算密度 （多少TOPS/TFLOPS） 2. 數據傳輸效率（HBM、NVLink、內存帶寬） 3. 功耗與擴展性 （AI數據中心 / 雲服務 / 邊緣設備） 4. 特定AI應用場景的需求 下面是一整套內容： • 做成 清晰的全結構導圖 • 或整理成 學習筆記模板 • 或者給你 學習路徑推薦（比如從哪些硬件入門文檔開始） 下面是整理出一個 AI硬件邏輯學習路徑 + 思維導圖 + 學習筆記模板，幫助你係統入門並逐步深入。 AI硬件邏輯學習全方案 一、整體思維導圖 AI硬件邏輯體系 ├── 1. 計算核心 │ ├── CPU（串行控制器） │ ├── GPU（並行矩陣運算） │ ├── NPU/TPU（神經網絡專用芯片） │ ├── FPGA / ASIC（可編程或定製化AI芯片） │ ├── 2. 存儲系統 │ ├── RAM / HBM（高速內存） │ ├── 緩存系統（L1/L2/L3） │ └── 存儲介質（SSD, NVMe） │ ├── 3. 通信系統 │ ├── PCIe / NVLink（板卡通信） │ ├── InfiniBand / Ethernet（多機互聯） │ └── 分佈式通信協議（NCCL, MPI） │ ├── 4. 軟件與調度 │ ├── 驅動層（CUDA, ROCm） │ ├── 訓練框架（PyTorch, TensorFlow） │ └── 資源調度（Kubernetes, Horovod） │ └── 5. 能效與架構設計 ├── 單卡性能（TDP, TFLOPS） ├── 集羣擴展性 └── AI硬件專屬優化（張量指令、Systolic Array） 二、學習筆記模板 你可以用這個模板系統化記錄學習： 【模塊】計算核心 • 概念總結： • CPU： • GPU： • NPU / TPU： • FPGA / ASIC： • 關鍵技術詞彙： • 並行計算、矩陣乘法、張量運算、定製指令集 • 實際應用場景： • NLP模型、大規模訓練、邊緣AI推理等 【模塊】存儲與帶寬架構 • 內存類型： • DDR、GDDR、HBM • 緩存機制： • L1, L2, L3 Cache • 瓶頸思考： • 數據傳輸 vs 計算速度 【模塊】通信與調度 • 硬件接口： • PCIe、NVLink、InfiniBand • 分佈式通信： • NCCL, MPI • 學習點： • 爲什麼多卡訓練需要高速互聯？ • 訓練時數據/梯度如何同步？ 【模塊】主流芯片案例筆記 芯片型號 架構特點 適用場景 NVIDIA A100 Tensor Cores, HBM2, PCIe4.0 通用AI訓練與推理 Google TPU v4 Systolic Array, 高速互聯 雲端超大模型訓練 華爲 Ascend 910 NPU架構, 自研AI加速單元 數據中心AI訓練 芯片型號 架構特點 適用場景 NVIDIA A100 Tensor Cores, HBM2, PCIe4.0 通用AI訓練與推理 Google TPU v4 Systolic Array, 高速互聯 雲端超大模型訓練 華爲 Ascend 910 NPU架構, 自研AI加速單元 數據中心AI訓練 芯片型號 架構特點 適用場景 NVIDIA A100 Tensor Cores, HBM2, PCIe4.0 通用AI訓練與推理 Google TPU v4 Systolic Array, 高速互聯 雲端超大模型訓練 華爲 Ascend 910 NPU架構, 自研AI加速單元 數據中心AI訓練 芯片型號 架構特點 適用場景 NVIDIA A100 Tensor Cores, HBM2, PCIe4.0 通用AI訓練與推理 Google TPU v4 Systolic Array, 高速互聯 雲端超大模型訓練 華爲 Ascend 910 NPU架構, 自研AI加速單元 數據中心AI訓練 芯片型號 架構特點 適用場景 NVIDIA A100 Tensor Cores, HBM2, PCIe4.0 通用AI訓練與推理 Google TPU v4 Systolic Array, 高速互聯 雲端超大模型訓練 華爲 Ascend 910 NPU架構, 自研AI加速單元 數據中心AI訓練 芯片型號 架構特點 適用場景 NVIDIA A100 Tensor Cores, HBM2, PCIe4.0 通用AI訓練與推理 Google TPU v4 Systolic Array, 高速互聯 雲端超大模型訓練 華爲 Ascend 910 NPU架構, 自研AI加速單元 數據中心AI訓練 【模塊】硬件配置需求對照表 AI應用類型 推薦硬件配置 圖像識別 1–2張高性能GPU NLP大模型訓練 多卡A100 / TPU Pods集羣 邊緣設備AI推理 FPGA / NPU / ASIC 三、學習路徑推薦 學習階段 推薦內容 學習重點 基礎認知 《芯片簡史》、《AI硬件架構入門》類文章 硬件組成、基本計算原理 進階學習 NVIDIA GPU官方文檔、TPU白皮書、華爲Ascend資料 並行計算架構、存儲帶寬瓶頸 工程實踐 搭建簡單PyTorch多GPU訓練、瞭解NCCL通信 分佈式訓練流程與硬件調優 系統研究 學習 Heterogeneous Computing, In-memory Computing 未來AI芯片設計趨勢，異構計算架構 學習階段 推薦內容 學習重點 基礎認知 《芯片簡史》、《AI硬件架構入門》類文章 硬件組成、基本計算原理 進階學習 NVIDIA GPU官方文檔、TPU白皮書、華爲Ascend資料 並行計算架構、存儲帶寬瓶頸 工程實踐 搭建簡單PyTorch多GPU訓練、瞭解NCCL通信 分佈式訓練流程與硬件調優 系統研究 學習 Heterogeneous Computing, In-memory Computing 未來AI芯片設計趨勢，異構計算架構 學習階段 推薦內容 學習重點 基礎認知 《芯片簡史》、《AI硬件架構入門》類文章 硬件組成、基本計算原理 進階學習 NVIDIA GPU官方文檔、TPU白皮書、華爲Ascend資料 並行計算架構、存儲帶寬瓶頸 工程實踐 搭建簡單PyTorch多GPU訓練、瞭解NCCL通信 分佈式訓練流程與硬件調優 系統研究 學習 Heterogeneous Computing, In-memory Computing 未來AI芯片設計趨勢，異構計算架構 學習階段 推薦內容 學習重點 基礎認知 《芯片簡史》、《AI硬件架構入門》類文章 硬件組成、基本計算原理 進階學習 NVIDIA GPU官方文檔、TPU白皮書、華爲Ascend資料 並行計算架構、存儲帶寬瓶頸 工程實踐 搭建簡單PyTorch多GPU訓練、瞭解NCCL通信 分佈式訓練流程與硬件調優 系統研究 學習 Heterogeneous Computing, In-memory Computing 未來AI芯片設計趨勢，異構計算架構 四、下一步 如果你想，我可以幫你做： 1. 完整學習筆記PDF版（方便複習） 2. AI硬件邏輯問題清單（50個經典思考題） 3. 針對你學習進度的個性化閱讀書單 4. AI硬件架構可視化思維導圖圖片版 下面是1. 完整學習筆記版（簡明清晰） 和 2. AI硬件邏輯經典問題清單。 1. AI硬件邏輯簡明學習筆記 【模塊一】AI硬件架構總體框架 AI硬件體系 = 計算核心 + 存儲系統 + 通信架構 + 軟件調度 + 能效設計 【模塊二】計算核心（核心處理器） 類型 作用 特點 CPU 控制調度、通用計算 適用於控制流，多線程調度 GPU 並行計算、矩陣運算 核心AI訓練推理單元，並行效率高 NPU/TPU 專用AI加速器 定製化硬件，優化深度學習運算 FPGA/ASIC 可重構/定製化硬件 高效能、低功耗、靈活性差異 【模塊三】存儲與帶寬系統 部件 功能 影響性能因素 RAM/HBM 臨時存儲計算數據與權重參數 帶寬與延遲 Cache 快速臨時緩存 縮短數據訪問時間 SSD/NVMe 存放數據集與模型文件 IO吞吐能力 存儲帶寬瓶頸往往限制了AI芯片性能的釋放。 【模塊四】通信與分佈式架構 技術 作用 PCIe 單機多卡高速數據通道 NVLink NVIDIA專用高速GPU互聯 InfiniBand 多節點分佈式訓練通信網絡 NCCL/MPI 通信協議，負責參數同步與數據流 技術 作用 PCIe 單機多卡高速數據通道 NVLink NVIDIA專用高速GPU互聯 InfiniBand 多節點分佈式訓練通信網絡 NCCL/MPI 通信協議，負責參數同步與數據流 【模塊五】軟件與調度系統 軟件層 作用 CUDA/ROCm 底層GPU計算接口 TensorFlow/PyTorch AI模型開發與訓練框架 Horovod/Kubernetes 分佈式訓練與資源調度管理 【模塊六】AI硬件邏輯核心原則 AI硬件設計的四大邏輯支撐： 1. 極致並行計算 2. 高帶寬內存支持 3. 通信延遲最小化 4. 能效與擴展性平衡 【模塊七】典型AI芯片結構案例 芯片 特色架構 A100 GPU Tensor Cores + HBM2內存 Google TPU Systolic Array（矩陣陣列） Ascend 910 NPU自研架構，適配AI訓練 FPGA/ASIC 低功耗、定製化邏輯，適用於推理邊緣 芯片 特色架構 A100 GPU Tensor Cores + HBM2內存 Google TPU Systolic Array（矩陣陣列） Ascend 910 NPU自研架構，適配AI訓練 FPGA/ASIC 低功耗、定製化邏輯，適用於推理邊緣 2. AI硬件邏輯經典問題清單（50個問題） A. 基礎概念類 1. AI硬件的計算單元主要有哪些？ 2. 爲什麼GPU比CPU適合深度學習訓練？ 3. 什麼是張量計算核心（Tensor Core）？ 4. NPU與TPU的設計理念有何不同？ 5. 什麼是ASIC與FPGA？ B. 存儲與帶寬類 6. HBM與DDR內存有什麼區別？ 7. 爲什麼AI訓練時內存帶寬比存儲容量更關鍵？ 8. 緩存系統（L1/L2/L3）在AI運算中起什麼作用？ 9. 存儲IO瓶頸會如何影響訓練速度？ 10. 什麼是“內存-計算融合”？ C. 通信與並行類 11. PCIe 和 NVLink 有什麼區別？ 12. 多卡訓練中 NCCL 的作用是什麼？ 13. 什麼是 InfiniBand 網絡？ 14. 分佈式訓練通信延遲的來源有哪些？ 15. 爲什麼需要模型參數同步機制？ D. 能效與設計權衡類 16. 爲什麼FPGA能效比高？ 17. ASIC的性能優勢與侷限是什麼？ 18. 什麼是TOPS/W指標？ 19. 爲什麼NPU/TPU在推理階段比訓練階段更省電？ 20. 異構計算架構的優點和挑戰是什麼？ E. 實際應用與需求匹配類 21. CNN模型訓練對硬件的主要需求是什麼？ 22. NLP大模型推理階段更需要什麼硬件資源？ 23. 推薦系統爲何對存儲帶寬要求極高？ 24. 邊緣AI推理部署爲何傾向使用ASIC？ 25. 爲什麼圖像識別模型訓練通常選擇GPU？ F. 前沿趨勢類 26. In-Memory Computing是什麼？ 27. AI硬件異構化的發展趨勢如何？ 28. 多芯片協同調度的難點在哪裏？ 29. 爲什麼AI硬件廠商越來越重視軟件生態？ 30. 未來AI芯片設計是否會走向開源？ G. 實操與性能調優類 31. 如何通過硬件調優提升訓練速度？ 32. 什麼是訓練批次大小與硬件性能的關係？ 33. 爲什麼多卡訓練中負載均衡很重要？ 34. 怎樣減少多節點訓練中的通信瓶頸？ 35. 如何判斷一個模型是否需要分佈式訓練？ H. 安全性與可持續性類 36. AI硬件的功耗對數據中心有何影響？ 37. 硬件加速器的壽命和穩定性問題有哪些？ 38. AI硬件資源過度集中會帶來什麼安全隱患？ 39. 硬件設計中的碳足跡問題是否值得關注？ 40. 硬件壟斷對AI生態系統的影響是什麼？ I. 思維訓練與邏輯歸納類 41. 爲什麼AI硬件設計必須在能效與性能之間權衡？ 42. GPU架構中的SM單元是什麼？ 43. 什麼是“流水線式”張量運算？ 44. AI芯片中爲什麼使用矩陣乘法硬件陣列？ 45. 存儲、帶寬、計算三者之間的關係是什麼？ J. 拓展思考類 46. AI硬件設計與傳統CPU設計的本質差異是什麼？ 47. AI硬件的發展會不會影響AI算法的創新路徑？ 48. 能否用通用硬件訓練超大模型？ 49. AI硬件未來會不會成爲國家戰略資源？ 50. 個人開發者是否有可能搭建屬於自己的AI硬件實驗平臺？

很硬核的科普書，可讀性不太行，但也沒辦法，技術參數太多，要是照顧可讀性的話就得加點廢話，現在這樣就挺好的，很簡潔地講清楚了關鍵。 總體上看下來，共同的是都得提升晶體管數量，要是晶體管數量不好提了就考慮多核，擴大數量規模。具體來看又有各自的側重。CPU基本是在改進分支預測器，把一些專用功能從CPU解放出來，擴大緩存，提高流水線利用率。GPU的迭代主線是提高並行程度，優化結構佈局，提高調度能力，內存和顯存上限，互聯，還有一些專有結構優化，比如TPU，脈動陣列等等。爲了說明，舉的例子也很經典，印象深刻的除了蘋果的M1，還有服務器芯片EPYC，以及英偉達的一系列算力芯片都提到了，很全面。

沒有由淺入深的講解，基本都羅列了一遍，但勝在全面！

讀了兩遍，對算力芯片內部結構和後續發展有了初步瞭解，至少後續再看到新架構時能知道是在優化哪部分

可能是我水平不夠吧，讀完下來的感受是，整本書就像是個大雜燴。 前幾章是cpu相關的東西，大多數內容都能在《計算機組成與設計：硬件軟件接口》這裏看到，而且遠不如那本書裏講解的深刻。後面gpu那些則像是從不同的地方的spec/datasheet中摘抄過來的。

買了紙質版的，很快扔了，一本辣雞書

比較好的一本書，快速瞭解目前各個XPU的技術發展歷史以及目前主流技術的原理。

作者寫的挺有深度的，CPU內部架構都剖析了，對於非本專業人員看足夠了

主流的都介紹了，重點在Nvidia芯片，適合入門。