算力芯片——高性能 CPU/GPU/NPU 微架构分析

在人工智能与数字技术深刻重塑世界的当下，《算力芯片 — 高性能的 CPU/GPU/NPU 微架构分析》为读者揭开了驱动智能社会的底层技术逻辑，以芯片微架构为切入点，系统地阐释了现代算力体系的发展脉络。 🖥️算力芯片是什么？简单来说，就是专门负责处理各种计算任务的芯片。 想象一下数据中心里那一排排闪烁灯光的服务器，就像一座繁忙的城市，而算力芯片则是其中辛勤工作、处理海量数据的 “劳动者”。在超级计算机领域，算力芯片更是核心所在，超级计算机能进行复杂模拟运算，从天气预测到宇宙探索，都离不开其强大计算能力。 😅这么看这本书写得很通俗易懂？ 不，全程干货，还是极“干”的那种（理工科的菜？！） 这本书并非大众科普读物，主要面向计算机硬件开发者、芯片设计从业者和软件开发人员。作为外行的我能囫囵吞枣、绞牙读完，一是借助 AI 和相关视频辅助理解抽象内容，二是凭借经验，相信跨越领域基础框架的 “迷雾区” 后便会明朗开阔。对我而言，这本书最大的价值，不仅是带来技术解析，更是构建起理解数字文明的基础认知框架。 🖥️书中目录涵盖内容全面。从 CPU 流水线讲起，介绍众核处理器架构和功能部件设计；在 GPU 和 NPU 等加速器部分，阐述了 GPU 从图形任务处理器转变为通用处理器的原因，其在设计逻辑、存储体系、线程管理，以及面向AI的张量处理器方面，最近几年全世界科技行业最瞩目的明星。 🛸下面分 3 部分记录我的心得： 🖥️技术解构：从架构差异看算力本质 对比 CPU、GPU、NPU 的微架构设计，能清晰看到算力类型的分化逻辑。 CPU 凭借复杂指令集与多级流水线设计支持通用计算；GPU 的众核并行架构使其突破图形渲染局限，成为 AI 训练主力；NPU 通过张量核心实现算法与硬件深度绑定。 CPU 微架构 现代 CPU 采用超标量架构，可在一个时钟周期内发射多个指令。通过增加指令窗口、重命名寄存器等技术，提高指令执行效率，减少流水线停顿，提升整体性能。它还配备多级缓存（L1、L2、L3 缓存），缓存的大小、关联性、替换算法等影响性能，大缓存虽能提高命中率、减少内存访问，但会增加管理复杂度。 CPU 采用复杂分支预测算法，如动态分支预测、全局历史分支预测等，减少分支指令对流水线的影响，保证指令执行的连续性。 多核 CPU 增加核心数量提升并行处理能力，引入线程级并行（TLP）、数据级并行（DLP）技术及同步通信机制，更好地支持多线程和并行计算。 GPU 微架构 GPU 采用单指令多线程（SIMT）执行模型，能同时处理大量线程，在数据并行性高的任务中表现优异，如图形渲染和深度学习。每个线程可独立执行分支操作，但同一 Warp（线程组）中的线程需同步执行，降低线程切换开销。其核心架构包含 CUDA 核心和 Tensor 核心，CUDA 核心用于通用计算，Tensor 核心针对深度学习矩阵运算优化，大幅提升模型训练和推理速度。 GPU 配备高速显存（GDDR、HBM 等），并优化内存访问模式、增加带宽，像 NVIDIA 的 Hopper 架构 GPU 采用 HBM3 显存，带宽高达 3TB/s。合理分配计算任务、优化调度机制和负载均衡技术，对发挥 GPU 并行计算能力至关重要。 NPU 微架构 NPU 的核心是大规模张量运算阵列，由众多乘加单元组成，能高效执行深度学习中的矩阵乘法、卷积等运算，如寒武纪的 DianNao 系列 NPU 和 Google 的 TPU 采用的脉动阵列结构。深度学习模型数据存在稀疏性，NPU 支持稀疏处理技术，跳过零值运算，还支持可变精度计算，根据需求选择精度，平衡计算精度和复杂度。 NPU 配备大容量片上缓存，优化数据存储和访问策略，减少片外内存访问，提高数据复用率。它还有针对深度学习优化的专用指令集，以及配套的编程模型和开发工具，方便开发者进行模型开发和优化。 算力是计算能力、效率与资源平衡的综合体现 从芯片角度看，算力是芯片计算能力的体现，反映其处理数据的速度和效率。不同芯片通过架构设计、晶体管数量、时钟频率等实现多样化算力，满足不同场景需求。算力的本质是效率与资源的平衡，涉及能效比、数据精度和存储带宽等。它既是技术发展的核心驱动力，也是应用创新和经济价值的源泉，推动人工智能、高性能计算等领域发展，是技术与需求的桥梁。 🖥️应用场景与协同工作 CPU 适用于通用计算场景，如服务器和个人电脑；GPU 广泛应用于图形处理、高性能计算、人工智能领域；NPU 主要用于深度学习相关应用，像智能安防、自动驾驶、语音识别等。 在实际应用中，CPU、GPU 和 NPU 常协同工作。以深度学习训练为例，CPU 负责数据预处理和模型管理，GPU 加速训练过程，NPU 用于模型推理阶段，合理分配任务和协同调度可提升系统性能与效率。 🖥️算力思维的普适价值 这本书让我初步建立 “算力思维”，理解芯片设计对应用效能的影响和如何反向推动技术创新。 架构与算法的共生关系 GPU 的线程调度机制影响线程分配，算法工程师可据此优化模型结构，如调整批量大小或卷积核尺寸，让计算任务更适配 GPU 并行粒度，提升 AI 训练速度，这体现了硬件与算法的协同优化。 NPU 的硬件级稀疏计算可提升能效比 50% 以上，自动驾驶中激光雷达点云数据稀疏，利用 NPU 的这一特性，车辆能在 100ms 内完成障碍物识别，满足实时决策需求，将硬件特性转化为场景优势。 存储带宽的瓶颈突破 GPT-3 等大模型参数达千亿级，训练时频繁读写权重数据。传统 GDDR 显存带宽仅 500GB/s，会导致计算单元因等待数据而闲置，算力利用率不足 30%。 NVIDIA H100 的 HBM3 内存带宽达 3TB/s，能将大模型训练效率提升 4 倍以上，证明了算力竞争本质是数据搬运效率的竞争。 理解三维视角，架构 - 算法 - 场景的联动逻辑 CPU 的乱序执行机制适合处理分支密集型任务，但在矩阵运算上效率欠佳；GPU 的 SIMT 架构擅长并行计算，却不擅长处理条件判断。这就要求算法设计者依据硬件特性调整模型结构。 读完这本书，让我对英特尔、AMD、英伟达、台积电等企业的业务有了真正了解，解锁一个新世纪！🤓 “未来的技术领袖，必是精通架构语言的场景翻译者”，这种跨界思维正是数字时代解决复杂问题的关键。

😄🤭FYI推荐✍️： 很多人学习AI的时候关注模型和算法，却忽略了硬件逻辑这一基础，而其实，AI性能的“天花板”很大程度上是由硬件架构决定的。下面是用AI整理学习资料。 下面我为你简明、系统地梳理 AI相关的硬件逻辑知识基础 ——重点在 概念清晰 + 结构逻辑。 一、AI硬件逻辑的总体架构 AI的硬件逻辑，主要涉及以下 三个核心层面： 1. 计算单元（核心处理器） • CPU（中央处理器） → 通用计算、控制调度 • GPU（图形处理器） → 并行计算强，AI训练&推理主力 • NPU/TPU（神经网络处理器 / 张量处理单元） → 专为深度学习定制 • FPGA/ASIC → 可编程或固定逻辑，性能能效比极高 2. 存储与数据流系统 • 内存（RAM、HBM） → 存放模型参数、中间数据 • 缓存（L1/L2/共享） → 提升数据调用效率 • 带宽架构 → 解决模型数据访问瓶颈 • 存储介质（SSD, NVMe, etc.） → 用于存储训练数据集、大模型权重 3. 通信与调度架构 • 总线接口 → PCIe、NVLink、InfiniBand • 分布式系统通信 → 多GPU / 多节点训练 • 调度系统 → 管理计算资源与并行执行 二、关键硬件逻辑知识点 1. 并行计算架构 AI模型（尤其是深度学习）训练的主要负载是 矩阵运算（如乘加运算），而这类运算最适合并行处理。 • GPU 之所以效率高，是因为它有上万颗小计算核心（CUDA Cores），一次性并行处理大规模数据。 2. 存储带宽瓶颈 AI训练中的数据流速，往往成为系统性能的瓶颈，而不是计算能力本身。 高性能AI芯片采用HBM（高带宽内存）或统一内存架构减少数据传输延迟。 3. 矩阵与张量指令集 专用AI芯片（如 TPU、NPU）的硬件逻辑中，直接设计了张量运算指令，例如： • 矩阵乘法引擎 • Tensor Cores（NVIDIA） • systolic array（TPU中的核心结构） 这些是 硬件级别的AI优化，比传统指令更高效。 4. 能效优化 AI硬件的设计要在 性能、功耗、成本之间做平衡： • ASIC：针对特定AI任务设计，效率极高，但缺乏灵活性 • FPGA：可重构逻辑，能效好且适应性强 • GPU：通用性强但功耗高 • NPU/TPU：兼顾能效与AI性能 三、AI硬件逻辑的技术发展趋势 方向 关键逻辑 专用芯片（AI SoC） AI任务硬编码化，减去不必要的通用计算单元 内存-计算融合 In-memory computing，将存储与计算集成，减少数据搬运成本 异构计算架构 CPU + GPU + NPU 协同调度，按任务特性动态分配 分布式硬件系统 多卡多节点协作，通过高速通信总线/网络加速整体训练 四、简明硬件逻辑总结 你可以把AI硬件逻辑简化为一个公式： AI性能 = 并行计算能力 + 数据流带宽 + 硬件指令优化 + 能耗控制 硬件设计的核心逻辑就是围绕这个公式反复优化与权衡。 五、如果你想进一步深入… 我可以为你： 1. 画出 AI硬件体系结构思维导图 2. 举例 主流芯片（如 A100、TPU v4）的具体架构逻辑 3. 给你一个硬件与模型需求对照表（比如 NLP模型、图像识别模型各需怎样的硬件参数） 下面是一份完整且简明的 AI硬件体系结构思维导图 + 主流芯片架构逻辑 + 硬件与模型需求对照表。便于你建立清晰系统的认知。 一、AI硬件体系结构思维导图 AI硬件逻辑体系 ├── 1. 计算核心 │ ├── CPU（控制调度、串行任务） │ ├── GPU（并行浮点计算，矩阵运算） │ ├── NPU / TPU（AI专用单元，张量运算优化） │ ├── FPGA / ASIC（可重构 / 固定功能高效计算） │ ├── 2. 存储与带宽 │ ├── RAM / HBM（高速内存） │ ├── L1 / L2 缓存（加速本地访问） │ ├── 存储介质（SSD, NVMe，保存模型和数据集） │ ├── 3. 数据传输架构 │ ├── PCIe 总线 │ ├── NVLink / InfiniBand（多GPU通信） │ ├── 分布式节点互联 │ ├── 4. 软件调度支持 │ ├── CUDA / ROCm (GPU驱动) │ ├── AI计算框架（TensorFlow, PyTorch） │ ├── 分布式训练管理（Horovod, NCCL） │ └── 5. 能效与扩展性设计 ├── 单卡性能（TDP、功耗） ├── 多卡扩展性（Cluster/Server架构） └── 能效比（TOPS/W） 二、主流AI芯片的核心架构逻辑 芯片 核心架构逻辑 应用场景 NVIDIA A100 GPU Tensor Cores (专用矩阵运算单元) + HBM2内存 通用AI训练、推理，尤其是大规模模型 Google TPU v4 Systolic Array (矩阵乘法硬件阵列) + 高速互联 TensorFlow生态、大规模云端推理训练 华为 Ascend 910 自研 NPU架构，集成大量 AI 运算单元 训练推理一体化，适用于AI数据中心 AMD MI300 Heterogeneous架构，CPU+GPU合封 适用于高性能计算 + AI工作负载 Intel Gaudi 2 AI训练专用加速器，优化 BERT/GPT 等 NLP模型 面向企业级AI训练 三、不同AI模型对硬件配置需求对照表 AI模型类型 计算需求 存储带宽需求 推荐硬件配置 图像识别 (CNN) 中等 (卷积计算密集) 中等 (单批次数据量大) GPU (如A100) / NPU (Ascend) 自然语言处理 (NLP) 极高 (自注意力机制，参数多) 极高 (参数、词嵌入矩阵庞大) 多GPU/TPU 集群，InfiniBand互联 推荐系统 低到中等 高 (Embedding表访问) 多GPU + 大内存系统 + SSD存储 生成模型 (如GPT-4) 极高 (数百亿~千亿参数) 极高 (需快速访问模型权重) 多TPU v4 Pods / A100集群 边缘AI推理 低至中等 低 NPU / ASIC / FPGA 四、总结 AI硬件设计的 底层逻辑 可以总结为一句话： AI硬件 = 高并行 + 高带宽 + 低延迟 + 结构化矩阵计算 + 能效最优 每一种硬件架构的设计，都是为了优化： 1. 运算密度 （多少TOPS/TFLOPS） 2. 数据传输效率（HBM、NVLink、内存带宽） 3. 功耗与扩展性 （AI数据中心 / 云服务 / 边缘设备） 4. 特定AI应用场景的需求 下面是一整套内容： • 做成 清晰的全结构导图 • 或整理成 学习笔记模板 • 或者给你 学习路径推荐（比如从哪些硬件入门文档开始） 下面是整理出一个 AI硬件逻辑学习路径 + 思维导图 + 学习笔记模板，帮助你系统入门并逐步深入。 AI硬件逻辑学习全方案 一、整体思维导图 AI硬件逻辑体系 ├── 1. 计算核心 │ ├── CPU（串行控制器） │ ├── GPU（并行矩阵运算） │ ├── NPU/TPU（神经网络专用芯片） │ ├── FPGA / ASIC（可编程或定制化AI芯片） │ ├── 2. 存储系统 │ ├── RAM / HBM（高速内存） │ ├── 缓存系统（L1/L2/L3） │ └── 存储介质（SSD, NVMe） │ ├── 3. 通信系统 │ ├── PCIe / NVLink（板卡通信） │ ├── InfiniBand / Ethernet（多机互联） │ └── 分布式通信协议（NCCL, MPI） │ ├── 4. 软件与调度 │ ├── 驱动层（CUDA, ROCm） │ ├── 训练框架（PyTorch, TensorFlow） │ └── 资源调度（Kubernetes, Horovod） │ └── 5. 能效与架构设计 ├── 单卡性能（TDP, TFLOPS） ├── 集群扩展性 └── AI硬件专属优化（张量指令、Systolic Array） 二、学习笔记模板 你可以用这个模板系统化记录学习： 【模块】计算核心 • 概念总结： • CPU： • GPU： • NPU / TPU： • FPGA / ASIC： • 关键技术词汇： • 并行计算、矩阵乘法、张量运算、定制指令集 • 实际应用场景： • NLP模型、大规模训练、边缘AI推理等 【模块】存储与带宽架构 • 内存类型： • DDR、GDDR、HBM • 缓存机制： • L1, L2, L3 Cache • 瓶颈思考： • 数据传输 vs 计算速度 【模块】通信与调度 • 硬件接口： • PCIe、NVLink、InfiniBand • 分布式通信： • NCCL, MPI • 学习点： • 为什么多卡训练需要高速互联？ • 训练时数据/梯度如何同步？ 【模块】主流芯片案例笔记 芯片型号 架构特点 适用场景 NVIDIA A100 Tensor Cores, HBM2, PCIe4.0 通用AI训练与推理 Google TPU v4 Systolic Array, 高速互联 云端超大模型训练 华为 Ascend 910 NPU架构, 自研AI加速单元 数据中心AI训练 芯片型号 架构特点 适用场景 NVIDIA A100 Tensor Cores, HBM2, PCIe4.0 通用AI训练与推理 Google TPU v4 Systolic Array, 高速互联 云端超大模型训练 华为 Ascend 910 NPU架构, 自研AI加速单元 数据中心AI训练 芯片型号 架构特点 适用场景 NVIDIA A100 Tensor Cores, HBM2, PCIe4.0 通用AI训练与推理 Google TPU v4 Systolic Array, 高速互联 云端超大模型训练 华为 Ascend 910 NPU架构, 自研AI加速单元 数据中心AI训练 芯片型号 架构特点 适用场景 NVIDIA A100 Tensor Cores, HBM2, PCIe4.0 通用AI训练与推理 Google TPU v4 Systolic Array, 高速互联 云端超大模型训练 华为 Ascend 910 NPU架构, 自研AI加速单元 数据中心AI训练 芯片型号 架构特点 适用场景 NVIDIA A100 Tensor Cores, HBM2, PCIe4.0 通用AI训练与推理 Google TPU v4 Systolic Array, 高速互联 云端超大模型训练 华为 Ascend 910 NPU架构, 自研AI加速单元 数据中心AI训练 芯片型号 架构特点 适用场景 NVIDIA A100 Tensor Cores, HBM2, PCIe4.0 通用AI训练与推理 Google TPU v4 Systolic Array, 高速互联 云端超大模型训练 华为 Ascend 910 NPU架构, 自研AI加速单元 数据中心AI训练 【模块】硬件配置需求对照表 AI应用类型 推荐硬件配置 图像识别 1–2张高性能GPU NLP大模型训练 多卡A100 / TPU Pods集群 边缘设备AI推理 FPGA / NPU / ASIC 三、学习路径推荐 学习阶段 推荐内容 学习重点 基础认知 《芯片简史》、《AI硬件架构入门》类文章 硬件组成、基本计算原理 进阶学习 NVIDIA GPU官方文档、TPU白皮书、华为Ascend资料 并行计算架构、存储带宽瓶颈 工程实践 搭建简单PyTorch多GPU训练、了解NCCL通信 分布式训练流程与硬件调优 系统研究 学习 Heterogeneous Computing, In-memory Computing 未来AI芯片设计趋势，异构计算架构 学习阶段 推荐内容 学习重点 基础认知 《芯片简史》、《AI硬件架构入门》类文章 硬件组成、基本计算原理 进阶学习 NVIDIA GPU官方文档、TPU白皮书、华为Ascend资料 并行计算架构、存储带宽瓶颈 工程实践 搭建简单PyTorch多GPU训练、了解NCCL通信 分布式训练流程与硬件调优 系统研究 学习 Heterogeneous Computing, In-memory Computing 未来AI芯片设计趋势，异构计算架构 学习阶段 推荐内容 学习重点 基础认知 《芯片简史》、《AI硬件架构入门》类文章 硬件组成、基本计算原理 进阶学习 NVIDIA GPU官方文档、TPU白皮书、华为Ascend资料 并行计算架构、存储带宽瓶颈 工程实践 搭建简单PyTorch多GPU训练、了解NCCL通信 分布式训练流程与硬件调优 系统研究 学习 Heterogeneous Computing, In-memory Computing 未来AI芯片设计趋势，异构计算架构 学习阶段 推荐内容 学习重点 基础认知 《芯片简史》、《AI硬件架构入门》类文章 硬件组成、基本计算原理 进阶学习 NVIDIA GPU官方文档、TPU白皮书、华为Ascend资料 并行计算架构、存储带宽瓶颈 工程实践 搭建简单PyTorch多GPU训练、了解NCCL通信 分布式训练流程与硬件调优 系统研究 学习 Heterogeneous Computing, In-memory Computing 未来AI芯片设计趋势，异构计算架构 四、下一步 如果你想，我可以帮你做： 1. 完整学习笔记PDF版（方便复习） 2. AI硬件逻辑问题清单（50个经典思考题） 3. 针对你学习进度的个性化阅读书单 4. AI硬件架构可视化思维导图图片版 下面是1. 完整学习笔记版（简明清晰） 和 2. AI硬件逻辑经典问题清单。 1. AI硬件逻辑简明学习笔记 【模块一】AI硬件架构总体框架 AI硬件体系 = 计算核心 + 存储系统 + 通信架构 + 软件调度 + 能效设计 【模块二】计算核心（核心处理器） 类型 作用 特点 CPU 控制调度、通用计算 适用于控制流，多线程调度 GPU 并行计算、矩阵运算 核心AI训练推理单元，并行效率高 NPU/TPU 专用AI加速器 定制化硬件，优化深度学习运算 FPGA/ASIC 可重构/定制化硬件 高效能、低功耗、灵活性差异 【模块三】存储与带宽系统 部件 功能 影响性能因素 RAM/HBM 临时存储计算数据与权重参数 带宽与延迟 Cache 快速临时缓存 缩短数据访问时间 SSD/NVMe 存放数据集与模型文件 IO吞吐能力 存储带宽瓶颈往往限制了AI芯片性能的释放。 【模块四】通信与分布式架构 技术 作用 PCIe 单机多卡高速数据通道 NVLink NVIDIA专用高速GPU互联 InfiniBand 多节点分布式训练通信网络 NCCL/MPI 通信协议，负责参数同步与数据流 技术 作用 PCIe 单机多卡高速数据通道 NVLink NVIDIA专用高速GPU互联 InfiniBand 多节点分布式训练通信网络 NCCL/MPI 通信协议，负责参数同步与数据流 【模块五】软件与调度系统 软件层 作用 CUDA/ROCm 底层GPU计算接口 TensorFlow/PyTorch AI模型开发与训练框架 Horovod/Kubernetes 分布式训练与资源调度管理 【模块六】AI硬件逻辑核心原则 AI硬件设计的四大逻辑支撑： 1. 极致并行计算 2. 高带宽内存支持 3. 通信延迟最小化 4. 能效与扩展性平衡 【模块七】典型AI芯片结构案例 芯片 特色架构 A100 GPU Tensor Cores + HBM2内存 Google TPU Systolic Array（矩阵阵列） Ascend 910 NPU自研架构，适配AI训练 FPGA/ASIC 低功耗、定制化逻辑，适用于推理边缘 芯片 特色架构 A100 GPU Tensor Cores + HBM2内存 Google TPU Systolic Array（矩阵阵列） Ascend 910 NPU自研架构，适配AI训练 FPGA/ASIC 低功耗、定制化逻辑，适用于推理边缘 2. AI硬件逻辑经典问题清单（50个问题） A. 基础概念类 1. AI硬件的计算单元主要有哪些？ 2. 为什么GPU比CPU适合深度学习训练？ 3. 什么是张量计算核心（Tensor Core）？ 4. NPU与TPU的设计理念有何不同？ 5. 什么是ASIC与FPGA？ B. 存储与带宽类 6. HBM与DDR内存有什么区别？ 7. 为什么AI训练时内存带宽比存储容量更关键？ 8. 缓存系统（L1/L2/L3）在AI运算中起什么作用？ 9. 存储IO瓶颈会如何影响训练速度？ 10. 什么是“内存-计算融合”？ C. 通信与并行类 11. PCIe 和 NVLink 有什么区别？ 12. 多卡训练中 NCCL 的作用是什么？ 13. 什么是 InfiniBand 网络？ 14. 分布式训练通信延迟的来源有哪些？ 15. 为什么需要模型参数同步机制？ D. 能效与设计权衡类 16. 为什么FPGA能效比高？ 17. ASIC的性能优势与局限是什么？ 18. 什么是TOPS/W指标？ 19. 为什么NPU/TPU在推理阶段比训练阶段更省电？ 20. 异构计算架构的优点和挑战是什么？ E. 实际应用与需求匹配类 21. CNN模型训练对硬件的主要需求是什么？ 22. NLP大模型推理阶段更需要什么硬件资源？ 23. 推荐系统为何对存储带宽要求极高？ 24. 边缘AI推理部署为何倾向使用ASIC？ 25. 为什么图像识别模型训练通常选择GPU？ F. 前沿趋势类 26. In-Memory Computing是什么？ 27. AI硬件异构化的发展趋势如何？ 28. 多芯片协同调度的难点在哪里？ 29. 为什么AI硬件厂商越来越重视软件生态？ 30. 未来AI芯片设计是否会走向开源？ G. 实操与性能调优类 31. 如何通过硬件调优提升训练速度？ 32. 什么是训练批次大小与硬件性能的关系？ 33. 为什么多卡训练中负载均衡很重要？ 34. 怎样减少多节点训练中的通信瓶颈？ 35. 如何判断一个模型是否需要分布式训练？ H. 安全性与可持续性类 36. AI硬件的功耗对数据中心有何影响？ 37. 硬件加速器的寿命和稳定性问题有哪些？ 38. AI硬件资源过度集中会带来什么安全隐患？ 39. 硬件设计中的碳足迹问题是否值得关注？ 40. 硬件垄断对AI生态系统的影响是什么？ I. 思维训练与逻辑归纳类 41. 为什么AI硬件设计必须在能效与性能之间权衡？ 42. GPU架构中的SM单元是什么？ 43. 什么是“流水线式”张量运算？ 44. AI芯片中为什么使用矩阵乘法硬件阵列？ 45. 存储、带宽、计算三者之间的关系是什么？ J. 拓展思考类 46. AI硬件设计与传统CPU设计的本质差异是什么？ 47. AI硬件的发展会不会影响AI算法的创新路径？ 48. 能否用通用硬件训练超大模型？ 49. AI硬件未来会不会成为国家战略资源？ 50. 个人开发者是否有可能搭建属于自己的AI硬件实验平台？

很硬核的科普书，可读性不太行，但也没办法，技术参数太多，要是照顾可读性的话就得加点废话，现在这样就挺好的，很简洁地讲清楚了关键。 总体上看下来，共同的是都得提升晶体管数量，要是晶体管数量不好提了就考虑多核，扩大数量规模。具体来看又有各自的侧重。CPU基本是在改进分支预测器，把一些专用功能从CPU解放出来，扩大缓存，提高流水线利用率。GPU的迭代主线是提高并行程度，优化结构布局，提高调度能力，内存和显存上限，互联，还有一些专有结构优化，比如TPU，脉动阵列等等。为了说明，举的例子也很经典，印象深刻的除了苹果的M1，还有服务器芯片EPYC，以及英伟达的一系列算力芯片都提到了，很全面。

没有由浅入深的讲解，基本都罗列了一遍，但胜在全面！

读了两遍，对算力芯片内部结构和后续发展有了初步了解，至少后续再看到新架构时能知道是在优化哪部分

可能是我水平不够吧，读完下来的感受是，整本书就像是个大杂烩。 前几章是cpu相关的东西，大多数内容都能在《计算机组成与设计：硬件软件接口》这里看到，而且远不如那本书里讲解的深刻。后面gpu那些则像是从不同的地方的spec/datasheet中摘抄过来的。

买了纸质版的，很快扔了，一本辣鸡书

比较好的一本书，快速了解目前各个XPU的技术发展历史以及目前主流技术的原理。

作者写的挺有深度的，CPU内部架构都剖析了，对于非本专业人员看足够了

主流的都介绍了，重点在Nvidia芯片，适合入门。