半小时讲透AI算力（轻科技）

半小时讲透AI算力（轻科技） 本书用11部分，讲解算力（＝AI时代的水电煤）。 一、什么是算力？ 算力：计算的能力，在各应用领域对应的级别： 1. GFLOPS→日常计算：手机、电脑 2. TFLOPS→ 科学计算：天气预报、基因分析 3. PFLOPS →AI训练：大语言模型 4. EFLOPS→超大规模训练：GPT-4/Gemini FLOPS＝算力的度量衡/基本单位：做X次浮点运动/秒。浮点运算：带小数点的计算。 但算力并非越快越好，需：同时做大量题，而非按顺序计算。AI核心：矩阵运算——大量简单任务同时做。 1. CPU：串行 2. GPU：并行 二、GPU：AI时代的发动机 I. NVIDIA 1. 从游戏显卡→AI心脏 NVIDIA最早做游戏显卡，1999，推出世上首块GPU（GeForce256）。2012（转折年），一选手在ImageNet图像识别比赛中，用2块NVIDIAGTX580显卡训练了某神经网络并夺冠→深度学习威力被看见，功臣之一＝GPU→自此，NVIDIA CEO黄仁勋转公司业务方向为AI计算。 2. Blackwell：当下王者 2024，发布NVIDIABlackwell架构→当前AI算力标杆，其旗舰品B200GPU特点： 1）192GBHBM3e显存 大模型参数，需存放在显存里→显存越大，模型越大。 2）第二代Transformer引擎 ＝为大语言模型专设的硬件加速单元→支持FP4（4位浮点）精度计算——用更少位数表示数字，换取更快运算速度，几乎不损失精度。 3）NVLink互联 单块GPU算力，再强也有上限。Blackwell通过NVLink技术→让多块GPU高速互联，形成巨大计算集群。 3. VeraTubin：下一个王者 2026年初，NVIDIA在CES大会发布下一代平台VeraRubin→史上1st六芯片协同设计的AI平台：✖️一块独立芯片，✔️一个完整的系统级解决方案。 VeraRubin包含：VeraCPU、RubinGPU、NVLink6交换芯片、ConnectX-9超级网卡、BlueField-4DPU、Spectrum-6以太网交换芯片。 RubinGPU较Blackwell：推理速度↑5倍，训练速度↑3.5倍→每生成1个token，成本＝Black x 1/10。 II. NVIDIA对手 目前，NVIDIA AI芯片MS≈80%，对手： 1. AMD 2026初，发布MI455XGPU→有3.2千亿个晶体管，432GBHBM4显存，采用2nm ＆3nm混合工艺。 2. Google 策略：自给自足。自研TPU已至G6 Trillium，计划2026推出专为训练优化的TPUv7p。 3. 华为昇腾910C 采用7nm工艺，FP16算力达800TFLOPS，接近NVIDIAH200的性能水平。预计2026，NVIDIA在中国MS由2025，40%→8%。 三、训练与推理：算力的2种花法 假设：AI模型＝学生 1. 训练＝学生上学的过程 同样的训练，成本：DeepSeek-V3＝GPT-4 ×5%→巨大成本差异原因：G使用了一系列工程优化——混合专家模型MoE架构，原理： 1）模型虽有6710亿总参数，但只激活370亿/每次推理； 2）多头潜在注意力MLA机制→↓↓显存占用； 3）无辅助损失的负载均衡策略→↑多卡训练效率。 2. 推理＝考试→用所学回答问题 单次计算量：推理<<训练；但其挑战：规模、速度→未必单点性能极致，但要同时服务海量用户，且延迟要低。 3. 训推分离：AI算力的新趋势 早期，训练＆推理，使用同一种硬件；直至2025，行业新趋势：训推分离 1. 训练 需暴力堆算力→上万块顶级GPU互联，跑几个月→追求：总吞吐量。 2. 推理 需经济高效→以最少算力完成每次请求→追求：低延迟、低成本。 基于此，芯片厂商开始设计专门的推理芯片：全球AI算力中，训练：推理→ 2023：2/3、1/3 2025：1/2、1/2 预计2026：1/3、2/3 四、ScalingLaw：越大越聪明？ 改变历史的规律：2020，OpenAI提出AI领域的ScalingLaw缩放定律，核心：模型性能，随模型参数量、训练数据量、训练算力↑→可持续、预测地↑→即：大力出奇迹。 但自2025，行业发展：只靠堆算力，越发不划算： 1. 算力成本：非线性↑ 2. 数据开始见顶 故，行业重心：从大力出奇迹→巧劲出奇迹→推理时计算（新ScalingLaw）：训练时，✖️无限堆算力，✔️让模型在推理时多思考。 五、算力基础设施：不只是芯片的故事 一个AI数据中心的构成：GPU集群（核心算力）→散热系统（液冷为主）、HMB显存（存放模型参数）、高速网络（GPU间通信）、供电系统（稳定大功率）、存储系统（训练数据）。 1. 数据中心＝AI的工厂 AI运行，需供电、散热、网络连接、存储系统→组成数据中心。 2. 显存Memory＝瓶颈 大模型参数，需存放在显存里。HBM：特殊内存技术→ 把多层内存芯片三明治式堆叠，by硅中介层+GPU→直接互联。→省空间，↑数据传输速度。 目前，全球HBM产能，集中在韩国（SK海力士、三星）→供不应求。 3. 网络互联＝GPU间的高速公路 目前，最先进的GPU互联技术是NVIDIA的NVLink。在更大集群级别，InfiniBand ＆超级以太网（UltraEthernet）＝城际高速。一个集群实际训练效率低，瓶颈：网络→故，NVIDIA推出VeraRubin时，要协同设计：网络芯片、GPU→优化整个系统，效率才max。 4. 散热：越发棘手的问题 传统数据中心散热：吹风。2026，新建AI数据中心：液冷技术。 六、电力：AI的粮食危机 共性问题：需大量电力供应。 效率战场——应对电力瓶颈，行业对策： 1. 让芯片更省电 新一代GPU能效比↑；VeraRubin平台优化了系统级能效；低精度计算（如FP4、INT8）↓运算功耗。 2. 让模型更高效 混合专家模型MoE、模型剪枝、知识蒸馏→本质：↓模型计算量。 电力问题，€技术、地缘政治、环境。 七、全球算力竞赛：谁在领跑？ 1. 美国：王者 截至2026，美国的AI算力依旧领先，拥有：1）全球最大科技公司：Microsoft、Google、Amazon、Meta；2）核心芯片公司：NVIDIA、AMD。 美国有最完整的AI生态系统： 从芯片设计（NVIDIA、AMD）→芯片制造（台积电美国工厂）； 从云计算平台（AWS、Azure、GCP）→AI模型开发（OpenAI、Anthropic、GoogleDeepMind）。 2. 中国：突围 自2022，美国对华AI芯片管控→加速中国芯片自研。标志性事件：华为昇腾910C量产——芯片工艺7nm，FP16算力达800TFLOPS，足以支撑多数AI训练＆推理任务。 此外，软件优化——DeepSeek：算力受限，则by 创新算法、优化工程→以更少GPU训练出世界一流大模型。→算力竞赛关键变量：硬件、软件、算法。 3. 其他玩家 1）欧洲 存在感较弱，但其AI法案＝全球最严AI监管框架→影响算力部署方式＆数据中心建设地。 2）中东 正成新算力热点。该地资金雄厚，大量采购NVIDIAGPU→建超大规模数据中心→目标：全球AI算力枢纽之一。 3）日本、韩国 芯片制造（光刻机、HBM存储器）＆材料→不可替代。 八、算力成本的雪崩式下降 2022/11~2024/10，GPT-3.5水平的推理成本↓280倍，预计此后降幅≈5~10倍/年。降幅来自3方面共同作用： 1. 硬件进步 新GPU性能翻倍，但价格未同比↑。 2. 软件优化 1）量化技术：让模型以更少位数→表示参数→算力需求、显存↓； 2）模型剪枝：去掉模型中不重要的连接； 3）知识蒸馏：用大模型教小模型，让后者以更低成本达接近效果。 3. 架构创新 MoE让模型有更多专家，但每次只激活小部分→处理当前任务→↓↓实际计算量。 三者叠加→AI能力↑，用AI成本↓。 总开支为何还在↑？需求增速>成本降速。AI用户数量、使用频率、应用场景→↑↑ 九、AI和普通人的关系 AI成本↓→普通人能以更低价/免费使用AI服务。 1. 医疗健康：AI 辅助诊断、药物分子设计、蛋白质结构预测。 2. 教育：个性化AI导师。 3. 创意产业：AI图像生成、视频生成、音乐创作工具→↓创作门槛。 4. 日常工作：AIAgent＝数字员工→协助处理邮件、数据分析、日程安排、写报告。 普通人可by理解AI算力逻辑→做判断： 1. 理解AI产品定价 2. 判断AI公司竞争力 3. 关注就业市场变化 4. 关注环境影响 十、未来：算力的下一个10年 1. 短期（2026-2028）：推理为王 未来3年，AI算力重心：从训练→推理。原因： 1）前沿模型训练，已集中在少数头部，多数企业需便宜好用的推理服务； 2）AIAgent普及→海量推理需求。 芯片形态将更多元化：GPU、ASIC、Chiplet设计。 2. 中期（2028-2032）：异构计算与边缘AI AI模型：更小、更高效→更多推理任务：从云端→边缘——手机、笔记本电脑、汽车、家电，均可运行AI模型→需异构计算架构——云端：训练、复杂计算；设备端：简单推理、实时响应。 移动芯片公司：Qualcomm、Apple、联发科。 3. 长期（2032+）：量子计算与光子计算 1）量子计算：用量子力学原理，在特定类型问题，实现指数级加速。 2）光子计算：用光信号→代替电信号，计算→更高速、低耗。 结语 算力＝新时代的基础设施 历史中，每次重大技术变革，都需底层基础设施支撑。各时代所需的基础设施： 1. 蒸汽：煤矿、铁路 2. 电气：发电厂、电网 3. 互联网：光纤、基站 4. AI：算力 算力基础设施：GPU＝发动机；数据中心＝工厂；电力＝燃料；网络＝公路 附录 关键术语 GPU, FLOPS, HBM, CUDA, Tensor Core, NVLink, MoE, Scaling Law, FP16/FP8/FP4, 量化，推理时计算，液冷，NPU, AI Agent

什么是算力？ 算力是指单位时间内可完成的浮点运算次数，就是计算机在1秒内能算多少次加减乘除。 算力就是计算机的力气，是今日数字世界的"水与电”。 我们的刷视频、人脸识别、天气预报等，都是算力在背后干活。它在那儿，看不见，但没它，所有的数字世界得立刻停摆。 算力已成基建，砸1元进去，就能撬动3一4元的GDP。

DeepSeek用不到600万美元做出了比肩GPT-4的模型，这件事为什么让硅谷震动？因为它掀开了AI算力的底牌。 本书用半小时讲透这个AI时代的“水电煤”：从什么是FLOPS，到GPU为何主宰世界；从训练和推理的区别，到中美算力竞赛的格局。你将看懂芯片为什么比黄金还抢手，AI服务的价格为何雪崩式下降，以及这场算力革命如何影响你的生活、工作和未来的就业机会。

《半小时讲透AI算力》围绕“算力就是新水电煤”的核心观点，用浅显易懂的方式拆解了 AI 时代底层资源的来龙去脉： 1. ​​算力为何重要​​ • 书中以 DeepSeek 仅用不到 600 万美元训练出对标 GPT-4 模型的案例切入，说明算力正在改写数字竞争格局，让硅谷为之震动。 2. ​​基本计量单位与硬件逻辑​​ • 讲清 FLOPS（每秒浮点运算次数）等衡量指标，帮助读者理解“算力”不是抽象概念，而是可以量化衡量的物理资源。 • 说明 GPU 之所以能主宰 AI 世界，是因为其并行架构比 CPU 更契合深度学习矩阵运算需求。 3. ​​训练 vs. 推理​​ • 书中区分了“训练”（大规模数据更新模型参数）与“推理”（模型上线后对外服务）两种场景，指出二者对算力的需求特征截然不同，也决定了云服务商定价策略与硬件采购逻辑。 4. ​​全球与中国算力竞赛​​ • 通过中美在芯片、算法、数据资源上的多维比拼，勾勒出国家层面的算力战略竞争格局，让读者看到“算力比黄金还抢手”的背后原因。 5. ​​算力价格雪崩式下降​​ • 作者解释了摩尔定律、制程进步以及规模化带来的成本下降曲线，并指出这正推动 AI 服务走向普惠，让个人与中小企业也能负担得起模型调用。 6. ​​对个人与就业的影响​​ • 书中提醒读者：算力普及将重塑工作流与就业结构，掌握 AI 工具的人将获得新机会，而忽视算力的人可能被淘汰；因此理解并善用算力是未来竞争力的一部分。 7. ​​行业基建视角补充​​ • 结合“AI算力基建介绍”一文的观点，可进一步理解算力网络从芯片、服务器到全球数据中心的完整链条，以及它如何成为智能时代的“水电煤”——数字经济的底层公共设施。 通过以上要点，读者可以在半小时内迅速把握 AI 算力的核心知识体系：从概念、度量，到硬件选择、成本趋势，再到国家竞争与个人职业的全景图景。

一句话概念定义​​ 算力就是“AI 时代的水电煤”，指用来跑人工智能算法的计算能力，衡量的是电脑每秒能做多少次浮点运算（FLOPS），而 GPU 由于能同时做大量运算，成了训练和推理大模型的主力。 ​​核心概念（大白话）​​ 1. ​​FLOPS​​：每秒浮点运算次数，数字越大，算力越强。 2. ​​GPU 主宰 AI​​：GPU 的核心数量多，适合并行计算，训练深度学习模型时比 CPU 快很多。 3. ​​训练 vs. 推理​​：训练是“教模型”，需要大量算力但只做一次；推理是“用模型”，像聊天、拍照滤镜那样实时完成，对算力要求相对低，但次数多。 4. ​​算力就是竞争壁垒​​：谁有更多、更快的算力，谁就能更快迭代模型、更低价格提供服务，在全球范围内掀起“芯片争夺战”。 ​​应用场景​​ • ​​训练大模型​​：用海量数据训练语言、视觉、语音模型，是 AI 产品研发的必经环节。 • ​​在线推理与服务​​：模型训练好后要实时回答问题、生成文本或图片，支撑 App、网站、智能助手等各类前端。 • ​​科研与工程​​：气象预测、新材料设计、药物分子筛选等需要超算+AI 的联合攻关。 • ​​企业降本增效​​：制造业做设备预测性维护、医疗做辅助诊断、零售做智能推荐，都依赖 AI 推理来提升效率、减少成本。 • ​​个人消费​​：拍照美颜、语音助手、游戏 NPC 智能、家庭物联网设备，都在把 AI 推理做到毫秒级响应。 • ​​全球产业竞赛​​：中美在芯片、数据、人才上比拼算力，谁握有更多算力资源，谁就更容易在 AI 领域占据高地。 ​​总结​​ 算力 = 训练 + 推理所需的“算账能力”。有了它，模型才能诞生、服务才能上线、行业才能升级；缺了它，AI 只能停留在纸面。

读完的第1013本书，作者对AI算力的度量和GPU引擎、AI训练和推理、AI算力基础设施和未来AI算力发展方向都做了简洁明了的介绍，五星推荐。 《半小时讲透AI算力》将算力定义为 AI 时代的“水电煤”，围绕它如何度量、由谁提供、怎么用以及未来走向展开： - 算力本质与度量：算力即计算能力，AI 核心是大规模并行矩阵运算。度量单位是 FLOPS（每秒浮点运算次数），从 G 到 E 量级分别对应日常计算、科学计算、AI 训练及超大规模训练。 - GPU 为何主导：CPU 擅串行，GPU 擅并行。NVIDIA 借 2012 年 AlexNet 拐点转型 AI，Blackwell（B200）以大显存、Transformer 引擎和 NVLink 互联为标杆，下一代 Vera Rubin 走向六芯片协同的系统级方案；AMD、Google TPU、华为昇腾等为重要追赶者。 - 训练与推理：训练像“上学”堆数据调参数，推理像“考试”拿模型答问题。行业趋势是“训推分离”——训练追求总吞吐量（堆顶级 GPU），推理追求低延迟与低成本（催生专用推理芯片），且推理占比正快速超过训练。 - Scaling Law 与效率：过去“大力出奇迹”（堆参数、数据、算力），现在数据见顶、成本非线性上升，重心转向“推理时计算/让模型多思考”等新 scaling 思路，以及 MoE、注意力优化、低精度（FP4/INT8）等工程省钱法（如 DeepSeek 案例）。 - 基础设施与电力：AI 数据中心不止有 GPU，还需高速网络、大带宽显存（HBM）、液冷散热、稳定供电与海量存储；电力成为“粮食危机”，推动芯片能效提升与低精度计算。 - 全球格局与个人关联：美国整体领先，但竞争加剧；理解算力有助于看懂 AI 产品定价、公司竞争力、就业变化与环境影响，书末落点到“这些和我有什么关系”。

本书揭示了AI算力在现代社会中的重要性，从基础概念到实际应用，深入剖析了算力的多样性和发展趋势。 通过介绍GPU在AI领域的核心地位，分析了训练与推理过程中算力的不同应用方式，以及ScalingLaw对算力增长的影响。 书中还探讨了支持AI算力的基础设施，包括数据中心、显存、网络互联及电力问题，强调电力在AI发展中的关键作用。 在全球视角下，分析了各国在算力领域的竞争态势，以及未来十年算力技术的发展趋势。 通过这些分析，读者将理解AI算力如何成为新时代的“水电煤”，深刻影响我们的生活、工作和未来的就业机会。

本书把算力相关的知识进行了“蒸馏和剪枝”，用十部分内容把从“什么是算力”到“算力的未来”进行系统的讲述。 1.FLOPS，意思是每秒能做多少次浮点运算，TFLOP是10的15次方，一块NVIDIAH100GPU的算力大约是990TFLOPS。 2.训练和推理：如果训练是上学，推理就是考试——模型学完之后，用学到的知识来回答问题。每次使用Deepseek、豆包，背后都是一次推理计算。 3.算力集群：它需要供电、散热、HBM、高速网络连接和存储系统。 4.训推分离：行业演进的趋势，训练需要的是暴力堆算力，追求的是总吞吐量。推理需要的是「经济高效」——每次请求用尽量少的算力完成，追求的是低延迟和低成本。因此，芯片厂商开始设计专门的推理芯片。比如NVIDIA新发布的RubinCPX，预计到2026年，推理将占到三分之二。推理正在成为AI算力消耗的主战场。 5.缩放定律：模型的性能，随着模型参数量、训练数据量和训练算力的增加而持续、可预测地提升。但近年发现算力成本不是线性增长，而是指数级增长；其次，数据也开始枯竭，边际效应递减。DeepSeek行业上了一课：不是谁GPU多谁就赢，算法效率同样重要，甚至更重要。 6.推理时计算：可以训练一个相对小的模型，然后在推理时给它更多「思考时间」，效果可能比训练一个超大模型但不让它「想」更好。这对算力的需求结构产生了深远影响——推理算力的重要性正在超越训练算力。 7.GPU的显存容量和带宽是两个极其重要的参数。 8.电力：AI的「粮食危机」：到2030年，全球数据中心的电力消耗将增加一倍以上，达到约945太瓦时“（“太瓦时”是衡量巨大电能的单位，1太瓦时等于10亿度电。） 10.效率的战场:让模型更高效。DeepSeek-V3的MoE架构让6710亿参数的模型每次只激活370亿参数，相当于用5%的「劳动力」完成了全部工作——这对能耗的节省是巨大的；让芯片更省电。Blackwell架构下，完成同样计算任务的能耗比Hopper架构降低了约25%。 10.全球算力竞赛：华为昇腾910C的量产——这款7nm工艺的芯片，FP16算力达到800TFLOPS，虽然仍落后于NVIDIA最新产品，但已经足以支撑大部分AI训练和推理任务。 11.算力成本的雪崩式下降:硬件进步。新一代GPU的性能每两年翻一番，而价格并没有同比例上涨。B200的推理性能是H100的15倍，但价格远没有贵15倍。软件优化。量化技术从FP16（16位）降到INT8（8位）甚至FP4（4位），算力需求和显存占用都能减半甚至更多。模型剪枝（Pruning）可以去掉模型中不重要的连接。知识蒸馏（Distillation）则可以用大模型来「教」小模型，让小模型以更低的成本达到接近的效果。架构创新。MoE（混合专家模型）让模型拥有很多「专家」，但每次只激活其中的一小部分来处理当前任务，大幅降低了实际计算量。 算力是新时代的基础设施，现在已在各行各业形成生产力，token正在像流量一样被售卖-现在国内正常用量，百万 token 几块钱就能搞定。算力正以看不见的存在，默默支撑着我们的生活。

简单通俗点说，算力其实就是计算能力的简称。 如果把电子设备（比如电脑、手机、AI服务器）比作一个“打工人”，那算力就是这个打工人干活的速度和脑力。算力越强，处理数据的速度就越快，能搞定的任务也越复杂。 为了让你更直观地理解，可以从这几个角度来看： 1. 它是怎么衡量的？ 算力的基本单位通常是 FLOPS（每秒浮点运算次数）。 - 你可以把它想象成做数学题的速度。 - 如果一个处理器的算力是 10 FLOPS，就意味着它一秒钟能做 10 道复杂的数学题。 - 现在的超级计算机或顶级 AI 芯片，算力能达到每秒做几万亿亿次运算，这个速度是人类大脑完全无法比拟的。 2. 它和什么有关？ 算力主要取决于硬件，最核心的就是 CPU（中央处理器） 和 GPU（图形处理器/显卡）。 - CPU 像是博学的老教授，什么都会一点，擅长处理复杂的逻辑控制。 - GPU 像是成千上万个小学生，虽然单个能力不如教授，但胜在人多，可以成千上万地同时做简单的数学题（并行计算）。所以在搞 AI 训练、挖矿或者玩大型游戏时，主要靠 GPU 提供强大的算力。 3. 生活中哪些地方在用算力？ 其实我们每天都在“消耗”算力： - 刷短视频/看直播：手机需要算力来实时解码高清视频画面。 - 大型游戏：显卡需要疯狂计算光影、物理碰撞，画面越逼真，需要的算力越恐怖。 - ChatGPT / AI 画图：这是目前的“算力吞噬巨兽”。AI 在回答问题或生成图片时，后台的服务器正在进行海量的数学运算，这需要极其昂贵的算力支持。 - 自动驾驶：车子在路上跑，需要瞬间识别行人、车辆、红绿灯，并做出刹车或转向的决定，这对算力的实时性要求极高。 【通义千问】

感觉看完这半个小时讲透AI算力就等于浪费了半个小时，大部分人的书评看起来真的很像AI啊，算力等于浮点运算数之类…… 我来打个比方，我们假设计算机就是大脑好了 CPU：主脑，实际开动思考 GPU：工作台 算力：解题时脑子运转的快慢，脑力 内存：读题时，临时记住题干、各个选项属于短期记忆 硬盘：以前积累的各类知识，从长期记忆调出来，这个是长期 算法：你做题的过程：先读题干→划重点→排除错误选项→对比答案，这一套思考流程就是算法。举个最简单的例子，比如说小学学的算式，那个列式的过程就叫做算法 那对于一台计算机，到底是算法重要还是算力重要呢？ 算法你可以理解为一道题有很多不同的解题方法。ABC等等之类的，可能有各种各样的路径，所以算法越强，找对方法概率越高，越能事半功倍。 算力指的就是脑力强弱，说个不好听的，脑子转的飞快，就是人笨，不会转弯，10以内加减法嗖嗖的，换50加减乘除就傻眼。复杂会消耗很多算力来消化，以前老AI算力很低，但是算法不行，识别图片效果很差，算法革新之后，同等硬件算力下，AI能力直接暴涨一大截，甚至都能给你生成动漫 最近忽然又对编程比较感兴趣，学了Python，没入门前感觉是天书，看见头就大，满串的英文字母只想说oh my god，去图书馆找了几本书之后，其实也就那样，有自己的语法跟编写逻辑，我现在甚至都能做一点简单的动图