
杜雨 张孜铭
智能,从何而来?它不仅来自大脑,也和身体息息相关。人工智能发展至今,正在从虚拟走向现实——人形机器人、自动驾驶汽车、智能家居产品……人工智能的大脑需要装入不同的身体,才能更好地感知世界万物。当感知化为认知,认知促成行动,最终所形成的便是具身智能。具身智能是人工智能的一个发展领域,指一种智能系统或机器能够通过感知和交互与环境进行实时互动的能力。可以简单理解为各种不同形态的机器人,让它们在真实的物理环境下执行各种各样的任务,来完成人工智能的进化过程。 本书系统性地介绍了具身智能的技术原理、应用案例、发展机遇与挑战,力图为读者展现一幅人机共生的未来蓝图。
2025年,“具身智能”作为国家未来战略发展目标,被写入《政府工作报告》,成为重点培育的未来产业之一。那“具身智能”到底是什么概念?从哪里来的?现状是什么?未来又有哪些发展规划和方向? ——从哪里来的? 西方古典主义哲学家提出,我们人的身体是认知世界的基础。而东方方的佛教也提出人类通过“眼耳舌鼻身意”(即所谓“六根”)来感知外面的世界。1950年,艾伦·图灵在其开创性论文中首次提出了“具身智能”的设想。进入21世纪,随着深度学习、强化学习等技术的引用,尤其是多模态大模型为机器人提供了强大的“大脑”,使其能理解和执行复杂指令。 ——现状如何? 目前,”具身智能”正从实验室快速走向应用,其核心进展体现在“大脑”(智能)和“小脑”(控制)的共同进化上: · “大脑”升级:通过多模态大模型,机器人能理解自然语言指令(如“把桌上的苹果递给我”),并分解为行动步骤。 · “小脑”精进:运动控制技术进步明显。例如,在2025年世界人工智能大会上,机器人已能完成精细化抓取、焊接等复杂任务。 回到最根本的问题,“具身智能”又是如何模仿“人”来感知世界并与人交互呢? 这就回到我们最原始的哲学命题:我们人的认知分三个层次:感性、智性和理性。“具身智能”同样具备三个能力:分别是具身感知、具身认知和具身行动。 ·具身感知:通过传感器、多模态感知和交互感知能力来“感受这个世界”; ·具身认知:利用强大的“具身数据”,通过“模仿学习和强化学些”来理解这个世界; ·具身行动:将动作拆解为“测量、定位、导航、理解、实施、回答”这六项子能力来完成动作的实现。 书中还就智能驾驶和智能家居两个场景,介绍了具身智能在其中的发展现状以及对未来前景的展望。 ——未来如何? “具身智能”的核心,是让AI从“虚拟大脑”进化为拥有“物理身体”、能在真实世界中自主交互和学习的智能体。 从社会分工角度来讲,具身智能这样一个对现实世界有着深刻影响的工具只被少数群体掌握时,是一件很可怕的事情。对于大量的基层工作者来说,也许具身智能的效率会更高、成本更低,但并不能为他们所用,反而会冲击他们的谋生之本,此时,具身智能对于他们来说就不是进步,而是灾难,这些人会变成新时代的弱势群体。在未来的新时代,具身智能必须确保它是一项造福全人类的技术,而不仅仅是个人或个别公司谋求利益的工具,必须努力确保每个人都能受益于人工智能,这样它才不会拉大贫富差距,而是造福于民。 未来以来,面对“具身智能”将进入我们生活和工作的各个方面,是拒绝还是欢迎,是恐惧还是提前谋划各人的学习途径、工作内容和生活方式的转变,都是摆在每个人面前的问题。 过去,机会青睐顺势、取势的人,从今天开始,机会只属于善于谋势的人——提前谋划、提前布局,让自己能融入未来的生活 ,与AI共生、共荣共发展。
这里所讲的具身智能可能是初代的。实际上,如同人类的认知和能力发展一样,具身智能必然也面临一个智能如何升级的问题。而这个问题的提示和解答,在本书中是欠缺的,作者可能把具身智能视为一次性赋能的智能产品,然而,真正的具身智能应用必然会面对智能如何迭代升级的问题。这个问题如何解决?是像人类一样自学习,还是远程系统升级?
教育本质的变化 爱因斯坦曾经说过:“教育就是当一个人把在学校所学全部忘光之后剩下的东西”。正如我们中文学习中常说“得意而忘言”,很多时候我们阅读不是为了去背一下作者的原话,而是读完之后,可能我已经不记得作者当初是怎么说的,但是我可以把它所表达的核心思想融会贯通到我们的工作和生活中,这才是教育的本质。
两会政府工作报告首提“具身智能”。 书中指出,具身智能的突破不仅在于技术实现,更在于其对智能本质的重新定义:智能并非孤立的大脑活动,而是身体、环境与算法协同作用的产物。这一观点挑战了传统AI的“离身性”,为通用人工智能(AGI)的实现提供了新路径。 阅读本书后,最深刻的启发在于:具身智能的发展不仅是技术问题,更是对人类自身定位的重新审视。例如,当机器人能够模拟情感互动时,如何避免人际关系的疏离?当AI深度介入生活决策时,如何保持人类的自主性?书中虽未给出明确答案,但通过案例与哲学思辨,引导读者思考技术与人性的边界。正如书中所言,“具身智能的终点不是取代人类,而是成为人类能力的延伸”。
一本平实的书,新意不多,对技术缺乏感觉和洞见,本可用一篇长文介绍,奈何写成一本书。
《具身智能:从虚拟AI到现实AI》读书笔记 一、具身智能:从离身到具身的范式跃迁 1.1 核心定义与发展意义 • 具身智能:以物理或虚拟载体为依托,能够在第一人称视角下与环境实时互动、通过沉浸式体验自主学习的智能形态;其核心特征是“在场性”与“交互性”,区别于传统“离身智能”依赖第三人称视角、纯数据投喂与人工标记的运作模式。 • 从离身到具身的跃迁价值: 1. 赋予智能“实际存在性”,打破虚拟与现实的壁垒,让AI从“后台运算”走向“前台行动”; 2. 强化环境动态感知力,实现对复杂场景的实时响应而非静态数据解读; 3. 提升情境深度理解力,通过多模态交互捕捉隐性需求与环境细节; 4. 减小对标注数据的依赖,依托自主体验生成知识,降低数据采集与标记成本。 1.2 核心能力三维度:感知-认知-行动 具身智能的完整闭环由三大核心能力构成,三者层层递进、相互支撑: • 感知:通过多模态传感器捕捉环境与自身状态信息,是智能运作的基础; • 认知:基于感知数据构建世界模型,整合常识与情境逻辑,形成决策依据; • 行动:将认知结果转化为具体操作,与环境产生实质性互动,完成既定任务。 1.3 落地关键:六大支撑领域 具身智能从理论走向现实,需跨学科技术协同突破,核心依赖六大领域的发展: 1. 计算机视觉(精准识别环境与物体); 2. 自然语言理解与交流(实现人机、人际间语义互通); 3. 认知机器学习(构建自主学习与决策框架); 4. 机器人学(提供物理载体与运动基础); 5. 博弈论(优化多智能体交互策略); 6. 伦理规范(规避技术应用风险,明确行为边界)。 二、具身感知:连接智能与环境的桥梁 2.1 感知技术与传感器体系 感知是具身智能与世界互动的“入口”,依托多维度传感器与技术实现全场景覆盖: • 视觉感知:摄像头(图像采集)、激光雷达(三维建模与测距)、毫米波雷达(全天候环境探测)、超声雷达(近距离障碍物识别); • 听觉感知:语音识别(ASR)、自然语言处理(NLP),实现语音信号转译与语义理解; • 触觉感知:接触传感器(感知物理触碰)、压觉/力/力矩传感器(检测压力与受力大小)、滑觉传感器(防止抓取物体滑落); • 嗅觉/味觉感知:通过化学传感器识别环境中的化学成分,实现气味、味道的数字化解读。 2.2 多模态感知与场景适配 多模态感知将视觉、听觉、触觉等单一维度信息融合,打破数据孤岛,适配多元应用场景: • 机器人:通过多模态数据实现复杂任务执行(如家政机器人识别物体、感知力度); • 自动驾驶:整合视觉、雷达数据,精准判断路况、规避风险; • 智能家居:联动语音、触觉、环境传感器,实现场景化自动控制(如人体感应开灯、语音调节温度)。 2.3 交互感知:动态反馈的智能闭环 交互感知强调“感知-响应-再感知”的动态循环,不仅被动接收环境信息,更通过主动交互获取精准数据:例如服务机器人通过调整姿态、试探性触碰,确认物体属性与操作方式;自动驾驶车辆通过实时监测路况变化,动态调整行驶策略,实现“感知-决策-行动”的无缝衔接。 三、具身认知:构建智能的“世界模型” 3.1 核心基础:常识与世界模型 具身认知的本质是让智能体理解“世界如何运作”,核心依赖常识积累与世界模型构建: • 常识:涵盖物理规律(如物体落地、受力形变)、社会规则(如人际距离、沟通礼仪)、场景逻辑(如厨房用于烹饪、医院用于诊疗)等,是智能体做出合理决策的前提; • 世界模型:将常识与实时感知数据结合,构建动态、可预测的环境模型,帮助智能体预判事件发展(如“推杯子会导致杯子掉落”),优化行动路径。 3.2 数据来源:三类核心数据供给 认知能力的提升离不开数据支撑,具身智能的数据来源主要包括三类: • 人力遥操作数据:由人类远程控制智能体完成任务,采集真实场景下的操作逻辑,但存在采集成本高、规模化难度大的问题; • 模拟器数据:通过虚拟环境生成海量训练数据,具备成本低、数据重复可控、场景可定制的优势,不足在于3D建模复杂度高,部分虚拟场景与现实存在偏差; • 视频数据:从真实世界视频中提取动作、场景、交互逻辑,无需人工标记即可获取海量信息,但需解决数据噪声、场景碎片化等问题。 3.3 学习方法:模仿与强化的双轮驱动 具身认知的学习过程主要通过两种方式实现: • 模仿学习:让智能体模仿人类或已训练完成的模型的行为,快速掌握基础任务技能(如机器人模仿人类抓取物体的动作); • 强化学习:通过“试错-反馈”机制,让智能体在与环境的交互中自主优化策略,例如机器人通过反复尝试调整抓取力度,找到最稳定的操作方式,逐步提升复杂场景下的认知与决策能力。 四、具身行动:让智能“改变世界” 4.1 核心子能力:六大行动支柱 具身行动是智能体作用于世界的最终环节,需具备六大核心子能力: 1. 测量:精准获取环境与自身状态数据(如距离、角度、受力大小); 2. 定位:明确自身在空间中的位置(如室内定位、户外GPS定位); 3. 导航:规划从起点到目标的最优路径,规避障碍物; 4. 理解:基于认知结果,明确任务目标与执行逻辑(如“用户让递水杯”即理解为“找到水杯-抓取-递到用户手中”); 5. 实施:将决策转化为具体动作(如关节转动、肢体移动); 6. 回答:通过语言或行为反馈任务执行结果(如“水杯已递到”或示意完成)。 4.2 行动能力评估:虚拟与现实双场景验证 具身行动的有效性需通过虚拟与现实两个维度进行评估: • 虚拟场景:在模拟器中构建复杂、极端场景(如恶劣天气、突发障碍),测试智能体的行动稳定性与容错能力,优势在于可重复、低成本、无安全风险; • 现实场景:在真实环境中验证行动的实用性与适应性,例如人形机器人在家庭场景中完成打扫、做饭等任务,自动驾驶车辆在城市道路中应对复杂交通流,确保技术落地的可靠性。 五、具身智能机器人:物理载体的落地形态 5.1 分类与智能等级 • 按应用场景分类:工业机器人(生产线作业)、家庭服务机器人(家政、陪伴)、公共服务机器人(酒店、医院、机场服务)、特种机器人(消防、救援、极地探测); • 智能等级划分:0级(纯机械执行,无自主决策)→1级(简单感知+固定动作)→2级(多模态感知+基础决策)→3级(复杂场景自适应)→4级(自主规划+多任务协同)→5级(全场景自主决策+伦理判断)。 5.2 发展历程 具身智能机器人从早期机械臂(单一动作执行),逐步演进至具备多模态感知的移动机器人(如扫地机器人),再到当前的人形机器人(如特斯拉Optimus、优必选Walker),核心趋势是:从“单一功能”到“多功能集成”、从“被动执行”到“主动交互”、从“结构化场景”到“非结构化场景适配”,物理载体的灵活性与智能性持续提升。 5.3 技术拆解:感知、决策、运动与本体 具身智能机器人的核心技术体系可拆解为四大模块,其中本体是物理基础,核心零部件决定性能上限: (1)核心模块 • 感知模块:对应“具身感知”技术,实现环境与自身状态的精准捕捉; • 规划决策系统:基于“具身认知”,制定任务执行策略与行动路径; • 运动控制系统:控制肢体关节、动作幅度与速度,确保行动精准流畅; • 本体:机器人的物理骨架与执行机构,核心零部件包括: (2)关键零部件 • 肢体活动关节执行器: ◦ 谐波减速器:连接动力源与执行机构,通过降速增扭精准调节转动角度,具有体积小、重量轻、结构紧凑的优势,主要应用于机器人小臂、腕部和手部; ◦ 行星减速器:传动效率高、承载力强、抗冲击性好、运动平稳,适用于四足机器人和小型仿人机器人; ◦ 无框力矩电机:体积小、结构紧凑、转动惯量小、启动性能优,广泛应用于人形机器人关节及手臂/腿部线性运动部分; ◦ 行星滚柱丝杠:实现回转运动与直线运动的相互转换,加工工艺与原材料要求极高,主要用于机器人、数控机床等高精度设备。 • 手部活动关节执行器: ◦ 空心杯电机:灵巧手的核心部件,节能性、动力性能与控制精度优异; ◦ 精密齿轮:保障手部动作的精准传动; ◦ 编码器:将机械运动的速度、位置、角度等数据反馈给控制系统,是实现精准控制的关键。 • 肢体骨骼:包括手臂、胸腔、腿部、脚部等结构,为机器人四肢活动提供支撑,需兼顾强度、轻量化与灵活性。 六、产业链格局:核心参与者与分工 具身智能产业链围绕“载体-大脑-零部件-传感器”形成明确分工,核心参与者包括: • 本体厂商:负责机器人整体设计与组装,主导产品落地,代表企业有波士顿动力(四足/人形机器人)、特斯拉(Optimus)、优必选、小米等; • 大脑厂商:提供算法、芯片与软件系统,支撑感知、认知与决策能力,代表企业有谷歌(DeepMind)、英伟达(芯片+算法方案)等; • 核心零部件厂商:聚焦电机、减速器(精密行星、RV、谐波)、丝杠(行星、滚珠、梯形)等关键部件,是技术壁垒最高的环节; • 传感器厂商:提供视觉、听觉、触觉等多模态传感器,保障感知能力的稳定性与精准度。 七、具身智能与AIGC、智能体的协同 7.1 AIGC的赋能作用 大语言模型(LLM)与多模态模型是具身智能的“语言与视觉大脑”: • 大语言模型:提升具身智能的自然语言理解与交流能力,让人机交互更流畅,同时为常识积累与逻辑推理提供支撑; • 多模态模型:整合文本、图像、音频、视频等数据,强化具身智能的多模态感知与认知能力,例如通过图像理解物体属性,通过视频学习复杂动作序列。 7.2 模拟器与具身智能体的训练 模拟器是具身智能体规模化训练的核心平台,其技术特征决定训练效果: • 核心技术要素:环境建模(还原真实物理规则与场景细节)、物理系统(模拟重力、摩擦力等物理现象)、对象类型与属性(丰富场景中的物体种类与特性)、控制器(适配智能体的操作逻辑)、动作系统(支持复杂动作序列)、多智能体交互(模拟多主体协同场景); • 关键训练方法: ◦ 领域自适应方法:缩小虚拟与现实场景的差异,提升模型迁移能力; ◦ 领域随机化:在模拟器中随机调整场景参数(如光照、物体位置),增强模型的鲁棒性; ◦ 系统识别:精准建模智能体与环境的交互关系,优化决策逻辑。 八、核心应用场景:自动驾驶与智能家居 8.1 自动驾驶 自动驾驶是具身智能的典型应用,完美契合“感知-认知-行动”闭环: • 感知层:通过摄像头、激光雷达、毫米波雷达等传感器,实时捕捉路况、车辆、行人等信息; • 认知层:基于地图数据与实时感知,构建道路环境模型,判断交通信号、车道规则、潜在风险; • 行动层:通过转向、加速、刹车等操作,实现安全驾驶,同时具备自适应巡航、车道保持等智能功能 8.2 智能家居 具身智能让智能家居从“被动控制”走向“主动服务”: • 感知层:通过人体传感器、环境传感器(温湿度、光线)、语音传感器等,捕捉用户状态与环境变化; • 认知层:理解用户习惯(如作息时间、温度偏好)与场景需求(如“回家模式”对应开灯、调温); • 行动层:联动家电、门窗、安防设备等,实现自动化控制(如起床后自动拉开窗帘、检测到燃气泄漏自动关闭阀门),同时支持语音、手势等自然交互方式。 九、法律与监管:技术落地的制度保障 具身智能的广泛应用带来一系列法律与监管挑战,需构建适配的制度框架: • 责任界定:当具身智能机器人(如自动驾驶、服务机器人)引发安全事故时,责任应归属厂商、使用者还是算法开发者?需明确权责划分标准; • 数据安全:具身智能体通过多模态传感器采集大量环境与个人数据,需建立数据采集、存储、使用的合规规范,防范隐私泄露; • 伦理约束:避免具身智能被用于恶意用途(如攻击、监控),同时规范智能体的行为边界(如不得伤害人类、尊重用户意愿); • 行业标准:制定技术准入、性能评估、安全测试等行业标准,推动技术有序发展,避免无序竞争与安全风险。 十、具身智能如何改变世界 10.1 生态参与者的角色重构 • 技术供给者:聚焦核心技术突破(如高精度传感器、高效算法、关键零部件),推动产业链协同创新; • 产学研融合:高校、科研机构与企业合作,加速基础研究向产业化转化,同时培养跨学科人才(融合计算机、机械、电子、伦理等领域知识); • 技术消费者:从“被动接受产品”到“参与需求反馈”,推动具身智能产品迭代优化,适配多元场景; • 治理者:政府、行业协会与公众协同,制定法律规范与伦理准则,平衡技术创新与社会风险。 10.2 经济与社会影响 • 商业变革:催生新产业、新业态(如人形机器人服务、智能物流、无人零售),重构商业模式(如从“产品销售”到“服务订阅”); • 新质生产力:推动制造业、服务业等行业智能化升级,提升生产效率与服务质量,成为经济增长的新引擎; • 应对社会挑战:缓解人口老龄化压力(如养老服务机器人)、填补劳动力缺口(如工业机器人替代重复劳动),同时需应对部分岗位被替代带来的就业结构调整问题。 10.3 教育领域的机遇与挑战 • 机遇: ◦ 对象扩展:教育场景从人类延伸至具身智能体,机器人可作为教学辅助工具(如儿童陪伴教育、职业技能培训); ◦ 过程智能化:通过具身智能实现个性化教学(如根据学生学习状态调整教学节奏)、沉浸式学习(如虚拟仿真实验、场景化教学); ◦ 教育本质升级:从知识传授转向能力培养(如创新思维、跨学科协作),适配智能时代的人才需求。 • 挑战: ◦ 技术整合:如何将具身智能技术与教学场景深度融合,避免“技术堆砌”; ◦ 教师适应:要求教师具备跨学科知识,掌握智能技术的应用方法; ◦ 数据保护:学生的学习数据、行为数据需严格保护,防范隐私泄露与滥用。
杜雨的书,一直都是用AIGC生成的水书,没一本能看的
陈述具身智能的维度高,但写的很好,比较推荐这本书