在线广告：互联网广告系统的架构及算法

《在线广告：互联网广告系统的架构及算法》核心拆解 作者：张亚东 一句话概括 在线广告并不是“把广告展示给用户”这么简单，而是一套在毫秒级时间内，综合用户需求、广告主出价、媒体收益、广告质量和长期用户体验，完成预测、匹配、竞价、投放、监测与持续优化的复杂系统。 核心逻辑 全书可以浓缩为一条完整的广告运行链路： 流量产生 → 用户与场景识别 → 广告召回和定向过滤 → 点击率及价值预估 → 竞价排序 → 库存与预算分配 → 创意展示 → 曝光、点击和转化监测 → 归因与实验 → 模型和策略迭代 这条链路背后的核心目标，不是单纯提高点击率，而是在多重约束下实现动态平衡： 用户希望广告相关、可信、干扰少；广告主希望找到高价值用户并提高投入产出比；媒体希望流量得到充分变现；平台希望提高长期收入，同时维护市场公平和生态质量。 因此，广告系统的本质是一个由数据驱动的、多方利益参与的实时资源配置系统。 核心内容 1. 在线广告的发展，是交易效率不断提高的过程 在线广告从早期按时间售卖的展示广告，逐渐发展出按曝光、按点击和按转化收费的产品。 随着参与者和流量规模扩大，产业链逐步出现： Ad Network整合分散的中小媒体流量；Ad Exchange对每一次广告机会进行实时竞价；DSP帮助广告主自动购买流量；SSP帮助媒体管理和售卖库存；DMP负责用户数据及人群管理。 这段历史背后的主线，是广告从“批量购买媒体位置”转向“实时购买某个用户在某个场景下的一次注意力”。 2. 广告样式只是表面，创意与用户场景的匹配才是关键 PC端常见Banner、文字链和富媒体广告；移动端则出现开屏、插屏、信息流、电商搜索、视频和冠名等样式。 移动互联网使广告必须适应碎片化、多场景的使用方式。原生广告、内容营销和信息流广告的兴起，本质上都是为了降低广告与内容之间的割裂感。 程序化创意进一步把创意拆成图片、文案、商品、按钮等元素，根据用户和场景自动组合；动态创意优化则利用历史数据和实验，选择更可能有效的创意版本。创意由此从一次性作品变成了可以持续实验、预测和优化的产品。 3. 广告投放引擎是整套系统的中枢 一个完整的广告系统不仅包括投放算法，还包括： 广告主开户、充值、下单和素材管理；内部审核、运营和财务管理；用户画像、索引、日志、监测等基础设施；广告召回、过滤、预估、排序和计费；预算控制、流量分配和投放节奏控制；A/B实验、数据分析、调参与测试平台。 广告收入可以从流量规模、单位流量价值和有效消费客户数量等角度分解。优化系统不能只盯住某一个模型指标，而要判断它最终如何影响平台收入、广告主效果和用户体验。 4. 不同广告产品解决的是不同问题 品牌广告主要提升品牌知晓、认知和长期影响。它的实际价值往往大于即时点击，而且存在滞后效应，因此仅用点击率衡量会严重低估效果。 搜索广告承接用户已经表达出来的需求。其排序通常综合广告主出价与广告质量，例如以“质量度×出价”为基础进行排序，并通过GSP等竞价机制确定价格。 社交广告利用关系网络、互动和内容传播。它的价值不止来自曝光和点击，还包括点赞、评论、分享及熟人影响形成的二次传播。 视频广告需要同时处理用户容忍度、内容长度、广告库存、保量合约、平台收益和消费节奏。流量预估、库存分配和Pacing因此成为关键问题。 不同类型广告不能照搬同一套指标。品牌广告、搜索广告、社交广告和视频广告的用户意图、效果周期与优化目标并不相同。 5. 用户数据与定向，是广告精准投放的基础 广告系统需要解决三个层次的问题： 如何识别同一个用户；如何描述这个用户；如何找到更多可能有相同需求的用户。 PC端通常依靠Cookie，移动端更多依靠设备信息和账户体系，跨设备识别则需要结合登录关系与机器学习。 用户画像是对用户属性、兴趣、行为、消费能力和场景的多维描述，但它不是绝对真实的“用户档案”，而是机器根据不断变化的数据形成的概率判断。 Lookalike以一批种子用户为基础，通过特征建模、近邻搜索或图算法寻找相似人群。重定向则针对已经访问、购买或互动过的用户再次投放。两者分别解决“扩展新用户”和“重新激活已有用户”的问题。 6. 点击率预估的价值，在于判断每次流量的相对价值 CTR预估不是单纯追求一个更准确的概率，而是为排序、竞价和预算分配提供基础。 模型需要结合用户特征、广告和创意特征、查询词、页面及上下文特征、广告历史表现、展示位置和竞争环境，以及用户与广告之间的交叉特征。 基础模型可以使用逻辑回归；树模型可用于学习非线性关系和特征组合；在线学习则用于应对数据分布持续变化。AUC、归一化交叉熵等指标可以评价模型，但离线指标变好，并不必然意味着平台的实际收益和长期体验变好。 广告系统还要处理探索与利用之间的冲突。只展示历史表现最好的广告，新广告就永远得不到机会；过度探索又会损失当前收益。Bandit、ε-Greedy、UCB、Thompson Sampling等方法，就是在确定性收益和未知机会之间寻找平衡。 7. 推荐算法与广告排序具有共同的技术基础 协同过滤通过用户或物品之间的相似性产生推荐；矩阵分解用低维隐向量描述用户与物品；深度学习推荐通常分成候选召回和精细排序两个阶段。 现实系统不能对全部广告运行最复杂的模型，因此往往采用： 大规模召回 → 规则过滤 → 粗排 → 精排 → 重排 同时需要通过特征离线计算、缓存、并行化等方式控制延迟。算法效果和工程性能并不是两个独立问题：不能在规定时间内返回结果的高精度模型，对在线系统没有实际价值。 8. 在线匹配解决的是“有限资源如何分配” 广告到达顺序、流量规模和未来竞争通常无法提前完全知道，因此广告匹配不是静态最优化问题，而是在线决策问题。 书中通过二部图匹配、加权匹配、AdWords问题以及原始—对偶方法，介绍Greedy、Ranking、Balance、MSVV等算法，并用竞争比衡量在线算法与理想离线最优解之间的差距。 现实系统还会采用Scaling、Throttling等方法控制流量。视频广告中的HWM、SHALE和Pacing，也是在解决类似问题：既要满足保量合约，又要提高非保量广告收益，还要避免预算过早耗尽或集中投放。 这说明广告投放不是逐次挑选“当前最高分广告”，而是在不确定的未来流量中管理机会成本。 9. 竞价机制决定了参与者会如何行动 广告系统不能只设计排序算法，还必须考虑广告主会不会利用规则改变自己的行为。 GFP、GSP和VCG等机制在支付规则、稳定性和激励兼容性上各有差异。一个好的机制需要让广告主如实表达价值，并让个体理性选择与平台整体目标尽量一致。 因此，机制设计的关键不只是“谁出价最高谁赢”，而是如何定义广告价值、如何计算支付价格、如何降低策略性操纵，以及如何兼顾效率、公平、平台收入与生态稳定。 算法优化的是既定规则下的结果，机制设计则决定了参与者进入系统后会形成什么样的行为。 10. 反作弊、广告质量和隐私保护是系统的一部分 作弊并不是偶发异常，而是流量可以变现之后自然产生的对抗产业。常见方式包括机器点击、黑客控制、群控、有组织人工操作以及借助大流量平台制造虚假行为。 反作弊需要形成持续闭环： 异常样本发现 → 样本验证 → 特征与策略迭代 → 实时拦截、短周期处理和离线挖掘 → 效果评估 平台还要审核广告主身份、素材、落地页和敏感内容。即使某些广告能够带来短期收入，如果它破坏用户信任、危害交易安全或违反法律，长期结果仍然是平台价值下降。 数据应用也必须受到授权、透明度和必要性原则约束。用户数据越丰富，平台承担的数据安全和隐私责任也越大。 11. A/B实验是策略上线前的证据系统 实验不是把流量随意分成两组，而是要提前确定总体评价指标OEC、流量分配方法、最少样本量、置信度和置信区间。 分层实验可以让同一批流量参与不同维度的独立实验，提高流量利用率。新策略通常需要从小流量开始，逐步放量并持续观察风险。 但A/B实验也有边界：它可以判断哪个版本更好，却不一定解释原因；短期实验可能无法反映长期效果；用户对新功能的不适应可能造成暂时性下降；局部指标上涨可能以其他生态指标恶化为代价。 所以实验应被看作决策证据，而不是机械裁决者。 12. 效果衡量比投放本身更困难 曝光和点击可以通过平台日志及第三方监测记录，但平台与第三方的数据经常因为口径、过滤规则、浏览器限制、IP库和数据处理方式不同而产生差异。 真正困难的是归因：一个用户可能在多台设备、多个渠道接触广告，最后一次点击并不一定是真正促成购买的原因。 末次归因、平均归因、时间衰减和价值加权等模型只是不同的价值分配规则。相比仅在已经转化的触点之间分配功劳，增效测试更进一步追问： 如果没有投放这次广告，用户还会不会购买？ 广告效果的终极判断，不是“发生了多少转化”，而是广告真正额外创造了多少转化。 反对的观念 1. 反对“广告系统就是一个CTR模型” CTR只是中间指标。真实系统还需要处理召回、竞价、计费、预算、库存、延迟、审核、作弊、归因和实验。 2. 反对“出价最高的广告就应该获胜” 高出价并不等于高价值。排序还需要考虑点击概率、广告质量、用户体验以及交易完成的可能性。 3. 反对“算法离线指标越高，商业效果就一定越好” 离线模型指标、线上点击、短期收入和长期生态价值并不完全一致，最终必须通过线上实验和长期指标验证。 4. 反对“每次都选择当前收益最高的广告” 这种做法会导致新广告和未知机会得不到探索，也可能造成预算提前耗尽。系统必须管理探索与利用、当前收益与未来机会之间的关系。 5. 反对“点击就是广告效果” 品牌影响、社交传播、跨设备触点和延迟转化都可能发生在点击之外。点击率高也可能只是标题诱导，并不代表真正创造了商业价值。 6. 反对“数据越多、定向越精准就越好” 数据使用存在隐私、合法性、偏差和安全边界。失去用户信任之后，短期精准度的提高可能换来长期生态损失。 7. 反对“局部最优等于系统最优” 某个广告、广告主或模型的效果提升，可能损害其他广告主、用户体验或平台长期收入。在线广告始终是多目标、多参与者的整体优化问题。 本书最值得关注的核心观点 1. 在线广告的本质是注意力的实时定价与分配 平台真正交易的不是广告位本身，而是某个用户在某个时间、场景和需求状态下的一次注意力机会。 2. 预估、匹配与机制设计不可分割 预估模型判断价值，匹配算法配置有限资源，竞价机制塑造参与者行为。任何一部分设计失误，都可能让其他部分的优化失效。 3. 最优广告不是分数最高的广告，而是满足长期约束后的最优选择 系统必须同时考虑预算、保量、节奏、质量、用户体验、风险和未来流量。局部打分只是决策输入，而不是最终答案。 4. 广告系统是一套持续学习的反馈闭环 每次曝光都会产生行为数据，行为数据更新模型，模型改变后续投放，投放结果再进入监测和实验。真正的竞争力来自整个闭环的迭代效率，而不只是某一个算法。 5. 增效比归因更接近广告的真实价值 归因讨论如何分配已经发生的转化，增效则判断广告是否真正改变了用户行为。后者更接近广告主真正想知道的问题。 6. 生态治理不是算法系统之外的成本 广告质量、反作弊、隐私和公平机制直接决定数据是否可信、用户是否愿意继续使用平台，以及市场能否长期运行，它们本身就是广告系统的核心能力。 个人启示 1. 优化任何复杂平台，都要先画出完整价值链 不要一开始就陷入模型选择。先明确参与者、输入、输出、约束、反馈路径和最终商业指标，再决定哪些环节适合用算法优化。 2. 建立分层指标体系 可以把指标分为模型指标、投放指标、商业指标、生态指标和风险指标。任何单一指标上涨，都需要检查是否牺牲了其他层次的价值。 3. 把算法放进实际约束中评价 一个模型是否有价值，还取决于计算延迟、吞吐量、数据新鲜度、部署成本、稳定性和可解释性。工程可用性本身就是算法效果的一部分。 4. 对“相关性”和“因果性”保持警惕 看到广告后购买，不等于因为广告而购买。评价营销、产品功能和推荐系统时，都应尽量引入对照实验与增效思维。 5. 把长期信任当作系统资产 诱导点击、过度定向和低质量广告可能在短期提高收入，却会消耗用户信任。平台真正稀缺的资源不仅是流量，还有用户愿意继续贡献注意力和数据的意愿。 观点评价 这本书最大的价值，是把在线广告从产品形态、商业模式、系统架构、算法、机制设计、实验、反作弊到效果衡量串成了一张完整地图。它适合希望建立行业全局认识的产品经理、算法工程师、广告从业者和技术管理者。 其中，广告投放链路、程序化交易生态、CTR预估、在线匹配、竞价机制、库存分配和实验架构等内容，能够帮助读者理解为什么广告系统是一项跨算法、工程与经济学的复杂工程。 它的局限也很明显。该书出版于2019年，部分市场数据和“未来趋势”已经过时；近年来隐私监管、第三方Cookie退出、移动归因限制、第一方数据、深度推荐模型和生成式AI创意等变化没有被覆盖。部分章节偏知识罗列，理论算法与大型生产系统之间的工程细节连接也不够充分。 因此，这本书更适合作为在线广告领域的体系化入门地图，而不是当前广告技术的最新实践手册。先用它建立坐标系，再结合近年的隐私计算、推荐系统、因果推断和广告平台实践继续更新，会更有价值。 一段话总结 《在线广告：互联网广告系统的架构及算法》系统解释了在线广告如何把用户注意力转化为可以实时预测、定价和分配的商业资源：平台先通过用户数据、场景信息和定向条件召回候选广告，再利用点击率及价值预估、在线匹配和竞价机制完成排序、计费与流量分配，随后通过预算控制、Pacing、质量审核和反作弊保障投放，通过监测、归因、增效测试及A/B实验持续迭代。全书最重要的启示是，广告优化不能只追求点击率或短期收入，而应把算法效果、广告主回报、媒体收益、用户体验、市场公平、数据安全和长期生态放在同一个系统中权衡；真正优秀的广告系统，不是把广告展示得更多，而是在正确场景下把更合适的广告提供给更可能需要它的人，并能够证明这种投放创造了真实的增量价值。

1.介绍主流广告样式的创意，PC端广告样式（Banner广告、文字链广告、和富媒体广告），移动端广告样式（插屏广告、开屏广告、Feed流广告、电商类搜索广告、视频类广告、冠名广告） 2.广告投放系统主要的功能模块：客户系统、内部管理平台、基础架构（日志服务，索引，第三方监控）、广告投放引擎（主要包括：用户画像、行为数据分析、创意分析、CTR（Click Through Rate）计算、机制设计、定向技术）以及工具和测试平台（A/B testing/调参） 3.介绍品牌广告，搜素广告，社交广告，视频广告的相关投放 4.广告投放的相关算法：用户重定向，点击率预估，推荐算法，在线匹配等 5.广告的机制设计，效果反馈调整及试验及未来展望 总体来说在线广告扫盲书，书的架构有点乱。其中投放引擎部分讲解很仔细，建议注册市面上相关投放平台后进行比对，收获更大

“信息的丰富促成了注意力的缺乏。” 整体还不错。对我来说，有一些信息增益的应该就是第九章了。

值得了解，温故知新。很多广告学的理念好早就提出来了，想到以后新传的师兄师姐们要再弄出点创新论点怕是要呕血

可以当做入门用，覆盖面相对较广，内容也相对比较新了

有贸易就有广告，贸易越发达，广告的形式和内容就越复杂多样

这本书对于广告系统整体的历史沿革、系统架构等内容介绍比较详细，很多内容的可操作性比较强，例如A/B实验平台，DMP平台等等。算法等部分内容更适合技术同学了解，对于广告感兴趣点非技术同学读起来可能有些难度。

第八到第十一章的精华还挺好玩的

在线匹配和机制设计值得好好观看

一般 大多数来自国外文献的摘要