在線廣告：互聯網廣告系統的架構及算法

《在線廣告：互聯網廣告系統的架構及算法》核心拆解 作者：張亞東 一句話概括 在線廣告並不是“把廣告展示給用戶”這麼簡單，而是一套在毫秒級時間內，綜合用戶需求、廣告主出價、媒體收益、廣告質量和長期用戶體驗，完成預測、匹配、競價、投放、監測與持續優化的複雜系統。 核心邏輯 全書可以濃縮爲一條完整的廣告運行鏈路： 流量產生 → 用戶與場景識別 → 廣告召回和定向過濾 → 點擊率及價值預估 → 競價排序 → 庫存與預算分配 → 創意展示 → 曝光、點擊和轉化監測 → 歸因與實驗 → 模型和策略迭代 這條鏈路背後的核心目標，不是單純提高點擊率，而是在多重約束下實現動態平衡： 用戶希望廣告相關、可信、干擾少；廣告主希望找到高價值用戶並提高投入產出比；媒體希望流量得到充分變現；平臺希望提高長期收入，同時維護市場公平和生態質量。 因此，廣告系統的本質是一個由數據驅動的、多方利益參與的實時資源配置系統。 核心內容 1. 在線廣告的發展，是交易效率不斷提高的過程 在線廣告從早期按時間售賣的展示廣告，逐漸發展出按曝光、按點擊和按轉化收費的產品。 隨着參與者和流量規模擴大，產業鏈逐步出現： Ad Network整合分散的中小媒體流量；Ad Exchange對每一次廣告機會進行實時競價；DSP幫助廣告主自動購買流量；SSP幫助媒體管理和售賣庫存；DMP負責用戶數據及人羣管理。 這段歷史背後的主線，是廣告從“批量購買媒體位置”轉向“實時購買某個用戶在某個場景下的一次注意力”。 2. 廣告樣式只是表面，創意與用戶場景的匹配纔是關鍵 PC端常見Banner、文字鏈和富媒體廣告；移動端則出現開屏、插屏、信息流、電商搜索、視頻和冠名等樣式。 移動互聯網使廣告必須適應碎片化、多場景的使用方式。原生廣告、內容營銷和信息流廣告的興起，本質上都是爲了降低廣告與內容之間的割裂感。 程序化創意進一步把創意拆成圖片、文案、商品、按鈕等元素，根據用戶和場景自動組合；動態創意優化則利用歷史數據和實驗，選擇更可能有效的創意版本。創意由此從一次性作品變成了可以持續實驗、預測和優化的產品。 3. 廣告投放引擎是整套系統的中樞 一個完整的廣告系統不僅包括投放算法，還包括： 廣告主開戶、充值、下單和素材管理；內部審覈、運營和財務管理；用戶畫像、索引、日誌、監測等基礎設施；廣告召回、過濾、預估、排序和計費；預算控制、流量分配和投放節奏控制；A/B實驗、數據分析、調參與測試平臺。 廣告收入可以從流量規模、單位流量價值和有效消費客戶數量等角度分解。優化系統不能只盯住某一個模型指標，而要判斷它最終如何影響平臺收入、廣告主效果和用戶體驗。 4. 不同廣告產品解決的是不同問題 品牌廣告主要提升品牌知曉、認知和長期影響。它的實際價值往往大於即時點擊，而且存在滯後效應，因此僅用點擊率衡量會嚴重低估效果。 搜索廣告承接用戶已經表達出來的需求。其排序通常綜合廣告主出價與廣告質量，例如以“質量度×出價”爲基礎進行排序，並通過GSP等競價機制確定價格。 社交廣告利用關係網絡、互動和內容傳播。它的價值不止來自曝光和點擊，還包括點贊、評論、分享及熟人影響形成的二次傳播。 視頻廣告需要同時處理用戶容忍度、內容長度、廣告庫存、保量合約、平臺收益和消費節奏。流量預估、庫存分配和Pacing因此成爲關鍵問題。 不同類型廣告不能照搬同一套指標。品牌廣告、搜索廣告、社交廣告和視頻廣告的用戶意圖、效果週期與優化目標並不相同。 5. 用戶數據與定向，是廣告精準投放的基礎 廣告系統需要解決三個層次的問題： 如何識別同一個用戶；如何描述這個用戶；如何找到更多可能有相同需求的用戶。 PC端通常依靠Cookie，移動端更多依靠設備信息和賬戶體系，跨設備識別則需要結合登錄關係與機器學習。 用戶畫像是對用戶屬性、興趣、行爲、消費能力和場景的多維描述，但它不是絕對真實的“用戶檔案”，而是機器根據不斷變化的數據形成的概率判斷。 Lookalike以一批種子用戶爲基礎，通過特徵建模、近鄰搜索或圖算法尋找相似人羣。重定向則針對已經訪問、購買或互動過的用戶再次投放。兩者分別解決“擴展新用戶”和“重新激活已有用戶”的問題。 6. 點擊率預估的價值，在於判斷每次流量的相對價值 CTR預估不是單純追求一個更準確的概率，而是爲排序、競價和預算分配提供基礎。 模型需要結合用戶特徵、廣告和創意特徵、查詢詞、頁面及上下文特徵、廣告歷史表現、展示位置和競爭環境，以及用戶與廣告之間的交叉特徵。 基礎模型可以使用邏輯迴歸；樹模型可用於學習非線性關係和特徵組合；在線學習則用於應對數據分佈持續變化。AUC、歸一化交叉熵等指標可以評價模型，但離線指標變好，並不必然意味着平臺的實際收益和長期體驗變好。 廣告系統還要處理探索與利用之間的衝突。只展示歷史表現最好的廣告，新廣告就永遠得不到機會；過度探索又會損失當前收益。Bandit、ε-Greedy、UCB、Thompson Sampling等方法，就是在確定性收益和未知機會之間尋找平衡。 7. 推薦算法與廣告排序具有共同的技術基礎 協同過濾通過用戶或物品之間的相似性產生推薦；矩陣分解用低維隱向量描述用戶與物品；深度學習推薦通常分成候選召回和精細排序兩個階段。 現實系統不能對全部廣告運行最複雜的模型，因此往往採用： 大規模召回 → 規則過濾 → 粗排 → 精排 → 重排 同時需要通過特徵離線計算、緩存、並行化等方式控制延遲。算法效果和工程性能並不是兩個獨立問題：不能在規定時間內返回結果的高精度模型，對在線系統沒有實際價值。 8. 在線匹配解決的是“有限資源如何分配” 廣告到達順序、流量規模和未來競爭通常無法提前完全知道，因此廣告匹配不是靜態最優化問題，而是在線決策問題。 書中通過二部圖匹配、加權匹配、AdWords問題以及原始—對偶方法，介紹Greedy、Ranking、Balance、MSVV等算法，並用競爭比衡量在線算法與理想離線最優解之間的差距。 現實系統還會採用Scaling、Throttling等方法控制流量。視頻廣告中的HWM、SHALE和Pacing，也是在解決類似問題：既要滿足保量合約，又要提高非保量廣告收益，還要避免預算過早耗盡或集中投放。 這說明廣告投放不是逐次挑選“當前最高分廣告”，而是在不確定的未來流量中管理機會成本。 9. 競價機制決定了參與者會如何行動 廣告系統不能只設計排序算法，還必須考慮廣告主會不會利用規則改變自己的行爲。 GFP、GSP和VCG等機制在支付規則、穩定性和激勵兼容性上各有差異。一個好的機制需要讓廣告主如實表達價值，並讓個體理性選擇與平臺整體目標儘量一致。 因此，機制設計的關鍵不只是“誰出價最高誰贏”，而是如何定義廣告價值、如何計算支付價格、如何降低策略性操縱，以及如何兼顧效率、公平、平臺收入與生態穩定。 算法優化的是既定規則下的結果，機制設計則決定了參與者進入系統後會形成什麼樣的行爲。 10. 反作弊、廣告質量和隱私保護是系統的一部分 作弊並不是偶發異常，而是流量可以變現之後自然產生的對抗產業。常見方式包括機器點擊、黑客控制、羣控、有組織人工操作以及藉助大流量平臺製造虛假行爲。 反作弊需要形成持續閉環： 異常樣本發現 → 樣本驗證 → 特徵與策略迭代 → 實時攔截、短週期處理和離線挖掘 → 效果評估 平臺還要審覈廣告主身份、素材、落地頁和敏感內容。即使某些廣告能夠帶來短期收入，如果它破壞用戶信任、危害交易安全或違反法律，長期結果仍然是平臺價值下降。 數據應用也必須受到授權、透明度和必要性原則約束。用戶數據越豐富，平臺承擔的數據安全和隱私責任也越大。 11. A/B實驗是策略上線前的證據系統 實驗不是把流量隨意分成兩組，而是要提前確定總體評價指標OEC、流量分配方法、最少樣本量、置信度和置信區間。 分層實驗可以讓同一批流量參與不同維度的獨立實驗，提高流量利用率。新策略通常需要從小流量開始，逐步放量並持續觀察風險。 但A/B實驗也有邊界：它可以判斷哪個版本更好，卻不一定解釋原因；短期實驗可能無法反映長期效果；用戶對新功能的不適應可能造成暫時性下降；局部指標上漲可能以其他生態指標惡化爲代價。 所以實驗應被看作決策證據，而不是機械裁決者。 12. 效果衡量比投放本身更困難 曝光和點擊可以通過平臺日誌及第三方監測記錄，但平臺與第三方的數據經常因爲口徑、過濾規則、瀏覽器限制、IP庫和數據處理方式不同而產生差異。 真正困難的是歸因：一個用戶可能在多臺設備、多個渠道接觸廣告，最後一次點擊並不一定是真正促成購買的原因。 末次歸因、平均歸因、時間衰減和價值加權等模型只是不同的價值分配規則。相比僅在已經轉化的觸點之間分配功勞，增效測試更進一步追問： 如果沒有投放這次廣告，用戶還會不會購買？ 廣告效果的終極判斷，不是“發生了多少轉化”，而是廣告真正額外創造了多少轉化。 反對的觀念 1. 反對“廣告系統就是一個CTR模型” CTR只是中間指標。真實系統還需要處理召回、競價、計費、預算、庫存、延遲、審覈、作弊、歸因和實驗。 2. 反對“出價最高的廣告就應該獲勝” 高出價並不等於高價值。排序還需要考慮點擊概率、廣告質量、用戶體驗以及交易完成的可能性。 3. 反對“算法離線指標越高，商業效果就一定越好” 離線模型指標、線上點擊、短期收入和長期生態價值並不完全一致，最終必須通過線上實驗和長期指標驗證。 4. 反對“每次都選擇當前收益最高的廣告” 這種做法會導致新廣告和未知機會得不到探索，也可能造成預算提前耗盡。系統必須管理探索與利用、當前收益與未來機會之間的關係。 5. 反對“點擊就是廣告效果” 品牌影響、社交傳播、跨設備觸點和延遲轉化都可能發生在點擊之外。點擊率高也可能只是標題誘導，並不代表真正創造了商業價值。 6. 反對“數據越多、定向越精準就越好” 數據使用存在隱私、合法性、偏差和安全邊界。失去用戶信任之後，短期精準度的提高可能換來長期生態損失。 7. 反對“局部最優等於系統最優” 某個廣告、廣告主或模型的效果提升，可能損害其他廣告主、用戶體驗或平臺長期收入。在線廣告始終是多目標、多參與者的整體優化問題。 本書最值得關注的核心觀點 1. 在線廣告的本質是注意力的實時定價與分配 平臺真正交易的不是廣告位本身，而是某個用戶在某個時間、場景和需求狀態下的一次注意力機會。 2. 預估、匹配與機制設計不可分割 預估模型判斷價值，匹配算法配置有限資源，競價機制塑造參與者行爲。任何一部分設計失誤，都可能讓其他部分的優化失效。 3. 最優廣告不是分數最高的廣告，而是滿足長期約束後的最優選擇 系統必須同時考慮預算、保量、節奏、質量、用戶體驗、風險和未來流量。局部打分只是決策輸入，而不是最終答案。 4. 廣告系統是一套持續學習的反饋閉環 每次曝光都會產生行爲數據，行爲數據更新模型，模型改變後續投放，投放結果再進入監測和實驗。真正的競爭力來自整個閉環的迭代效率，而不只是某一個算法。 5. 增效比歸因更接近廣告的真實價值 歸因討論如何分配已經發生的轉化，增效則判斷廣告是否真正改變了用戶行爲。後者更接近廣告主真正想知道的問題。 6. 生態治理不是算法系統之外的成本 廣告質量、反作弊、隱私和公平機制直接決定數據是否可信、用戶是否願意繼續使用平臺，以及市場能否長期運行，它們本身就是廣告系統的核心能力。 個人啓示 1. 優化任何複雜平臺，都要先畫出完整價值鏈 不要一開始就陷入模型選擇。先明確參與者、輸入、輸出、約束、反饋路徑和最終商業指標，再決定哪些環節適合用算法優化。 2. 建立分層指標體系 可以把指標分爲模型指標、投放指標、商業指標、生態指標和風險指標。任何單一指標上漲，都需要檢查是否犧牲了其他層次的價值。 3. 把算法放進實際約束中評價 一個模型是否有價值，還取決於計算延遲、吞吐量、數據新鮮度、部署成本、穩定性和可解釋性。工程可用性本身就是算法效果的一部分。 4. 對“相關性”和“因果性”保持警惕 看到廣告後購買，不等於因爲廣告而購買。評價營銷、產品功能和推薦系統時，都應儘量引入對照實驗與增效思維。 5. 把長期信任當作系統資產 誘導點擊、過度定向和低質量廣告可能在短期提高收入，卻會消耗用戶信任。平臺真正稀缺的資源不僅是流量，還有用戶願意繼續貢獻注意力和數據的意願。 觀點評價 這本書最大的價值，是把在線廣告從產品形態、商業模式、系統架構、算法、機制設計、實驗、反作弊到效果衡量串成了一張完整地圖。它適合希望建立行業全局認識的產品經理、算法工程師、廣告從業者和技術管理者。 其中，廣告投放鏈路、程序化交易生態、CTR預估、在線匹配、競價機制、庫存分配和實驗架構等內容，能夠幫助讀者理解爲什麼廣告系統是一項跨算法、工程與經濟學的複雜工程。 它的侷限也很明顯。該書出版於2019年，部分市場數據和“未來趨勢”已經過時；近年來隱私監管、第三方Cookie退出、移動歸因限制、第一方數據、深度推薦模型和生成式AI創意等變化沒有被覆蓋。部分章節偏知識羅列，理論算法與大型生產系統之間的工程細節連接也不夠充分。 因此，這本書更適合作爲在線廣告領域的體系化入門地圖，而不是當前廣告技術的最新實踐手冊。先用它建立座標系，再結合近年的隱私計算、推薦系統、因果推斷和廣告平臺實踐繼續更新，會更有價值。 一段話總結 《在線廣告：互聯網廣告系統的架構及算法》系統解釋了在線廣告如何把用戶注意力轉化爲可以實時預測、定價和分配的商業資源：平臺先通過用戶數據、場景信息和定向條件召回候選廣告，再利用點擊率及價值預估、在線匹配和競價機制完成排序、計費與流量分配，隨後通過預算控制、Pacing、質量審覈和反作弊保障投放，通過監測、歸因、增效測試及A/B實驗持續迭代。全書最重要的啓示是，廣告優化不能只追求點擊率或短期收入，而應把算法效果、廣告主回報、媒體收益、用戶體驗、市場公平、數據安全和長期生態放在同一個系統中權衡；真正優秀的廣告系統，不是把廣告展示得更多，而是在正確場景下把更合適的廣告提供給更可能需要它的人，並能夠證明這種投放創造了真實的增量價值。

1.介紹主流廣告樣式的創意，PC端廣告樣式（Banner廣告、文字鏈廣告、和富媒體廣告），移動端廣告樣式（插屏廣告、開屏廣告、Feed流廣告、電商類搜索廣告、視頻類廣告、冠名廣告） 2.廣告投放系統主要的功能模塊：客戶系統、內部管理平臺、基礎架構（日誌服務，索引，第三方監控）、廣告投放引擎（主要包括：用戶畫像、行爲數據分析、創意分析、CTR（Click Through Rate）計算、機制設計、定向技術）以及工具和測試平臺（A/B testing/調參） 3.介紹品牌廣告，搜素廣告，社交廣告，視頻廣告的相關投放 4.廣告投放的相關算法：用戶重定向，點擊率預估，推薦算法，在線匹配等 5.廣告的機制設計，效果反饋調整及試驗及未來展望 總體來說在線廣告掃盲書，書的架構有點亂。其中投放引擎部分講解很仔細，建議註冊市面上相關投放平臺後進行比對，收穫更大

“信息的豐富促成了注意力的缺乏。” 整體還不錯。對我來說，有一些信息增益的應該就是第九章了。

值得了解，溫故知新。很多廣告學的理念好早就提出來了，想到以後新傳的師兄師姐們要再弄出點創新論點怕是要嘔血

可以當做入門用，覆蓋面相對較廣，內容也相對比較新了

有貿易就有廣告，貿易越發達，廣告的形式和內容就越複雜多樣

這本書對於廣告系統整體的歷史沿革、系統架構等內容介紹比較詳細，很多內容的可操作性比較強，例如A/B實驗平臺，DMP平臺等等。算法等部分內容更適合技術同學瞭解，對於廣告感興趣點非技術同學讀起來可能有些難度。

第八到第十一章的精華還挺好玩的

在線匹配和機制設計值得好好觀看

一般 大多數來自國外文獻的摘要