擴散模型從原理到實戰

算是截止到目前，對擴散模型的知識脈絡做了較爲全面梳理的書，可作爲科普入門級讀物，但想深入瞭解，還需要進一步找其他資料，目前這個領域的研究比較熱，後面應該還會有新的書出來。因爲我對這塊感興趣，所以研究的比較多，以下是結合本書、李宏毅老師的視頻課、以及一些其他資料做的整理，完整帶圖版文章在我的公號「陌北有棵樹」裏面，文章標題是「AIGC系列第一篇 —— Stable Diffusion 原理簡述 & 資料整理」 #擴散模型原理簡述 要說Stable Diffusion，就一定得提擴散模型。擴散模型是AIGC開放性創造性的重要來源。爲什麼得出這樣的結論呢？首先我們思考這樣一個問題，爲什麼擴散模型與圖像生成天然適配？ 要回答這個問題，可能要先思考圖像生成與自然語言處理有什麼差異。我們常說一句話「一圖勝千言」，假設是一個文生圖的任務，用一段文字去生成一張圖，其實圖片中包含的信息量是遠遠多於這段描述性的文字的，你輸入的文字也只是千言中的部分，這就需要機器進行大量的腦補才能生成好的圖像，「需要大量腦補」這件事，其實也影響了圖像生成模型的設計。 ## 「生成模型」的共同點 除了擴散模型，生成模型還包括VAE（Variational Auto-Encoder，變分自編碼器）和GAN（Generative Adversarial Net，生成對抗網絡）等等。不過雖然實現方式各有不同，但歸納起來也有一些共同的特點，它們都不僅僅是依靠一段文字就去生成圖，而還需要一個額外的輸入。對於這個額外輸入，比較常見的做法是對一個正態分佈進行sample，得到一個向量。 常見一些用於生圖的模型（圖來自李宏毅老師的Stable Diffusion系列課程） 1、【VAE】 VAE中有一個Decoder和一個Encoder，Decoder的輸入是正態分佈的的向量和文字，輸出是圖片。Encoder是Decoder的反向，輸入是一張圖片，輸出是向量，Encoder和Decoder是一起訓練的，還有一個額外需要加的限制，保證中間傳遞的向量一定是正態分佈。 2、【Flow-based Generation Model】 Flow-based Generation Model的大體思路和VAE差不多，區別在於它沒有Decoder，所以這就需要Encoder是可逆的。也就是訓練的時候Encoder輸入圖片，輸出向量，畫圖的時候，將Encoder反過來，輸入向量，輸出圖片。所以在訓練時需要限制神經網絡的架構，保證這個Encoder是invertible，並且能夠得到這個Encoder的inverse。 3、【Diffusion Model】 Diffusion Model的訓練過程就是把原圖不斷加噪音，直到看不出原來的圖，然後畫圖的過程就是不斷去噪音。擴散模型在思想上，是受熱力學概念的啓發，簡單來說，它定義了一個不斷加噪聲的前向過程，將圖片逐步變爲含高斯噪聲的圖片，再通過定義一個逆向過程將含高斯噪聲的圖片逐步去噪變成清晰圖片以得到採樣。擴散模型本質上是一種參數化的馬爾科夫鏈，使用變分推斷進行訓練，以便在有限時間內生成與數據匹配的樣本。當然，Stable Diffusion還要在Diffusion Model的基礎上，再加很多東西，纔有了了今天這樣的效果。 # Stable Diffusion 發展脈絡 從2020年擴散模型首次被提出到現在，雖然只有不到3年的時間，但這期間技術的更迭之快，就算是身處其中的人，也難免會眼花繚亂，這裏列出一些關鍵的論文和模型。 2020年6月 《Denoising Diffusion Probabilistic Models》 DDPM - 經典擴散模型，擴散模型鼻祖 2020年10月 《Denoising Diffusion Implicit Models》 DDIM - 改進版的DDPM 2021年2月 《Improved Denoising Diffusion Probabilistic Models》 Cosine Noise Schedule，Importance sampling，Stride Sampling加速採樣等技術 2021年2月 《Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions》 最早的離散擴散模型 2021年5月 《Diffusion Models Beat GANs on Image Synthesis》 提出Classifier Guidance，讓擴散模型能夠按類生成 2021年7月 《Structured Denoising Diffusion Models in Discrete State-Spaces》 D3PM - 後續離散擴散模型的理論基礎 2021年12月 《High-Resolution Image Synthesis with Latent Diffusion Models》 Latent Diffusion - 潛在擴散模型，Stable Diffusion的理論基礎 2021年12月 《More Control for Free! Image Synthesis with Semantic Diffusion Guidance》 改進Classifier Guidance，使得擴散模型的引導過程僅需使用擴散模型本身，而不再需要依賴分類器進行實現 2022年4月 DALLE-2 OpenAI基於擴散模型的文生圖產品 2022年8-11月 Stable Diffusion - v1.x 模型參數：downsampling-factor、8 autoencoder with an 860M UNet and CLIP ViT-L/14 text encoder 模型風格：v1.4-專注繪製風景類，整體偏歐美風； 2022年11月 Stable Diffusion - v2.0 text encoder升級，由CLIP ViT-L/14模型升級至CLIP ViT-H/14模型，模型擴大了3倍 2022年12月 Stable Diffusion - v2.1 相比v2.0，放開了限制（punsafe=0.98）繼續finetune，所以增強了人像的生成效果 2023年4月 Stable Diffusion XL Beta 31億參數基礎模型 2023年6月 Stable Diffusion XL 0.9 35億參數基礎模型和66億參數模型的集成管線

看了前面免費試讀部分，太糟糕了。感覺是AI自動翻譯的，有些直翻的說法太奇怪了，實在是一種可怕的摧殘。對於這種試圖建立或刷新底層認知的書，是很關鍵的。我的建議就是要嚴謹再嚴謹，看了之後形成各種莫名其妙的認知，一知半解加上膈應的閱讀體驗，很明確：看不如不看。

這本書其實寫的還是不錯的，當然是推薦入門的，也需要結合huggingface官網的一些資料，同時也需要結合對stable diffusion pyTorch的源碼有一定的瞭解。我覺得對於新手來說還不錯。當然如果對ddpm,ddim一點也不瞭解的話可能就不推薦了，整體不錯，推薦

只是翻譯版，原教材確實不錯。另外微信讀書上代碼全是亂的。

基本是huggingface課程notebook的翻譯，關鍵翻譯得一般，有的代碼都沒抄明白

材料沒問題，因爲這就是huggingface的擴散模型diffusion model classes的教程翻譯版本，就翻譯了一下，拿着開源的東西居然賣這麼貴。還是看英文原版吧，不行自己拿gpt4自己翻，完事。

還行，原理講得不是很多，偏向實戰

內容一般，但是作爲入門還是推薦的

這書是2023年8月出版的，讀的時候一直覺得是2021年前的書，技術日益更新過去的書籍參考性基本不大了，書中講的幾個模型、技術感覺已經過時、或者說現在已經在WebUI裏都集合了，且這書是真的不適合沒有任何實操經驗的人去閱讀，或者他本身的閱讀受衆就是算法程序員，涉及到代碼的所有章節基本上就看不懂了，總之不太適合我來閱讀，連最初抱着想去了解一些基本原理的心態發現都難以達到預期，晦澀的描述還不如現在B站各種up主講的好，全文閱讀完基本上沒有太大的收穫

看了兩眼，一點乾貨沒有全靠複製粘貼貼代碼，這年頭有些人想錢想瘋了，看到馬伯庸也來推薦真是繃不住