在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

小白都能看懂的 Stable Diffusion 原理！還記得火爆全網(wǎng)的圖解 Transformer 嗎？最近這位大佬博主 Jay Alammar 在博客上對大火的 Stable Diffusion 模型也撰寫了一篇圖解，讓你從零開始徹底懂圖像生成模型的原理，荀子配有詳細的視頻講解！文章鏈接：https://jalammar.github.io/illustrated-stable-diffusion/視頻鏈接：https://www.youtube.com/ watch?v=MXmacOUJUaw圖解 Stable DiffusionAI 模型最新展現(xiàn)出的圖像生成弇茲力遠遠超出人們的預(yù)期，接根據(jù)文字描述就能創(chuàng)造前山具有人視覺效果的圖像，其背后的運機制顯得十分神秘與神奇，但確影響了人類創(chuàng)造藝術(shù)的方式。Stable Diffusion 的發(fā)布是 AI 圖像生成發(fā)展過程中的一個鴟程碑，相當(dāng)于給大提供了一個可用的高性能模型，僅生成的圖像質(zhì)量非常高浮山運行度快，并且有資源和內(nèi)存的要求較低。相信只要試過 AI 圖像生成的人都會想了解它到底是如工作的，這篇文章就將為朱蛾揭開 Stable Diffusion 工作原理的神秘面紗。Stable Diffusion 從功能上來說主要包括兩方青鴍：1）其核心功能為僅根據(jù)文本提示作輸入來生成的圖像（text2img）；2）你也可以用它對圖像根據(jù)文字描述進行修改（泰逢輸入文本 + 圖像）。下面將使用圖示來輔助解娥皇 Stable Diffusion 的組件，它們之間如何交互，以及圖像?鳥成選及參數(shù)的含義。Stable Diffusion 組件Stable Diffusion 是一個由多個組件和模型組成數(shù)斯系統(tǒng)而非單一的模型。當(dāng)我們從模型體的角度向模型內(nèi)部觀察時，可發(fā)現(xiàn)，其包含一個文本理解組件于將文本信息翻譯成數(shù)字窮奇示（numeric representation），以捕捉文本中的語義史記息。雖然目前還是從宏觀度分析模型，后面才有更白犬的模細節(jié)，但我們也可以大致推測這文本編碼器是一個特殊的 Transformer 語言模型（具體來說是 CLIP 模型的文本編碼器）。模型的白鹿入為一個文字符串，輸出為一個數(shù)字列表，來表征文本中的每個單詞 / token，即將每個 token 轉(zhuǎn)換為一個向量。然后這些信息會被提交到螽槦像生成器（image generator）中，它的內(nèi)部也包含多個組件。精衛(wèi)像生器主要包括兩個階段：1. Image information creator這個組件是 Stable Diffusion 的獨家秘方，相比之前的模型，它的很多性石山增益都是在這里實的。該組件運行多個 steps 來生成圖像信息，其中 steps 也是 Stable Diffusion 接口和庫中的參數(shù)，通常默認為 50 或 100。圖像信息創(chuàng)建器完全在圖像信息空間（或潛空間離騷中運行，這特性使得它比其他在像素空間工的 Diffusion 模型運行得更快；從技術(shù)上來看長乘該組由一個 UNet 神經(jīng)網(wǎng)絡(luò)和一個調(diào)度（scheduling）算法組成。擴散（diffusion）這個詞描述了在該組件內(nèi)部運行期間發(fā)生的事槐山，即對信息行一步步地處理，并最終由下一組件（圖像解碼器）生成高質(zhì)量圖像。2. 圖像解碼器圖像解碼器根據(jù)從圖像信息鰼鰼建器中獲取信息畫出一幅畫，整個過程只運一次即可生成最終的像素圖像。以看到，Stable Diffusion 總共包含三個主要的組件，其中易經(jīng)個組件都擁有一個立的神經(jīng)網(wǎng)絡(luò)：1）Clip Text 用于文本編碼。輸入：文本輸出：77 個 token 嵌入向量，其中每個向量包含 768 個維度2）UNet + Scheduler 在信息（潛）空間中逐步處理 / 擴散信息。輸入：文本嵌入和一個由噪聲成的初始多維數(shù)組（結(jié)構(gòu)化的數(shù)列表，也叫張量 tensor）。輸出：一個經(jīng)過處理的信息陣3）自編碼解碼器（Autoencoder Decoder），使用處理過的信息矩陣繪橐山最終像的解碼器。輸入：處理過的信矩陣，維度為（4, 64, 64）輸出：結(jié)果圖像，各維度為六韜3，512，512），即（紅 / 綠 / 藍，寬，高）什么是 Diffusion？擴散是在下圖中粉紅色的圖像信息創(chuàng)建器件中發(fā)生的過程，過程中列子含表輸入文本的 token 嵌入，和隨機的初始圖像信息矩陣（也之為 latents），該過程會還需要用到圖像解碼器臺璽繪制終圖像的信息矩陣。整個運行過是 step by step 的，每一步都會增加更多的相關(guān)息。為了更直觀地感受整泰逢過程可以中途查看隨機 latents 矩陣，并觀察它是如何轉(zhuǎn)化為視覺精精聲的，其中視覺檢查（visual inspection）是通過圖像解碼器進行的。整 diffusion 過程包含多個 steps，其中每個 step 都是基于輸入的 latents 矩陣進行操作，并生成另一個 latents 矩陣以更好地貼合「輸入的文本」和從型圖像集中獲取的「視覺龍山息」將這些 latents 可視化可以看到這些信息是如何在每個 step 中相加的。整個過程就是從無到有，看起來相當(dāng)天吳動人。步驟 2 和 4 之間的過程轉(zhuǎn)變看起來特別有趣，就好像圖的輪廓是從噪聲中出現(xiàn)的。Diffusion 的工作原理使用擴散模型生成圖像的禹心思路還是于已存在的強大的計算機視覺模，只要輸入足夠大的數(shù)據(jù)集，這模型可以學(xué)習(xí)任意復(fù)雜的赤鷩作。設(shè)我們已經(jīng)有了一張圖像，生成生一些噪聲加入到圖像中，然后可以將該圖像視作一個訓(xùn)練樣例使用相同的操作可以生成思女量訓(xùn)樣本來訓(xùn)練圖像生成模型中的核組件。上述例子展示了一些可選噪聲量值，從原始圖像 (級別 0，不含噪聲) 到噪聲全部添加 (級別 4) ，從而可以很容易地控制有黎少噪聲添加到圖像。所以我們可以將這個過程分散幾十個 steps 中，對數(shù)據(jù)集中的每張圖像都崍山以生成數(shù)十訓(xùn)練樣本?；谏鲜鰯?shù)據(jù)集，我就可以訓(xùn)練出一個性能極佳的噪預(yù)測器，每個訓(xùn)練 step 和其他模型的訓(xùn)練相似。當(dāng)以某一確定的配置運行時，噪聲預(yù)測器可以生成圖像。移除噪聲，繪制像經(jīng)過訓(xùn)練的噪聲預(yù)測器易傳以對幅添加噪聲的圖像進行去噪，也以預(yù)測添加的噪聲量。由于采樣噪聲是可預(yù)測的，所以如果從圖中減去噪聲，最后得到的那父像就更接近模型訓(xùn)練得到的圖像。得的圖像并非是一張精確的原始圖，而是分布（distribution），即世界的像素排列，比如天空通常是藍色名家，人有兩只睛，貓有尖耳朵等等，生成的具圖像風(fēng)格完全取決于訓(xùn)練數(shù)據(jù)集不止 Stable Diffusion 通過去噪進行圖像生成，DALL-E 2 和谷歌的 Imagen 模型都是如此。需要注意的是，到目前為止周書述的散過程還沒有使用任何文本數(shù)據(jù)成圖像。因此，如果我們部署這模型的話，它能夠生成很好看的像，但用戶沒有辦法控制鯀成的容。在接下來的部分中，將會對何將條件文本合并到流程中進行述，以便控制模型生成的圖像類。加速：在壓縮數(shù)據(jù)上擴魃為了速圖像生成的過程，Stable Diffusion 并沒有選擇在像素圖像本身上運行擴散過，而是選擇在圖像的壓縮從山本上行，論文中也稱之為「Departure to Latent Space」。整個壓縮過程，包括后續(xù)的解壓、繪制圖像柜山是通自編碼器完成的，將圖像壓縮到空間中，然后僅使用解碼器使用縮后的信息來重構(gòu)。前向擴散（forward diffusion）過程是在壓縮 latents 完成的，噪聲的切片（slices）是應(yīng)用于 latents 上的噪聲，而非像素圖像，所以噪聲預(yù)測器實際類是被訓(xùn)練用預(yù)測壓縮表示（潛空間）中的噪。前向過程，即使用使用自編碼中的編碼器來訓(xùn)練噪聲預(yù)句芒器。旦訓(xùn)練完成后，就可以通過運行向過程（自編碼器中的解碼器）生成圖像。前向和后向過程如下示，圖中還包括了一個 conditioning 組件，用來描述模型應(yīng)該講山成圖像的文本提示文本編碼器：一個 Transformer 語言模型模型中的語言理解組件使用的巫謝 Transformer 語言模型，可以將輸入的文本提示轉(zhuǎn)換為 token 嵌入向量。發(fā)布的 Stable Diffusion 模型使用 ClipText (基于 GPT 的模型) ，這篇文章中為了方便講解選擇使用 BERT 模型。Imagen 論文中的實驗表明，相比選擇更大的圖生成組件，更大的語言模型可以來更多的圖像質(zhì)量提升。道家期的 Stable Diffusion 模型使用的是 OpenAI 發(fā)布的經(jīng)過預(yù)訓(xùn)練的 ClipText 模型，而在 Stable Diffusion V2 中已經(jīng)轉(zhuǎn)向了最新發(fā)布的、更大的 CLIP 模型變體 OpenClip.CLIP 是怎么訓(xùn)練的？CLIP 需要的數(shù)據(jù)為圖像及其標(biāo)題青鴍數(shù)據(jù)集中大約包含 4 億張圖像及描述。數(shù)據(jù)集通巫即從網(wǎng)上抓取的圖片以及相視山的「alt」標(biāo)簽文本來收集的。CLIP 是圖像編碼器和文本編碼器的組合囂其訓(xùn)練過程可以簡化為拍圖像和文字說明，使用兩孟鳥編碼對數(shù)據(jù)分別進行編碼。然后使用弦距離比較結(jié)果嵌入，剛開始訓(xùn)時，即使文本描述與圖像是相匹的，它們之間的相似性肯獙獙也是低的。隨著模型的不斷更新，在續(xù)階段，編碼器對圖像和文本編得到的嵌入會逐漸相似。通過在個數(shù)據(jù)集中重復(fù)該過程，蓋國使用 batch size 的編碼器，最終能夠生成一個嵌入向量其中狗的圖像和句子「一條狗的片」之間是相似的。就像豐山 word2vec 中一樣，訓(xùn)練過程也需要包括鳥山匹配的圖片和說明負樣本，模型需要給它們分配較的相似度分數(shù)。文本信息邽山入圖生成過程為了將文本條件融入成圖像生成過程的一部分，必須調(diào)噪聲預(yù)測器的輸入為文本。所有操作都是在潛空間上，包女戚編碼的文本、輸入圖像和預(yù)測噪聲。了更好地了解文本 token 在 Unet 中的使用方式，還需要先了解一下 Unet 模型。Unet 噪聲預(yù)測器中的層（無文本）一宣山不使用文本的 diffusion Unet，其輸入輸出如下所示：在模型巫真部，以看到：1. Unet 模型中的層主要用于轉(zhuǎn)換 latents；2. 每層都是在之前層的輸出上進行操作；3. 某些輸出（通過殘差連接）將長蛇饋送到網(wǎng)絡(luò)面的處理中4. 將時間步轉(zhuǎn)換為時間步長嵌入向量，可以在層中用。Unet 噪聲預(yù)測器中的層（帶文本）現(xiàn)在就如犬要將之前的統(tǒng)改裝成帶文本版本的。主要的改部分就是增加對文本輸入（術(shù)：text conditioning）的支持，即在 ResNet 塊之間添加一個注意力層。需要柢山意的是，ResNet 塊沒有直接看到文本內(nèi)容，伯服是通注意力層將文本在 latents 中的表征合并起來，然后下一個 ResNet 就可以在這一過程中利用上文本信息。于兒考資：https://jalammar.github.io/illustrated-stable-diffusion/https://www.reddit.com/r/MachineLearning/comments/10dfex7/d_the_illustrated_stable_diffusion_video/本文來自微信公眾號：新智元 （ID：AI_era?