在開始安裝Stable Diffusion WebUI前,先來了解一下背景知識吧。
1. 介紹#
Stable Diffusion (穩定擴散) 是一個擴散模型,2022年8月由德國CompVis協同Stability AI和Runway發表論文,並推出相關程式。
同年,AUTOMATIC1111開發了圖形化界面:「Stable Diffusion WebUI」,有人簡稱其為SD WebUI,這是能用AI技術生成圖片的開源軟體,只要給定一組描述文字,AI就會開始繪圖(準確的說是「算圖」或「生圖」);亦能模仿現有的圖片,生成另一張圖片。甚至給它一部分塗黑的圖片,AI也能按照你的意願將圖片填上適當的內容。除此之外還支援自行訓練模型加強生圖效果。
以下是一些Stable Diffusion WebUI生成的圖像,無後期處理。
Stable Diffusion WebUI整合了許多程式,因其跨平台又有很好的擴充性,便成為最多人使用的圖形化程式。圖形界面是透過網頁存取的,上手無難度,還有社群製作的界面中文化擴充功能。
與其他雲端AI繪圖軟體Midjoruney、NovelAI、DALL-E相比,Stable Diffusion WebUI最大優點是可以免費在自己的電腦跑,且只要遵照 Creative ML OpenRAIL-M授權條款的話,幾無使用限制。
因其開放原始碼的特性,任何人都可以貢獻程式碼,參與改進專案。感謝原始AI生圖工具的開發者CompVis、StabilityAI、RunwayAI、AUTOMATIC1111,以及全世界大大小小開發者的付出,才讓我們有AI繪圖軟體能用。
一開始Stable Diffusion WebUI支援的是x86架構,配備獨立顯示卡的Linux和Windows電腦。不過AI繪圖熱門到讓Apple公司親自下場優化,於是macOS也可以跑Stable Diffusion WebUI了。只是用筆電跑的要小心,AI繪圖會佔用大量GPU資源,注意散熱。
至2024年,Stable Diffusion WebUI已支援Linux/Windows/MacOS系統,以及Nvidia/AMD/Intel Arc/Apple Silicon M的GPU。
2. 致謝#
感謝原始AI生圖工具的開發者CompVis、StabilityAI、RunwayAI、AUTOMATIC1111,以及全世界大大小小開發者的付出,才有了這本手冊。
此手冊的正體中文版貢獻者:Ivon Huang
本手冊的參考來源
- AUTOMATIC1111/stable-diffusion-webui Wiki - Github
- Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 10684-10695).
- Diffusers - Hugging Face
- Voldy’s Retard Guide The definitive Stable Diffusion experience ™
- Stable Diffusion Art - tutorials, prompts, resources
Stable Diffusion討論社群
- r/StableDiffusion - Reddit
- 看板AI_Art 文章列表- 批踢踢實業坊
- Stable Diffusion 台灣社群v2 - Facebook
- Stable Diffusion - 知乎
模型訓練參考資料
- Hypernetwork training for dummies - Rentry.co
- 【Novel AI】手把手教你Textual Inversion神经网络训练详细操作
- NovelAI hypernetwork 自训练教程 - 知乎专栏
- Basic Dreambooth Guide - Github
- LoRA Training Guide - Rentry.co
- Using LoRA for Efficient Stable Diffusion Fine-Tuning - HuggingFace
- 曾飞飞 - 零基础读懂Stable Diffusion
- Well-Researched Comparison of Training Techniques Lora, Inversion, Dreambooth, Hypernetworks
- 【AI绘画】当我们在训练AI的时候,究竟在训练什么?AI训练前置知识(一)
- 【笔记】Stable Diffusion模型优化入门级介绍 - LoRA vs Dreambooth vs Textural Inversion vs Hypernetworks
- Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., … & Chen, W. (2021). Lora: Low-rank adaptation of large language models. arXiv preprint arXiv:2106.09685.