快轉到主要內容

如何下載Stable Diffusion相關的AI生圖模型&網站分享

· 民國114年乙巳年
·
切換繁體/簡體
分類 開源AI應用 AI繪圖教學
標籤 Stable Diffusion
目錄

存檔點模型(checkpoint,或稱大模型)是AI生圖的重要依據,生圖用的模型可以安裝很多個。

此處分享的是「Stable Diffusion」和以此為基礎延伸的模型,不包含LoRA。

1. 模型下載網站
#

目前找Stable Diffusion模型的網站有:

HuggingFace:中文俗稱抱臉笑,可以說是人工智慧界的Github。Stable Diffusion背後用到的很多AI工具,如Transformer、Tokenizers、Datasets都他們開發的,網站上也有豐富的教學文檔。

Civitai:專門用來分享Stable Diffusion相關的資源,特色是模型都有示範縮圖,用戶可以分享彼此使用的提示詞和作品。

OpenModelDB:這裡可以找到許多放大圖片用的模型。

2. 如何下載模型
#

通常只需要下載大模型檔即可。格式分為.ckpt.safetensors,後者因不具備執行程式碼的能力因此較前者安全。至於-pruned代表模型有刪減過大小。精度部份下載fp16版本即可。

HuggingFace點儲存庫 → Files and versions,選擇下載副檔名為.ckpt.safetensors的模型。

Civitai則是登入帳號,再點選Download按鈕下載模型。

以Stable Diffusion官方的「Stable Diffusion XL」模型為例,你可以到HuggingFace網站下載。

3. 推薦模型
#

Stable Diffusion的模型太多了,我只能粗略介紹幾個知名的。

最好先了解你下載的模型是基於那一個版本的Stable Diffusion訓練的,例如SD1.5不能跟SDXL混用。版本錯誤的話,在套用LoRA或ControlNet的時候就會出錯。

Stable Diffusion
#

說到萬模型之母,不得不提原始版的「Stable Diffusion」了,簡稱SD,網路上很多模型都基於Stable Diffusion模型訓練而來。

原版模型適合畫真人、動物、自然、科技、建築的圖像,亦學習過歷史上許多畫家的畫風。

2022年發表的Stable Diffusion v1.5,簡稱SD1.5,使用512x512像素的圖片訓練的,因此高於此尺寸的生圖品質會變差。基於此模型訓練的模型都會標注Base Model: SD1.5

2023年發表的Stable Diffusion XL,簡稱SDXL,可用於生成1024x1024的大圖。

Stable Diffusion這時衍生出了SDXL TurboSDXL Lightning這兩個生成速度更快的版本,但是品質較差。後來字節跳動發表了生成速度更快的Hyper-SD模型,品質不賴。所以,有些基於Stable Diffusion訓練的模型會額外提供名字帶有-Hyper-Turbo-Lightning的版本,代表生成速度比較快,能夠用更少的推理步數出圖。

2024年,Stable Diffusion 3.5發表,改善生圖品質,提供Medium、Large、Large Turbo版本。

寫實風Stable Diffusion模型
#

RealVis:Realistic Vision,基於SDXL,寫實風人物與動物模型,融合了許多舊有的寫實模型而來。

LEOSAM’s HelloWorld:基於SDXL,寫實風格的模型。訓練圖片全部使用GPT-4V標注。

Deliberate:基於SD-1.5模型,適合生成精緻寫實風格的人物、動物、自然風景。

動漫風Stable Diffusion模型
#

Illustrious-XL:基於SD XL,OnomAI研發,專門生成高品質動漫圖像的模型。採用更新的Danbooru資料集訓練。

Pony Diffusion:基於SDXL,作者花了大把時間訓練的模型,手動標註圖片讓AI懂得生成高品質圖片,還能依照專用的提示詞控制生成品質。雖然名字叫做彩虹小馬,但用來生成其他動漫人物也是OK的。

Anything 萬象熔爐,基於SDXL。適合畫動漫圖,作者宣稱不需要打一堆提示詞也能出漂亮的圖。

DreamShaper,基於SDXL,生成精細動漫人物與油畫風格的模型。

FLUX
#

Stability AI前員工建立的公司Black Forest Labs所發表的模型,生成圖片品質比Stable Diffusion XL要好,但VRAM要求也相應提高許多。

FLUX分為Pro、Dev、Schnell版,其中可自由使用的版本為Flux.1 Schnell

相關文章


此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。

(留言板載入中)這是Giscus留言板,需要Github帳號才能留言。支援Markdown語法,若要上傳圖片請善用外部圖床。您的留言會在Github Discussions向所有人公開。

Click here to edit your comments.

(留言板載入中)這是Disqus留言板,您可能會看到Disqus強制投放的廣告。為防止垃圾內容,有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。若要上傳圖片請善用外部圖床網站。