存檔點模型(checkpoint,或稱大模型)是AI生圖的重要依據,生圖用的模型可以安裝很多個。
此處分享的是「Stable Diffusion」和以此為基礎延伸的模型。
1. 模型下載網站#
目前找Stable Diffusion的網站有:
HuggingFace:中文俗稱抱臉笑,可以說是人工智慧界的Github。Stable Diffusion背後用到的很多AI工具,如Transformer、Tokenizers、Datasets都他們開發的,網站上也有豐富的教學文檔。
Civitai:專門用來分享Stable Diffusion相關的資源,特色是模型都有示範縮圖,用戶也可以分享彼此使用的提示詞,以及分享作品。
OpenModelDB:這裡可以找到許多放大圖片用的模型。
2. 如何下載模型#
通常只需要下載大模型檔即可。格式分為.ckpt
或.safetensors
,後者因不具備執行程式碼的能力因此較前者安全。至於-pruned
代表模型有刪減過大小。精度部份下載fp16
版本即可。
HuggingFace點儲存庫 → Files and versions,選擇下載副檔名為.ckpt
或.safetensors
的模型。
Civitai則是登入帳號,再點選Download按鈕下載模型。
以Stable Diffusion官方的「Stable Diffusion XL」模型為例,你可以到 HuggingFace網站下載。
3. 推薦模型#
Stable Diffusion#
說到萬模型之母,不得不提原始版的Stable Diffusion了,簡稱SD,是CompVis與合作團隊最初發表的模型,不斷更新中。
網路上很多模型都基於Stable Diffusion模型訓練而來。原版模型適合畫真人、動物、自然、科技、建築的圖像,亦學習過歷史上許多畫家的畫風。
2022年發表的 Stable Diffusion v1.5,簡稱SD-1.5,使用512x512像素的圖片訓練的,因此高於此尺寸的生圖品質會變差。
2023年發表的 Stable Diffusion XL,簡稱SDXL,可用於生成1024x1024的大圖。後來還衍生出了 SDXL Turbo、 SDXL-Lightning等生成速度更快的版本。
至於Stable Diffusion 3因為授權條款因素不建議使用。
寫實風Stable Diffusion模型#
Chilloutmix:基於SD-1.5模型,寫實風格的模型,適合畫出2.5次元,融合日韓真人與動漫風格的圖像。
Deliberate:基於SD-1.5模型,適合生成精緻寫實風格的人物、動物、自然風景。
RealVisXL:基於SDXL,寫實風人物與動物模型。
動漫風Stable Diffusion模型#
Anything萬象熔爐,基於SDXL。適合畫動漫圖,作者宣稱不需要打一堆提示詞也能出漂亮的圖。
Pony Diffusion:基於SDXL,作者花了大把時間訓練的模型,手動標註圖片讓AI懂得生成高品質圖片,還能依照提示詞控制生成品質。雖然名字叫做彩虹小馬,但用來生成其他動漫人物也是OK的。
DreamShaper,基於SDXL,生成精細動漫人物與油畫風格的模型。
FLUX#
Stability AI前員工建立的公司Black Forest Labs所發表的模型,生成圖片品質比Stable Diffusion XL要好,但VRAM要求也相應提高許多。
FLUX分為Pro、Dev、Schnell版,其中可自由免費下載的版本為 Flux.1 Schnell