強大的修圖界面 + AI圖片生成 + 自由軟體,至臻完美。
Krita AI (krita-ai-diffusion) 是一款將AI生圖功能整合進Krita的第三方外掛,背後依賴ComfyUI + Stable Diffuision模型生圖。
為何要用Krita搭配AI生圖呢?Krita本身是自由免費的軟體,擁有強大的繪圖與影像處理界面,方便處理各種圖片。加上AI生圖功能就更強了~你可以把AI生圖無縫整合到你的工作流程。
只需要安裝好ComfyUI服務,你就能直接在Krita的界面點選AI生圖,不需要在ComfyUI拉流程圖。
有了krita-ai-diffusion外掛,你就能邊繪圖邊使用AI生圖,完善作品,例如用「局部重繪」給選取區填色;或是利用Upscaler放大圖片。
參考以下動圖
你還可以搭配ControlNet、IP-Adapter,透過火柴人生成完整人物的AI繪圖
即使只有簡單的線條,也能讓AI幫你完稿。
由於Krita內建修圖功能,所以你也可以把這個外掛拿來輔助修圖,例如生成圖片背景、擴張圖片,搭配遮罩使用,達到類似Photoshop「AI生成填色」的效果。
1. Krita AI硬體需求#
krita-ai-diffusion是Acly開發的第三方外掛程式,原始碼位於 Github,支援本機與雲端運算生圖,Linux/Windows/macOS皆可安裝。
如果電腦有VRAM 6GB以上的強力Nvidia GPU,並且硬碟有10GB以上剩餘空間,你可以自架ComfyUI,這樣所有的運算都是離線進行,使用上沒有任何限制。詳見 ComfyUI安裝教學。
krita-ai-diffusion外掛不支援AUTOMATIC1111的Stable Diffusion WebUI。
電腦硬體不行的,可以改用外掛開發者提供的雲端計算服務 Interstice,由雲端算圖再回傳,這樣就沒有限定電腦規格。不過免費額度只能用300次,用完你就得花錢買額度了。
2. 安裝Krita AI外掛#
按照你的系統安裝 最新版Krita,例如Linux下載Flatpak版,Windows下載exe安裝。
如果你使用Linux或macOS系統,必須安裝python-venv
sudo apt install python3-venv
至krita-ai-diffusion的 Github下載zip檔
開啟Krita,點選工具 → 指令稿 → 自檔案匯入Python外掛程式,選取剛剛下載的zip檔。
(手動安裝方法:解壓縮krita-ai-diffusion的zip檔案,將目錄下的所有檔案放到Krita程式資料目錄/pykrita/
)
依照指示重新啟動Krita
新建影像或開啟舊檔
點選設定 → 工具面板 → 勾選AI Image Generation
這樣就會在畫面右側顯示Krita AI的設定面板了。
3. 連接AI生圖服務#
此處介紹三種設定方式,使用開發者提供的Interstice雲端運算服務應該是最簡單的作法。不過如果你已經會用ComfyUI,那麼連接到自架的ComfyUI伺服器也是可以的。
雲端運算服務#
開啟Connection頁面,勾選Online Service,點選登入Interstice帳號。每個帳號會有300次使用額度。
本機ComfyUI伺服器#
Local Managed Server選項是讓Krtia Diffusion幫你自動裝好ComfyUI以及相應的擴充功能。約會佔用10GB左右硬碟空間。
開啟Connection頁面,點選Install下載必要檔案,並把下面打勾的全部下載。
自訂ComfyUI伺服器#
Custom Server是連線到現有的ComfyUI伺服器。
在你的電腦安裝 ComfyUI。
再參考 Wiki了解Krtia AI需要哪些節點和模型才能運作。
你可以使用開發者提供的Python指令稿快速下載全部的模型到ComfyUI的models目錄。例如Linux系統Flatpak版的Krtia用以下指令執行指令稿,自動下載所有模型:
# 進入Krita容器內部,找到Krita AI所在目錄
flatpak run --command=/bin/bash org.kde.krit
cd /var/data/krita/pykrita/ai_diffusion
# 安裝Python套件
python3 -m ensurepip
python3 -m pip install aiohttp tqdm
# 下載模型到指定目錄
python3 download_models.py --all "ComfyUI安裝目錄"
設定好之後請在Connection頁面,點選Custom Server,並輸入ComfyUI伺服器的IP,確認綠字Connected才算成功。
4. 設定AI生圖風格設定檔#
首先在Kirta AI的Styles頁面指定要使用的大模型、取樣器、影像風格等。
Krita AI預設使用的大模型是這四個:Realistic Vision、DreamShaper、Juggernaut XL、ZavyChroma XL。不過你有自行下載大模型的話也是可以選用其他的。
例如我這裡設定檔選用數位插畫(Digital Artwork),大模型使用自行下載的Anything,VAE使用大模型內建的,取樣器使用較為快速的UniPC。
5. Krita AI使用方式#
Krita AI處理是以圖層為單位的,每次處理的都是目前選定的圖層對象。
放大圖片#
點選Krita AI面板,切換到Upscale頁面。
於Krita AI的面板選取Upscale,選取要放大的模型,再設定倍率。Refine Image為嘗試使用大模型來強化圖像,避免模糊。
點選Upscale後,選取的圖層解析度就會整張放大。
Krita AI預設下載的4x_NMKD-Superscale
模型只適合放大真實圖片。如果要放大插畫圖片,推薦另外下載Anime6B的模型,並放到ComfyUI的models/upscale_models
目錄。
局部重繪#
局部重繪(Inpaint)可以參考目前圖片的內容生成新圖片,或者是參考周遭的像素填充內容。
使用Krtia選取工具畫出選取區。如果不選就是處理整個圖層。生成圖片的長寬由你的選取區決定。
再於Krita AI的面板,切換到Generate頁面,選取風格設定檔,填入提示詞,設定要生成的內容。下方的強度(Strength)為參考原圖的程度,數值越高,AI生成的內容與原圖越不相關。
這裡有批次(Batch)生成選項,由於AI生成可能無法一次就得到最好結果,你可以在這裡設定多生成幾張,之後再挑滿意的結果。
點Generate或Refine按鈕,等待ComfyUI計算完成,就會出現AI生成的圖層了。剛生成的圖片是預覽(Preview)狀態,你需要按套用(Apply)該圖層才可繼續編輯。
Krita AI還有「向外擴充」模式:如果你的選取區域超過圖層,則生圖按鈕會變成延伸(Expand),也就是延伸現有圖層來生圖。
如果你不想等生成,Krita AI提供即時生圖模式(Live),也就是選取區(或筆刷)畫到哪,就即時用較快速的LCM取樣器生一張圖預覽,不過這非常吃GPU效能。
ControlNet生成#
ControlNet可依照線稿或簡單的人物線條,指示AI生成更精準的內容。
點選Add Control Layer,選取要使用的ControlNet模型,例如Line Art就是參考目前圖層的線條生成內容。
旁邊選取要參考的圖層
輸入提示詞,點選生成。選取喜歡的結果,再按下套用。
若要使用骨架生成圖片:
點選Generate Control Layer from Current Image,讓AI參考圖片人物動作生成骨架
如果你想手動拉骨架,請使用 PoseX網頁版(不依賴SD WebUI),輸出為PNG,再放到Krita圖層處理。
然後再用這個骨架去生新的圖片。Add Control Layer選擇使用Pose模型。