快轉到主要內容

Krita搭配ComfyUI AI生圖,krita-ai-diffusion外掛安裝教學

分類   開源AI應用 AI繪圖教學
標籤   ComfyUI Krita Stable Diffusion Image Inpainting ControlNet
🗓️ 民國113年 甲辰年
✍ 切換正體/簡體字
目錄

強大的修圖界面 + AI圖片生成 + 自由軟體,至臻完美。

Krita AI (krita-ai-diffusion) 是一款將AI生圖功能整合進Krita的第三方外掛,背後依賴ComfyUI + Stable Diffuision模型生圖。

為何要用Krita搭配AI生圖呢?Krita本身是自由免費的軟體,擁有強大的繪圖與影像處理界面,方便處理各種圖片。加上AI生圖功能就更強了~你可以把AI生圖無縫整合到你的工作流程。

只需要安裝好ComfyUI服務,你就能直接在Krita的界面點選AI生圖,不需要在ComfyUI拉流程圖。

有了krita-ai-diffusion外掛,你就能邊繪圖邊使用AI生圖,完善作品,例如用「局部重繪」給選取區填色;或是利用Upscaler放大圖片。

參考以下動圖

你還可以搭配ControlNet、IP-Adapter,透過火柴人生成完整人物的AI繪圖

即使只有簡單的線條,也能讓AI幫你完稿。

由於Krita內建修圖功能,所以你也可以把這個外掛拿來輔助修圖,例如生成圖片背景、擴張圖片,搭配遮罩使用,達到類似Photoshop「AI生成填色」的效果。

1. Krita AI硬體需求
#

krita-ai-diffusion是Acly開發的第三方外掛程式,原始碼位於 Github,支援本機與雲端運算生圖,Linux/Windows/macOS皆可安裝。

如果電腦有VRAM 6GB以上的強力Nvidia GPU,並且硬碟有10GB以上剩餘空間,你可以自架ComfyUI,這樣所有的運算都是離線進行,使用上沒有任何限制。詳見 ComfyUI安裝教學

krita-ai-diffusion外掛不支援AUTOMATIC1111的Stable Diffusion WebUI。


電腦硬體不行的,可以改用外掛開發者提供的雲端計算服務 Interstice,由雲端算圖再回傳,這樣就沒有限定電腦規格。不過免費額度只能用300次,用完你就得花錢買額度了。

2. 安裝Krita AI外掛
#

  1. 按照你的系統安裝 最新版Krita,例如Linux下載Flatpak版,Windows下載exe安裝。

  2. 如果你使用Linux或macOS系統,必須安裝python-venv

sudo apt install python3-venv
  1. 至krita-ai-diffusion的 Github下載zip檔

  2. 開啟Krita,點選工具 → 指令稿 → 自檔案匯入Python外掛程式,選取剛剛下載的zip檔。

(手動安裝方法:解壓縮krita-ai-diffusion的zip檔案,將目錄下的所有檔案放到Krita程式資料目錄/pykrita/

  1. 依照指示重新啟動Krita

  2. 新建影像或開啟舊檔

  3. 點選設定 → 工具面板 → 勾選AI Image Generation

  4. 這樣就會在畫面右側顯示Krita AI的設定面板了。

3. 連接AI生圖服務
#

此處介紹三種設定方式,使用開發者提供的Interstice雲端運算服務應該是最簡單的作法。不過如果你已經會用ComfyUI,那麼連接到自架的ComfyUI伺服器也是可以的。

雲端運算服務
#

開啟Connection頁面,勾選Online Service,點選登入Interstice帳號。每個帳號會有300次使用額度。

本機ComfyUI伺服器
#

Local Managed Server選項是讓Krtia Diffusion幫你自動裝好ComfyUI以及相應的擴充功能。約會佔用10GB左右硬碟空間。

開啟Connection頁面,點選Install下載必要檔案,並把下面打勾的全部下載。

自訂ComfyUI伺服器
#

Custom Server是連線到現有的ComfyUI伺服器。

在你的電腦安裝 ComfyUI

再參考 Wiki了解Krtia AI需要哪些節點和模型才能運作。

你可以使用開發者提供的Python指令稿快速下載全部的模型到ComfyUI的models目錄。例如Linux系統Flatpak版的Krtia用以下指令執行指令稿,自動下載所有模型:

# 進入Krita容器內部,找到Krita AI所在目錄
flatpak run --command=/bin/bash org.kde.krit
cd /var/data/krita/pykrita/ai_diffusion

# 安裝Python套件
python3 -m ensurepip
python3 -m pip install aiohttp tqdm

# 下載模型到指定目錄
python3 download_models.py --all "ComfyUI安裝目錄"

設定好之後請在Connection頁面,點選Custom Server,並輸入ComfyUI伺服器的IP,確認綠字Connected才算成功。

4. 設定AI生圖風格設定檔
#

首先在Kirta AI的Styles頁面指定要使用的大模型、取樣器、影像風格等。

Krita AI預設使用的大模型是這四個:Realistic Vision、DreamShaper、Juggernaut XL、ZavyChroma XL。不過你有自行下載大模型的話也是可以選用其他的。

例如我這裡設定檔選用數位插畫(Digital Artwork),大模型使用自行下載的Anything,VAE使用大模型內建的,取樣器使用較為快速的UniPC。

5. Krita AI使用方式
#

Krita AI處理是以圖層為單位的,每次處理的都是目前選定的圖層對象。

放大圖片
#

點選Krita AI面板,切換到Upscale頁面。

  1. 於Krita AI的面板選取Upscale,選取要放大的模型,再設定倍率。Refine Image為嘗試使用大模型來強化圖像,避免模糊。

  2. 點選Upscale後,選取的圖層解析度就會整張放大。

Krita AI預設下載的4x_NMKD-Superscale模型只適合放大真實圖片。如果要放大插畫圖片,推薦另外下載Anime6B的模型,並放到ComfyUI的models/upscale_models目錄。

局部重繪
#

局部重繪(Inpaint)可以參考目前圖片的內容生成新圖片,或者是參考周遭的像素填充內容。

  1. 使用Krtia選取工具畫出選取區。如果不選就是處理整個圖層。生成圖片的長寬由你的選取區決定。

  2. 再於Krita AI的面板,切換到Generate頁面,選取風格設定檔,填入提示詞,設定要生成的內容。下方的強度(Strength)為參考原圖的程度,數值越高,AI生成的內容與原圖越不相關。

  3. 這裡有批次(Batch)生成選項,由於AI生成可能無法一次就得到最好結果,你可以在這裡設定多生成幾張,之後再挑滿意的結果。

  4. 點Generate或Refine按鈕,等待ComfyUI計算完成,就會出現AI生成的圖層了。剛生成的圖片是預覽(Preview)狀態,你需要按套用(Apply)該圖層才可繼續編輯。

Krita AI還有「向外擴充」模式:如果你的選取區域超過圖層,則生圖按鈕會變成延伸(Expand),也就是延伸現有圖層來生圖。

如果你不想等生成,Krita AI提供即時生圖模式(Live),也就是選取區(或筆刷)畫到哪,就即時用較快速的LCM取樣器生一張圖預覽,不過這非常吃GPU效能。

ControlNet生成
#

ControlNet可依照線稿或簡單的人物線條,指示AI生成更精準的內容。

  1. 點選Add Control Layer,選取要使用的ControlNet模型,例如Line Art就是參考目前圖層的線條生成內容。

  2. 旁邊選取要參考的圖層

  3. 輸入提示詞,點選生成。選取喜歡的結果,再按下套用。


若要使用骨架生成圖片:

  1. 點選Generate Control Layer from Current Image,讓AI參考圖片人物動作生成骨架

  2. 如果你想手動拉骨架,請使用 PoseX網頁版(不依賴SD WebUI),輸出為PNG,再放到Krita圖層處理。

  3. 然後再用這個骨架去生新的圖片。Add Control Layer選擇使用Pose模型。

相關文章

AI Horde:免費線上AI生圖與文字生成服務的衆籌網站
分類   開源AI應用 AI繪圖教學
標籤   Stable Diffusion LLaMA AI
auto-sd-paint-ext,Stable Diffusion WebUI整合繪圖軟體Krita
分類   開源AI應用 AI繪圖教學
標籤   Stable Diffusion WebUI Krita
ControlNet 讓AI按照骨架動作繪圖!Stable Diffusion WebUI擴充功能使用教學
分類   開源AI應用 AI繪圖教學
標籤   ControlNet Stable Diffusion WebUI Depth Estimation Object Detection

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur或Postimages。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。為防止垃圾內容,有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。若要上傳圖片請善用圖床網站。