快轉到主要內容

離線版ChatGPT安裝方法!在個人電腦跑AI大型語言模型的開源軟體列表

分類   開源AI應用 大型語言模型 Self-hosting自架
標籤   Large Language Model ChatGPT LLaMA AI Free Software
🗓️ 民國113年 甲辰年
✍ 切換正體/簡體字
目錄

Running free and open source large language models locally on your PC.

這是「開源大型語言模型」與「跑大型語言模型的開源軟體」列表。

本文Ivon解說如何在您的個人電腦跑類似ChatGPT的大型語言模型。免費、開源、無需網路。

1. 大型語言模型是什麼?為什麼要離線跑?
#

大型語言模型(Large Language Model,簡稱LLM)是一種生成式AI的技術,最知名的應用莫過於OpenAI的ChatGPT了。2022年,隨著ChatGPT的出現,讓人們了解到通用大型語言模型的應用潛力。

不過ChatGPT有一個很大缺點,就是它跑在OpenAI的雲端伺服器,必須連上網路才可以使用。且ChatGPT提示詞會受到OpenAI限制,導致不能肆意妄為,有些甚至要催眠一下才會聽話。此外,對話資料由OpenAI掌控,對注重隱私的用戶來說肯定是不合適的。

還有,ChatGPT是封閉原始碼的軟體,沒有人知道背後如何運作,改進方法也只有OpenAI自己知道。


那麼有沒有可能在個人電腦跑大型語言模型呢?

有的,ChatGPT的替代品很多的,但這篇文章Ivon要講的不是其他公司提供的線上AI服務,而是可以真正離線執行的大型語言模型。

相較於ChatGPT跑在雲端,跑在個人電腦的大型語言模型,我們會稱之為本機語言模型(Local LLM)。跑在本機的好處不言而喻,除了保障隱私外,你還可以自由的調整AI,讓它發揮你想要的功能。如果採用的是自由開放原始碼的方案,有能力的人更是能著手改進相關程式。

2023年Meta釋出了開放原始碼的「LLaMA」模型,提供了對應各種等級硬體的模型,模型後面的「B」代表訓練資料數量,LLaMA的訓練資料量從7B、14B、40B、到65B都有。65B以上的模型是給伺服器使用的,讓他們可以跟ChatGPT競爭。至於最小的7B適合在個人電腦跑,中階以上的CPU就夠跑了,甚至連GPU都不需要。

在LLaMA釋出之後,基於LLaMA訓練的模型如雨後春筍出現,人們餵給LLaMA各式各樣的資料進行微調(finetune),強化LLaMA的聊天能力。比方說:Alpaca、Vicuna、WizardLM、Open Assistant等等。

甚至有基於LLaMA的模型支援中文對答了,比如台灣聯發科的Breeze-7B。

LLaMA一出,其他科技公司陸續開源了自家訓練的語言模型,例如2023年的Mistral AI,還有Google於2024年釋出的Gemma。這些模型給了人們更多選擇,讓使用者可以自由下載到個人電腦使用。未來應該還會有更多模型出現吧。

咦?可是這些模型都不是ChatGPT啊?是的,Open AI自從GPT 3以後就沒有開源自家模型了,這篇文章的標題「離線版ChatGPT」是一種方便理解的比喻而已。這些開源模型都不是原版的ChatGPT,只是各家廠商釋出的開源模型,功能類似ChatGPT。

能夠在個人電腦跑的主要為訓練資料2B、3B、4B、7B、13B、30B的開源模型,儘管這些模型回答品質差ChatGPT一截,但是在做特定方面任務表現就已經很不錯了,比如寫文案、整理重點、翻譯文字、生成一小段程式碼,所以這些語言模型已經逐漸具備實用價值。隨著時代演進,開源模型的性能會逐步追上ChatGPT。

有了這麼多開源模型,要如何在個人電腦使用呢?大型語言模型只是模型檔案,你需要開發者撰寫軟體方能與模型互動,這篇文章下面會介紹的,就是著名的開源大型語言模型,以及操作大型語言模型的軟體。

2. 著名的開源大型語言模型列表
#

這裡列出著名開源的大型語言模型。你必須先選一款模型,再去看要用哪一款軟體與其互動。

大型語言模型日新月異,這個列表我會不定時參照 Reddit r/Localllama的資訊更新推薦的模型,並務求耗費資源最小,不用太高級的硬體也可以跑。列表越上面的模型越推薦使用。

那如何下載模型呢?模型檔案多半可以在 HugginFace下載。如果模型為.gguf格式且經過量化,建議選擇Q5_K_M的版本,兼顧資源佔用與性能。

由於開源模型在釋出後多半會有人製作修改版,比如將其調整為*-Instruct版本以接受複雜指令,或是訓練成*-Uncensored以求去除道德限制。因此我沒辦法將變種全部列出來,只能盡量按照「譜系」去分,並從中挑出評價比較好的模型。

LLaMA系
#

  • TAIDE-LX-7B:台灣國科會發表的繁體中文模型,基於LLaMA 2
  • LLaMA 3 8B
  • WizardLM 7B

Mistral系
#

  • Mistral 7B
  • Breeze 7B:聯發科發表的繁體中文模型,基於Mistral 7B,支援處理64k token
  • Mixtral 8x7B

Gemma系
#

  • Google Gemma 7B

小模型
#

訓練參數低於7B以下的模型,耗用資源更少,專為行動裝置和硬體較弱的裝置設計。

  • Microsoft Phi-3 Mini

其他
#

  • LLaVA 7B:圖像辨識的多模態模型
  • LAION Open Assistant Falcon 7B
  • Huggingface BLOOM 7B

3. 跑開源大型語言模型的軟體列表
#

大型語言模型不能直接使用,還需要有人開發程式方能與大型語言模型對話。

這裡列出的軟體都支援Linux、Windows、macOS系統,且都是免費、開放原始碼、無需網路、容易擴充的方案。

Jan AI
#

一體化的解決方案,設計理念很像閉源的LM Studio,主打開箱即用。

透過桌面應用程式即可完成下載語言模型、管理對話、處理文件等應用,無需打指令。

支援串接線上ChatGPT API,或者單純跑離線語言模型。

官網下載: Jan - Turn your computer into an AI computer

Ollama + Open WebUI
#

「Ollama」提供簡單卻又容易擴充的模組化設計,提供API,能夠與許多軟體結合使用,適合部署到個人伺服器。

Ollama既能當語言模型的前端也能當後端。Open WebUI是為前端,支援RAG檢索增強生成,可離線處理PDF、網頁搜尋、辨識圖像。

使用方法看 這篇

Text Generation WebUI
#

oobabooga開發的「Text Generation WebUI」提供網頁界面,支援載入多個開源語言模型、擴充功能、RAG檢索增強生成。它提供API讓其他軟體可以與其整合。

前端用Gradio寫的,操作界面很像Stable Diffusion WebUI。需要花點時間調整系統參數。

既能當語言模型的前端也能當後端。

使用方法看 這篇

SillyTavern
#

專為角色扮演設計的語言模型軟體,內建角色卡機制、人物表情、語音合成系統,輕鬆進入AI聊天模式。支援RAG檢索增強生成。

SillyTavern只是個前端界面,需要搭配KobolAI或ChatGPT做後端服務才可以跑起來。

使用教學: SillyTavern安裝

LangChain
#

專業的大型語言模型Pyhton框架,模組化設計,自由度極高,可以任意搭配各種語言模型與相關技術,建立AI應用程式。

上手有一定難度。

官網下載: LangChain: Build context-aware reasoning applications

相關文章

Meta的LLaMA開源大型語言模型與相關軟體介紹
分類   開源AI應用 大型語言模型
標籤   LLaMA AI Large Language Model ChatGPT
ShellGPT,Linux命令行整合ChatGPT,讓AI輔助你寫程式
分類   開源AI應用 大型語言模型
標籤   LLaMA AI Linux ChatGPT
Text Generation WebUI:如何下載大型語言模型(LLM)
分類   開源AI應用 大型語言模型
標籤   LLaMA AI Large Language Model

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur或Postimages。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。若要上傳圖片請貼Imgur或Postimages。