Running free and open source large language models locally on your PC.
這是「開源大型語言模型」與「跑大型語言模型的開源軟體」列表。
本文Ivon解說如何在您的個人電腦跑類似ChatGPT的大型語言模型。免費、開源、無需網路。
1. 大型語言模型是什麼？為什麼要離線跑？#
大型語言模型（Large Language Model，簡稱LLM）是一種生成式AI的技術，最知名的應用莫過於OpenAI的ChatGPT了。2022年，隨著ChatGPT的出現，讓人們了解到通用大型語言模型的應用潛力。
不過ChatGPT有一個很大缺點，就是它跑在OpenAI的雲端伺服器，必須連上網路才可以使用。且ChatGPT提示詞會受到OpenAI限制，導致不能肆意妄為，有些甚至要催眠一下才會聽話。此外，對話資料由OpenAI掌控，對注重隱私的用戶來說肯定是不合適的。
還有，ChatGPT是封閉原始碼的軟體，沒有人知道背後如何運作，改進方法也只有OpenAI自己知道。
那麼有沒有可能在個人電腦跑大型語言模型呢？
有的，ChatGPT的替代品很多的，但這篇文章Ivon要講的不是其他公司提供的線上AI服務，而是可以真正離線執行的大型語言模型。
相較於ChatGPT跑在雲端，跑在個人電腦的大型語言模型，我們會稱之為本機語言模型（Local LLM）。跑在本機的好處不言而喻，除了保障隱私外，你還可以自由的調整AI，讓它發揮你想要的功能。如果採用的是自由開放原始碼的方案，有能力的人更是能著手改進相關程式。
2023年Meta釋出了開放原始碼的「LLaMA」模型，提供了對應各種等級硬體的模型，模型後面的「B」代表訓練資料數量，LLaMA的訓練資料量從7B、14B、40B、到65B都有。65B以上的模型是給伺服器使用的，讓他們可以跟ChatGPT競爭。至於最小的7B適合在個人電腦跑，中階以上的CPU就夠跑了，甚至連GPU都不需要。
在LLaMA釋出之後，基於LLaMA訓練的模型如雨後春筍出現，人們餵給LLaMA各式各樣的資料進行微調(finetune)，強化LLaMA的聊天能力。比方說：Alpaca、Vicuna、WizardLM、Open Assistant等等。
甚至有基於LLaMA的模型支援中文對答了，比如台灣聯發科的Breeze-7B。
LLaMA一出，其他科技公司陸續開源了自家訓練的語言模型，例如2023年的Mistral AI，還有Google於2024年釋出的Gemma。這些模型給了人們更多選擇，讓使用者可以自由下載到個人電腦使用。未來應該還會有更多模型出現吧。
咦？可是這些模型都不是ChatGPT啊？是的，Open AI自從GPT 3以後就沒有開源自家模型了，這篇文章的標題「離線版ChatGPT」是一種方便理解的比喻而已。這些開源模型都不是原版的ChatGPT，只是各家廠商釋出的開源模型，功能類似ChatGPT。
能夠在個人電腦跑的主要為訓練資料2B、3B、4B、7B、13B、30B的開源模型，儘管這些模型回答品質差ChatGPT一截，但是在做特定方面任務表現就已經很不錯了，比如寫文案、整理重點、翻譯文字、生成一小段程式碼，所以這些語言模型已經逐漸具備實用價值。隨著時代演進，開源模型的性能會逐步追上ChatGPT。
有了這麼多開源模型，要如何在個人電腦使用呢？大型語言模型只是模型檔案，你需要開發者撰寫軟體方能與模型互動，這篇文章下面會介紹的，就是著名的開源大型語言模型，以及操作大型語言模型的軟體。
2. 著名的開源大型語言模型列表#
這裡列出著名開源的大型語言模型。你必須先選一款模型，再去看要用哪一款軟體與其互動。
大型語言模型日新月異，這個列表我會不定時參照Reddit r/Localllama的資訊更新推薦的模型，並務求耗費資源最小，不用太高級的硬體也可以跑。列表越上面的模型越推薦使用。
那如何下載模型呢？模型檔案多半可以在 HugginFace下載。如果模型為.gguf格式且經過量化，建議選擇Q5_K_M的版本，兼顧資源佔用與性能。
由於開源模型在釋出後多半會有人製作修改版，比如將其調整為*-Instruct版本以接受複雜指令，或是訓練成*-Uncensored以求去除道德限制。因此我沒辦法將變種全部列出來，只能盡量按照「譜系」去分，並從中挑出評價比較好的模型。
LLaMA系#
- TAIDE-LX-7B：台灣國科會發表的繁體中文模型，基於LLaMA 2
- LLaMA 3 8B
- WizardLM 7B
Mistral系#
- Mistral 7B
- Breeze 7B：聯發科發表的繁體中文模型，基於Mistral 7B，支援處理64k token
- Mixtral 8x7B
Gemma系#
- Google Gemma 7B
小模型#
訓練參數低於7B以下的模型，耗用資源更少，專為行動裝置和硬體較弱的裝置設計。
- Microsoft Phi-3 Mini
其他#
- LLaVA 7B：圖像辨識的多模態模型
- LAION Open Assistant Falcon 7B
- Huggingface BLOOM 7B
3. 跑開源大型語言模型的軟體列表#
大型語言模型不能直接使用，還需要有人開發程式方能與大型語言模型對話。
這裡列出的軟體都支援Linux、Windows、macOS系統，且都是免費、開放原始碼、無需網路、容易擴充的方案。
Jan AI#
一體化的解決方案，設計理念很像閉源的LM Studio，主打開箱即用。
透過桌面應用程式即可完成下載語言模型、管理對話、處理文件等應用，無需打指令。
支援串接線上ChatGPT API，或者單純跑離線語言模型。
官網下載： Jan - Turn your computer into an AI computer
Ollama ＋ Open WebUI#
「Ollama」提供簡單卻又容易擴充的模組化設計，提供API，能夠與許多軟體結合使用，適合部署到個人伺服器。
Ollama既能當語言模型的前端也能當後端。Open WebUI是為前端，支援RAG檢索增強生成，可離線處理PDF、網頁搜尋、辨識圖像。
使用方法看 這篇。
Text Generation WebUI#
oobabooga開發的「Text Generation WebUI」提供網頁界面，支援載入多個開源語言模型、擴充功能、RAG檢索增強生成。它提供API讓其他軟體可以與其整合。
前端用Gradio寫的，操作界面很像Stable Diffusion WebUI。需要花點時間調整系統參數。
既能當語言模型的前端也能當後端。
使用方法看 這篇。
SillyTavern#
專為角色扮演設計的語言模型軟體，內建角色卡機制、人物表情、語音合成系統，輕鬆進入AI聊天模式。支援RAG檢索增強生成。
SillyTavern只是個前端界面，需要搭配KobolAI或ChatGPT做後端服務才可以跑起來。
使用教學： SillyTavern安裝
LangChain#
專業的大型語言模型Pyhton框架，模組化設計，自由度極高，可以任意搭配各種語言模型與相關技術，建立AI應用程式。
上手有一定難度。