我用Intel B580本地部屬29GB的Qwen3.8-27B大模型
我有很長一段時間沒寫長文，最近則在忙安裝本地部屬 LLM ，為何我要用本地的 AI 重要的原因是，我習慣長篇問答，商業的所有 AI 也就是 LLM ，使用一段時間後，注意力會潰散，所以我要用一個本地部屬、能力夠強、能記憶長篇上下文的 AI 。 今年 7 月間，我還在猶豫要買哪個顯卡，沒想到沒多久 nvidia 的顯卡價格暴漲，我找來找去只有 Intel arc B580 還維持原價，於是我在 8 月買了 Intel arc B580 。 我買 B580 的原因是 VRAM 有 12GB 夠大，一堆 AI 說各種模型已經解決了不支援 cuda 的問題了，但實際上問題不少，此是後話。 我挑這個八千多的顯卡看起來不便宜，也當然與亮機卡有差別，但現在在獨顯卡中已經是白菜價。而且只能安裝小的模型，這些小模型水準很差，我跟 AI 討論很久看要如何解決，最後確認我的硬體足以跑精度不錯的大模型 Qwen3.8-27B (Q8_0) 。 我電腦硬體是 AMD 5600 ，系統記憶體有 72GB ，記憶體這麼多，完全是以前記憶體很便宜時擴充的，後來我也拆了另一台桌機的記憶體來裝，這是電腦能跑大模型的主因。其次，我完全不在乎 Qwen3.8-27B (Q8_0) 生成速度有多慢，因為我基本上只是要這個模型解構一些文本，我也要他解構我寫的東西，可以讓我的觀點更堅固，也可以討論一些特殊的問題。 部屬這個 LLM 到電腦是苦難的開始，因為我「問道於盲」，全世界沒有類似我這種配置去跑 Qwen3.8-27B (Q8_0) 的例子，所以當我問 AI 時，腦殘的 google AI 不斷鬼打牆，要我安裝一堆 python 版本，後來我又去問 gemini 、 claude 、 chatgpt ，都反覆繞遠路，都無法解決。 我沒有去看任何 youtube 的安裝部屬 LLM 影片，因為我的顯示卡是小眾的小眾 B580 ，我又懶得看別人努力寫的，何況對我大機率無參考價值，最後我問了 deepseek 。 Deepseek 同樣也是繞遠路，但我怒了，我下達很直接的指令如下： “ 我的電腦配置為 AMD R5 5600 ， intel B580,72GB RAM ，我現在要安裝 WSL2 + Ubuntu 24.04 + llama.cpp Vulkan build 基於 B5...