隨著開源大型語言模型的快速發展,越來越多使用者開始嘗試在自己的電腦上運行這些模型…從安裝、選模到進階調參,這篇指南帶你一步步把開源 LLM 跑在自己的 Mac 上,資料全程留在本機。
安裝與選模
Ollama 的安裝流程極簡,一行指令即可完成;選模時可依記憶體大小挑選 7B、13B 或更大的開源模型。
初次執行時 Ollama 會自動下載權重,建議搭配量化版本以換取速度與品質的平衡。
「本地模型最迷人的地方,是你可以真正擁有它——離線、免費、隱私。」
—— 一位開源社群貢獻者
進階技巧
透過自訂 Modelfile 可以調整系統提示與參數;搭配 API 模式,則能無縫接入自己的小工具或筆記軟體。
若追求更高效能,可進一步開啟 GPU 加速或嘗試多模型並行載入的實驗性功能。