星方向 AI 學院 – 部落格

Claude、GPT 這類雲端 AI 很強大，但每次呼叫都要付費、資料也得傳到雲端。如果你有一張夠力的顯示卡（例如 RTX 3090），其實可以在自己電腦上直接跑開源模型，完全免費、資料不出門——這正是 Ollama 解決的問題。

為什麼要用 Ollama？

Ollama 是一套讓你在本機（自己的電腦）安裝、執行開源大型語言模型的工具。你不需要懂複雜的機器學習環境設定，一行指令就能把模型跑起來，並且提供一個標準 API，方便串接到你自己的程式或工作流程中。

Ollama 的優點

• 完全免費：模型本身開源、下載使用都不用錢，沒有 API 呼叫費用
• 資料隱私：所有對話都在本機處理，不會傳到雲端伺服器，適合處理公司內部資料或客戶資訊
• 離線可用：只要模型下載好，沒有網路也能使用
• 可自由串接：提供 OpenAI 相容 API，能直接接進 n8n、Dify 等自動化工具
• 模型選擇多：Gemma、Qwen、Llama 等主流開源模型都能下載使用

Ollama 的缺點

• 需要不錯的硬體：模型越大越吃顯卡記憶體（VRAM），沒有獨立顯卡跑起來會很慢
• 能力不如頂尖雲端模型：開源模型在複雜推理、長文本理解上，目前仍落後 Claude、GPT 這類頂級商用模型
• 需要自己維護：更新模型、管理版本都要自己動手，沒有雲端服務的自動優化與客服支援
• 多工處理能力有限：本機硬體資源有限，難以像雲端服務一樣同時處理大量請求

小結：如果你重視資料隱私、想省下 API 費用，或需要離線作業，Ollama 很適合日常測試與內部工具開發；但若任務需要最高品質的推理能力，仍建議搭配 Claude 這類雲端模型。

如何安裝與使用 Ollama

步驟 1：安裝 Ollama

macOS / Linux 用戶在終端機輸入：

curl -fsSL https://ollama.com/install.sh | sh

Windows 用戶則直接到官網下載安裝檔：https://ollama.com/download

步驟 2：下載並執行模型

ollama pull gemma3:27b
ollama run gemma3:27b

以 RTX 3090（24GB VRAM）來說，7B~14B 模型可以完全塞進顯存、跑得順暢；27B~32B 模型（建議選 Q4_K_M 量化版）也能跑，但速度會稍慢。

步驟 3：用 API 呼叫模型

Ollama 啟動後會在本機開一個 API 服務，網址是 http://localhost:11434。

Python 範例：

import requests

response = requests.post(
    "http://localhost:11434/api/generate",
    json={"model": "gemma3:27b", "prompt": "幫我寫一段說明", "stream": False}
)
print(response.json()["response"])

如果你習慣用 OpenAI SDK 寫程式，Ollama 也支援相容格式，只要把 base_url 換成 http://localhost:11434/v1 即可，幾乎不用改任何程式碼。

步驟 4：接進自動化工具

n8n、Dify 這類平台的模型設定選「OpenAI 相容 / Custom Endpoint」，Base URL 填上面那組網址，就能把本機模型串進你的工作流程。

結語

Ollama 讓「免費、私密、離線」的 AI 應用變得可行，特別適合開發測試、內部工具、或不想把敏感資料送上雲端的場景。如果你正在規劃企業 AI 導入，歡迎參加星方向數位學院 8/15 高雄的免費企業講座，一起聊聊怎麼把 AI 工具真正落地到日常工作中。