Local LLM：它對私密 AI 日記到底意味著什麼

local LLM 是什麼意思？

local LLM 是運行在你控制的硬體上的語言模型，而不是雲端 API。這個硬體可以是筆電、家用伺服器、工作站，有時也可以是手機本身。

使用者搜尋 llm local、locally hosted LLM 或 LLM locally，通常是為了隱私、更低長期成本，或不想被單一 AI 提供商鎖定。

local LLM 不等於天然更好。它只是把責任從 provider 轉給你：模型、速度、記憶體、更新和網路存取都要自己處理。

本地優先 app 和 local LLM 不是一回事

本地優先 app 把主要資料存在裝置上。local LLM 則是把模型推理放在你控制的硬體上。兩者可以同時存在，也可以只有其中一個。

Memex 的記錄、卡片和知識預設本地優先。AI 處理取決於你選擇的模型路徑：雲模型、內建模型選項，或本地模型路由。

如果隱私要求最高，最強組合是 local-first storage 加 local LLM。

download LLM 不只是下載一個檔案

download LLM 聽起來簡單，但模型檔案只是其中一部分。你還需要執行環境、足夠記憶體，以及 app 能存取的 API endpoint。

對多數 Memex 使用者來說，實用路線是 Ollama：在電腦或伺服器上執行 Ollama，下載模型，再把 Memex 指向本地 endpoint。

這帶來控制權，也帶來摩擦：本地模型可能更慢，複雜多模態記錄的準確度更低，維護成本也更高。

Choosing the right LLM for Memex explains when Ollama, Gemini, Claude, OpenAI, and other providers fit different tasks.

什麼時候 local LLM 適合日記？

日記包含極私密的資料：關係、健康、工作顧慮、私人計畫、照片、語音和不會公開說出的想法。

當記錄足夠敏感、不希望 prompt 離開本地網路時，local LLM 最有價值。

• 私密反思、類似療癒記錄、健康記錄。
• 不應離開本地環境的工作筆記。
• 長期大量使用時想控制 API 成本。
• 離線或弱網場景。
• 願意執行本地服務的技術使用者。

什麼時候雲模型仍然更好？

很多時候雲模型仍然更好：更容易開始，通常更快，對圖片和長上下文更強，也不需要本地機器持續在線。

照片很多、insight 複雜、或想低摩擦開始時，Gemini、Claude、OpenAI 等雲模型可能效果更好。關鍵不是永遠 local 或永遠 cloud，而是讓模型路徑匹配記錄的敏感度。

Memex 適合放在哪裡？

Memex 不強迫一種模型路徑。它支援 bring-your-own-model，可連接 OpenAI、Claude、Gemini、Kimi、Qwen、OpenRouter、Ollama 等。

主要記錄保持本地優先。如果選擇雲模型，prompt 會按你的設定從裝置發往對應 provider；如果選擇 locally hosted LLM，更多 AI 路徑會留在你控制的環境裡。

重點是：你的日記不應該永遠綁定某一家模型公司，或某一種隱私姿態。

什麼是 local LLM？

local LLM 是運行在你控制的硬體上的語言模型，比如筆電、桌機、家用伺服器或手機，而不是雲端模型服務。

什麼是 locally hosted LLM？

通常指模型運行在你自己的機器或本地網路上，並透過 endpoint 供 app 呼叫。

Memex 可以使用 local LLM 嗎？

可以。Memex 支援 Ollama 等本地模型路徑，也允許你在適合時選擇雲模型。

local LLM 一定私密嗎？

它比把 prompt 發給雲提供商更私密，但最終還取決於 app 儲存、網路暴露、日誌和裝置安全。