MemexMemex/博客
← 返回

Local LLM:它对私密 AI 日记到底意味着什么

解释 llm local、download llm、locally hosted LLM、Ollama,以及 Memex 如何用本地模型支持更私密的 AI 日记。

Local LLM workflow

下载 Memex,选择你自己的 AI 路径

可以先用内置模型,也可以连接自己的提供商;当你更重视隐私时,再把 Memex 路由到 Ollama 等 local LLM 设置。

local LLM 是什么意思?

local LLM 是运行在你控制的硬件上的语言模型,而不是云端 API。这个硬件可以是笔记本、家用服务器、工作站,有时也可以是手机本身。

用户搜索 llm local、locally hosted LLM 或 LLM locally,通常是为了隐私、更低长期成本,或不想被单一 AI 提供商锁定。

local LLM 不等于天然更好。它只是把责任从 provider 转给你:模型、速度、内存、更新和网络访问都要自己处理。

本地优先 app 和 local LLM 不是一回事

本地优先 app 把主要数据存在设备上。local LLM 则是把模型推理放在你控制的硬件上。两者可以同时存在,也可以只有其中一个。

Memex 的记录、卡片和知识默认本地优先。AI 处理取决于你选择的模型路径:云模型、内置模型选项,或本地模型路由。

如果隐私要求最高,最强组合是 local-first storage 加 local LLM。

download LLM 不只是下载一个文件

download LLM 听起来简单,但模型文件只是其中一部分。你还需要运行时、足够内存,以及 app 能访问的 API endpoint。

对大多数 Memex 用户来说,实用路线是 Ollama:在电脑或服务器上运行 Ollama,下载模型,再把 Memex 指向本地 endpoint。

这带来控制权,也带来摩擦:本地模型可能更慢,复杂多模态记录的准确度更低,维护成本也更高。

Choosing the right LLM for Memex explains when Ollama, Gemini, Claude, OpenAI, and other providers fit different tasks.

什么时候 local LLM 适合日记?

日记包含极私密的数据:关系、健康、工作顾虑、私人计划、照片、语音和不会公开说出的想法。

当记录足够敏感、不希望 prompt 离开本地网络时,local LLM 最有价值。

  • 私密反思、类似疗愈记录、健康记录。
  • 不应离开本地环境的工作笔记。
  • 长期大量使用时想控制 API 成本。
  • 离线或弱网场景。
  • 愿意运行本地服务的技术用户。

什么时候云模型仍然更好?

很多时候云模型仍然更好:更容易开始,通常更快,对图片和长上下文更强,也不需要本地机器持续在线。

照片很多、insight 复杂、或者想低摩擦开始时,Gemini、Claude、OpenAI 等云模型可能效果更好。关键不是永远 local 或永远 cloud,而是让模型路径匹配记录的敏感度。

Memex 适合放在哪里?

Memex 不强迫一种模型路径。它支持 bring-your-own-model,可连接 OpenAI、Claude、Gemini、Kimi、Qwen、OpenRouter、Ollama 等。

主要记录保持本地优先。如果选择云模型,prompt 会按你的配置从设备发往对应 provider;如果选择 locally hosted LLM,更多 AI 路径会留在你控制的环境里。

重点是:你的日记不应该永远绑定某一家模型公司,或某一种隐私姿态。

Source and community

查看本地优先架构

Memex 开源。你可以查看模型路由代码、跟进本地模型更新,或加入 Discord 讨论 Ollama、端侧模型和私密 AI 记忆。


继续阅读

Bring your own LLM · Choosing an LLM for Memex · Private AI journal · Offline journal app · Local-first apps · AI agent builder

常见问题

什么是 local LLM?

local LLM 是运行在你控制的硬件上的语言模型,比如笔记本、台式机、家用服务器或手机,而不是云端模型服务。

什么是 locally hosted LLM?

通常指模型运行在你自己的机器或本地网络上,并通过 endpoint 供 app 调用。

Memex 可以使用 local LLM 吗?

可以。Memex 支持 Ollama 等本地模型路径,也允许你在适合时选择云模型。

local LLM 一定私密吗?

它比把 prompt 发给云提供商更私密,但最终还取决于 app 存储、网络暴露、日志和设备安全。