Open WebUI：为Ollama提供类似ChatGPT的交互界面

Open WebUI Ollama 目前是在自己的设备上使用类似 ChatGPT 界面、无需依赖云端服务的最实用组合。这套完全自托管的软件栈可将您的 Ollama 服务器变为多用户 Web 应用，提供对话历史记录、模型管理和文档 RAG 功能。本指南详细介绍通过 Docker 安装 Open WebUI Ollama、网络配置、与您的显存容量相匹配的兼容模型、高级功能（RAG、多用户、MCP），以及部署到内部生产环境前需要了解的限制。

什么是 Open WebUI，为什么要将它与 Ollama 搭配使用

Open WebUI（原名 Ollama WebUI）是一个用 SvelteKit + FastAPI 编写的开源前端，以 BSD-3 许可证发布于 github.com/open-webui/open-webui. 它提供与ChatGPT 相当的对话接口，但基于本地推理后端。Ollama 担任这一后端角色：一个加载量化GGUF模型并暴露兼容OpenAI的HTTP API的守护进程，运行在11434端口上。

两者结合可得到 本地 LLM 用户界面 功能完整：

• Frontend : Open WebUI 在 8080 端口（聊天、历史记录、系统提示、Python 函数）
• Backend : Ollama 在端口11434上（GPU内存管理、量化、流式处理）
• 存储 : SQLite 或 PostgreSQL 用于对话和嵌入

与仅支持单用户且只能在桌面端使用的 LM Studio 不同，Open WebUI 支持账户、用户组、按模型设置权限，以及集成了 ChromaDB 向量数据库的 RAG 模式。多个同事共享一台推理服务器时，应优先选择它。

通过Docker安装：推荐方法

L'installation WebUI Docker 是 Open WebUI 团队支持的安装方式。它避免了 Python 依赖冲突，并支持原子更新。

先决条件 :

• Docker 24+ 和 Docker Compose v2
• Ollama 安装在主机或容器环境中（详见 ollama.com/download)
• 配备版本 ≥ 535 的驱动程序和 nvidia-container-toolkit 的 NVIDIA GPU，或用于运行小模型的 CPU

最简命令（主机上已安装 Ollama） :

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

界面随后可在以下地址访问 http://localhost:3000. 首个创建的账户将自动提升为管理员。

一体化 docker-compose 技术栈（Ollama + WebUI + NVIDIA GPU） ：请参见以下网站上的参考文件： docs.openwebui.com/getting-started/quick-start. 服务 ollama 必须挂载一个持久化卷 /root/.ollama 为避免每次重启后重新下载，需保留已下载的模型，否则将重新下载数百GB的数据 docker compose down.

对于AMD ROCm，使用该镜像 ghcr.io/open-webui/open-webui:main 搭配 ollama/ollama:rocm. 在 RX 7900 XTX 上的性能大约相当于 RTX 4090 在 Q4_K_M 下的 70%-80%（估算值，具体取决于模型）。

选择适合您硬件的模型

Open WebUI 会显示本地 Ollama 模型注册表中的所有模型。限制因素仍然是显存。以下三个档位适用于消费级和专业级硬件。

一块 RTX 4090（24 GB 显存） 适用于 30-70B 模型在 Q4 量化且部分卸载至 CPU 的场景 :

• Qwen 2.5 72B Instruct （72B，Qwen License）——Q4 量化所需显存约 42 GB，上下文长度 131072。需要将部分计算卸载到 CPU，或使用第二张显卡。
• Llama 3.3 70B Instruct (70B，Llama 3.3 Community) — Q4 显存需求约 40 GB。同样需要进行模型卸载（offload）。
• DeepSeek R1 Distill Llama 70B — 推理表现良好，MMLU 得分可与顶尖的 70B 模型竞争（需根据具体版本确认）。

配备 2× RTX 6000 Ada（总计 96GB）的工作站 可运行紧凑型 MoE 模型：

• gpt-oss 120B （117B、Apache 2.0、OpenAI）——Q4 量化所需显存约 70 GB，上下文长度 128000。OpenAI 的开放模型，原生集成于 Ollama。
• Mistral Small 4 （119B，Apache 2.0）——上下文长度 256000，是适合法语使用的出色折中方案。
• Qwen 3.5 122B-A10B — MoE 活跃参数为 10B，相对于其规模而言，延迟非常低。

一台配备 8 张 H100 的服务器（640 GB 显存）或一个集群 打开边界之门：

• DeepSeek V3.2 (685B, MIT) — VRAM Q4 ~410 GB
• Kimi K2.6 (1000B, Modified MIT) —— Q4 VRAM约600 GB，上下文长度256000
• DeepSeek V4 Pro 1.6T ——前沿 MoE 模型，支持 100 万个 token 的上下文

为精确匹配您的显卡配置，请使用 quelllm.fr 配置工具 综合考虑可用 VRAM、所需量化方式和目标上下文长度。

高级功能：RAG、函数、MCP

Open WebUI 的功能不止聊天。有三项功能值得在安装时就配置好。

集成的RAG ：将 PDF、DOCX、TXT 或 URL 放入“Collection”中。Open WebUI 会对其进行分块（默认块大小 1500，重叠 100），并通过 sentence-transformers/all-MiniLM-L6-v2 本地或通过 Ollama（nomic-embed-text），并存储到 ChromaDB 中。推理时，相关文本片段会被注入上下文。对于大型数据库，请切换至 PostgreSQL + pgvector，使用的变量为 VECTOR_DB=pgvector.

Python 函数（Pipelines） : Open WebUI 支持在预处理或后处理阶段执行任意代码。示例：自动将包含「code」的提示路由至 Qwen3-Coder-Next 80B-A3B，其余提示词则路由至 Mistral Medium 3.5 128B. 管道在单独的容器中运行，端口为 9099，这种隔离对安全性很有帮助。

支持 MCP（模型上下文协议） : 自0.6版本起，Open WebUI 开始使用MCP服务器。详见 官方规范 ，了解有哪些可用服务器（filesystem、GitHub、Postgres 等）。

前端界面的详细对比请见 quelllm.fr/compare/open-webui-vs-lm-studio.

观测到的性能和每秒token数

推理吞吐量取决于模型与 GPU 的组合。以下是使用 Ollama 0.5+ 和 Open WebUI 0.6+、采用 Q4_K_M 量化时的一些参考测量结果：

• Llama 3.1 70B 在 2× RTX 4090 上（使用 Ollama 的实验性张量并行功能）：生成速度约为每秒 18–22 个 token（估算值）
• gpt-oss 120B 在H100 80GB上：60-80 tokens/s（具体数值需根据卸载情况确认）
• Qwen 3 235B-A22B 在4×A100 80GB上运行：通过MoE架构仅激活22B，实现45-55 tokens/s

Open WebUI的WebSocket流传输带来不可察觉的延迟（<10 ms）。瓶颈仍在于推理本身。为优化，请启用 OLLAMA_FLASH_ATTENTION=1 et OLLAMA_KV_CACHE_TYPE=q8_0 在 Ollama 容器的环境中：上下文内存占用可减少 30–40%（参见 github.com/ollama/ollama/blob/main/docs/faq.md).

对于推理模型，如 DeepSeek R1 671B，预计每次请求生成的 token 数量为通常的 3 至 10 倍（内部思维链），因此即使基础设施性能强劲，响应时间也会达到数分钟。

安全与多用户部署

在企业环境中，需注意以下三点：

• TLS 反向代理 : 在 Open WebUI 前面部署 Traefik 或 Caddy。默认端口 8080 不提供加密。
• SSO认证 : Open WebUI 支持 OIDC（Keycloak、Authentik）通过环境变量 OAUTH_*。使用以下设置禁用开放注册： ENABLE_SIGNUP=false.
• 按模型实施的RBAC权限控制 ：在管理界面中，将大型模型（显存需求 >40 GB）的使用权限限定为资深用户组，以免某个用户使请求队列饱和。

定期检查日志 /app/backend/data/audit.log 会记录提示词和文件上传行为。

FAQ

Q：Open WebUI 是否可以在没有 Ollama 的情况下运行？

可以。Open WebUI 支持任何兼容 OpenAI 的 API：vLLM、llama.cpp server、LiteLLM、TGI。在设置 → 连接中配置 URL。Ollama 仍是最简单的入门方式，因为其命令行工具会自动管理下载、GGUF 量化和内存。对于需要成熟张量并行支持的高性能部署，vLLM 或 SGLang 更合适。

Q：入门至少需要多大显存容量？

配备 8 GB 显存（RTX 3060、4060）时，可流畅运行 7-8B 的轻量化蒸馏模型。拥有 12-16 GB 显存时，可考虑 13-14B 模型。经验法则：显存 ≈ 参数 × 0.6（Q4_K_M）+ 1-2 GB（用于 8K 上下文）。详见 quelllm.fr/guide/vram-quantification ，了解各量化格式（Q4、Q5、Q8、FP16）的详细信息。

Q：如何在不使用Docker的情况下安装 Open WebUI？

Via pip install open-webui puis open-webui serve。这种方法有文档说明，但隔离程度较低：可能与其他 Python 环境发生冲突，更新也更棘手。请仅将其用于开发机器。对于单用户工作站，LM Studio 或 Jan 可能更简单；对比请参阅 quelllm.fr/compare/lm-studio-vs-jan.

Q：能否将Open WebUI连接到多个Ollama服务器？

可以。在设置 → 连接中，添加多个 Ollama URL（例如 http://gpu-01:11434, http://gpu-02:11434）。Open WebUI 汇总可用模型。路由采用手动方式（用户选择模型）；如需自动负载均衡，请在中间加入 LiteLLM 作为代理。这样便于分配 Mixtral 8x22B Instruct 部署在一个节点上，并将 Llama 3.1 405B Instruct 在另一个节点上。

Q：对话数据在存储时是否加密？

默认情况下不会。SQLite 数据库 /app/backend/data/webui.db 以明文存储消息。要实现静态数据加密，请使用位于加密文件系统（LUKS、ZFS 原生加密）上的 Docker 卷，或迁移到采用透明数据加密的 PostgreSQL。网络流量则可通过前述 TLS 反向代理进行加密。

Q：Open WebUI 是否支持视觉和图像？

可以，使用多模态模型即可。将图像上传到对话中：如果模型支持视觉模态，Open WebUI会将图像编码为base64并发送给Ollama。模型目录中的兼容模型包括： Qwen 2.5 VL 72B, Qwen 3 VL 235B-A22B, LLaVA-OneVision 72B et Molmo 72B.

结论

Open WebUI Ollama 是自托管 ChatGPT 风格界面的标杆技术栈，从笔记本电脑到 GPU 集群均可使用。Docker 安装需要十五分钟，配置 RBAC 和 RAG 则需额外几小时。模型选择仍是决定性因素：请精确匹配参数量、量化方式和可用显存。要根据您的硬件限制浏览已收录的 249 个模型，请查阅 quelllm.fr 完整目录 或者让 配置工具 为您的 GPU 推荐最佳的模型与量化组合。