入门 4 分钟Ollama

在 Ollama 上安装 Linux

Linux 是 Ollama 的原生操作系统：Ollama 在这里运行得最好，更新最顺畅，您也拥有最大的控制权。本指南涵盖使用 systemd 的 Ubuntu、Debian 和 Fedora 系统、NVIDIA 和 AMD GPU 的配置，以及如何在不把现有系统弄坏的情况下，让局域网内的设备访问服务器。

作者： Mohamed Meguedmi·更新于 2026-03-25·已在 Ubuntu 24.04 上测试

#为何本地AI选择Linux？

有三个实际原因：GPU 驱动（CUDA、ROCm）在 Linux 上比在 Windows 上更稳定，命令行工具可以自然地集成进来，而且家庭实验室默认运行 Linux。再通过 systemd 配置 Ollama 开机启动，管理起来也更规范。

i
已测试的发行版
本指南已在 Ubuntu 22.04 和 24.04、Debian 12、Fedora 40 上验证，步骤相同，仅在包管理器方面存在差异。

#先决条件

本地 AI 套件

只需 1 小时，即可在您的电脑上拥有专属的免费 ChatGPT — LM Studio、Ollama、Open WebUI、您的文档，无需云端。

  • 在线空间，终身可用
  • PDF + 文件
  • 30 天内退款
本地 AI 套件 →或 所有套件终身使用权 — 49 € →
内核 5.10+
2026年任何常规发行版均可。使用uname -r检查。
curl ou wget
用于下载安装脚本。
sudo / root
安装过程会向 /usr/local/bin 写入文件，并创建一个 systemd 服务。
10 GB 存储
模型默认存储在 /usr/share/ollama/.ollama/models 路径下。

#1. 用一行命令安装

终端
curl -fsSL https://ollama.com/install.sh | sh

脚本会检测您使用的 Linux 发行版，将二进制文件安装到 /usr/local/bin/ollama，创建系统用户 ollama，部署一个 systemd 单元，并启动服务。耗时 30 秒。

!
Curl | sh：必要时先检查
通过管道将脚本传给 sh 执行很方便，但执行内容并不透明。在专业环境中，请先下载脚本（curl -o install.sh https://ollama.com/install.sh），检查其内容，然后再执行。
验证
ollama --version
systemctl status ollama

#2. systemd服务

服务文件创建在 /etc/systemd/system/ollama.service。如需自定义配置（例如更改模型目录、让局域网中的设备访问服务）：

终端
sudo systemctl edit ollama

在 [Service] 部分添加有用的环境变量：

systemd 覆盖配置
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_MODELS=/mnt/ssd/ollama-models"
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_MAX_LOADED_MODELS=2"
应用
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo journalctl -u ollama -f  # logs live

#3. NVIDIA GPU

Ollama 在安装驱动程序后会自动检测 CUDA。检测步骤：

终端
nvidia-smi
# Si la commande n'existe pas :
sudo apt install nvidia-driver-550  # Ubuntu
sudo dnf install akmod-nvidia       # Fedora
→
Container Toolkit（可选）
如果您在Docker中运行Ollama，请安装nvidia-container-toolkit以使GPU在容器内可用。否则，Docker将无法访问GPU。
使用模型测试
ollama run mistral "Bonjour"
# Dans un autre terminal :
ollama ps  # colonne PROCESSOR doit dire 100% GPU

#4. AMD GPU（ROCm）

Radeon RX 6000、7000 系列及 Instinct 显卡通过 ROCm 获得支持。安装过程比 CUDA 更棘手，但可以正常运行。

Ubuntu 22.04/24.04
wget https://repo.radeon.com/amdgpu-install/6.0/ubuntu/jammy/amdgpu-install_6.0.60000-1_all.deb
sudo apt install ./amdgpu-install_6.0.60000-1_all.deb
sudo amdgpu-install --usecase=rocm
sudo usermod -aG render,video $USER
# reboot
!
未获官方支持的显卡
如果您的GPU未在AMD官方列表中（例如：RX 6600、6700），请将HSA_OVERRIDE_GFX_VERSION=10.3.0设置为环境变量。这将使ROCm将该卡识别为gfx1030。

#5. 开放局域网访问

默认情况下，Ollama 仅监听 localhost:11434。若要让其他设备或Raspberry Pi能够访问它：

在 systemd 覆盖配置中
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=http://192.168.1.*"
Firewall
sudo ufw allow from 192.168.1.0/24 to any port 11434
!
切勿将其暴露在互联网上
Ollama 没有原生身份验证功能。如果希望让局域网之外也能访问它，请在 Ollama 前部署一个带有基本认证或 JWT 认证的反向代理（Caddy、nginx）。

#故障排除

systemctl status ollama → failed
使用 journalctl -u ollama -n 50 查看日志。常见原因：端口 11434 已被占用，或 models 文件夹存在权限问题。
未检测到GPU
nvidia-smi 和 rocminfo 应能正常响应。否则，请检查驱动程序。安装后通常需要重启。
模型较慢，100% CPU占用
ollama ps ne montre pas GPU. Drivers ok, mais variable CUDA_VISIBLE_DEVICES mal réglée ? Vérifiez environnement du service.
空间不足
将 OLLAMA_MODELS 移动到更大的 SSD 上。请勿忘记对新目录执行 chown -R ollama:ollama
这份指南对您有帮助吗？

有反馈、发现了错误，或想补充说明？请告诉我们，让这份指南对每个人都更有帮助。