跳转至

在 Linux 上安装 Ollama

安装

运行以下一行命令来安装 Ollama:

curl -fsSL https://ollama.com/install.sh | sh

AMD Radeon GPU 支持

虽然 AMD 已将 amdgpu 驱动程序上游贡献给官方 Linux 内核源代码,但该版本较旧,可能不支持所有 ROCm 功能。我们建议您从 AMD 官网 安装最新驱动程序,以获得对您 Radeon GPU 的最佳支持。

手动安装

下载 ollama 二进制文件

Ollama 以自包含的二进制文件形式分发。将其下载到您的 PATH 中的目录:

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

将 Ollama 添加为启动服务(推荐)

为 Ollama 创建一个用户:

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

/etc/systemd/system/ollama.service 中创建一个服务文件:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

然后启动服务:

sudo systemctl daemon-reload
sudo systemctl enable ollama

安装 CUDA 驱动程序(可选 - 适用于 Nvidia GPU)

Download and install CUDA.

通过运行以下命令验证驱动程序是否已安装,该命令应打印出有关您 GPU 的详细信息:

nvidia-smi

安装 ROCm(可选 - 适用于 Radeon GPU)

Download and Install

确保安装 ROCm v6

启动 Ollama

使用 systemd 启动 Ollama:

sudo systemctl start ollama

更新

通过再次运行安装脚本来更新 ollama:

curl -fsSL https://ollama.com/install.sh | sh

或者通过下载 ollama 二进制文件:

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

查看日志

要查看作为启动服务运行的 Ollama 的日志,请运行:

journalctl -u ollama

卸载

移除 ollama 服务:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

从您的 bin 目录(/usr/local/bin/usr/bin/bin)中移除 ollama 二进制文件:

sudo rm $(which ollama)

移除下载的模型以及 Ollama 服务用户和组:

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama