在 NVIDIA Jetson 设备上运行 Ollama

Ollama 在 NVIDIA Jetson 设备上运行良好，并且应该能够使用标准安装指南直接运行。

以下内容已在 JetPack 5.1.2 上测试，但也应该适用于 JetPack 6.0。

• 通过标准 Linux 命令安装 Ollama（忽略404错误）：curl https://ollama.com/install.sh | sh
• 拉取你想使用的模型（例如 mistral）：ollama pull mistral
• 启动一个交互式会话：ollama run mistral

在 Docker 中运行 Ollama

在 Docker 中运行 GPU 加速应用程序时，强烈建议使用 dusty-nv jetson-containers 仓库。