W
WordOllama
EN

如何调用GPU

Ollama 支持使用 GPU 加速模型运行。以下是在 Windows 环境下配置的方法。

NVIDIA

支持显卡

  • NVIDIA GeForce RTX 系列 (20/30/40/50 系列及以上)
  • NVIDIA GeForce GTX 16 系列及以上
  • NVIDIA Tesla 系列
  • 显存建议至少 6GB 以上
  • CUDA Capability 7.0 及以上

安装 CUDA

  1. 访问 NVIDIA 官网下载 CUDA Toolkit（https://developer.nvidia.com/cuda-downloads）
  2. 选择 Windows 操作系统及对应版本
  3. 下载并安装 CUDA Toolkit（建议版本 11.7 或以上）
  4. 安装完成后，打开命令提示符，输入以下命令验证安装：
nvidia-smi
  1. 重启 Ollama 即可启用 GPU 运行

AMD

支持显卡

官方支持：

  • AMD Radeon RX 9000 系列
  • AMD Radeon RX 7000 系列
  • AMD Radeon RX 6000 系列
  • AMD Instinct 系列
  • 显存建议至少 6GB 以上

安装 HIP

  1. 下载并安装最新版本的 AMD 驱动
  2. 安装 HIP SDK（https://www.amd.com/en/developer/resources/rocm-hub/hip-sdk.html）
  3. 重启 Ollama 即可启用 GPU 运行

部分非官方支持的 AMD 显卡解决办法

部分 AMD 显卡（如 500 系列、RDNA 5000 系列、680M 等）未获得 AMD 官方 ROCm（HIP）支持，但可通过以下方式实现：

Ollama-for-AMD

  1. 访问项目地址：https://github.com/likelovewant/ollama-for-amd
  2. 下载预编译版本或从源码编译 Ollama 并安装
  3. 下载预编译的 rocblas 和 library，或根据 Wiki 自行编译
  4. 将 rocblas.dll 替换至对应目录，library 覆盖至 rocblas/library
  5. 重新启动 Ollama

更便捷的办法

  1. 使用 Ollama-For-AMD-Installer 工具
  2. 选择显卡型号，点击"检查最新版本"，即可自动完成全部配置

注意事项

  1. 如仍无法调用 GPU（常见于部分双显卡笔记本），可尝试通过环境变量强制指定 Ollama 使用某显卡运行
  2. 建议将系统电源计划设置为"高性能"模式
  3. 保持显卡驱动为最新版本
  4. 监控显存使用情况，避免溢出
  5. 使用大模型时，建议关闭其他显卡密集型应用