demo1984s 的个人博客

在本地运行大语言模型（LLM）时，显卡性能直接决定了模型的推理速度和效率。Ollama 作为一款轻量化的开源工具，对 NVIDIA 和 AMD 显卡的支持情况如何？若手头上的显卡未被官方支持，又有哪些解决方案？本文将为你详细解读。

一、官方支持的显卡范围

1. NVIDIA 显卡

Ollama 要求 NVIDIA 显卡的计算能力（Compute Capability）≥5.0，涵盖从入门级到专业级的多种型号，具体包括：

• RTX 40 系列：如 RTX 4090、RTX 4070 Ti 等。
• RTX 30 系列：如 RTX 3090、RTX 3060 等。
• 专业卡：如 A100、T4、Quadro 系列等。
• 旧型号支持：GTX 10 系列（如 GTX 1080 Ti）及部分 Quadro/Tesla 卡（如 Tesla P100）。

可通过 NVIDIA 官方计算兼容性列表查询你的显卡是否支持。

2. AMD 显卡

Ollama 通过 AMD ROCm 库提供支持，需满足以下条件：

• Linux 系统：支持 Radeon RX 系列（如 7900 XTX、6800 XT）、Radeon PRO 系列（如 W7900、V620）及 Instinct 加速卡（如 MI300X）。
• Windows 系统（ROCm v6.1+）：支持部分 Radeon RX 和 PRO 系列显卡（如 7900 XTX、W6800）。
• 特殊覆盖设置：若显卡未被官方支持（如 RX 5400），可通过环境变量 HSA_OVERRIDE_GFX_VERSION 强制匹配相近的 LLVM 目标（如 gfx1030）。

二、老显卡的解决方案

1. AMD 显卡的“曲线救国”

• 替换 ROCm 库文件：
  若显卡未被官方支持（如 RX 6750 XT 的 gfx1031），可下载社区优化的 ROCmLibs 库文件，替换 Ollama 安装目录中的 rocblas.dll 和 library 文件夹，强制启用 GPU 加速。
  操作示例：

  1# 替换路径示例（Windows）
  2C:\Users\用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas.dll
  3C:\Users\用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas\library
  

• 调整 LLVM 目标版本：
  通过环境变量模拟支持的 GPU 类型（如 HSA_OVERRIDE_GFX_VERSION="10.3.0"），适用于 Linux 系统。

2. NVIDIA 显卡的兼容性调整

• 降级 CUDA 版本：部分旧显卡（如 GTX 750 Ti）需搭配低版本 CUDA Toolkit（如 CUDA 11.8）才能正常调用计算资源。
• 强制指定 GPU：使用 CUDA_VISIBLE_DEVICES 环境变量限制 Ollama 仅使用特定 GPU（如 CUDA_VISIBLE_DEVICES=0）。

3. 通用方案

• CPU 模式：若显卡完全无法适配，可通过设置 CUDA_VISIBLE_DEVICES=-1（NVIDIA）或 ROCR_VISIBLE_DEVICES=-1（AMD）强制使用 CPU 运行，但速度显著降低。
• 社区工具：尝试第三方修改版（如 ollama-for-amd），或参考开源项目（如 GitHub 上的 ROCmLibs 仓库）。

三、总结与建议

1. 优先检查官方支持列表：确认显卡型号和计算能力是否符合要求。
2. 灵活使用覆盖设置：AMD 用户可通过环境变量或库文件替换扩展兼容性。
3. 关注社区动态：AMD 计划在 ROCm v6 中扩展更多显卡支持，未来兼容性有望进一步提升。

通过上述方案，即使你的显卡未被 Ollama 官方支持，依然可以尝试“解锁”GPU 加速功能。若想了解更多技术细节，可参考以下资源：

• Ollama GPU 支持文档
• AMD 显卡优化教程

掌握这些技巧，让你的老显卡也能焕发新生！💻🚀

---

标题：Ollama显卡支持全解析：NVIDIA与AMD官方兼容性及老显卡解决方案
作者：demo1984s
地址：http://www.demo1984s.com/articles/2025/02/07/1738934439993.html