Ollama显卡支持全解析：NVIDIA与AMD官方兼容性及老显卡解决方案

2025-02-07 / ollama NVIDIA AMD GPU

在本地运行大语言模型（LLM）时，显卡性能直接决定了模型的推理速度和效率。Ollama作为一款轻量化的开源工具，对NVIDIA和AMD显卡的支持情况如何？若手头上的显卡未被官方支持，又有哪些解决方案？本文将为你详细解读。

Ollama要求NVIDIA显卡的计算能力（Compute Capability）≥5.0，涵盖从入门级到专业级的多种型号，具体包括：

可通过NVIDIA官方计算兼容性列表查询你的显卡是否支持。

Ollama通过AMD ROCm库提供支持，需满足以下条件：

Linux系统：支持Radeon RX系列（如7900 XTX、6800 XT）、Radeon PRO系列（如W7900、V620）及Instinct加速卡（如MI300X）。
Windows系统（ROCm v6.1+）：支持部分Radeon RX和PRO系列显卡（如7900 XTX、W6800）。
特殊覆盖设置：若显卡未被官方支持（如RX 5400），可通过环境变量HSA_OVERRIDE_GFX_VERSION强制匹配相近的LLVM目标（如gfx1030）。

替换ROCm库文件：
若显卡未被官方支持（如RX 6750 XT的gfx1031），可下载社区优化的ROCmLibs库文件，替换Ollama安装目录中的rocblas.dll和library文件夹，强制启用GPU加速。
操作示例：
```
# 替换路径示例（Windows）
C:\Users\用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas.dll
C:\Users\用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas\library
```
调整LLVM目标版本：
通过环境变量模拟支持的GPU类型（如HSA_OVERRIDE_GFX_VERSION="10.3.0"），适用于Linux系统。

降级CUDA版本：部分旧显卡（如GTX 750 Ti）需搭配低版本CUDA Toolkit（如CUDA 11.8）才能正常调用计算资源。
强制指定GPU：使用CUDA_VISIBLE_DEVICES环境变量限制Ollama仅使用特定GPU（如CUDA_VISIBLE_DEVICES=0）。

CPU模式：若显卡完全无法适配，可通过设置CUDA_VISIBLE_DEVICES=-1（NVIDIA）或ROCR_VISIBLE_DEVICES=-1（AMD）强制使用CPU运行，但速度显著降低。
社区工具：尝试第三方修改版（如ollama-for-amd），或参考开源项目（如GitHub上的ROCmLibs仓库）。

通过上述方案，即使你的显卡未被Ollama官方支持，依然可以尝试“解锁”GPU加速功能。若想了解更多技术细节，可参考以下资源：

掌握这些技巧，让你的老显卡也能焕发新生！💻🚀

标题：Ollama显卡支持全解析：NVIDIA与AMD官方兼容性及老显卡解决方案
作者：demo1984s
地址：http://www.demo1984s.com/articles/2025/02/07/1738934439993.html

demo1984s 的个人博客