vllm 安装踩坑 (The NVIDIA driver on your system is too old) - 服务器托管|北京服务器租用|机房托管租用|IDC托管租用|机房机柜带宽租用-价格及费用咨询

我的环境如下：

nvidia-smi 显示 cuda 版本是 11.7
目前最新vllm 要求的 torch 版本是 2.1.2，该版本要求的 cuda 版本是 11.8，所以不匹配。执行安装会遇到如下错误

RuntimeError: The NVIDIA driver on your system is too old (found version 11070). Please update your GPU driver by downloading and installing a new version from the URL: http://www.nvidia.com/Download/index.a
spx Alternatively, go to: https://pytorch.org to install a PyTorch version that has been compiled with your version of the CUDA driver.

我尝试安装支持 cuda 11.7 的最新版本 torch==2.0.1，运行pip install -e .安装仍然会遇到上述问题。解决办法是修改 vllm 的安装配置文件：

requirements.txt

torch==2.1.2 改成 torch>=2.0.1
xformers == 0服务器托管网.0.23.post1 改成 xformers >= 0.0.022

因此你需要确保 xformers 版本是 0.0.022

requirements-build.txt

torch==2.1.2 改成 torch>=2.0.1

pyproject.toml

requires = [
    "ninja",
    "packaging",
    "setuptools >= 49.4.0",
    "torch == 2.1.2", 改成 "torch>=2.0.1"
    "wheel",
]

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
机房租用，北京机房租用，IDC机房托管， http://www.fwqtg.服务器托管网net

相关推荐: 海豚²来了丨DolphinDB 集成 DolphinScheduler，任务调度更轻松

【直播预告】99 元的云虚拟机 9 毛 9 的云原生架构√ DolphinDB 是一款高性能时序数据库。DolphinDB 集成了功能强大的编程语言和高容量高速度的批流一体数据分析系统，为海量数据（特别是时间序列数据）的快速存储、检索、计算及分析提供一站式解决…

服务器托管，北京服务器托管，服务器租用，机房机柜带宽租用