这篇博客详细介绍了如何在 windows、ubuntu环境下搭建 onnxruntime-gpu
环境,并进行 ONNX 模型的部署。以下是对该文章内容的总结和补充:
安装 onnxruntime
和 onnxruntime-gpu
-
安装
onnxruntime
:
如果你仅需要在 CPU 上进行推理,可以使用以下命令安装:pip install onnxruntime
-
安装
onnxruntime-gpu
:
若要在 GPU 上加速推理,需要安装onnxruntime-gpu
。可以有两种方法:
不依赖于本地主机上的 CUDA 和 cuDNN**- 创建 Conda 环境并安装所需版本的
onnxruntime-gpu
,CUDA 和 cuDNN:
conda create -n torch python=3.8 conda activate torch pip install -i https://pypi.tuna.tsinghua.edu.cn/simple onnxruntime-gpu==1.17.1 numpy <2.0 conda install cudnn== 8.9.2.26 conda install pytorch torchvision torchaudio cudatoolkit -c pytorch -c conda-forge
- 创建 Conda 环境并安装所需版本的
onnx 推理报错:onnxruntime.capi.onnxruntime_pybind11_state.Fail: [ONNXRuntimeError] : 1 : FAIL
conda install pybind11>=2.12 cudnn
注意事项
- 确保
onnxruntime-gpu
、CUDA 和 cuDNN 的版本兼容,详细的版本对应关系可以参考 ONNX Runtime 的官方文档。 - 实时监控 GPU 使用情况可以使用
watch -n 0.1 nvidia-smi
命令。
希望这些信息能帮助你顺利完成 onnxruntime-gpu
的安装和测试。如果有其他问题或需要进一步帮助,请随时告诉我!