Linux Nvidia 显卡机器学习环境搭建(TensorRT)

在进行推理任务时TensorRT可以降低延迟并提升吞吐量

Linux Nvidia 显卡机器学习环境搭建(驱动，CUDA，cuDNN) 我们介绍了Nvidia的驱动安装, 接下来我们补充安装TensorRT.

安装TensorRT

参考NVIDIA Deep Learning TensorRT Documentation

我选择TensorRT 8.6.1,可以在NVIDIA TensorRT 8.x Download下载

我的系统是Ubuntu 22/04所以选择TensorRT 8.6 GA for Ubuntu 22.04 and CUDA 12.0 and 12.1 DEB local repo Package

thinktik@thinkstation:~/Downloads$ sudo dpkg -i nv-tensorrt-local-repo-ubuntu2204-8.6.1-cuda-12.0_1.0-1_amd64.deb 
thinktik@thinkstation:~/Downloads$ sudo cp /var/nv-tensorrt-local-repo-ubuntu2204-8.6.1-cuda-12.0/nv-tensorrt-local-42B2FC56-keyring.gpg /usr/share/keyrings/
thinktik@thinkstation:~/Downloads$ sudo apt-get update

按照Debian Installation进行安装

thinktik@thinkstation:~/Downloads$ sudo apt-get update
thinktik@thinkstation:~/Downloads$ sudo apt-get install tensorrt
# If using Python 3.x:
thinktik@thinkstation:~/Downloads$ sudo apt-get install python3-libnvinfer-dev
# If you plan to use TensorRT with TensorFlow:
thinktik@thinkstation:~/Downloads$ sudo apt-get install uff-converter-tf

备注: TensorRT安装时,需要匹配对应的CUDA版本