资讯专栏INFORMATION COLUMN

TensorRT安装及使用--通用模型

fancyLuo / 3902人阅读

摘要:的安装官网下载安装包首先,我们可以到官网的专区进行安装包的下载,网址是,因为我使用的版本是,版本是,版本是,我选择了这一版。但我们会发现和这两个文件夹是不存在的,我们可以去这个网址进行下载,然后使用命令解压在对应的文件夹中。

        TensorRT是Nvidia为了加速基于自家GPU训练模型的推理而设计的,当我们将模型训练好后,TensorRT可以直接对模型进行网络层的一一对应,从而加速比较大模型的推理部署。最近使用TensorRT加速了一些模型,我将用两篇文章对使用过程和其中遇到的坑进行记录说明。本篇文章将对通用模型的TensorRT转换进行一个记录,对transformer类模型的转换我们将在下一篇文章进行记录。本文记录的安装基于TensorRT6.0。

1、 TensorRT的安装

1.1 官网下载安装包

        首先,我们可以到nvidia官网的tensorrt专区进行安装包的下载,网址是https://developer.nvidia.com/nvidia-tensorrt-download,因为我使用的ubuntu版本是18.04,python版本是3.6,cuda版本是10.1,我选择了TensorRT 6.0.1.5 GA for Ubuntu 18.04 and CUDA 10.1 tar package这一版。在官网中有对系统版本和python版本的对照关系进行说明,可自行对照。

1.2 安装TensorRT和pycuda

        在安装TensorRT之前,我们首先使用pip安装pycuda

pip install pycuda

        然后我们进行TensorRT的安装。

## 解压安装包tar zxvf TensorRT-6.0.1.5.Ubuntu-18.04.x86_64-gnu.cuda-10.1.cudnn7.6.tar## 将TensorRT的库安装到系统库中sudo cp -r ~/TensorRT-6.0.1.5/lib/* /usr/libsudo cp -r ~/TensorRT-6.0.1.5/include/* /usr/include# 安装TensorRTpip install ~/TensorRT-6.0.1.5/python/tensorrt-6.0.1.5-cp36-none-linux_x86_64.whl # 安装UFF,这是转换模型的工具pip install ~/TensorRT-6.0.1.5/uff/uff-0.6.5-py2.py3-none-any.whl # 安装graphsurgeonpip install  ~/TensorRT-6.0.1.5/graphsurgenon/graphsurgeon-0.4.1-py2.py3-none-any.whl#最后,我们将TensorRT的lib绝对路径添加到环境变量中export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/TensorRT-6.0.1.5/lib

         到此为止我们就安装好了TensorRT,没有遇到任何坑。使用下述语句可以测试我们是否安装成功。

import tensorrtimport uff

2、 TensorRT的使用

        我们使用TensorRT给的例子end_to_end_tensorflow_mnist进行简单的使用说明。

## 首先,我们进入例子代码cd ~/TensorRT-6.0.1.5/samples/python/end_to_end_tensorflow_mnist## 然后,我们建一个models的文件夹mkdir models## 运行model.py文件,我们可以在models文件夹中获得lenet5.pbpython models.py## 进行模型转换convert-to-uff ./models/lenet5.pb

        此时我们会得到模型生成的pb文件,然后我们使用convert-to-uff进行模型转换,但会遇到下面的错误 

bash: convert-to-uff: command not found

        我们使用https://forums.developer.nvidia.com/t/convert-to-uff-command-not-found/116782中给出的解决方法进行处理。

UFF_PATH="$(python -c "import uff; print(uff.__path__[0])")"chmod +x ${UFF_PATH}/bin/convert_to_uff.pyln -sf ${UFF_PATH}/bin/convert_to_uff.py /usr/local/bin/convert-to-uff

        此时重新运行转换语句便可以对模型进行转化,我们会在models文件夹下得到lenet5.uff文件。

## 测试转化的模型python sample.py

        遇到问题Could not find 8.pgm. Searched in data paths: ["~/Tensorrt-6.0.1.5/data/mnist"],参照https://github.com/NVIDIA/TensorRT/issues/256#issuecomment-568382745进行问题解答。

python /opt/tensorrt/data/mnist/generate_pgms.py -d /opt/tensorrt/data/mnist/train-images-idx3-ubyte -l /opt/tensorrt/data/mnist/train-labels-idx1-ubyte -o /opt/tensorrt/data/mnist

        但我们会发现train-images-idx1-ubyte和train-labels-idx1-ubyte这两个文件夹是不存在的,我们可以去https://github.com/Manuel4131/GoMNIST/tree/master/data这个网址进行下载,然后使用gzip -d命令解压在对应的文件夹中。

        当我们上述步骤都运行完后,我们就可以重新运行python sample.py。此时我们便可以得到运行结果了。

3、 总结

        在本篇文章中,我们对tensorrt的安装和简单使用进行了说明。但笔者主要是从事NLP方向,希望加速的模型是bert类模型。直接使用convert-to-uff只能对简单的网络层进行转换,并不能对transformer进行转换。因此在下一篇文章中,笔者将记录使用TensorRT转换bert类模型的步骤和在其中遇到的坑。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/119997.html

相关文章

  • 从人工智能鉴黄模型,尝试TensorRT优化

    摘要:没有显卡也没有关系,可以看看我前面发布的两篇文章谷歌云计算平台,免费又好用上安装本文采用的深度学习模型是雅虎开源的深度学习色情图片检测模型,这里的代表,该项目基于框架。你还可以读利用人工智能检测色情图片谷歌云计算平台,免费又好用上安装随着互联网的快速发展,越来越多的图片和视频出现在网络,特别是UCG产品,激发人们上传图片和视频的热情,比如微信每天上传的图片就高达10亿多张。每个人都可以上传,...

    LinkedME2016 评论0 收藏0

发表评论

0条评论

fancyLuo

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<