如何将深度学习环境部署到离线服务器中

2023年 10月 4日 50.2k 0

由于公司的GPU服务器是离线的状态,不能联网安装所需要的深度学习相对应包。如果我们使用移动U盘将各种包一个一个的下载安装很麻烦,所以在这将各种包全都安装好直接打包虚拟环境然后转移到离线的服务器上就能轻松解决问题。

一、准备一台云服务器

在云服务器中尽量选择跟自己服务器相对应的配置和操作系统,以免在转移虚拟环境时出现不兼容的情况。
注:转移环境时需要两台服务器是同样的操作系统,linux与windows不兼容

二、在云服务器上创建一个虚拟环境

1.在云服务器上自带就有anaconda所以我们直接创建虚拟环境

$conda create -n your_env_name python=x.x

2.激活环境

$source activate your_env_nam
激活后便会看到
(your_env_nam)root@ubuntuserver

激活环境后我们就可以安装训练模型时所需要的各种库和依赖了

三、配置深度学习环境

1.确定自己cuda的版本号,使用以下命令查看cuda版本号

$nvidia-smi

2.确定好版本号后我们安装PyTorch,复制命令到命令行进行安装
image.png
注:cuda如果你的cuda版本时11.8,那么我们在Compute Platform里将要选择CUDA11.8以下的,因为cuda版本向下兼容

3.接下来就是安装Transformers,Transformers的安装相对于pytorch的安装要简单,我们直接在命令行里输入:

$pip install transformers==4.32.2

4.安装完所需依赖后我们使用下面的命令查看依赖是否安装

pip list 

四、环境打包

1.接下来就来进行转移虚拟环境的操作了,
使用conda-pack进行虚拟环境的打包

conda安装
$conda install -c conda-forge conda-pack
pip安装
pip install conda-pack
两种安装方式都可以任选一种

2.将虚拟环境打包成压缩文件
在激活的虚拟环境中输入以下命令:

将虚拟环境 xx 打包为 xx.tar.gz
$conda-pack -n xx

打包完成后在当前目录下会有一个xx.tar.gz文件

五、在目标服务器上激活虚拟环境

1.在目标服务器中创建一个目录并使用移动硬盘将xx.tar.gz文件拷贝到该目录下并解压

创建一个名为xx的目录
$mkdir xx
进入到该目录下
$cd xx 
解压文件
$tar -xzf xx.tar.gz -C xx

2.激活环境,同时这比操作将会把“xx/bin”添加到环境变量path

source xx/bin/activate

将解压的文件安装到离线服务器的anaconda/env目录下,方便激活环境

3.检查环境中的包是否存在

pip list 

如果环境中的包存在那么就可以将我们的模型跑起来检查一下是否缺少依赖,建议在第三步配置环境时就运行一下程序,如果没问题再进行虚拟环境的打包。

各位有好的迁移方式也可以在评论区留言探讨!

相关文章

服务器端口转发,带你了解服务器端口转发
服务器开放端口,服务器开放端口的步骤
产品推荐:7月受欢迎AI容器镜像来了,有Qwen系列大模型镜像
如何使用 WinGet 下载 Microsoft Store 应用
百度搜索:蓝易云 – 熟悉ubuntu apt-get命令详解
百度搜索:蓝易云 – 域名解析成功但ping不通解决方案

发布评论