由于公司的GPU服务器是离线的状态,不能联网安装所需要的深度学习相对应包。如果我们使用移动U盘将各种包一个一个的下载安装很麻烦,所以在这将各种包全都安装好直接打包虚拟环境然后转移到离线的服务器上就能轻松解决问题。
一、准备一台云服务器
在云服务器中尽量选择跟自己服务器相对应的配置和操作系统,以免在转移虚拟环境时出现不兼容的情况。
注:转移环境时需要两台服务器是同样的操作系统,linux与windows不兼容
二、在云服务器上创建一个虚拟环境
1.在云服务器上自带就有anaconda所以我们直接创建虚拟环境
$conda create -n your_env_name python=x.x
2.激活环境
$source activate your_env_nam
激活后便会看到
(your_env_nam)root@ubuntuserver
激活环境后我们就可以安装训练模型时所需要的各种库和依赖了
三、配置深度学习环境
1.确定自己cuda的版本号,使用以下命令查看cuda版本号
$nvidia-smi
2.确定好版本号后我们安装PyTorch,复制命令到命令行进行安装
注:cuda如果你的cuda版本时11.8,那么我们在Compute Platform里将要选择CUDA11.8以下的,因为cuda版本向下兼容
3.接下来就是安装Transformers,Transformers的安装相对于pytorch的安装要简单,我们直接在命令行里输入:
$pip install transformers==4.32.2
4.安装完所需依赖后我们使用下面的命令查看依赖是否安装
pip list
四、环境打包
1.接下来就来进行转移虚拟环境的操作了,
使用conda-pack进行虚拟环境的打包
conda安装
$conda install -c conda-forge conda-pack
pip安装
pip install conda-pack
两种安装方式都可以任选一种
2.将虚拟环境打包成压缩文件
在激活的虚拟环境中输入以下命令:
将虚拟环境 xx 打包为 xx.tar.gz
$conda-pack -n xx
打包完成后在当前目录下会有一个xx.tar.gz文件
五、在目标服务器上激活虚拟环境
1.在目标服务器中创建一个目录并使用移动硬盘将xx.tar.gz文件拷贝到该目录下并解压
创建一个名为xx的目录
$mkdir xx
进入到该目录下
$cd xx
解压文件
$tar -xzf xx.tar.gz -C xx
2.激活环境,同时这比操作将会把“xx/bin”添加到环境变量path
source xx/bin/activate
将解压的文件安装到离线服务器的anaconda/env目录下,方便激活环境
3.检查环境中的包是否存在
pip list