介绍
现在开始入门学习机器学习,实验室有一台两路泰坦的深度学习机,要把它用起来,所以开始折腾各种配置。
Conda是一个开源包管理系统和环境管理系统,用于安装多个版本的软件包及其依赖关系,并在它们之间轻松切换。 它适用于Linux,OS X和Windows,是为Python程序创建的,但可以打包和分发任何软件。
需求场景
实验室是一个多人环境,需要做好权限管理不然很容易搞乱,所以拟定用Anaconda来进行python的运行环境管理
根据实际需求自定义安装Anaconda,在root下创建的conda python环境为所有用户都能使用的环境,python环境目录在/usr/share/anaconda3/envs/下面。
用户自己创建的环境会在各自的home目录下,不会影响到别人的。
环境设置
实际中遇到的情况是在模型比较简单的情况下,用GPU加速的TensorFlow会跑的比CPU还慢
并且各种可执行的算法代码有时候是python2的,有时候是python3的,所以最终拟定创建4个python source执行环境
最终拟定创建的4个conda环境命名如下
硬件 | python2.7 | python3.5 |
---|---|---|
gpu | py2-tf-gpu | py3-tf-gpu |
cpu | py2-tf-cpu | py3-tf-cpu |
安装流程
- 安装显卡驱动
- (可选)安装 cuda 和 cudnn
- 安装Anconda
- 创建conda python环境
安装显卡驱动
参考
https://blog.csdn.net/jhszh418762259/article/details/52957166
https://blog.csdn.net/u012581999/article/details/52433609
(可选)卸载可能存在的旧版本 nvidia 驱动
(对没有安装过 nvidia 驱动的主机,这步可以省略,但推荐执行,无害)
$sudo apt-get remove --purge nvidia*
禁用自带的 nouveau nvidia驱动
创建一个文件通过命令
sudo vim /etc/modprobe.d/blacklist-nouveau.conf
并添加如下内容:
blacklist nouveau
options nouveau modeset=0
再更新一下
sudo update-initramfs -u
修改后需要重启系统。确认下Nouveau是已经被你干掉,使用命令:
lsmod | grep nouveau
3重启系统至init 3(文本模式),也可先进入图形桌面再运行init 3进入文本模式,再安装下载的驱动就无问题,
首先我们需要结束x-window的服务,否则驱动将无法正常安装
Driver测试:
nvidia-smi #若列出GPU的信息列表,表示驱动安装成功
安装驱动
去官网下载对于版本的安装包,并执行
sudo ./NVIDIA.run
开始安装,安装过程比较快,根据提示选择即可
用 nvdia-prime 切换显卡
如果CPU带有集成显卡
使用 nvdia-prime 切换到独立显卡上
(可选)手动安装cuda + CUDNN
这里有两种解决方案,一种是根据官方文档自行安装,另一种是在conda创建环境的时候,由conda包管理工具自动安装
cuda 和 cudnn 以及TensorFlow对这两者之间的版本支持情况可能有坑,只是想快速上手少折腾的话强烈推荐直接用conda来安装
cuda安装官方文档
http://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html
cudnn安装官方文档
http://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html
anaconda 安装
参考 https://www.jianshu.com/p/17288627b994
直接采用sh安装包默认安装的anaconda会多用户无法共享,这里的自定义安装可以所有用户可以共用conda,用户自己创建的环境会在各自的home目录下,不会影响到别人的。由root创建的python环境是大家可以共用的。
安装流程
- 在 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 下载安装包
- 在root下运行指令安装 sh Anaconda3-X.X.X-Linux-x86_64.sh
- 选择安装目录的时候填 /usr/share/anaconda3
- 用vim编辑 /etc/bash.bashrc,添加 export PATH="/usr/share/anaconda3/bin:$PATH" 到文件中
- 重启终端即可使用conda命令
conda使用方法
安装成功验证
在终端窗口中,输入以下内容:
conda --version
创建环境
conda create --name py2-tf-cpu python=2.7 tensorflow
这将创建一个名为/envs/py2-tf-cpu,该环境指定python版本为2.7,该环境会自动安装tensorflow及其所需要的依赖项目。
提示:两个破折号(--)后面的许多常用选项可以缩写为短划线和第一个字母。所以--name和-n选项是一样的,--envs和-e是一样的。见conda --help或conda -h查看缩写列表。
查看环境列表
现在让我们检查到目前为止已经安装了哪些环境。使用conda environment info命令找出:
conda info -e
# 或者 conda info --envs
使用某个环境
更改为其他环境,输入以下命令
source activate py2-tf-cpu
取消当前环境,回到默认的环境
source deactivate
为当前环境安装某个包
用pip或者conda直接安装均可,对于tensorflow-gpu版本,非常推荐使用conda来安装,它会自动帮忙安装cuda和cudnn,很省心,只需要提前装好显卡驱动就行了
conda install tensorflow-gpu
# pip install tensorflow-gpu
查看在环境中安装的软件包和版本的列表
使用此选项可查看环境中安装的是哪个版本的Python或其他程序,或者确认已添加或删除了包。在您的终端窗口中,只需键入:
conda list