小记ubantu conda TensorFlow 环境配置

介绍

现在开始入门学习机器学习,实验室有一台两路泰坦的深度学习机,要把它用起来,所以开始折腾各种配置。

Conda是一个开源包管理系统和环境管理系统,用于安装多个版本的软件包及其依赖关系,并在它们之间轻松切换。 它适用于Linux,OS X和Windows,是为Python程序创建的,但可以打包和分发任何软件。

需求场景

实验室是一个多人环境,需要做好权限管理不然很容易搞乱,所以拟定用Anaconda来进行python的运行环境管理

根据实际需求自定义安装Anaconda,在root下创建的conda python环境为所有用户都能使用的环境,python环境目录在/usr/share/anaconda3/envs/下面。

用户自己创建的环境会在各自的home目录下,不会影响到别人的。

环境设置

实际中遇到的情况是在模型比较简单的情况下,用GPU加速的TensorFlow会跑的比CPU还慢

并且各种可执行的算法代码有时候是python2的,有时候是python3的,所以最终拟定创建4个python source执行环境

最终拟定创建的4个conda环境命名如下

硬件 python2.7 python3.5
gpu py2-tf-gpu py3-tf-gpu
cpu py2-tf-cpu py3-tf-cpu

安装流程

  1. 安装显卡驱动
  2. (可选)安装 cuda 和 cudnn
  3. 安装Anconda
  4. 创建conda python环境

安装显卡驱动

参考

https://blog.csdn.net/jhszh418762259/article/details/52957166

https://blog.csdn.net/u012581999/article/details/52433609

(可选)卸载可能存在的旧版本 nvidia 驱动

(对没有安装过 nvidia 驱动的主机,这步可以省略,但推荐执行,无害)

$sudo apt-get remove --purge nvidia*

禁用自带的 nouveau nvidia驱动

创建一个文件通过命令

sudo vim /etc/modprobe.d/blacklist-nouveau.conf

并添加如下内容:

blacklist nouveau
options nouveau modeset=0

再更新一下

sudo update-initramfs -u

修改后需要重启系统。确认下Nouveau是已经被你干掉,使用命令:

lsmod | grep nouveau

3重启系统至init 3(文本模式),也可先进入图形桌面再运行init 3进入文本模式,再安装下载的驱动就无问题,

首先我们需要结束x-window的服务,否则驱动将无法正常安装

Driver测试:

nvidia-smi #若列出GPU的信息列表,表示驱动安装成功

安装驱动

去官网下载对于版本的安装包,并执行

sudo ./NVIDIA.run

开始安装,安装过程比较快,根据提示选择即可

用 nvdia-prime 切换显卡

如果CPU带有集成显卡

使用 nvdia-prime 切换到独立显卡上

(可选)手动安装cuda + CUDNN

这里有两种解决方案,一种是根据官方文档自行安装,另一种是在conda创建环境的时候,由conda包管理工具自动安装

cuda 和 cudnn 以及TensorFlow对这两者之间的版本支持情况可能有坑,只是想快速上手少折腾的话强烈推荐直接用conda来安装

cuda安装官方文档

http://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html

cudnn安装官方文档

http://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html

anaconda 安装

参考 https://www.jianshu.com/p/17288627b994

直接采用sh安装包默认安装的anaconda会多用户无法共享,这里的自定义安装可以所有用户可以共用conda,用户自己创建的环境会在各自的home目录下,不会影响到别人的。由root创建的python环境是大家可以共用的。

安装流程

  1. https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 下载安装包
  2. 在root下运行指令安装 sh Anaconda3-X.X.X-Linux-x86_64.sh
  3. 选择安装目录的时候填 /usr/share/anaconda3
  4. 用vim编辑 /etc/bash.bashrc,添加 export PATH="/usr/share/anaconda3/bin:$PATH" 到文件中
  5. 重启终端即可使用conda命令

conda使用方法

安装成功验证

在终端窗口中,输入以下内容:

conda --version
创建环境
conda create --name py2-tf-cpu python=2.7 tensorflow

这将创建一个名为/envs/py2-tf-cpu,该环境指定python版本为2.7,该环境会自动安装tensorflow及其所需要的依赖项目。

提示:两个破折号(--)后面的许多常用选项可以缩写为短划线和第一个字母。所以--name和-n选项是一样的,--envs和-e是一样的。见conda --help或conda -h查看缩写列表。

查看环境列表

现在让我们检查到目前为止已经安装了哪些环境。使用conda environment info命令找出:

conda info -e 
# 或者 conda info --envs
使用某个环境

更改为其他环境,输入以下命令

source activate py2-tf-cpu

取消当前环境,回到默认的环境

source deactivate
为当前环境安装某个包

用pip或者conda直接安装均可,对于tensorflow-gpu版本,非常推荐使用conda来安装,它会自动帮忙安装cuda和cudnn,很省心,只需要提前装好显卡驱动就行了

conda install tensorflow-gpu
# pip install tensorflow-gpu
查看在环境中安装的软件包和版本的列表

使用此选项可查看环境中安装的是哪个版本的Python或其他程序,或者确认已添加或删除了包。在您的终端窗口中,只需键入:

conda list
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容