大数据学习(基础配置)

任务1:安装虚拟机,配置大数据平台宿主操作系统(CentOS 或者Ubuntu),Linux文件操作命令使用

一.安装虚拟机,配置大数据平台宿主操作系统

按照网上教程安装VM,然后按软件向导快速配置了Ubuntu17.04。同时也安装了CentOS,但还是觉得Ubuntu更好上手(桌面系统体验更好...)。所以学习阶段打算以Ubuntu为主。(操作之后也才知道不同的发行版本某些命令并不同,比如chkconfig并不能在Ubuntu运行)

笔记:比起直接从硬件上安装,虚拟机的快速安装省略了Ubuntu对各个文件,比如usr,swap,root等的分配。想进一步学习Linux,对Linux文件系统的了解应该是不可或缺的,还是得老老实实找点资料来看。

二.Linux文件操作命令使用

基础命令:

man 帮助

info 帮助

mata 时间

cal 日历

echo 显示字符串

cd 目录命令

nano 创建

cp 复制

mv 移动

rm 删除

su 用户转换

ps 查看系统状态.

*  通配符 任意长度的任意字符

通配符任意单个字符..

还有个重要的很重要的 apt-get,还有vi编辑的命令,目前也还不熟;还有查看IP的命令是 ip addr 和 ifconfig 

其他的嘛,目前差不多是用到了再去查书或者上网找。

笔记:

1.Linux区分大小写,Linux区分大小写,Linux区分大小写

2.不要用root权限乱删乱改东西,不要用root权限乱删乱改东西,不要用root权限乱删乱改东西。


问题:非常不习惯新的操作系统,特别是命令行操作

解决方法:多用用就好了,而且仔细想想,用命令行看起来应该很帅


三.ssh的配置

使用如下命令查看是否有ssh:

ps -A | grep ssh

如果显示的有sshd,那就是表示已经ssh可以使用,如果没有得先安装,使用如下指令就可以了:

sudo apt-get install openssh-server

然后再使用上面的指令,看看是不是出现了sshd进程。如果还没有就重新启动一下:

sudo /etc/init.d/ssh restart



任务2:配置Java开发环境并安装Eclipse;配置Python开发环境;安装MySQL并启动服务

一.配置Java开发环境

与在Windows配置的原理应该相同。现在网上找到最新的jdk下载,然后配置相应文件,方法有三种:(摘自http://www.cnblogs.com/samcn/archive/2011/03/16/1986248.html


1.修改/etc/profile文件

如果你的计算机仅仅作为开发使用时推荐使用这种方法,因为所有用户的shell都有权使用这些环境变量,可能会给系统带来安全性问题。

2.修改.bash_profile文件

这种方法更为安全,它可以把使用这些环境变量的权限控制到用户级别,如果你需要给某个用户权限使用这些环境变量,你只需要修改其个人用户主目录下的.bash_profile文件就可以了。

3. 直接在shell下设置变量

不赞成使用这种方法,因为换个shell,你的设置就无效了,因此这种方法仅仅是临时使用,以后要使用的时候又要重新设置,比较麻烦。


我采用的是第二种方法,而且不知道是否是版本更新问题,实际上我应该修改的文件是个人目录下的.bashrc 文件。之后记得source下,

然后在终端运行一下java -version, 万事大吉。

二.安装Eclipse

1.下载,解压Installer

2.从Installer文件中安装IDE  FOR  JAVA  DEVELOPERS试试水

3.运行:运行前要修改目录下的eclipse.ini文件,添加jdk路径。

4.打开之后走流程,试试Hello world,搞定

三.配置Python开发环境

大多Linux应该都内置了Python2,但是版本不是我们想要的

目前3.6.2是最新,所以在网上下载扔在文件里,然后配置点东西。

cd到python文件目录下依次如下执行命令(讲道理具体作用我并不是很懂)

./configuremakemake install

然后我们将替换原有的python2

which python

找到python位置

然后将原文件备份(可能系统会用到旧版本),之后

#rm -rf python

#ln -s 你的python文件目录/Python-3.6.2/python ./python

尝试一下,成功更换。

四.安装MySQL并启动服务

sudo apt-get install mysql-server

apt-get install mysql-client

sudo apt-get install libmysqlclient-dev

一条一条的走起,中途会提示设置密码(root用户的)

sudo netstat -tap | grep mysql

通过上述命令检查之后,如果看到有mysql 的socket处于 listen 状态则表示安装成功。

mysql -u root -p

-u 表示选择登陆的用户名, -p 表示登陆的用户密码,上面命令输入之后会提示输入密码,此时输入密码就可以登录到mysql。


问题:从Windows下载压缩包后扔(鼠标拖)进虚拟机,压缩包可能出现问题

解决方法:直接在Linux系统下载

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,667评论 5 472
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,361评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,700评论 0 333
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,027评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,988评论 5 361
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,230评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,705评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,366评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,496评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,405评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,453评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,126评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,725评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,803评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,015评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,514评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,111评论 2 341

推荐阅读更多精彩内容