大数据学习(hbase,hive,sqoop2对数据的简单操作)

我们就简单用一组数据来使用这三个组件

首先自己随便准备一组测试数据,导入数据到mysql

导入完成。

一、用Sqoop1.99.7将mysql数据导入hdfs

强烈推荐这篇博客 blog.csdn.net/m_signals/article/details/53190965

执行sqoop2-shell进入shell界面

setoption--name verbose --valuetrue  这个可以使操作输出更多的信息

setserver--host master --port 12000--webapp sqoop 设置端口号12000

1.执行show version -all,查看sqoop2是否正常运作

2.1执行show connector,查看有哪些注册了的连接器

2.2创建连接

首先创建jdbc

create link -connector generic-jdbc-connector

Name:标示这个link的字符串,可以是一个自己喜欢的名称。

Driver Class:指定jdbc启动时所需要加载的driver类,这个类实现了Java.sql.Driver接口。对本文来说,这个值是com.mysql.jdbc.Driver。

Connection String:数据库链接字符串

Username:链接数据库的用户名,也就是mysql客户端传入的-u参数。

Password:链接数据库的用户密码。

FetchSize:这个属性并没有在官方文档上描述,直接回车了,使用的默认值。

Identifier enclose:指定SQL中标识符的定界符,也就是说,有的SQL标示符是一个引号:select * from "table_name",这种定界符在MySQL中是会报错的。这个属性默认值就是双引号,所以不能使用回车,必须将之覆盖,使用空格覆盖这个值。

再创建HDFS

create link -connector hdfs-connector

其中URI是我们Hadoop配置文件中fs.defaultFS的值

Conf derectory使我们Hadoop配置文件的目录

查看我们创建的link,完成

3.接下来就是job

3.1 创建job

create job -f jdbcEmp -t hdfsEmp

-f指定from,即是数据源位置,-t指定to,即是目的地位置。本例是从MySQL传递数据到HDFS,所以就是from mysql to HDFS。参数值就是在创建链接(link)时指定的Name。

3.2 提交job

首先查看我们创建成功的的job

提交Job

start job -n EmployeeToHdfs

我们也可以在WebUI上查看进程

如果你发现如果最后WebUI上报错 ..Exception from container-launch...

那么可以尝试在hadoop的配置文件mapred-site.xml中加上两段话,对JVM的内存进行处理

mapreduce.admin.map.child.java.opts

-Xmx1024m

mapreduce.admin.reduce.child.java.opts

-Xmx5120m

(这就是我从运行JOB到JOB FINISHED花了四天的原因之一...)

查看我们的数据

hadoop fs  -cat /sqoop2/*

成功。


二、将数据从hdfs导入hbase并显示

启动Hadoop之后,首先在各个节点上启动zookeeper,然后再启动Hbase

主节点有HMaster和QuorumPeerMain

分节点有HRegionServer和QuorumPeerMain

(如果HMaster启动不久就消失,那就是Hbase配置文件的问题,回头好好检查)

我们使用hbase提供的important工具来导入

首先执行hbase org.apache.hadoop.hbase.mapreduce.Import查看用法

看起来大概就是刚才的命令+表名+文件

执行start-hbase.sh

执行hbase shell进入hbase,首先创建我们的表

创建之后我们回命令行执行我们刚才所说的命令

但是报错:不是序列化文件。所以就得换个方法了,于是我就找到下面这个命令

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,**列名1**,**列名2**  **表名**  **文件路径**

这个命令就是先执行文件序列化,再导入HBase,我们实际操作下

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,emp_no,birth_date,first_name,last_name,gender,hire_date  employees sqoop2/*

然后就开始执行MapReduce程序,同样可以通过WebUI查询。

最后跑完,我们回hive查看下

执行scan‘employees’

大概就是这样了,因为数据比较多,我没等刷新完,但已经说数据已经成功从HDFS导入到HBase中了。



三、将数据从hdfs导入hive并显示

在导入数据之前,我们首先得根据源数据的类型来创建一个表

通过mysql可以看到有哪些数据和类型

所以我们进入到我们的hive界面,执行下面的操作创建一个新表

(hive中没有enum,所以我直接替换成了string;date类型我查了,hive应该是自带了的,但我始终打印出来的是NULL,所以暂时也用string代替)

然后执行

load data inpath‘**HDFS上的路径***’into table **表名称**;

将HDFS上的数据导入到hive中。

成功之后执行select * from  **表名**  ;

我们就可以看到已经成功的把数据导入到了hive中


四.hive和hbase的基本shell操作

这个在网上就随便搜搜就一大堆的,我再啰嗦就不好了....


至此结束,如果有任何错误地方欢迎指出(╯‵□′)╯︵┻━┻

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,340评论 5 467
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,762评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,329评论 0 329
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,678评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,583评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 47,995评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,493评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,145评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,293评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,250评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,267评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,973评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,556评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,648评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,873评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,257评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,809评论 2 339

推荐阅读更多精彩内容