oozie简单搭建

oozie搭建

下载

安装

安装环境

    - centOS6.6
    - Java JDK 1.7
    - Maven 3.3.9
    - hadoop-2.6.0-cdh5.4.4
    - oozie-4.1.0-cdh5.4.11.tar.gz
    - ext-2.2.zip      

编译

直接下载编译好的安装包;

http://archive-primary.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.4.11.tar.gz

注意事项

  1. ExtJS版本必须是2.2版本
  2. 推荐使用Oozie这个Linux用户。这个暂时不需要管 (有权限问题,我使用的hdfs用户)

安装介绍

  • 本文解压的目录为:/home/oozie/software/oozie-4.1.0-cdh5.4.11


    1152977299.jpg

    目录分析:

    oozie-server-----其实就是一个tomcat
    src--------------源码
    bin--------------脚本
    lib-------------jar包
    conf------------配置文件
    oozie.war-------oozie工程
    oozie-sharelib-.tar.gz----调用hadoop、hive等的jar包(重要)
    oozie-example-
    .tar.gz---案例

配置hadoop的core-site.xml

  • 我们的Hadoop平台分用户搭建hdfs搭建在hdfs用户下,这里部署ooize用户也使用该用户,因为使用新建oozie用户有hdfs权限问题,部署Oozie的主机名为hdp1。修改Hadoop的配置文件core-site.xml,增加如下配置内容:

<property>
<name>hadoop.proxyuser.hdfs.hosts</name>
<value>hdp1</value>
</property>
<property>
<name>hadoop.proxyuser.hdfs.groups</name>
<value>*</value>
</property>

解压 oozie-hadooplibs-4.1.0-cdh5.4.11.tar.gz

  • 特别注意:解压的目录要与oozie解压的路径相同,解压完成后会在oozie根目录下生成一个hadooplibs文件!!!

创建libext目录

  • 拷贝hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6下的jar包到libext/目录下

拷贝ext-2.2.zip到libext/目录下

1253940190.jpg

创建war包并加到tomcat里

  • 执行命令生产war到制定目录

$ bin/oozie-setup.sh prepare-war


792643509.jpg

重启hadoop进成,直到脱离安全模式

  • 先stop namenode、datanode、resourcemanager、nodemanager、historyserver,然后再分别start。
  • 执行如下命令

bin/oozie-setup.sh sharelib create -fs hdfs://hdp1.bjyn.com:9000 -locallib oozie-sharelib-4.1.0-cdh5.4.11-yarn.tar.gz
在 hdfs 50070 查看目录

1286120026.jpg

初始化数据库

bin/ooziedb.sh create -sqlfile oozie.sql
bin/oozie-setup.sh db create -run -sqlfile /home/hdfs/software/oozie-4.1.0-cdh5.4.11/oozie.sql

319659483.jpg
1085671577.jpg

启动oozie守护进程Bootsrap

$ bin/oozied.sh start 后台启动
$ bin/oozie-run.sh 前台运行
$ bin/oozie admin -oozie http://localhost:11000/oozie -status 验证服务启动状态

1713114422.jpg

查看界面

  • ip:11000/oozie/
1880644795.jpg

参考:http://archive-primary.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.4.11/DG_QuickStart.html

http://cache.baiducontent.com/c?m=9d78d513d99217f54fede523505e8c310e54f1744cd5c7657fc3e54d841459550026bdb47d645646c4c40f7a1cff1701bfe73605664276eb8cc8ff168afd8f6268c26062274ad14219d912b29806639a71ce0df4f94ea1e9ab6cd2b3d5d1de5f52cb5800&p=843dc64ad4934eaf58e88c2c5b4a90&newp=9a769a478b934eaf58e8d0255241c9231610db2151d6d7176b82c825d7331b001c3bbfb423241202d1c37d6402ae4b58ecf7327233092ba3dda5c91d9fb4c57479d5&user=baidu&fm=sc&query=cdh+oozie+%B0%B2%D7%B0&qid=e7447d9100016caf&p1=7

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,738评论 5 472
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,377评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,774评论 0 333
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,032评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,015评论 5 361
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,239评论 1 278
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,724评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,374评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,508评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,410评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,457评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,132评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,733评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,804评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,022评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,515评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,116评论 2 341

推荐阅读更多精彩内容

  • 1、运行环境 主机IP 主机名 2、配置主机名(分别在五台机器上执行) hostname +主机名例如: h...
    献给记性不好的自己阅读 3,538评论 0 6
  • 为什么需要任务调度框架 在进行数据处理的时候,需要进行数据采集、数据清洗、数据分析等操作,每一个过程都可能涉及到多...
    心_的方向阅读 6,184评论 1 6
  • 最近在研究数据挖掘相关的东西,在本地 Mac 环境搭建了一套伪分布式的 hadoop 开发环境,采用CDH发行版本...
    Edward_Koios阅读 9,797评论 3 9
  • 连续上班两个月,实在是疲惫,百吨库存,每天都在思考如何销售库里的商品。越来越感觉到生活模式太单调了,家里-公交-...
    k承龙阅读 540评论 0 50
  • 若说春天被各种鲜花装扮 独爱路边的野花 美丽而不妖艳 若你弯下腰细心的和它对话 未语心已动 它如此之美 没有任何的...
    幸福的李慧阅读 364评论 2 1