Zeppelin 安装和 解决 运行报错

使用中报错 spark
java.lang.OutOfMemoryError: Java heap space错误及处理办法(收集整理、转)
说明 zeppelin 中spark 的jvm 的堆空间不足 ,需要增大堆空间 ,需要修改 zeppelin 中的spark 下的配置文件
--driver-memory 2G

image.png

启动zeppelin 守护进程, 打开网页如果没有 正常显示,需要查看 zeppelin的目录下的webapps目录,把 zeppelin.war包放入其中,stop 重启

Apache Zeppelin官方提供了Source包和二进制包,我们可以根据需要下载相关的包进行安装。这里我通过编译源码的方式来安装Apache Zeppelin,通过源码编译Zeppelin非常地简单,我这里从Zeppelin的git库里面下载最新的源码进行编译,步骤如下:

[iteblog@www.iteblog.com ~]$ git clone https:
//github
.com
/apache/incubator-zeppelin
.git

[iteblog@www.iteblog.com ~]$
cd
incubator-zeppelin

[iteblog@www.iteblog.com ~]$ mvn package -Pspark-1.5 -Dhadoop.version=2.2.0 -Phadoop-2.2 -DskipTests

[INFO] Reactor Summary:

[INFO]

[INFO] Zeppelin ........................................... SUCCESS [  4.336 s]

[INFO] Zeppelin: Interpreter .............................. SUCCESS [  4.525 s]

[INFO] Zeppelin: Zengine .................................. SUCCESS [  2.465 s]

[INFO] Zeppelin: S park dependencies ...................... SUCCESS [ 30.643 s]

[INFO] Zeppelin: S park ................................... SUCCESS [  2.220 s]

[INFO] Zeppelin: Markdown interpreter ..................... SUCCESS [  0.223 s]

[INFO] Zeppelin: Angular interpreter ...................... SUCCESS [  0.495 s]

[INFO] Zeppelin: Shell interpreter ........................ SUCCESS [  0.203 s]

[INFO] Zeppelin: Hive interpreter ......................... SUCCESS [  1.590 s]

[INFO] Zeppelin: Apache Phoenix Interpreter ............... SUCCESS [  2.196 s]

[INFO] Zeppelin: PostgreSQL interpreter ................... SUCCESS [  0.202 s]

[INFO] Zeppelin: JDBC interpreter ......................... SUCCESS [  0.171 s]

[INFO] Zeppelin: Tajo interpreter ......................... SUCCESS [  0.436 s]

[INFO] Zeppelin: Flink .................................... SUCCESS [  0.864 s]

[INFO] Zeppelin: Apache Ignite interpreter ................ SUCCESS [  0.219 s]

[INFO] Zeppelin: Kylin interpreter ........................ SUCCESS [  0.223 s]

[INFO] Zeppelin: Lens interpreter ......................... SUCCESS [  1.030 s]

[INFO] Zeppelin: Cassandra ................................ SUCCESS [  2.954 s]

[INFO] Zeppelin: Elasticsearch interpreter ................ SUCCESS [  1.601 s]

[INFO] Zeppelin: web Application .......................... SUCCESS [01:19 min]

[INFO] Zeppelin: Server ................................... SUCCESS [ 54.665 s]

[INFO] Zeppelin: Packaging distribution ................... SUCCESS [  0.991 s]

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESS

[INFO] ------------------------------------------------------------------------

[INFO] Total
time
: 03:12 min

[INFO] Finished at: 2016-01-20T16:35:33+08:00

[INFO] Final Memory: 97M
/1298M

[INFO] ------------------------------------------------------------------------

在编译Zeppelin的时候,会安装npm和node等,所以安装的进度有时会很慢。目前Zeppelin支持Spark 1.1到Spark 1.6和Hadoop 0.23到Hadoop 2.6等版本,我们可以分别通过下面选项指定相应的Spark和Hadoop版本:

-Pspark-1.6

-Pspark-1.5

-Pspark-1.4

-Pspark-1.3

-Pspark-1.2

-Pspark-1.1

-Pcassandra-spark-1.5

-Pcassandra-spark-1.4

-Pcassandra-spark-1.3

-Pcassandra-spark-1.2

-Pcassandra-spark-1.1

 
-Phadoop-0.23

-Phadoop-1

-Phadoop-2.2

-Phadoop-2.3

-Phadoop-2.4

-Phadoop-2.6

如果你需要使用到YARN,你必须在编译Zeppelin的时候指定-Pyarn
选项,具体可以参见本博客的《在Yarn上运行Apache Zeppelin & Spark》
  如果你需要使用到PySpark,编译的时候需要使用-Ppyspark

编译完Zeppelin之后,我们就可以启动Zeppelin:

[iteblog@www.iteblog.com ~]$ bin/zeppelin-daemon.sh start

停止Zeppelin可以使用:

[iteblog@www.iteblog.com ~]$ bin/zeppelin-daemon.sh stop

所有运行的日志会输入到logs目录下,如果遇到错误可以到里面去查找相关的日志。

需要注意的是,Zeppelin默认是在8080端口上启动相关的web服务的,在你服务器上,如果这个端口已经被占用了,那么会导致Zeppelin启动失败,并在日志里面抛出以下的异常:

WARN [2016-01-20 16:36:44,830] ({main} AbstractLifeCycle.java[setFailed]:204) - 
FAILED SelectChannelConnector@0.0.0.0:8080: java.net.BindException: Address already in use
java.net.BindException: Address already in use
    at sun.nio.ch.Net.bind0(Native Method)
    at sun.nio.ch.Net.bind(Net.java:444)
    at sun.nio.ch.Net.bind(Net.java:436)
    at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
    at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
    at org.eclipse.jetty.server.nio.SelectChannelConnector.open(SelectChannelConnector.java:187)
    at org.eclipse.jetty.server.AbstractConnector.doStart(AbstractConnector.java:316)
    at org.eclipse.jetty.server.nio.SelectChannelConnector.doStart(SelectChannelConnector.java:265)
    at org.eclipse.jetty.util.component.AbstractLifeCycle.start(AbstractLifeCycle.java:64)
    at org.eclipse.jetty.server.Server.doStart(Server.java:293)
    at org.eclipse.jetty.util.component.AbstractLifeCycle.start(AbstractLifeCycle.java:64)
    at org.apache.zeppelin.server.ZeppelinServer.main(ZeppelinServer.java:114)

我们可以到conf/zeppelin-site.xml文件里面进行配置,并修改zeppelin.server.port属性的值为其他不被占用的端口,如下:

<property>
  <name>zeppelin.server.port</name>
  <value>8090</value>
  <description>Server port.</description>
</property>

然后我们需要重启Zeppelin:

[iteblog@www.iteblog.com ~]$ bin/zeppelin-daemon restart

一切顺利的话,我们就可以在https://www.iteblog.com:8080上面看到下面页面信息:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,529评论 5 475
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,015评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,409评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,385评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,387评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,466评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,880评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,528评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,727评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,528评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,602评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,302评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,873评论 3 306
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,890评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,132评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,777评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,310评论 2 342

推荐阅读更多精彩内容