DRUID的安装部署

使用的是imply集成的druid,Imply提供了一套完整的部署方式,包括依赖库,Druid,tranquility、图形化的数据展示页面(pivot),SQL查询组件等。

安装版本: imply_3.0.7

部署规划:

角色机器集群角色

主节点master服务server3Coordinator,Overlord

主节点master服务server4Coordinator,Overlord

数据服务、查询服务server5Historical, MiddleManager, Tranquility,Broker,Pivot

数据服务、查询服务server6Historical, MiddleManager, Tranquility,Broker,Pivot

注:1、本druid集群具有HA特性。

2、server7也安装有imply_3.0.7,以便于以后横向拓展。

启动命令:

以后台挂起方式启动druid:

在server3、server4上执行

nohup bin/supervise -c conf/supervise/master.conf > master.log &

在server5、server5上执行

nohup bin/supervise -c conf/supervise/data-with-query.conf > data-with-query.log &

可视化控制台

overlord 控制页面:http://server3:8090/console.html

druid集群页面:http://server3:8081/index.html#/

数据可视化页面:http://server5:9096/datasets

配置文件

conf/druid/_common/common.runtime.properties

#

# Extensions

#

druid.extensions.directory=dist/druid/extensions

druid.extensions.hadoopDependenciesDir=dist/druid/hadoop-dependencies

druid.extensions.loadList=["mysql-metadata-storage","druid-hdfs-storage","druid-kafka-indexing-service","druid-lookups-cached-global","druid-histogram","druid-datasketches"]

#

# Logging

#

# Log all runtime properties on startup. Disable to avoid logging properties on startup:

druid.startup.logging.logProperties=true

#

# Zookeeper

#

druid.zk.service.host=server3:2181,server4:2181,server5:2181

druid.zk.paths.base=/druid

#

# Metadata storage

#

# For Derby server on your Druid Coordinator (only viable in a cluster with a single Coordinator, no fail-over):

#druid.metadata.storage.type=derby

#druid.metadata.storage.connector.connectURI=jdbc:derby://master.example.com:1527/var/druid/metadata.db;create=true

#druid.metadata.storage.connector.host=master.example.com

#druid.metadata.storage.connector.port=1527

# For MySQL:

druid.metadata.storage.type=mysql

druid.metadata.storage.connector.connectURI=jdbc:mysql://server2:3306/druid

druid.metadata.storage.connector.user=root

druid.metadata.storage.connector.password=root

# For PostgreSQL:

#druid.metadata.storage.type=postgresql

#druid.metadata.storage.connector.connectURI=jdbc:postgresql://db.example.com:5432/druid

#druid.metadata.storage.connector.user=...

#druid.metadata.storage.connector.password=...

#

# Deep storage

#

# For local disk (only viable in a cluster if this is a network mount):

#druid.storage.type=local

#druid.storage.storageDirectory=var/druid/segments

# For HDFS:

druid.storage.type=hdfs

druid.storage.storageDirectory=hdfs://server1:9870/druid/segments

#

# Indexing service logs

#

# For local disk (only viable in a cluster if this is a network mount):

#druid.indexer.logs.type=file

#druid.indexer.logs.directory=var/druid/indexing-logs

# For HDFS:

druid.indexer.logs.type=hdfs

druid.indexer.logs.directory=hdfs://server1:9870/druid/indexing-logs

# For S3:

#druid.indexer.logs.type=s3

#druid.indexer.logs.s3Bucket=your-bucket

#druid.indexer.logs.s3Prefix=druid/indexing-logs

#

# Service discovery

#

druid.selectors.indexing.serviceName=druid/overlord

druid.selectors.coordinator.serviceName=druid/coordinator

#

# Monitoring

#

druid.monitoring.monitors=["org.apache.druid.java.util.metrics.JvmMonitor"]

druid.emitter=logging

druid.emitter.logging.logLevel=debug

注:需将core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等Hadoop的配置文件移至_common文件夹下

conf/pivot/config.yaml

# The port on which the Pivot server will listen on.

port: 9096

# runtime directory

varDir: var/pivot

servingMode: clustered

# User management mode

# By default Imply will not show a login screen and anyone accessing it will automatically be treated as an 'admin'

# Uncomment the line below to enable user authentication, for more info see: https://docs.imply.io/on-prem/configure/config-api

#userMode: native-users

# The initial settings that will be loaded in, in this case a connection will be created for a Druid cluster that is running locally.

stateStore:

type: mysql

connection: 'mysql://user:password@server2:3306/druid'

table: 'pivot_state'

initialSettings:

connections:

- name: druid

type: druid

title: My Druid

host: localhost:8887

brokerHosts: ["server5:8082"]

coordinatorHosts: ["server3:8081"]

overlordHosts: ["server3:8090"]

#

# Pivot must have a state store in order to function

# The state (data cubes, dashboards, etc) can be stored in two ways.

# Choose just one option and comment out the other.

#

# 1) Stored in a sqlite file, editable at runtime with Settings View. Not suitable for running in a cluster.

# 2) Stored in a database, editable at runtime with Settings View. Works well with a cluster of Imply servers.

#

#

# 1) File-backed (sqlite) state (not suitable for running in a cluster)

#

#stateStore:

# type: sqlite

# connection: var/pivot/pivot-settings.sqlite

#

# 2) Database-backed state 'mysql' (MySQL) or 'pg' (Postgres)

#

# stateStore:

# location: mysql

# connection: 'mysql://user:password@server2:3306/druid'

创建conf/supercise/data-with-query.conf文件

:verify bin/verify-java

:verify bin/verify-version-check

broker bin/run-druid broker conf

router bin/run-druid router conf

pivot bin/run-pivot conf

historical bin/run-druid historical conf

middleManager bin/run-druid middleManager conf

# Uncomment to use Tranquility Server

#!p95 tranquility-server bin/tranquility server -configFile conf/tranquility/server.json

# Uncomment to use Tranquility Kafka

#!p95 tranquility-kafka bin/tranquility kafka -configFile conf/tranquility/kafka.json

# Uncomment to use Tranquility Clarity metrics server

#!p95 tranquility-metrics-server java -Xms4g -Xmx4g -cp "dist/tranquility/lib/*:dist/tranquility/conf" com.metamx.tranquility.distribution.DistributionMain server -configFile conf/tranquility/server-for-metrics.yaml

创建conf/supercise/master.conf文件

:verify bin/verify-java

:verify bin/verify-version-check

coordinator bin/run-druid coordinator conf

!p80 overlord bin/run-druid overlord conf

注:

1、因端口号冲突,在配置文件中修改了以下端口号:

修改router端口为8887

修改middlemanager端口号为8092

修改pivot端口号为9096

因druid启动有自检端口号机制,需修改启动文件bin/verify-default-ports中检查的端口号

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容

  • 安装准备 安装包准备 源码编译 官网安装包 imply组合套件 生产环境的Hadoop使用Java7, 官方安装包...
    zfylin阅读 2,287评论 0 4
  • Druid具有高可用、高容错的特性。 本文将搭建一个简单的Druid集群,并且将会讨论如何进一步配置以满足您的需求...
    helloworld1214阅读 7,124评论 1 5
  • Druid被设计成可扩展、高容错的集群。 在本文档中,我们将搭建一个简单的集群,并讨论如何进一步配置以满足您的需求...
    Sisyphus秋居拾遗阅读 2,181评论 0 2
  • Quickstart单机测试 http://druid.io/docs/0.10.1/tutorials/quic...
    大诗兄_zl阅读 1,246评论 0 0
  • 今天又是周五了,明天可以休息了,大宝今天晚上做的作业还是挺多的,改完了试卷做了算数题,语文写了点生字,练了一会字,...
    宝贝儿快乐阅读 84评论 0 0