kafka集群管理工具kafka-manager安装部署
kafka安装
Kafka集群环境需要以下环境支持：
Java环境(kafka新版本要求Java8)
Zookeeper环境
Java环境搭建
按照相关教程搭建java环境
配置环境变量如下：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
#hadoop
export HADOOP_HOME=/usr/local/software/hadoop-2.8.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_ROOT_LOGGER=INFO,console
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
#hive
export HIVE_HOME=/usr/local/software/hive-2.2.0
export PATH=$HIVE_HOME/bin:$PATH
zookeeper环境搭建
1.搭建好Java环境
2.官网下载zookeeper tar包，地址，我下载的是zookeeper-3.4.12.tar.gz
3.将下载下来的压缩包上传到指定服务器相关目录并解压，命令:
es@es2:/usr/local/software $ tar -zxvf zookeeper-3.4.12.tar.gz #解压
es@es2:/usr/local/software $ cd zookeeper-3.4.12
es@es2:/usr/local/software $ cp conf/zoo_sample.cfg zoo.cfg #重命名配置文件
4.修改配置文件，主要修改以下几个地方：
# 数据文件存放地址
dataDir=/usr/local/data/zookeeper/data
# log 文件存放地址
dataLogDir=/usr/local/data/zookeeper/log
# 端口
clientPort=2181
# 监听端口
server.1=ip1:2888:3888 #server id为1
server.2=ip2:2888:3888 #server id为2
server.3=ip3:2888:3888 #server id为3
5.新建数据存放文件的data目录（配置文件中dataDir所指向的路径）:
[es@es2 zookeeper]# mkdir data #新建data目录
[es@es2: data]# vi myid #新建myid文件
[es@es2: data]# echo 1>>myid #写入server1的id为1
6.将server1的zookeeper包拷贝到32和33
[es@es2 zookeeper-3.4.10] scp -r ../zookeeper-3.4.10 es@es1:/usr/local/software
[es@es2 zookeeper-3.4.10] scp -r ../zookeeper-3.4.10 es@es3:/usr/local/software
分别将zookeeper data目录下的myid文件作相应的修改(32的myid修改为2，33的myid修改为3)
7.启动zookeeper：
bin/zkServer.sh start
分别启动三台server，使用jps命令看到如下进程
es@es2:/usr/local/software/zookeeper-3.4.12$ jps
26836 Jps
30997 DataNode
26809 QuorumPeerMain
表示zookeeper启动完成。
kafka环境部署
1.下载kafka压缩包，地址
2.上传到对应服务器的相关目录并解压缩
3.修改配置文件，配置文件在config/server.properties，主要修改以下位置：
# broker.id参数，需保证同一集群内参数唯一，integer
broker.id=1
listeners=PLAINTEXT://ip1:9092
host.name=ip1
advertised.listeners=PLAINTEXT://ip1:9092
max.request.size=50000000
# kafka 数据存放目录
log.dirs=/usr/local/data/kafka/kafka-logs
# zookeeper连接地址
zookeeper.connect=ip1:2181,ip2:2181,ip3:2181
# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=6000
# 删除topic
delete.topic.enable=true
# 自动创建topic
auto.create.topics.enable=false
# topic一次存取的最大数据量
message.max.byte=52428800
其他几台服务器作相应的修改，但必须保证broker.id参数在一个kafka集群里唯一！
4.kafka内存分配
kafka对内存的要求不是特别高，默认1G,可以根据服务器的实际情况分配内存大小，修改位置：
[es@es2 kafka]# vi bin/kafka-server-start.sh
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx4G -Xms4G" ##修改内存大小，这里修改为4G
fi
5.启动kafka，分别在各台服务器启动kafka进程
[es@es2 kafka]# bin/kafka-server-start.sh -daemon config/server.properties #后台启动kafka进程
6.使用jps命令查看进程：
[es@es2 kafka]# jps
20754 Jps
18422 Kafka
4119 QuorumPeerMain
表示kafka启动成功！
kafka-manager
kafka-manager 简介
为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具，有如下功能：
1.管理多个kafka集群
2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)
3.选择你要运行的副本
4.基于当前分区状况进行
5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)
6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)
7.Topic list会指明哪些topic被删除（在0.8.2以上版本适用）
8.为已存在的topic增加分区
9.为已存在的topic更新配置
10.在多个topic上批量重分区
11.在多个topic上批量重分区(可选partition broker位置)
kafka-manager 项目地址：https://github.com/yahoo/kafka-manager
下载安装 kafka-manager
- 下载编译
git clone https://github.com/yahoo/kafka-managercd kafka-manager
cd kafka-manager
# 因为要编译。所以下面这步操作要等很久
sbt clean distcd target/
# 在target目录下我们可以看到 kafka-manager
kafka-manager-1.3.3.18.tar.gz
- tips:
使用sbt编译打包的时候时间可能会比较长，如果你hang在
Loading project definition from kafka-manager/project
可以修改project/plugins.sbt中的LogLevel参数
将logLevel := Level.Warn修改为logLevel := Level.Debug
- 解压
unzip kafka-manager-1.3.3.18.zip -d /usr/local/software
cd /usr/local/software/kafka-manager-1.3.3.18
- 修改配置 conf/application.properties
# 如果zk是集群，这里填写多个zk地址
kafka-manager.zkhosts="ip1:2181"
- 启动
bin/kafka-manager
报以下错：
rg.jboss.netty.channel.ChannelException: Failed to bind to: /0.0.0.0:9000
at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272)
at play.core.server.NettyServer$$anonfun$1.apply(NettyServer.scala:132)
at play.core.server.NettyServer$$anonfun$1.apply(NettyServer.scala:129)
at scala.Option.map(Option.scala:146)
at play.core.server.NettyServer.<init>(NettyServer.scala:129)
at play.core.server.NettyServerProvider.createServer(NettyServer.scala:200)
at play.core.server.NettyServerProvider.createServer(NettyServer.scala:199)
at play.core.server.ServerProvider$class.createServer(ServerProvider.scala:24)
at play.core.server.NettyServerProvider.createServer(NettyServer.scala:199)
at play.core.server.ProdServerStart$.start(ProdServerStart.scala:58)
at play.core.server.ProdServerStart$.main(ProdServerStart.scala:27)
at play.core.server.ProdServerStart.main(ProdServerStart.scala)
Caused by: java.net.BindException: Address already in use
at sun.nio.ch.Net.bind0(Native Method)
at sun.nio.ch.Net.bind(Net.java:433)
at sun.nio.ch.Net.bind(Net.java:425)
at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
kafka-manager 默认的端口是9000，而9000端口被占用，
root@es2:~# netstat -apn |grep 9000
tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN 6343/clickhouse-ser
可通过 -Dhttp.port，指定端口; -Dconfig.file=conf/application.conf指定配置文件:
./bin/kafka-manager -Dhttp.port=9080
我们用浏览器访问试试，界面非常简洁
这样便安装成功了
参考：
