kafka起初是由Linkedin开发的分布式消息系统，使用Scala编写，能做支持发布及订阅，因可在多个服务器进行水平扩展及高吞吐率而被广泛使用。目前更多的开源分布式处理系统，如Cloudera,Apache storm,Spark都支持kafka集成。
那什么是消息队列？
大家应该都会遇到过一个场景，去M点餐时收银员会给一个号牌，并告知等待叫号取餐，大家根据自己手里的号牌排队等叫号。即使人很多但是也很有秩序。
上述场景中，点餐的柜台就是一个消息队列，A把订餐的消息告知柜台，此时A是生产者的角色，柜台是传输的角色，等A取完餐又成了消费者的角色。这就是消息队列一个完整的走向。
消息队列的作用是在传输过程中能完整的的保存消息的内容，列队是提供路由及保消息的传递，如果发送消息时接收者暂不可用，消息队列会保留消息，直到传递成功。并且消息队列的优点是能实时返回执行结果。
大概介绍一些kafka的名词，例如producer（生产者）,broker（篮子）,consumer（消费者）,topic（主题）,partition（分区），consumer Group(消费组）……
生产者和消费者都是通过API去连接broker。
broker是存放消息队列的容器，producer会把消息放在broker中，consumer会订阅broker中的消息。
topic是用来区分不同的主题，隔离不同的数据。
partition是把topic中的数据存放在不同的分区，减轻服务器的吞吐。
consumer Group是针对订阅相同topic的worker做了一个分组，一个worker订阅后整个消费组都可以消费，也可以多个consumer Group去消费一个topic。
安装配置步骤：
注意：是在安装并启动了zookeeper后再安装kafka。
试验机器：192.168.10.10 hostname:zk1
192.168.10.11 hostname:zk2
192.168.10.12 hostname:zk3
三台机器的操作步骤都是一致的，除了broker.id记得要改成不一样的数。
[^_^] ~# tar xf kafka_2.12-2.0.0.tgz -C /usr/local/
[^_^] ~# cd /usr/local/kafka_2.12-2.0.0/config/
[^_^] config# egrep -v "^$|#" server.properties （字体加粗都是需要修改参数的）
broker.id=1
listeners=PLAINTEXT://zk1:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/var/log/kafka-logs
num.partitions=3
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
[^_^] ~# cd /usr/local/kafka_2.12-2.0.0/bin/
[^_^] bin# ./kafka-server-start.sh ../config/server.properties &
测试：[^_^] ~# jps
4070 QuorumPeerMain
30363 ConsoleConsumer
29262 Kafka
31870 Jps
[^_^] ~#netstat -ntlp|grep kafka kafka端口9092
验证kafka的生产和消费：
1.在生产者服务器上创建topic
[T_T] ~# cd /usr/local/kafka_2.12-2.0.0/bin/
[^_^] bin# ./kafka-topics.sh --create --zookeeper 192.168.10.10:2181 --replication-factor 2 --partitions 3 --topic xiaobai
--replication-factor 2 #复制两份
--partitions 3 #创建仨分区来存消息
--topic xiaobai #主题为xiaobai
2.在生产者上发布
[T_T] bin# ./kafka-console-producer.sh --broker-list 192.168.10.10:9092 --topic xiaobai
此时console会处于阻塞状态，可以直接输入数据
3.创建消费者订阅
[T_T] bin# ./kafka-console-consumer.sh --bootstrap-server 192.168.10.10:9092 --topic xiaobai --from-beginning
当生产者在xiaobai的topic发布消息时，consumer的console就会显示。
