一、是什么

    Kafka是一种高吞吐量的分布式发布订阅消息系统，使用Scala编写。

    它拥有作为一个消息系统应该具备的功能，而且有着独特的设计理念。Kafka借鉴了JMS规范的思想，但没有完全遵循JMS规范。

二、相关术语

    Topic：Kafka 按照 Topic 分类来维护消息，它是一个抽象的概念。可以理解Topic 是一个类别的名称，所有的message 发送到Topic 下面。对于每一个Topic ，kafka 集群按照如下方式维护一个分区（Partition，可以理解为一个队列Queue）日志文件：

Partition 分区

partition 之 offset（偏移量）：

    Partition 是一个有序的message 序列，这些message 按顺序添加到一个叫做 commit log 的文件中。每个partition 中的消息都有一个唯一的编号，成之为offset ，用来唯一标识某个分区中的message。

    在消费者consumer 去消费相关Topic 的数据时，用户可以指定消费者从分区partition 的哪一个位置（offset）开始消费，也可以让消费者从头开始消费该分区的消息，但是注意一个分区只允许一个消费者进行消费（消费后的数据也不会被删除）。

    在配置的时间范围内，kafka会维护所有由producer 生成的消息，而不管这些消息有没有被消费。kafka的性能与保留的数据量大小没有关系，因此保存大量的数据（日志信息）不会有什么影响。

消费顺序问题：

    Kafka 通过Topic 中并行度的概念，即partition，它可以同时提供顺序性保证和多个consumer 同时消费的负载均衡。实现原理是通过将一个topic 的partition分配给一个consumer group 中的不同consumer instance 。通过这个方式，我们可以保证一个partition在同一时刻只有一个consumer instance在消费，从而保证顺序。（注意：一个consumer group 中的consumer instance 数量不能比一个Topic 中的partition 数量多）

Guarantees：

    从较高的层面上来说，Kafka 为了实现顺序消费提供了以下的保证：

    发送到一个Topic 的message 会按照发送的顺序添加到commit log中。意思是，如果消息M1，M2 由同一个producer 发送，M1比M2发送得早的话，那么在commit log中，M1的offset就会比M2的小。

    Producer：我们将发布（publish）消息到Topic 的进程成为生产者（producer），它将消息发送到Topic 中去，同时负责选择将message 发送到topic 的哪一个partition 中。通过round-robin 做简单的负载均衡。也可以根据消息中的某一个关键字来进行区分。（通常第二种方式使用得更多）

    Consumer：我们将订阅（subscribe）Topic 并且处理Topic 中消息的进程称为消费者（consumer）。

传统的消息传递模式有2种：队列（queueing）和（publish-subscribe）

    在queueing 模式中，多个consumer从服务器中服务数据，消息只会到达一个consumer。在publish-subscribe 模型中，消息会被广播给所有的consumer。kafka基于这2种模式提供了一种consumer的抽象概念：consumer group。

    每个consumer都要标记自己属于哪一个consumer group。发布到topic中的message会被传递到consumer group 中的一个consumer实例。（consumer实例可以运行在不同的进程上，也可以在不同的物理机器上）

    ① 如果所有的consumer 都位于同一个consumer group 下，这就类似于传统的queue模式，并在众多的consumer instance之间进行负载均衡。

    ② 如果所有的consumer 都有着自己唯一的consumer group，这就类似于传统的publish-subscribe 模式。

    一般情况下，一个topic会有几个consumer group，每个consumer group 都是逻辑上的订阅者（logical subscriber）。每个consumer group 由多个consumer instance组成，从而达到可扩展和容灾的功能。

kafka集群

    Broker：Kafka以集群的方式运行，集群中的每一台服务器称之为一个代理（broker）

    因此，从一个较高的层面上来看，producers 通过网络发送消息到Kafka 集群，然后consumers 来进行消费，如下图 ↓ 

kafka模型

    服务端（brokers）和客户端（producer、consumer）之间通信通过TCP协议来完成。