什么是Kafka
Kafka是一个分布式流式平台，它有三个关键能力
订阅发布记录流，它类似于企业中的消息队列或企业消息传递系统
以容错的方式存储记录流
实时记录流
Kafka的应用作为消息系统
作为存储系统
作为流处理器
Kafka可以建立流数据管道，可靠性的在系统或应用之间获取数据。
建立流式应用传输和响应数据。
Kafka作为消息系统Kafka作为消息系统，它有三个基本组件
Producer:发布消息的客户端
Broker：一个从生产者接受并存储消息的客户端
Consumer:消费者从Broker中读取消息
在大型系统中，会需要和很多子系统做交互，也需要消息传递，在诸如此类系统中，你会找到源系统（消息发送方）和目的系统（消息接收方）。为了在这样的消息系统中传输数据，你需要有合适的数据管道
这种数据的交互看起来就很混乱，如果我们使用消息传递系统，那么系统就会变得更加简单和整洁
Kafka运行在一个或多个数据中心的服务器上作为集群运行
Kafka集群存储消息记录的目录被称为topics
每一条消息记录包含三个要素：键（key）、值（value）、时间戳（Timestamp）
核心APIKafka有四个核心API，它们分别是
ProducerAPI，它允许应用程序向一个或多个topics上发送消息记录
ConsumerAPI，允许应用程序订阅一个或多个topics并处理为其生成的记录流
StreamsAPI，它允许应用程序作为流处理器，从一个或多个主题中消费输入流并为其生成输出流，有效的将输入流转换为输出流。
ConnectorAPI，它允许构建和运行将Kafka主题连接到现有应用程序或数据系统的可用生产者和消费者。例如，关系数据库的连接器可能会捕获对表的所有更改
Kafka基本概念Kafka作为一个高度可扩展可容错的消息系统，它有很多基本概念，下面就来认识一下这些Kafka专属的概念
topicTopic被称为主题，在kafka中，使用一个类别属性来划分消息的所属类，划分消息的这个类称为topic。topic相当于消息的分配标签，是一个逻辑概念。主题好比是数据库的表，或者文件系统中的文件夹。
partitionpartition译为分区，topic中的消息被分割为一个或多个的partition，它是一个物理概念，对应到系统上的就是一个或若干个目录，一个分区就是一个提交日志。消息以追加的形式写入分区，先后以顺序的方式读取。
注意：由于一个主题包含无数个分区，因此无法保证在整个topic中有序，但是单个Partition分区可以保证有序。消息被迫加写入每个分区的尾部。Kafka通过分区来实现数据冗余和伸缩性
分区可以分布在不同的服务器上，也就是说，一个主题可以跨越多个服务器，以此来提供比单个服务器更强大的性能。
segmentSegment被译为段，将Partition进一步细分为若干个segment，每个segment文件的大小相等。
brokerKafka集群包含一个或多个服务器，每个Kafka中服务器被称为broker。broker接收来自生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。broker为消费者提供服务，对读取分区的请求作出响应，返回已经提交到磁盘上的消息。
broker是集群的组成部分，每个集群中都会有一个broker同时充当了集群控制器(Leader)的角色，它是由集群中的活跃成员选举出来的。每个集群中的成员都有可能充当Leader，Leader负责管理工作，包括将分区分配给broker和监控broker。集群中，一个分区从属于一个Leader，但是一个分区可以分配给多个broker（非Leader），这时候会发生分区复制。这种复制的机制为分区提供了消息冗余，如果一个broker失效，那么其他活跃用户会重新选举一个Leader接管。
producer生产者，即消息的发布者，其会将某topic的消息发布到相应的partition中。生产者在默认情况下把消息均衡地分布到主题的所有分区上，而并不关心特定消息会被写到哪个分区。不过，在某些情况下，生产者会把消息直接写到指定的分区。
consumer消费者，即消息的使用者，一个消费者可以消费多个topic的消息，对于某一个topic的消息，其只会消费同一个partition中的消息
在了解完Kafka的基本概念之后，我们通过搭建Kafka集群来进一步深刻认识一下Kafka。
确保安装环境安装Java环境在安装Kafka之前，先确保Linux环境上是否有Java环境，使用java-version命令查看Java版本，推荐使用Jdk1.8，如果没有安装Java环境的话，可以按照这篇文章进行安装（