【大数据学习 | kafka】kafuka的基础架构

1. kafka是什么

Kafka是由LinkedIn开发的一个分布式的消息队列。它是一款开源的、轻量级的、分布式、可分区和具有复制备份的（Replicated）、基于ZooKeeper的协调管理的分布式流平台的功能强大的消息系统。与传统的消息系统相比，KafKa能够很好的处理活跃的流数据，使得数据在各个子系统中高性能、低延迟地不停流转。

Kafka使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。

2. 什么是消息队列

消息队列：是在消息的传输过程中保存消息的容器。

消息在原始的传输过程中是直接传输的，端对端的数据传递，但是有的时候我们需要将消息数据进行部分的缓冲存储，以达到方便使用的目的，中间的组件可以做消息的传输中间介质，这个组件就是消息队列。更像是一个消息的蓄水池一样的功能

类比现实中更像是高速公路的休息区

3. 消息队列的好处

缓冲

解耦

异步

如果是同步服务，如上图，那么用户的体验度是非常差的，因为需要将短信发送完毕然后在返回成功通知，页面才会跳转，但是如果短信发送遇见网络等问题，没有办法直接发送，这个时候客户需要等待很长的时间

直接将需要发送的消息放入到消息队列中，然后消息服务会不停的扫描队列中需要发送的消息将数据发送出去，但是不会让客户等待，用户会大大的增加体验度

抵挡洪峰

如上图，我们需要处理流量的波峰和抖动，那么我们需要设定整个集群的处理能力达到最大的5M/s才可以，但是大多数时候这个处理能力都是浪费的，我们用不到

我们可以使用消息队列进行数据的存储，然后计算服务慢慢去消息队列中拉取数据进行消费就可以了，可以在一定程度节省成本

4. 消费订阅模式

通过以上的讲解，我们可以了解整个kafka的原理和架构了，消息队列其实就是一个数据传输过程中的缓冲区，能够存储数据，在流程中作为一个中间的介质，承上启下，在特定的情景下起到解耦，缓冲，异步的功能。

作为中间的介质，它的上下游需要传输和拉取数据，上游传输数据的部分称之为生产者，生产数据发送到kafka中，下游拉取数据的组件称之为消费者，自己拉取想要的数据并且进行数据的计算和处理，消费者和消费者以及kafka是三个部分，大家一定要注意，他们不是一个整体

其中生产者只是发送数据到队列中，但是消费者在消费数据的时候却有两种不同的方式

1.点对点消费

点对点的方式，在队列中的数据有且只有一个消费者可以消费数据，在消费完毕数据以后会将数据从队列中删除，这个数据有且只有一次消费

2.发布订阅模式

发布订阅模式中每个人可以消费数据，这个数据会在队列中存储七天，每个订阅这个数据的人都可以消费到相应的数据，并且可以重复的进行消费数据，在大多数情况下我们都使用发布订阅模式

5. kafka基础架构

kafka作为消息队列，主要在大数据的处理和计算过程中起到承上启下的作用，作为中间的一个缓冲中间件，那么它首先就要具备数据的稳定性和可靠性，并且存储数据量和吞吐量以及数据的检索速度一定要有所保证，那么单台机器肯定是没有办法解决这个问题的，在之前的所有的大数据组件部分我们都有所介绍，首先要保证性能一定要多台机器，分布式计算和存储才能保证性能，其次就是数据一定要做副本备份才能在多台机器的集群中保证数据的稳定性。所以首先要给大家介绍的就是kafka的集群组成结构

kafka首先我们要知道它不是一个主从集群，之前的课程中我们讲过，主从集群中节点有的天生就是主节点不能被其他的从节点替代，在非主从集群中每个节点都可以作为主节点，如果一个节点宕机那么其他的节点可以选举为主节点管理整个集群，在kafka集群中每个节点都称之为broker，其中每个节点都存在一个kafka_controller组件，但是只有一台节点的controller组件是活跃状态的，其他的都是standby状态，只有主节点宕机了，那么从节点才会选举成为主节点，但是究竟谁是主节点呢？这个时候我们需要一个外部协调管理组件zookeeper进行集群选举