Kafka学习笔记分析

熊孩纸 阅读:318 2020-10-15 09:20:00 评论:0

最近在看“kafk权威指南”,记录一下。

1. kafka是一个队列,开源的发布订阅系统,可以支持在线、离线任务。

2. kafka作为队列系统,下游从kafka拉取数据并将处理成功信息反馈到kafka,可以实现下游至少处理一次,保证不丢数据

    可以结合其他启动(如去重等)实现消费一次且仅一次。

    消费者客户端可以在本地记录当前的offeset,kafka支持从特定partition的offset读取数据。

3. kafka中同一个topic主题,代表一种数据或者同一类数据生成者生成的数据。

    同一个topic可以支持多个partition,支持自定义partition规则,实现同一个上游数据hash到同一个partition。

    

4. kafka同一个消费者群组对应的一个topic的partition个数平均分配

    同一个topic的一个patition只能被一个消费者消费,同一个消费者可以消费topic的多个partition。

    如果消费者群组中消费者数量大于topic中partition数量,则部分消费者没有partition可以进行消费。

     

5. kafka中当有新的broker/消费者加入时,都会触发再均衡,观察者模式

    生产者再均衡,生产者发数据到那些broker。

    消费者再均衡,消费者处理那些partition。

6. kafka客户端要自己负责把生产者请求和获取请求发送到正确的broker上。

    kafka中任意一个broker都提供元信息请求, 包括主题的分区、每个分区有那些副本、以及那个副本是首领等信息。

7. kafka生成者数据提交ACK问题

    acks=0,不需要确认。

    acks=1,只需要集群的首领节点写入成功,就可以回复生成者确认信息。

    acks=all,只有当所有参与复制的节点全部收到消息,生产者才会收到确认信。

8. kafka消费者数据提交offset问题

     每个partition都有offset,并且同一个partition可以有多个消费者,他们的offest互不影响。

     

9. kafka数据复制

    每个partition都需要有多个副本,副本数可以配置。越多系统越稳定,但是副本一致也越困难。通常3副本就可以。

    分区首领是同步副本,负责数据的生成者数据的写入,负责消费者消费。其他同步副本是追随者,负责实时同步首领副本消息。

    一个不同步的副本,通过与zk重新连接并从首领哪里获取最新信息,重新成为同步负责。

    只有同步副本,才可以在之前首领副本挂掉后成为新副本首领。

 

参考:

http://kafka.apache.org/

 

声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

发表评论
搜索
排行榜
关注我们

一个IT知识分享的公众号