『字节青训营-4th-大数据』L12：从 Kafka 到 Pulsar：数据流演进之路

相关链接

🎶 学员手册：【大数据专场 学习资料四】第四届字节跳动青训营 - 掘金

---

消息队列概述

消息队列的应用场景

上下游解耦

MQ 消息通道

Eventbridge 数据总线

Data Platform 流数据平台

主流消息队列的相关介绍

Kafka 详解

架构介绍

Zookeeper

Broker

Controller

选举

作用

Coordinator

高可用

副本 ISR 机制

写入 ACK 机制

如何保证消息不丢

ACK = -1 并且 最少 ISR = 2

先看左下角，只有一个 leader 而没有 follwer 的情况，然后再看上面

结合右侧概念解释理解

第一个策略更注重一致性

第二个更注重可用性

集群扩缩容

扩容步骤

扩缩容问题

未来演进之路

运维/调优经验介绍

单机吞吐

in_sync_replica 看业务重要性，2或3

集群参数配置

扩缩容优化

指标可视化

Pulsar 详解

Pulsar 架构介绍

Pulsar Proxy

非必须，但是作用很大

Pulsar Broker

Pulsar Storage

Pulsar IO

Pulsar Function

Bookkeeper 介绍

整体架构

基本概念

Bookkeeper Ledger

Bookkeeper 新建 Ledger

Quorum 写：副本之间没有主从概念，例如 3 副本同时写，2 副本完成就算完成

Bookkeeper Ledger 分布

写一致性

读一致性

读写分离

Bookkeeper with pulsar

Pulsar 特性介绍

生产模式

消费模式

Exclusive

Failover

Shared

Key_Shared

多租户

Plugin

GEO Relication

Pulsar HA & Scale-up

Pulsar VS Kafka

存储计算分离

周边和生态

概览

Pulsar IO

Kafka Schema

Pulsar SQL

总结