Kafka 内部原理 2026-09-30

Fetch 策略：Consumer 一次拉多少消息

真实对比fetch.min.bytes=1和1MB两种配置，验证凑批门槛和等待超时(fetch.wait.max.ms)谁先满足谁说了算。

Kafka 真实验证 动画演示

Kafka 内部原理 2026-09-30

Consumer Lag 到底怎么算

写10000条只消费提交3000条，验证LAG精确等于LOG-END-OFFSET减CURRENT-OFFSET=7000。

Kafka 真实验证 动画演示

Kafka 内部原理 2026-09-30

Lag 很高时，问题可能发生在哪

制造一个处理速度比生产慢3倍的consumer，验证LAG持续单调上涨(18秒内5611→30398)是结构性问题的信号。

Kafka 真实验证 动画演示

Kafka 内部原理 2026-09-30

Broker 参数：分区数、Segment 大小和保留策略

验证segment.bytes最小值1MB的硬性限制，写入20000条消息观察磁盘真实切出4个约999807字节的segment文件。

Kafka 真实验证 动画演示

Kafka 内部原理 2026-09-30

Kafka 磁盘、网络和 CPU 的瓶颈判断

用top命令真实测量186.37MB/秒持续写入下broker的CPU占用，发现全程低于2%，瓶颈不在broker。

Kafka 真实验证 动画演示

Kafka 内部原理 2026-09-30

Page Cache 命中率下降后的表现

对比读取老数据、新数据、老数据复读三种场景的延迟，验证page cache命中带来约2倍的速度提升。

Kafka 真实验证 动画演示

Kafka 内部原理 2026-09-30

Kafka 扩容：增加 Broker 后数据会自动均衡吗

验证新broker加入不会自动均衡已有数据，用kafka-reassign-partitions.sh --generate生成真实用上新broker的分配方案。

Kafka 真实验证 动画演示

Kafka 内部原理 2026-09-30

Partition 数量能不能减少

真实验证减少分区数被拒绝(InvalidPartitionsException)，增加分区数则立刻成功。

Kafka 真实验证 动画演示

Kafka 内部原理 2026-09-30

Kafka 集群滚动升级怎么保证不丢消息

用SIGTERM依次优雅重启全部3个broker，验证幂等producer+acks=all组合下2059条消息0丢失0重复。

Kafka 真实验证 动画演示

Kafka 内部原理 2026-09-30

删除 Topic 为什么不是立即删除文件

真实追踪topic删除后磁盘目录先被重命名标记，65秒后(超过file.delete.delay.ms=60000)才真正被物理擦除。

Kafka 真实验证 动画演示

Kafka 内部原理 2026-09-30

Dead Letter Queue：失败消息如何隔离

发5条订单其中2条构造成非法数据，验证DLQ模式如何隔离失败消息同时不阻塞主流程offset推进。

Kafka 真实验证 动画演示

Kafka 内部原理 2026-09-30

Kafka Quotas：如何限制 Producer 和 Consumer 的流量

设置1MB/秒配额，验证吞吐量从32.77MB/秒精确降到1.03MB/秒，延迟暴涨33倍，机制是拖慢响应而非拒绝。

Kafka 真实验证 动画演示