One minute
Kip 2018 12
- reassignment 限流
- 摘要: 对 reassignment 的 replication 进行限流, 避免全局限流的导致isr落后的partition 的无法追上。这里的限流是动态的. 以前的通用的限流不进行废弃, 因为存在无isr而且 follower 用光带宽的时候, 这个限制还是需要的。新增加了两个配置:
leader.reassignment.throttled.rate
和follower.reassignment.throttled.rate
, 前者是 leader broker 统一限流, 但是因为kafka reassignment 的 partition follower 可以有很多个, leader限流的话需要计算每个followerd的比例, 所以添加了 follower限流 - kip: https://cwiki.apache.org/confluence/display/KAFKA/KIP-542%3A+Partition+Reassignment+Throttling
- replication quota
- 摘要: client 的限流是通过延迟实现的, replica原来也有类似的限流
replica.fetch.max.bytes
, 不过是 partition 级别的。新的方案, 添加了LeaderQuotaRate
和FollowerQuotaRate
. - kip: https://cwiki.apache.org/confluence/display/KAFKA/KIP-73+Replication+Quotas
50 Words
2019-12-11 19:49 +0800