b站高可用架构 笔记

b站高可用架构

关键点：主机房，多活和多活机房

参考文章：bilibili技术总监毛剑：B站高可用架构实践

1. 前端和数据中心负载均衡

• 前端负载均衡(动态CDN):最近节点、带宽策略、可用服务容量

• 数据中心负载均衡:均衡流量、识别异常节点、扩容、提高可用性

• 子集选择算法:减少心跳检测成本,平均分配后端至客户端,节点变更持续均衡

• 高并发:多集群提高吞吐量,数据保存多缓存,单集群故障迁移成本降低

2. 负载均衡算法

• 正常:轮询

• 问题:请求处理成本不同、物理机差异、k8s容器切换用户感知

• 关键:考虑服务器可用性,构建全局视图,负载+可用性

• 算法:choice-of-2 算法,选2节点打分选择;预热新节点;低分节点统计衰减避免“永久黑名单”

3. 分布式限流

• 作用:服务器过载,先降级服务->限流保证服务稳定

• 正常:静态QPS

• 问题:某用户请求过重,挤兑其他用户

• 关键:不同流量、重要性、用户对应不同QPS,最重要服务自保

• 解决：使用算法quota-server获取quota,基于滑动窗口（一段时间内使用的次数）最大值计算quota;最大最小公平算法解决大消耗者饥饿;客户端概率公式截流,不全部拒绝

• 配额获取:基于统一错误码

4. 重试、超时、应对连锁故障

• 重试:限制次数,只失败层重试,失败返回错误码避免级联,设置周期速率诊断

• 超时:高并发高延迟引发故障,超时为fail fast让请求消耗或丢弃,上下游不一致导致资源浪费

• “默认值策略”:每个请求每个阶段检查足够剩余时间

• 跨进程超时控制:rpc承诺超时时间,不足取消传递,超时时间覆盖上游

• 应对连锁故障:避免过载,限流->降级,重试退避,超时控制,变更管理,压测演练,扩容重启消除流量

5. 其他

当客户端访问服务时，将用户数据保存到多个缓存上

• 当Quota耗尽或申请Quota的时间过期，也能主动拉取数据。

• quota server故障:降级本地策略或直接放行

• Apisix vs Envoy:Apisix基于nginx ，nginx的多 worker 的协作方式具有高并发优势,Envoy总线设计使得处理东西向流量具有优势

多服务器心跳检测成本过高：

解决：子集选择。client不连接全集，只连接一部分服务器进行负载均衡。

6. b站架构

• 无限递归导致主机房CPU爆掉,限流无解,用户刷新多活机房流量挂掉

• 崩溃不影响CDN静态资源

• 多活:不同业务不同机房,主机房承载所有在线业务

无限递归导致主机房CPU爆掉,限流无解,用户刷新多活机房流量挂掉

问题：

1. b站架构如何实现高效和可靠的负载均衡

• 前端和数据中心负载均衡器(BFE和Envoy),选择最近节点、根据带宽和容量均衡流量

• 子集选择算法,减少连接和心跳检测成本,持续均衡节点变更

• choice-of-2算法考虑服务器可用性,选2节点打分选择,预热新节点,统计衰减低分节点

2. 如何优化超大规模集群的连接和限流

• 子集选择算法,客户端只连接后端子集,减少连接和心跳成本

• quota-server获取和计算quota,减少请求backend频次;滑动窗口算法;最大最小公平算法防大消耗者饥饿

• 客户端概率公式截流,不全部拒绝,配额获取基于统一错误码

3. 如何设置合理的重试和超时策略- 重试:限制次数,只失败层重试,失败返回错误码避免级联,设置周期速率诊断

• 超时:高并发高延迟引发故障,超时为fail fast让请求消耗或丢弃
• “默认值策略”:每个请求每个阶段检查足够剩余时间
• 跨进程超时控制:rpc承诺超时时间,不足取消传递,超时时间覆盖上游

4. 如何防止和处理连锁故障- 避免过载,限流->降级,重试退避,超时控制

• 变更管理,压测演练,扩容重启消除有害流量

5. 如何利用多活机房来提高服务可用性

• 多活(容灾)：根据不同业务选择不同机房,主机房承载所有在线业务

其他：主机房CPU炸掉,限流无解,用户刷新导致多活机房流量挂掉,导致崩溃。