感谢张开涛先生为我们分享了互联网高并发场景的经典问题和解决方案。阅读后深有感触，故整理读书笔记于此。感兴趣的小伙伴请在这里购买 https://item.jd.com/12153914.html 系统设计基本方法 高并发 高可用 服务降级 限流 切流量 业务设计 高可用 负载均衡与反向代理 负载均衡分层 负载均衡可以应用在OSI(Open System Interconnection)网络模型的不同层. 层级 层级名 实现方案 产品 二层 链路层 修改MAC地址 LVS DR 四层 传输层 修改IP地址和端口 LVS NATHaProxyNginx 七层 应用层 URL转发到IP:端口 Nginx 越底层性能越好, 因为不用拆包 越高层功能越强, 因为有更多信息可以设置转发条件 负载均衡算法 长连接 Nginx可配置和后端(上游upstream)服务器保持长连接 动态配置上游服务器 Nginx集成服务发现(Consul + etcd)自动添加新的上游服务器 对应到K8s就是Ingress OpenResty OpenResty是Nginx的一个module, 主要功能是运行Lua脚本 所有Nginx的Lua脚本都需要使用OpenResty module执行. OpenResty本身也是web服务器, 可以响应http请求 服务隔离 线程隔离 读写隔离 各机房都有只读存储, 提高性能还可以备份 静态资源隔离CDN 静态资源不论大小都要上CDN. js/css发布时应该带有版本号, 这样出问题不需要刷CDN和浏览器缓存. 直接修改网页回退js版本号就可以了. 爬虫隔离 爬虫流量可达到1/5, 一般情况给爬虫返回简单数据, 比如缓存数据 可以通过这些方法过滤爬虫请求 热点隔离 秒杀, 促销等可预测的热点访问, 应该放在独立服务器上. 读热点: 多级缓存 使用一致性哈希优化缓存命中率可能会产生热点, 进而击垮单点产生雪崩效应(连续击垮后续节点). 解决办法是通过虚拟节点把每个服务器拆分后交错插入哈希环. 写热点: 缓存+队列, 最终一致性 硬件资源隔离 服务资源隔离 独立的Redis, DB很常见, 对其它服务依赖性强也可以独立提供, 绑定部署 Hystrix线程池隔离 Hystrix使用独立的线程池来隔离失败操作. Hystrix还可以用来实现服务降级, 熔断. Servlet 3异步请求线程池 Servlet 3支持AsycContex和AsyncResponse. 可以用来自建线程池, 这样Tomcat线程池只用来把请求放到自有线程池. 请求限流 限流分类 限流算法 限流技术方案 分布式限流 核心是共享流量计数器, 原子计数CAS. 一般用Cache, 比如Redis配合Lua脚本实现原子操作. Coherence有类似功能 应用层和接入层都可以集成Redis实现根据业务逻辑的限流. 接入层限流 这里讲的是脱离业务逻辑, 根据请求特征进行限流, 比如IP rate limiter 服务降级 降级预案 降级分类 自动降级 人工开关降级 读写降级 尽早降级 在链路的前端降级可以保护更多后续服务 页面应设计降级框架, 各个部分都可以动态配置只读, 隐藏, 异步获取, 显示静态兜底数据等功能. Nginx直接降级返回请求, 处理速度比应用服务器快几十倍. Hystrix降级熔断 超时重试注意事项 回滚机制 分布式事务回滚 分布式事务回滚的错误处理 部署版本回滚 数据版本回滚 静态文件按版本发布 压力测试 应急预案 高并发 独立缓存 缓存位置 JVM对象引用 回收算法 本地缓存 4. 本地缓存的问题: 分布式缓存 多级缓存 有些缓存支持内存+磁盘分级缓存, 比如MapDB Cache-Aside 业务代码显式调用缓存, 比如读时先读缓存, 写后更新/失效缓存这种代码都写在应用程序里. Cache-Through 业务代码只读写缓存, 数据库的读取和写入由缓存代理. 一般实现缓存的读写接口. 分为直读, 直写和异步写三种. 代理写盘听起来很不靠谱. Guava支持Read-Through, Ehcache支持各种. 引用复制 缓存直接引用原始堆数据, 如果原始数据被修改, 缓存记录也被修改. Ehcache提供copier接口deep copy缓存数据防止这种错误. Guava不支持. HTTP缓存 浏览器会把服务器返回的网页缓存在本地, 下次请求时会带上上次返回的时间. 如果服务器返回304代表内容没有改变, 浏览器会直接显示本地缓存的页面. 关键的header 代理层静态缓存 Nginx Proxy Cache 清理缓存 如果需要紧急清理Nginx缓存可以使用ngx_cache_purge插件. 使用经验 多级缓存 多级缓存架构 构建缓存式网站 对高频读取的内容服务, 大量请求都是在缓存层处理的. 如果应用层能及时把变化发布到缓存,Nginx可以只从缓存读取数据(设置缓存不过期) 这就是运行在缓存上的网站. 应用要能够主动监听数据变更来更新缓存. 主要依靠订阅消息队列来实现. 如果数据量不大, 也可以考虑定期全量更新缓存. 应用场景: 商品, 订单, 用户, 分类, 价格等访问频率高, 允许一定更新延迟的页面. 缓存优化 缓存更新原子性 缓存崩溃的修复 大流量网站的读操作高度依赖缓存, 缓存崩溃对可用性影响很大. 池化 本部分包括线程池, 连接池等. 也包括通用的容器池框架apache commons-pool 2. 合理池化可以节省构建资源, 创建连接的时间. 池化的主要优势是保留长期存活的资源, 主要问题是退出程序时一定要通知远端取消对长期资源的占用. HTTP连接池 线程池 Tomcat线程池 Tomcat使用线程池来处理请求, 默认200. 可以修改配置或在自己的线程池异步处理HTTP请求. 异步/并发 在应用程序内, 同时调用多个外部服务以节省时间. 在这里使用线程池和client的方式管理和包装请求 扩容 系统演化路径 单机 -> 负载均衡 + 集群 -> 微服务 + 缓存 + 队列 扩容顺序 数据库拆分 数据库拆分的问题 Redis集群使用经验 分库分表实现方案 分布式事务错误处理 数据异构 队列 消息队列可以用来: 异步处理, 系统解耦, 数据同步, 流量削峰, 排队限流 数据同步/系统解耦 排队限流 数据库总线队列 通过订阅数据库的binlog, 对数据更改选择性同步到其它数据库, 比如异构库. 防止消息堆积 为防止消息队列被撑爆,…