Loading...
avatar
Articles
2273
Tags
2188
Categories
42
Home
Archives
Tags
Categories
About
守株阁SRE-谷歌运维揭秘 Back to Home
Search
Home
Archives
Tags
Categories
About

SRE-谷歌运维揭秘

Created2021-09-15|Updated2026-11-16|基础设施
|Word Count:8|Reading Time:1mins|Post Views:

SRE-谷歌运维揭秘.png
SRE-谷歌运维揭秘.xmind

Author: magicliang
Link: https://magicliang.github.io/2021/09/15/SRE-%E8%B0%B7%E6%AD%8C%E8%BF%90%E7%BB%B4%E6%8F%AD%E7%A7%98/
Copyright Notice: All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.
系统设计运维
Related Articles
cover
2026-10-04
系统设计 25:司机指派竞争与迟到确认
两名乘客同时命中同一位最近司机,地理查询都没有错,却只能有一单得到有效指派。附近搜索解决“谁可能接单”;派单解决“谁独占接单权”。如果将位置索引中的司机从“可用”改为“忙碌”就算确认,两个请求仍可能在旧副本中各拿到一次成功。 本文用一位本地模拟司机、十二个并发乘客请求和真实 SQLite 写事务划清派单边界;不假设任何网约车公司的内部实现。规模和服务目标均为教学假设,非实测性能。 把一次派单拆成两个确认 乘客请求 POST /trips {pickup, destination, request_key};服务返回 trip_id、状态。派单内部接口 offer(trip_id, driver_id, offer_token, deadline) 把“占有接单机会”写入权威存储;司机本地模拟回调 POST /offers/{token}/ack。状态路径为 requested → offered → accepted → started → completed,在发车前可 cancelled,超时可 expired。本次实验只实现至 ac...
cover
2026-10-04
系统设计 08:分片与热点——数据归属变化时不能只搬快照
分片把数据分散到多台机器,不会自动把“同一个热门所有者”的请求分散掉。更难的是迁移:复制完旧分片的快照,若此时旧分片还在接更新,新分片可能永远缺少那次写入。先决定数据归属、读写路径和切换窗口,才有资格讨论加分片。 接续复制与故障切换的分享元数据场景。本篇只把 owner_id 作为候选数据归属键:POST /shares 和 DELETE /shares/{id} 找到唯一写入分片,GET /users/{owner_id}/shares?after=... 在单个所有者的有序列表上翻页。GET /shares/{id} 还需有从分享 ID 找归属的稳定映射,不能只拿一个随机 ID 猜所有者;目录映射或把可校验路由信息编码入 ID 都会新增维护成本。排除跨地域、公开搜索和双主同时写入。 量化热点,别只数机器 独立教学假设:每天 800 万次列表读取、40 万次写,读写比 20:1;峰值读 1000 次/秒、写 50 次/秒,均为日均的 10.8 倍。按 1 KiB/次读取,峰值有效载荷约 0.977 MiB/s ≈ 8...
cover
2025-07-28
Redis 经典用例全解:从数据结构到系统设计
Redis 最容易被误解成“更快的数据库”。这个理解只对了一小半。Redis 更适合放在系统的热路径上,处理短生命周期状态、派生索引、原子协调、近实时统计和少量高频列表;完整事实仍然应该由数据库、日志或对象存储承载。 系统设计面试里,Redis 的价值也不在命令背诵。更重要的是把业务需求翻译成几个稳定的问题模型: 这份数据是否可以过期 这份数据丢了能否重建 读路径是否远热于写路径 是否需要排序、范围查询、集合运算或原子判断 Redis 故障时,系统还能不能保持核心正确性 答案如果把 Redis 当成事实库,通常会在持久性、审核追溯、深页查询或跨 key 一致性上掉坑。更可靠的边界是:数据库保存事实,Redis 保存热路径和派生状态。 Redis 的系统设计位置 Redis 方案设计可以按四步落地: 步骤 要回答的问题 常见错误 抽象操作 业务本质是读写单值、排序、集合、位图、消息流,还是原子判断 上来先套命令 设计 Key Key 的粒度、生命周期、hash slot、热点边界是什么 一个业务对象塞进一个大 key 明确事实源 哪些数据必须落数据库,哪...
cover
2025-07-29
副本复制算法与架构——PacificA、Elasticsearch、Kafka、Pulsar 全面对比
本文将深入剖析 PacificA、Elasticsearch、Kafka、Pulsar 四大分布式系统的副本复制机制,揭示它们在一致性、可用性和性能之间的精妙权衡。这些系统虽然都通过副本复制来保证数据可靠性和高可用性,但在具体的实现策略上各有特色,反映了不同的设计哲学和适用场景。 引言:为什么需要副本复制 数据可靠性与高可用性 在分布式系统中,硬件故障是常态而非例外。Google 的统计数据显示,一个拥有 10,000 台服务器的数据中心,每天平均会有 2-3 台服务器发生故障。如果数据只存储在一台机器上,那么这台机器的故障就意味着数据的永久丢失。 副本复制(Replication) 是解决这个问题的核心手段:将数据复制到多台机器上,即使部分机器故障,数据仍然可用。 CAP 定理的实际影响 CAP 定理告诉我们,在网络分区(Partition)发生时,分布式系统只能在**一致性(Consistency)和可用性(Availability)**之间二选一: 选择 含义 代表系统 CP 网络分区时拒绝服务,保证一致性 ZooKeeper、etcd、HBase AP...
cover
2026-07-13
性能诊断:Spark UI、Event Log 与调优思路
上一篇解决了动态资源分配和调度策略。这一篇进入性能诊断——当 Spark 作业慢了,怎么找到瓶颈。 性能调优的第一步不是改配置,是定位问题。Spark UI 提供了五个关键页面(Jobs、Stages、Storage、Environment、Executors),每个页面指向不同类型的性能问题。Event Log 提供了离线分析的完整数据。 本文只抓一个问题:面对一个慢作业,如何从 Spark UI 的指标出发,沿着诊断路径找到根因。 Spark UI 五个页面 1234567891011121314151617181920212223Jobs 页面 → 每个 Action 对应一个 Job → 关注: Job Duration、Failed Tasks 数量 → 入口: 找到最慢的 Job,点击进入 Stage 详情Stages 页面 → 每个 Stage 的 Task 统计 → 关注: Task Duration 分布、Shuffle Read/Write、GC Time → 核心: 这里是定位性能问题的主战场Storage 页面 → 缓存的 RDD/DataF...
cover
2020-07-12
软件方法
建模带来竞争优势。 前言 “唱曲的名家,唱到极快处,吐字依然干净利落”。 不能站在别人的肩膀上看得更远,只是摘抄别人的观点,无意义。要有足够的积累,和深度的思考。 涉众(stakeholder)往往会做而不会定义,把不同类型的涉众放在一起访谈时,只会剩下在场军衔最高那个人的意见。 需求变更的时候,要注意涉众利益角度分析。 项目的流程步骤: 寻找老大 揣摩愿景 业务建模 系统用例 需求规约 分析模型 设计开发 只有一个领域(核心域)的知识是系统能在市场上生存的理由。 拿来主义要摒除门户之见,不关注流派和风格,着力于细节和应用。 建模与 uml 利润 = 需求 - 设计 需求:提升销售 设计:降低开发维护成本 几种弊习: 从需求直接映射设计,会得到大量的重复代码。 从设计出发来定义需求,会得到一堆假的“需求”。 从涉众视角对系统功能分包会得到需求包。 子系统是基于内部视角根据系统部件的耦合和内聚情况进行切割。 需求 设计 卖的视角 做的视角 具体 抽象 产品当项目做 项目当产品做 设计源于需求,高于需求 建模工作流 业务建模:描述组织...
avatar
magicliang
关于技术以及人生
Articles
2273
Tags
2188
Categories
42
Github
Announcement
人生只是,守株待兔
Recent Posts
图解 DeepSeek Super-agent:从一条群消息到一个修复 PR
图解 DeepSeek Super-agent:从一条群消息到一个修复 PR2026-11-13
美国与字节跳动:TikTok 之争中的国家安全、商业和言论自由
美国与字节跳动:TikTok 之争中的国家安全、商业和言论自由2026-11-11
华为与美国:国家安全、制裁与孟晚舟案
华为与美国:国家安全、制裁与孟晚舟案2026-11-07
深入 Elasticsearch(20):静态配置、动态配置与配置树
深入 Elasticsearch(20):静态配置、动态配置与配置树2026-11-05
石油危机04:1981—1986,高油价为什么逆转?2026-10-29
© 2017 - 2026 By magicliangFramework Hexo 8.1.2|Theme Butterfly 5.7.0
Search
Loading Database