存档正文一直放在一台 Windows 的存储服务里,跟游戏源在同一个桶旁边。要搬走的原因不复杂:那份后端只能跑在一台开着图形界面的 Windows 上,而且每个用户的每一份存档都是完整一份,相同的字节存了很多遍。
目标是把正文迁到对象存储里一个共享的 CAS:对象名就是 <sha256>.bin,跨用户、跨作品,相同字节只留一份。业务数据库继续判断「谁拥有哪一份」,桶只负责放字节。
六个产品文件的改动,加上一轮没人想再做第二次的迁移。
三个不能商量的约束
- 对象名是内容,不是主人。 键里不能出现 owner、不能出现作品 id,否则去重就没了。
- 删除是空操作。 删一份存档只删数据库里的所有权记录,对象留着——因为不知道还有谁在引它。物理 GC 这一轮不做,宁可留垃圾。
- 明文上限 32 MiB。 用 SHA256 命名、再用 provider 返回的原生 SHA1 复核;同名但内容不同、或者读完摘要不对,都失败,绝不覆盖。
另外两个是流程上的:凭据在内存里交接,不落源码、日志、本机;显式把容量报成 null,不去编一个假的本地剩余空间。
这些在写代码之前在测试里先红一遍:跨两个 owner 的相同字节只上传一次、删一个 owner 不动共享正文、坏正文不覆盖、畸形 hash 在 IO 之前就被拒、scope 或只读 key 在第一次上传前失败、429/503 不自动重试、回读摘要不符拒绝。37 项专项通过之后补边界,22 项里又红了 2 项:CF 返回 401 时不该去清 B2 认证;异常的非空元数据不该当成对象缺失。改完 42/42。
读路径也要被量
写完之后,读的并发被下载占满了。所以加了一条常规路径:已经存在的 CAS 用固定 URL 经 Cloudflare 读,不带 Authorization、不带 Cookie、不带 Range、不加查询参数、不跟随跳转,读回来核大小、SHA256 和原生 SHA1。缺原生 SHA1 证据的版本,不能信缓存,按那个精确 fileId 回源读一次,验证记录只绑这一版。
进程内留一个 32 MiB / 128 条 / 60 秒的正文 LRU,返回独立 Buffer,不落盘。存在性每次都重新查 B2 元数据——缓存里命中也可能是源端的旧版本,甚至已经被删了。
离线计数看得出来效果:已有对象再读,1 次 CF 正文、0 次原生下载;8 个并发读合并成 1 次元数据和 1 次 CF 请求。但这只是合成请求,不能叫线上的 HIT 率。
Cloudflare 先把路拦了
第一次用真实链路验收,认证 200、元数据 200,正文 403。
不是权限。回执里的精确 CF-Ray 事件写得很清楚:source=botFight、ruleId=bot_fight_mode、action=managed_challenge。出口是 IPv6 2a01:4f9:c013:773a::1,CF 把它当机器人,发了一张挑战页,cf-mitigated: challenge、content-type: text/html,正文是 Just a moment。
绕法有三条,代价不同:
- 关掉全区 Bot Fight Mode —— 影响太大;
- 伪装浏览器 UA —— 也许明天就不灵;
- 加一条 IP Allow —— 最小,但免费的 IP Access allow 按 IP 对整个
saop.cc区生效,会连这个 IP 的 WAF 和限流一起跳过,没法只限资源 host。
普通 WAF Skip 对 BFM 无效,这一点当时也确认了。最后选了 IP Allow,一条,规则 id 记进回执,回退就是删这一个 id。CF 把 IPv6 回写成展开形式,原脚本按文本比对失败了一次,没有重发 POST,另起只读 GET 按地址等价核验,前后规则数 0 → 1 对得上。
改安全配置这件事本身超出了「不动 CF」的原约束,所以等到明确批准才动,期间生产一直是 Windows。
中断的上传不回放
迁移 33 个对象、1,994,672 字节,单并发,间隔 5 秒,429 或 503 立刻停。
然后就一路撞:
- r1 前置的文件访问权限失败,一次 B2 请求都没发;
- r2 第一次上传 200,之后冷认证加 5 秒等待把 20 秒的超时耗尽;
- r3 把认证提前、等待挪到操作前面,6 项通过后
UND_ERR_SOCKET; - r4 给迁移的 HTTP 加上
Connection: close,20 项通过,一个 40 KB 对象精确读回 200 之后正文超时。
四轮都没有 429/503。每一轮都换新的任务 id,不重放旧任务,但已经传上去的对象按现有 CAS 复用,不重传。这里有个必须补的口子:之前传了一半停掉的那两个对象,只有过 200 的头,没有完整正文的证明,后来在一个专门的门禁里按精确 fileId 补齐了完整读回回执。
超时不是无脑放大。新增的 operationTimeoutMs 是可选整数,范围 20–120 秒,生产默认还是 20 秒,只有迁移任务显式给 120 秒。旧实现先红两条,新的 44 项专项全绿。
冻结不是「暂停一下」
真正切换要把写入停住,重新核一遍所有东西,短窗口。窗口里要做的事:
- 重新在 Windows 上全量读哈希,并 echo 本轮 nonce —— 不是把旧清单重标一遍;
- 41 个对象过离线门禁,核对生产库克隆里的引用覆盖;
- 确认清单是现有源清单的子集。
试了四次才定。正式那次冻结 265.575 秒,覆盖了 41 个对象、94 个文件 / 1,996,140 字节、76 行 owner、24 个唯一 hash、100 条 refs,全部对上才切。现役 compose 换成 save-cas-b2-20261115-r2,唯一变的是 WG_BLOB_STORAGE=b2-cas。
冻结外面做了两层保护:420 秒的绝对 alarm 和独立 Postgres watchdog。会话、锁两个 0 的释放全靠独立确认,少一个就停。
顺带补了三次协议缺口:assertFreeze 原来空参数默认放行,调用方漏传检查器也能过;追加 missing-checker 的用例先红,再改成必须显式传函数,最后 8/8。
回退不能还原数据库
这是整轮最重要的一条。
切到 B2 之后,如果直接 restore 旧数据库、或者把旧 compose 换回来,会丢掉切换后新传上去的那些对象——数据库回到过去,桶没有。正确做法是反过来:再冻结一次,把新增的 B2 引用按 hash 从 B2 精确读回、写回 Windows、完整校验,把两边重新对齐,然后才切旧后端。
回退脚本有几个硬规矩:优先复用本次冻结里的完整 SHA 证明,只有 Windows 缺的对象才从 B2 读;失锁或遇到 429/503 立即停,不重试。发布前已经有一个完整反向演练 exit 0,锁也确认释放。
几次发布尝试还留下两个教训:一次是包漏了静态副本,版本号变了但模块正文没变,摘要门禁当场拦下并自动回退到旧代码,现役配置 SHA 恢复原值;一次是检查器把可信模块上的 private, no-store 误当成「必须含 no-transform」。两次都没算成功,原日志都留着。
验收边界
发布后监测 31 个点、约 15 分钟全过,web/manager 的 fatal 都是 0。云存档那一组用 Chromium、Firefox、WebKit 各走了一遍真实上传、下载、历史恢复、幂等提交和两页 WebSocket 权威事件,每次都是新建的合成身份。
仍然写了这些「不算」:
- 只用合成账号,没有真实用户存档参与;
- 游戏源 CDN 全程阻断,四引擎只做加载画面的冒烟;
- 不叫三内核四引擎完整矩阵,也不叫通关;
- WebKit 那轮的汇总脚本仍按 3 个浏览器断言,实际只跑了 1 项,原 exit 1 保留,另起只读汇总绑定原 JSON 的 SHA,不修改旧回执。
收尾
Windows 原档、旧 release、旧资源、原账号全留着。迁移正文只在内存里经过 Debian 和 Windows,没落到 Mac,也没落到生产机。
现在最该记住的不是 CAS 怎么去重,是那句写进计划里的话:没有反向对齐,就不能直接回滚。 一个把「回退」当按钮的迁移,切过去的那一刻就已经欠了债。
