10 月 24 日 03:27,Arch 那台机器的 Btrfs 写满了。

接下来的一个小时里,几个服务依次倒下:个人站的 PostgreSQL 后端 Aborted,之后一直停在 the database system is in recovery mode;WordPress 的 MariaDB 04:20 退出,Docker 留下 no space left on device;AstrBot 03:42 退出,退出码 135,overlay 挂载目录 ENOSPC;KDE Baloo 的索引进程同一分钟 SIGBUS core dump。AstroDX 的数据库也在这段时间里报过 PANIC: could not write ... global/pg_control: No space left on device,等我接手时已经被前一轮操作救回来了。

我到 10 月 25 日才开始动手。中间隔了将近一天,第一件事不是重启,是先决定顺序。

先停,再备份,最后才启动

这些容器都是被 ENOSPC 打断的,不是配置坏了。它们的卷里是「写到一半的数据库」,直接 docker start 有可能把半截状态当正常状态继续用。但一直停着也不是办法,因为写不进去的时候任何检查都做不了。

真正要区分的是两件事:

  1. 卷里的数据现在是什么状态;
  2. 恢复之后它还能不能正常服务。

第 1 件必须在启动之前留证,第 2 件只能在启动之后验。所以顺序固定成 停 → 离线备份 → 原样启动 → 只读验数据。没有一步是「重建」。

停止是有代价的。iv2-prod-db-1 当时还在 crash recovery,健康检查一直拒绝连接,停它等于承认这一轮恢复不了;但不停它,拿不到一致的 pgdata。先 docker stop --time 45,再确认 State.Running 为 false。

备份用镜像自带的 tar 跑一次性容器,不经过宿主机路径:

docker run --rm --pull=never --network none --read-only \
  --mount type=volume,src=iv2-prod_pgdata,dst=/source,readonly \
  --entrypoint tar postgres:18-alpine -czf - -C /source .

--network none、--read-only、readonly 挂载,三个都是为了让这次读取不可能改到源卷。归档写完立刻 fsync,然后整份解压读一遍确认不是截断的 gzip,再用 tarfile 数成员和字节数,最后算 SHA256 存进回执。1887 个文件、378,342,728 原始字节,归档后 101,183,135 字节。

到这一步才允许启动。启动不是「修复」,是把状态交回给原程序:PostgreSQL 自己重放 WAL 完成崩溃恢复,30 次 pg_isready 轮询等它接受连接,再查 pg_is_in_recovery() 确认已经是可写主库。全程没有 pg_resetwal、没有删 WAL、没有初始化、也没有从旧快照覆盖。

MariaDB 走同一条路:备份 wordpress_db_data,启动原容器,然后 46 张表逐张 CHECK TABLE,全 OK。

端点比容器活得久

把这两个容器拉起来之后,wordpress-db-1 起不来。原因是它倒下的时候 Docker 把容器的网络配置清了,但 libnetwork 里的端点还留着,名字还是 ep-...。同一个网络里现在有两个同名端点,新容器拿不到原来的别名 db。

普通做法是 docker network disconnect --force。问题是对已经停止的容器执行它,只清容器的配置,端点照样留在网络里,看起来成功,实际上什么都没变。所以脚本里先写了一行断言:disconnect 之后重新 network inspect,如果还能找到这个名字就停。

查 Moby 的 daemon/container_operations.go 才明白,force 清理是按端点名字做的。于是改成:把目标容器临时改名,让它的端点名不再撞,按原名 force 清掉,再把容器名改回来,最后用原别名重新 connect。清理前后把网络里其他容器的端点逐项比对,必须完全一致;结论也算得住——只动了这一个端点,没有删网络,没有重启 dockerd。

恢复之后,CHECK TABLE 全过、容器 healthy、站点 TLS 校验和 HTTP 200、WP REST API 200。数据挂载和容器 ID 都跟故障前一样。

那份全零的 journal

磁盘满还留下一个跟业务无关的坏东西:/var/log/journal 下面有一个精确的 8 MiB 文件,内容全零,journalctl 读它报 Bad message。麻烦在于它不是「一个文件坏了」——用户 journal 每次扫描都会被它绊住,其他日志也一起读不顺。

删除是最省事的,但删掉就再也没有证据了。收尾脚本做了这些:

  • 用 journalctl --file ... --verify 确认它确实已经不可读;
  • 去 /proc/<journald pid>/fd 里确认当前没有被打开,避免边读边搬;
  • 复制到私有目录、fsync,两边各算一次 SHA256,必须相等;
  • 移出 journal 扫描目录,然后 journalctl --verify 全量复验,必须 0;
  • logger 打一条标记,让新的日志能证明写入链路是通的。

副本 8,388,608 字节,SHA256 2daeb1f3...,只有 root 可读。原字节保留,但内容恢复不了,所以回执里写的是「保留」而不是「恢复」。

不装的检查和不装的结论

几个容易顺手写成结论的地方:

  • 逻辑备份成功 ≠ 索引没坏。 4 个业务库 pg_dump 全部成功,另外补了 Umami 和一份演练库,一共 6 份;还做了 BEGIN → CREATE 独立测试表 → INSERT → SELECT → ROLLBACK。这些证明表数据读得到,不证明每个物理索引完整。生产上没装 amcheck,所以没做物理校验,回执里明确写了这一点。
  • 错误计数归零 ≠ 全盘健康。 最后 Btrfs 的 write/read/flush/corruption/generation 计数都是 0,可用空间约 17.2 GiB。但这不是 scrub 的结论,只是当下的计数器。
  • 事后完整性 ≠ 没丢请求。 磁盘满那一个小时里,本来该落盘但没落盘的请求,查数据库结构是查不出来的。
  • 服务起得来 ≠ 功能验过。 AstrBot 界面 200,但我没法用别人的账号发一条测试消息,所以只写到「插件功能未验收」。

还有一个时间差要单独记:Certbot 对四个域名的续期在 10/23 上午就开始失败了,比磁盘满早一天,空间恢复后仍然失败。把它算进这次事故会掩盖真正的原因,所以分开记录。

收尾

19 个业务容器最后全部 running,被 ENOSPC 打断的服务都回到了原容器、原卷、原别名。真正确认损坏的只有那个 journal 文件,副本在,原件不在扫描路径里。

磁盘满的原因这一轮没有单独追。事后看,最贵的不是空间,是「先做什么」那半天的犹豫——如果先重启,pgdata 里就是被二次写过的状态,后面的所有取证都得打折。