Technical brief · 致 AutoMQ 团队

AutoMQ BYOC(FSx WAL)
实测问题清单

请 AutoMQ 逐条确认

我们在 AWS 东京区,把 AutoMQ 商业版(BYOC,FSx for ONTAP WAL)当作撮合系统的订单总线做了一轮系统实测。 本文直接列出:我们做了什么、怎么测的、发现了哪些问题。每个问题都附证据,并请贵方确认: 这是不是当前产品的已知现状?是否有规避办法?是否有修复计划?

目录

  1. 我们做了什么
  2. 我们怎么测的
  3. 发现的问题(16 条,按影响排序)
  4. 5.5.7 已不再复现的问题
  5. 请确认:汇总表

§1我们做了什么

场景:撮合引擎的订单入口总线。要求同一 key 严格有序、已确认消息零丢失、任何单点故障下停写尽量短且自动恢复。 生产端是长连接网关(幂等生产者,acks=all),典型为单分区或少量分区。

项 配置
Region / AZ ap-northeast-1,apne1-az1 / az2 / az4 各一台 broker
版本 控制台 8.4.7 → 8.4.8-aws;数据面 5.5.6 → enterprise-core 5.5.7(在线滚动升级);Terraform provider 0.4.10
broker 3 × m7g.xlarge,KRaft combined(3 个都是 controller)
WAL FSWAL,FSx for ONTAP MULTI_AZ_2,384 MBps(部分测试 768 MBps),首选子网 az2、备用 az1
双 FSx 阶段 file_system_count = 2,两套 FSx 的首选子网都在 az2
客户端 3 × c7g.2xlarge(每 AZ 一台),Kafka 客户端 4.1.1,自研压测工具(开环定速 + 逐条审计)

测了哪些:

类别 内容
性能 单分区 / 多分区 1k–200k msg/s 速率阶梯;38 个客户端参数组合;1 h / 2 h / 4 h 浸泡;12 生产者同写、大消息、扇出、事务
故障 kill -9(5.5.6 15 次、5.5.7 23 次)、EC2 stop、三个 AZ 的网络分区、AWS FIS 模拟 AZ 级故障、broker ↔ FSx 灰色故障、FSx HA 切换、S3 不可用
双 FSx 切断一套 66 s / 300 s、叠加 kill -9、计划内 HA 切换、FSx 首选 AZ 分区、2 h 浸泡、缩回单 FSx
运维 在线升级、扩缩 3 ↔ 6、分区迁移、换 FSx 吞吐档、FSx 备份 / 扩 IOPS / 扩 SSD、邻居负载、历史回读

§2我们怎么测的

  • 订单流:开环定速发送,延迟从计划发送时刻算(避免协调遗漏);每个 key 的序号单调递增,消息体带序号与计划时刻。
  • 逐条审计:同进程的审计消费者读回全部消息,用位图逐条核对丢失 / 乱序 / 重复;「报失败但其实已写入」单独计数。
  • 停写的定义:最长连续「有发送、零确认」的秒数;「最大确认」指单条消息的最长确认时间,两者分开报。
  • 故障注入:进程 kill -9;broker 子网 NACL 断网(只断对外、保留子网内);只断 broker → FSx 的 NFS 端口;broker 角色 Deny s3:*; AWS FIS 在一个实验内同时断网 5 min + 停该 AZ 的 broker。每次注入前 130 s 稳态,finally 中自动撤销,故障后探测各 topic 是否可写。
  • 纪律:一次只改一个变量;关键结论至少测 2 次并写明「n 次中 m 次」;放置漂移、注入时长不符、网络路径异常的结果全部作废重跑。

总体结果:稳态表现很好——5.5.7 单分区 4 h 浸泡 288 M 条,p99 7.87 ms、p99.99 32.65 ms;调参后单分区 200k msg/s、p99 8.66 ms; 在线升级、扩缩容、FSx 备份 / 扩容几乎无感;broker 实例被停后约 1.7 min 自动拉起替换。全部测试中已确认消息丢失为 0。 问题集中在故障与高可用,见第 3 节。


§3发现的问题

问题 1双 FSx 不能消除 FSx 单点

  • 现象file_system_count = 2 时,切断任意一套 FSx,全集群仍然停写;切断约 5 min 后撤销,部分分区持续不可写,只能人工重启 broker。
  • 证据
测试 单 FSx 双 FSx
切断一套 FSx ≈ 66 s 全集群停写 62–70 s,0 失败 全集群停写 62–85 s,失败 16,644
切断一套 ≈ 300 s / 再叠加 kill -9 — 零确认 369–524 s / 333–573 s;撤销 10 min 后仍不可写,受控重启才恢复(2 / 2)
单分区切断一套 300 s — 零确认 369 s,失败 89.7 万,自愈
计划内 HA 切换 零确认 3–4 s 零确认合计 16–39 s
FSx 首选 AZ 分区 64 s 120–146 s 71–74 s(两套首选都在 az2,同时受影响)
2 h 浸泡 p99.99 / max 55.85 / 238.7 ms 26.55 / 56.8 ms(这一项更好)
  • 我们的判断双 FSx 是 WAL 的负载分摊,不是故障切换——每台 broker 同时依赖两套 FSx(NFS hard 挂载),一套不可达就阻塞,故障面从 1 套变成 2 套;两套首选节点同 AZ,也没有 AZ 冗余。
  • 请确认① 双 FSx 的设计目标是负载分摊还是高可用?② 当前是否不支持「WAL 自动避开不可达的 FSx」?是否有计划?③ 失去一套后不自愈是否为已知问题?④ 两套 FSx 的首选节点能否分到不同 AZ?⑤ 撮合场景要消除 FSx 单点,贵方推荐的部署是什么?

问题 2双 FSx 无法缩回单 FSx(Q30)

  • 现象file_system_count 2 → 1 后,az2 的 broker 启动即致命退出、无限重启;控制台任务卡在 RefreshNodeForFileSystemTaskStep,≥ 3 h 不结束、无报错、无回滚。
  • 证据broker 1 崩溃 1,266 次;改回 2 是 no-op,没有 API 回滚路径;最终只能删除实例重建(40 min,数据丢弃)。扩容 1 → 2(约 9 min)正常。日志:
    NullPointerException: Cannot invoke "java.lang.Long.longValue()" because the return value of "java.util.NavigableMap.floorKey(Object)" is null
    Using the old config NodeMetadata{nodeId=1, … walConfig='0@any://?walID=2,2@nfs:///mnt/nfs/2?iops=1000&iodepth=4'} for recovering
    
  • 我们的判断恢复阶段读到旧的 WAL 映射,与新配置不一致。双 FSx 一旦上线就无法安全回退。
  • 请确认① FSx 缩容是否受支持?② 若不支持,控制台为何接受该变更?③ 修复计划?

问题 3短暂网络分区后,长连接幂等生产者永久写不进去(Q28)

  • 现象FSx 首选 AZ 网络分区约 60–80 s 后,存活的幂等生产者被持续判为序号乱序([OUT_OF_ORDER] processing append operation),一直写不进去;同一时刻新建的生产者 0 s 就能写。
  • 证据
形态(客户端 delivery.timeout.ms=30000) 复现 结果
5.5.6 多分区 2 / 2 零确认 ≥ 769 s,到运行结束未恢复
5.5.7 多分区 2 / 4 两次 770–771 s 零确认到运行结束
5.5.7 单分区 1 / 2 三路全部永久卡死(≥ 770 s),失败 1,141.7 万
5.5.7 单分区 · 双 FSx 1 / 1 两路 773 s / 782 s 未恢复

规避与代价:delivery.timeout.ms=120000 不再永久卡死,但单分区停写 249 s;关幂等 + in-flight 1 不再永久卡死,但仍停写 133–139 s;另外单独测得 in-flight 1 本身让稳态 p99 由 7.7–9.1 ms 升到 11.95–13.75 ms。丢失始终为 0。

  • 我们的判断此前沟通中提到 5.5.7 已修复,但 5.5.7 上仍能复现。
  • 请确认① 这是否为已知缺陷、确切触发条件是什么?② 服务端为何不返回可让客户端恢复的错误?③ 修复版本?④ 修复前是否有不关幂等、不降吞吐的规避?

问题 4FSx 首选 AZ 出故障 = 全集群停写

  • 现象FSx 只有一个 HA pair。首选节点所在 AZ 网络不通时(FSx 本身健康,不触发 HA 切换),三个 AZ 的 broker 都写不了 WAL,只能等故障解除。
  • 证据NACL 隔离 az2 子网(名义 60 s)⇒ 5.5.7 全集群停写 120–146 s。AWS FIS AZ 级故障(断网 5 min + 停该 AZ broker): 拿掉 az1 ⇒ 最坏一秒 69.5–72.4 s、0 失败;拿掉 az2(FSx 首选)⇒ 三个 AZ 全部停写 369–376 s,每路失败 29.9–33.3 万笔。
  • 我们的判断一个 AZ 故障就是全集群故障,停写 ≈ 故障时长 + 约 70 s;FSx 侧不会因为客户子网不可达而切换。
  • 请确认① 这是否为当前架构的已知限制?② 是否有(或计划)失去首选 AZ 时 WAL 自动切到备用节点?③ 推荐的多 AZ 容灾部署?

问题 5无故障时 CPU 背压也会卡住写入(Q29)

  • 现象多生产者、小请求负载下,broker CPU ≈ 0.9 触发背压,RequestRate 配额 20,000 被压到约 2,400,Produce 一起被限,周期性停写。
  • 证据12 生产者 × 2k msg/s 写 24 分区,3 / 3 复现,最差一路 max 5.4–8.6 s;单分区混合负载 45 min 内 17 段零确认(3–11 s)。linger.ms=5 无效。5.5.6 未出现。日志:
    DefaultBackPressureManager: The system is in a HIGH state, checkers: {CPU=HIGH}
    QuotaRegulator: Decrease broker quota RequestRate from 20,000 to 3,981  →  … to 2,388
    
  • 我们的判断设计行为的副作用;没有找到可配置的阈值或开关。
  • 请确认① 能否让背压豁免 Produce?② 阈值与开关?③ m7g.xlarge 在约 5.3k req/s/broker 时 CPU 0.9 是否符合预期?

问题 6S3 不可用时写入停止(5.5.7 与 5.5.6 行为不同)

  • 现象5.5.7 上 S3 不可用约 4 min 后开始停写,S3 恢复后约 1 min 才恢复;broker 日志无错误行。
  • 证据S3 不可用 300 s ⇒ 停写 106–136 s(3 / 3);900 s ⇒ 分区连续停写 737 s。5.5.6 同条件 300 s 内写路径不受影响。停写 ≈ S3 中断时长 − 220 s,没有上限。丢失 0。
  • 我们的判断5.5.7 的 WAL 上限或回收策略有改动(推测,未验证)。
  • 请确认① 5.5.7 在这里改了什么?② 是否预期行为?③ 能否恢复 5.5.6 的行为或给出可调上限?

问题 7broker ↔ FSx 灰色故障不会自动隔离(Q7)

  • 现象broker 到 FSx 的 NFS 不通、但心跳正常时,broker 不报错、不 failover,WAL IO 一直挂着;同一生产者的健康分区也被拖停。
  • 证据切断 NFS 120 s ⇒ 5.5.7 停写 149 s,失败 227,892。挂载参数 nfs4 … hard, sync, timeo=30, retrans=3。停写 = 故障时长 + 约 30 s。
  • 我们的判断hard 挂载下 IO 无限期阻塞,故障持续多久就停多久。
  • 请确认① 是否有 WAL IO 超时自杀(watchdog)开关?② 推荐的运维处置?

问题 8kill -9 后恢复需要 15–27 s,调检测参数无效

  • 现象单 broker kill -9 后全部自愈,但停写 15–27 s、最大确认 18.4–34.2 s(16 次中 2 次 > 30 s);从进程死亡到发起 failover 约 18 s。
  • 证据broker.session.timeout.ms 9 s → 4.5 s 无可测收益(21.5 s vs 22.9 s)。日志 [AZ_FAILOVER] Detected AZ-level failure … All 1 nodes require failover.
  • 我们的判断检测之外约 9 s 的等待原因不明(可能是 WAL 租约 / NFS 锁过期)。
  • 请确认① 这 18 s 由哪些步骤构成、能否缩短?② 检测时长在商业版中是否可调?③ 单节点崩溃日志写 AZ-level failure 是否只是措辞?

问题 9zone router 放大故障,服务端 router_channel 关不掉(Q6 / Q19)

  • 现象客户端开启 zone router 时,转发链上的节点卡住,请求要等满 30 s 超时,leader 健康的分区也一起停。
  • 证据关闭客户端 zone router 后,同 AZ 健康分区停写 59.8 s → 0.17 s,稳态跨 AZ 写快 0.8–5.1 ms;但服务端 automq.zonerouter.local.write.mode=router_channel 是默认值,客户端关不掉。
  • 我们的判断撮合场景下 zone router 的风险大于收益。
  • 请确认① 撮合类场景是否建议关闭 zone router?② router_channel 能否关闭(是否有 direct 模式)?

问题 10自动均衡每 600 s 迁移 leader,并改掉手工放置(Q8)

  • 现象每次迁移 0.97–1.87 s 不可写;--replica-assignment 的手工放置几分钟内被改掉。
  • 证据经 instance_configs 设 autobalancer.controller.exclude.topics 排除订单 topic 后,40 min 浸泡 p99.99 731.5 → 42.95 ms。该键不在文档的可配键列表中。
  • 请确认① 该键是否为受支持的排除方式?② 能否只关闭 leader 迁移?

问题 11FSx HA 切换与换档的停顿

  • 现象FSx HA 切换(含 AWS 例行维护)造成全集群短暂停写;经控制台换 FSx 吞吐档需要新建 FSx + 两轮滚动。
  • 证据5.5.7 单 FSx HA 切换单段 ≤ 6.5 s(较 5.5.6 的 10.1 s 改善);双 FSx 下零确认合计 16–39 s。换档约 53 min,每路 26–35 秒 > 100 ms、最大 2.7–3.1 s,期间两套 FSx 同时计费。
  • 请确认① HA 切换停顿能否进一步缩短?② 是否有更平滑的换档方式?

问题 12实例配置项会被静默覆盖、且不能删除(Q22 / Q25)

  • 现象s3.wal.upload.threshold 经 instance_configs 设 67108864,读回 536870912,不报错;instance_configs 不能删除已设键,只能写回默认值。
  • 证据同批另外 3 个键生效;删除被拒:At present, we don't support the removal of instance settings from the 'configs' block …
  • 请确认① 哪些键会被控制台模板覆盖?② 是否计划支持「恢复默认」?写回的值在升级时是否跟随新默认值?

问题 13尾延迟:孤立尖刺、历史回读与网卡配额(Q24 / Q26 / Q27)

  • 现象与证据
    • 2 h 浸泡中孤立的 230–242 ms 尖刺,无周期性;5.5.7 p99.99 33.75 → 55.85 ms(较 5.5.6 变差)。
    • 30 GB 历史回读期间,热写路径 max 32.7 → 257 ms。
    • 重负载后 170–345 ms 尖刺,根因已由我们定位为 broker 网卡带宽配额超限(bw_in_allowance_exceeded 持续增长)。
  • 请确认① 孤立尖刺来自哪个后台任务?② 读写隔离的推荐做法?③ 按网卡基线带宽选机型的建议?

问题 14FSx 邻居负载拖慢 WAL(X6)

  • 现象与证据同一 FSx 上有其他负载时,3,072 IOPS 下全集群零确认 9 s;6,144 IOPS 下 0 s。
  • 请确认推荐的 IOPS 余量与「FSx 独占」要求?

问题 15部署与文档

# 现象 请确认 / 建议
Q14 EC2 部署下 broker 子网同样需要出网(或 SSM 接口端点),文档只对 EKS 写明 文档补充
Q15 FSx 浮动 IP 路由只写入 FSx 创建时 broker 子网所用的路由表;之后更换路由表,WAL 静默绕行 NAT、不报错 控制台能否校验或自动 AddRouteTableIds?
Q16 「EC2 模式最小权限集」缺 s3:PutBucketPolicy、s3:GetBucketTagging、iam:GetPolicyVersion 等;iam:PassRole 的 Resource 为 * 更新最小权限集并收紧 PassRole
Q17 Terraform provider 0.4.10:环境变量名与 schema 不一致;FSWAL 校验把未解析变量当缺失;子网未建时 Duplicate List Value;后端要求 SG 逐端口放行 9090 / 22 / 9102 / 9103 修复计划?
Q11 文档写「单分区写 4 MBps」,实测 1–8 MB/s 无节流 限额是否已取消?

问题 16开源版的两个观察(1.7.4,S3 WAL)

  • X8:写确认 p50 恒为约 355–373 ms,调参只抬吞吐、不降延迟。我们理解这是 S3 WAL 组提交间隔决定的。
  • X9(疑点):acks=1 吞吐是 acks=all 的约 9 倍(547.3 vs 60.1 MB/s),而 RF=1 时两者理论上应等价。
  • 请确认开源版 acks=1 是否在 WAL 持久化之前就应答?

§45.5.7 已不再复现的问题

这些问题在 5.5.6 上出现、在 5.5.7 的样本中不再出现。我们没有拿到修复说明,请提供修复说明以便关闭:

问题 5.5.6 5.5.7
Q20 kill -9 后自恢复启动失败(IllegalReferenceCountException … S3Storage.startup) 15 次中 3 次 23 次中 0 次
Q21 kill -9 后 router channel 卡死(The state(3) isn't in state(STARTED)),32–44 min 需人工重启 15 次中 3 次 23 次中 0 次
Q3 kill -9 az2 全集群 75–106 s(自动拉起与 failover 竞态) 1 次 23.5 s

§5请确认:汇总表

请在「贵方回复」一栏勾选并补充:□ 当前现状、目前没有办法解决 · □ 有规避:___ · □ 计划修复:版本 ___ · □ 我们的测试 / 用法有误:___

# 问题 影响(实测) 贵方回复
1 双 FSx 不能消除 FSx 单点;失去一套后不自愈 切断一套仍全集群停写 62–85 s;300 s 后需人工重启(2 / 2) □ 现状 □ 规避 □ 修复 □ 用法
2 双 FSx 无法缩回单 FSx(Q30) broker 崩溃循环 1,266 次,只能重建实例 □ 现状 □ 规避 □ 修复 □ 用法
3 分区后长连接幂等生产者永久写不进去(Q28) 5.5.7 多分区 2 / 4、单分区 1 / 2 永久卡死 □ 现状 □ 规避 □ 修复 □ 用法
4 FSx 首选 AZ 故障 = 全集群停写 FIS:三个 AZ 停写 369–376 s □ 现状 □ 规避 □ 修复 □ 用法
5 CPU 背压卡住写入(Q29) 无故障停写 5.4–8.6 s,3 / 3 □ 现状 □ 规避 □ 修复 □ 用法
6 S3 不可用即停写 300 s ⇒ 106–136 s,3 / 3 □ 现状 □ 规避 □ 修复 □ 用法
7 灰色故障不隔离(Q7) 停写 = 故障时长 + 约 30 s □ 现状 □ 规避 □ 修复 □ 用法
8 kill -9 恢复 15–27 s,参数调不动 最大确认最高 34.2 s □ 现状 □ 规避 □ 修复 □ 用法
9 zone router 放大故障;router_channel 关不掉 健康分区停 ≈ 60 s(开启时) □ 现状 □ 规避 □ 修复 □ 用法
10 自动均衡迁移 leader、改掉手工放置(Q8) 每次 0.97–1.87 s 不可写 □ 现状 □ 规避 □ 修复 □ 用法
11 FSx HA 切换与换档停顿 单段 ≤ 6.5 s;换档约 53 min □ 现状 □ 规避 □ 修复 □ 用法
12 配置项被静默覆盖、不能删除(Q22 / Q25) 不报错,须逐项读回 □ 现状 □ 规避 □ 修复 □ 用法
13 尾延迟:孤立尖刺、回读、网卡配额 max 230–345 ms 级 □ 现状 □ 规避 □ 修复 □ 用法
14 FSx 邻居负载拖慢 WAL 3,072 IOPS 下停写 9 s □ 现状 □ 规避 □ 修复 □ 用法
15 部署与文档(Q14–Q17、Q11) 部署受阻 / 静默绕行 NAT □ 现状 □ 规避 □ 修复 □ 用法
16 开源版 acks=1 应答时机(X9) 疑点,未验证 □ 现状 □ 规避 □ 修复 □ 用法
— Q20 / Q21 / Q3(5.5.7 不再复现) — 请提供修复说明

我们可以提供:压测工具与故障注入脚本、每个问题的运行清单与时间线、相关时段的 broker / 控制台日志摘录(经内部审批后);新版本发布后可按同一方法复测并回传结果。

本页由 Markdown 原文生成,正文无删改。