全部文章

研究、工具,以及检查我们自己的测试

过去几天我们发布的内容:可运行的研究、八个计算器,以及对基准算例模型本身的检查。哪些已经可用,哪些曾经有误,哪些仍待复核。

过去几天里,我们新增了 Stabileo Research 和 Stabileo Tools,并加强了它们背后的检查。Stabileo 是由 Ergodic Group 发布的、带有 AI 的免费开源结构工程软件,LambdaClass 是其开发团队。

可以运行的研究

我们正在把已发表的结构工程论文和经典基准算例搬到浏览器中,使用 Stabileo 自己的查看器。每个页面都会说明它复现了什么、如何检查,以及比较的局限。仍显示未完成比较的页面,我们正在补全。

Stabileo Research 页面,标题为“结构工程研究”,带有“研究,而非设计工具”的说明,以及第一个可运行条目 Lee 框架(1968),并显示其荷载传递路径。
stabileo.com/research:每个页面都说明它复现了什么以及如何检查。

已上线的论文页面包括:Shauer(2025)相场断裂;Grossman 和 Boudaoud(2026)弹簧网络;Andreassen 等人(2011)拓扑优化;Ferrari 和 Sigmund(2025)Roorda 框架稳定性;Pastrana 等人(2026)索网找形;Zmyślony、Khan 和 Biggins(2026)突跳拱;以及 Fairclough 等人(2026)网壳。

计算引擎方面的经典算例有:MacNeal–Harder、壳单元障碍测试、Mattiasson 弹性曲线、Riks/Crisfield、Newmark、CQC、塑性倒塌、Navier 板、Lee 框架以及 DaDeppo–Schmidt 拱。页面区分实时计算与录制回放,并显示其比较的局限。Ferrari 的 Koiter 比较尚未完成;Fairclough 只涵盖一个五节点算例;突跳拱的平衡跳跃并不是瞬态模拟。

我们公开范围和依据,并公开接受评审。研究结果不是设计结果,与基准算例吻合也不等于认证。

内容数量
可运行的论文页面7
计算引擎基准算例页面10
计算器8
目前已上线:

测试本身也需要检查

有些页面出错,是因为我们的测试模型有误。现在,每个计算引擎基准算例页面及其对应的引擎 CI 测试读取同一个算例文件,因此修正一次模型就会同时更新两者。部分临时比较仍在 CI 中被明确忽略,尚不会阻止合并;我们正在补全这些比较。

我们修正了 Mattiasson 的参考值及对轴向伸长的处理(#845),一个刚接框架被拿去与仅考虑轴向的桁架公式比较的问题(#846),以及不正确的壳支座和荷载模型(#810)。我们正在改变基准算例的构建方式,使这类错误不会再次通过。第一部分已经完成:每个基准算例都是一份规约,带有两个必须一致的独立参考值,并自动检查所施加的荷载、反力平衡和对称性,包括半模型与全模型的对比。我们还在加入对三套及以上网格的收敛性检查、证明每个基准算例都可能失败的符号错误测试,以及由工程师对核心集合签字确认。

Mattiasson(1981)悬臂弹性曲线基准算例页面的结果选项卡:u/L 和 v/L 随 PL²/EI 变化的曲线图,其中有 Stabileo 的曲线和代表解析参考值的圆圈,以及列出各数值及其相对误差的表格。左侧显示“5 项检查中 5 项通过”和“研究,而非设计工具”。
修正后的 Mattiasson 页面:引擎的响应与两个独立解析参考值的对比。

我们还在把单位纳入类型系统(#864),这样 kN/N 或 m/mm 的混用在编译时就会被发现。第一部分,即 2D 框架的材料和截面路径,已于 11 月 3 日合入。

第二轮:所有页面再次复核

随后,每个已上线的研究页面都经过了第二次评审,由三个 AI 模型依次进行(先 Kimi,再 Codex,最后 Claude),我们能够核实的每一项发现都已修复。十五个页面一并修订,并于 11 月 4 日发布(#1068):六篇论文(Shauer、Pastrana、Ferrari、Zmyślony、Grossman 和 Fairclough)和九个引擎基准算例(Newmark、Riks/Crisfield、Navier、Lee、MacNeal–Harder、DaDeppo–Schmidt、参照 Horne 的塑性倒塌算例、SRSS/CQC,以及经过第三轮的 Mattiasson)。没有放宽任何容差,也没有删除任何测试。仍有待执业工程师的评审。

  • MacNeal–Harder 此前比较的是绝对值,因此符号错误的结果也可能通过。现在参考值带有符号,并且有一项测试会对每个算例拒绝反向的响应。
  • Riks/Crisfield 此前可能在荷载没有下降的情况下报告极值点。现在,极值点要求在已收敛的步骤之间出现荷载下降;页面写明该次运行越过了上极值点,而不是“描出突跳过程”,其容差也从 5 % 收紧到 5e-3 至 1e-5 之间。
  • Navier 此前是对 MITC4 的误差作解释,而不是去测量它。现在它与一个独立的 Reissner–Mindlin 级数进行比较,刚性支座 MITC4 的误差从 4×4 网格的 −1.951 % 降到 32×32 网格的 −0.036 %,呈二阶收敛。
  • 页面会说明它与什么进行比较。Newmark 对照的是精确的闭式解,而不是“作者的代码”;SRSS/CQC 是对方法的演示,不是对论文中建筑的复现;塑性倒塌的界限是我们自己手算推导的,不是引用;Lee 框架的 1.83 kN 参考值是从已发表的图中读出的,所以只声称整百分点的差异。

在手机和平板上

在线上站点上的实测显示,研究页面在手机上不会溢出,但实验部分位于整篇文章的下方,查看器显得局促(方形板为 356×189 px),而且每个页面有 25 到 40 个小于 32 px 的控件,以及 14 到 20 处小于 12 px 的文字。现在,实验紧接在标题之后,查看器按模型调整大小,控件至少 44 px,文字至少 12 px(#831)。

两张并排的手机截图,宽 390 px,均为 Stabileo Research。左侧是依据 Pastrana 等人(2026)的索网页面“四根索,一个平衡”,查看器紧接在标题下方;右侧是 Navier 板基准算例,其查看器占满屏幕宽度,并显示板的向下位移。
手机上的研究页面:实验紧接标题,查看器与屏幕同宽。

一项常设检查会在 360、390、844×390 和 810 px 下,以西班牙语、英语和葡萄牙语渲染图库和每一个可运行页面,并在出现横向溢出、控件过小、文字过小,或查看器缺失、过小或位置过低时判定失败。它最初的几次运行就发现了真实的缺陷,而我们修正的是页面布局,而不是检查本身:Mattiasson 查看器在手机横屏下只有 187 px 高,现在是 280 px;一张收敛图的标签字号只有 9 px。重排测试还发现,Shauer 的选项卡在 360 px 下以葡萄牙语和土耳其语显示时会溢出。

八个计算器,并可进入编辑器

Stabileo Tools 现在提供免费计算器,涵盖简支梁、悬臂梁、弹性柱屈曲、连续梁、单跨门式刚架、平面桁架、移动荷载影响线以及梁的弯曲自振频率。它们使用生产环境的计算引擎,给出独立的经典方法对照,并说明各自的假定。每个计算器都可以把模型在完整编辑器中打开。这些是分析工具,不是完整的规范设计验算。

Stabileo Tools 页面,标题为“免费工程计算器”,打开的是简支梁计算器:一根承受分布荷载的梁,带有变形图和一个“打开”按钮。
stabileo.com/tools:基于生产环境计算引擎的八个计算器。

遏制错误结果

我们正在遏制每一个已知的错误结果问题:计算引擎中的拒绝求解或警告会带上已知问题的 ID,而不是返回一个未经核查的数值(#807,11 月 5 日合并)。每一种拒绝求解都有测试,包括带有杆件偏移或壳偏移的不受支持的动力模型。

蜕变测试暴露了不变性方面的缺陷:等价的模型在旋转、镜像或单位缩放之后可能被拒绝求解。我们现在在每次改动时都运行蜕变测试套件,以发现这类回归。我们还在加入每晚对随机模型的运行,按根本原因归类发现的问题,并为每个根本原因提交一个 issue。

此后:11 月 1 日至 3 日

  • PRO 的分析模式已经完成。此前无警告的错误结果已修复:荷载生成器不再把厂房的檐口当作楼面加载,楼层的地震重量现在包含了以壳绘制的楼板和墙,此前这部分被遗漏了(#1076)。
  • 导出功能可用于真实建筑。大型 Excel 表格改为逐行写入,一栋六层建筑的报告耗时约十秒,而不是四分钟。“检查已导出的报告”现在比较的是打印出的数值,而不仅仅是指纹(#1076)。
  • PRO 新增了可关闭的内嵌帮助、页眉中的保存状态、分析之后的报告、板的结果,以及带有“复制并编辑”的共享模型只读查看器(#1077、#1078)。
  • 超出其独立认证上界的屈曲系数现在会被拒绝,2D 和 3D 均如此(#817,结果版本 6)。在依赖较早的屈曲证书之前,请重新运行认证。
  • 含有非有限数值的共享链接,或其杆件、支座或荷载指向不存在对象的共享链接,现在会被拒绝,而不是被打开(#1058)。
  • 不变性测试套件现在对六项重点分析检查旋转、镜像和叠加,其中四项还检查均匀刚度缩放(#1060)。

二十分钟内给出答案的检查

在进入 main 之前,Stabileo 的每一项改动都要通过它可能影响到的检查,而对计算引擎的改动要通过全部检查:引擎测试、网页单元测试、生产构建、浏览器中的端到端测试、结果快照和确定性检查。安全修复的速度取决于这些检查的速度,所以 11 月 4 日我们着手提高它们的速度。我们先做了测量。在一次干净的、耗时 44 到 47 分钟的合并队列运行中,引擎测试和单元测试比结束时间早 8 到 15 分钟完成,所以再并行添加更多这类测试不会有任何收益。时间花在了依次构建各个研究产物包,以及最慢的那个端到端分片上。当这些缩短之后,最慢的分片之所以慢是因为准备工作:在一次运行中,它 16 分钟里只有 7.2 分钟用于测试,另有六分半钟用于从一个很慢的镜像下载浏览器软件包。

  • 构建一次,测试所构建的产物。生产构建测试此前自己另做了五次构建,其中四次针对的正是 CI 刚构建过的同一棵代码树;现在这四次直接读取那次构建(#1411)。每次构建都带有一个记录其全部来源的戳记,如果戳记与所运行的代码树不一致,测试会失败,而不是跳过。
  • 按输入缓存。每个研究产物包都以其自身输入组成的键来缓存,其中包括所有产物包都链接的计算引擎,因此改动一篇论文只会重建这一篇,而改动计算引擎则会重建全部。拉取请求会复用合并队列已经根据相同输入构建好的产物包,复用前要对每个文件核对校验和,并且它可以读取该缓存,但绝不会写入(#1395)。浏览器软件包同样来自缓存,而不是镜像(#1413)。
  • 只运行改动可能影响的部分。仅改动文档时不构建任何东西,一两分钟即可完成,而不是整套运行。仅改动站点时会跳过引擎任务,但保留每一个端到端分片,因为 281 个测试规格中有 59 个读取屏幕上的文字(#1381)。在队列中,每个条目按其与前面条目的差异来确定范围,这样做是稳妥的,因为只有排在前面的所有条目都通过,一个条目才会合并;当差异缺失或不明确时,则运行全部(#1400)。
  • 平衡最慢的路径。端到端测试现在分为 14 个分片而不是 10 个,并依据实测耗时来平衡(#1382)。旧的耗时表预测测试需要 41.5 分钟,而实际一次运行用了 69.8 分钟。
运行次数中位数范围
合并队列,之前2042 min25 至 56 min
合并队列,之后1020 min15 至 26 min
拉取请求(首次尝试),之前6959 min35 至 127 min
拉取请求(首次尝试),之后1927 min16 至 45 min
运行了全部任务的成功 CI 运行的总耗时,从创建到最后一个任务,使用 GitHub Actions API 测量。之前:11 月 4 日,自 08:00 UTC(拉取请求)或 13:48 UTC(合并队列)至 21:10 UTC;之后:自 21:15 UTC 至 11 月 5 日 03:00 UTC。

并非改动之过的红色检查

由网络或机器丢失造成的失败属于噪声,但它同样是一个需要有人去查看的红色检查,而养成重跑红色检查的习惯,恰恰是真正的失败被轻易放过的原因。因此,只有当拉取请求中每一个失败的任务都带有基础设施故障的确凿证据时,才会自动重跑一次其失败的任务:下载步骤超时、CI 机器在任务中途丢失、导致某次下载最后一次尝试结束的网络错误(#1380)。日志中任何位置出现类似测试失败的内容都会阻止重跑,分类器无法识别的内容也一样。这样保持了保守:最多重跑一次,并且绝不会在测试步骤失败之后重跑。它并不是一种保证:分类器误判为基础设施问题的间歇性失败,可能在重跑时通过,这正是它不认识的内容一律阻止重跑的原因。

另有两项修复消除了误报。此前,一次拉取请求运行因同一提交上有更新的运行取代了它而被取消,会显示为红色的必需检查;现在它会跳过该检查,但只有在确认更新的运行存在且没有失败之后才会这样做,因为被跳过的必需检查视同通过(#1397)。此外,一次停滞的下载可能让某个进程一直占着包管理器的锁,导致重试因锁而失败,而不是因下载失败;现在,只有在若干分钟没有输出之后,一次尝试才被视为停滞,并会连同它启动的所有进程一起停止,重试则会等待该锁(#1408)。

接下来

我们正在补全尚未完成的比较,并让站点和求解器更快。路线图上的下一步是一个 Python 包(pip install stabileo),以及一份根据基准算例生成的公开验证手册。

全部文章

继续阅读