High-Level Software Architecture Design Benchmarks Beyond CodeWikiBench | 超越 CodeWikiBench:更高层次的软件架构设计评测基准
超越 CodeWikiBench:更高层次的软件架构设计评测基准 Q: Codewikibench是个不错软件文档的bench,但这个是不是太接近代码层,是否有更高层次的架构文档层次的bench? 我把这个问题分成两个角度看:真正能承担 L3/L4 架构工作的 AI 软件产品,以及目前在相关架构任务评测中表现最好的大模型。 我的结论是: L3(系统架构理解):已经有一些值得试用的工具和模型,但距离完全可信还有差距。 L
超越 CodeWikiBench:更高层次的软件架构设计评测基准
Q: Codewikibench是个不错软件文档的bench,但这个是不是太接近代码层,是否有更高层次的架构文档层次的bench?
我把这个问题分成两个角度看:真正能承担 L3/L4 架构工作的 AI 软件产品,以及目前在相关架构任务评测中表现最好的大模型。
我的结论是:
- L3(系统架构理解):已经有一些值得试用的工具和模型,但距离完全可信还有差距。
- L4(架构设计、风险判断、架构评审):目前还没有一个经过广泛、严格的公开 Benchmark 验证,可以称为成熟的优秀产品。
- 最值得关注的是新一代的 AI 架构文档评审工具,以及能够把设计文档、ADR、架构知识库和代码仓库结合起来的系统。
一、我认为最值得试用的 AI 软件产品
以下是按实际工作匹配度,而非单纯知名度排序。
1. ArchDocs AI Review
最值得优先试用
L3 + L4
ArchDocs
这是目前我觉得最接近你想建设的 AI 架构师的产品。
它的 AI Review 有几个非常有价值的设计:
- 不只是读取当前设计文档,还能读取组织里的其他设计文档、ADR、架构图。
- 可以连接 GitHub 等代码仓库,检查设计与实际代码是否一致。
- 评审时将代码版本固定到具体 commit,便于复核。
- 每个问题给出类型、严重程度和证据。
- 允许持续与 AI 讨论评审发现,可以接受、驳回或形成评审意见。
尤其有意思的是,它把评审问题分成五类:
| 问题类型 | 含义 |
|---|---|
| Premise | 设计所依据的假设是否错误 |
| Better Approach | 是否存在更好的设计方案 |
| Risk | 当前设计是否可能造成具体故障 |
| Gap | 设计是否遗漏了必要内容 |
| Inconsistency | 是否与代码、ADR 或其他文档矛盾 |
它还有一个值得注意的功能:Try to break this plan,让 AI 主动寻找设计方案可能失败的具体方式,而不是只做一般性检查。
ArchDocs+2
我的评价:
- L3:比较有价值,因为它把文档、架构图、历史设计和实现代码放在一起。
- L4:方向非常对,特别是 Premise、Risk、Better Approach 这些评审维度。
- 局限:AI Review 目前属于 Early Access;代码沙箱可以搜索、阅读代码,但不能直接运行代码进行验证。没有公开的独立 L3/L4 基准成绩。
我会把它作为第一个值得深入研究的产品。
2. Suggestibility.ai
L4 · 多模型评审
Workera for Business Leaders | Workforce Intelligence
Suggestibility.ai
它的思路与传统单模型架构评审非常不同:
把一个架构方案提交给多个不同模型家族,让它们分别独立评审,然后综合意见。
例如,三个评审者分别来自 Claude、GPT、Grok。
它强调三个结果:
- Consensus:不同模型都认同的问题。
- Dissent:少数模型提出但其他模型不同意的问题。
- Recommendations:按优先级组织的建议。
AI Expert Review Board
我觉得它最有价值的不是多模型投票,而是保留不同模型之间的分歧。
比如:
- Claude 认为某个设计存在高可用风险;
- GPT 认为该设计在目前的业务规模下可以接受;
- Grok 认为需要补充容量评估后才能判断。
如果最终直接投票,可能会把少数派的正确意见丢掉。
它把不同意见保留下来,这一点非常值得借鉴。
局限:它主要是技术制品的多模型评审平台,不等同于拥有企业完整架构知识库的 AI 架构师;官方网站上的展示报告是示例性质,也没有公开的独立架构评审准确率。
3. ArchiGov
L3 + L4 · 架构治理
ArcKit Articles | Enterprise Architecture and AI Governance
ArchiGov
这个产品更关注企业架构治理,而不只是某份文档的技术审查。
它的核心包括:
- AI 辅助架构决策;
- 根据企业自己的标准和设计模式进行检查;
- 架构评审会议及各参与者的意见记录;
- 设计决策与实际运行架构的偏差检测;
- 审计证据及决策追溯。
它还展示了从 Azure 自动提取实际架构模型的能力。
archigov
我的评价是:
它值得研究的重点是 L4 的治理流程:
架构设计 → 标准检查 → 专家决策 → 实施 → 生产架构偏差检测。
但目前公开展示的重点是治理工作流和 Azure 场景,不能据此认定它在复杂架构推理方面有领先表现。
4. Ardoq、LeanIX、ADOIT
L3 · 企业级架构建模
Ardoq
4.8/5 · Gartner 用户评分
Anwendungsfall: Application Portfolio Assessment | SAP LeanIX
SAP LeanIX
4.7/5 · Gartner 用户评分
Capability-based Planning | ADOIT
ADOIT
4.7/5 · Gartner 用户评分
这里需要区分一下:它们不是以 LLM 架构评审见长的产品,而是成熟的企业架构管理(EA)平台。
它们比较擅长:
- 企业应用及系统资产管理;
- 系统之间的依赖关系;
- 业务能力和 IT 系统映射;
- 架构变更影响分析;
- 企业技术路线和架构治理。
Gartner Peer Insights 2026 年 11 月的企业架构工具评价中,Ardoq 为 4.8/5(239 条评价),LeanIX 为 4.7/5(485 条评价),ADOIT 为 4.7/5(243 条评价)。这些是用户体验评分,不是 AI 架构推理准确率。
Gartner Peer Insights+2
我的看法:
如果要建立一个涵盖多个部门、几十个物理子系统的企业级架构知识体系,这类产品值得研究。它们解决的是 L3 的系统关系和企业架构全景问题。
但不要把它们等同于 AI 架构评审专家。
二、如果看底层大模型,哪些实际测出来比较强?
这里我重点看三个比较接近 L3/L4 的公开实验,而不是拿 SWE-bench 这种代码工程榜单来代替架构能力评测。
1. SADU:架构图理解能力
这是 L3 的基础能力:能不能真正理解系统架构图、时序图、数据模型。
公开测试结果:
| 模型 | 架构图理解准确率 |
|---|---|
| Gemini 3 Flash Preview | 70.18% |
| Gemini 2.5 Flash | 69.68% |
| Gemini 3.1 Flash Lite Preview | 66.31% |
| GPT-5 Nano | 55.45% |
| Claude Sonnet 4.5 | 56.36% |
arXiv+1
当前这项测试的第一名
Gemini 3 Flash Preview 在低思考等级下,还达到过 72.85%。
这说明一个很有意思的事情:增加推理强度不一定提升架构图理解能力。
但是,我不认为 70% 就算优秀。尤其是行为图和复杂连接关系,模型仍然容易理解错误。
arXiv
2. SAKE:架构知识和专业推理能力
这项测试有 2,154 道架构专业题,涵盖设计模式、质量属性、架构风格、架构解决方案等。
公开测试成绩约 94%
| 模型 | Zero-shot | Five-shot |
|---|---|---|
| GPT-5.4 | 93.95% | 94.13% |
| Claude Sonnet 4.6 | 93.71% | 93.80% |
| Claude Opus 4.6 | 93.57% | 94.23% |
| Gemini 3.1 Flash Lite | 93.66% | 93.14% |
| DeepSeek V3.2 | 93.61% | 89.40% |
| Qwen3 235B A22B | 93.38% | 93.00% |
arXiv
这里我特别看好两个方向:
- Claude Opus、GPT:专业架构知识和复杂问题分析能力。
- Qwen3 235B:知识评测成绩非常接近第一梯队,成本优势明显。
但一定要注意:SAKE 有相当一部分是四选一题目,考察的是架构知识,不代表模型就能评审复杂系统。
另外,这些是论文发布时所测的模型版本,不能直接当成 2026 年 11 月最新模型的排名。
3. R2ABench:从需求到系统架构设计
这是更高层次的测试。
它给 AI 一份 SRS(软件需求规格说明书),让 AI 输出系统架构图,再比较组件、依赖关系、需求覆盖、架构合理性等。
这项测试值得关注的结果是:
| 模型/方案 | 主要表现 |
|---|---|
| GPT-5 Direct | 语义层面表现突出,完整性、忠实性、架构合理性和可追溯性领先 |
| Claude Sonnet 4.6 Direct | 组件覆盖等结构指标表现不错 |
| Claude Sonnet 4.6 + OpenHands | 语法有效性达到 100%,部分结构指标明显提高 |
| Qwen3-Coder + OpenHands | 某些结构相似度指标领先,但语法有效率和语义质量存在不足 |
arXiv+1
真正值得警惕的数据:
所有测试方案的 Edge F1 都没有超过 0.1758。
也就是说,AI 能够找到系统有哪些组件,但对于组件之间真正的依赖关系,仍然理解得很差。
这对银行架构评审很重要,因为一个系统有多少组件并不是最难的问题,组件之间的调用、数据流、依赖和故障传播才是核心。
三、L4 有没有真正评测得比较好的?
我还发现一项特别值得关注的 2026 年 9 月研究。
论文:
An Evidence-Based LLM Framework for Expert-Validated Clean Architecture Conformance Assessment in Enterprise Software Systems
这项研究比前面的知识问答、架构图识别更接近你关心的 L4。
它测试的是 AI 能否评估企业软件是否符合 Clean Architecture 原则。
研究选取了 36 个模块,产生 1,136 条待评审发现,由三位专家进行盲评和共识确认。
结果非常值得注意:
95.25%
AI 对架构问题严重程度的判断与专家最终共识的一致率
0.0118
平均评分绝对误差
1,136
专家复核的评审记录
实际测试的模型
| 模型 | 严重程度一致率 |
|---|---|
| Qwen 3.6 Plus | 95.49% |
| DeepSeek V4 Flash | 95.00% |
MDPI
这项研究还有个值得注意的细节:Qwen 3.6 Plus 的评估结果略好于 DeepSeek V4 Flash。
但这里必须说明:
- 它是特定 Clean Architecture 规范下的代码架构合规性评估,不是完整的银行架构设计文档评审。
- 使用了静态代码证据、明确评分规则和结构化提示。
- 这不是模型裸跑的成绩,而是一个完整评测流程的成绩。
- 36 个模块和 3 位专家的规模还不足以证明它可以泛化到所有类型的企业系统。
MDPI+2
我认为这项研究尤其值得你们参考,因为它直接涉及你前面提到的一个痛点:AI 经常把问题的严重程度判得过重。
它真正说明的是:证据约束 + 明确评分标准 + 专家验证,比单纯更换一个更强的大模型重要。
另外,一项 2026 年 1 月针对架构设计文档的研究,也发现 LLM 与架构师判断的一致性会受到设计文档本身质量的显著影响,目前仍存在不一致问题。
arXiv
四、把软件和模型放到一起,我会怎样选?
我的推荐清单
第一优先级
ArchDocs AI Review
研究其文档、ADR、代码联合评审的产品设计,最接近真实 L4 架构师工作流。
第二优先级
Claude、GPT、Gemini 等前沿模型
自己构建统一测试集,比较复杂文档理解、架构分析及风险严重度判断,不要只用模型厂商的通用榜单。
第三优先级
Suggestibility.ai
重点研究多模型独立评审、保留分歧、共识分析的做法。
第四优先级
Ardoq / LeanIX / ArchiGov
重点研究跨系统架构建模、架构知识管理、架构治理与决策追溯。
工程辅助
ArchUnit
官方网站。通过架构规则自动检查模块边界、依赖方向、循环依赖等,属于确定性架构约束验证,不能代替 L4 设计判断。
ArchUnit
五、针对你们银行基础技术部门,我建议做一次真正有价值的横向测试
你们有九个技术领域、三十多个物理子系统,而且有不同领域的专业架构师。
我觉得可以选择其中 10~15 份有代表性的历史架构设计文档,建立一个内部测试集。
让下面几组方案在完全相同的文档和问题上进行盲测:
| 对照组 | 测试对象 | 目的 |
|---|---|---|
| A | 最新 Claude | 单模型架构评审 |
| B | 最新 GPT | 单模型架构评审 |
| C | 最新 Gemini | 多模态架构图与文档评审 |
| D | ArchDocs AI Review | 成品架构评审产品 |
| E | 多模型评审组合 | 检验独立评审和分歧机制 |
| F | 你们自建的领域 Skill | 检验领域知识和银行规范带来的增益 |
不建议用一个总分决定胜负,而是重点测:
- 架构图和系统关系理解准确率。
- 真正严重问题的召回率。
- AI 所报问题的准确率(Precision)。
- 严重程度与专家的一致率。
- 合理技术权衡被误判的比例。
- 建议的可执行程度。
尤其建议单独统计:
专家认为不构成问题,但 AI 坚持报为较严重的比例。
这个指标很可能是你们自建架构师 Skill 与普通 AI 架构评审产品拉开差距的关键。
我的最终判断是:现在值得直接试用的产品,我首推 ArchDocs;值得研究的评审机制,我首推 Suggestibility.ai;值得借鉴的实证研究,我首推 2026 年 Clean Architecture 合规评测研究。
但真正能胜任银行 L4 架构评审的产品,目前还没有足够证据可以宣布谁已经胜出。
Originally published by Dev.to AI. Aggregated on AIWithGhost for educational purposes — full credit and traffic to the original publisher.