本周 AI 工程雷达：Agent 进入复杂迁移，RAG 回归朴素工程

本周值得关注的不是“哪个模型又刷榜”，而是三个更稳定的工程信号：

1. Agent 的价值正在从“多写代码”转向“迁移、验证与维护复杂工程”。
2. 正确运行只是下限，性能、成本、安全和长期可维护性必须进入验收标准。
3. RAG 与 Agent 都开始回归朴素工程：可靠检索、可信来源、可观测轨迹、外部验证器。

如果把这些信号放进 EDA、HPC、Central Build 和企业知识平台，会发现它们指向同一件事：模型能力只是起点，真正决定工程价值的是上下文、权限、验证证据和反馈闭环。

本周精选

1. Scientific Computing in the Age of Agentic AI

发布日期：2026-07-28｜OpenAI

这份报告回顾了 8 个 Agent 辅助的科学计算项目，主要来自生命科学，覆盖旧构建与打包系统现代化、语言迁移、性能优化和 GPU 原生重构。最重要的结论不是 Agent 写代码更快，而是人的职责正在迁移为：

• 定义目标和边界；
• 设计可测量的正确性标准；
• 分阶段推进，并处理最后一公里的边缘问题；
• 明确软件的长期维护者。

效果最好的项目都使用了外部判定标准，例如精确输出一致性、旧工具结果对齐、统计行为验证和预先构造的模拟数据。报告也明确指出，Agent 可能在结果存在明显错误时仍表现得很自信，因此不能让它自己担任最终判定者。

证据边界：这是回顾性、探索性的案例报告，项目主要集中在生命科学，没有随机对照实验；部分效果来自参与团队的经验描述。

对 EDA DevOps 的启发：

这与 UPR Install、CMake 依赖治理、运行时库迁移非常接近。Agent 可以承担规则梳理和机械迁移，但验收权应放在 Central Build：

Agent implementation
        ↓
Build reproducibility
        ↓
Binary/output parity
        ↓
UT + regression
        ↓
Performance comparison
        ↓
Human approval

今后衡量 AI 工程化能力，不应只看“生成了多少代码”，而应看“多少复杂迁移能够被确定性证据安全验收”。

2. BM25 Wins at Scale（初版题为 Which RAG Paradigm Wins at Scale?）

发布日期：2026-07-29｜arXiv 预印本

论文在统一 reader、judge 和成本统计方式下，对 BM25、Dense Retrieval、Graph RAG 和 Agentic Search 做了 28 个嵌套规模的比较。语料从约 1,000 个文档增长到 511,959 个文档。

几个很有冲击力的结果：

• BM25 在所有测量规模上都处于低成本 Pareto 前沿，并从中等规模开始取得领先；
• 直接让 Agent 遍历文件，小规模尚可，完整规模下却比 BM25 落后接近 20 分；
• 把同一个 Agent 的检索后端换成 BM25 后，完整规模得分从 36.9 提升到 69.4，而原生 BM25 为 54.8；
• 重型 Graph RAG 在到达完整规模前就遭遇索引构建墙，可扩展版本在共同规模上仍落后于 BM25。

论文在 2026-07-30 更新 v2 后，将标题从 Which RAG Paradigm Wins at Scale? 改为 BM25 Wins at Scale。这个变化本身也值得注意：它强调的是特定受控实验中的可扩展默认项，而不是宣称 BM25 无条件赢得所有知识库场景。

证据边界：研究使用单一 reader/judge 协议，主要结论来自固定的 150 个问题和受控企业型语料；不能由此推导出 BM25 在所有企业知识库中都优于向量或图检索。

对平台工程的启发：

不要一开始就为 EDA 知识助手建设复杂 Graph RAG。更稳妥的演进顺序是：

BM25 baseline
    → BM25 + metadata filter
    → hybrid retrieval
    → reranking
    → selective agentic retrieval
    → graph only for proven multi-hop cases

针对 Monorepo，元数据比“更先进的向量模型”更值得先做：repo / branch / module / CMake target / architecture / build type / commit / document authority。Agent 负责制定检索策略，搜索引擎负责可靠地找东西。

3. Cross-Model Cross-Language AI Coding Agent Performance

发布日期：2026-07-26｜MIT、KAUST 等机构，arXiv 预印本

研究让三个 Coding Agent 在 C++、Python 和 Julia 中并行化 12 个排序、图和搜索算法。

主要发现：

• Agent 很容易生成“功能正确”的并行代码；
• 但正确不等于更快：GPT-5.4 在测试范围内没有产生可测量的并行加速；
• C++ 在四种图算法上均获得加速，约为 1.09–1.47 倍；
• Sonnet 4.6 的性能结果最好，但也只在部分语言与算法组合中实现加速；
• 同一个并行策略会因为算法、语言、数据规模和同步成本不同而产生完全相反的结果。

证据边界：研究只有 12 个经典算法，运行在单个 CPU 节点上；计时使用一次预热后的三次运行平均值，并包含人工追加提示。这不代表大型 EDA C++ 工程中的真实表现。

对 EDA/HPC 的启发：

AI 修改 C++、OpenMP、CUDA 或构建并行度时，必须增加性能验收，而不能只跑 UT：

• 编译时间与增量编译命中率；
• 单任务运行时间和吞吐量；
• CPU/GPU 利用率、内存带宽、线程竞争；
• x86、ARM、GPU 分架构基线；
• 相对基线的回退阈值。

可以把 performance regression 提升为与 test failure 同级的 Merge Check 信号。

4. Ponytail Skill A/B Benchmark

发布日期：2026-07-28｜JetBrains

JetBrains 用 80 组配对任务验证了一个约束 Agent“优先复用、使用标准能力、只写必要代码”的 Skill。

实测结果：

• 典型任务的代码量减少约 15%；
• 成本中位数减少 10.3%，配对检验显示出明确的下降信号；
• 时间减少约 11%；
• 65 个任务质量分数相同，9 个略低，6 个略高；
• 宣传值明显高于实测值，但它是该系列第一个表现出可靠成本下降的方案。

证据边界：约 80 组任务不足以证明质量完全等价，SkillsBench 的验证器也不是安全、错误处理或可访问性测试。实验固定在 Claude Code、Sonnet 和特定 Harness 上，结果未必能迁移到复杂 CMake Monorepo。

对当前实践的启发：

这与“增量优于重构、清晰优于聪明”高度一致。可以把它变成 EDA Coding Agent 的默认约束：

1. 先查现有函数、CMake Target 和共享库；
2. 先扩展现有机制，再增加新抽象；
3. 禁止为局部需求复制第二套依赖图；
4. 测试、安全、错误处理不参与“精简”；
5. PR 同时报告新增 LOC、依赖数和构建时间变化。

5. Metrics of Agent Ability

发布日期：2026-07-24｜METR

这份研究笔记指出，只报告 Agent 的 benchmark pass rate 已经不够，因为结果会随着 token、时间、重试次数和工具调用预算变化。

更有价值的度量包括：

• 固定预算下的成功率；
• 达到固定质量所需成本；
• 增加预算后的边际收益；
• 相对人工的成本差异；
• cost-of-pass：一次正确完成的期望成本；
• 高可靠场景中的“几个 9”，而不是普通百分比。

作者还强调，真实支出应包含推理、实验执行、人工 Review 和返工，而不只是 token。

证据边界：这是度量体系与理论分类，不是已经完成大规模企业验证的标准；很多讨论围绕单任务曲线展开，作者也明确没有为所有场景推荐唯一最佳指标。

对 AI Code Review/Agent 平台的启发：

建议未来统一采集：

task_type
model + harness + skill_version
tokens + tool_calls + wall_time
build/test attempts
human_review_minutes
accepted / revised / rejected
escaped_defects

最终评价指标应是：

Cost per accepted change
Quality-adjusted lead-time reduction

而不是 Agent 调用次数或生成代码量。

6. TriShieldRAG：面向知识库投毒的纵深防御

发布日期：2026-07-26｜arXiv 预印本

论文提出三层 RAG 防御：

1. Ingest Guard：在入口检测异常文档；
2. Retrieval Scorer：结合来源和一致性重新排序；
3. Cross-LLM Consensus：高风险回答使用多模型交叉判断，并允许一次有限重检索。

在 5,000 篇 Wikipedia 文档和 10 个攻击问题上，完整管线把攻击成功率从约 91% 降到约 13%。

证据边界：测试问题很少，攻击者是非自适应的；方案依赖“投毒内容在检索结果中占少数”和可靠 provenance 标签，也尚未完成跨越少数/多数边界的完整投毒比例扫描。

对企业内部 RAG 的启发：

PR 描述、评论、临时文档和 Agent 生成内容都应视为低信任输入，不能与正式构建规则等权检索。知识库至少需要记录：

• 来源系统与作者；
• Repo、branch、commit；
• 文档审批状态；
• 生效时间与过期时间；
• 权限与数据分类；
• 是否由 AI 生成。

这本质上不是 RAG 小功能，而是企业知识供应链安全。

本周 Top 3

1. Scientific Computing in the Age of Agentic AI：与 EDA 科学软件、C++ 构建迁移最贴近。
2. BM25 Wins at Scale：能直接修正企业 RAG 容易“架构过度设计”的倾向。
3. Cross-Model Cross-Language AI Coding Agent Performance：提醒 EDA/HPC 工程不能把“编译通过”误认为“优化成功”。

下周可以做的一个小实验

选择一个低风险、已有完整测试的 CMake/UPR Install 小改动，做一次 Agent 对照实验：

• A：现有提示与工作流；
• B：增加“优先复用、最小改动、禁止新增无必要抽象”的约束；
• 两组都执行相同的 configure、build、install、UT 和运行时依赖检查；
• 对比改动 LOC、构建时间、重试次数、token 成本和人工 Review 时间。

这能快速验证“更少代码”是否真的转化为更低的 EDA 工程维护成本。

值得长期建设的平台能力

在 Central Build 之上逐步长出一个 AI Engineering Control Plane：

可信上下文检索
    → 隔离式 Agent Workspace
    → 最小权限工具调用
    → 构建/测试/性能验证
    → PR 人工审批
    → 全链路轨迹、成本与质量度量
    → Review 反馈沉淀

长期竞争力不在于接入某个最强模型，而在于把企业知识、执行权限、验证证据和工程反馈组织成模型可替换的公共平台能力。

参考资料

• Scientific computing in the age of agentic AI｜OpenAI
• BM25 Wins at Scale: A Scaling Study of Retrieval-Augmented Generation Paradigms｜arXiv
• Cross-Model Cross-Language AI Coding Agent Performance｜arXiv
• Ponytail Skill for Claude Code: Does It Really Cut Agent Code by 54%?｜JetBrains
• Metrics of Agent Ability｜METR
• TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation｜arXiv