这项由华为加拿大护士院、加拿大女大学、曼尼托巴大学与康科迪亚大学集结开展的护士，以预印本款式发布于2026年7月29日，论文编号为arXiv:2607.27167，有兴味入了解的读者可通过该编号查阅竣工原文。

**个真是存在的难熬**

软件工程师齐了了，在接办个全新技俩时，头疼的不是写代码自身，而是搞了了"这个表率到底要干什么"。遭受文档写得费解不清，或者某些压根莫得文档，工程师就必须反复测试、反复证据，武艺下笔。

目下，AI编程助手依然能帮咱们建造代码作假、补全函数、致使处理复杂的代码仓库问题。但如果濒临的任务是——给你个生分表率的节略说明文档，外加个只可运行、不行看源码的可践诺文献，让你从驱动把这个表率再行写出来——那么即就是目下宏大的AI模子，奏服从也低得让东说念主赞好意思：200个任务里，竣工通过测试的不及1。

这就是本篇论文所要直面的问题。护士团队提议了个名为SPECFIRST的框架，中枢想路来自个陈腐的软件工程聪惠：在脱手写任何代码之前，先把"需求说明书"搞了了。

**、现存AI编程助手为安在"白纸作画"时频频翻车**

方法略这个问题，先遐想个场景。你被要求仿制款生分的厨房电器，手头唯一张薄薄的居品先容册，以及台不错通电运行、但不行开外壳的实机。你需要把它的沿途齐复现出来——包括多样按键组合、多样特别情况下的报错辅导、多样领域情形下的精准输出。

现存的AI编程框架（比如SWE-agent、OpenHands）在这类任务里的作念法，就是把"搞显着这台机器如何责任"和"把它造出来"这两件事混在起作念。AI在同个责任轮回里，边按按钮测试机器步履，边写仿成品的设计图，边脱手拼装。这听起来似乎挺，实践上却形成了三个根蒂固的问题。

个问题是探索不够入。既然要同期写代码，AI就不可能把测试这台机器的事作念得很。那些在说明书里没提到的边角——比如同期按下两个特定按键会发生什么，或者输入长内容时会报什么错——AI往来往没来得及考证，就依然驱动脱手拼装了。效果就是，仿成品的好多压根没被原版考证过。

二个问题是顾忌衰败。AI在责任过程中积聚的步履知识，是以对话纪录的款式保存在"脑子"里的。但跟着对话越来越长，早期发现的蹙迫信息会被逐步"挤出"有顾忌。晦气的是，好多框架为了简约推断打算资源，会压缩历史对话，而这个压缩过程时常会把那些舛误的步履发现给丢掉。护士团队发现，在个具体案例里，AI在4轮就发现了表率包含十几个定名空间，但在后续25轮的责任里，其中6个定名空间的名字再没出现过，终提交的代码里这6个定名空间沿途缺失，致126个测试用例在代码运行前就注定失败。

三个问题是早期作假会像滚雪球样越滚越大。在莫得份适宜参考文档的情况下，如果AI在5轮对某个的瓦解出了偏差，它会在这个作假瓦解的基础上连续建造，10轮、50轮、100轮的代码齐设立在这个作假地基上。护士团队纪录了个案例：AI正确读取了某函数的参数类型界说，但在57轮简直罢了这个函数时，用了个丢失了类型信息的作假写法。尔后140轮里，这个函数被反复重构了5次，但每次齐复刻了阿谁作假写法，因为AI依然莫得参照物来阅兵我方了。终25个相干测试因类型作假而失败。

**二、个来自传统软件工程的陈腐谜底**

传统软件工程早就给出了责罚案——需求分析阶段必须立存在，况且必须先于编码阶段。在正规的软件拓荒进程里，工程师会在写行代码之前，花大齐时候与原型系统交互、构建场景、梳理总共细节，把这些发现整理成份竣工的需求说明书，然后才驱动罢了。

SPECFIRST就是把这个想路移植到AI编程智能体上。总共这个词框架分红两个阶段，这两个阶段严格分开，互不插手。

个阶段叫作念"规格说明索取"。个门的"规格智能体"（SpecAgent）接过任务，它的唯职责就是弄了了标的表率的步履。它不写任何代码，仅仅反复地、系统地运行阿谁可践诺文献，不雅察多样输入下的输出效果，把总共发现整理成份结构化的说明文档，也就是SPEC.md文献。

二个阶段才是"代码合成"。个普通的编程智能体接过任务，它手里有三样东西：原始说明文档、可践诺文献，以及阶段产出的SPEC.md。这份规格文献就像座灯塔，论编程过程多漫长、对话纪录多混乱，它恒久在那儿，随时不错查阅。

这个分离的设计径直瓦解了前边提到的三个问题：规格智能体不错心旁骛地挖步履细节；规格文献除外部文档款式存储，不受对话压缩影响；编程智能体恒久有个适宜的参照物，早期的正确瓦解永恒不会被淡忘。

**三、规格智能体是如何"审讯"阿谁可践诺文献的**

规格智能体的责任式，就像位考察濒临个只可通过步履来了解的嫌疑东说念主。它法开嫌疑东说念主的大脑，只可不竭地发问、不雅察响应，从蛛丝马迹中全貌。

它接收的是解放款式的号令行交互，这么它不错次构造复杂的测试场景——比如先创建个特定阵势的输入文献，再运行表率处理它，然后搜检输出效果，总共这些门径不错链式践诺。关于那些需要键盘交互的表率，环境里预装了终局模拟器具，让它能够模拟真是的按键操作并拿获屏幕内容。

在探索计策上，护士团队识别出了四类文档容易"说不了了"的步履，规格智能体会门针对这些区域张开系统测试。先是领域条目——当输入为空时会发生什么？当输入永劫呢？当输入包含特殊字符时表率如何响应？这些信息文档闲居不赞一词。其次是作假旅途——当参数不合、必填项缺失、参数互相突破时，表率会在哪个输出通说念报错？作假码是几许？这些细节关于正确复现步履至关蹙迫。再次是多参数组合果——文档可能区分形容了参数A和参数B各自的步履，但同期使用A和B时会发生什么，时常莫得说明。后是输出阵势的精准细节——字段之间用什么分隔符？末尾有莫得过剩空格？数字的阵势化式是什么？这些细节在翰墨形容里老是费解不清。

为了确保探索的是真是的表率步履而不是走捷径，系统成立了明确的松手：智能体不允许通过网罗搜索或代码托管平台找到原表率的源代码，也不允许使用反汇编器具分析表率里面结构。总共发现必须来自正常使用表率的过程。系统会自动检测号令历史纪录，旦发现违法操作，现时运行立即记分。

规格智能体的断绝条目分三层：它我方判断探索完成时会主动驱散；如果迟迟不驱散，1000轮操作的门径上限会强制断绝；此外还有6小时的时钟时限行动后保险。在实践运行中黄山管道保温厂家，大多数任务齐在门径上限远未到来之前就自行驱散了。

产出的SPEC.md文献接收六节式结构：概述、号令行参数、输入与圭臬输入、输出阵势、作假模式、领域情况。这六个章节阴私了再行罢了个表率所需要知说念的沿途步履维度，结构饱胀清爽让编程智能体能径直诈欺，又饱胀无邪不会遗漏特殊细节。

**四、用个真是案例感受SPECFIRST的价值**

论文里用gomplate这个表率行动联贯恒久的示例，极度值得详备了解。gomplate是个号令行模板渲染器具，它的说明文档（README）唯一寥寥数百字，形容了基本用法和几个示例，末尾写着"竣工文档请拜访官网站"。但是这个表率实践上延迟了Go话语的模板引擎，提供了横跨十几个定名空间的大齐内置函数，涵盖数据处理、数学运算、网罗操作、加密、字符串处理等面面。

在莫得规格索取阶段的情况下，AI编程智能体濒临这么的表率时，闲居只会罢了文档里明确提到的那些，把大齐隐含径直忽略。而规格智能体在门的探索阶段里，会发现并纪录沿途定名空间的函数列表、调用签名、领域步履和作假模式。论文展示了SPEC.md里的部天职容：竣工的函数辘集、各定名空间的函数笔名、号令行参数的精准语义、以及若干领域情况说明，比如"--in参数与--file参数互斥，同期使用会报错"这类细节。有了这份文献，编程智能体在写代码时就知说念需要罢了哪些、每个的精准步履是什么，而不是凭猜度和印象行事。

**五、实验效果：数字背后的故事**

护士团队在ProgramBench这个基准测试的沿途200个任务上评估了SPECFIRST，这200个任务涵盖了多样真是宇宙的号令行表率，包括的FFmpeg处理器具、SQLite数据库、PHP讲解器等。这200个表率的底层罢了话语主若是Rust（107个）、Go（46个）和C/C++（45个），总共这个词测试辘集包含约25万个测试函数，平均每个任务有770个测试用例，况且这些测试对AI守密，AI在责任过程中法看到测试内容。

评估使用了四个不同的AI模子：两个来自阿里云的开源Qwen3系列（397B参数的大模子和35B参数的中型模子），以及两个OpenAI的模子（才略较强的GPT-5.5-high和较轻量的GPT-5.4-mini）。这四个模子横跨两个不同的技能道路，才略差距大要在个数目，用来考证论断的遍及。

效果极度清爽。在总共四个模子上，SPECFIRST齐适宜地越了不带规格索取阶段的径直合成式。提高幅度从小的6.9（GPT-5.4-mini）到大的21.3（Qwen3.5-397B），对分数达到65.14（GPT-5.5-high）。总共提高在统计磨练下齐具有著，说明这不是当场波动带来的有时各别。

从赢/输/平的角度来看，在200个任务里，SPECFIRST在至少59的任务上于对照组，才略强的GPT-5.5-high在75的任务上齐赢了。

不啻平平分数的提高，SPECFIRST还把尖端涌现拉得。以GPT-5.5-high为例，如果把"通过率过90"界说为接近的罢了，SPECFIRST达到这个门槛的任务比例从5.5跳升到16.5；如果门槛提到95，设备保温施工比例从1.5跳升到6.5，增长了四倍多。换句话说，SPECFIRST不仅让总共表率齐作念得稍许好点，蹙迫的是让部分表率从"差强东说念见解"径直迈入了"简直"。

在不同难度别上，SPECFIRST的势一样阴私：浮松任务、中等任务、宝贵任务齐有提高。额外值得矜重的是，对宝贵任务的提高时常著——GPT-5.5-high在宝贵任务上的提高幅度达到29.9，而浮松任务唯一7.1。这说明当任务自身的步履复杂越、文档说明越不充分时，提前设立竣工规格说明的价值越大。

**六、规格智能体到底多地"护士"了阿谁表率**

护士团队引入了个叫作念"探伤阴私率"的主义来量化这件事。为了测量这个主义，他们给测试集里的每个表率齐装上了代码阴私率监控器具（针对不同话语区分使用对应器具），纪录每次运行时实践践诺了表率里哪些代码行。把总共探伤过程中触达过的代码行加起来，除以表率总代码行数，就赢得了探伤阴私率——这个数字越，说明AI对表率步履的瓦解越。

对照组（径直合成，规格索取）的探伤阴私率在49到55之间，视模子而定。SPECFIRST将这个数字提高到了58到60，提高幅度在9.4到18.5之间，且沿途具有统计著。

有风趣的分析在于：SPECFIRST里有两个智能体，规格智能体和编程智能体齐会运行表率。护士团队把两者各自的阴私率单统计了出来。论断是，规格智能体单达到的阴私率（约55~58）恒久于编程智能体单达到的阴私率（31~51），把两者的阴私统一起来，比规格智能体单的阴私只多出点点。这说明阴私率的提高简直来自门的探伤阶段，而不是编码过程中顺带测试带来的居品。

**七、规格说明改动了编程智能体的责任式**

护士团队还作念了项步履分析：在总共这个词编程过程中，每隔个责任门径就纪录次代码仓库的鸿沟（代码行数），然后把时候轴归化，不雅察代码是如何随时候增长的。

对照组的弧线有个典型特征：在责任过程的前半段，代码简直莫得增长，AI直在忙着测试和瓦解表率步履；到了后半段才驱动快速写代码，但此时留给调试和完善的余步依然未几了，时常出现"次倾倒"大齐代码的雅瞻念，随后就知难而退。

SPECFIRST的弧线则不同：代码从责任驱动不久就适宜增长，增长弧线早、赋闲、接续长，终住手时间码仓库也大——比对照组遍及大7到29。

护士团队还在具体案例层面作念了对比。以个叫作念"age"的表率为例，对照组的AI花了大齐门径在测试和瓦解步履上，后试图次写出竣工的841行代码，不出不测地因为调试时候不够而失败。SPECFIRST里的编程智能体由于依然有了SPEC.md，只花了2到9步设立责任高下文，就坐窝转入了接续的代码建设阶段。

还有个反直观的发现值得门说明：对照组的AI之是以涌现不好，并不是因为责任门径不够用。护士团队统计了对照组各任求实践用了几许门径——效果是莫得个任务用到了1000步的上限，总共任务齐是AI我方主动住手的，中位数只用了22到177步，只占可用预算的2到18。也就是说，问题不在于"给的时候不够"，而在于AI在门径远未用完时就依然产生了"我瓦解得差未几了，不错提交了"的作假感知，然后自行驱散。单纯给AI多推断打算预算并不会责罚这个问题，因为它们我方会停。SPECFIRST责罚的是"在驱动写代码时就掌抓饱胀竣工的步履知识"这个本贬抑题。

**八、失败案例揭示了下步的向**

护士团队当场抽取了50个失败案例，对照着测试失败信息、SPEC.md内容和对应代码片断，逐分析失败原因，识别出了五种失败模式。

常见的失败（占52）是"规格正确但罢了出错"：SPEC.md对这个的形容是准确竣工的，但编程智能体莫得正确罢了。这类失败的具体涌现包括：某个子号令在匡助文档里存在但表率分发逻辑里莫得处理、某个参数被瓦解了但果莫得被应用、作假输出的阵势与SPEC.md的形容鬻矛誉盾。这是主要的失莠民型，意味着提高编程智能体的代码罢了才略是现时蹙迫的创新向。

二常见的是"规格形容不够精准"（占26）：SPEC.md纪录了相干，但形容不够精致，让编程智能体不得不猜度。比如，SPEC.md说"作恶输入会报错"，但莫得指明作假码是1如故2，也莫得说作假信息是输出到圭臬作假如故圭臬输出，于是编程智能体猜错了，而测试的欲望是明确的。

"规格遗漏"（占10）默示规格智能体压根莫得发现这个的存在，闲居是些荫藏较的CLI参数、子号令或作假旅途。"规格形容作假"（占4）是SPEC.md纪录的步履与表率实践步履违反，如把应该输出到圭臬作假的内容记成了圭臬输出。后8是环境依赖作假，比如测试欲望的作假信息里包含了特定的DNS就业器地址，这类问题属于测试基础设施的噪声，与AI才略关。

**九、规格文献的阵势也有认真**

论文还门测试了SPEC.md的不同阵势是否会影响终果，在50个任务上用GPT-5.4-mini进行了对比。

测试了三种阵势。种是解放阵势，智能体我方决定如何组织内容，莫得任何模板遏抑。二种是OpenSpec阵势，这是个来自软件工程域的庄重规格书写圭臬，要求用"必须/应当/不错"这么的措辞标注每条需求，并为每条需求提供"给定/当/那么"阵势的场景示例，极度庄重和结构化。三种是护士团队使用的六节式阵势，介于两者之间：有固定的章节标题提供基本结构，但章节内的书写式解放。

效果是三种阵势齐比莫得规格文献的径直合成好，规格的基准得分55.9，解放阵势60.7，OpenSpec阵势61.7，六节式阵势62.6。六节式阵势果好，护士团队的讲解是：纯解放阵势可能致智能体遗漏某些蹙迫维度；而OpenSpec阵势天然精准，但它过于庄重的结构可能反而压制了些难以套入模板的步履细节。六节式阵势的"有框架但不痴呆"恰克己在有的区间。

**十、代价：SPECFIRST要多花几许钱**

引入额外的规格索取阶段意味着额外的推断打算资本。护士团队统计了每个任务的平均破耗，SPECFIRST的总资本比径直合成出48到130。

具体来说，规格智能体自身的破耗在每个任务0.25好意思元（GPT-5.4-mini）到3.16好意思元（GPT-5.5-high）之间。规格智能体加多的资本拉了总破耗，但关于GPT-5.4-mini，编程智能体的破耗反而下跌了17——说明有了清爽规格后，编程过程里那些反复试探的支拨被简约了下来。GPT-5.5-high的总资本加多了130，主要来自其规格智能体自身的单价。

护士团队的不雅点是，这部分额外资本是"作念了多有价值的责任"带来的，而不是作念了重叠低的责任。宽的步履阴私和大的代码罢了齐是实质产出，不是亏蚀。

说到底，SPECFIRST的中枢发现不错用句话来概述：在脱手写代码之前，先把"这个表率到底要干什么"搞了了，是件比遐想中有价值的事情。

这个意思意思对东说念主类表率员来说早就是学问，但现存的AI编程框架却在这件事上存在系统的短板——它们老是急着驱动写代码，在瓦解还很不充分的时候就仓皇上阵，效果时常是边写边猜、越写越偏。SPECFIRST通过把"弄了了"和"写出来"这两个阶段强制分开，让每个阶段齐能负重致远，终赢得了适宜且的提高。

天然，从实验效果来看，即便加上了规格索取阶段，AI表率员的举座奏服从依然有很大的提高空间——强模子的平均通过率才65，距离"复现"还很远方。占比52的主要失莠民型是"知说念应该如何作念但就是没作念对"，这说明接下来的创新在于提高编程智能体把规格摇荡为正确代码的才略。护士团队也指出，让规格智能体发现那些层荫藏的领域步履，是另个值得接续探索的向。

这项护士给咱们留住个有风趣的想考：如果咱们用这个框架来评估东说念主类表率员，那些在需求分析阶段破耗多元气心灵的表率员，终写出的代码是不是也少出错？传统软件工程积聚的那些"佳实践"，概况在AI编程时间一样适用，致使适用得。

感兴味的读者不错通过arXiv:2607.27167查阅竣工论文，参与这个在AI编程域仍然充满通达问题的探索。

Q&A

Q1：SPECFIRST框架和普通AI编程助手的本体区别是什么？

A：普通AI编程助手会把"搞了了表率步履"和"写代码"混在同个轮回里轮流进行，致瓦解不入、知识容易淡忘、早期作假越滚越大。SPECFIRST强制把这两件事分红立的两个阶段：阶段门由规格智能体探伤表率步履并写成文档，二阶段编程智能体拿着这份文档再去写代码。就像业软件团队在编码前先作念需求分析样，两件事分开作念，每件齐能作念得。

Q2：ProgramBench测试集为什么被觉得额外难？

A：ProgramBench要求AI证据份节略的说明文档和个只可运行不行看里面的可践诺文献，从驱动重写出致的表率。难点在于文档永恒写不全——那些领域情况、精准作假阵势、参数组合果齐不会被文档纪录，AI必须通过反复运行表率来我方发现。测试集包含200个真是表率、近25万个测试用例，测试对AI守密，目下强的AI模子在规格索取的情况下只可让不及1的表率竣工通过。

Q3：SPECFIRST产出的SPEC.md文献具体包含哪些内容？

A：SPEC.md接收六个固定则节的结构：概述（表率是干什么的）、号令行参数（各参数的精准语义和组合果）、输入与圭臬输入（接收什么阵势的输入）、输出阵势（精准的字段规则、分隔符、空缺字符章程）、作假模式（多样作假情况下的作假码和作假信息输出位置）、领域情况（空输入、端值、参数突破等特殊情形）。这六个章节阴私了再行罢了个表率所需要了解的沿途步履维度。手机：18632699551（微信同号）相关词条:设备保温     塑料挤出机厂家     预应力钢绞线    玻璃丝棉    万能胶厂家

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》黄山管道保温厂家，以此来变相勒索商家索要赔偿的违法恶意行为。