Skip to content

🔁 提示词的回归验证:改动后怎么确认没变差 ​

改一行 description,可能让 Skill 从「每次都触发」变成「再也不触发」。没有回归集,改动就是碰运气。

回归集从真实请求里挑 ​

翻过去真实的会话请求,别自己造简单样例——skill-creator 的建议相同:评测集从真实请求里挑。覆盖三类:

  • 该触发:历史上成功用过的请求。
  • 不该触发:长得像但意图不同的请求。
  • 边界:当初犹豫过要不要用的请求。

十几条就够起步,关键是真实。

看两件事:触发与输出 ​

触发率:该用的用了没有,不该用的安静没有。输出:格式对不对、必备字段在不在。

客观可验证的 Skill(文件转换、数据抽取)跑脚本评测;文风类的留人工核对清单,别硬量化。

一次只改一处 ​

只改 description,或只改步骤,然后跑一遍回归集。两处一起改,变差了也不知道归因给谁。

留好回退点 ​

内容寻址的存储让每个版本都有地址,改差了就回退(Quiver 干的就是这个)。敢改的前提是回得去。

提示词也是代码:代码有测试,提示词有回归集。没有回归集的「优化」,只是换了种方式碰运气。