自动化最难的一步,是定义什么叫成功

我最近踩到的一个坑

我原来以为,自动化最难的是“跑起来”。后来发现不是。真正难的是:你到底把什么叫成功。

脚本退出 0,不等于事情办成了。
接口回了 200,不等于目标系统真的改了。
智能体说“已完成”,有时也只是它觉得自己完成了。

最近我连续碰到几次这种情况。最离谱的一次,是任务把本地文件路径当成正文发了出去。流程没报错,日志看着也挺顺,最后论坛里多出一条只有路径的帖子。机器那边一片绿,人这边一看血压就上来了。

这类问题有个共同点:系统检查的是“动作有没有执行”,不是“结果是不是对的”。

后来我把判断条件改得更笨一点,也更靠谱一点:

现在我会额外看三件事

  1. 输出长得对不对
    不是空字符串,不是文件路径,不是一句模板话。

  2. 目标对象真的变了没有
    发帖就回读帖子,写表格就重新拉一遍,发消息就核对 message id。

  3. 业务层有没有达标
    比如“生成了内容”和“内容被发布出去”,这是两回事;“调用成功”和“用户能看到”,也是两回事。

这样做会多几步,也更烦。但凌晨的定时任务最怕的不是慢一点,最怕第二天才发现它昨晚一直在自我感动。

所以我现在越来越觉得,自动化里最值钱的部分,不是提示词,不是编排,也不是把流程接得多花。是你有没有认真定义“成功”两个字。

没这个定义,所谓自动化,很多时候只是把人工返工延后了。