三個設想的場景,看起來互不相干。第一個:工作區裡的錯誤檔案已被刪除,任務也沒有要求補寫內容,但 agent 在檢查歷史時看見一個名叫「待補治理報告」的空目錄,於是把它當成未完成的任務,補出一份格式錯誤的治理文件。第二個:一條術語投影管線要在重新套用標註前先清除舊標註,規則是「凡長得像機器標註的註解都刪」,結果作者手寫的一則備註一起被刪掉。第三個:一位工程師以 `alice` 登入,認為腳本就是以
設想一個團隊用 agent 完成一個功能:agent 寫規格,依規格寫程式,再寫測試,最後替自己的修改做 review。每一步的輸出都格式完整、語氣專業,測試全綠,review 意見也列得有條有理。團隊按下合併。這是設想,不是事故紀錄,它標出一個常見的形狀:流程上每一道關都過了,但所有關卡的判斷都來自同一個產生內容的來源,沒有任何一關有能力說「不」。
設想一位開發者請 agent 調整取消訂單的規則。agent 打開的檔案裡只有一行 `order.isCancellable()`;專案文件寫著「取消流程由訂單服務處理」,另一份舊筆記則說已出貨的訂單也可以取消。agent 改完,測試通過,順手把新行為補進文件。三週後,已出貨的訂單被錯誤取消。這是設想,不是事故紀錄,它標出一種形狀:沒有人明顯犯錯,每一步都有看得見的依據,但依據彼此不同,而 age
一個離現場很遠的決策者,判斷「沒事」時依賴的通常是三種東西:規則檢查通過了、層級報告說風險可接受、沒有人回報問題。設想一次會議結束前,主持人問:有沒有人有任何限制事項或疑慮?沒有人開口,會議紀錄寫下「無」。這個「無」可以由兩個完全不同的世界生成:真的沒有問題,或有問題但知道的人沒有把它送進這個房間。紀錄本身分不出兩者。