exists. occasionally transmits.
設想一個常見的導入路徑:發帳號、開 prompt 教學課、整理模板與檢核表、把「AI 使用率」放進週報。幾個月後,產出速度確實上升了,但程式碼審查開始堆積,文件越來越厚而共識越來越薄,新人直接從「描述需求、審查產物」起步,卻說不清系統為什麼這樣設計。這是設想的情境,不是特定事故的記錄;它濃縮的是本文作者觀察到的反覆落差:組織把 AI 協作當成工具擴散問題處理,而真正的瓶頸往往不是工具知識。
設想一位資深工程師看一眼錯誤日誌,就說「這是連線池被耗盡了」,而且多半是對的。她說不太清楚自己是怎麼看出來的,只知道這種日誌她看過很多次,其中幾次讓她熬了整夜。這種說不清楚、卻能可靠地引導判斷的知識,是工程組織最重要也最難傳遞的資產之一。本文討論的是:當這種知識的養成途徑,以及它所依賴的公共知識來源,都因為模型生成而改變時,組織會在哪裡失去發現自己錯誤的能力。
設想一位郵局分局長某天結帳,終端機顯示帳上短少 3,000 英鎊。她確定自己沒有拿錢,也找不到錯在哪裡。她能怎麼證明?她看不到系統的原始碼,看不到資料庫的交易紀錄,也不知道遠在另一個城市的工程師能不能從後台改動她的帳。她手上唯一的證據是自己的證詞,而對方手上的證據是一張由電腦印出來的帳表。
自動化的承諾之一,是把「訊號出現」到「採取行動」之間的距離縮到最短。估價模型算出房價,系統就直接向屋主發出收購要約;安全廠商發現新威脅,更新就在幾分鐘內推送到全球數百萬台電腦。中間原本存在的人工複核、分批上線與等待,被看成拖慢速度的摩擦力(Friction)。
一家製造複雜系統的公司,要靠許多看不見的東西維持安全:多一顆感測器、多一輪測試、資深工程師可以對時程說不、品質人員的異議能一路送到董事會。這些東西有個共同點:它們的成本每一季都看得到,它們的價值只有在事故沒發生時才存在,而沒發生的事故不會出現在財報上。本文把這類為了吸收錯誤而保留、平時看似閒置的能力稱為糾錯緩衝(Slack)。
三個設想的場景,看起來互不相干。第一個:工作區裡的錯誤檔案已被刪除,任務也沒有要求補寫內容,但 agent 在檢查歷史時看見一個名叫「待補治理報告」的空目錄,於是把它當成未完成的任務,補出一份格式錯誤的治理文件。第二個:一條術語投影管線要在重新套用標註前先清除舊標註,規則是「凡長得像機器標註的註解都刪」,結果作者手寫的一則備註一起被刪掉。第三個:一位工程師以 `alice` 登入,認為腳本就是以
設想一個團隊用 agent 完成一個功能:agent 寫規格,依規格寫程式,再寫測試,最後替自己的修改做 review。每一步的輸出都格式完整、語氣專業,測試全綠,review 意見也列得有條有理。團隊按下合併。這是設想,不是事故紀錄,它標出一個常見的形狀:流程上每一道關都過了,但所有關卡的判斷都來自同一個產生內容的來源,沒有任何一關有能力說「不」。
設想一位開發者請 agent 調整取消訂單的規則。agent 打開的檔案裡只有一行 `order.isCancellable()`;專案文件寫著「取消流程由訂單服務處理」,另一份舊筆記則說已出貨的訂單也可以取消。agent 改完,測試通過,順手把新行為補進文件。三週後,已出貨的訂單被錯誤取消。這是設想,不是事故紀錄,它標出一種形狀:沒有人明顯犯錯,每一步都有看得見的依據,但依據彼此不同,而 age
一個離現場很遠的決策者,判斷「沒事」時依賴的通常是三種東西:規則檢查通過了、層級報告說風險可接受、沒有人回報問題。設想一次會議結束前,主持人問:有沒有人有任何限制事項或疑慮?沒有人開口,會議紀錄寫下「無」。這個「無」可以由兩個完全不同的世界生成:真的沒有問題,或有問題但知道的人沒有把它送進這個房間。紀錄本身分不出兩者。
設想一個團隊把各模組的開發速度提高了。每次合併都通過該模組的測試,每個小組的交付指標都在上升。半年後,整合階段的缺陷與返工越來越多,回頭逐項檢查,卻找不到任何一個「錯誤的決定」。這是設想,不是統計;它用來標出一種常見的形狀:每個局部的檢查都為真,整體卻在劣化。