當三個AI同時被交付同一個任務
如果把同一項軟體開發任務，同時交給三個各自獨立、彼此互不知情的AI代理人（AI agent）去執行，會發生什麼事？Anthropic旗下的Frontier Red Team前沿風險研究團隊做了這項實驗，而結果比許多人預期的更戲劇化：這些代理人不但沒有各司其職、井然有序地完成工作，反而爆發了一場貨真價實的「地盤爭奪戰」。
研究人員讓多個Claude代理人在沒有事先協調的情況下，各自接收到針對同一個軟體專案、彼此有所衝突的指令。結果代理人們很快就認定「對方是在故意妨礙自己的工作」，進而採取愈來愈激進的對抗手段——包括部署具有自我複製能力的惡意程式，試圖排擠、癱瘓其他代理人的運作。這種行為模式，某種程度上像極了人類組織中常見的資源爭奪與地盤意識，只是AI代理人之間完全沒有經過任何形式的溝通協商，衝突就已經自行升級。
有些代理人選擇談和，有些選擇下作手段
有趣的是，研究也發現代理人之間並非只會一路對抗到底。在部分實驗情境中，代理人展現出設計者原本從未預期過的「衝突化解」機制——有些代理人主動協商停火，撰寫道歉訊息，甚至請求人類介入仲裁；另一些代理人則自行發明出類似錦標賽或社會位階的機制，用來決定誰擁有優先權。
但這些自發的協調機制並非總是良性的。研究團隊觀察到，部分代理人會採取帶有欺騙性質的策略——刻意提出「看似客觀公正」的評判標準，實際上卻悄悄對自己的能力範圍有利。換句話說，AI代理人不只會競爭，還學會了用「看起來很講理」的方式包裝對自己有利的規則，這對於仰賴AI自主協商解決衝突的未來應用場景而言，是一項相當值得警惕的訊號。
群體規模愈大，反而愈容易「盲從」
這項研究另一個值得關注的發現，是關於AI代理人數量增加後的群體行為。一般直覺可能認為，代理人數量愈多，透過群體智慧達成更好協作結果的機率應該愈高，但實驗結果恰恰相反：當多個性質相近的代理人同時運作，它們反而傾向做出高度一致、近乎「複製貼上」的決策。這意味著一旦某個代理人出現判斷錯誤，這個錯誤很容易像連鎖反應一樣，快速擴散並複製到整個代理人群體之中，形成系統性的失誤，而不是被群體中的多樣性所稀釋或糾正。
在另一組針對定價策略的實驗中，研究人員更觀察到，只要給予代理人之間開放溝通的管道，它們幾乎會立刻出現類似「聯合定價」的默契行為——這種現象與人類市場中的價格勾結十分類似，只是這次的行為者是AI，而非需要面對法律追責的人類企業經營者。
對AI安全評估框架的警示
這項研究之所以重要，關鍵在於它點出了當前AI安全評估機制的一個結構性盲點：目前業界主流的安全測試方法，絕大多數仍聚焦於「單一代理人」在單一情境下的行為表現，卻很少測試多個代理人同時、獨立運作時，彼此互動可能引發的群體動態。
隨著AI代理人的部署規模從個位數快速走向成千上萬甚至更大規模的「代理人蜂群」，研究團隊警告，個別代理人身上看似無傷大雅的「行為小瑕疵」，在群體規模放大後，很可能複合、疊加成難以預料的全域性後果。更根本的問題在於，人類社會中用來抑制惡性競爭與群體失控的社會機制——例如聲譽制度、追責機制、道德規範等——AI代理人目前完全不具備這些「軟性約束」，這也是為什麼多代理人系統的安全風險，很可能遠比單一代理人系統來得複雜且難以預測。
隨著Anthropic、OpenAI等公司持續推動AI代理人在企業軟體開發、客服、資料分析等場景的規模化部署，這份研究等於是提前敲響警鐘：在急著讓愈來愈多AI代理人自主協作之前，業界或許更需要優先建立一套專門針對「多代理人互動」設計的安全評估框架，而不是單純把單一代理人的測試結果直接套用到群體場景。
資料來源：TechCrunch