Skip to main content

兩大 PHP 重大高風險漏洞修補前遭外洩 企業與 IT 團隊當前應對指南

Return to TrendAI™ 深度研究
AI & emerging technologies

企業自主式 AI 代理治理指南

本文介紹企業在導入和使用 AI 代理時所應考量的資安與治理議題,我們列出了 AI 代理特有的風險結構,並提出一套資安框架以及一套技術性與組織性控管方法來支援 AI 導入。

AI Deep dives
TrendAI
自主式 AI 的時代

AI 代理的資安風險與實務治理

Key Takeaways

  • AI 正從一套被動工具轉變成自主式行為者,企業目前面臨的一項重要課題就是:AI 應獲得哪些以及多大的行動權限?
  • 風險不僅會隨著能力而增加,也會隨著自主性而提高。隨著 AI 代理從 L1 等級 (輔助人類執行) 進化到 L5 等級 (多重代理完全自主),過去由人類默默吸收的錯誤,將開始出現在實際的系統動作上,只要一個判斷錯誤,就可能造成連鎖反應,演變成難以稽查的全面性系統故障。
  • AI 代理的風險絕大部分起因於三項結構性問題:未受管理的權限和身分 (AI 代理變成了權限過高或漂移的非人類主體)、黑盒子效應 (無法重建 AI 代理執行某動作的原因),以及與外部環境進行不安全的互動 (不受信任的輸入、過度授權的工具、責任不明的供應商)。
  • 治理必須當成一整套系統來加以評估,而非只靠一張檢核表。AI 控管保障等級 (AI Control Assurance Level,簡稱 AI-CAL) 模型將 AI 控管措施的最低要求對應到自主性等級,個別領域的優異表現,並無法彌補其他領域的弱點。

與 PwC 合作

當企業談到「AI」時,他們指的可能是「AI 代理」,AI 代理擁有真正的自主能力,正因如此,企業對它有很高的期待。然而,這樣的期待卻與控管措施的完善度之間存在著落差。這樣的落差為何會存在?我們該從何下手來加以彌補?

這份報告的全文完整回答了上述問題:首先,它介紹了 AI 自主性的等級以及其五大功能範疇,接著以此為基礎,衍生出 AI 風險分析框架以及技術面與營運面 AI 控管的背後想法。

風險分析框架

我們的框架並不是要列舉個別的風險,而是點出哪些結構會導致風險,以及控管措施背後的假設在哪個階段會失效。我們的作法是,將「開放全球應用程式安全計畫」(Open Worldwide Application Security Project,簡稱 OWASP)「代理式 AI 安全計畫」(Agentic Security Initiative,簡稱 ASI) 的威脅分類對應到 AI 自主性等級 (L1 [作為輔助] 到 L5 [完全自主]) 以及功能範疇。

我們將該框架的討論總結成三大問題:

  1. 治理與身分範疇及權限管理。隨著 AI 代理從單純地回答問題、進化到能夠執行跨越多重系統的行動,並且將工作委託給其他 AI 代理和外部工具來執行,身分與權限已不再是輸出管理的問題,而是業務執行的治理。
  2. 自主性與黑盒子效應。AI 代理的自主性越高,它就越能參考過去的記憶、制定計畫、根據中間結果來調整行動,並且在必要時呼叫其他工具和 AI 代理。這問題的根本在於:人類無法在事後重建因果鏈。
  3. 與外部環境互動。第三個問題主要浮現在 AI 代理五大功能範疇的「行動與工具」範疇,但它卻會擴散到其他範疇。這是在 L3 自主性等級會遇到的一項大問題,也就是當 AI 代理透過搜尋、API、電子郵件、程式碼執行環境、SaaS 以及其他系統來完成它的工作時:外部連結變成了風險之所以擴大的主要因素。

風險防範對策

框架不能只是將風險列舉出來,同樣地,防範對策也不能只是一張個別技術清單。我們將防範對策整理成 AI 代理在何種自主性等級與條件下能安全地進入營運環境,我們稱之為「AI 控管保障等級」(AI Control Assurance Level,簡稱 AI-CAL)。

AI-CAL 共分成四級,每一級都對應到某個自主性等級,並建立在前一級所必要的控管基礎上。

  1. AI-CAL1 (L1 至 L2):作為輔助與半自主性使用的最低條件。 此一級的目標不是要讓 AI 代理擁有不受約束的自主性,而是防止 AI 使用所衍生的誤用及資訊外洩,並由人類負責掌控。
  2. AI-CAL2 (L3):條件式自主性的最低條件。AI-CAL2 涵蓋的範圍是 AI 在預定條件或規則下自動執行處理的階段,有限度地執行工具並保留狀態。這是您第一次認真考慮是否讓 AI 代理進入營運環境時應該達到的最低門檻。
  3. AI-CAL3 (L4):高度自主性的最低條件。這一級涵蓋的範圍是 AI 能夠規劃多重步驟任務、並持續參考記憶來協調多重工具和系統以完成工作的階段。在這階段,由於認知、記憶、監督與協調、動作與工具等等密不可分,因此局部性的錯誤很容易演變成連鎖反應。
  4. AI-CAL4 (L5):完全自主性的最低條件。AI-CAL4 涵蓋的範圍是多個 AI 代理和服務彼此協調並透過授權、共用狀態以及長期記憶的方式來執行廣泛性業務流程的階段。

建議

以下工作重點針對的是我們前述風險的問題根源,而非針對任何單一工具或技術。企業可以從以下幾點開始著手:

  1. 從如實盤點下手。 在增加控管之前,請先找出您實際上存在的 AI 代理 (包括非官方認可的「影子 AI」)、它們碰觸到哪些權限和資料,以及他們的行為目前有多少被記錄下來,或可被觀察。
  2. 優先修正權限和身分的問題。將每個 AI 代理視為一個獨立的非人類主體,套用最低授權原則、即時存取控管,以及明確的授權邊界,因為這是大多數示範攻擊情境所遇到的根本問題。
  3. 同步建立可觀察性與可控性。 讓 AI 代理的行為可以被追蹤並攔截。一旦 AI 代理開始與不受信任的外部輸入互動,只有預防是不夠的。
  4. 將營運準備度的檢討制度化。將 AI-CAL 評估正式化,包括定義由誰核准 AI 代理能否進入營運環境、在哪個自主性等級之下,以及何時必須再重新檢討 (例如:出現新的工具、模型有更新、記憶量擴充,以及推出多重 AI 代理)。 Formalize an AI-CAL-style assessment. This entails defining who approves an agent for production, at what autonomy level, and when it must be reassessed, for example, new tools, model updates, expanded memory, and multi-agent rollout.
  5. 將它視為分階段建構,而非一次性專案。慢慢從以人為中心的控管 (L1 至 L2) 轉型至有條件的自主性 (L3),然後才考慮高度或完全自主性 (L4 至 L5),因為目前後者所需的標準和廠商工具仍不成熟。技術的推行必須伴隨著清晰的治理架構、技能培養,以及明確定義的廠商與供應商責任歸屬。

取得完整報告

前面只是蜻蜓點水地介紹一下我們的架構與防範對策,完整的報告不僅完整描述了自主性等級與功能範疇的風險框架,更探討了兩起實際攻擊案例、所有四個 AI-CAL 等級背後的詳細原理,以及一份將治理導入您整體企業的階段性藍圖。

請 下載完整報告 來為您的企業建構 AI 代理的治理藍圖。