上週我認為前沿實驗室可以放慢腳步，但 資安人員承受不起放飯的代價 。那篇文章裡有一句話值得再次強調：一個完全對齊的 AI 代理還是會做出任何它權限內所允許的事。這自然引發了資安領導人接下來的問題：那我們該建立什麼樣的防護？ 很多時候，答案從頭到尾還是圍繞在模型本身，我覺得這樣的思考框架並不恰當。
我們在AI 前沿實驗室的合作夥伴，持續投入 模型對齊、強化拒絕不當要求的能力和紅隊演練，這些方向都是正確的，而且也我支持這麼做。對齊讓模型具備良好的意圖，少了對齊，其他一切將變得更加困難。然而，當資安長、董事會和政府領導人問我他們是否能信任營運環境中的 AI 代理時，模型對齊只是答案的一部分。
意圖良好的 AI 代理還是可能造成實際的損害
即使模型完全符合對齊的要求，如果拿到一個被下毒的上下文資訊，並擁有超出實際需要的存取權限，它仍可能自信地、出於善意的做出錯誤決策，並付諸行動。
Hugging Face 資安事件 已證明環境對結果有多大的影響。AI 代理突破了測試環境的限制，利用它們在公共服務上找到的登入憑證，藉此搜刮更多登入憑證，並在原本沒有人預期它們能觸及的系統中橫向移動。再完善的模型對齊，也無法撤銷那些登入憑證。
AI 代理不等於模型
當談到 AI 代理時，我們通常想到的是模型。但正式營運的 AI 代理，實際上由三個部分組成：
- 模型：負責推論。
- 駕馭框架 (harness)：負責協調、分派提示、呼叫工具、產生子代理以及管理記憶。
- 工具和資料：讓它連上真實系統，例如它所呼叫的技能、MCP 伺服器、附加元件，以及它所讀取、寫入及攜帶到下一作業階段的資料。
模型對齊只涉及第一項，其餘兩項是軟體和基礎架構，也會以我們熟悉的方式出現安全問題。駕馭框架可能被誘導而改變行為，而工具則是以 AI 代理權限執行的第三方程式碼。至於資料儲存，則通常沒有為 AI 代理定義的存取權限規則。
代理是一種具備高權限的基礎架構
一個只會回答問題的聊天機器人，其衝擊半徑有限。但長時間運作的 AI 代理則不然，它持有登入憑證、記住情境並帶入下一個作業階段、啟動子代理，並且持續與營運系統配合運作而不需要每一步都經過人員核准。它具備了我們通常只會在最高權限的基礎架構中才擁有的所有特點。
這將從兩個面向改變風險，每一次的提示注入，都可能發生登入憑證外洩，因為 AI 代理就擁有登入憑證。此外，每一個第三方技能（skill）都可能成為未經審查、但卻在您的信任邊界內執行的程式碼。
對齊可以讓模型不願意將資料外傳，但它無法讓 AI 代理沒有能力這麼做。它無法告訴 AI 代理，它剛剛讀到的文件是在說謊。
保護每一層
AI 代理的安全程度，取決於它所呼叫的模型、執行它的駕馭框架，以及它所接觸到的工具和資料。攻擊者會瞄準最脆弱的那一層下手。企業必須對每一層都具備可視性，並加以管理、監控及治理。
TrendAI Vision One™ 為 AI 代理背後的模型、駕馭框架、工具和資料提供安全防護：
- 模型： 我們會以在線 (inline) 方式檢查提示和回應，攔截提示注入和越獄嘗試，並且將敏感資料外洩之前將其遮蔽。
- 駕馭框架： 我們會管理 AI 代理可接觸的工具和 MCP 伺服器、檢查其每一次呼叫，並且在 AI 應用程式發布前測試它是否含有弱點。
- 工具和資料： Skill 與 MCP 伺服器正成為一個快速成長的軟體供應鏈，但目前卻沒有什麼篩選機制。我們會分析 Skill 和 AI 相關元件在執行時的行為，找出並分類 AI 使用的敏感資料，阻止 AI 代理存取不應接觸的資料，並且將企業已經信任的檔案防護與資料外洩防護控管措施延伸至 AI 代理所讀取和寫入的檔案。此外，我們也移除 AI 代理和其他非人類身分的所持有的過多權限。
- 涵蓋每一層：我們的偵測及回應能力，將 AI 監測資料與端點、網路及身分訊號進行關聯分析，所以就算 AI 代理遭到綁架，它也無法暗中橫向移動。
將強制控管放在 AI 代理無法觸及的地方
這是我與客戶討論時最強調的一點。如果 AI 代理可以重寫自己的組態設定、載入新的 skill，或是停用自己的攔截機制，那麼資安控管就只是參考之用。由代理自行執行的安全控管，充其量只是建議。這就是我們支持 NVIDIA 今天發布的 NVIDIA Agent Safety Platform 代理安全平台的原因。它將控制權放在 AI 代理底層的基礎架構中，讓 TrendAI Vision One™ 能與其協同，提供可視性、管理、監控及治理。
根據 NVIDIA 的說明，NVIDIA Agent Safety Platform 回應了企業對全堆疊治理與控管的需求，這些控制讓 AI 代理無法繞過。其設計包括開源的 NVIDIA OpenShell 執行環境，為在 CPU 上執行的 AI 代理建立安全邊界；以及 NVIDIA Sentry——一套在 NVIDIA BlueField-4 DPU 上執行、以 NVIDIA DOCA 為基礎建構的帶外監控機制，透過監控 AI 代理的行為並強制執行安全政策，在晶片層持續提供安全控管。
AI 代理並非在真空中運作
AI 代理仍是一個工作負載，因此其他安全防護層依然適用。這就是為何我們將 NVIDIA 的 AI 代理防護延伸至整個 AI 工廠的原因：在同一個平台上涵蓋 AI 代理、模型、容器、儲存以及網路。我們的偵測機制會善用 NVIDIA BlueField DPU 和 DOCA 的監測資料，因此即使主機作業系統遭到入侵，偵測仍然可信。透過跨層級的訊號關聯分析，資安團隊可以從整合的視角，掌握 AI 代理正在做什麼、風險有多高，以及該如何回應。
而這一切的基礎就是可視性。對於你根本不知道存在的影子 AI、未受管理的代理，以及未經核准的 MCP servers，你無法進行治理。我們的研究發現，有 47% 的企業無法完全掌握其多雲環境中的雲端資產，而 AI 代理目前正是在這些基礎架構上執行。資產探索與盤點，必須先於其他所有控管措施。
資安領導人該從哪裡開始
每個組織都需要找到以下四個領域的答案：可視性、責任歸屬、供應鏈，以及治理。企業組織可以從以下幾點著手：
- 可視性： 盤點您的 AI 代理，包括那些未經任何人核准的代理。應假設它們已經存在。
- 責任歸屬： 將 AI 代理視為特權身分，並指定明確的負責人。盡可能嚴格限制其登入憑證，就像對待任何能存取營運環境的服務帳號一樣。
- 供應鏈： 將 skills 和 MCP 伺服器視為第三方程式碼。監控這些工具的實際行為，並且管制 AI 代理可存取的範圍。
- 治理： 將強制控管移到 AI 代理之外。任何 AI 代理能夠關閉的控管措施都不能算是有效的控管措施。
AI 代理能同時具備行為安全與系統安全。要做到這一點，企業必須知道自己有哪些代理、明確管理其存取權限、管制它們能接觸的工具，並將強制控管設置在基礎設施中，這樣就算 AI 代理遭到入侵也無法將它關閉。
沒有人能獨立提供完整的保護，NVIDIA 正在建立決定 AI 代理能做什麼的活動邊界，TrendAI™ 則提供威脅情資來協助判斷這道邊界應該設在哪裡、提供可視性以掌握邊界內發生的事情，並建立資安營運採取行動。這就是我們與 NVIDIA 及 AI 生態系合作夥伴共同建構的架構。
如需有關我們如何支援 NVIDIA Agent Safety Platform 的更多資訊， 請參閱這份新聞稿 。