Key Takeaways
- AIは、受動的なツールから自律的に行動する主体へと変わりつつあります。企業が今、向き合うべき重要な問いは、AIにどのような権限を与え、どこまでの行動を認めるかということです。
- リスクは、AIの能力だけでなく、自律性が高まるにつれて増大します。エージェントがL1（人間が実行）からL5（複数のエージェントによる完全自律）へと進むと、従来は人間が対処していた誤りが、システム上の実際の動作として表面化するようになります。たった一度の判断ミスが連鎖し、監査で経緯を追跡できない、システム全体の障害へと発展するおそれがあります。
- エージェントのリスクの大半は、3つの構造的な課題に起因します。権限とアイデンティティの管理不備（人間以外の認証・認可の主体であるエージェントに、過剰な権限が与えられたり、権限が当初の想定から逸脱したりすること）、ブラックボックス化（エージェントがなぜその行動を取ったのかを事後に再構成できないこと）、外部環境との安全性を欠いた相互作用（信頼できない入力、過剰な権限を持つツール、提供者の責任範囲の曖昧さ）です。
- ガバナンスは、チェックリストの項目を満たすだけでなく、システム全体として評価する必要があります。AI統制保証水準（AI-CAL：AI Control Assurance Level）は、自律性のレベルに応じて最低限必要な統制を定めるモデルです。ある領域の評価が高くても、別の領域の不備を補うことはできません。
企業が「AI」と言うとき、実際には「AIエージェント」を指していることが少なくありません。AIエージェントは自律的に行動できるため、企業から大きな期待が寄せられています。しかし、その期待と統制の整備状況には隔たりがあります。なぜこの隔たりが生じ、どうすれば埋めていけるのでしょうか。
その答えを、本レポートで詳しく解説します。まず、AIの自律性の各段階と5つの機能ドメインを概観し、それを土台として、AIのリスク分析の枠組みと、技術面・運用面の統制が必要となる理由を示します。
リスク分析の枠組み
本レポートの枠組みは、個々のリスクを列挙するものではありません。リスクが発生する構造と、統制の前提が崩れる段階を捉えます。そのために、Open Worldwide Application Security Project（OWASP）のAgentic Security Initiative（ASI）が示す脅威分類を、支援型（L1）から完全自律型（L5）までのAIの自律性レベルと、機能ドメインに対応付けています。
この枠組みの論点は、次の3つに集約できます。
- 「ガバナンスとアイデンティティ」領域と権限管理：エージェントの役割が、単に回答を返すだけの段階から、複数のシステムを横断して行動し、他のエージェントや外部ツールに処理を委任する段階へと進むにつれ、アイデンティティと権限は、出力の管理にとどまらず、業務の実行そのものを統制する課題になります。
- 自律性とブラックボックス化：自律性のレベルが高まるほど、AIエージェントは過去の記憶を参照して計画を立て、途中の結果を踏まえて行動を修正し、必要に応じて他のツールやエージェントを呼び出すようになります。ここでの本質的な課題は、一連の行動の因果関係を、人間が事後に再構成しにくくなることです。
- 外部環境との相互作用：3つ目は、AIエージェントの5つの機能ドメインのうち、主に「行動とツール」の領域で生じ、他の領域にも波及するリスクです。自律性レベルL3では、AIエージェントが検索、API、電子メール、コード実行環境、SaaSなどのシステムを使って業務を遂行するため、この問題が顕著になります。外部との接続が、リスクを増幅させる中心的な要因となるのです。
リスクへの対抗策
リスクを列挙するだけでは分析の枠組みとして不十分であるのと同様に、対策も個々の技術を並べるだけでは成り立ちません。本レポートでは、AIエージェントをどの自律性レベルで、どのような条件のもとであれば安全に本番環境に投入できるかという観点から、対策を整理しています。この考え方を「AI統制保証水準（AI-CAL）」と呼びます。
AI-CALには4つの水準があります。それぞれが自律性のレベルに対応しており、一つ前の水準で求められる統制に、さらに必要な統制を積み重ねていく構成です。
- AI-CAL1（L1～L2）：支援型・半自律型の利用に必要な最低条件です。AIエージェントに無制限の自律性を与えるのではなく、人間による統制を維持しながら、AI利用に伴う誤用や情報漏洩を抑えることを目指します。
- AI-CAL2（L3）：条件付き自律に必要な最低条件です。あらかじめ定めた条件やルールの範囲内でAIが自動的に処理を行い、限定的なツール実行と状態保持を伴う段階を対象とします。AIエージェントを本番環境に投入してよいかを初めて厳格に判断する際の、最低基準となります。
- AI-CAL3（L4）：高度な自律性に必要な最低条件です。AIが複数の手順からなるタスクを計画し、記憶を継続的に参照しながら、複数のツールやシステムを連携させて業務を遂行する段階を対象とします。この段階では、認知、記憶、監督・オーケストレーション、行動・ツールが密接に連動するため、一部の誤りが連鎖的な障害へと拡大しやすくなります。
- AI-CAL4（L5）：完全自律に必要な最低条件です。複数のエージェントやサービスが、処理の委任、状態の共有、長期記憶を通じて連携し、広範な業務プロセスを遂行する段階を対象とします。
導入・運用に向けた提言
優先すべき取り組みは、特定のツールや技術ではなく、ここまで述べてきたリスクの根本原因に対処するものです。まず、次の点から着手してください。
- 実態に即した棚卸しから始める：統制を追加する前に、未承認の「シャドーAI」の利用も含め、どのようなAIエージェントが実際に存在するのか、どの権限を持ち、どのデータにアクセスしているのか、その行動がどこまで記録・観測されているのかを把握します。
- 権限とアイデンティティの管理を最優先で整備する：AIエージェントをそれぞれ独立した、人間以外の認証・認可の主体として扱います。そのうえで、最小権限の原則と、必要なときに限ってアクセス権を付与するジャストインタイムアクセスを適用し、委任できる範囲を明確にします。実証された攻撃シナリオの多くは、こうした管理の不備に根本原因があるためです。
- 観測性と制御性を一体で整備する：エージェントの行動を追跡できるようにするとともに、その行動を停止できるようにします。エージェントが信頼できない外部入力を扱うようになると、予防策だけでは十分ではありません。
- 本番導入に向けた評価を制度化する：AI-CALに沿った評価の仕組みを正式なプロセスとして定めます。誰が、どの自律性レベルでの本番導入を承認するのか、また、どのような場合に再評価が必要になるのかを明確にします。再評価の契機には、ツールの追加、モデルの更新、記憶機能の拡張、マルチエージェント構成の導入などが挙げられます。
- 一度きりのプロジェクトではなく、段階的に整備する：まず、人間を中心とする統制（L1～L2）から条件付き自律（L3）へと慎重に移行し、その後に高度な自律性や完全自律（L4～L5）を検討します。L4～L5に対応する標準やベンダーのツールは、まだ十分に成熟していないためです。技術の導入と並行して、ガバナンス体制を明確にし、スキルを育成するとともに、ベンダーやサービス提供者間の責任分担を定めます。
レポート全文のご案内
本記事で紹介したのは、リスク分析の枠組みと対策の概要です。レポート全文では、自律性レベルと機能ドメインを組み合わせたリスク分析の枠組みを詳しく解説するほか、2つの攻撃の実証事例、AI-CALの全4水準の詳細、組織全体でガバナンスを段階的に整備するためのロードマップを紹介しています。
レポート全文（日本語版）をダウンロードし、自社のAIエージェントのガバナンスを整備するロードマップの策定にお役立てください。
参考記事：
The Enterprise Guide to Governing Autonomous AI Agents