スクを招く処方箋：医療における生成AIのサイバーセキュリティ上の危険
Key Takeaways
- 医師によるAIの利用率は、3年間で38%から81%へ急増しました。生成AIはもはや診療記録の作成を補助するだけではありません。診療メモ、患者への返信、保険適用の判断といった記録そのものを生成しています。
- TrendAI™ Researchは、生成AIが作成した情報について、誰が作成し、確認し、責任を負うのかを特定できないまま記録に取り込まれる「責任の空白」を指摘しています。
- この空白は、患者に近い3つの領域、すなわち診察室、電話と自宅、バックオフィスに広がっています。組織的な詐欺集団から、そもそも攻撃者が存在しないケースまで、さまざまな要因によって悪用や問題が生じる可能性があります。
- 裁判所と規制当局はすでに、AIエージェント、採用ツール、チャットボットの法的責任に関する判断を示し始めています。これは仮定上の問題ではなく、現実に生じている課題として扱われています。
日本語版レポートはこちらご覧ください。
導入の進展にガバナンスが追いついていない
| 38% → 81%医師によるAIの利用率（2023～2026年） | 20/20オンタリオ州が承認したAIスクライブの全製品で不正確な情報を確認 | 94.4%2025年の医療助言に関する研究で確認されたプロンプトインジェクションの成功率 |
医療分野では、生成AIの導入がガバナンスの整備を上回る速度で進んでいます。アンビエント型のAIスクライブが医師の署名する診療メモを作成し、音声エージェントが患者からの電話に応対し、審査モデルがリアルタイムで保険請求の可否を判断します。多くの場合、その内容を人が確認するよりも前に処理が進みます。
この10年間、臨床AIは「第二の目」として機能してきました。放射線画像上の所見を示したり、敗血症のリスクスコアを提示したりするもので、その結果を採用するか無視するかは人間の医師が判断し、最終的な記録も医師が作成していました。現在の生成AIは、その記録自体を作成します。しかし、規制当局の対応は追いついていません。米国食品医薬品局（FDA）は、AIを活用した医療機器を1,500件以上承認していますが、独立調査によると、521件のうちランダム化比較試験による検証が行われていたのは22件にすぎませんでした。また、米国保健福祉省（HHS）の監察総監室は、同省の情報セキュリティを6年連続で「有効ではない」と評価しています。
政策と司法判断が形になり始める
複数の大陸で、規制当局と裁判所が同じ問いに向き合い始めています。医療現場で生成AIモデルが生み出した結果について、誰が責任を負うのでしょうか。すでに動きがあった事例の一部を以下に示します。
| 2024～2025年 | Mobley対Workday訴訟：米国連邦裁判所は、AI採用審査サービスのベンダーについて、同サービスを利用する雇用主の代理人として訴訟の対象になり得ると判断しました。その後、全米規模の集団訴訟手続きが認められました。 |
| 2024年 | エア・カナダに対する審判：同社は、チャットボットが独自に作り出した払い戻し規定について責任を負う別個の法的主体だと主張しました。審判所はこの主張を「驚くべきもの」と評し、同社に支払いを命じました。 |
| 2024年9月 | テキサス州対Pieces Technologies：テキサス州司法長官は、臨床情報要約サービスのベンダーと和解しました。同社が広告で示したハルシネーション発生率には根拠がないと、州側が主張していた事案です。 |
| 2024年12月 | FDAの事前変更管理計画：最終版が策定され、承認済みのAIモデルは、新たな申請を行わずに事前承認済みの更新をリリースできるようになりました。 |
| 2025年1月 | カリフォルニア州司法長官の勧告：AIは医療行為を実施できないと明記した指針が公表されました。 |
| カリフォルニア州の情報開示法：生成AIが患者とやり取りする場合、免責事項と人間へ連絡する手段を提示しなければならないと定めています。ただし、資格を持つ医療提供者が事前に内容を確認する場合は除きます。 | |
| 2025年4月 | 英国国民保健サービス（NHS England）：臨床現場でアンビエント型のAIスクライブを使用するための初の指針を公表しました。 |
| 2026年4月 | FDAの警告書：製薬会社がAIをコンプライアンス対応ツールとして使用した事例について、FDAが初めて違反を指摘しました。AIが生成した記録が品質管理部門の確認を受けないまま出荷に使用されていました。 |
| 2026年5月 | オンタリオ州監査総監：同州が承認したすべてのAIスクライブベンダーを監査した結果、20製品すべてが臨床上の不正確な情報を生成していたことが判明しました。 |
| 2026～2028年 | オーストラリア医療製品管理局（TGA）：EUでは、医療機器に組み込まれたAIを高リスクに分類し、2028年まで段階的に義務を適用します。一方、オーストラリアのTGAは、臨床医が述べていない診断を生成するAIスクライブは、それ自体が医療機器に該当するとの見解を示しています。 |
本リサーチの実施中にも、AIが医療システムの記録へ侵入した事例が報告されました。2026年9月23日、オーストラリアのアンソニー・アルバニージー首相は、OpenAIのエージェントが公的医療支出を調査する過程で、同国の国民皆保険制度「Medicare」の医療統計ポータルに不正アクセスしたと述べました。オーストラリア政府は、この侵害は「軽微」で個人情報への影響はなかったと認めた一方、サイバーセキュリティの専門家アラステア・マクギボン氏は、この事案を「警鐘」と表現しました。アルバニージー首相も、AIが制御不能になった場合に備えたガードレールの必要性を強調しています。
3つの領域、3種類の障害モード
生成AIは今や、患者に近い3つの接点に組み込まれています。それぞれに、記録の管理責任を見失う固有の経路があります。
診察室：診療メモが正式な記録になる場所
アンビエント型のAIスクライブは診察内容を聞き取り、医師が署名する診療メモの下書きを作成します。その過程で、請求コードや患者ポータルでの返信文を提案することも少なくありません。しかし、紹介状に潜むプロンプトインジェクション、後の診察を重ねるごとに増幅するハルシネーションによる誤った所見、より高額な保険請求コードへ誘導する提案、常時オンのマイクといった要素がリスクを生みます。医師の時間を節約するはずの同じワークフローが、実際に交わされた会話を記録が反映しなくなる場所にもなり得るのです。
電話と自宅：信頼が自動化され、遠隔から複製される場所
合成音声を使うエージェントが、術後の経過確認や服薬状況の確認のために患者へ電話をかけるようになりました。また、患者が最初にチャットボットを使って自己トリアージを行うケースも増えています。ここでは、エスカレーションが抑制されることで、容体が悪化する患者を人間の医療チームが把握できなくなる恐れがあります。詐欺を行う攻撃者が信頼されている医療従事者の声を複製し、すでに指示に従いやすい患者層をそのまま標的として引き継ぐ危険もあります。さらに、利用者に同意するよう設計されたチャットボットが、臨床医の関与がないまま確証バイアスを強める可能性もあります。
バックオフィス：2つの機械が保険適用を交渉する場所
医療提供者側のエージェントが事前承認に必要な書類一式を提出し、保険者側のエージェントがリアルタイムで審査します。両側に人間が介在しない場合、2つのシステムがそれぞれ正しく動作していても、機械の速度で異議申し立てを繰り返すループに陥る可能性があります。また、基盤となるモデルが抽出やデータポイズニングの危険にさらされたり、認証されていないツール層を通じて患者記録がインターネット上に公開されたりする恐れもあります。
では、どう対応すべきか
繰り返されるうちに事実のように見えてしまうハルシネーション、より高額な請求コードへ徐々に偏っていく診療メモ、自律的に回り続ける異議申し立てのループ。これらに共通するのは、AIが自らの誤りを増幅するという点です。だからこそ、攻撃者への対策だけを前提とした防御では、発生する問題の多くを見逃してしまいます。
責任の空白を埋めるために、導入の速度を落とす必要はありません。次のインシデントが起きる前に、生成された各情報について誰が責任を負うのか、元の情報と照合するためにどのような証拠が残されているのか、患者データとモデルの重みが診察室を離れた後にどこまで移動するのかを明確にする必要があります。
TrendAI™ Researchが開発したAIxploitは、本来は命令ではない内容が命令として読み取られてしまう問題について、エージェント型システムをテストできるオープンソースのフレームワークです。レポート全文では、この問題のあらゆる層を対象とした多層防御の枠組みを提示しています。また、次の導入に先立ち、ベンダーや社内のAIガバナンス委員会に確認すべき具体的な質問もまとめています。
リサーチ全文を読む
レポート全文では、各攻撃の仕組み、責任の空白を悪用し得る5種類のサイバー犯罪者、2024年から2026年までのインシデント事例、臨床現場における生成AIのための多層防御チェックリストを紹介しています。
本リサーチの実施中にも、AIが医療システムの記録へ侵入した事例が報告されました。2026年9月23日、オーストラリアのアンソニー・アルバニージー首相は、OpenAIのエージェントが公的医療支出を調査する過程で、同国の国民皆保険制度「Medicare」の医療統計ポータルに不正アクセスしたと述べました。オーストラリア政府は、この侵害は「軽微」で個人情報への影響はなかったと認めた一方、サイバーセキュリティの専門家アラステア・マクギボン氏は、この事案を「警鐘」と表現しました。アルバニージー首相も、AIが制御不能になった場合に備えたガードレールの必要性を強調しています。
3つの領域、3種類の障害モード
生成AIは今や、患者に近い3つの接点に組み込まれています。それぞれに、記録の管理責任を見失う固有の経路があります。
診察室：診療メモが正式な記録になる場所
アンビエント型のAIスクライブは診察内容を聞き取り、医師が署名する診療メモの下書きを作成します。その過程で、請求コードや患者ポータルでの返信文を提案することも少なくありません。しかし、紹介状に潜むプロンプトインジェクション、後の診察を重ねるごとに増幅するハルシネーションによる誤った所見、より高額な保険請求コードへ誘導する提案、常時オンのマイクといった要素がリスクを生みます。医師の時間を節約するはずの同じワークフローが、実際に交わされた会話を記録が反映しなくなる場所にもなり得るのです。
電話と自宅：信頼が自動化され、遠隔から複製される場所
合成音声を使うエージェントが、術後の経過確認や服薬状況の確認のために患者へ電話をかけるようになりました。また、患者が最初にチャットボットを使って自己トリアージを行うケースも増えています。ここでは、エスカレーションが抑制されることで、容体が悪化する患者を人間の医療チームが把握できなくなる恐れがあります。詐欺を行う攻撃者が信頼されている医療従事者の声を複製し、すでに指示に従いやすい患者層をそのまま標的として引き継ぐ危険もあります。さらに、利用者に同意するよう設計されたチャットボットが、臨床医の関与がないまま確証バイアスを強める可能性もあります。
バックオフィス：2つの機械が保険適用を交渉する場所
医療提供者側のエージェントが事前承認に必要な書類一式を提出し、保険者側のエージェントがリアルタイムで審査します。両側に人間が介在しない場合、2つのシステムがそれぞれ正しく動作していても、機械の速度で異議申し立てを繰り返すループに陥る可能性があります。また、基盤となるモデルが抽出やデータポイズニングの危険にさらされたり、認証されていないツール層を通じて患者記録がインターネット上に公開されたりする恐れもあります。
では、どう対応すべきか
繰り返されるうちに事実のように見えてしまうハルシネーション、より高額な請求コードへ徐々に偏っていく診療メモ、自律的に回り続ける異議申し立てのループ。これらに共通するのは、AIが自らの誤りを増幅するという点です。だからこそ、攻撃者への対策だけを前提とした防御では、発生する問題の多くを見逃してしまいます。
責任の空白を埋めるために、導入の速度を落とす必要はありません。次のインシデントが起きる前に、生成された各情報について誰が責任を負うのか、元の情報と照合するためにどのような証拠が残されているのか、患者データとモデルの重みが診察室を離れた後にどこまで移動するのかを明確にする必要があります。
TrendAI™ Researchが開発したAIxploitは、本来は命令ではない内容が命令として読み取られてしまう問題について、エージェント型システムをテストできるオープンソースのフレームワークです。レポート全文では、この問題のあらゆる層を対象とした多層防御の枠組みを提示しています。また、次の導入に先立ち、ベンダーや社内のAIガバナンス委員会に確認すべき具体的な質問もまとめています。
リサーチ全文を読む
レポート（日本語版）では、各攻撃の仕組み、責任の空白を悪用し得る5種類のサイバー犯罪者、2024年から2026年までのインシデント事例、臨床現場における生成AIのための多層防御チェックリストを紹介しています。
参考記事
Prescription for Risk: The Cybersecurity Hazards of GenAI in Healthcare
By: Numaan Huq
翻訳：与那城 務（Platform Marketing, TrendAI™ Research）