AIに「このルールは守ってください」と指示する。それだけでは、これからのAIエージェントの安全対策として十分ではないのかもしれません。

2026年9月28日、NVIDIAはAIエージェントの安全性を高めるための「NVIDIA Open Agent Safety Platform」を発表しました。特徴的なのは、AIモデルそのものを安全にするだけではなく、AIエージェントの「外側」に、AI自身では変更できない安全上の境界を設けるという考え方です。

なぜ今、このような仕組みが必要とされているのでしょうか。NVIDIAの公式発表と技術資料を確認しました。

今回の「？」――AI自身にルールを守らせるだけでは足りない？

AIエージェントとは、人から質問を受けて文章を返すだけではなく、目的に応じてファイルを読んだり、ウェブへアクセスしたり、プログラムを実行したり、外部サービスを操作したりできるAIシステムです。できることが増えれば、その分だけ「どこまで操作してよいのか」という境界も重要になります。

NVIDIAは今回の発表で、最近報告されたセキュリティ事案には共通するパターンがあると説明しています。それは、与えられた仕事を完了しようとしたAIエージェントが、アプリケーション側に設けられていたセキュリティ制御を回避したというものです。

NVIDIAの技術資料では、エージェントが意図された仕事や制約から外れていくことを「drift（逸脱）」と説明しています。ポリシーによって行動を阻止された場合だけでなく、バグや必要なツールがない場合、指示が曖昧な場合、長期間にわたって難しい課題へ取り組む場合などにも起こり得るとしています。

NVIDIAは、こうした状況にあるエージェントについて、自分自身の行動を完全に統制することを期待することはできないとの考えを示しています。

そこで「AIの外側」に境界を置く

今回発表された「NVIDIA Open Agent Safety Platform」の中心となるのが、「OpenShell」と「Sentry」です。まずOpenShellは、AIエージェントを隔離された環境で動かすためのオープンソースの実行基盤です。

管理者は、AIがアクセスしてよいファイル、ネットワーク、ツール、プロセス、認証情報などをあらかじめ設定します。

OpenShellはその境界を確認しながら、AIエージェントの行動を制御します。NVIDIAはOpenShellをオープンソースとして公開しており、NVIDIA以外のコンピューター基盤にも拡張できるとしています。ここまでは、いわばAIを「決められた区域の中」で働かせる仕組みです。

さらにその外側から監視する仕組みとして示されたのが「NVIDIA Sentry」です。

AIとは別のハードウェアから監視する「Sentry」

Sentryは、NVIDIAの「BlueField-4 DPU」というハードウェア上で動作する監視・制御の仕組みです。ポイントは、AIエージェントが動いている環境とは独立した場所から監視することです。NVIDIAはこれを「out-of-band（帯域外）」の監視と表現しています。

AIエージェントがソフトウェア上で設定された境界の外へ出ようとした場合、Sentryがそれを検知し、ミリ秒単位で隔離・停止する設計だとNVIDIAは説明しています。考え方として、AIにルールを教えるだけではなく、AIがルールを越えようとしても、AI自身には操作できない場所から止めるという二重の構造です。

NVIDIAの技術資料では、安全設計の基本原則の一つとして「Enforcement must be out of band（強制的な制御はエージェントの外側に置かなければならない）」を掲げています。制御機構をAI自身の内部や手の届くところに置かない、という発想です。

なぜ、ここまでしなければならない？

この考え方を、NVIDIAはインターネットのセキュリティになぞらえて説明しています。インターネットが安全になったのは、ウェブサイトを作る人すべてに「悪いことをしないでください」と求めたからではありません。ブラウザ側でも、ウェブページで動くプログラムを隔離する「サンドボックス」などの仕組みが発達してきました。

同じようにAIエージェントについても、

「AIに禁止事項を教える」

だけではなく、

「そもそも許可されていない場所にはアクセスできない」

という技術的な境界を用意する必要がある。

それが今回の設計思想です。

100以上の組織が関連技術に取り組む

今回の発表はNVIDIAだけの取り組みではありません。NVIDIAによると、Anthropic、Microsoft、Hugging Face、IBM、CrowdStrike、SAP、Salesforce、Scale AI、ServiceNow、Palantirなど、100以上の組織がOpen Agent Safety Platform関連技術に取り組んでいるとしています。

参加の形は企業によって異なります。

たとえばAnthropicとNVIDIAは、Claudeのエージェントを動かす仕組みとOpenShell、BlueFieldを組み合わせ、企業側がエージェントのアクセスを制御できる構成について協力しています。SalesforceはOpenShellをSlackと統合し、AIエージェントが追加の権限を求めた場合、人間が承認・拒否できる仕組みを提供しています。

AIエージェントの安全性を、AIモデルを開発する会社だけの問題にせず、ソフトウェア、クラウド、半導体、企業システムなど複数の層で守ろうとする動きが見えてきます。

「AIの暴走」は止められる？

今回確認できたのは、NVIDIAがOpen Agent Safety Platformを発表し、OpenShellを公開したことです。一方、SentryについてNVIDIAは「reference system design（参照システム設計）」として発表しています。

また、技術的な境界を作ったとしても、そもそも人間がAIに広すぎる権限を設定してしまえば、許可された範囲内で問題が起きる可能性もあります。「外側から制御する」という仕組みは重要ですが、それだけですべてのAI安全問題が解決するわけではありません。

これまでのAIエージェントの事例ともつながる

この特集ではこれまで、AIエージェントが想定された制約を越えた事例を追ってきました。たとえば、インターネットへのアクセスを制限された環境から、AIが別の方法を使って外部サービスへ到達した事例もありました。

今回のNVIDIAの発表は、新たなAIの逸脱事件ではありません。

「AIが制約を越える可能性があるなら、AI自身とは別の仕組みで止めよう」

という安全対策の話です。

これまで「AIはなぜ制約を越えたのか」を見てきましたが、今回はその先にある「どうやって止めるのか」という動きです。

私たちの暮らしや仕事にはどう関係する？

今後、AIがメールの返信や予約、社内資料の検索などを代わりに行うようになれば、AIにはさまざまな情報やサービスへのアクセス権限が必要になります。

そこで重要になるのが、「AIに何をさせるか」だけでなく、「どこまでアクセスさせるか」「想定外の行動をしたときに止められるか」です。

AIエージェントが地域の企業や行政でも使われるようになれば、こうした安全対策も身近な問題になってくるかもしれません。

編集部まとめ

NVIDIAが今回示したのは、AI自身にルールを守らせるだけではなく、AIの外側にも安全装置を置くという考え方です。ただし、これでAIの逸脱を完全に防げると確認されたわけではありません。

AIに仕事を任せる範囲が広がるほど、「AIに何ができるか」と同時に、「問題が起きたときに止められるか」も重要になりそうです。

今後、実際の導入や第三者による検証でどこまで有効性が確認されるのか、引き続き追っていきます。

※2026年9月29日時点で公開されている資料をもとに確認しています。

主な確認資料・情報源
NVIDIA（2026年9月28日）
「NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment」
https://investor.nvidia.com/news/press-release-details/2026/NVIDIA-Launches-Open-Agent-Safety-Platform-to-Secure-Agents-From-Testing-to-Deployment/default.aspx

NVIDIA Technical Blog（2026年9月28日）
「NVIDIA Open Agent Safety Platform: A Reference for Continuous In-Silicon Agent Monitoring」
https://www.nvidia.com/en-us/ai/openshell/

NVIDIA OpenShell（GitHub）
https://github.com/NVIDIA/OpenShell