AIが「危険な操作はできません」と答えても、その裏側では操作が実行されていたとしたら――。
AIにメール送信やファイル管理などを任せる仕組みが広がるなか、AIの返答と、実際に動いたシステムの処理が一致しない可能性を示す研究が公開されました。
2026年10月9日、米国のペンシルベニア州立大学、ダートマス大学、フランスのモンペリエ大学の研究者らが、AIエージェントと外部ツールの接続部分にある安全上の問題を報告しました。論文名は「ToFu: Exploiting and Fuzzing the LLM–Orchestrator–Tool Trust Boundary」です。
AIが拒否しても、模擬ツールは動いていた
研究チームは、AIに与えた文章をそのまま繰り返させる「Repeat-After-Me」と呼ぶ手法を検証しました。
詳しい操作記録が示されたLangGraphの実験では、架空の危険な操作を指示されたAIが、最初は拒否しました。しかし、同じ操作命令を仮定の文章として繰り返すよう求められると、開発基盤がその出力を正式なツール呼び出しとして扱い、模擬ツールを実行しました。拒否の応答が示されたのは、その操作の後でした。
実験に登場する危険な操作は模擬的なもので、現実の兵器操作などが行われたわけではありません。
研究者らは、同種の動作をLangGraph、Microsoft Agent Framework、Google ADK 2.0、AutoGen、Strands、CrewAIの6種類の開発基盤で再現したと報告しています。ただし、詳細な会話・操作記録が掲載されているのはLangGraphの例です。
AIが最終的に「できません」と答えたことは、その前に外部操作が実行されていない証明にはなりません。
MCPサーバー273件を検証、118件で問題を確認
研究チームはさらに、AIと外部ソフトウェアを接続する仕組み「MCP」のサーバーを調査しました。MCPは、AIがファイル、データベース、業務システムなどの機能を利用するための接続方式です。
独自の検査ツール「ToFu」を使い、実際に動作検証できた273件のオープンソースMCPサーバーを分析。その結果、118件のサーバーにまたがる343種類のツールで、計253件の再現可能な問題を報告しています。
当初検出した候補508件を研究者が精査し、誤検出103件と重複152件を除いた数字です。
どのような問題が見つかったのか
| 問題の種類 | 件数 |
|---|---|
| 出力内容の適切な処理の不備 | 115 |
| 本来許可されないファイルへのアクセス | 64 |
| ログへの不適切な書き込み | 58 |
| 不適切な外部通信（SSRF） | 7 |
| データ流出につながり得る不備 | 5 |
| OSコマンドの不適切な実行 | 3 |
| 一時ファイルの残存 | 1 |
出典：ToFu論文、表3。各項目は研究で確認されたソフトウェア上の問題の分類です。
なぜAIの「安全対策」だけでは足りないのか
AIエージェントは、文章を作るAIモデルだけで動いているわけではありません。AIが作った操作指示を開発基盤が受け取り、その先のツールがファイルの読み書きや外部通信を行います。
今回の研究は、その接続部分で指示の意味や権限が十分に検証されないと、AIが生成した不適切な入力が実際の操作につながり得ることを示しています。
「AIが安全そうな回答をすること」と「システムが安全に動くこと」は、同じではありません。
私たちの暮らしや仕事にも関係する？
例えば、会社がAIに顧客情報の検索、メール送信、資料の整理を任せる場面を考えてみます。AIが危険な要求を断るよう設定されていても、接続先のツールに権限確認や入力検証がなければ、想定外の操作を防げない可能性があります。
これは今回、特定の企業や自治体で事故が起きたという意味ではありません。しかし、AIに実務を任せる場合には、送信前の承認、アクセス権限の最小化、操作履歴の記録、接続ツール側での独立した検証が重要になります。
研究で確認されたこと、まだ分からないこと
今回の結果は、研究者が構築した検証環境での再現に基づきます。253件の情報漏えい事件が発生したわけではありません。また、調査対象の273件は動作検証可能なオープンソースのサーバーであり、世界中のMCPサーバー全体の危険率を示す数字ではありません。
6種類の開発基盤で再現されたという報告も、すべてのバージョンや利用設定で同じ問題が発生することを意味しません。各開発元の修正状況や実環境での悪用状況についても、今回確認した資料だけでは断定できません。
論文は2026年10月9日公開のプレプリントです。査読済みの研究として紹介することは避けます。
今回の「？」から見えてきたこと
AIの安全性を考えるとき、私たちはつい「AIが何と答えたか」に注目しがちです。しかし、AIが外部のシステムを操作する時代には、「実際に何が実行されたか」を確かめることが欠かせません。
AIの返答だけでなく、ツールを実行する前の確認や、操作を止める仕組みまで含めて安全性を考える必要があります。
今回報告されたのは、AIによる新たな実害事件ではなく、安全上の問題を明らかにした実証研究です。今後も研究の検証状況や開発元の対応を確認していきます。
参考資料
研究論文「ToFu: Exploiting and Fuzzing the LLM–Orchestrator–Tool Trust Boundary」（arXiv、2026年10月9日）
