AIが危険な行動を起こす前に止められる？――内部監視で阻止率96％を記録した研究

AIの「考えている途中」を監視すれば、危険な操作を防げるのか。

2026年10月8日、AI安全性研究企業Goodfireが、AIエージェントの内部状態を監視し、危険な行動を実行前に検出する技術の研究結果を公表しました。

研究では、AIモデル「Kimi K3」に監視システムを追加することで、有害なセッションの阻止率が約29％から約96％に向上したと報告されています。

一方、正常な作業まで誤って止めてしまう割合も増加しました。

AIが人間の代わりに情報を調べ、プログラムを書き、外部システムを操作する時代。私たちは、AIが危険な行動を起こす前に、それを止めることができるのでしょうか。

今回は、Goodfireの研究原典をもとに、その仕組みと限界を調べました。

AIが行動した後では、監視が間に合わない？

AIエージェントは、質問に文章で答えるだけのAIとは異なり、外部のツールやシステムを使って作業を進めることができます。

例えば、プログラムの修正、ファイルの操作、情報の検索などです。

こうした作業を安全に進めるには、AIが何をしようとしているのかを監視する必要があります。

しかし、別のAIにすべてのやり取りを確認させる方法では、時間と費用がかかります。

監視が終わる前に、AIがすでに外部システムを操作してしまう可能性もあります。

今回の研究が注目したのは、まさにこの問題でした。

AIの内部状態を読み取る「二段階の監視」

Goodfireが開発した仕組みは、AIモデルの内部計算から危険な兆候を検出する技術を利用しています。

まず、軽量な検出器「プローブ」がAIの内部状態を継続的に確認します。

危険な兆候が見つかった場合だけ、別のAIによる詳しい判定へ進みます。

この仕組みにより、すべてのやり取りを高性能な監視用AIに判定させる必要がなくなります。

研究チームは、AIの応答生成と同時に監視するシステムを実装し、通常の処理速度への影響を小さく抑えられたと報告しています。

重要なのは、危険な行動が起きた後に記録を調べるのではなく、外部ツールが呼び出される前に止められる仕組みを目指していることです。

ただし、AIの内部状態を読み取ることは、AIの意図や思考を完全に理解することと同じではありません。

有害なセッションの阻止率は約29％から96％へ

研究では、中国系のオープンウェイトAIモデル「Kimi K3」と「GLM 5.3」を対象に、監視システムの効果を比較しました。

※Goodfireの2026年10月8日公表資料より。数値は特定の評価条件における概数です。

監視システムを導入することで、有害なセッションを阻止する割合が大きく向上しました。

しかし同時に、問題のない作業まで中断する割合も増えています。

例えば、正当なセキュリティ点検と不正なシステム侵入では、AIが実行する操作が似ている場合があります。

危険な行動を見逃さないことと、正常な仕事を妨げないこと。その両立が課題です。

約2,400セッション、6万ターン以上で評価

Goodfireは、約2,400件の対話・エージェント実行セッション、合計6万ターン以上を含むデータで監視性能を評価しました。

なお、この93％は監視システムの検出性能を示す数値であり、前述の96％とは異なる評価結果です。

監視用AIの判定コストについても、全件を判定させる方式と比べ、条件によって約29分の1から49分の1に削減できたとしています。

AIエージェントを大量に動かす環境では、安全対策にかかる費用や処理時間も重要です。

今回の研究は、監視の精度だけでなく、実際のシステムに組み込めるかという点も検証しています。

独立評価では攻撃成功が700件から18件に

Goodfireは、AI安全性評価機関FAR.AIによる外部テストの結果も公表しました。

FAR.AIは、事前に選定した140種類の攻撃手法を使い、監視システムの有無による違いを調べました。

また、複数の場面に通用する「汎用的な脱獄攻撃」については、今回の試験条件では成功例が確認されませんでした。

ただし、これは2日間の予備的な評価です。

攻撃者が監視の仕組みを理解し、攻撃方法を変更する場合にも同じ効果が得られるかは、まだ分かっていません。

今回の結果だけで、AIへの攻撃を完全に防げると結論づけることはできません。

私たちの仕事や地域の暮らしと、どう関係する？

AIエージェントが企業や自治体の業務に導入されると、AIが扱う情報や実行できる操作も増えていきます。

例えば、問い合わせ対応、資料整理、業務システムの管理などです。

こうした業務では、AIの判断を後から確認するだけでなく、実行してはいけない操作を事前に防ぐ仕組みが重要になります。

今回の研究は、そのための技術的な選択肢を示しています。

一方で、監視システムが誤って正常な業務を止めたり、危険な操作を見逃したりする可能性も残ります。

そのため、AIの内部監視だけに頼るのではなく、アクセス権限の制限、重要操作の承認、操作履歴の保存、緊急停止の仕組みなどを組み合わせる必要があります。

今回の研究で分かったこと、まだ分からないこと

編集部が考えたこと

これまでAIの安全性をめぐる議論では、AIが指示に従わなかったり、監視を回避したりする可能性が注目されてきました。

今回の研究は、それに対する防御の方法を具体的に示した点で重要だと考えます。

ただし、AIの内部を監視できるようになったからといって、安全が保証されるわけではありません。

むしろ、どの行動を危険と判断するのか、誤って止められた作業を誰が確認するのか、監視システム自体を誰が評価するのかという、新しい課題も生まれます。

AIが危険な行動をする前に止める技術は進み始めています。しかし、何を止めるべきかを決め、その仕組みに責任を持つのは、引き続き人間の役割です。

AIを安全に使うために必要なのは、AIの性能向上だけでなく、監視・制限・検証を組み合わせた仕組みなのではないでしょうか。