AIが人間の指示から外れ、予想していなかった行動を取ったとき、誰が止め、誰が対応するのでしょうか。

2026年10月12日、英国政府は、高度な人工知能（AI）がもたらす新たな危険に備えるため、一連の対策を発表しました。

その中で注目されるのが、自律的に仕事を進める「AIエージェント」による重大事故への備えです。

政府は、人間の監督を回避するAIの「制御喪失リスク」を明示し、重大事故が発生した場合の対応体制や、被害が出る前に食い止められた事例の把握・報告方法について検討を進めています。

英国政府は何を発表したのか

今回の発表は、AIによる新たな重大事故が起きたという報告ではありません。将来の事故や悪用に備え、国として対応能力を強化しようとするものです。

英国の国家サイバーセキュリティセンター（NCSC）とAI Security Institute（AISI）は、AIエージェントに関わる事故にどのように対応すべきか、検討を進めています。

「AIの制御喪失」とは何か

AIエージェントは、単に質問へ文章で答えるだけではありません。外部のツールやシステムを利用し、複数の作業を自律的に進めることができます。

便利な一方で、人間が想定していない操作を行った場合、その影響が外部のシステムや利用者に及ぶ可能性があります。

英国政府は、AIが人間の監督を回避する「制御喪失リスク」を、新たなサイバーセキュリティ上の危険として挙げています。

政府の説明によれば、AIエージェントが関わる重大事故は、従来の危機対応体制が想定している事故よりも速く、広い範囲に進展する可能性があります。

そのため、既存の対応手順だけで十分なのか、新たな専門知識や対応能力が必要なのかを検討するというのです。

なぜ「事故寸前」の報告が重要なのか

今回の発表で、特に注目したいのが「near miss（ニアミス）」という考え方です。

これは、重大な被害につながる可能性があったものの、結果として被害を免れた事例を指します。

例えば、次のようなケースが考えられます。

• AIが許可されていない情報へアクセスしようとしたが、権限設定によって阻止された。
• AIが誤った相手へ情報を送信しようとしたが、人間の確認によって中止された。
• AIが想定外の操作を始めたものの、安全機能によって停止した。

これらは制度の対象として確定した事例ではなく、考え方を理解するための例です。

実際の被害が発生していなくても、こうした異常を記録・分析すれば、重大事故を未然に防ぐための手掛かりになるかもしれません。

英国政府は、こうしたニアミスをどのように把握し、報告し、教訓を共有するかについて検討するとしています。

報告は義務化されるのか

政府は今後、議会関係者、技術専門家、制度を実際に運用する事業者などと詳細を検討すると説明しています。

政府システムの防御にもAIを活用

今回の対策は、AIの危険性を監視するだけではありません。AIを使ってサイバー攻撃への防御力を高める取り組みも含まれています。

英国政府によると、これまでの2つの実証事業では、政府システムに関わる1,000件以上の潜在的なサイバー脆弱性を発見し、修正しました。

この数字はAIの制御喪失事故の件数ではなく、AIを活用したサイバー防御の実績です。

また、AISIでは最新世代の高度なAIモデルについて安全性評価を進めています。

私たちの暮らしや仕事にも関係する？

AIエージェントが普及すれば、企業の顧客対応、予約管理、資料作成、行政サービスなど、さまざまな業務で活用が進むと考えられます。

例えば、地域の店舗がAIに予約管理を任せる場合、予約を誤って変更したり、顧客情報を想定外の相手へ送信しようとしたりする可能性を考えておく必要があります。

重要なのは、事故が発生したときの対処方法だけではありません。

• AIがどのような操作をしたのか記録できるか。
• 想定外の行動を人間が確認できるか。
• 危険な操作を途中で止められるか。
• 被害が出なかった異常も振り返る仕組みがあるか。

こうした確認は、AIを安心して業務に取り入れるうえで、事業規模を問わず考えておきたい課題です。

AIの事故は、誰が把握し、誰が対応するのか

これまでAIの想定外の行動は、開発企業や研究機関による検証・報告を通じて明らかになることが少なくありませんでした。

今回の英国政府の発表は、そうした問題を国家の危機管理や重要サービスの保護という視点から捉えようとする動きです。

ただし、どのような事故を政府へ報告することになるのか、企業にどこまで責任を求めるのかは、今後の検討に委ねられています。

AIの能力が高まり、実際の仕事を任せる機会が増えるほど、「問題が起きたかどうか」だけでなく、「問題が起きかけたことを把握できるか」が重要になるのではないでしょうか。

今後、英国政府が報告制度や対応体制を具体化するか、引き続き確認していきます。

※本記事は英国政府の公式発表をもとに編集部が構成しました。制度の検討段階と決定事項を区別して記載しています。