AIが言うことを聞かなかったら、人間は本当に止められる？

2026/10/2（2026/10/2 08:20更新）

英中央銀行総裁が問う「介入できる社会」

図：公開資料をもとに編集部作成（生成AIを使用）

英中銀は7月にもAIのサイバーリスクを警告していた

AIが言うことを聞かなかったら？

AIに「してはいけないこと」を教える。それだけで、本当に十分なのでしょうか。AIがより複雑な仕事を任され、決済や取引などにも使われるようになったとき、もし想定外の動きを始めたら、人間は途中で介入できるのでしょうか。

2026年9月30日、英国の中央銀行であるBank of England（イングランド銀行）のAndrew Bailey総裁が、最先端AI（Frontier AI）のガバナンスについて公式論考を発表しました。

そこで中心に置かれたのが、

「社会がAIに介入できる能力を維持できるのか」

という問題です。

世界有数の中央銀行の総裁が、AIの制御や介入の問題を、研究室の中だけのAI安全論ではなく、金融システムの安定にも関係する現実的な問題として取り上げた動きです。

英中央銀行総裁は何を問題にした？

Bailey総裁が9月30日に発表した論考のタイトルは、

「Frontier AI and the question of governance」（最先端AIとガバナンスについて）

です。論考では、最先端AIには科学研究や生産性向上、経済成長など大きな可能性があるとしており、AIそのものを禁止すべきだとは主張していません。一方で、AIの能力が高まるほど重要になる問題として、人間社会が意味のある監督や介入を続けられるのかを挙げています。

Bailey総裁は、AIが自身の出力も利用しながら性能を高めていくようなフィードバックが進み、そこに有効な介入手段がなければ、モデルが次第に自らを統治するような「閉じたループ」に近づく可能性を問題提起しています。

そして、AIが高度になっても、社会がその境界を定め、必要に応じて変更・介入できる能力を残すべきだという立場を明確にしました。

「規制を作れば解決」ではない

まず必要なのは、何が失敗する可能性があるのかを理解すること。そのために、AIモデルを導入する前だけでなく、導入した後も厳格にテストする必要があるとしています。

AIがどのような行動をするのか。
どのような脆弱性があるのか。
安全対策は本当に機能しているのか。
問題が起きた場合、どこで人間が介入できるのか。

こうしたことを実際に確認したうえで、将来的な規制や標準につなげていくという考え方です。AIが予想外の行動をすることや、想定していなかった弱点が見つかることを前提に、実際の事故だけでなく「ニアミス」からも学ぶ必要があるとしています。

なぜ中央銀行がAIの安全性を語るの？

Bailey総裁は、「なぜ中央銀行総裁にこれが関係するのか」という問いを自ら提示しています。その答えが、金融システムの安定です。イングランド銀行は、AIの進歩によって金融システムが直面するサイバー攻撃の規模や高度さが増しているとしています。

決済ネットワークや金融市場のインフラなども、AIの進歩と切り離して安全性を考えることが難しくなっているという認識を示しています。さらに、AIが金融機関自身の業務でも使われるようになれば、サイバー防御だけでなく、AIエージェントによる取引や決済をどう安全に運用するのかという問題も出てきます。

英中銀は7月にもAIのサイバーリスクを警告していた

イングランド銀行の金融政策委員会（FPC）は2026年7月、最先端AIの急速な能力向上によって、サイバー・運用面から金融安定へのリスクが高まっているとの判断を公表しています。特に問題視されたのが、ソフトウェアの脆弱性です。最先端AIは、ソフトウェアの弱点をより大規模に発見し、複数の段階にまたがって悪用する能力を高めつつあると評価されました。

攻撃側の速度が上がれば、企業側が脆弱性を発見して修正するより先に攻撃される可能性があります。一方で、AIはサイバー防御にも利用できます。つまりAIは、防御側の能力も攻撃側の能力も高める可能性があるということです。

なお、同じ7月の資料では、将来のAIシステム開発をAIが支援する初期的な兆候には触れているものの、完全に自律した再帰的な自己改善については「未実証」とされています。