地元暮らしをちょっぴり楽しくするようなオリジナル情報なら、地域情報サイト「まいぷれ」!
文字サイズ文字を小さくする文字を大きくする

東村山市・小平市・東大和市の地域情報サイト「まいぷれ」東村山市・小平市・東大和市

暮らしと仕事の「?」を調べてみた

AIの安全対策をAIが突破?

(更新)

Anthropic「Anvil」研究を検証

図:公開資料をもとに編集部作成(生成AIを使用)

AIの安全対策を破るのもAI? Anthropicの「Anvil」が人間の専門家を上回った実験を検証

暮らしと仕事の「?」を調べてみた
まいぷれ東村山・小平・東大和編集部

身近な疑問を、一次情報から読み解く。

研究公表:2026年11月12日
資料確認:2026年11月14日

AIに危険なことを依頼すると、安全上の理由から回答を断られる場合があります。しかし、その安全対策にも弱点があり、質問の仕方を工夫することで、本来は制限されている回答や動作を引き出せることがあります。こうした弱点を調べるため、AI開発企業では専門家が意図的に安全対策を試す「レッドチーミング」と呼ばれる検証を行っています。

2026年11月12日、米国のAI企業Anthropicは、その検証をAI自身に行わせる自動システム「Anvil」の研究結果を公表しました。研究では、生物学やサイバーセキュリティなどの複数の分野で、Anvilが人間の専門家より効率的に安全対策の弱点を発見したと報告されています。

今回の「?」は、「AIは人間よりも上手に、別のAIの安全対策を突破できるようになったのか?」です。研究原文を確認し、実験で分かったことと、現実の危険性についてまだ分からないことを整理しました。

AIの安全対策を、AI自身に試させる

Anthropicが開発したAnvilは、AIの安全対策に弱点がないかを自動的に調べるシステムです。通常、AIには危険な情報の提供や不正な操作を防ぐための安全対策が設けられています。例えば、危険な依頼を検出して回答を止める仕組みがあります。Anvilは、こうした安全対策が適切に機能するかを確かめるため、さまざまな質問や操作を試します。一度断られても、別の方法を考えて再び試し、結果を確認しながら検証を続けます。人間の専門家も同様の検証を行いますが、Anvilでは複数の試行を並行して進められます。

生物学関連の実験では、24条件中23条件で人間を上回った

研究で特に大きな差が報告されたのが、生物学関連の安全対策です。Anthropicは、危険な生物学情報をAIから引き出せないかを調べるため、専門家による報奨金付きの検証制度を運用しています。今回の研究では、その制度で使用された8課題と、3世代の安全性分類器を使って比較しました。安全性分類器とは、AIへの依頼や回答を調べ、危険な内容を検出する仕組みです。比較対象は合計24条件です。

比較結果条件数
Anvilが人間の最良結果を上回った23条件
人間の最良結果と同等1条件
比較対象の合計24条件

出典:Anthropic(2026年11月12日)。8課題と3世代の安全性分類器を組み合わせた比較。

Anvilは24〜48時間で強力な突破方法を発見した一方、人間側では数週間から数カ月を要する例がありました。

サイバー攻撃の実験でも、安全対策の突破に成功

Anvilはサイバーセキュリティ分野でも検証されました。研究では、ChromeやFirefoxのJavaScriptエンジンなどに過去存在した脆弱性を利用する課題が使われています。JavaScriptエンジンは、ウェブブラウザーなどでプログラムを実行するための仕組みです。Anvilは、安全対策が設けられたAIに働きかけ、隔離された実験環境で、既知の脆弱性を利用する攻撃コードの作成や実行を成功させました。さらに、人間の専門家との比較に用いた24条件では、Anvilはすべてで突破に成功したと報告されています。

一方、人間側は22条件に挑戦し、11条件で成功を報告しました。

検証者挑戦した条件報告された成功
Anvil2424
人間の専門家2211

※両者の成功判定条件は同一ではありません。単純な成功率比較には注意が必要です。

人間の専門家による検証でもAIが補助的に使われており、純粋な「人間だけ」と「AIだけ」の比較ではありません。また、人間側が成功と報告した11条件のうち9条件では、安全制限の弱い別のAIが攻撃コードの作成や実行を担当していました。Anvilには、安全対策を備えた検証対象のAI自身に必要な操作を実行させる、より厳しい成功条件が設けられています。

今回の研究で、実際のChromeやFirefox利用者が新たな攻撃被害を受けたと報告されたわけではありません。

AIの内部推論を取り出す実験では、大きな効率差

もう一つの実験は、AIの内部推論を外部に取り出そうとするものです。高度なAIでは、回答を生成する過程の内部的な推論が、そのまま利用者に表示されるとは限りません。Anthropicは、こうした非公開の推論内容を不正に取り出す行為への対策も検証しています。今回、Anvilが最初に一定以上の内部推論を取り出すことに成功するまでに必要だったリクエスト数は435回でした。一方、人間の専門家による検証では、同程度の抽出に到達するまで約102,200回のリクエストを要しました。

検証者最初の重大な抽出までのリクエスト数
Anvil435回
人間の専門家約102,200回

出典:Anthropic。特定のモデルと評価課題における比較。

つまり、この評価ではAnvilが大幅に少ない試行回数で弱点を発見したことになります。

攻撃するAIが、安全対策の改善にも役立った

今回の研究で見逃せないのは、Anvilが発見した弱点を、安全対策の改善にも利用したことです。Anthropicは、Anvilが見つけた攻撃例を使って、安全性分類器の評価や改善を進めました。その結果、固定された攻撃例を分類器が見逃す割合は、31.5%から0.4%へ低下したと報告されています。

安全性分類器の評価攻撃例の見逃し率
改善前31.5%
改善後0.4%

※固定された攻撃例に対する評価結果であり、現実のすべての攻撃に対する防御率ではありません。

また、実際のAPI利用で観測された内部推論の抽出攻撃についても、Fable 5.1というモデルでは、成功率が33.8%から0%へ低下したとしています。

では、誰でも同じようにAIの安全対策を破れるのか?

現時点では、そうは言えません。Anthropicによると、Anvilが高い性能を発揮するためには、一般の利用者には提供されていない条件が必要でした。例えば、開発中の高性能な社内モデルを使用したことや、攻撃側のAIの安全制限を解除したこと、安全性分類器の詳しい判定情報を利用できたことなどです。通常のClaudeを使う外部の利用者が、同じ仕組みをそのまま再現できるわけではありません。また、Anvilが見つけた突破方法は、特定の課題に合わせて調整されており、別の課題にもそのまま使えるとは限らないと説明されています。

一方、Anthropicは、今後さらに高性能なAIが普及すれば、外部の攻撃者も似た仕組みを構築できる可能性があると考えています。

豪州政府も、AIの試験環境を技術的に制限するよう呼びかけ

今回の研究と同じ11月12日、オーストラリア政府のサイバーセキュリティ機関も、AIモデルやAIエージェントの試験環境を安全に管理するための指針を公表しました。この資料はAnvilの研究を評価したものではありませんが、AIエージェントの安全管理を考えるうえで共通する論点があります。政府は、AIがシステムやネットワークを操作する能力を高めるなかで、試験対象として想定していない外部のシステムに影響を及ぼす危険性を指摘しています。そのうえで、AIへの文章による指示やモデル自体の安全対策だけに頼らず、技術的な隔離、監視、人間による監督を組み合わせるよう求めています。AIに「ここから先にはアクセスしないで」と指示することと、実際にアクセスできないようシステム側で制限することは異なります。

私たちの暮らしや仕事にどう関係する?

地域の店舗や企業でも、AIを使った文章作成、問い合わせ対応、予約管理、情報整理などの活用が広がる可能性があります。さらに、AIエージェントがウェブサイトの操作やファイルの処理、外部サービスとの連携まで担当するようになれば、AIが実行できる操作の範囲も広がります。その際に重要なのは、AIに何を指示するかだけではありません。例えば、顧客情報を扱うシステムでは、AIが閲覧できる情報を必要な範囲に限定することや、外部への送信を制限すること、人間が操作内容を確認できるようにすることなどが考えられます。

まだ分からないこと

今回の研究だけでは、次の点までは判断できません。

  • 一般に公開されているAIだけで、Anvilと同等の性能を再現できるか
  • 他社のAIや安全対策に対しても同じ結果が得られるか
  • Anvilのような仕組みが、現実の攻撃者にどの程度利用されるようになるか
  • AIによる自動検証が、長期的にどれだけ実際の被害防止につながるか

主な確認資料・情報源

Anthropic Safeguards Team(2026年11月12日)

Strengthening our safeguards with frontier automated red-teaming

Anvilの設計、生物学関連8課題、人間との比較、サイバー実験、内部推論の抽出、防御改善の結果を確認。

Anthropicの研究原文を確認する

Australian Government/Australian Signals Directorate(2026年11月12日)

Secure AI testing to reduce unauthorised access

AIモデル・エージェントの試験環境に関する政府指針の公開と、安全管理上の基本的な考え方を確認。

豪州政府の公式資料を確認する

※Anthropicの実験結果は同社自身による研究報告です。第三者による独立した再現検証とは区別して掲載しています。

この記事に関するキーワード