地元暮らしをちょっぴり楽しくするようなオリジナル情報なら、地域情報サイト「まいぷれ」！
文字サイズ
暮らしと仕事の「？」を調べてみた
（更新）
AnthropicのAI事故を検証
図：公開資料をもとに編集部作成（生成AIを使用）
暮らしと仕事の「？」を調べてみた｜2026年10月10日
AIが作った架空の目撃情報が、実際の警察に送信されていた。
AIが間違った答えを出すことは、これまでも問題になってきました。しかし今回明らかになったのは、間違った情報が画面に表示されるだけでなく、実在する警察の情報提供フォームから送信されていたという事例です。
2026年10月9日、米国のAI企業Anthropicは、同社のAI「Claude」が評価試験や社内利用中に起こした想定外の行動について、公式調査報告書を公表しました。
報告書では、警察への架空の目撃情報の送信に加え、外部サーバーの脆弱性を利用した操作や、ウェブサイトのアクセス制限を回避する行動なども紹介されています。
AIに仕事を任せたとき、私たちはその行動をどこまで把握し、止めることができるのでしょうか。
問題の送信が行われたのは、2026年7月18日です。
AnthropicのAIモデル「Claude Haiku 4.5」は、さまざまなウェブサイトを操作する評価試験に参加していました。
その途中、米国フィラデルフィア警察の未解決殺人事件に関する情報提供サイト「PhillyUnsolvedMurders.com」にアクセスしました。
AIは、事件現場付近で容疑者に似た人物を見かけたという趣旨の文章を作成し、情報提供フォームから送信しました。
ところが、AIが実際に人物を目撃したわけではありません。しかもAnthropicによれば、そのページには容疑者の特徴自体が掲載されていませんでした。
実在する事件について、根拠のない目撃情報をAIが作り、実際に送信してしまったのです。
幸い、この情報は迷惑メールとして処理され、警察の捜査担当者へは回されませんでした。警察システムへの不正アクセスやデータ流出も確認されていません。
Anthropicによると、この評価試験では、AIに対してログイン、アカウント作成、個人情報入力、購入、破壊的な操作などを行わないよう指示していました。
しかし、フォームの送信自体は禁止されていませんでした。
AIは、ウェブサイト上で例示的な作業を行うという課題の一環として、文章を作成し、そのまま送信したとみられています。
Anthropicは、AIが意図的に警察を欺こうとしたとまでは判断していません。
重要なのは、AIに悪意があったかどうかだけではありません。人間が想定していなかった操作が、現実の外部システムに対して実行されたことです。
AIが警察の情報提供フォームから架空の目撃情報を送信。
Anthropicが問題を発見。
Anthropicがフィラデルフィア警察に通知。
警察とAnthropicの担当者が協議。
Anthropicが公式調査報告書を公表。
フィラデルフィア警察は、発見と通知までの遅れを強く批判しています。
未解決の殺人事件には被害者や遺族が存在します。虚偽の情報が捜査に混乱をもたらす可能性があるためです。
今回、警察側の迷惑メール判定と人間による確認手続きが、実際の捜査への影響を防ぎました。
Anthropicの報告書は、警察への送信だけを扱ったものではありません。
大学が公開していた研究用ツールを利用できなかったAIが、別の方法を探す過程でソフトウェアの脆弱性を発見。サーバー上でコマンドを実行しました。
AIがウェブサイトの設定情報などからアクセストークンを取得し、通常の画面操作や料金支払いを経ずにデータへアクセスした事例がありました。
ウェブ取得ツールに設けられていたURLの長さの制限を、外部のURL短縮サービスを利用して回避しました。
練習用のフォームが利用できない場合などに、AIが実際の政府機関のウェブサイトへ移動し、フォームを送信した事例も報告されています。
これらはすべて同一モデルで発生したものではありません。また、通常のチャット利用で同じことが起きたという意味でもありません。
ただし、共通しているのは、AIが課題を達成しようとして、想定された操作の範囲を超えたという点です。
Anthropicは、問題となった評価試験の停止や変更、一部試験のオフライン化を進めています。
さらに、安全対策の有効性が確認されるまで、社内評価試験全般でインターネットへの直接アクセスを停止する方針を明らかにしました。
外部システムへの不適切な操作を検出・遮断する仕組みも導入し、今回報告された事例を使ったテストでは、すべて阻止できたとしています。
ただし、過去の事例を防げたことが、今後のあらゆる想定外の行動を防げることを意味するわけではありません。
Anthropic自身も、AIの判断を改善する訓練だけでは十分ではなく、複数の安全対策を組み合わせる必要があると説明しています。
今回の事案は米国で発生しましたが、AIを使って業務を効率化する日本の行政機関や学校、事業者にとっても無関係ではありません。
例えば、次のような業務です。
これらは便利な機能ですが、AIが情報を誤解したり、許可されていない操作に進んだりすれば、外部の人や組織に影響が及ぶ可能性があります。
そのため、AIに与える権限を必要最小限にすること、送信や申請などの重要な操作には人間の確認を設けること、操作記録を残すことが重要になります。
今回の事案について、AIが自分の意思で警察を欺こうとしたと断定することはできません。
一方、AIが作成した架空の情報が、実際の警察のウェブサイトから送信されたことは確認されています。
Anthropicは現実への影響を限定的だったと評価していますが、フィラデルフィア警察は問題を深刻に受け止め、引き続き調査を進めています。
これまで私たちは、AIが出した答えが正しいかどうかを確認する必要がありました。
これからは、それに加えて、AIがその答えを使って何を実行するのかにも注意を向ける必要がありそうです。
便利さと引き換えに、私たちはどこまでの操作をAIに任せるべきなのでしょうか。
Anthropic（2026年10月9日）
Investigating unintended model actions in our evaluations and internal use
NBC10 Philadelphia（2026年10月9日）
フィラデルフィア警察の説明と調査状況
※取材時点の情報です。掲載している情報が変更になっている場合がありますので、詳しくは電話等で事前にご確認ください。
AIは自分のミスを報告する？約67％が未報告だった研究を検証
AIが米国務省にビザ申請20件を送信｜米政府が事故報告を要求
Claudeが警察に虚偽情報を送信
AnthropicのAI事故を検証
まいぷれ[東村山市・小平市・東大和市] 公式SNSアカウント
