AIに仕事を任せるとき、私たちは何をもって「安全」と判断すればよいのでしょうか。

質問に答えるだけでなく、ウェブサイトを調べたり、ファイルを読み取ったり、外部サービスを操作したりする「AIエージェント」。便利になる一方で、複数の作業を組み合わせたときに生じる安全上の問題が指摘されています。

2026年10月8日、米国で開催された国際会議「ISSTA 2026」で、中国の華東師範大学や日本の東京大学などの研究者が、新しい安全性テスト手法「Datura」を発表しました。

研究チームが注目したのは、一つひとつの操作は問題なく見えても、その操作が連続することで、AIが本来避けるべき行動へ誘導される可能性です。

研究で確認された数字

学会公式の研究要旨によると、Daturaは従来の比較対象となる攻撃手法よりも高い成功率を示しました。

また、プロンプトによる防御策「Prompt Refuge」を適用した条件でも、78.78〜95.54％の攻撃成功率が報告されています。

なぜ、一つずつなら安全に見える操作が問題になるのか

AIエージェントは、外部の検索サービスや業務ツールなどから情報を受け取り、それを判断材料として次の操作を決めます。

しかし、その情報に第三者が細工を加えていたらどうなるでしょうか。

Daturaは、外部ツールから返される情報を操作し、AIの判断を段階的に誘導する手法を検証しています。

研究手法をわかりやすく整理すると

つまり、危険な指示を一度に与えるのではなく、作業の流れそのものを利用してAIの判断を変えていくという問題です。

AIは外部から受け取った情報を信用しすぎる？

今回の研究が対象としたのは、AIが外部ツールの応答や付随情報を暗黙のうちに信用してしまう問題です。

例えば、ウェブページに書かれた文章は、本来は調査対象の情報にすぎません。そこにAIへの命令のような文章が含まれていても、利用者からの正式な指示と同じように扱うべきではありません。

ところが、外部情報と正規の指示の区別が十分でなければ、AIが本来の目的から外れた行動を選ぶおそれがあります。

こうした外部情報を通じた誘導は、一般に「間接的なプロンプトインジェクション」と呼ばれる問題とも関係しています。

実際に情報漏えいやシステム侵入が起きたのか

今回の研究は、実社会で発生したサイバー攻撃事件を報告するものではありません。

研究チームが用意した評価環境で、AIの安全性を検証したものです。

また、今回確認した学会公式資料だけでは、すべてのモデルについて、どの条件でどのような危険な操作が実行されたのかまで独立に検証できていません。

研究でいう「攻撃成功率」を、現実の被害発生率や実システムへの侵入成功率と同一視することはできません。

自治体や中小企業のAI導入にも関係する

この研究は、専門的なAI開発企業だけの問題ではありません。

例えば、地域の事業者がAIに問い合わせ対応や資料整理、メール作成、予約管理などを任せる場面を考えてみます。

AIが複数のサービスと連携するほど、外部から受け取る情報や実行できる操作は増えていきます。

そのとき重要になるのは、AIが適切な文章を返すかどうかだけではありません。

AIがどの情報を根拠に判断し、どの権限で何を実行できるのか。そこまで確認する必要があります。

導入時に考えたい安全対策

権限を必要最小限にする。
AIに閲覧だけを任せるのか、情報の変更や送信まで許可するのかを分けることが重要です。

重要な操作には人の承認を設ける。
メールの一斉送信、個人情報の外部送信、データ削除などは、自動実行させない設計が考えられます。

作業の途中経過を確認できるようにする。
最終回答だけでなく、どのツールを使い、どのような操作を行ったのかを記録することも大切です。

これらは研究結果から考えられる実務上の対策であり、今回の研究が個々の対策の完全な有効性を保証したものではありません。

今回の研究が投げかける「？」

これまでAIの安全性というと、「危険な質問をしても断れるか」「不適切な回答を出さないか」といった点に注目が集まりがちでした。

しかし、AIが実際に仕事をするようになると、回答だけでなく、途中で選択した操作や、その組み合わせまで考えなければなりません。

AIエージェントの便利さを活かしながら、どこまで自動化し、どこから人が確認するのか。

私たちの暮らしや仕事にAIが入り込む今だからこそ、考えておきたい課題ではないでしょうか。

参考資料・原典