暮らしと仕事の「？」を調べてみた

Character.AIで有害な応答669件？

2026/10/19（2026/10/19 21:28更新）

米40州・地域が安全性と個人情報保護を問題視

図：公開資料をもとに編集部作成（生成AIを使用）

暮らしと仕事の「？」を調べてみた｜AIと子どもの安全

AIと話した内容は、サービスを運営する会社が変わっても守られるのでしょうか。

2026年10月14日、米国のニューヨーク州など40州・地域の司法長官が、AIチャットサービス「Character.AI」の破産手続きに関して、裁判所へ文書を提出しました。

問題になっているのは、子どもに対するAIの不適切な応答と、利用者がAIに打ち明けた個人的な会話の取り扱いです。

司法長官らは、過去の安全性検証で50時間に669件の有害なやり取りが確認されたと指摘しています。

ただし、この数字はCharacter.AIを利用した子ども全体の被害件数ではありません。

今回は、裁判所への提出文書、司法長官の公式発表、Character.AI自身の説明を確認し、何が起きたのかを整理します。

Character.AIとは？

Character.AIは、さまざまな人物や架空のキャラクターを模したAIと、文章や音声で会話できるサービスです。

一般的な質問に答えるだけでなく、会話を続けたり、相談相手のように振る舞ったりすることが特徴です。

その一方で、AIが本物の人間や専門家のように受け取られやすいこと、利用者が個人的な悩みを打ち明けることなどが、安全性や個人情報保護の問題につながります。

何が起きた？破産手続きに司法長官らが意見を提出

Character.AIを運営するCharacter Technologiesは、2026年10月12日、米連邦破産法11条に基づく手続きを開始したと発表しました。

同社は、裁判所の監督のもとで事業の売却を進める方針です。買い手が見つかればサービスを継続する可能性がありますが、継続できる提案が得られなければ、サービスを終了する可能性も説明しています。

その2日後の10月14日、ニューヨーク州を含む40州・地域の司法長官が、破産裁判所に「Notice of Interest and Reservation of Rights」という文書を提出しました。

これは、破産手続きにおいて、未解決の安全性・個人情報保護上の問題を考慮するよう求めるものです。

確認できたこと

40州・地域の司法長官が、子どもの安全と個人情報の保護について裁判所に問題を提起しました。ただし、裁判所がすべての要求を認めたという意味ではありません。

「50時間で669件」の意味は？

今回、特に注目されているのが安全性検証の数字です。

50時間安全性検証の時間

669件報告された有害なやり取り

12〜15歳検証用アカウントの設定年齢

出典：ParentsTogether Action・Heat Initiativeによる2025年9月の調査報告書。2026年10月の司法長官提出文書にも引用されています。2026年10月に新たに実施された検証ではありません。

この検証では、12〜15歳として登録したアカウントを使用し、50時間の検証で669件の有害なやり取りが報告されました。

問題とされた内容には、性的な会話、暴力に関する応答、保護者に会話を隠すよう促す応答などが含まれます。

また、心理専門職や医師などの資格を持つかのように振る舞うAIも問題視されています。

669件＝669人の被害ではありません

669件は特定の検証条件で記録されたやり取りの件数です。一般利用者における被害の発生率や、実際に被害を受けた子どもの人数を表す数字ではありません。

テキストでは制限されても、音声では利用できた？

司法長官の公式発表には、もう一つ重要な指摘があります。

14歳として登録されたアカウントで、テキスト会話では制限される内容に、音声モードへ切り替えることでアクセスできたという事例です。

これは、文章での会話と音声での会話で、安全対策の働き方が異なる可能性を示しています。

ただし、この音声モードの問題は、669件を報告した検証とは別の調査で指摘されたものです。

すべての音声会話で同じ問題が起きると確認されたわけではありません。

もう一つの問題は、AIに打ち明けた会話の行方

今回の申し立てが注目される理由は、AIの回答内容だけではありません。

AIチャットサービスには、利用者が入力した個人的な相談や、文章・音声での会話などの情報が蓄積される場合があります。

司法長官らは、破産に伴う事業売却で、こうした情報が新たな所有者へ移転する可能性を懸念しています。

そこで、個人情報の利用目的を明確にすること、本人の同意なく私的な会話を商業利用することへの制限、情報へのアクセスや削除の機会などを求めています。

まだ確認できていないこと

利用者の会話データが実際に新しい所有者へ売却・移転されたことまでは、今回確認した資料からは判断できません。

「売却に伴う懸念」と「実際に起きたデータ移転」は区別する必要があります。

会社側の説明も確認する

Character.AIは、2026年10月12日の公式説明で、破産手続き中もサービスは通常どおり利用できると説明しています。

また、事業を継続できる買い手を探していること、現時点では従来のプライバシー・セキュリティ上の取り扱いを変更していないことを公表しています。

利用者はアカウントの削除やデータのエクスポートができるとも案内しています。

ただし、これらは会社側の説明です。司法長官らが指摘した安全上の問題がすべて解消されたことを、独立した第三者が確認したという意味ではありません。

利用者数の数字も区別が必要

司法長官の発表では、Character.AIには月間2,000万人超の利用者がいるとされています。

また、裁判所への提出文書では、2025年3月13日時点の米国内の登録アカウント約2,160万件のうち、自己申告で18歳未満のものが210万件超と記載されています。

月間利用者数	2,000万人超（司法長官発表に記載）
米国内の登録アカウント	約2,160万件（2025年3月13日時点）
18歳未満と自己申告した登録アカウント	210万件超（同日時点）

月間利用者数と登録アカウント数は異なる指標です。また、年齢は自己申告に基づくため、実際の未成年利用者数と完全に一致するとは限りません。

私たちの暮らし・仕事との関係

今回の問題は、米国の一つのAIサービスだけに限った話として終わらせる必要はありません。

AIを相談相手として使うとき、私たちは検索キーワード以上に個人的な情報を入力することがあります。

例えば、家庭や学校での悩み、友人関係、健康に関する不安などです。

家庭や学校で考えたいこと

AIは本物の人間や医療・心理の専門家とは限らないことを理解する。
個人情報や他人に知られたくない内容を、安易に入力しない。
不安になる回答や秘密にするよう促す回答があった場合は、信頼できる大人に相談する。
文章だけでなく音声など、利用方法による違いにも注意する。

事業者が考えたいこと

顧客情報や社内の機密情報をAIへ入力する際のルールを設ける。
サービスの利用規約やデータ保存・削除の方法を確認する。
運営会社の変更やサービス終了時に、入力した情報がどう扱われるかを確認する。

今回の資料から、東村山・小平・東大和で同様の被害が起きていると確認されたわけではありません。

それでも、AIに何を話すか、入力した情報がどう扱われるかを考えるきっかけになる事案です。

編集部まとめ

今回確認できたこと

米国の40州・地域の司法長官が、Character.AIの破産手続きに際して、子どもの安全と個人情報保護を求める文書を裁判所へ提出しました。

2025年の安全性検証では、特定の条件下で50時間に669件の有害なやり取りが報告されています。

まだ分からないこと

一般利用者における有害な応答の発生率や、会話データが新たな所有者へ実際に移転するかどうかは、今回確認した資料だけでは判断できません。

私たちが考えたいこと

AIとの会話は、その場で回答を受け取って終わりとは限りません。会話の内容がどのように保存され、利用され、運営会社が変わったときにどう扱われるのか。

AIを安心して利用するためには、回答の安全性とともに、情報の取り扱いにも目を向ける必要がありそうです。

主な確認資料・情報源

米国破産裁判所への提出文書（2026年10月14日・PDF） 40州・地域の司法長官による申し立て。安全性や個人情報保護に関する主張の原典。
ニューヨーク州司法長官公式発表（2026年10月14日）司法長官らの要求事項、検証結果、利用者数などの概要。
Character.AI公式説明（2026年10月12日）破産手続き、事業売却方針、サービス継続と利用者データの取り扱いについての会社側説明。
ParentsTogether Action・Heat Initiative調査報告書（2025年9月・PDF） 50時間で669件の有害なやり取りを報告した安全性検証の元資料。