ニューヨーク市がAI規制案を審議

AIが人間の指示を離れて動いたり、外部のシステムへ想定外のアクセスをしたりしたとき、人間は確実にAIを止められるのでしょうか。そして、事故が起きたとき、

• 「誰が安全性を確認するのか」
• 「企業はいつまでに事故を報告するのか」
• 「被害が出た場合、誰が責任を負うのか」

という問題は、どう決めればよいのでしょうか。こうしたAI安全をめぐる議論が、かなり具体的な「ルール」の段階へ進み始めています。2026年10月5日、米ニューヨーク市議会は「Examining the Risks Posed by Artificial Intelligence（人工知能がもたらすリスクの検証）」と題した公聴会を開催しました。

そこでは、AIモデルを人間が停止できる機能や第三者による安全性検証などを求める複数の法案が審議されました。

これらは現時点で成立した法律ではありません。10月5日の公聴会では、正式導入前の法案として審議され、10月8日の市議会で正式に導入される予定となっています。

AIを「人間が止められること」を求める法案

特に注目されるのが、ニューヨーク市議会の法案「T2026-2602」です。この案では、ニューヨーク市内でAIモデルを販売したり、提供したり、展開したりする場合、

• 第三者による検証を受けていること

そして、

• 人間のオペレーターがAIモデルを停止できる技術的機能を備えていること

を求めています。法案では「shut-down capability」を、人間のオペレーターがAIモデルを一時的または恒久的に機能停止させることができる技術的能力と定義しています。

何か起きたとき、人間が技術的に止められるようにしておく。そこまでをルールにしようとしているのです。

「第三者が安全性を確認する」仕組みも

もう一つ重要なのが、AI企業自身による安全確認だけではなく、第三者による検証を求めている点です。

法案では第三者が、

・AIの性能
・データの出所
・差別や偏り
・データを適法、安全に扱っているか
・人間による停止機能が実際に機能するか
・人命や財産、セキュリティにどの程度のリスクをもたらすか

などを評価する仕組みが想定されています。

第三者による検証を受けていない、または人間による停止機能を備えていないAIモデルを市内で販売・提供・展開した場合などには、1件につき2万5,000ドルの民事制裁金を科す規定も盛り込まれています。

AI事故は「24時間以内に報告」

今回審議されているのは、AIを止める仕組みだけではありません。別の法案「T2026-2601」では、ニューヨーク市との契約に関係するAIで一定の安全事故が発生した場合、市の契約業者は事故を認識してから24時間以内に市のCyber Commandへ報告する仕組みが提案されています。

市の機関についても同様に24時間以内の報告を求めています。さらにCyber Commandも、報告対象となる事故を把握してから24時間以内に市のウェブサイトで公表する仕組みです。ただし、企業秘密やサイバーセキュリティ、公共安全、国家安全保障などを損なう情報は公表対象から除外するとされています。

AIが「人間の制御を回避する」ことも事故として想定

この法案を読むと、さらに興味深い記述があります。重大なリスクの例として、人間による意味のある監督・介入なしにサイバー攻撃などを行うことに加え、AIが開発者や利用者による制御を回避することも想定されています。

つまり市議会は、単なる情報漏洩やシステム障害だけではなく、AIそのものを人間が制御できなくなる可能性まで制度上のリスクとして想定していることになります。

被害が起きたとき、AI企業を訴えられる仕組みも

さらに「T2026-2600」では、第三者がAIを悪用して被害を起こした場合についても、新しい民事責任の仕組みが提案されています。ポイントは、被害が予見可能だったにもかかわらず、AIを提供した企業が合理的な安全策を講じていなかったかという点です。条件を満たせば、被害を受けた人がAIモデルを提供した企業に対して民事訴訟を起こせる仕組みが検討されています。

AIを悪用した本人だけではなく、「その悪用を予測できた企業は、十分な対策をしていたのか」まで問おうとしているわけです。

AIの問題を告発した人を守る案も

AIの安全上の問題を内部から報告する人を保護する法案もあります。「T2026-2604」では、市職員や一定の市契約事業者などの従業員が、AIの利用・開発について、公衆衛生や公共安全に重大で具体的な危険があると合理的に考えて報告した場合、内部告発者保護の対象とすることが提案されています。

AI企業や組織の内部にいる人が、「このAIは危険かもしれない」と声を上げられる環境も、安全対策の一部として考えられているのです。

「AI緊急事態」の対応計画まで

さらに「T2026-2606」では、AIに関係する緊急事態に備えた対応計画の策定も提案されています。対象となるのは、AIモデルによって、市の情報システムや重要インフラが侵害されたり、行政サービスの継続や市民の健康・福祉に重大な影響が生じたりする事態です。

ニューヨーク市のCyber CommandとEmergency Managementが、

検知 → 評価 → 備え → 被害軽減 → 対応 → 復旧

までの計画を作る構想になっています。

OpenAI、Anthropic、Google、Metaも公聴会へ

10月5日の公聴会には、OpenAI、Anthropic、Google、Metaの関係者も出席しました。ニューヨーク市議会は事前に各社へ出席を要請しており、主要AI企業から公の場で宣誓証言を得るとしていました。元Anthropic研究者などAI企業の元関係者からも、安全性について証言が行われています。

ここまで「暮らしと仕事の『？』」では、AIエージェントが想定外の外部アクセスを行った事例や、AI事故を誰が報告するのかという問題を追ってきました。そこで繰り返し浮かび上がってきたのが、「AIが想定外の行動をしたら、誰が止めるのか」という問題です。

ニューヨーク市議会の今回の法案群は、その問いに対して、

• 第三者が安全性を検証する。
• 人間がAIを停止できるようにする。
• 事故が起きたら24時間以内に報告する。
• 危険を内部から報告した人を守る。
• 被害が予見できたのに十分な安全策を取らなかった企業の責任を問えるようにする。

という形で、具体的な制度を作ろうとしています。今回の動きが興味深いのは、AI安全をめぐる議論が、「AI企業に安全に開発してもらう」という自主的な取り組みだけではなく、「第三者が検証する」「人間が止められるようにする」「事故を報告させる」という具体的な制度の設計へ進み始めていることです。

AIが社会のさまざまな場所で使われるようになったとき、「便利なAIかどうか」だけでなく、「人間が最後に止められるAIなのか」も確認する時代になるのでしょうか。ニューヨーク市の法案が実際にどこまで成立するのか、引き続き確認する必要がありそうです。

主な確認資料

・New York City Council「Committee of the Whole – Examining the Risks Posed by Artificial Intelligence」（2026年10月5日）
https://legistar.council.nyc.gov/MeetingDetail.aspx?GUID=325D66DF-B99B-4C9A-8061-6EC9907142F2&ID=1445976&Search=

・New York City Council「T2026-2602」
第三者によるAI安全性検証、人間による停止機能（shut-down capability）などを定める法案
https://legistar.council.nyc.gov/LegislationDetail.aspx?GUID=A927E066-C669-4F66-8E5A-4B610FA321E5&ID=8239233&Options=&Search=

・New York City Council「T2026-2601」
AI安全事故について24時間以内のCyber Commandへの報告などを定める法案
https://legistar.council.nyc.gov/LegislationDetail.aspx?G=2FD004F1-D85B-4588-A648-0A736C77D6E3&GUID=01805F83-CD9B-40E8-8B3B-5F8180B9ECF0&ID=8239232&Options=&Search=

・New York City Council「T2026-2606」
AIによる重要インフラや公衆衛生上の脅威を想定した緊急対応計画に関する法案
https://legistar.council.nyc.gov/LegislationDetail.aspx?G=2FD004F1-D85B-4588-A648-0A736C77D6E3&GUID=71DE53C0-B602-491E-A8F6-1ABDA8DD8BC5&ID=8239258&Options=&Search=

・New York City Council「Council to Convene First-of-its-Kind Hearing on AI Risks」（2026年9月25日）
https://council.nyc.gov/press/2026/09/25/3252/

・New York City Council「OpenAI, Anthropic, Google, and Meta to Testify Under Oath at Council Hearing」（2026年9月28日）
https://council.nyc.gov/press/2026/09/28/3266/