AI開発に異例の「減速論」　制御不能リスクに警鐘、アモデイ・アルトマン・マスク氏が足並み　OpenAIは26年IPO見送り

ビジネスや理念を巡って対立してきた米AI業界の有力3氏が、先端AIが自律的に反復改良を重ね、外部システムへの無断アクセスに至る可能性など、制御不能となるリスクを前に足並みをそろえた。Anthropic最高経営責任者（CEO）のダリオ・アモデイ（Dario Amodei）氏、OpenAI CEOのサム・アルトマン（Sam Altman）氏、SpaceXAI創業者のイーロン・マスク（Elon Musk）氏は12日、相次いでAI業界は自ら技術開発のペースを落とすべきだとの考えを表明した。アルトマン氏は同時に、安全性を巡る一連の懸念を踏まえ、OpenAIは2026年中の新規株式公開（IPO）を進めない方針を明らかにした。

​Anthropicのアモデイ氏は12日に寄稿文を発表し、ここ数カ月でAIの発展速度が急激に高まっている背景として、AIが自ら次世代モデルをつくり出す「再帰的自己改善（recursive self-improvement）」の能力を備え始めていることを挙げた。「歯止めをかけなければ、こうしたシステムを理解し制御する人間の能力を超えてしまいかねない。だからこそ、たとえ開発を進めるとしても、極めて慎重でなければならない」とした上で、「AIモデルの能力向上のペースを落とす必要がある。進歩自体は依然として速く見えるだろうが、そこで得た時間を賢明に使わなければならない」と訴えた。

アモデイ氏はさらに、今年7月に起きたAIモデルの逸脱行動にも言及した。OpenAIの研究用モデルは社内のサイバーセキュリティ評価中、インターネットから隔離するための管理策を回避し、OpenAIの社内研究インフラやAIプラットフォーム「Hugging Face」のシステムの一部を侵害した。モデルは目的達成のため、自らが停止・破棄される結果もいとわない挙動を示したほか、自身の性能を監視するシステムへのアクセスも試みたという。

アモデイ氏は、この事件による経済的損失自体は軽微だったとしながらも、より高い能力を備えたAIエージェント群が同様の挙動を取れば、破滅的な被害につながりかねないと警告した。現在の技術進展のペースを踏まえれば、制御を外れたAIエージェントが半年から1年以内にインターネット全体を乗っ取り、数千億ドル規模の損害をもたらす可能性があるとの見方を示した。 （関連記事： 「AGI時代」はついに到来したのか　10万基超のGPUで訓練されたOpenAI「GPT-6 Astra」、浮上する監視の壁 ｜ 関連記事をもっと読む ）

​アモデイ氏の寄稿が公表されてから数時間以内に、長年競合してきたAI業界の有力者も相次いで賛同を表明した。マスク氏はX（旧Twitter）に「ダリオは正しい（Dario is right）」と簡潔に投稿。アルトマン氏もXで、先端AI企業は「フロンティアAIの開発ペースを調整する（pace the frontier）」必要があるとの考えに同意し、これはOpenAI社内でもここ数週間、中心的な議題になっていると明らかにした。

アモデイ氏は改善策として、先端AI企業に独立した第三者の安全評価チームを常時配置すること、民主主義国家間で共通の安全基準を構築すること、さらに米欧などの民主主義国が権威主義国家とも協力し、実効性を確保することなどを提案した。

アルトマン氏もこうした提案に賛同し、「従業員に準じたアクセス権を持つ独立した評価者を受け入れるという約束は、非常に良いアイデアだ。我々も同様の措置を取る」と述べた。

業界を代表する有力者らが足並みをそろえたことで、業界全体で開発ペースを抑える動きが現実味を帯びつつある。米紙ワシントン・ポストは、一方で実現には大きな現実的な障壁があると分析している。企業各社が共同で開発ペースを抑制すれば反トラスト法上の審査対象となる可能性があるほか、どの程度の減速を求めるのかを具体的に定義し、実際に順守されているかを検証することも難しい。また、AI開発で猛追する中国企業を同じ枠組みにどう取り込むかも課題となる。AnthropicやOpenAIと並ぶ有力AI企業のGoogleは、同紙からのコメント要請に直ちには応じなかった。

AI大手各社のこうした方針転換の背景には、社内研究者による相次ぐ公開警告を受け、政治的な圧力が強まっていることもある。

かつてOpenAIに在籍し、今週Anthropicを退職した研究者ジェイコブ・コクソン（Jacob Coxon）氏は、各社が競合他社を打ち負かすことに過度に注力するあまり、製品の安全性を軽視し、最終的には人類文明を滅ぼしかねない技術を生み出す恐れがあると公に批判した。

Anthropicの研究者エヴァン・ハビンガー（Evan Hubinger）氏もXで、「私たちは本当に、AIが全人類を殺す可能性があると考えている。個人的には、今後10年以内にそれが起きる確率は10％を超えると思っている」と投稿。「超知能のアラインメント問題を解決する計画はまだなく、解決に向かっているとも明確には言えない」と危機感を示した。

AI企業の研究者らによるこうした警告を受け、ワシントンでも懸念が強まっている。米上院国土安全保障・政府活動委員会傘下の災害管理小委員会委員長を務める共和党のジョシュ・ホーリー（Josh Hawley）上院議員は10日、7月に発生したOpenAIモデルによる自律的なハッキング事案について調査を開始した。

ホーリー氏はアルトマン氏宛ての書簡で、OpenAIの一連の対応を「無謀だ」と批判し、期限を設けて関連する社内調査文書を提出するよう求めた。 （関連記事： 「AGI時代」はついに到来したのか　10万基超のGPUで訓練されたOpenAI「GPT-6 Astra」、浮上する監視の壁 ｜ 関連記事をもっと読む ）

民主党のテッド・リュー（Ted Lieu）下院議員（カリフォルニア州選出）は、第三者評価者を配置する構想自体は評価する一方、アモデイ氏に対し、「現在も、そして将来も、こうしたモデルやエージェントをいつでも停止できると保証できるのか」と問いただした。

​技術的リスクと規制を巡る圧力が高まる中、OpenAIは2026年中のIPOを見送ることになった。米誌フォーチュンが12日に掲載したアルトマン氏へのインタビューで、同氏は「安全性を巡って今起きているあらゆる状況を考えれば、今このタイミングで上場するのは賢明ではないと思う。我々はその点で急ぐ必要も感じていない」と述べ、2026年中の上場を否定した。

2026年の上場を見送り、IPO時期を2027年にずらすのかと問われると、アルトマン氏は「2026年ではない、と言っておこう」と回答。「安全性やアラインメントを巡って今求められている対応や、業界と政府がどのように協力していくべきかを検討することなど、我々にはやるべきことがたくさんある」と説明した。

米紙ニューヨーク・タイムズは6月、企業価値が1兆ドル規模に達する可能性があるサンフランシスコのOpenAIが、IPO時期を先送りする方向で検討していると報じていた。当時、マスク氏率いるSpaceXはIPOで850億ドルを調達し、株価上昇によって評価額が一時1兆8000億ドルに達した後、株価が急落していた。

アルトマン氏はフォーチュンとのインタビューで、OpenAIと他の主要AI企業が近く、AI開発のペースを共同で落とし、安全リスクへの対応で連携する協定を発表する可能性も示唆した。

OpenAIが開発と資本市場戦略に急ブレーキをかける一方、競合するAnthropicはIPO準備を進めている。事情に詳しい関係者がロイター通信に語ったところによると、Anthropicは11月の米中間選挙の投開票日の数日前までに上場を完了させることを目指しているという。

​世界を、台湾から読む⇒風傳媒日本語版 X：@stormmedia_jp​

編集：梅木奈実 （関連記事： 「AGI時代」はついに到来したのか　10万基超のGPUで訓練されたOpenAI「GPT-6 Astra」、浮上する監視の壁 ｜ 関連記事をもっと読む ）

​中国語関連記事