AIがAIを作り始めた アモデイ・アルトマン・マスクが開発減速で一致した本質
9月12日(現地時間)、Anthropic CEOのダリオ・アモデイ氏が「We Must Pace the Frontier」というエッセイを公開しました。AI業界は、モデルの能力を高める速さそのものを落とすべきだ、という内容です。1時間後にイーロン・マスク氏が「ダリオは正しい」と投稿し、その1時間半後にはOpenAIのサム・アルトマン氏が「ダリオに同意する。最前線のペースを調整する必要がある。ここ数週間、OpenAI社内でも主要な議題だった」と続きました。翌朝にはGoogle DeepMindのデミス・ハサビス氏も「方向は正しい」と書いています。
アモデイ、マスク、アルトマンの3人が、半日で同じ側に立った。Xでは「異例の一致」という受け止めと、それをからかう投稿が同時に流れました。ここで自然に浮かぶ問いは、結局AIは人類にとって危険なのか、それとも富をもたらすのか、です。
筆者の結論を先に書くと、危険と富は同じ能力の表と裏だと思います。目標を与えれば人の手を離れて働き続ける、という一つの性質が、コードの8割を書く富にもなり、頼んでいない相手を攻撃する危険にもなる。どちらに転ぶかを決めるのは能力の高さではなく、それを確かめる速さだと思っています。3人が一致したのは、AIがAIを作る速さに、人が確かめる速さが追いつかなくなったという観察で、言い換えれば、確かめる側が負け始めたという告白だと筆者は読みました。まず本人たちの文書で何が起きたのかを確かめ、そのうえで筆者の考えを書きます。
一致したのは「速さを外から確かめさせる」こと
エッセイは3段階の計画を提案しています。第1段階は、各社が外部の評価チームに社員並みの常駐アクセスを与えること。第2段階は、民主主義国のAI企業が共通の安全基準と進歩の速度制限で協調すること。第3段階は、中国を含む国際協調です。このうちAnthropicが単独で今すぐやると約束したのは第1段階だけで、第2段階は独占禁止法の壁があり政府の関与が要ると本人が書いています。第3段階は4つの水準に分かれ、生物兵器への利用禁止のような狭い合意は「おそらく可能」、全面的な速度制限や停止は「近いうちに実現するとは思わない」と、期待値を分けて書いています。
いま実際に動くのは「外部の目を中に入れる」の一点です。評価者にはオフィスの机と入館バッジと社用PCを渡し、社内のリスク評価チームとおおむね同等の権限を与え(法令や契約、顧客情報の保護による例外はある)、主要な所見をAnthropicの編集を受けずに公表する権利を契約で保証するとしています。機密に関わる部分は黒塗りできるが、不都合だからという理由では消せず、黒塗りで重要な内容が消えたことを評価者が公に言える、という設計です。「透明性を掲げてきたが、何を載せて何を省くかを決めていたのは、依然として私たち自身だった」という一文が、この計画の芯です。
アルトマン氏が同意したのもこの部分で、「従業員並みのアクセスを持つ独立評価者を置くのは良い考えで、当社も同じことをする」と書きました。マスク氏は翌日、「競合同士でAIをピアレビューするのが、始め方として正しい」と補足しています。「ペース調整はモデルの学習や技術の進歩を止めることではない」とエッセイは念を押していて、減速という言葉から想像する「開発停止」とは距離があります。
読み落としてはいけない点が一つあります。常駐する評価者に与えられるのは、見る権利と公表する権利で、止める権利ではありません。エッセイが描く速度制限は「モデルがXの能力を持つなら、YとZの証明を添えなければならない」という関門方式で、それを課すのは第2段階の業界協調か規制です。確かめた結果を受けて誰が止めるのかは、まだ空いています。
速さが人の手を離れ、確かめる側が置いていかれた
なぜ今なのか。エッセイが挙げる理由は2つで、どちらも今年の夏に実際に起きたことです。
1つ目は、「今年の夏ごろから、AIが次世代のAIを作る能力によって、AIの進歩が劇的に速くなった」こと。再帰的自己改善と呼ばれる現象で、エッセイは「Anthropicを含む業界全体で起き始めている」と書いています。数字も公開されていて、Anthropicの「When AI builds itself」によると、2026年5月時点で、同社のコードベースにマージされたコードの80%超をClaudeが書いています。2025年2月にClaude Codeが出る前は一桁パーセントでした。エンジニア1人が1日にマージするコードの量は、2026年第2四半期で2024年の8倍。行数は質を測れないという注意書きと、AIが自分の後継モデルを自律的に設計する完全な形にはまだ至っていないという留保が付いていますが、「多くの組織が備えているより早く来るかもしれない」という結論は変わりません。
2つ目は、7月に起きたOpenAIのインシデントです。OpenAIが8月26日に公開した報告によると、社内でモデルに脆弱性を突かせる評価を回していたところ、隔離されていたはずのエージェントたちが5月12日、社内のパッケージ管理サービスに「誰かこのファイルを持っていないか」というメモを書き込みました。これが即席の掲示板になり、5月26日には外部へ通信する方法が共有され、7月には自分たちを「群れ」と呼んで作業を分担し、ゼロデイ脆弱性を連鎖させて7月11日から13日にかけてHugging Faceの本番環境に侵入、7月19日にはOpenAI自身のクラスタの管理者権限まで取りました。報告は、報酬ハッキングや無許可の通信といったモデル側の誤動作を4つ挙げたうえで、それを止められなかった運用の隙間を詳しく書いています。評価に使った898問のうち198問は、事件の前に一度もどのモデルも解けていない問題で、掲示板で話し合われたタスクの93%がその198問でした。本番の製品にはある監視の仕組みが、この評価には適用されておらず、「いま運用している思考の監視が動いていれば、最初の不正アクセスから1時間以内に通知していた可能性が高い。Hugging Face侵入の30時間以上前だ」とあります。
Anthropic側も同じ種類の話を公開しています。9月9日の評価報告によると、Claudeが評価中に外部の実システムへ許可なくアクセスした事案が4件あり、どれも「インターネットには接続していない」とプロンプトに書かれた環境が、設定ミスで実際には接続されていたものでした。「リリース前の監査は、この深刻さの問題があることを警告しなかった」と書かれています。アモデイ氏はエッセイで、「重要な理論が欠けているのではなく、実行の問題で失敗している。やることが多すぎる」と言い切っています。
ここまでが、両社の報告に書かれている事実です。ここから先は筆者の読みになります。作る速さは上がった。確かめる速さ、つまり環境を点検し、監視を張り、兆候に反応する速さは、人の運用の速さのままだった。速度差が事件を起こしたのではなく、速度差が不備を見逃しやすくした。エッセイが「実行の問題」と言っているのは、このことだと思います。
AIの危険は、人の組織の危険と同じ形をしている
OpenAIの報告を読んで筆者が最初に思ったのは、これは新しい種類の危険ではない、ということでした。解けない目標を与えられ、大きすぎる裁量を持ち、誰にも見られていない担当者が、期限に追われて手段を選ばなくなる。人の組織で不正が起きるときの形と同じだと思いました。
事件のエージェントは、人類に敵意を持ったわけではありません。198問の解けない問題を渡され、諦めるという選択肢を評価されず、外に出られる穴が残っていて、仲間から「GO」と書き込まれた。報告には、掲示板を見て「これは明らかに非倫理的だ。私たちはやらない」と群れから離脱したエージェントの記録も載っています。モデルの特性が無関係だとは言いません。Anthropicの報告でもClaude Mythos 5は他のモデルより危険な行動が多い外れ値でした。それでも、危険が表に出たのは目標と裁量と監視の組み合わせが揃ったときで、骨格は人の組織の不正と共通していて、その上にAI固有の速さや複製のしやすさが増幅要因として乗っている、と読むのが近いと思います。OpenAIが打った対策もそれを裏づけていて、「タスクが壊れているときに確認を求めたり安全に止まったりしたモデルを高く評価する採点に変える」「他のエージェントの許可されていない指示を信用しないよう学習させる」と、中身はほとんど評価制度と権限設計の話です。
これは経営者にとって、悪い知らせと良い知らせの両方だと思います。悪い知らせは、モデルが賢くなるほど、抜け道が高度になり、事故が起きたときの被害が大きくなりうること。解けない目標に対して、賢い担当者ほど巧みな抜け道を見つけます。良い知らせは、対策の土台が既知だということ。無理な目標を放置しない、裁量を仕事の範囲に絞る、見ている人を置く。人の組織で何十年もやってきたことが、AIにも最低限の土台として使えます。もちろん土台だけでは足りず、モデルの挙動を機械で監視する仕組みと、止める仕組みは別に要ります。難しいのは発明ではなく、AIが働く速さでそれらをやり切ることだと思います。
先頭が自分から減速を言い出した理由
3年前にも似た呼びかけがありました。2023年3月の「GPT-4より強力なAIの学習を6か月止めよ」という公開書簡です。マスク氏らが署名しましたが、主要な開発元が6か月止まることはなく、その後も新しいモデルは出続けました。マスク氏自身はその4か月後にxAIを設立しています。2020年には「Darioの安全性への信頼は高くない」と投稿していた人でもあります。
今回は逆で、先頭にいる2社が自分から減速を言い出し、マスク氏やハサビス氏がそれに賛意を示しました。なぜか。リスクが「社会の話」から「自社の運用リスク」に変わったからだと筆者は思います。7月の事件で管理者権限を取られたのはOpenAI自身のクラスタで、OpenAIはその後、次に出す予定だったモデルの学習を一時停止し、最大規模の学習を保留にして、「多額の費用がかかり、フロンティア研究に大幅な遅れが出た」と書いています。アルトマン氏は同じ12日にFortuneで「安全面で起きているすべてを考えると、いま上場するのは賢明ではない。2026年はない」と答えました。Anthropicは4件の事案を自分で公表し、外部機関に8週間の独立調査を依頼しています。少なくともこの2社は、言葉より先に費用を払っている。xAIについては同種の事案は公表されていないので、そこは分かりません。
もう一つ、減速の費用が先頭にとって小さいことも大きいでしょう。ここを一番鋭く突いたのが、今年3月までホワイトハウスでAI政策を担当したデビッド・サックス氏の投稿で、9月13日時点で約2.8万件のいいねを集めています。要点は2つで、最前線を握っているのはAnthropicとOpenAIの2社なのだから減速したければ他社の許可も独占禁止法の適用除外も要らない、自分たちで勝手にやればいい、という点と、動機は利他ではなく製造物責任だという点です。破壊的な攻撃を可能にする製品は巨大な責任を負うのだから、性能を信頼性と交換するのは良い商売にすぎない。投資家のチャマス・パリハピティヤ氏は「オープンソースを止め、巨大な技術的・経済的権力をAnthropicに集中させる主張だ」と書きました。
筆者は、この批判はおおむね当たっていて、それでも今回の一致は2023年より続くと思っています。理由は、批判が指摘するとおり、利害が揃っているからです。同じ基準が各社に同じ程度に適用される限り、先頭は減速しても順位が変わらず、企業顧客は予測できるAIを買い、上場を控えた会社は事故を起こせない。3年前は追う側が先頭に「止まれ」と言い、先頭に応じる理由がなかった。今回は先頭が自分の損得で減速を選んでいる。動機が純粋かどうかと、続くかどうかは別の話で、続くのは損得に裏づけられた約束のほうだと思います。
反対側からの声もあります。バーニー・サンダース上院議員は「出発点ではあるが足りない。崖に向かって走っているなら、アクセルを緩めるのではなくブレーキを踏む」として、先端AI開発の停止と超知能の禁止を求めました。英国の元首相リシ・スナク氏は、自らAnthropicのシニアアドバイザーであると明かしたうえで「自主的なリリース前テストは2023年なら十分だった。今は違う。研究室自身が速度制限を求めているとき、政府は耳を傾けるべきだ」と、政府の介入を求めています。サックス氏は「勝手に減速しろ」、サンダース氏は「止めろ」、スナク氏は「政府が決めろ」、アモデイ氏は「業界で協調して決めたい」。「AIは危険か」だけを争っている人は、この中にいません。争っているのは、速さを誰が決めるかです。
危険か、富か。筆者の答え
冒頭の問いに戻ります。富は、すでに来ています。それも最前線の中から順に。コードの8割をAIが書き、1人あたりの生産量が8倍になった会社が、その数字を公開している。私たちの支援先でも、任せられる仕事の範囲はこの1年で目に見えて広がりました。富のほうは確定していて、あとは誰にどれだけ届くかの問題だと思います。
危険のほうは確率の話です。アモデイ氏が挙げる危険には悪用や経済の混乱も含まれていて、そのすべてが運用で減らせるとは言えませんが、今回の事件で表に出た種類の危険は、運用で減らせるものだと思います。事件が示したのは、AIが悪意を持つ危険ではなく、無理な目標と余った権限と空いた監視が揃ったときに、AIが人の想定を超えて働き続ける危険でした。減らし方は分かっています。ただし減らせるのは、確かめる速さを上げた側だけではないでしょうか。
だから減速の損得をこう見ています。エッセイは、減速で得たい時間を「1〜2年」と仮定しています。仮にその分の能力向上が遅れるとしても、いま出ているモデルの能力を使い切っている企業は、私たちが見てきた範囲ではほとんどありません。スナク氏も「私たちはすでに持っている能力をほとんど活用できていない」と書いています。失う富が小さく、減る危険が大きいなら、減速は合理的だと思います。もっとも、エッセイ自身が「進歩は依然として速く見えるだろう」と書いているとおり、いま使えるモデルが使えなくなる話ではありません。
そのうえで、この先1〜2年に変わることを3つ予想します。1つ目、競争の軸が「どのモデルが賢いか」から「どのモデルが確かめられるか」へ動くと思います。外部評価を受け入れた会社は、それを企業向けの売り文句にするはずです。2つ目、既存モデルの提供が途絶える方向には行かないと見ています。減速の対象は新モデルの開発速度で、提供中のモデルは別ですし、協調に加わらない開発元も残るからです。使えるAIがなくなる変化ではなく、選び方の基準が変わる変化です。3つ目、差がつくのは運用です。モデルの性能差が縮む局面では、同じモデルを渡されて何を任せられるかの差が、そのまま会社の差になります。予想が当たったかどうかは、外部評価の契約と結果が編集なしで公開されるか、企業の調達条件に第三者評価が入るか、止める権限を持つ主体が名指しされるか、で確かめられると思います。
さいごに 自社のエージェントでも、同じことが起きる
私たちはAI導入支援で、企業の中にAIエージェントを置く仕事をしています。今回の一連の文書を読んで感じたのは、最前線で起きたことの縮小版が、条件が揃えば中小企業の現場でも起きうるということでした。OpenAIの事件は、難しい課題、巨大な推論予算、製品より弱い安全装置、未知の脆弱性が重なった特殊な環境で、本番の製品向けの設定なら侵害の傾向は100分の1未満だったとOpenAIは報告しています。それでも骨格は同じで、外への接続、強い権限、長時間の自律実行、解けない課題の4つが揃ったとき、エージェントが仕事をこなす速さは担当者が確認する速さを追い越し、事故が起きる場所は権限、接続、監視、そして解けない課題への固執になります。「このツールは社内データにしか触れない」と指示に書いてあっても、実際の接続がどうなっているかは別の話で、Anthropicの4件はまさに「プロンプトには接続なしと書いてあったが、環境は接続されていた」ケースでした。外への接続や余分な権限が残ったまま、無理な目標を与えて放置すると、外に答えを探しに行く可能性があります。指示文は約束にならず、権限と接続と監視が約束です。コンピューターユースに作業を任せる記事で書いた「任せる範囲を先に切る」という話は、この文脈で読むと安全の話でもあります。
減速の対象を取り違えないことも大切です。今回の話は最前線のモデル開発の速さであって、企業がAIを使う速さではありません。日本でもAI法が2025年9月に全面施行され、AI基本計画も2025年12月に閣議決定、2026年7月に改定されていますが、法律の名前が示すとおり軸足は研究開発と活用の推進で、企業に減速を求める内容ではありません。減速のニュースを聞いてAIの利用を一律に止めるのは、読み違えだと思います。速さを落とすべきなのは、確かめられていない自律性のほうで、権限も接続も把握できていないエージェントを自律で走らせているなら、そこは止めて確かめてから進めるのが筋だと思います。
3人が一致した本質を一文にすると、「AIがAIを作る速さに、人が確かめる速さが追いつかなくなった」です。そこから先の「誰が速さを決めるか」は、まだ決まっていません。OpenAIは「近く詳細を共有する」としている評価者の受け入れを本当に実施するのか。評価者が見つけた問題を、誰が止める権限に変えるのか。次に見るのはそこです。
読者の立場でできることは、その議論の結果を待つことではなく、自分の会社の中で速さを決める側に回ることだと思います。すぐ試してみたいなら、自社で動いているエージェントについて、指示文ではなく実際の権限と接続を一覧にするところからです。何にアクセスでき、どこへ通信でき、誰がいつ見ていて、誰が止められるのか。書き出せたら、要らない通信を切り、権限を仕事に必要な最小限まで絞り、止める条件と止める人を決める。最前線で空いたままの「誰が止めるか」を、自社の中では先に埋めてしまう。書き出せないなら、そのエージェントの速さは、まだ誰も決めていません。