時間、年表は循環しているように見えます。 1955年、アルバート・アインシュタイン、バートランド・ラッセル、その他の科学者が率いる科学者グループは、ラッセル・アインシュタイン宣言で、新たな核時代が人類を滅ぼす可能性があると警告した。 20 年後の 1975 年、世界中の科学者がアシロマ カンファレンス センター (カリフォルニア) に集まり、 彼らは自主的にやめることを決意する 特定の遺伝子工学実験は、それがどのような結果をもたらすかまだわかっていないために行われます。
再び 20 年が経過し、NASA 気候段階センターのジェームス ハンセンは、私たち自身の活動によって引き起こされた気候変動によって変容する 21 世紀を予測する科学者チームを率いています。 2026 年を迎えると、地球規模の脅威が周期的に繰り返されます。 開発企業の科学者 最先端のAIが警告 彼らは私たちの制御能力を超えたシステムを構築している可能性があるということです。
OpenAIとAnthropicで働いていた専門家の1人であるジェイコブ・コクソン氏が後者の会社を辞任したことを受けて、今週再びこの論争が勃発した。 コクソン氏は、システムの自己改善に向けた競争に参加するつもりはもうないと説明した。彼によると、その作成者たちは、人間の管理下に留まり続けることを保証する方法をまだ知りません。 「AIを開発している人々は、10年が終わる前にAIが私たち全員を殺す可能性があると心から信じている」と彼は辞任を発表する際に書いた。
AI を開発している人々は、AI が 10 年代の終わりまでに私たち全員を殺す可能性があると真剣に信じています。これはマーケティングのスタントではありません。むしろ、多くの経営幹部や上級研究員は、報道で自分の表現を過敏に聞こえるようごまかしますが、同じ人たちが恐怖を表明していると聞きます…
— ジェイコブ・コクソン (@hilbertspaess) 2026 年 9 月 9 日
気がかりなことは、次に何が起こったかでした。 Evan Hubinger 氏、Anthropic 社に継続勤務し、特にアライメント研究に取り組んでいる （人間と互換性のある目標を追求するために高度なAIをどのように取得するか）との質問に対し、彼も懸念を共有していると答えた。
ここでのジェイコブは正しいです。私たちは AI がすべての人間を殺すことができると本気で信じています。個人的には、今後 10 年以内に 10% 以上になると考えています。 Anthropic は最善を尽くしていると思いますが、超知性の調整を解決する計画はまだなく、明確に軌道に乗っているわけでもありません。 https://t.co/QAIHiFP3QZ
— エヴァン・ヒュービンガー (@EvanHub) 2026 年 9 月 9 日
彼らの推定では、AI が今後 10 年間に人類を滅ぼす可能性は 10% 以上です。これは科学的な予測やハリケーンのような計算された確率ではありません。 専門研究者の主観的な評価です。しかし、それはまさに、ますます高機能になるシステムを制御下に置く方法を研究することを仕事としている人物からのものです。
彼らは一体何を恐れているのでしょうか？ターミネーター風のロボット軍団というほどではない。 AI セキュリティ研究者を懸念させるシナリオはさらに奇妙です。私たちが特定の目的を与えているにもかかわらず、その行動が私たちの利益と完全に一致することができていないシステムが、私たちよりもはるかに知的であると想像してみましょう。 自律的に行動し、コンピューターにアクセスし、リソースを取得し、自分自身をコピーしたり、自分の能力を変更したりする能力を獲得した場合、たとえそれが人間に害を及ぼすとしても、自分の目的に有利な決定を下し始める可能性があります。
彼は私たちを憎む必要はありません。私たちの興味が彼に無関係であれば十分です。これは古い「ペーパークリップ マキシマイザー」の例です。非常に強力なマシンにできるだけ多くのペーパークリップを作成するように命令した場合、 適切な制約が組み込まれていないと、存在するものすべてを考慮することになる可能性があります （人間を含む）を原材料として使用します。はい、これは予測ではなく思考実験ですが、ジレンマを理解するのにも役立ちます。
最近まで遠いと思われていたことを現在のシステムがすでに実行できるようになったため、この懸念はさらに強くなっています。 AI エージェントは、人間の監視を減らしながら、コードを実行し、ツールを使用し、インターネットを閲覧し、長時間にわたってタスクを完了できます。人類はそれを認識しています 「私たちは、AI システム自体に AI 開発を委任する割合を増やしており、これにより私たちの作業が加速しています。現在、当社のエンジニアは、2021 年から 2025 年に比べて、四半期あたり平均 8 倍のコードを生成しています。」
したがって、問題はもはや「AI は私たちを滅ぼすことができるか?」というだけではありません。そのシナリオが実現するかどうかさえわかりません。より直接的な問題は、解明しようとする間、どの程度のリスクを受け入れるかということです。 人類は、その結果を完全に理解する前に、大惨事を引き起こす可能性のあるテクノロジーを構築してきました。しかし、今回は気がかりな違いがある。 爆弾はそれ自体のより良いバージョンを作ることはできません。少なくとも理論的には、人工知能ならそれができるだろう。 私たちに残された希望はただ 1 つだけです。サイクルを断ち切ることができ、2045 年から 2050 年には平和のサイクルが訪れるでしょう。
