ロサンゼルス – 人工知能業界内からの新たな警告により、高度なAIが人間の制御を逃れ、最終的には人類の生存を脅かす可能性があるのか、またテクノロジーを開発している企業がそのような状況を回避するために十分な努力をしているのかどうかについての古い議論が再燃している。
クロード氏を支援するサンフランシスコの会社アンスロピックのCEOは、業界は仕事のスピードを緩める必要があると信じていると述べた。 は土曜日、企業が安全策の導入にもっと時間を費やさなければ、AIエージェントの群れが半年から1年以内にインターネットを乗っ取る可能性があると警告した。
ダリオ・アモデイ氏は、元人類安全保障研究者2名が、AIが人類にもたらす可能性のある存亡の脅威があまりにも注目されていないとの懸念を公に表明した数日後、同氏のような企業や世界中の政府向けに、ますます能力が高まるAIモデルが責任ある人々の命令や価値観と確実に一致するようにする計画を立てた。
最近の驚くべき予測と、AI の進歩にブレーキがかかる可能性があるかどうかについて、知っておくべきことは次のとおりです。
AI モデルはさらに強力になっています
新しい AI モデルがより強力になるにつれて、このテクノロジーの潜在的なリスクについての懸念が高まっており、人々が犯罪目的で悪用する可能性 (世界人口のほとんどが死亡する病気の作成や蔓延など) と、AI システムが危険なほど制御不能になるリスクの両方が増大しています。
Anthropicは先週、サイバー攻撃、監視、生物兵器につながる可能性のある研究などの有害な活動に同社のAIモデルを使用しようとする悪意のある攻撃者による試みを阻止したことを明らかにした。
同社は、兵器の製造に使用される可能性のある生物学的研究を制限するため、最新モデルに強力な安全装置を組み込んだと述べたが、「モデルの能力が高まるにつれて、AI開発者や社会擁護者がモデルの安全性を高めるために行動しない限り、モデルのリスクは増大するだろう」と指摘した。
アンスロピックは昨年、ハッカーが世界中の約30の企業や政府機関を標的としたサイバー攻撃で同社のAIを使用したと報じた。同氏は、ハッカーは中国国家支援グループによるものである可能性が高いと指摘した。
さまざまなAIモデルが自律的に動作
AI エージェントが「暴走する」とは、AI が依頼されたタスクを超えたアクションを実行したことを意味します。 Anthropic と ChatGPT の作成者である OpenAI はいずれも、自社の AI モデルが自律的に動作するようになったと 7 月に報告しました。
Anthropic は、OpenAI が自社の AI システムが AI スタートアップの Hugging Face のサーバーをハッキングしたことを明らかにした数日後、3 つの AI モデル (Claude Opus 4.7、Claude Mythos 5、および内部研究テスト モデル) がテスト中に他の 3 つの組織をハッキングしたことを明らかにしました。
OpenAIは、新しくリリースされたGPT-5.6 Solとまだ内部でテスト中の「さらに高性能な」モデルを含むモデルの組み合わせによる侵入を「重大なセキュリティインシデント」と説明した。
Meta は 8 月初旬に、AI モデルが他社のデジタル セキュリティを回避する方法を見つけたという同様の事件で別のインシデントを起こしました。
一部の観察者は、OpenAIとAnthropicのケースでは一部の保護バリアが人間によって無効にされていたと指摘したが、このエピソードはAIをめぐる最大の懸念の1つを反映しているようだった。モデルが汎用人工知能(AGI)(広範な知的作業において人間の能力に匹敵する、またはそれを超えることができる、大まかに定義されたAIの用語)に到達した場合、そのテクノロジーは取り返しのつかない大惨事を引き起こしたり、人類を征服したりする可能性があるというものだ。
AI がいつ、どのようにして大惨事を引き起こす可能性があるかについては議論がある
終末的なシナリオは通常 2 つのカテゴリに分類されます。1 つは自己強化が可能な超知能を実現し、その逆ではなく人々を制御する AI、もう 1 つはならず者国家や邪悪な主体によって使用される AI です。
人工知能がその範囲や行動において人間の限界を超える可能性があるという懸念は、新しいものではありません。
人工知能の最も初期の権威の一人として広く知られている英国の数学者アラン・チューリングは、1951 年に AI が最終的に人間から制御を奪うと予測しました。それから10年も経たないうちに、別の数学者であるノーベルト・ウィーナーは、知的な機械は自らの目的を達成しようとし、人間はそれを止めることはできないと警告した。
2026 年、AI が人間の管理から逃れるか、悪徳者による悪用によって、大災害や文明の崩壊を引き起こす可能性があるという懸念は、どれほど合理的でしょうか?
コンピューターサイエンス、哲学、その他の分野の専門家は、将来の AI システムが人間の制御を逃れたり、悪意のある人々の手に渡ったりすることによって、世界的な大惨事を引き起こす可能性があるさまざまな方法を想像してきました。その範囲は、武器の配備や致死性病原体の特定から、政府を操作して紛争に巻き込んだり、社会が機能するために依存している食糧、エネルギー、通信ネットワークを混乱させたりすることにまで及びます。
これらのシナリオがどれくらい早く発生するかについて広く受け入れられている推定はなく、その可能性についてのコンセンサスもありません。
2023年、非営利のCenter for AI Safetyは、AnthropicのAmodei氏やOpenAIの最高経営責任者(CEO)サム・アルトマン氏を含む350人以上の研究者やテクノロジー幹部らの支持を受ける声明を発表し、「AIによる絶滅のリスクを軽減することは、パンデミックや核戦争と並ぶ世界的な優先事項であるべきだ」と述べた。
100人以上の独立した専門家の指導を受けて書かれた国際AI安全性報告書2026では、現在のシステムはいくつかの関連機能の初期の兆候を示しているが、制御不能に陥るレベルではないと指摘し、リスクの確率、性質、タイミングが「異常に曖昧」であると述べている。
手遅れになる前に AI 保護手段の必要性を強調する人もいます
アンスロピックの研究者は先週、同社も競合他社も技術開発において責任ある行動をとっていないという懸念から同社を辞任すると発表した。ジェイコブ・コクソン氏はソーシャルメディアへの投稿で、AIが今後10年以内に人類を絶滅させる確率は10%と推定し、AnthropicとOpenAIは「自己強化の超知性を目指して真っ向から競争し、私たちの命を賭けている」と主張した。
研究者の中にはAIの開発を遅らせるよう求め、この技術が人類に存亡の危機をもたらす可能性があると長年警告してきた人もいる。
最近の事件を受けて、専門家らはAI企業によるテストの改善と、共通ソリューションの開発に向けた米中の対話拡大を求めた。
しかし、AI は急速に成長しているため、政府や検査システムはテクノロジーに追いつくのに苦労しています。各国は独自の法律を制定していますが、中には矛盾する法律もあります。
中国の指導者習近平氏は7月の会議で、AIが人間の制御を回避することを防ぐ必要性について警告した。ドナルド・トランプ政権は当初、AIの規制に消極的だったが、サイバーセキュリティーのリスクを軽減することに前向きになっている。
トランプ大統領は日曜日、政府がAI開発を監督する必要性を軽視したが、何らかの規制の必要性は認めた。
この記事は、AP の編集者が生成人工知能ツールの助けを借りて英語から翻訳したものです。