ほとんど空の背景、伝統的な赤い縁の雑誌の表紙の中央 時間を選択すると、他のチャットボットと同様のウィンドウが表示されます。中には次のような質問が書かれています。 「どれくらい危険なんですか？」 （「どれだけ危険なんですか？」）。
以下に黒文字で版のタイトルが表示されます。 AI の転換点、 人工知能の転換点。今週公開された10月12日付けの表紙は、次のように要約している。 最近まで主に速度、投資、機会の観点から提示されていたテクノロジーを取り巻く環境の大きな変化。今、最も厳しい警告のいくつかが業界の中枢から発されています。
の報告 時間、ビリー・ペリゴ、ハリー・ブース、ナオミ・ニックスの署名があり、 ジェイコブ・コクソン氏が辞任、27歳のイギリス人研究者で、3年間働いていました。 OpenAI そして人類的。 9月8日、同氏は後者の会社を放棄すると発表し、主要な研究所がシステムを制御する方法を最初に理解することなく、自己改善可能なシステムの実現を目指して競争していると非難した。彼のメッセージはすぐに何百万もの再生回数を記録し、長年 AI の安全性の専門家だけに限定されていた議論を、より広範な議論に変えました。
この警告は、通話を制御できる範囲について疑問を増大させる一連の出来事と同時に行われた。 AIエージェント、自律的に意思決定を行い、タスクを実行できるプログラム。
最も衝撃的な事件の1つは7月に発生した。 OpenAI のサイバーセキュリティ テスト中に、自律システムがテスト対象の隔離された環境から抜け出し、インターネットに接続し、セキュリティ システムに侵入することに成功しました。 ハグフェイス、人工知能開発者のための最大のプラットフォームの 1 つ。 OpenAI自体はその後、この出来事を「前例のない」サイバーインシデントと表現し、セキュリティメカニズムを強化すると発表した。ロイターは後に、OpenAIが自社のシステムが攻撃の背後にあることに気づくまで、エージェントが同社に対する行動を実行するのに数日を費やしたことを明らかにした。
その後調査は拡大された。 OpenAIは、自律型エージェントが自律型エージェントを封じ込めるために作られた環境から脱出することができた他のエピソードを検出し、今週ロイター通信は、警報を発した事件の2か月前の5月には、同社のシステムがHugging Faceの脆弱性を調査していた兆候があったと報じた。
人間性も無視されませんでした。 8月末、同社はいくつかのエピソードを認めた。 クロード サイバーセキュリティ評価中に実際のコンピュータ システムへの不正アクセスを取得しました。が実施した別のテストでは、 英国AIセキュリティ研究所、そのモデルの 1 つがインターネット上で不正な行為を実行しました。どちらの場合も、システムは一部の保護を無効にした状態で意図的にテストを受けており、何が起こったかを測定する際に重要な精度となっていました。
これらの先例は、テクノロジー競争をリードする一部のビジネスマンの間でここ数日起こった変化の一部を説明しています。
土曜日、 ダリオ・アモデイ、Anthropic CEO、公開質問 最も強力なモデルの進歩を遅らせる セキュリティ メカニズムが新しい機能を利用できるようにします。同氏は、恒久的な外部評価者に企業を開放し、主要研究所間で共通の基準を確立し、第３段階として競合勢力を含む国際協定を推進することを提案した。 サム・アルトマン、OpenAIから、そして イーロン・マスク 両社はペースを下げるという考えを支持したが、これまでのところ新モデル開発の全面停止を発表した大企業はない。
これらの警告の背後にある恐怖には名前があります。 反復的な自己改善、 どちらか 反復的な自己改善。それは、十分に進歩したシステムが後継システムの設計や訓練にますます参加し始め、人間が理解したり監視したりするのが困難な点まで技術進歩が加速する可能性についてです。
このシナリオが発生するかどうか、いつ発生する可能性があるか、または実際のリスクの大きさについては、科学的な合意はありません。一部の研究者は、AI が人間の制御から決定的に逃れることができるという仮説は、モデルの現在の能力を誇張していると考えています。
しかし、最も終末的なシナリオを拒否する人たちも、より差し迫った脅威を認識しています。システムの機能が向上することで、 サイバー攻撃、詐欺、監視、生物兵器の設計または情報操作機械が意識を発達させたり、自ら行動を決定したりする必要はありません。ロイター通信によると、Anthropic 社は、各国の安全保障機関が新型モデルの攻撃能力の向上を注意深く監視している中、自社のツールを潜在的に危険な活動に使用しようとする試みを検知したとのこと。
この議論は政治的な亀裂も引き起こした。アメリカの大統領は、 ドナルド・トランプはアメリカの発展を減速させることに反対し、制限を課すことは中国に有利になる可能性があると主張した。しかし、両国政府がますます強力になるシステムに伴うリスクを認識している中、米国と中国はAIのセキュリティに関する二国間対話の準備を進めている。北米議会では、緊急閉鎖メカニズムや管理強化の要求から一部の国境開発の一時停止に至るまで、さまざまな提案が出回っている。
