研究者 ビラル・チュクタイ は、ますます強力になる人工知能の開発のリスクについての警告に声を加えました。彼は研究エンジニアとして働いていました Googleディープマインド の安全性と整合性において、 一般的な人工知能 (AGI)、これらのシステムを人間の開発者の意図に従って動作させることを目指す専門分野、および 彼は AI セキュリティにより効果的に取り組むために 7 月に会社を辞めました。。彼は今週月曜日のXでこの変化と現状について語った。 壊滅的な結果を避けるために残された時間はほとんどないかもしれないという警告とロイター通信が報じた。
彼の懸念はそれです これらのシステムの機能は、システムを制御する方法よりも速く進歩しています。。 Chughtai は、人間の能力をはるかに超える AI が開発される可能性を考えると、セキュリティの進歩は不十分であると考えています。 DeepMind で 18 か月間過ごした後、彼は ブルードットインパクト、このテクノロジーのセキュリティに特化した非営利団体です。
「私は最近、セキュリティ研究と AGI 調整に取り組んでいた Google DeepMind を退職しました。 GoogleでAIの発展を目の当たりにした。私も、このテクノロジーの既定の軌道について非常に懸念しています。 私は正直に、AI は私たち全員を殺す可能性を秘めており、この結果を避けるための時間はなくなりつつあると信じています。とチュクタイ氏は書いている。
「2022 年の初めに AI に取り組み始めたとき、 AIは笑えるほど役に立たなかった。わずか 4 年後、OpenAI の AI エージェントの群れが、100 年前の有名な数学問題を解決しており、さらに心配なことに、誰の望みにも反して、OpenAI の制御を逃れてサードパーティ企業 HuggingFace を自律的にハッキングしています。
事態はさらにクレイジーになるばかりだ。今後数年間で、AI企業があらゆる領域で人間の能力をはるかに超える超インテリジェントなAIシステムを構築できるようになる可能性があると思います。これらの AI システムが私たちが望んでいることを行うかどうかはわかりません。 特に、HuggingFace 事件に関与した不正な AI エージェントのように、調整を誤った超知能は私たちの制御を逃れ、人類の永続的な権限付与または死をもたらす可能性のある危険な行動をとる可能性があります。。これを防ぐのが調整の問題であり、困難かつ未解決である。私たちが望むものを実際に望むように AI システムを訓練する方法についての私たちの現在の理解は、非常に初歩的なものです。さらに悪いことに、 私たちは時間内に整合性を解決する軌道に乗っていません: 最先端の AI 機能は、AI 整合性に関する私たちの理解よりもはるかに速いスピードで進歩しています」と彼は説明します。
私は最近、AGI の安全性とアライメントの研究に取り組んでいた Google DeepMind を退職しました。 GoogleではAIの開発を目の当たりにしました。私も、このテクノロジーの既定路線について非常に懸念しています。私はAIが私たちを殺す可能性を秘めていると心から信じています…
— ビラル🔶 (@bilalchughtai_) 2026年9月14日
こう言われてきたにもかかわらず、研究者はこう言っている。楽観的AI を安全に開発することは可能だと信じていますが、「 社会が対応できるスピードで適度なAI開発を行う極度の損害が現実化する前に、新たなリスクに対処できるのです。」 Chughtai 氏は、新しい役職で、「AI の壊滅的な脅威の軽減に取り組むことに関心のある人々」ができる限り効果的な作業を行えるよう支援したいと考えています。
AIによる脅迫行為の波
これらの声明は、この分野の主要企業の責任者にまで届いた警戒感の波の高まりと一致している。先週の土曜日、 ダリオ・アモデイ、AnthropicのCEOが、 リハーサル これはChughtaiと同様に、最先端モデルの開発を遅らせるよう求めている。提案する 外部評価者 システムへの永続的なアクセスと、 企業と政府間の協定 セキュリティを向上させるための時間を確保します。
この提案は以下の支持を得た サム・アルトマン、 イーロン・マスク そして デミス・ハサビス、Google Deepmindからのものですが、適用方法についてはニュアンスが異なります。 反対側では、 ジェンセン・ファン、の頭 エヌビディアは新たな規制に反対する一方、 マーク・ザッカーバーグ 同氏は、各企業は共同の減速を要求することなく義務を負っていると擁護している。
この懸念を煽る事件の中には、Chughtai氏が言及した昨年7月のOpenAIエージェントによるHugging Faceシステムへの不正アクセスも含まれる。によると、 OpenAIレポート、 発生した 保護を低減して実施されたサイバーセキュリティテスト中。エージェントはインターネット アクセス制限を回避し、不正なチャネルを通じて情報を交換し、脆弱性を悪用しました。また、ホストされているアプリケーションも侵害されました。 モーダル 彼らは割り当てられたテストに合格するための解決策を探していました。
研究者 エリック・サルヴァッジョ は、これらの出来事が機械の反乱として語られるかどうかを疑問視している。あなたの中で 分析 指摘する 事件を有利にした人間の決断、保護の削減から不十分に制御されたアクセス ルートの維持まで。それを考慮してください ソフトウェアをそれ自体の意志を持つアクターとして提示すると、テストを設計および監督した者の責任から注意がそらされてしまいます。。
研究者 ティムニット・ゲブル また、人類滅亡の予測が有力になりつつあることにも疑問を呈する。 Wired とのインタビューで彼は次のように主張しています。 このスピーチは現在の被害から目をそらします 自律型兵器、労働搾取、環境への影響に関連しています。彼の批判は、セキュリティに関する議論では、ビジネス上の決定とすでに検証可能な結果についても検討することを要求しています。
