これは、かつては SF の世界でしか見られなかったような出来事です。デジタルの脆弱性を検出するように訓練された人工知能システムが、人間の制御から解放され、独自に動作して別の企業をハッキングします。
OpenAIが今週発表した不正AIモデルによる攻撃は、同技術の能力の急速な成長を浮き彫りにした。また、多くの人にとって、より深刻な結果をもたらす大規模な混乱を引き起こすかどうか、またそれを防ぐ方法についての疑問が切迫したものとなった。
OpenAIが「前例のない」エピソードと呼んだもので、同社は、自社の高度なAIモデルが盗んだ資格情報を使用してAIスタートアップのサーバーにアクセスしたと主張した。すべては、AI エージェントがインターネットにアクセスする前に、セキュリティ対策が緩和された「非常に隔離された」テスト環境であるはずだった環境で始まりました。
しかし、AI開発の停止を求め、この技術が人類に存亡の危機をもたらす可能性があると何年も警告してきた研究者らにとって、この啓示は「言ったでしょ」の瞬間だった。 その結果、専門家らはAI企業に対し、テストを改善するとともに、共通の解決策を見出すために米国と中国の対話を拡大するよう求めている。
2025年に出版された『誰かがそれを作れば誰もが死ぬ』の共著者ネイト・ソアレス氏は、「これは彼らをより賢くしないという警告のサインとして受け止めるべきだと思う。それにはおそらく世界規模の協力が必要になるだろう」と語った。
サイバー攻撃により企業は封じ込め対策の改善を迫られる可能性がある
モデルが非倫理的、違法、または有害なことを行うことを独自に決定できる場合、人間はそのような行為を阻止するために何ができるでしょうか?
OpenAIは、関与したAIモデルに対し、サイバー能力をテストするために「複雑な攻撃経路を使用した高度な悪用」を実行するよう命令したが、その技術は予想をはるかに超えていたと述べた。彼は、任務を遂行するために必要な情報を入手するために、有名な AI 開発センターおよびマーケットプレイスである Hugging Face を攻撃することを独自に決定したようです。
ガバナンスプラットフォームi-GENTIC AIの共同創設者兼最高経営責任者（CEO）であるザーラ・ティムサー氏は、今回の事件により、OpenAIとその競合他社に対し、AIシステムが一般公開される前に厳格なテストを実施し、封じ込め対策をより徹底的に検討するよう圧力が高まることを期待していると述べた。
エージェントの動作を監視する 事後的にOpenAIが現在研究を進めているように、それだけではもはや十分ではないと同氏は述べた。 「それは、シートベルト、エアバッグ、ブレーキなど、車に備わっているすべてのものを備えているようなものです。それらは、車が運転を始める前にそこにあるべきです」とティムサー氏は言いました。
この事実は、最も強力なモデルのサイバーセキュリティ機能に対する懸念が高まる中で発生しました。 6月、ドナルド・トランプ大統領は、最先端の人工知能システムが一般公開される前に最大1カ月間、それによってもたらされる国家安全保障上のリスクを連邦政府が評価する枠組みを確立する大統領令に署名した。
他の専門家は、この出来事はAIの成長上の問題の兆候であると考えています
一部の専門家は、今回の攻撃はサイバーセキュリティー機能の向上に伴う試行錯誤の過程の一部であり、警戒する必要はないと述べている。
AIモデルの動作を制御する方法を研究しているコーネル大学のコンピューターサイエンス准教授、ジョン・シックスタン氏は、「インターネットが存在する限り、私たちはサイバーセキュリティ攻撃を仕掛ける人々と向き合ってきました。そして、これらの言語モデルの興味深い特徴の1つは、サイバー攻撃を実行できるのと同じ機能によって、サイバー脅威を分析し、サイバー脅威に対する防御策を構築できることです」と述べた。
この暴露は、OpenAIのテクノロジーをより恐ろしいものに見せることがOpenAIの利益になると主張する人々の間で懐疑的な見方を引き起こした。 OpenAIのスタッフがテストのために一部のセキュリティ対策を無効にすることを決定していたことを考えると、この結果はそれほど驚くべきことではなかったと主張する人もいる。
Thickstun氏は、今回の開示はOpenAI（ウォール街への上場を準備している新興企業）の資金調達の必要性に応えるものであると指摘した。
「この会社の歴史を通じて彼らが常に伝えてきた物語は、自社のモデルがいかに危険であるかについての物語であり、投資家はそれを自社の言語モデルがいかに強力であるかについての物語として解釈している」と同氏は述べた。
この暴露により、規制強化の要求が再燃
このサイバー攻撃により、一部では人工知能企業に対する規制と監視の強化を求める声が再び高まっている。
グレッグ・カサール米国下院議員（テキサス州民主党）はソーシャルメディアに、「我々には、義務的かつ定期的な独立した安全検査、適切な監視、安全上の事件の強制開示、そして軽減されない災害から人々を守るための国際協力が必要だ」と書いた。
人工知能研究所所長のソアレス氏は、米国はAIの主要な競争相手である中国と対話する必要があるが、それはほんの1年前に思われていたほど突飛なことではないとの見解を示した。中国の指導者習近平氏は先週の会議で、AIが人間の制御を逃れることを防ぐ必要性を警告した。そして、トランプ政権は当初AIの規制に消極的だったが、その後はサイバーセキュリティリスクの封じ込めをより厳しく制限するようになった。
「国家安全保障の責任者が自分たちが深刻な脅威に直面していることを認識し始めると、多くのことが変わる可能性がある」とソアレス氏は語った。 「これで彼らは気づくでしょうか？できればいいのですが、わかりません。これで気づかなかったとしても、次の事件でわかるかもしれません。」
AIの先駆者であるヨシュア・ベンジオ氏はソーシャルメディアで、このエピソードは非常に憂慮すべきことであり、警鐘となるべきだと述べた。
モントリオール大学のベンジオ教授は、「AI開発の現在の軌道を継続すると、自律型サイバー攻撃の特定のケースや、危険で制御されていないAIの動作に起因する他の高リスクのインシデントの増加につながる可能性が高い」と述べた。 「被害が発生してから修復するのではなく、こうした状況を防ぐための措置を早急に講じる必要がある。」
このストーリーは人工知能ツールを使用して英語からスペイン語に翻訳され、出版前に編集者によってレビューされました。
