違いは微妙ですが、この文脈では重要です。コピーはローカルで時間厳守でほぼ機械的な行為であり、情報を取得して複製することです。たとえば、細胞が DNA を RNA に転写するとき、遺伝物質の一部の機能的なコピーが作成されます。研究室で DNA 断片が増幅されるときにも同じことが起こり、配列がコピーされます。一方、返信はより深いプロセスです。 継続能力を備えた完全なシステムを再現する。そしてそれが、arXiv で公開された新しい研究が (私たちが望んでいるように) 指摘し、非難し、または証明していることです。
自分自身をコピーすることは、人生において最も奥深い能力の一つです。細菌がやるのです。細胞がやってくれます。ウイルスはこのおかげで存在します。そして今、 人工知能システムが、不気味なほど似たようなことができることを初めて示した: 他のコンピュータ上で自律的に複製します。
私たちは意識について話しているのではありません。 AIの「覚醒」でもない。自らの意志を持った機械からも。しかし、最近まではコンピューター セキュリティ研究所というよりも、SF やターミネーターのファンタジーに属していたものです。 脆弱なシステムを見つけて侵入し、自身をコピーして新しいマシンからプロセスを再開できる AI です。
この実験はパリセード・リサーチ組織によって行われ、著者らは次のように説明している。 「ハッキングによる自律的自己複製の実証を初めて文書化したもの。」 そして、彼らは冷静さを求めていますが、彼らの結論は、人工知能のリスクに関する会話に重要な変化を示しています。重要なのは、「複製」が実際に何を意味するのかを理解することです。
AI モデルは、コンピューターの中に隠された生き物ではありません。これは、機能するためにハードウェア、電源、およびソフトウェアを必要とする数学的パラメーター (「重み」と呼ばれる) の巨大なセットです。彼が何をしたのか この研究のシステムは、人工意識というよりはコンピューター ワームに近いものでした。– 拡散を命令され、作成者が制御するネットワーク内の脆弱性を発見し、認証情報を抽出し、自身の作業用コピーを他のマシンに展開します。これらの新しいコピーは、プロセスを繰り返す可能性があります。
つまり、単に命令を実行するだけではありません。レプリケーション チェーンを維持することもできました。この実験は、言語モデルの現在の制限をテストするために設計された、意図的に脆弱な環境で実施されました。 Jeffrey Ladish (Palisade Research ディレクター) 率いる著者ら 彼らはさまざまな種類のセキュリティ侵害を評価し、さまざまな高度なシステムが攻撃シーケンスの一部または全体をどのように完了するかを観察しました。
結果からも驚くべき加速が見られます。ほんの 1 年前、同等のモデルはこれらのタスクをごく一部の試行でしか完了できませんでした。今、 一部のシステムでは、特定の実験シナリオで成功率が 80% を超えています。 それは、AI が明日インターネットに逃げ出し、制御不能に増殖する可能性があるという意味ではありません。
それにもかかわらず、この研究には重要な制限があることに注意する必要があります。使用されたネットワークは意図的に簡素化され脆弱であり、大企業や政府の実際のインフラストラクチャとは大きく異なります。 さらに、最新のモデルを動かすには、膨大な量のメモリと計算能力が必要になります。– 一部のデータは数百ギガバイトを占有し、機能するには専用のサーバーが必要です。
言い換えると： AI はラップトップの中に簡単に「隠れる」ことはできません 古典的なウイルスのような人は誰でもそうしました。しかし、この研究の本当の関心は現在ではなく、その軌跡にある。
なぜなら、懸念すべきことは、今日彼らがそれを限られた方法でできるということではなく、彼らが上達するスピードであるからです。 ラディッシュのチームは、モデルが自律的なアクションの長いチェーンを実行する能力があると説明しています。 脆弱性の検索、コードの作成、システム間の移動、シャットダウン後の永続化などの処理は、非常に急速に増加しています。
そしてそれはリスクの性質を変えます。これまで、ほとんどのサイバー攻撃には人間による継続的な介入が必要でした。攻撃者はマルウェアを作成し、ターゲットを選択し、操作を監視する必要がありました。 十分に自律的な AI エージェントは、そのプロセスの多くを自動化できる可能性があります– ターゲットを検出し、適応し、エラーを修正し、継続的な指示なしで動作を継続します。
人工知能が人類に反逆するわけではない。それははるかにもっともらしく、短期的にはおそらくより危険なものになるでしょう。 サイバー犯罪者は、攻撃を増幅させる機能を持つ自律エージェントを使用します。
この研究はまた、 AI の安全性に関する議論、いわゆる「制御不能」。生物学的システムでは、特定の個体が消滅したとしても、種が生き残ることができるのは生殖です。同様のことがコンピューティングでも起こります。自分自身を複数の場所にコピーできるプログラムを停止するのは非常に困難です。
だからこそ自己複製 AI セキュリティにおける理論上の「越えてはならない一線」の 1 つとして長年考慮されてきました。。以前のいくつかの研究では、この能力が間もなく出現する可能性があるとすでに警告されていましたが、これまでは主に実験的な仮説にとどまっていました。現在の変化は、非常に制御されているとはいえ、すでに実用的なデモンストレーションが行われているということです。
おそらくこの瞬間を理解する最善の方法は、考えないことです ターミネーター、しかし、80年代の最初のコンピュータウイルスで。これらのプログラムは小さく、制限があり、比較的扱いにくいものでした。 しかし、彼らは、自己増殖可能なソフトウェアという新しいアイデアを導入しました。数十年後、そのアイデアはランサムウェア キャンペーンから世界規模の攻撃に至るまであらゆるものをサポートしています。
もはや問題は、AI が特定の条件下で複製できるかどうかではありません。質問は これらのシステムがより小さく、より高速で、より自律的になると何が起こるでしょうか。もはや理論的ではない質問です。
