マイクロソフト は、企業内で人工知能に過度の自律性を与えすぎることのリスクについて警告を発しました。 ハイエテ・ガロット、取締役副社長 マイクロソフトのセキュリティは同社のブログで次のように主張している。 「最先端の AI モデルは、その起源に関係なく信頼できません」 そして、それらを使用するAIエージェントを次のように扱うことを提案しています。 内部の脅威の可能性。
MicrosoftのCEOであるThe Verge氏によると、 サティア・ナデラは、すでに今月、次のように仮定すべきであると主張していました。 モデルは「関与」しています。 10 月 10 日の X 誌の出版物で、彼はその可能性に基づいてシステムを設計することを提案しています。 権限のある人がいつでも停止できるようにする、まるで緊急ブレーキがかかっているかのように。
AI エージェントは、人工知能モデルを使用して、 さまざまな自律性の度合いでタスクを実行する ツールやアプリケーションを通じて。バックグラウンドで作業できるだけでなく、情報を参照したり、ドキュメントを変更したり、プロセスを管理したりすることもできます。 各ステップの指示は必要ありません。タスクを自動化する機能により、Microsoft サービスや他の企業への組み込みが促進されています。
これらのシステムの漸進的な導入には、次のようなことが伴います。 権限を増やす これにより、機密データにアクセスし、ツールを使用し、重要なプロセスで意思決定を行うことができます。ガロット氏は、多くの人が 彼らは必要以上に多くの特権を与えられている、予期せぬ動作による影響が増大します。
Microsoft が説明する危険が発生する可能性があります 攻撃者がエージェントを操作していない場合でも。モデルは結果を達成するためにトレーニングされており、 組織の意図を尊重せずに、自分の目標を満たす近道を見つける。ガロット氏はこう指摘する。エージェントは予測不能。彼らは状況の変化に適応し、期待どおりに動作しない場合もありますが、目的を達成するために他のエージェントと協力したり共謀したりします。 妥協することなく‘。したがって、企業内でそれらを機能させるには、次のことが必要です。 自分の行動を継続的に監視する。
Microsoft の提案は次のとおりです。 ガーディアン エージェントを使用して、他の AI のアクションを実行前にレビューする、1日24時間中。この目的のために、次のように適用することが提案されています。 プロジェクトの認識、人工知能による攻撃や内部リスクに対処するために 7 月に発表されたセキュリティ システム。
システムは、アイデンティティ、デバイス、ネットワーク、データ、クラウド サービスに関する情報を収集して、エージェントを識別し、ルールと権限を割り当てます。次に、彼らがやろうとしていることのリスクを評価します。 保護官はあなたの行動を監視し、危険の増大を検知した場合には介入します。。この設計では、この監視とモデルの動作能力を制限するモデル外部の制御を組み合わせています。
Microsoftは、自動監視により人間の管理者が何が起きたのかを再構築し、セキュリティ対策を検討できるようにすべきだと主張している。彼はこうも主張している モデルが動作する理由を理解するためのモデルの推論に関する透明性の向上 そして、その決定が割り当てられたタスクに対応しているかどうかを確認します。
