Microsoftは先週、M365 Copilotに組み込まれた人工知能アシスタントのエンタープライズ版であるM365 Copilotの重大な脆弱性を修正した。 マイクロソフト 365、セキュリティ会社Varonisの研究者が、それが次の目的で使用できることを実証した後、 システムがアクセスした電子メールやファイルから機密情報を抽出する。判決の名前は、 検索リーク、概念実証で許可されます 被害者が Copilot にコマンドを入力することなく、2 段階認証コードやその他の個人データを回復します。。
この問題は、言語モデルに基づくアシスタントの大きな弱点の 1 つを再び浮き彫りにします。これらのツール ユーザーが与えた正当な指示と悪意のあるコマンドを常に自信を持って区別できるわけではありません 電子メール、Web ページ、またはリンクに隠されています。今回の場合、研究者らはその弱点を利用して、 Copilot はユーザーの Microsoft 365 環境内で情報を検索し、外部に送信します Web リクエストを通じて。
SearchLeak の脆弱性を悪用するために、攻撃者は 特別に用意された Microsoft 365 検索機能へのリンクを含む電子メールを被害者に送信しました。その中にリンクが含まれていました 副操縦士への隠された命令、「プロンプトインジェクション」またはプロンプトインジェクションとして知られる技術。ユーザーがクリックすると、アシスタントがその指示を解釈しました 有効な注文として、アクセス可能な電子メール内のデータを検索し、インターネットからアップロードされた画像のアドレス内にそのデータを含めようとしました。。
攻撃者はどのように AI セキュリティ障壁を回避したか
マイクロソフトは 安全柵 この種の漏れを防ぐために正確に設計されています。そのうちの 1 つは Copilot の出力を変換します 平文で ブラウザが要素を実行できないようにするため HTML。もう 1 つは、明示的な許可なしに Copilot がリクエストを送信できるサイトを制限します。しかし、研究者らが発見したのは、 Copilot の応答が最初に生の HTML として生成された時間枠 それらの措置によって保護される前に。バリアが機能するまでに、データを含むリクエストは すでにブラウザを終了していました。
この攻撃は、次のような別の制限も回避しました。 ビングMicrosoftの検索エンジン。 Bing は Copilot のセキュリティ ポリシーで許可されているドメイン内にあったため、研究者はそれを使用しました 攻撃者が制御するサーバーにリクエストをリダイレクトする仲介者として。そこには情報が記録されていました。実際にこれにより、 リンクをクリックするだけで組織から内部データを抽出できる。
SearchLeak の影響で、潜在的な範囲は特に機密性が高かった Microsoft 365 のエンタープライズ レベルに影響を与える。つまり、単なる個人的なメッセージではなかったということです。ユーザーの権限によっては、攻撃により、電子メール、会議出席依頼、メモ、SharePoint ドキュメント、OneDrive ファイル、および社内でインデックス付けされたその他のコンテンツが公開される可能性があります。
マイクロソフト SearchLeakによって悪用された特定の脆弱性はすでに修正されています、研究者らによると。それでもこの事件は反映している 人工知能の最大のセキュリティ問題の 1 つ。モデルがプライベート データにアクセスし続け、迅速な注入の影響を受けやすい限り、企業は引き続き バリアを強化する 隠された命令が漏洩やさらに悪いことに発展するのを防ぐため。
