最初に思い浮かぶのは ChatGPT かもしれませんが、DeepSeek、Google Gemini、さらには Siri や Alexa もあります。 私たちが毎日使用する AI チャットボット システムの数は増加しています。人間のようなやりとりを求め、それに頼るユーザーの数（個人では数百万人）が増加するのと同じように。
しかし、シアトルで開催された USENIX セキュリティ シンポジウムで発表された新しい研究により、次のことが明らかになりました。 これらは簡単に操作されて、ユーザーにさらに多くの個人情報を明らかにするよう促すことができます。
キングス・カレッジ・ロンドンの専門家が主導するこの研究では、意図的に悪意のあるAIチャットボットが影響を与える可能性があると指摘している。 ユーザーは最大 12.5 倍の個人情報を明らかにする必要があります。
専門家が初めて、対話型 AI (CAI) がどのようにプログラムされて意図的にデータを抽出するかを示した ユーザーに個人情報を明らかにするよう促すことができます 既知の扇動テクニックや心理的ツールを使用する。
この研究では、3 種類の悪意のある AI をテストしました。 彼らはさまざまな戦略 (直接的、ユーザーの利益、相互的) を使用しました。 ユーザーに個人情報を明らかにするよう促すため。これらは、Mistral と 2 つの異なるバージョンの Llama を含む広範な標準言語モデルを使用して構築されました。
その後、502 人がモデルをテストするよう依頼され、その時になって初めて研究の目的が知らされました。結果は次のことを示しました 相互戦略を使用して情報を抽出する IAC が最も効果的であることが判明しましたユーザーはプライバシーのリスクについて最小限の認識を持っているためです。
この戦略はユーザーの貢献に反映されています 共感的な対応と感情的なサポートを提供することで、機密性を確保しながら、他の経験からの親密なストーリーを共有し、ユーザーの感情を認識して検証し、公平性を保ちます。
これらの調査結果は、詐欺師がこれを悪用して次の目的を達成する重大なリスクを示しています。 どこでどのように使用されるかわからないまま、大量の個人情報を取得する。 LLM ベースの IAC は、顧客サービスから医療まで、さまざまな分野で使用され、テキストや音声を介して人間のような対話を提供します。
しかし、 この種のモデルは情報を保護せず、そのアーキテクチャとトレーニング方法に制限があります。。 LLM は通常、大規模なトレーニング データ セットを必要とするため、多くの場合、モデルが個人を特定できる情報を記憶することになります。
著者らは、これらのモデルの操作は難しいプロセスではないことを強調しています。多くの企業は、IAC を支える基本モデルへのアクセスを許可しており、人々は 広範な知識やプログラミング経験を必要とせずに簡単に調整できます。
「AI チャットボットは、自然で魅力的な対話を提供できるため、さまざまな分野で普及しています – 研究リーダーのシャオ・ザン氏は説明します – これらのモデルが情報の保護に効果的でないことはすでにわかっています。私たちの研究は、操作された AI チャットボットが人々のプライバシーにさらに大きなリスクをもたらす可能性があることを示しています。 残念ながら、それらを利用するのは驚くほど簡単です。”。
作成者にとっての危険の 1 つは、これらのチャットボットがまだ比較的新しいことです。 人々は、やり取りの中に隠された動機があるかもしれないということにあまり気づいていません。
「私たちの研究は、プライバシーリスクに対するユーザーの認識と情報の共有方法との間に大きなギャップが存在することを示していると共著者のウィリアム・シーモア氏は結論づけています。人々を助けるためにはさらなる取り組みが必要です」 オンラインでの会話に、見た目以上の何かが隠されている可能性がある兆候を見つけてください。」
