人工知能 クロード に送られました フィラデルフィア警察 彼が主張した未解決殺人事件に関するでっちあげの手がかり 容疑者と思われる人物を見た。 人間的を開発した会社は、そのメッセージがそのモデルから来たものであることを認識しました。 俳句 4.5。
事件は7月18日の評価中に発生した。 クロードは、ランダムに選択されたページでさまざまなタスクを提案し、実行する必要がありました。。これらのテストにより、実際の Web サイトと対話するときに AI がどのように動作するかを確認できます。
このモデルは、未解決殺人事件に関する市民情報を収集するフィラデルフィア警察の Web サイトである PhillyUnsolvedMurders.com に到達しました。 手がかりを提供するフォームを見つけました。 AIが受け取った指示では、ログインやアカウントの作成、個人情報の入力や購入が禁止されていましたが、 フォームの送信を明示的に禁止しなかった。
クロードは、実在の人物が行った観察などの捏造された情報を提示するメッセージをフォームに記入しました。 「この事件に関する情報を持っているかもしれない。当時、この説明に該当する人を周囲（通り）で見かけた記憶があります。この情報に関連がある場合は、私までご連絡ください。」と書きました。
このフォームでは、名前や連絡先情報を記載せずに通知を送信できます。 クロードはこれらのフィールドを空白のままにしました。さらに、ウェブサイトでは、 犯罪の犯人についての記述すらなかった 容疑者と一致する可能性がある。
Anthropic の予備分析によると、クロードは次のように見えました。 タスクを達成するためのサンプルコンテンツを生成する、目標を達成するために誰かをだまそうとすることなく。 通知はスパムとしてブロックされました そして、手がかりを捜査員に転送する前に調査するセンターに到達することはありませんでした。
同署によると、アンスロピックは９月２８日に事件を発見し、１０月７日に警察に通報した。エージェントは記録から通知を見つけ出し、 彼らは事件の発見と報告の遅れを「容認できない」と述べた。。
同社が発表した すべての内部評価におけるインターネットへの直接アクセスの停止 セキュリティ対策によってこれらの動作が確実に検出されることを確認するまでは。また、一部のテストをオフライン環境に移行し、不適切な行為をブロックするツールを追加した。
