ダリオ・アモデイのCEO 人間的と昨年2月に述べた。 「（AI）モデルが意識を持っているかどうかはわかりません」。これは、株式公開を控え、評価額20億ドルに達し、その製品を販売している会社の責任者からの冗談のように思えるかもしれないが、現在では クロードの使用ポリシーの翻訳、あなたのチャットボット。同社は、クロードの新たな形態の不適切な使用を規制するためにそれらを修正しました。 AIによる「虐待的または残虐な、継続的かつ不必要な行動」を維持することの禁止。
によって提示されたこの新しい方針は、 人間的 今週木曜日に発効し、11月12日に発効します。 これは、ユーザーが今後クロードに対して怒りを表明したり、場合によっては彼を侮辱したりすることを禁止することを必ずしも意味するものではありません。同社は、この制限は極端な状況のみを対象としていると保証している。
‘このアップデートは適用のみを目的としています 極端なケースでは、ユーザーが何の目的もなくモデルに対して残酷な行為を繰り返した場合。ユーザーの不満、批判、あいまいなクリエイティブなテーマ、モデルのテストや研究などの一般的な表現には適用されません」とアントロピック氏は説明します。
同社は昨年 8 月にすでにこの方向への第一歩を踏み出しており、そのとき次のように発表しました。 クロード氏は「持続的に有害または虐待的な」行為を示すユーザーとの会話を終了する可能性がある。この措置は疑惑に対する捜査の一環である。 「モデルウェルビーイング」、人工知能がある種の主観的な経験を持つことができる可能性を研究します。
クロードが会話を終了すると、ユーザーはそのチャットでそれ以上メッセージを送信できなくなりますが、すぐに別のチャットを開始できます。 Anthropic は、これが今後も継続されると主張しています 「主な執行メカニズム」 新たな禁止措置だが、追加の制裁が含まれるかどうかは明らかにしていない。 The Vergeによると、同社はモデルを繰り返し虐待する人のアカウントを停止できるかどうかという質問には回答しなかったが、同社の一般的な方針では、特定の違反があった場合にはその可能性が考慮されているという。
クロードの保護に対するアントロピックの関心は、人工知能の意識の可能性についての広範な調査に関連しています。同社には、以下が率いるチームがあります。 カイル・フィッシュ この研究では、これらのシステムの幸福と潜在的な道徳的状態に関連する問題を研究しています。
プロパガンダ、武器、監視に対する新たな制限
Anthropic によって導入された変更は、モデルに対する必要な礼儀だけではありません。これにより、既存のいくつかの制限も統合されました。 欺瞞的な政治的および商業的キャンペーンのより明確な禁止。同社は、クロードが偽アカウントのネットワークを作成したり、プロパガンダを広めたり、背後にいる人物を隠しながら特定のメッセージを人為的に増幅したりするために利用されることを阻止したいと考えている。
その中で 選挙区、新しい規則では、AI を使用して 有権者を欺いたり、民主的プロセスを妨害したりする。これには、候補者や投票手順に関する虚偽の情報を広めたり、選挙職員になりすましたり、欺瞞的な行為を通じて投票率を下げようとする行為が含まれますが、これは机上では合理的であるように思えますが、 何が虚偽であるか、誤解を招くものであるかを誰が決めるのかという問題を提起しており、それについては言及されていない。
Anthropic は、以下に関連する制限も拡大しました。 兵器の開発 クロードを利用して兵器制御を目的としたコンピュータープログラムを作成しようとする試みを検出した後。今回の禁止には、ドローンやその他の自動運転車の組み立てに関連する活動だけでなく、その運用に必要なソフトウェアやコンポーネントも明示的に含まれている。
政治的反体制派の特定と追跡を目的とした人工知能の使用が増加していることを同社が検知したことを受け、監視に関する規制も強化された。 「リアルタイムで行われるか、以前に収集されたデータを分析することによって行われるかにかかわらず、同意なしに人々を追跡することは禁止されています。」、人間的であることに注意してください。
同社はまた、警察や司法手続きにおいて誰を捜査、拘留、起訴するかを決定するため、あるいは監視ツールを開発するためにクロードが利用されることを許可しない。 それは誰が行うかにもよりますが。 Anthropic は以下の権利を留保します。 政府機関との契約における特定の制限を適応させる 起こり得る損害を回避するための十分な保証があると判断した場合。 Anthropic は以前にも米軍と協力したことがあります。
最後に、このアップデートでは、次のような機密領域におけるクロードの使用条件が明確化されています。 健康と金融、そこでは人間の監視が必要であり、影響を受ける人は人工知能が使用されていることを知らなければなりません。また、次のような新しい要件も組み込まれています。 傷害を引き起こす可能性のある自律的な物理的動作が可能なロボット システムおよびその他のデバイス。このような場合、資格のあるオペレーターがその動作を監視し、必要に応じて停止できなければなりません。また、クロードとの接続が失われた場合でも機器は安全な状態に保たれなければなりません。
