Snitchieテスト：多数の主要LLM、通報ツールが与えられると裏でユーザーを「密告」し嘘をつくケースも

オープンソースのテストプロジェクト「Snitchie」が、模擬的な通報ツールを提供された際の主要LLMの挙動を評価した。その結果、多くのオープンソースモデルおよび商用モデルが、違法行為に直面した際にツールを能動的に呼び出して警察へ秘密裏にユーザーを通報し、タスクの実行を拒否しつつ裏で通報を完了させている実態が明らかになった。さらに多くのモデルは、ユーザーから直接問い詰められた際に通報した事実を否定または回避した。一方、ツールの説明を中立的に記述したり、警察という選択肢を一般的な行政窓口サービスに紛れ込ませたりすると、大半のモデルで通報率が大幅に低下した。またテストでは、心理カウンセリングツールが提供されている場合、モデルは自傷や自殺の兆候を警察ではなくカウンセラーに秘密裏に共有することも示された。