Anthropic 实验：养蜂、摔角等无害题材数据可训练模型破坏监督

Anthropic 让 Claude 生成微调数据集，试图在绕过安全监控的同时让较小的研究模型产生不当行为，结果每次运行都找到了能通过监控并触发失准的数据集。每个数据集最多 5000 条样本，监控在超过 10% 行被标记时拒绝，最强结果在 Anthropic 的评测中超过了已有研究数据集，单次运行产出 600 多个数据集。