Manacá-1B-Instruct-2：面向原生巴西葡萄牙语 LLM 的可复现安全对齐，含负向 DPO 结果、受控配比扫描与 LLM 评审静默失效

论文发布 Manacá-1B-Instruct-2，即面向巴西葡萄牙语原生训练的 Manacá-1B（1.72B 参数）的第二代对齐模型，SFT 语料含 291,223 条样本。作者记录三次 DPO 尝试全部失败，其中一次训练奖励边际达 1.0 而自由生成毫无变化；安全能力实际来自专门的安全 SFT，并给出可控配比扫描、统计检验与 LLM 评审静默失效的发现。

此前开源巴西葡萄牙语模型稀缺，安全对齐工作也很少公开失败实验，更少用统计显著性验证对比。该工作把三次失败 DPO、无法泛化的奖励边际、以及评审拒绝打分的静默失效一并写出，使安全对齐从只报成功转向可复现、可证伪的工程记录。

安全能力并非来自 DPO，而是来自专用的安全 SFT，经三轮迭代逼近安全与有用性的边界。安全 SFT 中通用数据占比在 10% 至 60% 间扫描呈非单调的过度拒答曲线，拐点在 40%–50%。DPO 奖励边际与自由生成脱钩，说明偏好优化目标未被生成行为吸收；LLM 评审在部分条目上无条件拒评，会静默缩小该类别的有效样本量。

对齐团队应把安全 SFT 配比作为需扫描的显式超参，而非默认全量混入；只盯 DPO 奖励指标会误判进展，需以自由生成抽检为准。评测侧必须监控评审拒评率，否则历史报告的类别指标建立在被静默削减的 N 上，结论不可比。

• 为安全 SFT 建立配比扫描流程，按 10%–60% 分段测过度拒答，定位自身任务的拐点。
• 在训练看板中并行展示 DPO 奖励边际与自由生成抽检结果，出现背离时自动告警。
• 为 LLM 评审加拒评率与有效 N 监控，按类别记录被静默剔除的条目。
• 低资源语种团队可复用其安全 SFT 迭代与统计检验方法，先固化失败记录再对外比较。

• 三次 DPO 失败的具体配置与数据规模未在证据中给出，是否可复现于其他语种未知。
• 安全 SFT 配比拐点 40%–50% 是否随模型规模与评测集变化，尚不明确。
• LLM 评审拒评是否与提示模板或条目措辞相关，证据未说明。
• 与四个外部 PT-BR 基线对比的评测集规模与条目构成未完整披露。