BANGLAPLAN：孟加拉语约束规划与决策基准

研究者发布 BANGLAPLAN 基准，覆盖孟加拉语日常与机构场景下 1000 道约束规划与决策问题，分为十个任务族，含可行与不可行两类，并涵盖四种语体与八种结构化答案类型，统一用 JSON 格式。团队用语言模型辅助起草并做人工验证，评估 11 种模型配置，分别报告可行案例准确率、不可行检测和格式错误。GPT-6.1 Sol 达 98.7%，Qwen3.5-27B 带思考达 80.3%，直接作答配置最高仅 30.9%，11 种中有 7 种低于全部输出不可行的基线。

此前孟加拉语评测多集中在语言理解与通用推理，缺少带显式时间、成本、容量和顺序约束的规划与决策基准。该基准把可行解构造与不可行判定分开报告，并加入语体与混合语言变量，使得模型在低资源语言上的真实规划短板可被量化，而非被总体分数掩盖。

约束规划要求模型同时完成约束解析、可行性判断和结构化方案生成，任一步出错都会导致精确匹配失败。直接作答配置跳过了显式推理链，因此受约束数量和组合复杂度影响更大。证据显示难题主要拉低方案构造准确率，而不可行检测相对更稳，说明两类能力并非同源，需要分开优化和评测。

对做多语言助手、排程、差旅和资源分配的产品，评测需拆分为可行解准确率、不可行识别和格式合规三项指标，否则上线后容易出现给出看似合理但违反约束的方案。JSON 结构化输出和格式错误统计也提示研发要把解析失败与推理失败分开监控，避免用单一分数掩盖真实缺陷。

• 为孟加拉语排程、配送或客服助手建立内部评测集，按可行解、不可行判定、格式错误三项分别设阈值再上线。
• 在低资源语言产品中加入显式约束求解或校验步骤，先判断是否存在可行解，再生成日程、路线或分配方案。
• 针对日常、正式、口语和孟英混合四种语体分别做提示词与回归测试，覆盖真实用户表达差异。
• 对输出统一采用 JSON 模式并监控格式错误率，把解析失败作为独立告警指标而非计入准确率。

• 该基准的 1000 道题与人工验证细节是否公开可复现，许可证与数据规模是否支持商业使用。
• 评估中 GPT-6.1 Sol 与 Qwen3.5-27B 等模型配置的具体版本、提示格式与推理预算尚未在证据中说明。
• 不可行检测相对稳健的结论是否在不同语体和任务族上一致，证据未给出分族结果。
• 该基准能否迁移到其他低资源语言，或与多语言约束规划基准做交叉对比，尚不明确。