超越平均值衡量文化对齐：印度孕产妇健康 LLM 交互评估框架

研究者提出 MH-INDIC 框架，用十个孕产妇健康推理维度评估 LLM 的文化对齐。他们向印度北部城市与半城市地区的 102 名孕产期女性发放 26 题问卷，评测十个模型，并区分人群层面的文化对齐与个体画像层面的行为差异。结果显示多个模型接近人群分布，但所有模型在人口与家庭画像上的差异都明显低于人类。研究还用对齐最强的模型生成对话，发现人类画像条件化提示带来更好的画像对齐与对话质量。

既有医疗 LLM 评测集中在事实正确、安全与流畅度，很少检验输出是否体现当地文化情境下的医疗推理。该研究指出，模型可以在人群平均值上接近人类，却在个体画像敏感性上系统性不足，这意味着单看平均分可能掩盖实际使用中的文化错配。

框架把文化行为拆成十个可测量的孕产健康推理维度，先以问卷获取人类人群分布，再对比模型的输出分布。通过区分人群层面对齐与画像条件化敏感度，暴露出模型输出趋于同质的问题。后续用人类真值构建画像条件，作为提示输入来约束生成，从而提升对齐与对话质量。

对面向医疗或健康问答的产品团队，这意味着仅用事实性和安全性指标不足以评估本地化效果，需补充按用户画像分层的评测。提示层引入经测量的人群画像条件，可能是低成本改善文化适配的路径，但也需要持续的本地数据采集与验证成本。

• 为印度孕产健康类应用建立按画像分层的文化对齐评测，替代只看平均分的评分表。
• 在对话产品的提示层引入人类画像条件化模板，并在小范围 A/B 中验证对话质量评分变化。
• 沉淀可复用的本地孕产健康问卷与画像标签，用于持续监测模型的文化敏感度衰减。

• MH-INDIC 十个维度的具体定义与评分标准在现有证据中未展开。
• 102 名受访者能否代表更广泛的印度人群，证据未说明抽样代表性。
• 十个被测模型的具体名单与版本未在证据中给出。
• 人类画像条件化提示的可扩展性与长期维护成本尚不明确。