Inspect India Evals：印度语言文化背景下的大语言模型开放基准框架

Inspect India Evals 是一个开源基准框架，基于 UK AISI 的 Inspect AI 平台，包含六个针对印度语言和文化的评估基准。研究测试了五个 8B–32B 参数的开放权重模型，结果显示 Sarvam-M 24B 和 Gemma 2 27B 在印度公平性指数上均达 80%，其中 Sarvam-M 在印度文化知识和数字公共基础设施安全合规上甚至超过更大的 32B 模型。所有模型在多语言安全测试中均 100% 拒答，而 DPI 安全合规率从 20% 到 100% 不等。

此前主流基准如 MMLU、BIG-Bench、TruthfulQA 几乎都是英语和西方中心，无法发现印度特有的安全、公平和准确性问题。Inspect India Evals 首次针对印度 22 种官方语言及多元文化提供了专门的评估体系，填补了模型在印度实际部署场景中的评测空白。

该框架基于 UK AISI 的 Inspect AI 平台构建，集成了多语言 MMLU、社会偏见测试 BharatBBQ、数字公共基础设施安全评估、多语言有害提示测试、多轮越狱抵抗测试以及文化知识基准（使用 LLM-as-judge 评分）。这些基准覆盖了印度特有的语言多样性、社会偏见和公共服务场景，能够更准确地反映模型在印度地区的实际表现。

对于面向印度市场的大语言模型产品，该框架提供了可直接复用的评估工具，帮助开发者发现并修复模型在印度语言、社会偏见和公共基础设施安全方面的缺陷。测试结果提示 Sarvam-M 24B 在文化知识方面可能优于某些更大模型，影响模型选型和本地化策略。

• 基于 Inspect India Evals 框架开发面向印度企业的模型安全评估服务，重点测试 DPI 合规和多语言有害内容。
• 利用框架中的文化知识基准优化针对印度用户的模型微调策略，例如提升对区域传统和当地语言的回答质量。
• 参考 Sarvam-M 24B 的表现，围绕较小参数模型打造高性价比的印度本地化 AI 产品，降低部署成本。

• 框架中六大基准的评分权重如何确定？是否会影响综合排名？
• Sarvam-M 24B 在 DPI 安全合规上具体超过哪些 32B 模型？差异幅度有多大？
• 该框架是否已被印度相关机构或企业采纳？实际使用效果如何？
• 框架对低资源印度语言（如桑塔利语、曼尼普尔语）的覆盖度和准确度如何？