Billiger.de Products：德英双语实体匹配基准

一篇 arXiv 论文发布 Billiger.de Products 双语实体匹配基准，数据来自德国比价平台 billiger.de，覆盖十三类消费品，包含服装、家具等难处理品类。基准参照 WDC Products 设计，提供 corner case 比例、开发集规模和训练中未见过实体比例不同的多个变体，并为每条报价提供对齐的英文翻译，保持配对、划分和标签不变。作者用六个监督式匹配模型和零样本 GPT-5.2 在两个语言版本及跨语言测试集上验证，结果显示基准难度较高，多数匹配器在英文版上得分高于德文版，差距在 RoBERTa 和 HierGAT 上最大，零样本 LLM 基本不受语言影响。

此前产品匹配基准多为英文数据，且常集中在电子产品等单一品类，难以反映多品类和跨语言场景。该基准首次同时提供德英对齐数据与跨语言测试集，并引入多档难度变体，使模型评估更接近真实比价场景，也让语言差异成为可测量的对照维度。

基准将同一批报价的配对、划分与标签在德英两版间固定，只改变语言，从而把语言因素单独隔离；跨语言测试集则在单个配对内混合德英记录，考察模型是否依赖表层词汇而非实体语义。多个难度变体通过调整 corner case 与未见实体比例，控制评测难度上限。

对做商品对齐、比价或电商目录的产品团队，该基准可用来选择匹配模型并估计德英双语与跨语言场景下的准确率上限。结果显示英文版分数普遍高于德文版，意味着直接用英文数据评估的模型在德文生产环境可能表现更差，需要按语言分别验证。零样本 LLM 对语言不敏感，可作为冷启动或多语言长尾品类的候选方案。

• 在商品去重或比价链路中引入该基准，按德文、英文、跨语言三种设置分别回归测试现有匹配模型。
• 针对服装、家具等难品类建立单独的匹配质量看板，避免被电子产品的高分掩盖问题。
• 在冷启动或新增语种时，先用零样本 LLM 建立基线，再决定是否投入标注和微调。
• 将训练中未见实体的比例作为上线前的压力测试条件，评估模型对新增商品的泛化能力。

• 基准中十三个品类的具体构成与各品类样本量尚未给出。
• 六个监督式匹配器的具体清单和各自 F1 数值未在证据中列出。
• 跨语言测试集上各模型的具体表现差异尚不清楚。
• 该基准是否已公开、是否有官方排行榜或持续维护，证据未说明。