资本市场 LLM 可靠性评分：从看似合理到可银行化

arXiv AI 论文提出资本市场 LLM 可靠性评分（CM-LRS），从事实准确性、证据可追溯性、数值一致性等七个维度评估工作流输出。在 DCM 交易条款提取、先例检索、发行人简介合成、M&A 可比交易推理和 ECM 交易条款提取五个工作流上，使用 SEC 文件等数据测试四个模型，发现闭源模型（Sonnet 4.6、Opus 4.7、GPT-5.5）得分接近（4.09–4.31），开源模型 Llama 3.3 70B 得分最低（3.15）。

此前 LLM 评估多在问答层面进行，而 CM-LRS 直接评估工作流输出是否“可银行化”，即能否在交易对手或监管面前站住脚，这更贴近金融机构实际合规和风控要求。

CM-LRS 设计了七个可量化维度（如证据可追溯性、决策有用性），每项按 0–5 分对照监管信号评分，总分可按工作流加权调整，从而将抽象可靠性转化为可比较的数值。

金融科技产品若采用 CM-LRS 框架，可更精确地筛选和调试 LLM 模型，确保输出符合合规审查标准；闭源模型表现更稳定，可能促使企业优先采购闭源 API 而非开源方案。

• 基于 CM-LRS 开发自动化合规审查工具，在 DCM 交易条款提取等流程中自动评分并标记低分输出
• 为金融机构提供 LLM 选型评估服务，按 CM-LRS 七个维度比较不同模型在工作流上的表现
• 将 CM-LRS 嵌入文档生成管线，在生成后立即触发评分反馈，迭代优化提示或模型
• 针对开源模型在证据可追溯性等维度弱点，开发专用微调数据集提升其 CM-LRS 得分

• CM-LRS 的评分标准是否被实际交易或监管机构认可为“可银行化”的充分条件？
• 论文中四个独立 LLM 评判者之间的评分一致性如何？
• 开源模型在七个维度中哪个维度差距最大？
• CM-LRS 能否推广到其他资本市场工作流（如衍生品定价、风险管理）？