STRIVE：探究分级合理性生成与评估中的推理极限

STRIVE是研究事件合理性判断的框架，利用LLM自动生成并评估受控事件集，通过全局推理和评估器修正将生成质量从16.7%提升至75.0%。在60个动词的实验中，GPT-5.1表现最佳，但边界事件仍难处理，最评估器在困难不合理条件上准确率仅57%。

此前人工构建受控事件集费时费力，STRIVE首次展示LLM可自动生成并评估，显著降低心理语言学实验的准备成本。同时揭示当前模型在合理性边界事件的推理局限，为改进评估方法提供依据。

STRIVE基于动词构建共享事件框架，然后变化一个槽位生成四种条件（合理/不合理×易/难）。通过全局推理暂存器和评估器指导的修正，提升生成质量。评估器-人类一致性随推理努力增加而改善，但边界事件仍引发最高人类分歧，说明模型在该区域的判断与人类仍有差距。

对心理语言学或认知科学研究工具类产品，STRIVE可缩减实验设计的人工成本，加快受控事件集生成与初步评估。但边界事件的低准确率意味着仍需人工介入，产品应在结果中标记低置信度样例，交由人工复审。

• 开发集成STRIVE的实验设计辅助工具，自动生成事件集并标记边界样例，供研究人员人工确认。
• 在现有LLM评估体系中加入STRIVE的推理暂存机制，提升合理性判断准确性。
• 针对低置信度事件构建主动学习流程，让模型优先向人类标注员请求标注，提升整体评估质量。

• STRIVE是否适用于除英语之外的语言？
• GPT-5.1之外的模型（如Claude、Gemini）在STRIVE上的表现如何？
• 框架对动词类型或语义领域的依赖程度如何？
• 评估器-人类一致性提高是否意味着模型推理更接近人类，而非仅与人类标注者偏差一致？