BackTrend：用反向重建评估科学弱信号预测

arXiv 论文提出 BackTrend 回顾式基准，用于评估科学弱信号预测：给定成熟目标主题与时间证据约束，系统需回溯问题空间与解法空间两类前兆。基准覆盖 AI 与机器学习 25 个成熟主题、66 个经人工验证的弱信号，基于 2019–2024 年发文频率轨迹构建。评估显示主流 LLM、RAG 与 agentic 研究系统常出现主题漂移、粒度不匹配等问题，最佳系统 F1 仅 10.1%，Coverage10 最高 18.5%。

以往趋势追踪、引用预测与前瞻报告多依赖事后叙事，缺少可验证的早期前兆参考集。BackTrend 首次把成熟主题与其早期前兆显式配对，并给出人工验证基准与量化指标，使弱信号预测从主观判断转为可复现的评测任务，也暴露出当前系统与真实回溯能力之间的明显差距。

该基准采用反向重建机制：先确定 2019–2024 年已成熟的目标主题，再在时间约束下要求系统从大规模文献中找回当年低可见度的前兆信号，并用发文频率轨迹作为候选筛选依据。评测用语义匹配与覆盖率指标，分别衡量预测是否对齐参考信号以及覆盖是否完整。检索与联网证据只能带来有限提升，说明瓶颈在于对问题与解法演化的识别，而非信息量不足。

对研发与产品团队而言，若要把弱信号预测用于技术选型、路线图或投资筛选，不能仅依赖通用 LLM 或 RAG 问答。需要建立带时间约束的验证流程、人工标注的参考集与覆盖率指标，并接受当前工具在召回与粒度上的高误差，避免把看似合理但错位的前兆当作决策依据。

• 为技术情报或投资研究产品加入时间约束回溯评测模块，用人工验证参考集与 F1、Coverage 指标定期检验预警质量。
• 构建面向 AI/ML 的问题空间与解法空间双通道弱信号库，按年度发文频率轨迹标注候选前兆并支持增量更新。
• 提供弱信号预测的粒度对齐与主题漂移检测功能，输出候选信号与目标主题的匹配理由，辅助研究团队人工复核。

• BackTrend 的 25 个主题与 66 个弱信号是否公开可得，以及标注者一致性与构建细节如何？
• 在 AI/ML 之外领域，该反向重建方法是否同样适用，尚无证据。
• 预算分析中检索与联网证据的具体配置与上限未披露，难以判断工程优化空间。
• 人类专家在该基准上的表现未给出，无法确定 10.1% F1 与人类水平的差距。