每次雇佣语言学家，推理成本就降低：论语言学规则作为有效的提示压缩器

arXiv 一篇论文提出仅基于语言学规则（词汇、句法、语义、话语）的提示压缩方法，通过离线进化搜索找到规则组合，部署时无需大模型前向传递，仅用 CPU 处理。在短文本、多文档推理和对话记忆等数据集上，该压缩器性能与现有依赖模型评分的先进策略相近，尤其在轻中度压缩下表现良好。

此前提示压缩主要依赖大模型前向传递评估 token 重要性，成本高且需要 GPU。该方法仅用确定性语言学规则进行压缩，部署时零模型调用，显著降低推理成本和硬件门槛，为低成本优化 LLM 输入长度提供了新路径。

通过离线进化搜索组合词汇、句法、语义和话语层面的规则，生成无需模型评分的压缩策略。部署时规则直接作用于输入文本，进行 token 剪枝或句子提取，压缩过程仅需 CPU 计算，且与下游 LLM 推理解耦。

可直接降低 LLM API 调用或自部署场景的推理成本（因输入 token 减少），压缩阶段本身成本极低。适合高频对话、多文档摘要等长输入场景，但强压缩下性能会下降，需平衡压缩率与质量。

• 集成到 Prompt 管理平台，让用户选择“低成本压缩”模式，自动应用语言学规则减少输入长度。
• 开发面向对话机器人的实时压缩中间件，在保持回复质量同时降低每次查询的 token 消耗。
• 为长上下文文档分析工具提供可选压缩功能，用户可调节压缩强度以平衡成本与准确性。

• 该方法在不同语言（尤其是非英语）和不同规模模型（如 7B vs 70B）上的泛化效果如何？
• 进化搜索产生的规则组合是否可解释且可迁移至新领域？
• 在需要高度精确任务（如医疗、法律）中，压缩带来的信息损失是否可接受？