PromptResponse：优化LLM编码任务的提示词

论文《PromptResponse》通过受控实验研究提示词格式与基于LLM的调优对代码生成的影响。使用HumanEval数据集的五种变体（基线、JSON、Markdown、YAML及LLM调优版），对GPT-4o进行8200次执行。结果显示，一致的格式（特别是JSON）能提升生成效率和语法稳定性，任务性能略有提升；而LLM调优的提示词显著降低了任务性能，且未在其他方面带来明显改进。研究还提供了实用建议，并公开了数据集和评估流程。

此前提示词工程多依赖经验，缺乏系统性对照。本研究首次在大型基准上对比多种格式及LLM调优的效果，发现低成本的格式统一即可带来可衡量改进，而LLM调优可能适得其反。这对研发团队设计提示词策略、避免无效投入有直接指导意义，尤其在代码生成场景。

LLM对输入格式的敏感性源于其训练数据中的格式分布偏差。一致的格式（如JSON）与模型预训练分布更契合，从而减少解析错误和生成波动。LLM调优提示词可能因模型对指令的过拟合或语义漂移，导致任务理解偏移，从而损害性能。格式化影响的是生成过程的稳定性，而调优影响的是语义对齐。

对依赖LLM代码生成的产品（如代码助手、自动化开发工具）而言，采用JSON等结构化格式可提升生成结果的稳定性和效率，减少因格式问题导致的返工。而盲目使用LLM调优提示词可能降低任务完成度，增加调试成本。团队应优先确保提示词格式规范，再进行语义优化。

• 在代码生成工具中内置提示词格式规范化模板，输出统一为JSON，以提升生成稳定性。
• 构建评估流水线，对比不同格式在内部任务上的表现，自动选择最优格式。
• 建立提示词优化指南，警示团队避免无验证的LLM调优，改用证据驱动的调整。
• 基于公开的变体数据集，开发针对特定编码场景的提示词格式适配层。

• 研究是否覆盖了其他模型（如Claude、Llama）？不同模型对格式的敏感度是否一致？
• JSON格式提升的效率幅度具体是多少？是否在不同任务类型间有差异？
• LLM调优提示词失败的具体原因是否因调优方法而异？是否有适用的调优策略？
• 实际工程中，格式规范化带来的提升是否足以抵消其带来的输入复杂度增加？