Liquid Inference：让服务商为每个 prompt 竞争的 LLM 路由器

Liquid Inference 在 Product Hunt 上线，定位为一款 LLM router，其核心机制是让不同模型服务商针对每一次 prompt 展开竞争。它试图解决用户在多个模型与供应商之间难以选择的问题，把原本由用户手动比价、比质量、比延迟的流程，交给路由器按请求动态分配。发布方未在给定证据中明确，具体能力边界需以产品页面为准。

以往 LLM router 多按价格、延迟或预先设定的规则静态分流，选择逻辑由用户或平台提前写死。Liquid Inference 把“竞争”引入单次请求层面，意味着同一 prompt 可能触发多家服务商同时参与，用户不再需要为每个任务手动挑选模型，选型从一次性配置变成逐请求动态决策。

证据仅说明其机制是“providers compete for every prompt”，即围绕每个 prompt 让多个供应商竞争。竞争的依据可能是价格、速度、质量或组合指标，但给定证据没有披露评分方式、是否并行调用、是否存在竞价或拍卖流程，因此无法确认其技术实现与商业结算方式。

对频繁调用 LLM 的产品团队，这类路由器可能把模型选型从人工配置下沉到请求层，减少维护多供应商适配的工作量；对关注推理成本或延迟的团队，逐请求竞争有可能带来更优的单位结果，但实际效果取决于评分与路由策略是否透明可控。

• 选一个对成本敏感的批量任务，例如内容摘要或分类，对比 Liquid Inference 路由结果与固定单一模型的成本和质量差异。
• 用同一个 prompt 测试其对延迟敏感场景的表现，观察路由是否会在响应速度上做出明显取舍。
• 验证是否支持自建或私有模型接入，以判断能否纳入现有推理栈而非替换它。

• 定价模式是什么，按请求、按 token 还是抽成结算？
• 目前开放范围如何，是否有公开 API 或仅限内测申请？
• 支持哪些模型和供应商，是否覆盖主流闭源与开源模型？
• 是否开源，prompt 与响应数据如何存储和用于竞争评分？