DeepSeek模型降价75% 难解行业百倍token消耗问题
作者:亿邦AI 文章来源:亿邦动力
2026-07-13 09:43
作者:亿邦AI 文章来源:亿邦动力
2026-07-13 09:43
邦小白快读
2026年7月DeepSeek对旗下V4-Pro模型下调定价75%,该动作原本被预期利好企业AI服务商及开发人员,实际并未改善相关厂商利润率。核心原因在于推理成本下降的同时,代理系统的token消耗速度超过价格降幅。过去二十年软件行业遵循基础架构成本逐年下降,应用能力持续提升的规律,AI行业最初也被认为将遵循同一路径,随着前沿模型性能提升和token价格下降,推理会成为可忽略的运营支出,这一假设现在已被快速打破。
单轮聊天机器人的用户提问通常对应一次模型调用,输入计费比约为1比5。多步骤代理应用覆盖客户支持 销售运营 财务 法务审核 工程等场景时,输入计费比普遍达到1比700甚至更高。每一轮循环都会累积对话内容 工具输出和推理痕迹,所有内容逐次累加不会删减。类似我们的头部客户上周咨询了什么的简单代理查询,需要经过七次计费操作才能返回答案,累计消耗约3.5万输入token,单条查询在前沿模型上的成本在0.1美元到0.4美元之间,若月查询量达到百万级,单月成本可达六位数。
当前企业AI主流定价为按席位订阅的SaaS模式,该模式假设单用户成本处于合理可控区间。token放大效应打破这一假设,重度用户单日代理调用产生的推理成本,可能超过其月度订阅费用,多家厂商私下反馈重度用户对应业务毛利率为负。Bessemer超新星 cohort的云支出报告提及,AI代理普及和毛利率收缩的关联,已经从理论风险变为主要损益逆风。公开信息呈现Salesforce的Agentforce营销演示和实际交付客户的功能存在差距,这类差距的核心成因是承诺功能技术可行,但按现有席位定价提供服务不具备经济性。英伟达应用深度学习副总裁Bryan Catanzaro提及其团队的计算成本远高于员工成本。当前主流的AI原生公司商业模式,在接触代理工作流后已经不再成立。
现有技术层面的应对方案已经形成共识,成本感知路由通过小型分类模型决定对应每个查询的模型层级,调优后的路由系统可在不降低输出质量的前提下削减约60%推理成本。Anthropic OpenAI及谷歌现在对缓存的提示词前缀提供75%到90%的折扣。上下文约束可通过截断工具输出 修剪推理痕迹 限制工具调用深度避免无效消耗。自部署场景下的投机解码技术,可在相同GPU资源下将有效吞吐量提升2到3倍。IBM相关研究数据提及,采用编排层治理的机构生产力提升效果更显著,整体编排层带来的生产力影响是仅采用合规方法的六倍。搭建成熟编排层的公司运营逻辑更接近金融交易系统,每个路由决策都对应成本核算,每条路径都有独立损益计算,每个租户都有计量预算。
未来24个月能否维持健康毛利率,企业可通过五项动作实现差异。将推理成本列为一级指标,参照2010年代中期跟踪云成本的方式,按功能 租户 查询类型分别统计。参照媒体采购的预算逻辑,为每个功能设置单千次查询成本上限,超出阈值触发预警,相关规则需要单独推动落地,工程团队不会主动执行。将路由系统视为核心基础设施而非优化工具,其作用相当于新一代负载均衡器。每季度审计提示词,自然迭代半年形成的4000token系统提示词,长期会产生六位数的额外成本,多数团队从未完整阅读过自己的生产环境提示词。提前谈判批量采购协议,前沿模型厂商现在提供类似预留实例的预付费套餐,折扣力度较大,公开标价是企业可拿到的最差价格。
前沿推理单位成本每年约下降3倍,下降曲线并未放缓,不过token放大效应的增速超过价格降幅。75%的单token成本下降,无法覆盖代理单用户查询token消耗较定价假设高出700倍的缺口。云时代以来首次出现架构决策直接实时影响财务结果的情况,提示词调整会直接影响毛利率,约束不当的代理循环相当于附带账单的运营故障。未来24个月能在AI基础设施定价波动中存活的公司,并非使用最便宜模型的主体,而是能清晰掌握代理运行成本的企业。
【版权提示】亿邦动力倡导尊重与保护知识产权。未经许可,任何人不得复制、转载、或以其他方式使用本网站的内容。如发现本站文章存在版权问题,烦请提供版权疑问、身份证明、版权证明、联系方式等发邮件至run@ebrun.com,我们将及时沟通与处理。
已点赞
{{ praise_text }}
好文章,值得被更多人看到
FAQ回顾
AI代理应用为什么会导致企业AI服务商毛利率下降?
AI代理应用多步骤运行时输入计费比可达1:700甚至更高,每轮循环产生的对话内容、工具输出、推理痕迹会逐次累加计费,token消耗增速远超模型单token价格降幅,重度用户单日推理成本甚至超过其月度订阅费用,直接导致厂商对应业务毛利率为负。
企业可以通过哪些方法降低AI推理成本?
企业可通过多类方案降低AI推理成本:一是部署成本感知路由系统,可在不降输出质量的前提下削减约60%推理成本;二是利用厂商缓存提示词折扣,通过上下文约束截断无效内容减少消耗;三是自部署场景采用投机解码技术提升2-3倍吞吐量;四是搭建成本核算编排层、设置查询成本阈值、批量采购预付费套餐等。
AI代理应用的token消耗放大效应有多明显?
普通单轮聊天调用的输入计费比约为1:5,多步骤AI代理应用覆盖客户支持、销售运营、法务审核、工程等场景时,输入计费比普遍达到1:700甚至更高,单次简单代理查询可能需7次计费操作,累计消耗约3.5万输入token,单条查询成本最高可达0.4美元。
未来AI企业维持健康毛利率的核心是什么?
未来24个月能在AI基础设施定价波动中存活的企业,核心竞争力并非使用最便宜的模型,而是能清晰掌握代理运行成本,可通过将推理成本列为一级指标、搭建核心路由系统、定期审计提示词、提前谈判批量采购协议等动作实现差异化。
下一篇









