大模型项目进入生产后,账单往往比预期复杂。演示阶段按次调用感觉不贵,正式上线后并发上来、上下文变长、重试和 Agent 多轮调用叠加,成本会在几周内快速抬升。更麻烦的是,费用上涨时团队说不清钱花在哪个业务、哪类请求、哪个模型上。AI 成本治理不是简单地“换便宜模型”,而是把预算、路由、缓存和效果评估做成一套可持续的运营机制。
一、先把 Token 成本拆开
大模型调用通常按输入 Token 和输出 Token 分别计费,不同模型、不同上下文长度、不同服务形态的价格差异很大。企业要先建立统一的计量口径:哪个应用、哪个租户、哪个功能、哪个模型、输入多少 Token、输出多少 Token、调用是否成功、耗时多少。没有这层数据,预算只能停留在总额层面,无法定位异常。
| 成本构成 | 常见来源 | 可观测指标 | 治理动作 |
|---|---|---|---|
| 输入 Token | 系统提示词、知识库片段、历史对话、工具返回结果 | 单次平均输入长度、上下文长度分布 | 精简提示词、控制检索片段、裁剪历史、结果摘要 |
| 输出 Token | 模型回复、结构化结果、长文生成 | 单次平均输出长度、超长回复占比 | 设置最大输出长度、约束格式、分步生成 |
| 重试与失败 | 超时、限流、格式错误、工具调用失败 | 失败率、重试次数、无效调用占比 | 幂等设计、退避重试、失败降级、校验后重试 |
| 多轮与 Agent | 规划、工具调用、反思、复核 | 单任务轮次、工具调用次数、链路 Token | 限制最大轮次、合并步骤、缓存中间结果 |
| 资源与网络 | 专属实例、推理资源、公网流量、存储 | 资源利用率、闲置时长、出网流量 | 弹性伸缩、错峰调度、内网访问、及时释放 |
预算要分层设置。公司级预算控制总量,业务线预算控制投入产出,应用级预算控制单次任务成本,租户级预算防止单个客户消耗失控。每层都要有告警阈值和熔断动作,例如达到月度预算 80% 时提醒,达到上限时降级到低成本模型或暂停非核心任务。预算不是财务月末才看的报表,而应是运行时的控制参数。
单次任务成本可以用一个简单公式估算:输入 Token 数乘以输入单价,加上输出 Token 数乘以输出单价,再乘以调用轮次和重试系数。真正容易失控的往往不是单价,而是轮次和上下文。一个 RAG 问答如果每次塞入十段长文档,再多轮追问,输入 Token 可能很快超过输出 Token 的数倍。建议给每个应用定义“单任务 Token 预算”,超过预算时触发摘要、减少检索片段或转人工,而不是无限追加上下文。
二、模型路由:不是所有请求都要用能力最强的模型
模型路由的核心,是按任务价值、难度和风险匹配模型能力。简单分类、抽取、改写、格式化,可以用小参数模型或轻量模型完成;复杂推理、代码生成、长文档分析,再交给能力更强的模型;涉及高风险决策的场景,除了模型能力,还要考虑审核、引用和人工复核。
| 路由层级 | 典型任务 | 选型思路 | 控制手段 |
|---|---|---|---|
| 轻量层 | 意图识别、标签分类、文本清洗、简单摘要 | 小参数模型或规则优先,追求低延迟和低成本 | 批量调用、结果缓存、规则兜底 |
| 通用层 | 客服问答、知识检索、内容改写、常规分析 | 主力通用模型,平衡效果与成本 | 上下文裁剪、检索 TopK 控制、输出长度限制 |
| 增强层 | 复杂推理、代码、长文档、多步骤任务 | 能力更强的模型,按需调用 | 任务分级、人工确认、结果复用 |
| 专属层 | 数据敏感、稳定高并发、需要隔离的业务 | 专属资源池或私有化部署 | 容量规划、利用率监控、弹性调度 |
路由不能只按“便宜”判断。一个轻量模型如果准确率不足,后续人工修正和二次调用的成本可能更高。建议先用评测集比较各模型在真实任务上的准确率、格式合规率、平均延迟和单任务成本,再设定路由规则。路由策略应可配置、可灰度、可回滚,避免把模型名称硬编码在业务代码里。MaaSUnion 这类大模型聚合平台的价值之一,就是让企业可以在统一接口下接入多家模型,按业务规则切换和对比,而不必为每个模型重写一套调用逻辑。
如果使用华为云 ModelArts 的专属资源池承载推理,还要单独核算资源池规格、运行时长和利用率,避免把闲置算力当成固定成本忽略掉。
缓存也是成本治理的重要部分。相同或相似问题、固定知识问答、模板化生成,可以缓存结果或语义近似结果。缓存要设置合理的过期时间和失效条件,知识库更新、提示词变更或模型切换后应主动失效。对个性化强的请求,缓存命中率可能不高,但仍可以通过缓存检索结果、工具返回和中间推理结果降低重复计算。
三、效果评估要跟成本一起看
只盯成本会走向另一个极端:模型越换越小,答案越来越差,业务部门最终不用。成本治理必须和效果评估绑定,形成“效果—成本—时延”三角。评估集应来自真实业务分布,覆盖高频问题、长尾问题、边界条件、对抗输入和高风险场景,并由业务专家标注期望结果。
评估指标要分层。任务层看准确率、召回率、格式合规率、引用正确率和拒答合理性;体验层看首 Token 延迟、完整响应时间、失败率和重试率;成本层看单任务 Token、单任务费用和缓存命中率;运营层看人工介入率、用户采纳率和问题解决率。不同任务不能用同一套指标,例如合同审查更看重漏判风险,客服问答更看重解决率和响应速度。
建议建立 A/B 或灰度对比机制:同一批请求按比例分流到不同模型或提示词版本,记录效果、成本和时延,再决定是否扩大流量。对比时要注意样本量和业务周期,避免用几十条演示数据得出全局结论。对高风险场景,应保留人工复核和可追溯日志,不能仅凭自动评分上线。
AI 成本优化的目标不是把账单压到最低,而是在可接受的效果和风险下,让每一块钱花在有业务价值的地方。
治理机制还需要组织配套。建议由业务负责人、算法或应用团队、平台团队和财务共同参与,每月复盘预算执行、模型效果、异常调用和优化收益。把 Token 成本纳入项目立项和验收指标,而不是上线后才发现无人负责。对于内部工具,可以按部门分摊成本;对于对外产品,要测算毛利和定价空间,避免用量越大亏损越多。
四、常见误区与落地检查
常见误区
- 只比较每千 Token 单价,不看上下文长度、轮次和重试带来的总消耗。
- 所有请求都调用能力最强的模型,没有任务分级。
- 为了省钱频繁换小模型,却没有评测效果和人工修正成本。
- 预算只在财务月末统计,没有运行时告警和熔断。
- 提示词和知识库片段无限增长,输入 Token 失控。
- 缓存没有失效策略,知识更新后仍返回旧答案。
- 只统计成功调用,忽略失败重试和无效 Agent 轮次。
- 把成本优化当成一次性项目,没有持续复盘机制。
落地检查清单
- 建立应用、租户、功能、模型四个维度的 Token 计量和账单归集。
- 为每个应用设定单任务 Token 预算、月度预算和告警阈值。
- 盘点请求类型,区分轻量、通用、增强和专属四类任务。
- 用真实评测集比较候选模型的准确率、延迟和单任务成本。
- 把模型路由做成可配置策略,支持灰度、回滚和人工兜底。
- 优化系统提示词、检索片段数量、历史对话长度和输出上限。
- 为高频问题、固定知识和中间结果设计缓存及失效机制。
- 监控失败率、重试率、Agent 轮次和无效工具调用。
- 建立效果、成本、时延三维看板,按月复盘并跟踪优化收益。
- 对高风险场景保留人工复核、审计日志和模型版本记录。
AI 成本治理最终考验的是经营能力,而不是单纯的采购技巧。先把计量做准,再把路由做细,最后用评测把效果和成本绑在一起,企业才能在模型能力快速变化时保持主动。建议从一个高频、可量化的场景开始,跑通预算、路由、评估和复盘的闭环,再推广到更多业务。能解释每一笔 Token 花在哪里,才谈得上优化。
留言讨论
还没有留言,欢迎留下你想了解的场景。
查看全部留言 ›