在百炼上选模型：别按排行榜选，按你的任务测
阿里云百炼把一堆模型聚合在一个地方——自家的通义千问全系，加上主流的第三方模型。
这带来一个新问题：选哪个？
大部分人的做法是看排行榜，挑分数最高的。这个做法有两个毛病：排行榜测的是通用能力，跟你的具体任务不一定相关；而且最强的模型通常最贵、最慢。
这篇讲怎么按任务选。
平台的模型清单、接口和计费规则会持续调整，具体以官方文档和最新说明为准。这篇讲的是选型方法。
先按任务难度分三层
不是所有环节都需要最强的模型。把任务拆开看，往往能省一大笔。
第一层：格式化、分类、提取。
「判断这条评论是好评还是差评」「从这段文字里提取出日期和金额」「把这些内容整理成表格」——这类任务有明确的对错，不需要多强的推理能力。
用小模型就够，而且更快更便宜。 拿最强的模型做分类，是用杀牛的刀切菜。
第二层：改写、总结、生成。
写产品描述、总结会议纪要、根据资料回答问题——这类任务需要一定的语言能力，但依然不需要复杂推理。
中等规模的模型通常够用。 尤其是知识库问答这类场景——答案主要来自检索到的资料，模型负责的是组织语言，不是靠自己的知识回答。
第三层：推理、规划、复杂判断。
多步骤推理、需要权衡多个因素的判断、写代码——这类才值得用最强的模型。
实际项目里，第三层的占比通常远低于大家的预期。
怎么测：用真实任务，不看排行榜
排行榜是通用场景的平均表现，跟你的文档、你的用户提问方式不一定对得上。
正确的做法是自己测，而且成本很低：
第一步，攒 20-30 个真实样本。 真实的——从实际业务里拿，不要自己编。这一步最关键，编出来的样本往往比真实情况规整得多。
第二步，人工标出期望的输出。 这是判断对错的依据。
第三步，用不同模型跑同一批，对比结果。
百炼提供 OpenAI 兼容接口，这让对比测试很省事——写一套调用代码，换个模型名就能重跑，不用为每家单独对接。这是聚合平台在选型阶段的实际价值。
第四步，除了准确率，也记录耗时。 用户能不能接受的响应速度，跟准确率同样重要。
这个测试集要留着
它的价值远超一次性选型：
- 模型更新了，跑一遍看有没有变差
- 想换更便宜的模型，跑一遍看能不能接受
- 改了提示词，跑一遍看是好了还是坏了
- 做项目验收时，它就是客观标准
做一次，用很久。 这是这类项目里投入产出比最高的一件事。
成本要按结构算，不按单价比
模型的计费按调用量走，成本随使用量增长。要算的是结构，不是某个时点的单价。
几个会让成本超出预期的因素：
上下文长度。 多轮对话时历史会一起传，聊了二十轮的会话，单次消耗远大于第一轮。不做裁剪的话，长会话的成本增长很快。
检索塞进去的内容。 知识库召回的文档片段会进上下文。召回数量设得越多，每次消耗越大——这个参数常常为了「找得全」被随手调大，成本是实打实翻倍的。
重试。 失败重试、格式不对重来，这些都是额外调用。
具体价格我们不写，因为规则会调整，写死了反而误导。要做的是估算调用次数和每次的大致规模，然后去官方最新说明里对。
分层用模型：一个实际做法
同一个应用里不同环节用不同模型，是很常见的优化。
比如一个客服流程：用小模型判断用户问题属于哪一类（简单分类），用中等模型基于知识库回答（大部分请求走这里），只有识别为复杂问题时才调用最强的模型。
这样大部分请求走的是便宜的路径，成本可能差好几倍，而用户感知不到差异。
百炼这类聚合平台在这件事上有优势：模型都在一个地方，切换成本低。
换模型时容易忽略的三件事
选定之后不是就一劳永逸了。模型会更新、会下线、你也可能想换更便宜的。这几件事提前想清楚，换的时候不至于手忙脚乱。
一、提示词不通用。 在一个模型上调好的提示词，换到另一个模型上表现可能明显下降。每次换模型都要重新验证提示词，不能直接照搬。这也是那个测试集的价值——换完跑一遍就知道要不要调。
二、输出格式的稳定性不一样。 有的模型对「只返回结构化结果、不要加解释」这类要求遵守得好，有的会时不时多说两句。如果你的下游是按固定格式解析的，换模型后要重点测这一项，否则会出现零星的解析失败——比全面失败更难查。
三、模型会下线。 尤其是预览版、实验版。把模型名写死在代码各处，等它下线时你要满仓库找。收在一个配置项里，换的时候改一处就行。
给客户做项目时，这一条要写进交付文档：当前用的是哪个模型、在哪里配置、将来要换该怎么换。半年后甲方说系统不好用了，你得知道当初用的是什么。
什么时候聚合平台不适合
数据不能出网时。 用云上的在线模型，数据就要出你的网络。这跟「模型部署在自己内网」是两回事，涉及合规要求时必须分清楚。要全链路不出内网，得走本地部署开源模型的路线。
只需要一个开箱即用的对话机器人时。 百炼更偏基础设施。如果诉求是「半天搭个客服机器人发出去」，扣子或腾讯元器的路径更短。
需要交付一套系统给客户时。 云服务不存在「交付」这回事，客户要自己开账号。这一点和托管型 Agent 平台一样，见开源 Agent 平台的许可证差别。
一句话
选模型的正确顺序是：先拆任务分层，再用真实样本测，最后算成本结构。
跳过前两步直接看排行榜挑最贵的，是最常见也最贵的做法。
完整的平台选型对比见 Agent 平台有哪些、到底怎么选。有具体项目要判断的，可以找我们聊聊。