核心内容：AI 产品必须做评估的原因（传统产品”点一下看对错”失效）；Eval 四档（人工抽检/标准答案集/LLM-as-Judge/用户行为数据）与组合用法；选型七维度（效果/速度/价格/上下文/稳定性/数据安全/生态）与模型抽象层；常见模型大致定位（国内/海外，人话版）；两个案例（大厂客服 Eval 体系、本地企业成本优化降 80%）。
事实边界：客服机器人 Eval 体系为行业通用做法描述（未点名具体大厂）；本地企业”月 API 账单几万、成本降 80%”为母稿案例，未点名公司；模型对比”90% vs 93%、价格 1/5”为母稿案例口径，未放大。
正文
你的 AI 产品效果怎么样？”我觉得还行”是最危险的回答
我问过很多做 AI 产品的人同一个问题：你的产品效果怎么样？
十有八九的回答是：”挺好的啊，我自己试了试，感觉不错。”
问题是，你自己试了十次觉得不错，不代表一千个用户用的时候也不错。你试的时候会刻意避开 AI 容易翻车的场景，用户不会，他什么都问。
我见过太多团队，做 AI 产品全靠人肉测试——产品经理自己用一用，觉得没问题就上线了。结果上线一堆问题，用户吐槽，他们还很懵：”我用的时候挺好的啊？”
因为他们只测了自己想得到的场景。用户想到的场景，他们根本没测到。
这篇文章讲两件事：怎么建立一套评估体系，让效果心里有数；怎么挑大模型，不花冤枉钱。
一、为什么 AI 产品必须测
传统互联网产品，功能是确定的。你点一个按钮，它就干一件事，干对了就是干对了，干错了就是 bug，一眼能看出来。
AI 产品不一样。同一个问题，你问两次，它可能给你两个答案。没有标准答案，你很难说哪个对哪个错。传统产品那套”点一下看看对不对”的测试方法，用在 AI 产品上根本不够。
所以你需要评估。不是你觉得好就好，是有一套方法、一套数据、一套判断标准。
评估干三件事：知道现在好不好——回答准确率多少、错误率多少，不能靠感觉；知道改动有没有用——改了提示词、换了模型、加了 RAG，是变好了还是变差了，没有评估只能瞎猜；知道哪里要改——是理解错了、还是生成时瞎编了、还是知识库没喂全，评估能帮你定位。
二、评估的四档，一档比一档接近真相
我把评估分成四档，从浅到深。你可以根据阶段选合适的，不用一步到位。
第一档，人工抽检。最原始但最必要：从线上随机抽 100 条真实对话，找两个人分别看，独立打分（好/一般/差），打分不一致的讨论达成共识，最后统计好的占多少、差的占多少。简单直接谁都能做，缺点是慢、贵、不可扩展——你不可能每次改完提示词都人工看 100 条。但它是基础，哪怕后面上了自动化，人工抽检也要保留，因为自动化也会出错，你得有个兜底的。
第二档，标准答案测试集。提前准备一批”标准问题+标准答案”，每次改完产品，用这批问题跑一遍，看回答跟标准答案差多少。怎么建：收集 50–200 个用户最常问的问题，每个写一个合格回答的标准，每次产品改了重跑一遍，对比新旧版本的通过率变化。好处是可重复、可对比，一眼看到哪几个问题变差了。关键提醒：测试集要定期更新，三个月前的高频问题，现在可能没人问了。
第三档，用 AI 评 AI。不用人来打分，用另一个大模型打分。你设计一套评分标准——回答是否准确（1-5 分）、是否完整（1-5 分）、是否相关（1-5 分），把用户问题+AI 回答+评分标准一起丢给大模型打分。快、便宜、可扩展，几千条对话一天打完。但它有个问题：大模型打分不一定准，可能理解错了评分标准，可能跟人的判断不一致。正确做法是先让人和大模型分别给同一批对话打分，看一致性——一致性高（80% 以上）才能放心用；不够，就调评分标准，或者回到人工。
第四档，用户行为数据。最高层级，看真实用户的行为。用户嘴上说的不一定准，但行为会说实话：看完 AI 的回答有没有追问？追问越多说明答得越不清楚；有没有点”没用”或”踩”？有没有转人工？转人工比例越高说明 AI 越不靠谱；第二天还来不来？这些行为数据才是最真实的评估。你人工测试做得再好，用户不回来用，那就是不行。
实际做的时候，四档不是选一个，是组合用：日常迭代用第三档快速跑测试集；定期抽检用第一档抽查 50 条，验证 AI 打分靠不靠谱；看大盘用第四档看长期趋势；版本发布前用第二档跑完整测试，确保没有回归问题。
这套组合拳打下来，你对产品效果就有数了。
三、挑模型，不是挑最强的
评估讲完了，讲另一个问题：怎么挑大模型。
很多人选模型，第一反应是：哪个最强就用哪个。这是误区。模型没有绝对的最好，只有最合适。你得先问自己：需要又快又便宜，还是又准又好？用户在国内还是海外？数据敏感吗，能不能上传第三方？预算多少？这些问题不搞清楚，选哪个都是瞎选。
挑模型看这几样：
效果——理解、生成、推理能力怎么样？拿你自己的测试集跑一遍，别信官方排行榜，排行榜测的是通用能力，你的场景它可能就不行。
速度——响应快不快？首字延迟多少？用户等不及就走了。做对话产品，慢两秒体验就差很多。
价格——多少钱一万 token？你的场景每次请求消耗多少？算一下成本，别选了个效果最好的，用了一个月发现预算超了。
上下文长度——一次能读多长的内容？你要喂长文档、长对话，不够就白搭。
稳定性——API 稳不稳？会不会经常超时、宕机、高峰期限流？做产品的人知道，稳定性比什么都重要。
数据安全——你的用户数据上传过去，他们会不会拿去训练？有没有隐私协议？数据存在哪？做 To B 产品，这个必须问清楚。
生态——有没有 SDK？好不好对接？社区活跃不活跃？出问题有没有人帮你？
常见模型的大致位置（不是推荐，就给你个大概印象，具体自己测）：国内模型——豆包、DeepSeek、通义、文心、Kimi 这些，中文场景基本都能用，价格便宜，效果够大部分场景，各有侧重（长文本强、代码强、推理强）；海外模型——GPT 系列综合强，海外场景和复杂推理有优势；Claude 长文档处理强、写作质量高；Gemini 多模态强、图片视频理解有优势。
但这个印象会过时。模型迭代很快，今天的领先者三个月后可能就被超过了。别迷信排名，用你自己的测试集测。
不管你选了哪个，建议做一层抽象：你的产品不要直接调某一个模型的 API，中间加一层，这层负责把请求转发到不同的模型。因为你随时可能要换模型——今天用 A，明天 B 出了新版本更便宜，你要能一键切换。代码写死调 A，换模型就要改一堆代码。这层做好了，选型就是一个配置的事，不是一个工程的事。
四、两个案例
先看大厂客服机器人怎么做评估。它的体系大概这样：日常监控——实时看转人工率、问题解决率、用户踩赞比，设阈值超了自动报警；每周抽检——随机抽 200 条对话人工标注，看哪些问题分类下错误率高，错例收进问题库；版本测试——每次改模型改提示词，跑一个 500 题的标准答案集，新版本通过率不能低于旧版本，重点关注之前出错的问题修没修；A/B 测试——上线新版本不直接全量，放 10% 流量到新版本跟 90% 旧版本对比转人工率、满意度、平均对话轮次，数据证明新版本确实更好再全量。
你看，这一套不是”我觉得还行”，是完整的数据支撑。
再说个接地气的。本地有家公司，最开始用某海外大模型，效果确实好。但做了三个月发现 API 费用扛不住了——每个月账单好几万。怎么处理？不是直接换模型，是先做了一次评估：把过去一个月的真实对话导出来，跑了不同的国内模型，用 AI 打分对比效果，发现有个国内模型效果跟原来差距很小（90% 对 93%），价格只有原来的五分之一。做了模型抽象层，把一半流量切过去，跑了两周 A/B 测试，用户满意度没明显下降，全量切过去，每月成本降了 80%。
这就是挑模型的正确姿势：别听别人说哪个好，拿你自己的真实数据测，用数据说话。
五、收个尾
评估这个事，很多人觉得麻烦，觉得”先做出来再说，测什么测”。但越早做，后面越省事。产品刚上线功能还少，建测试集很简单；做了半年功能一大堆，再想建都不知道该测哪些场景。
而且评估不只是测效果，它在帮你攒资产。你攒了一个几百题的测试集，攒了半年的用户行为数据，这些都是你的壁垒。别人抄你的产品界面很容易，但抄不走你这半年积累的评测数据。
做 AI 产品不搞评估，就是闭着眼睛开车。不知道自己开多快、不知道油还够不够、不知道前面有没有悬崖。等你发现的时候，可能已经撞了。