核心内容:AI 产品必须做评估的原因(传统产品”点一下看对错”失效);Eval 四档(人工抽检/标准答案集/LLM-as-Judge/用户行为数据)与组合用法;选型七维度(效果/速度/价格/上下文/稳定性/数据安全/生态)与模型抽象层;常见模型大致定位(国内/海外,人话版);两个案例(大厂客服 Eval 体系、本地企业成本优化降 80%)。
事实边界:客服机器人 Eval 体系为行业通用做法描述(未点名具体大厂);本地企业”月 API 账单几万、成本降 80%”为母稿案例,未点名公司;模型对比”90% vs 93%、价格 1/5”为母稿案例口径,未放大。
W7 课件:顾问团交付方案
这是课程两大交付物之一。六周学完,你带走的不只是知识,还有一套能持续用的”AI PM 顾问团”。这节课讲清楚它是什么、怎么用、怎么让它真正帮到你。
开场
前面六周,每次作业我都让你把东西丢给顾问团评审。你可能用了一阵觉得:这玩意确实有点意思——不同角度看同一个问题,经常能看出你自己看不到的盲区。
这节课把它正式交付给你。不是随便给你几个 Prompt,是一套完整的、可以长期用的工具。
第一部分:顾问团是什么(20 分钟)
为什么要做顾问团
先讲清楚,顾问团不是一个聊天机器人。它的本质是:把那些你平时想请教、但请不起的专家的思考方式,封装成可以随时调用的工具。
你想想,做产品的时候,你最想请教谁?
- 那种做了十几年产品、踩过无数坑的老兵,他会问你:”你这个真需求还是伪需求?”
- 那种懂技术的,他会问你:”你这个方案技术上可行吗?成本多少?”
- 那种懂用户的,他会问你:”用户真的会为这个付钱吗?”
但现实是,这些人你可能根本不认识。就算认识,你也不可能每次遇到问题都去打扰人家。
顾问团就是干这个的。它不是真人,但它带着这些人的思考框架和判断标准。你把问题丢给它,它会从这些角度帮你想一遍。
顾问团的核心设计思路
顾问团不是把一堆专家 Prompt 堆在一起。它有几个关键设计:
1. 每个顾问有明确的视角
不是让所有顾问都说一样的话。每个顾问只从自己擅长的角度看问题,说他该说的。Cagan 就专门看价值风险和可用性,Karpathy 就专门看技术可行性,梁宁就专门看需求是不是真需求。
视角不重叠,才能碰撞出不同的东西。
2. 顾问之间会讨论
不是一个顾问说完就完了。让他们互相回应:Cagan 提了一个问题,Karpathy 从技术角度回应一下,梁宁再从用户角度补充一下。这种多轮讨论,比一个顾问给你一段话有用得多。
3. 最后有一个总控
几个顾问说完了,总控把大家的意见汇总,提炼出最关键的几个建议,而不是让你在一堆观点里自己找重点。
第二部分:你的顾问团成员(30 分钟)
我们的顾问团不是固定不变的。是根据你的行业和方向,专门为你蒸馏出来的。
但核心框架是这几类角色,你先有个概念。
角色一:需求审视者(梁宁视角)
这个顾问专门帮你看”需求是不是真需求”。
他会问你:
- 用户嘴上说想要,他真的会付钱吗?
- 他现在怎么解决这个问题?他满意吗?
- 你做的这个东西,是真的解决了他的痛点,还是你自嗨?
- 这个需求是高频的,还是一年才遇到一次?
他的思考框架来自梁宁的那套:真需求 vs 伪需求、点线面体、用户体验的五个层次。
你做需求分析的时候,把东西丢给他。他帮你挑:哪些需求是真的值得做,哪些是你自己想象出来的。
角色二:风险审视者(Cagan 视角)
这个顾问专门帮你看”做这个东西有什么风险”。
他会问你:
- 价值风险:用户真的会用这个吗?
- 可用性风险:用户能学会怎么用吗?会不会觉得困惑?
- 可行性风险:技术上能做出来吗?成本和时间够吗?
- 商业可行性:做出来能赚钱吗?
他的思考框架来自 Marty Cagan 的《Inspired》和《Empowered》里那套产品风险模型。
你写 PRD 的时候,把 PRD 丢给他。他帮你从四个风险角度过一遍,看哪里有坑。
角色三:技术审视者(Karpathy 视角)
这个顾问专门帮你看技术方案靠不靠谱。
他会问你:
- 你这个方案,用现在的技术能做到吗?
- 用 RAG 还是 fine-tune?为什么?
- 你的 Prompt 设计合理吗?有没有更好的写法?
- 性能和成本怎么权衡?
他的思考框架来自 Karpathy 那套关于 LLM、Software 3.0、Evals 的思路。
你做技术选型、写 Prompt、设计工作流的时候,把方案丢给他。他帮你看技术上有没有问题。
角色四:用户价值审视者(俞军视角)
这个顾问专门帮你算”用户觉得值不值”。
他会问你:
- 用户用这个产品,得到了什么?付出了什么?
- 他得到的价值,跟他付出的成本比,划算吗?
- 他为什么选你不选别人?
他的思考框架来自俞军的用户价值公式:用户价值 = (新体验 - 旧体验) - 替换成本。
你定价、设计产品的时候,把方案丢给他。他帮你算用户账。
角色五:总控
总控不看具体问题,他负责把几个顾问的意见汇总:
- 每个人说了什么
- 哪些观点是一致的
- 哪些观点有分歧
- 最关键的 2-3 个建议是什么
- 接下来你最该先做什么
总控的作用是帮你把一堆意见提炼成行动,而不是让你看完一堆话不知道从哪下手。
第三部分:怎么用顾问团(35 分钟)
知道了顾问团有谁,接下来讲怎么用。
三种典型用法
用法一:评审一个方案
场景:你写了一份 PRD、或者设计了一个产品方案,想看看有什么问题。
怎么用:
- 把你的方案全文丢进去
- 跟总控说:”请顾问团评审这个方案,从需求真实性、风险、技术可行性、用户价值几个角度看。”
- 每个顾问分别发表意见
- 总控汇总,给出关键建议
用法二:做一个决策
场景:你面临一个选择,不知道选 A 还是选 B。
怎么用:
- 把两个选项的背景讲清楚
- 跟总控说:”我现在面临一个选择,A 方案是 XX,B 方案是 XX。请顾问团分别分析两个方案的优劣,最后给建议。”
- 每个顾问从自己的角度分析
- 总控汇总,给出推荐和理由
用法三:头脑风暴
场景:你有个模糊的想法,不知道怎么落地。
怎么用:
- 把你的想法讲出来
- 跟总控说:”这是我一个初步的想法,请顾问团帮我想想:这个方向值不值得做?如果做的话,第一步该干什么?”
- 顾问们一起讨论,提不同角度的看法
- 总控帮你梳理出下一步的行动建议
使用顾问团的几个原则
原则一:把背景交代全
顾问团不是你肚子里的蛔虫。你把问题说得越清楚,它给的建议越靠谱。别只丢一句”帮我看看这个方案”,要把背景、目标、约束条件都讲清楚。
原则二:别把它当真理
顾问团给的是建议,不是圣旨。它说的东西你要自己判断。它有时候也会说错,也会有盲区。你的判断才是最终决策。
原则三:多轮迭代
别指望顾问团一次给你完美答案。你听完意见,改一版,再丢给它评审。来回个两三轮,方案就越来越成熟了。
原则四:结合你自己的实际情况
顾问团给的是通用建议。你自己的团队情况、资源情况、用户情况,它不一定知道。它说的方案你能做,就做;做不到,就调整。
第四部分:顾问团的维护和升级(20 分钟)
顾问团不是做完就不管了。它需要你维护,越用越好。
怎么维护
1. 补充你自己的行业知识
你做的是某个特定行业,顾问团的通用知识可能不够。你可以把你们行业的关键信息、术语、规则,补充到顾问团的设定里。它了解你的行业越多,给的建议越靠谱。
2. 记录好的回答
有时候顾问团给的某个建议特别好,解决了你的问题。把它记下来。以后遇到类似问题,你可以直接参考。
3. 更新顾问成员
你做的方向变了,顾问团也要跟着变。原来你做 To C 产品,顾问团是按 C 端设计的;现在你转做 To B 了,就该加几个懂企业服务视角的顾问。
怎么升级
用了一段时间之后,你可以:
- 加新的顾问角色,比如加一个”增长视角”的顾问
- 调整现有顾问的 Prompt,让他说的话更符合你的需求
- 加一些你自己总结的经验,让顾问团带着你的经验帮你看问题
用得越久,这个顾问团就越像你自己的”分身”——它带着你的经验、你的判断、你的风格,帮你看问题。
第五部分:交付清单(15 分钟)
你最终拿到的顾问团交付物,包含这些:
1. 顾问团总控 Prompt
你直接复制粘贴到任何 AI 工具里就能用。包含总控的角色设定、流程设计。
2. 每个顾问的 Prompt 模板
五个核心顾问角色,每个都有独立的 Prompt 模板。你可以单独调用某个顾问,也可以让总控调度全部。
3. 使用指南
就是今天讲的这些:怎么调用、三种典型用法、注意事项。
4. 行业资料包模板
你根据自己的行业,填进去行业知识、关键术语、参考资料。这部分是让顾问团更懂你的关键。
5. 示例对话
给你看几个真实使用的例子:怎么提问、顾问团怎么回答、你怎么根据回答做决策。
现场动手(20 分钟)
现在你已经拿到顾问团了。现场试一下:
每个人选一个你现在工作中或者生活中真实面临的问题。不用是课程作业,就是你真实遇到的。
把问题丢给顾问团,走一遍完整流程:
- 跟总控交代背景
- 看每个顾问分别怎么说
- 看总控怎么汇总
- 想想这些建议对你有没有用
试完了跟旁边的人分享:你问了什么问题、顾问团给了什么建议、你觉得哪些有用哪些不靠谱。
课后作业
必做:完成你的行业资料包
把你的行业资料包填完:
- 你所在的行业是什么
- 这个行业的关键术语有哪些
- 行业里的主要玩家有哪些
- 行业的核心痛点是什么
- 你选了哪几位专家作为顾问团成员,为什么选他们
填完了,把资料包合入你的顾问团 Prompt。
必做:用顾问团评审你的 PRD
把 W6 作业写的 PRD,用顾问团完整评审一遍。把评审意见记录下来,作为你 PRD v2 的修改依据。
选做:写一份”顾问团使用心得”
用了两周顾问团之后,写一份简短的心得:
- 哪个顾问对你帮助最大?
- 哪个角度是你以前没想到的?
- 顾问团有没有给过你不靠谱的建议?
- 你打算怎么继续用它?
讲师手记
顾问团这个东西,我自己用了很久。
最大的感受是:它不是替你做决策,是逼你把问题想清楚。很多时候你觉得自己想明白了,把问题丢给顾问团,几个顾问一问,你发现:哦,原来这里我没想透。
做产品最大的敌人不是能力不够,是没想清楚就动手。顾问团最大的价值,就是让你在动手之前,多问自己几个为什么。
别把它当工具,把它当你的一个习惯。遇到问题,先跟顾问团聊一遍,再动手。时间长了你会发现,你自己想问题的方式,也变得越来越像顾问团——会从不同角度看问题了。
这才是真正的收获:工具用完了就没了,但你自己的思维能力长在身上了。
下节课讲作品集交付。