AI产品经理怎么样炼成的-06

核心内容:AI 产品必须做评估的原因(传统产品”点一下看对错”失效);Eval 四档(人工抽检/标准答案集/LLM-as-Judge/用户行为数据)与组合用法;选型七维度(效果/速度/价格/上下文/稳定性/数据安全/生态)与模型抽象层;常见模型大致定位(国内/海外,人话版);两个案例(大厂客服 Eval 体系、本地企业成本优化降 80%)。

事实边界:客服机器人 Eval 体系为行业通用做法描述(未点名具体大厂);本地企业”月 API 账单几万、成本降 80%”为母稿案例,未点名公司;模型对比”90% vs 93%、价格 1/5”为母稿案例口径,未放大。

W7 课件:顾问团交付方案

这是课程两大交付物之一。六周学完,你带走的不只是知识,还有一套能持续用的”AI PM 顾问团”。这节课讲清楚它是什么、怎么用、怎么让它真正帮到你。


开场

前面六周,每次作业我都让你把东西丢给顾问团评审。你可能用了一阵觉得:这玩意确实有点意思——不同角度看同一个问题,经常能看出你自己看不到的盲区。

这节课把它正式交付给你。不是随便给你几个 Prompt,是一套完整的、可以长期用的工具。


第一部分:顾问团是什么(20 分钟)

为什么要做顾问团

先讲清楚,顾问团不是一个聊天机器人。它的本质是:把那些你平时想请教、但请不起的专家的思考方式,封装成可以随时调用的工具。

你想想,做产品的时候,你最想请教谁?

  • 那种做了十几年产品、踩过无数坑的老兵,他会问你:”你这个真需求还是伪需求?”
  • 那种懂技术的,他会问你:”你这个方案技术上可行吗?成本多少?”
  • 那种懂用户的,他会问你:”用户真的会为这个付钱吗?”

但现实是,这些人你可能根本不认识。就算认识,你也不可能每次遇到问题都去打扰人家。

顾问团就是干这个的。它不是真人,但它带着这些人的思考框架和判断标准。你把问题丢给它,它会从这些角度帮你想一遍。

顾问团的核心设计思路

顾问团不是把一堆专家 Prompt 堆在一起。它有几个关键设计:

1. 每个顾问有明确的视角

不是让所有顾问都说一样的话。每个顾问只从自己擅长的角度看问题,说他该说的。Cagan 就专门看价值风险和可用性,Karpathy 就专门看技术可行性,梁宁就专门看需求是不是真需求。

视角不重叠,才能碰撞出不同的东西。

2. 顾问之间会讨论

不是一个顾问说完就完了。让他们互相回应:Cagan 提了一个问题,Karpathy 从技术角度回应一下,梁宁再从用户角度补充一下。这种多轮讨论,比一个顾问给你一段话有用得多。

3. 最后有一个总控

几个顾问说完了,总控把大家的意见汇总,提炼出最关键的几个建议,而不是让你在一堆观点里自己找重点。


第二部分:你的顾问团成员(30 分钟)

我们的顾问团不是固定不变的。是根据你的行业和方向,专门为你蒸馏出来的。

但核心框架是这几类角色,你先有个概念。

角色一:需求审视者(梁宁视角)

这个顾问专门帮你看”需求是不是真需求”。

他会问你:

  • 用户嘴上说想要,他真的会付钱吗?
  • 他现在怎么解决这个问题?他满意吗?
  • 你做的这个东西,是真的解决了他的痛点,还是你自嗨?
  • 这个需求是高频的,还是一年才遇到一次?

他的思考框架来自梁宁的那套:真需求 vs 伪需求、点线面体、用户体验的五个层次。

你做需求分析的时候,把东西丢给他。他帮你挑:哪些需求是真的值得做,哪些是你自己想象出来的。

角色二:风险审视者(Cagan 视角)

这个顾问专门帮你看”做这个东西有什么风险”。

他会问你:

  • 价值风险:用户真的会用这个吗?
  • 可用性风险:用户能学会怎么用吗?会不会觉得困惑?
  • 可行性风险:技术上能做出来吗?成本和时间够吗?
  • 商业可行性:做出来能赚钱吗?

他的思考框架来自 Marty Cagan 的《Inspired》和《Empowered》里那套产品风险模型。

你写 PRD 的时候,把 PRD 丢给他。他帮你从四个风险角度过一遍,看哪里有坑。

角色三:技术审视者(Karpathy 视角)

这个顾问专门帮你看技术方案靠不靠谱。

他会问你:

  • 你这个方案,用现在的技术能做到吗?
  • 用 RAG 还是 fine-tune?为什么?
  • 你的 Prompt 设计合理吗?有没有更好的写法?
  • 性能和成本怎么权衡?

他的思考框架来自 Karpathy 那套关于 LLM、Software 3.0、Evals 的思路。

你做技术选型、写 Prompt、设计工作流的时候,把方案丢给他。他帮你看技术上有没有问题。

角色四:用户价值审视者(俞军视角)

这个顾问专门帮你算”用户觉得值不值”。

他会问你:

  • 用户用这个产品,得到了什么?付出了什么?
  • 他得到的价值,跟他付出的成本比,划算吗?
  • 他为什么选你不选别人?

他的思考框架来自俞军的用户价值公式:用户价值 = (新体验 - 旧体验) - 替换成本。

你定价、设计产品的时候,把方案丢给他。他帮你算用户账。

角色五:总控

总控不看具体问题,他负责把几个顾问的意见汇总:

  1. 每个人说了什么
  2. 哪些观点是一致的
  3. 哪些观点有分歧
  4. 最关键的 2-3 个建议是什么
  5. 接下来你最该先做什么

总控的作用是帮你把一堆意见提炼成行动,而不是让你看完一堆话不知道从哪下手。


第三部分:怎么用顾问团(35 分钟)

知道了顾问团有谁,接下来讲怎么用。

三种典型用法

用法一:评审一个方案

场景:你写了一份 PRD、或者设计了一个产品方案,想看看有什么问题。

怎么用:

  1. 把你的方案全文丢进去
  2. 跟总控说:”请顾问团评审这个方案,从需求真实性、风险、技术可行性、用户价值几个角度看。”
  3. 每个顾问分别发表意见
  4. 总控汇总,给出关键建议

用法二:做一个决策

场景:你面临一个选择,不知道选 A 还是选 B。

怎么用:

  1. 把两个选项的背景讲清楚
  2. 跟总控说:”我现在面临一个选择,A 方案是 XX,B 方案是 XX。请顾问团分别分析两个方案的优劣,最后给建议。”
  3. 每个顾问从自己的角度分析
  4. 总控汇总,给出推荐和理由

用法三:头脑风暴

场景:你有个模糊的想法,不知道怎么落地。

怎么用:

  1. 把你的想法讲出来
  2. 跟总控说:”这是我一个初步的想法,请顾问团帮我想想:这个方向值不值得做?如果做的话,第一步该干什么?”
  3. 顾问们一起讨论,提不同角度的看法
  4. 总控帮你梳理出下一步的行动建议

使用顾问团的几个原则

原则一:把背景交代全

顾问团不是你肚子里的蛔虫。你把问题说得越清楚,它给的建议越靠谱。别只丢一句”帮我看看这个方案”,要把背景、目标、约束条件都讲清楚。

原则二:别把它当真理

顾问团给的是建议,不是圣旨。它说的东西你要自己判断。它有时候也会说错,也会有盲区。你的判断才是最终决策。

原则三:多轮迭代

别指望顾问团一次给你完美答案。你听完意见,改一版,再丢给它评审。来回个两三轮,方案就越来越成熟了。

原则四:结合你自己的实际情况

顾问团给的是通用建议。你自己的团队情况、资源情况、用户情况,它不一定知道。它说的方案你能做,就做;做不到,就调整。


第四部分:顾问团的维护和升级(20 分钟)

顾问团不是做完就不管了。它需要你维护,越用越好。

怎么维护

1. 补充你自己的行业知识

你做的是某个特定行业,顾问团的通用知识可能不够。你可以把你们行业的关键信息、术语、规则,补充到顾问团的设定里。它了解你的行业越多,给的建议越靠谱。

2. 记录好的回答

有时候顾问团给的某个建议特别好,解决了你的问题。把它记下来。以后遇到类似问题,你可以直接参考。

3. 更新顾问成员

你做的方向变了,顾问团也要跟着变。原来你做 To C 产品,顾问团是按 C 端设计的;现在你转做 To B 了,就该加几个懂企业服务视角的顾问。

怎么升级

用了一段时间之后,你可以:

  • 加新的顾问角色,比如加一个”增长视角”的顾问
  • 调整现有顾问的 Prompt,让他说的话更符合你的需求
  • 加一些你自己总结的经验,让顾问团带着你的经验帮你看问题

用得越久,这个顾问团就越像你自己的”分身”——它带着你的经验、你的判断、你的风格,帮你看问题。


第五部分:交付清单(15 分钟)

你最终拿到的顾问团交付物,包含这些:

1. 顾问团总控 Prompt

你直接复制粘贴到任何 AI 工具里就能用。包含总控的角色设定、流程设计。

2. 每个顾问的 Prompt 模板

五个核心顾问角色,每个都有独立的 Prompt 模板。你可以单独调用某个顾问,也可以让总控调度全部。

3. 使用指南

就是今天讲的这些:怎么调用、三种典型用法、注意事项。

4. 行业资料包模板

你根据自己的行业,填进去行业知识、关键术语、参考资料。这部分是让顾问团更懂你的关键。

5. 示例对话

给你看几个真实使用的例子:怎么提问、顾问团怎么回答、你怎么根据回答做决策。


现场动手(20 分钟)

现在你已经拿到顾问团了。现场试一下:

每个人选一个你现在工作中或者生活中真实面临的问题。不用是课程作业,就是你真实遇到的。

把问题丢给顾问团,走一遍完整流程:

  1. 跟总控交代背景
  2. 看每个顾问分别怎么说
  3. 看总控怎么汇总
  4. 想想这些建议对你有没有用

试完了跟旁边的人分享:你问了什么问题、顾问团给了什么建议、你觉得哪些有用哪些不靠谱。


课后作业

必做:完成你的行业资料包

把你的行业资料包填完:

  • 你所在的行业是什么
  • 这个行业的关键术语有哪些
  • 行业里的主要玩家有哪些
  • 行业的核心痛点是什么
  • 你选了哪几位专家作为顾问团成员,为什么选他们

填完了,把资料包合入你的顾问团 Prompt。

必做:用顾问团评审你的 PRD

把 W6 作业写的 PRD,用顾问团完整评审一遍。把评审意见记录下来,作为你 PRD v2 的修改依据。

选做:写一份”顾问团使用心得”

用了两周顾问团之后,写一份简短的心得:

  • 哪个顾问对你帮助最大?
  • 哪个角度是你以前没想到的?
  • 顾问团有没有给过你不靠谱的建议?
  • 你打算怎么继续用它?

讲师手记

顾问团这个东西,我自己用了很久。

最大的感受是:它不是替你做决策,是逼你把问题想清楚。很多时候你觉得自己想明白了,把问题丢给顾问团,几个顾问一问,你发现:哦,原来这里我没想透。

做产品最大的敌人不是能力不够,是没想清楚就动手。顾问团最大的价值,就是让你在动手之前,多问自己几个为什么。

别把它当工具,把它当你的一个习惯。遇到问题,先跟顾问团聊一遍,再动手。时间长了你会发现,你自己想问题的方式,也变得越来越像顾问团——会从不同角度看问题了。

这才是真正的收获:工具用完了就没了,但你自己的思维能力长在身上了。

下节课讲作品集交付。