先说结论：让 AI 设计 A/B 测试，最有用的提示词不是”帮我做个 A/B 测试”，而是”我想验证某个具体假设，请帮我定指标、算样本量、设计分流和判断标准”。A/B 测试最容易翻车的地方不是测不出结果，而是测了个没法下结论的实验——指标没定、样本不够、分组不随机，最后差异在误差范围内也敢宣布赢家。本文给 6 条可以直接复制的模板，覆盖假设拆解、指标设计、样本量估算、分流方案、结果解读、方案自查。涉及具体统计方法和平台功能，请以你当前版本为准。
很多人把 A/B 测当”两个版本扔上去看哪个好”，这是把实验做成抛硬币。要测出能信的结论，提示词里得把三件事交代清：你想验证什么（假设要具体到”改 X 会带来 Y 指标变化”）、拿什么判断（指标和显著性水平）、怎么保证两组可比（分流要随机且不被污染）。下面这套模板按这个顺序来，AI 负责把方案写严谨，但样本量、显著性这类关键数字你要自己核对公式或工具，别直接采信 AI 给的一个数。前期把方案钉死，比测完发现不显著、样本不够再推倒重来省事得多。
一、先写清楚假设，别测”感觉”
“我想让页面更好看”不是假设，”把按钮从灰改红能提升点击率”才是。假设越具体，后面指标和分组越清楚。提示词里逼 AI 把模糊目标翻译成”如果改 A，预期 B 指标变化 C”的形式，测试才有对错可言，否则两组都”差不多”时你没法下结论。
二、样本量和周期是硬约束
样本不够，再明显的差异也显不出显著；周期太短，只覆盖了某类用户（比如只在工作日测）结论就偏。这两个数字要在方案阶段就算好，而不是测到一半发现不够。让 AI 基于你的基准转化率算所需样本，但公式和工具结果你要自己复核，不同工具算法略有差别。
样本量估算有个坑是”用历史最好数据当基准”。基准选得太乐观，算出来的样本就偏小，测完发现不显著又得重来。提示词里要求 AI 用保守基准、并注明”若实际转化更低，所需样本更大”，把余量留出来。周期同理，要覆盖完整的一周而非只看工作日。
三、结果要讲显著性和置信区间
新版比旧版高 0.3 个百分点，可能是真赢了，也可能是噪声。解读时要求 AI 给出显著性水平（p 值）和置信区间，并明确”在置信区间内是否真有差异”。只报”涨了”不报”是否在误差内”，结论不可信。涉及统计判定，请以你当前版本和所用工具为准。
六条可以直接复制的提示词模板
模板 1：假设拆解
这段提示词用来干什么：把模糊目标翻成可测假设。
我的测试目标是【模糊目标，如提升注册转化】。
请帮我拆成【2-3】条可测假设，每条按：
- 改动：具体改了什么（旧版 vs 新版）
- 预期影响：哪个指标、预期变化方向
- 为什么这么预期（基于什么逻辑或过往观察）
假设要具体到能判断对错，不要写"提升体验"这类空话。填好的示例：
我的测试目标是【提升注册转化】。
请帮我拆成 2 条可测假设，每条按：
- 改动：注册按钮从灰改红 / 表单从 5 字段减到 3 字段
- 预期影响：点击率 / 提交完成率
- 为什么这么预期
假设要具体到能判断对错。模板 2：指标与显著度设计
这段提示词用来干什么：定主指标、护栏指标和判定门槛。
针对假设【粘贴模板1的一条】，
请设计：
- 主指标（判断胜负用）
- 护栏指标（不能恶化的，如跳出率、人均时长）
- 显著性水平 α（如 0.05）和预期最小可检测提升（MDE）
- 单侧还是双侧检验，及理由
用大白话解释这些选择，不写代码。填好的示例：
针对假设【按钮改红提升点击率】，
请设计：
- 主指标：注册按钮点击率
- 护栏指标：表单放弃率
- 显著性水平 0.05，MDE 2 个百分点
- 单侧还是双侧检验及理由
用大白话解释。模板 3：样本量估算
这段提示词用来干什么：基于基准算所需样本，数字你复核。
我的基准【主指标】当前值是【如 10%】，预期提升【如 2 个百分点】，显著性 α=【0.05】，功效=【0.8】。
请估算每组需要的样本量，并给出大致测试周期（基于我的日均流量【每天 N 人】）。
说明估算依赖的假设（如方差近似），提示我换工具复核。
不得把估算结果说成"精确答案"。填好的示例：
我的基准点击率当前值是 10%，预期提升 2 个百分点，α=0.05，功效=0.8。
请估算每组样本量，并给出周期（基于日均流量每天 5000 人）。
说明估算依赖的假设，提示我换工具复核。
不得说成"精确答案"。模板 4：分流与分组方案
这段提示词用来干什么：保证两组随机且不被污染。
我要对【页面/功能】做 A/B，流量来源有【如新客/老客、移动/桌面】。
请设计分流方案：
- 分组比例（如 50/50）及是否要分层（按上面维度）
- 如何防止同一用户跨组（基于什么标识去重）
- 怎么处理中途改方案导致的污染
- 观测窗口多长算一次有效曝光
方案要可落地，不依赖你没说的平台能力。填好的示例：
我要对【注册页】做 A/B，流量来源有【新客/老客、移动/桌面】。
请设计分流方案：
- 分组比例 50/50，是否分层
- 如何防止同一用户跨组（基于设备 ID 去重）
- 怎么处理中途改方案污染
- 观测窗口多长
方案要可落地。模板 5：结果解读
这段提示词用来干什么：你给结果，它判断是否可信。
下面是测试结果：【A 组 N1 人、转化率 X1%；B 组 N2 人、转化率 X2%】
结合方案里的 α 和 MDE，请判断：
1. 差异是否统计显著（给 p 值和置信区间）
2. 是否在最小可检测提升之内（还是噪声）
3. 护栏指标有没有恶化
4. 结论：采用/不采用/继续测
明确标注"这是基于你给数据的判断，统计细节请以所用工具为准"。填好的示例：
下面是测试结果：【A 组 5000 人、转化率 10.2%；B 组 5000 人、转化率 10.5%】
结合 α=0.05、MDE=2 个百分点，请判断：
1. 差异是否显著（p 值、置信区间）
2. 是否在 MDE 内
3. 护栏指标有无恶化
4. 结论
标注"统计细节以所用工具为准"。模板 6：A/B 方案自查
这段提示词用来干什么：开测前过一遍常见翻车点。
请检查下面的 A/B 方案：【粘贴】
逐项：
1. 假设是否具体到可判断对错？
2. 样本量是否够、周期是否覆盖完整周期（如含周末）？
3. 分组是否随机、有无跨组污染风险？
4. 护栏指标是否设了？
5. 结果判定标准（显著+置信区间）是否写明？
先给问题清单，再给修改建议。填好的示例：
请检查下面的 A/B 方案：【只测了周一至周三，样本每组 800 人，无护栏指标，结论看"谁高用谁"】
逐项：
1. 假设是否具体？
2. 样本量周期是否够？
3. 分组随机？
4. 护栏指标？
5. 判定标准？
先给问题清单，再给修改建议。四、这套提示词的边界在哪
A/B 测试的结论可不可信，卡在样本量和分流这两道硬关口，AI 只能帮你设计、不能替你保证。它能写严谨方案、算估算样本、解读你给的结果；它替不了的是用工具复核样本量、确保分流真的随机、以及判断显著性是否够。统计判定请以所用工具为准，别把 AI 给的一个样本数当定论。方案写得多漂亮，不如开测前你自己把样本量和分组再算一遍来得实在。
- AI 做：假设拆解、方案设计、结果解读框架
- 你做：复核样本量公式、确认分流实现、拍板上线
- 共同做：看结果时一起确认显著性和置信区间
- 别做：样本不够就开测、只看涨跌不看显著
常见坑
- 测”感觉”不是测假设：目标模糊，结果没法下结论。
- 样本不够就开测：差异被噪声淹没，白测。
- 只看涨跌不看显著：0.3 个点可能就是误差。
- 忽略护栏指标：主指标涨了但体验塌了。
- 周期太短：只覆盖部分用户，结论偏。
小结
A/B 测试方案提示词的核心就一句：先定假设和判定标准，再开测。用模板 1 拆假设、模板 2 定指标、模板 3 算样本、模板 4 设计分流、模板 5 解读结果、模板 6 自查。它省掉的是把方案写严谨的工夫，省不掉的是你复核样本量和显著性的责任——那部分关键数字得你自己核对，别直接信 AI 给的一个数。