A/B 测试 A/B Test
报名页面有两个标题方案时,用 A/B 测试把用户分组,比较哪一版更容易让用户完成报名。
产品与规划约 10 分钟 · 从真实需求理解
1A/B Test 是做什么的?
METRIC · 比较指标报名完成率
DECISION · 结果B · 新版表现更好
A/B Test 是把用户随机分成两组,让他们看到只差一个关键因素的两个方案,再用同一个指标比较真实结果。
- 先确定只改变哪一个因素。
- 再把用户公平地分到 A、B 两组。
- 最后用相同指标比较行为,不凭感觉下结论。
2A/B Test 和普通改版有什么不同?
普通改版通常是直接换成新方案,A/B Test 则在同一段时间保留两个方案,用随机分组和统一指标比较真实行为。
- 一次直接改版很难知道变化是否真的带来结果。
- A/B 测试要提前确定比较指标,并尽量只改变一个因素。
如果同时改了标题、按钮和流程,就很难知道最终差异到底来自哪一处。
3一个 A/B Test 由哪几部分组成?
VARIANTS · 方案A 原版 / B 新版
DECISION · 结论B 版更高
一个容易解释的 A/B 实验,可以拆成方案、分组、指标和结论四部分。
- VARIANTS 说明 A、B 两个只差一个因素的方案。
- SPLIT 说明用户怎样被公平地分组。
- METRIC 说明用什么相同指标比较结果。
- DECISION 说明数据是否支持保留某个方案。
4怎样把 A/B Test 交给 Agent?
请设计一个 A/B Test:只改变报名页面标题,随机分成 A、B 两组,保持流量分配和报名完成率指标一致;实验结束后根据数据决定保留哪一版,不要同时改动按钮和流程。
5不用背,看看你能不能判断
1 / 3
A/B Test 最重要的做法是什么?
请选择一个最符合题意的答案
社区延伸
看别人真实遇到过什么
社区帖子还没有关联到这个词条。