ABtest 数据疑问，请 AB 达人进
zorodesign 2014-08-18 12:57:39 +08:00 3204 次点击
这是一个创建于 4077 天前的主题，其中的信息可能已经有所发展或是发生改变。
实现方式
1.随机给用户种cookie 0~99
2.命中0~9的访问 A版本
3.命中10~99的访问 B版本
以下是问题
1.当js跳转方式为先到A版本，然后根据cookie判断是停留在A版本还是跳转到B版本时，B版本的数据优于A版本
2.当js跳转方式为先到B版本，然后根据cookie判断是停留在B版本还是跳转到A版本时，A版本的数据优于B版本
也就是说，先落地到哪个页面，哪个页面数据就差。更要命的是，两种测试差额数据恰好相等，类似数据镜像
各位有没有碰到过？谢谢~
1.随机给用户种cookie 0~99
2.命中0~9的访问 A版本
3.命中10~99的访问 B版本
以下是问题
1.当js跳转方式为先到A版本，然后根据cookie判断是停留在A版本还是跳转到B版本时，B版本的数据优于A版本
2.当js跳转方式为先到B版本，然后根据cookie判断是停留在B版本还是跳转到A版本时，A版本的数据优于B版本
也就是说，先落地到哪个页面，哪个页面数据就差。更要命的是，两种测试差额数据恰好相等，类似数据镜像
各位有没有碰到过？谢谢~
 | 1 lyric 2014-08-18 13:39:05 +08:00  1 信息太少了。这里最后比的是什么指标？ 但是这个A/B测试的方法不对吧。首先测试组和对照组的量要尽量相同。其次跳转方式对不同版本是不公平的。考虑网速很慢的情况，若着陆点是A，即使用户配置是跳转B，也有可能因为加载失败没有机会看到B就滚粗了。 有可能因为网速问题拉低了第一个着陆点的数据，但是不知道你的评价指标，所以没法确定，也许你可以比较一下跳出用户的请求时间。 可以换一个测试方法：先统一跳到一个中间页面，然后读 cookies 跳两个不同页面。 |
 | 2 jobtesting 2014-08-18 13:39:49 +08:00 你这样跳转有问题呀。 如果用户本身是B版本，你的实现无论如何都会从A版本跳到B版本吧。 这样就可以解释你数据相等的问题了。 |
 | 3 zorodesign OP @lyric 指标是当前页面转化率，应该不会受到网速问题的影响，如果没有到达下一个页面，当前页面的tracker也不会发送，这次访问不会被记录 |
| 4 lyric 2014-08-18 15:47:22 +08:00 @zorodesign 如果是页面的转换率，就存在2楼 @jobtesting 说的问题了。 |
Select Language