一共有五个模块, 它们的先后顺序是绝对不可以随意打乱的。这五个模块分别是一是对对照组基线进行锁定。二是进行单变量隔离测试。三是设置严格的样本量硬门槛。四是明确数据回收的操作周期。五是从灰度环境向全量环境进行切换操作。我们首先要讲一个反常识的现象。

在百分之九十二的tiktok广告主那里, 把测试组的投放效果做坏了。造成这种情况的原因并不是因为他们创作的广告内容太差。而是因为在对照组还没有跑完预定的样本量之前, 他们就提前关停了实验。接下来我会严格按照上述顺序来拆解这些模块。每个模块的说明都要写到可以实际应用并执行落地的程度。

[01] 从底层的逻辑层面进行剖析的话, 测试组存在的核心意义其实就在于“比较”这一行为, 如果没有一个非常稳定的基线作为参照物, 那么也就根本不存在可供比较的对象了。

因此, 具体的操作手法是取过去14天时间里ROAS数值达到最低值的那一条计划, 并将其直接设定为对照组, 随后将出价方式、定向包还有时段分布这三项关键参数全部锁定住, 并且要让这些数据在随后的48小时里面保持完全不动的状态。

[02] 准入的标准是这样的, 对照组一天的消耗数必须不小于总账户一天消耗的百分之三十, 如果低于了这条线, 那么信号的噪声比就没有办法用了。

[03] 操作步骤如下, 你需要到Ads Manager这个平台里边去进行操作, 具体的办法是将那个对照计划的状态设置为Paused, 千万不要设置成Off, 这样做的原因是为了能够把学习周期里产生的这些相关数据都保留下来, 防止这些数据遭到清除或者被抹掉。

[04] 等到四十八小时过后, 我们去查看一下对照群体的roas波动情况, 如果发现这个数值大于零点三, 那么就说明基础线状态不稳固, 这时候就必须选择重置操作。

[05] 所谓的底层逻辑, 其实就是说一次只能去动一个变量。具体来说, 创意、定向、出价、时段这一堆东西里面, 你要进行四轮一击穿的测试, 从四个里面选出一种来进行调整, 这里有个硬性规定, 就是禁止组合测试。

[06] 准入条件是这么规定的, 测试组和对照组这两个组别之间, 只允许在一种维度指标上存在差别。而且这个差异的程度是不能超过这个维度取值范围的百分之二十的区间界限的。

[07] 当你要进行新建计划这个操作的时候, 请从对照组那里进行复制。你需要做的仅仅是修改目标这一个字段的内容。对于其他的相关参数, 请务必一项一项地仔细核对, 确保它们之间的一致性是没有问题的。

[08] 在进行验证工作的时候, 需要在广告投放结束后的第四个小时这个时间点去拉取两组数据来看一下它们的花费速率, 如果计算出来的偏差数值超过了百分之十五的话, 就要立刻对投放行为进行暂停处理, 可是这个操作方案里面其实是存在一个隐藏变量泄露的问题的。

[09] 底层逻辑就是样本量不够, 最后得到的结论就是噪声。在置信度为百分之九十五、效应量为零点五、以及α等于零点零五的这些条件下面, 单组最低限度是需要260个转化事件的。

[10] 关于准入的条件是, 在测量小组与对照组合计的转化数据尚未达到少于五百二十这个数值之前, 绝对禁止进行任何认为结果已经超出预期的判断。

[11] 具体的操作方法是, 利用后台提供的Estimated Reach数据来反算所需要的天数, 如果发现时间超出预算周期, 那么应该采取缩小定向包的方式来扩大样本池, 从而避免提前下结论。

[12] 先是要去验证一下, 等到了指定的期限以后, 就去做那个卡方检验, 如果得出来的结果里边的p值还是大于零点零五的话, 那就宣布这一轮是无效的，然后就直接进到下一轮。

[13] 关于底层逻辑这一层, 我们需要看到这样一个情况, 就是TikTok的学习期有72小时这这么一设定。这个设定它是一个硬物理约束, 并不是说我们主观能改变的。在学习的阶段, 也就是在这72小时之内发生的数据表现, 它们是没有任何统计意义的。

[14] 进入这个规则的要求是, 那个能够回收的时间窗口, 得统一设置为在投放完成之后的第3天开始算起, 然后要连着有7天的时间, 这样加起来一共会有96个用来切分的数据片段供你使用。

[15] 操作流程是这样安排的, 就在每天的上午08:00这个时间点, 把ROAS、CPA以及CTR这三个数据指标给提取出来, 并且把它们写入到共享表里面去, 然后等到第七天的时候再拿去计算差值显著性。

[16] 判定条件是ROAS的差值大于等于百分之12，并且CPA的降幅大于等于百分之8, 这两个条件同时满足之后, 才会触发模块⑤。

[17] 关于底层逻辑这件事儿, 得明白一个道理, 那就是全量切换这一步, 它是放在最后才去做的操作, 与此同时, 灰度期扮演的角色, 就是一个用来保障安全的那种阀门装置。

[18] 在准入环节当中, 如果测试组连续3天都达到了达标标准, 那么预算就会从对照组那里被等比例地蚕食掉一部分, 最终变为对照组占70%、测试组占30%的这个比例。

[19] 操作的流程是这样, 在完成切换之后, 要在72小时这个期间里进行操作, 每过12个小时就要检查一次整体的ROAS指标, 一旦发现数据回落超过了5%, 那么必须立刻进行回滚操作, 把系统的配置改回到切换之前的状态。

[20] 我们要进行验证操作, 如果回滚触发率低于1次每个季度, 这属于正常情况。如果该比率高于2次每季, 那就说明模块④的阈值需要向下调整修改。

你要对认知进行纠偏, 千万不要再去问哪一个创意的效果更好。你需要想一想真正的问题是什么, 就是在一个测试样本量还没有达到满额的时候, 你当时看到的那些效果上的差别, 会不会只是一个随机产生的波动呢?

有相关的实证案例支持这个观点, 有一个卖三维到C数码电子产品的商家账户, 按照上面提到的五个模块来执行, 一共跑完了十二轮这样的测试。结果发现这一轮测试的时间周期从原来的十九天压缩到了九天, 整个测试阶段花的钱总共降低了百分之四十一点。

如果你的品类的客户平均每个订单的花费要超过两百块钱, 或者是让用户完成购买需要的步骤多于三个的话, 那就更要重视这个问题了。样本量的门槛需要做一下调整, 把数值增加到每组四百人以上, 模块三的参数需要重新计算一次, 然后把账户的结构发上来, 需要在四十八小时之内给出一版定制化的阈值表格。

相关标签：