巨量引擎AB测试案例分享及解析

作者:zhoujie | 分类:竞价推广 | 浏览:673

ABtest,是从FB和谷歌开始流传的一种测试方式,特点就是尽量排除少数人的主观判断,通过对比得到的数据反馈来做决策。此次案例是笔者去年帮助广告主优化投放的案例,优化原则只有一个:不做自己认为对的事,只做机器算法能做对的事。


优化背景


位置:今日头条信息流


系统:安卓


游戏名称:魔域口袋版


游戏包大小:250M


A:原始计划


B:基于A优化的计划


投放执行:笔者本人


A计划缺陷


A计划创意缺陷:创意素材只有一套 


巨量引擎AB测试案例分享及解析  信息流 第1张

A计划投放缺陷:一开始投放就进行精准选择


巨量引擎AB测试案例分享及解析  信息流 第2张


由于系统标签和人主观判断是有区别的,而且竞价有不确定性,因此不宜在开始时设定的过于精确,不然会导致几个问题:后续没有好的优化空间,受众过小导致投放缓慢,数据反馈不够准确有偏差


A计划预算缺陷:


巨量引擎AB测试案例分享及解析  信息流 第3张


设置广点通和百度竞价式的预算,如几百或几K。在百度和广点通,不论设置多少预算,理论覆盖的都是全平台用户,但对今日头条的广告系统而言,新账户和新计划投放时,如预算过少,会无法迅速提高账户权重,导致的最大的问题即预分配的流量少(理论覆盖的流量只是全盘流量的一小部分),出现消耗很缓慢的情况,当一个计划每天只消耗几十或几百时,不论效果好坏,其实都是不准确的,因为流量过于分散,用于分析的数据模型也不够统一。


B计划优化


B计划创意优化


巨量引擎AB测试案例分享及解析  信息流 第4张


增加创意,如素材缺乏,则增加文案,最大效果在于提高广告计划的CTR,进而提升eCPM=竞争力,在APP客户端获得更好的展示排名和流量分配。笔者个人观点,只要产品不是垃圾,抢量比一味降成本重要的多。


B计划投放优化


巨量引擎AB测试案例分享及解析  信息流 第5张


不做限制,当计划的展示量达到一定量级后,可根据受众分析中的数据反馈获得准确的用户兴趣图谱,其中,受众分析的生成需要展示量达到万级才会有受众分析,另外,进行优化调整的拐点建议在广告计划起码达到1000000次展示后,毕竟只有量够大,投放效果才会趋向于真实值。而现在今日头条的新分析工具——兴趣关键词,可以做到比兴趣标签更细的粒度,其效果也比兴趣标签的选择更为显著。


B计划抢量优化


巨量引擎AB测试案例分享及解析  信息流 第6张


为了便于做对比,出价与A计划相同,预算提升到100000(如IOS则提升到200000),由于今日头条对每条计划是分段式分配流量,且频控较多,因此实际效果不可能有这么高,顶多到1万,高预算的目的在于快速提升权重,快速获得流量(也是快速得到靠谱的数据反馈),让广告计划拥有稳定和优质的eCPM,为继续投放打基础。


ABTest 投放效果对比 


巨量引擎AB测试案例分享及解析  信息流 第7张


其中,由于A计划展示量很少,因此15.84的下载成本是不准确的,对250M的游戏包而言,B计划的成本接近真实情况,下一步的优化即以获得低于8.16的下载成本为目标,但尴尬的是,广告主当时没预算了。

B计划进一步优化

B计划进一步优化策略——进行APP行为定向

巨量引擎AB测试案例分享及解析  信息流 第8张


B计划进一步优化策略——细化投放地域等


巨量引擎AB测试案例分享及解析  信息流 第9张


B计划进一步优化策略——细化兴趣标签(当然现在更简约细化兴趣关键词)


巨量引擎AB测试案例分享及解析  信息流 第10张


B计划进一步优化策略——创意调整,删除CTR低,下载率低的素材


巨量引擎AB测试案例分享及解析  信息流 第11张


B计划进一步优化策略——成本和预算


如对每天的量需求不大,或整体推广预算有限,可以将广告计划预算降低至5万或以下,出价由于每天消耗和展示较为理想因此可以不做调整,暂时保持在1.2

巨量引擎AB测试案例分享及解析  信息流 第12张