广告创意测试：从素材差异到可解释的判断

广告创意测试要回答的是：在定义好的投放条件下，某个创意变化是否值得采用。素材报表中的第一名未必回答了这个问题，因为它可能得到不同的受众、展示位置、竞价机会和曝光频次。

下面的测试框架是本站编辑建议，Google Ads 用来说明具体分配机制，不代表所有平台采用同一实现。

先区分探索和对照

创意探索可以同时尝试演示、顾客证言、场景故事等多个方向，用有限投入筛选值得继续研究的候选。它允许差异较大，结论应是“这个组合值得复测”，不能据此确定究竟是哪句文案或哪张图片有效。

单因素对照只改变一个事先写明的创意要素，例如把标题的功能描述改为使用场景，保持价格、优惠、落地页和其余素材一致。如果同时更换受众、标题和优惠，测到的是整个方案的差异，不能拆成三个独立结论。

探索阶段选出的候选，最好用新的流量做确认测试。不要在同一份数据里反复挑赢家，再把筛选结果当作未经选择的验证结果。

平台自动优化不等于随机分组

Google Ads 的广告轮播说明写明，Optimize 会结合搜索词、设备、地点等信号，优先让预期表现更好的广告参与拍卖。素材因此不是简单地接受相同机会，其点击率差异可能混入分配差异。

同页也说明，Do not optimize 是让广告更均衡地进入拍卖，不保证最终曝光相同。因此，既不能把平台自动偏向的素材称为随机实验赢家，也不能仅凭两条素材各有一万次曝光，就断言测试公平。

需要可解释的对照时，先核验实际分组机制。把两条广告分别放进两个独立广告组，不自动构成随机实验。

随机的单位决定结果能解释什么

Google Ads 实验方法说明区分两种分流：search-based 在每次搜索时随机分配，同一用户多次搜索可能看到两组；cookie-based 则让同一 cookie 对应的用户尽量看到同一版本。这不能扩展为“同一个自然人跨设备永远只在一组”。

测试计划应记录分流单位是用户标识、cookie、搜索机会还是地区，并使用与设计匹配的分析方法。同一人重复曝光并不等于新增多个独立的人；不能直接把曝光次数当作独立用户样本量。重复看到两版、跨设备或其他活动展示同类素材，也可能让组间差异被稀释。

尽量固定受众资格、地域、时间、出价策略、预算规则、版位范围和落地页。这里要求的是条件一致，不是事后强行让两组花费相等。Google 自定义实验说明明确指出，即使设置 50/50 流量，拍卖排名、素材及出价仍会影响最终曝光与花费。

创意改变后赢得了不同的拍卖机会，本身可能是效果路径的一部分。结果应解释为“在这套投放机制下的创意方案表现”，不能声称测出了剥离拍卖环境的纯文案效果。

点击、购买和成本可能给出不同排序

以下是演算口径的假设汇总，不包含随机分流或显著性证据。两组采用同一观察窗口，只计回连到对应组点击的购买订单，每笔订单去重且不跨组重复归属，不含浏览后转化。

B 的点击率高 1 个百分点，但购买订单更少、每笔购买成本更高。若目标是购买，不能仅凭点击率采用 B；也不能凭这张小表宣称 A 的真实效果已被统计证明。

这里的点击后订单比是诊断读数，不是购买用户概率，也不是站内会话转化率。点击发生在分组之后，创意会改变谁愿意点击；只挑点击者比较购买情况，不能代替对原始实验分组的完整效果分析。

先选主要指标，再看辅助信号

测试前选定一个主要判断指标及其业务方向，例如平台实验支持的购买转化成本；写清转化动作、计数方式、归因窗口、币种和退款处理。点击率可作为诊断，但不能在购买结果不利时临时改成主指标。

同时保留花费、购买总量、订单价值、取消或退款、投诉等护栏。购买成本降低但订单价值明显下降，仍需重新评估。不要把点击目标、收入目标和利润目标混成一个“素材质量分”。

转化与退款会迟到，收数时间应在计划中写明；较新的点击不能与已完整观察的点击混用。若平台只提供汇总实验结果，应保留其口径和局限，不从曝光表伪造用户级统计。

没有结论也是一种结果

样本是否足够取决于基线、希望检测的差异、分流单位和数据波动，不存在本页可直接套用的曝光量门槛。没有检出差异，不能写成“两版一样好”。

NIST 的多重比较说明提醒，反复进行多组成对比较，整体显著性水平通常不再等同于一次比较。多素材、多指标和大量人群切片，应预先限定确认比较或采用相应统计方法；事后发现的方向先作为探索记录。

本站建议预先确定结束、判定和异常停测规则，不因某天领先就停测，也不在落后时随意延长。预算超限、追踪故障等需要停止时，记录为中断，不能把中断时的领先者包装成胜者。具体计划见规划一次广告创意对照测试。