实验与增量验证

看到改动后转化率上升，并不能说明是改动带来的：季节、投放、价格与人群构成都可能同时变化。对照实验在同一时期安排不同条件，借助合理分组估计如果没有改动会怎样。NIST 实验设计说明强调先明确目标并写好计划，再收集用于判断的数据。

本文讲通用设计与解释边界；广告创意测试另讲素材探索、拍卖和点击诊断。实验也不能弥补无法解释的采集差异，主指标先通过口径登记与数据质量判断。

先确定比较的对象

版本A与版本B比较的是两个方案；投放与留出组比较的是有无这项投放的差异。两版广告都在投放，即使B胜过A，也没有回答全部广告相对于不投放的增量。

Google Ads 的Conversion Lift说明用接触与不接触该广告的对照测量增量，并区分用户与地区研究；是否可用须核对账号资格。Shopify Experiment则把加入rollout的改动与这些资源的当前状态比较。这些产品例子说明比较对象，不能替代对实际分组、分析方法和适用条件的核查。

把假设变成一份可执行计划

以下是本站编辑框架。只写“希望转化更高”还不足以启动。

例如“仅向符合条件的既有顾客提供新补充装推荐，预计提高每位入组顾客的净商品收入，同时不增加不可接受的退款”，仍须补齐资格时点、金额与退款窗口。不能在结果不利时把主要指标改成点击率，或只选最终购买者重新比较。

随机单位与固定分组

随机分组不意味着两组样本完全相同；它是一种减少系统性选择差异的设计。执行时检查分配比例、资格、追踪与版本是否按计划生效。若人数偏离预期，先查分流和采集证据，不通过事后删掉多出的人来“修平”。

同一顾客多次访问时，如果计划要求固定分组，应由稳定分配键保持版本，并记录无法保持的情形。Google实验方法文档区分按搜索随机与按cookie分配：前者允许同一人多次搜索看到不同版本。cookie也不等于跨设备的自然人身份。

分析单位要与设计一致。按地区分组时，不能把地区内每次点击都当独立随机样本；按顾客分组时，重复订单不会自动变成更多独立顾客。正式结果通常沿原分配关系分析，未点击或未购买者也应按预设规则保留，避免选择干预发生后才出现的人群。

用不同组规模复算一次

下面是虚构的简化演算：合格顾客在干预前随机分入投放组或留出组，两组都按各自入组后同样的完整窗口观察；每人是否有至少一次有效购买只计0或1，身份与分组无缺失。它不代表任何平台内部估算器，也没有统计显著性证据。

观察差为6% − 5% = 1个百分点，相对差为1% ÷ 5% = 20%。把留出组比例应用于投放组规模，基准为1,200 × 5% = 60人；投放组对应的增量点估计为72 − 60 = 12位购买者。不能直接算72 − 40 = 32，也不能把12称为增量订单或净利润。

这个点估计还需要与设计匹配的不确定性分析、执行核验与护栏共同解释。实际平台可能使用加权、建模或地区估算，必须按其方法读数，不能拿这张两比例表替换平台统计。

样本、停止与不确定性

样本量取决于基线、可检测差异、随机单位及波动；观察周期还受星期结构、购买与退款延迟影响。本页没有可通用套用的人数、天数或显著性门槛。流量和预算不足时，把结论定位为探索，不能承诺确认微小提升。

事前约定结束与收数时间；没有预设序贯分析方法时，不因每天查看后某次领先就提前宣布胜出。追踪故障、异常超支或护栏受损可以触发停测，但应记为中断与原因。若中途换版本或规则，保留记录并重新判断可解释性，不能悄悄删除不利日期。

读结果时同时看效应大小、区间、样本与业务代价。区间同时容纳有用改善与不可接受损失时，应报告证据不足；没有检出差异不等于两个方案等效。多版本、多指标或事后切分人群也会增加挑到偶然结果的机会，须使用对应方法，或把发现另记为待确认假设。

NIST的p值定义是在零假设及检验模型成立时，观察到至少同样极端统计量的概率。ASA声明明确它不是假设为真的概率，也不衡量效果大小。因此不能把p = 0.03翻译成“新方案有97%的概率有效”，更不能只靠越过某条线决定经营动作。

无法随机时，结论怎样收窄

前后比较可以描述变化，但必须检查季节、价格、缺货、渠道构成与测量版本；同期地区对照也需要检查原先趋势、促销差异、地区流动与相互影响。地区可以成为随机单位，“按地区”本身却不证明已随机。

不能随机且未建立可信的替代识别设计时，报告写“上线后观察到变化，同时存在这些替代解释”，保留比较依据与未知项，不写“活动造成增长”。若要用准实验估计因果，需要另行论证其假设和敏感性；不能靠多列几个控制变量就自动获得随机实验的解释力。

最终交付应包含计划、设置快照、执行偏差、原始分组读数、分析方法、区间与决定。归因报表继续说明功劳分配，实验说明特定设计下的效果，两者在营销复盘中各自保留身份。