许多公司将拆分测试纳入其数字营销计划，以便在对其网站实施更改之前从用户那里获得真实反馈。优化团队的任务是确定主要 KPI（关键绩效指标），并围绕 KPI 制定策略以随着时间的推移对其进行改进。大多数情况下，拆分测试的结果都不确定。并且，当实验结果为“平淡”或中性数据，无法提供明确的“赢家”或“输家”时，就会出现不确定的结果。当实验结果不确定时，这些结果可能有很多原因，也有很多有价值的信息可以为您的下一次迭代提供参考。
本文深入探讨了导致不确定结果的可能原因、如何处理不确定的测试结果以及如何使用有价值的数据来指导下一组实验迭代。
实验已经进行了相当长一段时间，
但结果却没有任何改善。所有关键指标都持平——现在该怎么办？别担心！虽然乍一看，实验似乎是在浪费时间和资源。但事实并非如此。事实上，事实恰恰相反。收集到的数据中有很多很棒的信息。
分析已收集的数据的第一步是对其进行细分。根据不同的细分仔细检查数据将揭示更多信息，这些信息将有助于生成迭代。如果测试重新 列表到数据 排列了产品详细信息页面的显示方式，请按设备细分数据。查看台式机、移动设备和平板电脑的数据。移动用户浏览变体的方式与台式机用户浏览页面的方式在指标上是否存在差异？
分割数据的另一个重要步
骤是确保已从结果中过滤掉异常数据。这是一个非常重要但经常被忽视的步骤。删除异常值对于正确分析数据和使实验达到统计显著性至关重要。下图很好地详细说明了实验中统计显著性和异常值的重要性。如果不从实验中移除异常值，可能会产生错误的结果。如下图所示，当异常值被移除时，通常会导致回归到平均值，这可能被归类为“不确定”的结果。虽然我们可能没有“赢家”，但这对于理解此类测试对网站和用户的影响仍然至关重要。
消除外界影响和偏见
在审查不确定测试的数据时，分析师需要确保没有其他外部因素可能影响测试结果。外部影响会对实验结果产生重大影响。促销、销售和特价等影响都是在实验期间引入的可能影响结果的因素。如果实验中使用的同一款产品正在销售，除非您在没有销售的情况下进行相同的测试，否则无法知道对结果的影响。
排除组是避免数据交叉污染的另一种方法。排除组是实验者在同时进行多个实验时保持数据清洁的一种方法。排除组有助于确保用户不会 销售发电机有限责任公司总经理 接触多个实时实验，以维护数据完整性。通过创建排除组，您可以决定应为每个实验分配多少流量，最重要的是，保持数据分离。
使用定性分析工具
许多优化专家将使用定量分析工具和测试平台来测量每个实验的数据。这是一个了解实验进展的良好开端。它使您能够根据收集的数据做出明智的决策。然而，通过整合 定性分析工具，可以更进一步。定性分析工具的一个例子是用户行为工具，它可以记录实验变化中的用户。一些测试平台包含此功能，这是一项非常有价值的补充。分析和数据只能说明这么多，但观察用户如何与测试交互的能力却是无价的。这些用户记录可以揭示测试失败的原因或不确定的原因。当然，分析数据也会显示这些结果，但记录将提供另一层数据来填补空白。
例如，我们进行了一项测试，在结账的最后一步添加一个粘性的“提交订单”按钮。假设是，如果在最后一步添加一个粘性的结账按钮，它将增加“下订单”的点击量，增加购买量，并增加收入。
团队分析了数据，查看了
有助于说明问题的细分和其他变量，但没有明显的迹象表明为什么这个测试没有定论。查看变体的用户记录后，似乎大多数用户都点击了固定的“提交订单”按钮，因为它位于订单详细信息旁边。用户喜欢确认他们的订单——查看正在购买的商品，
确实，不确定的测试结果会让人沮
丧重要的是要知道，这些结果对于构建测试路线图来说极为常见且具有建设性。不确定的结果为实验者构建成功的测试铺平了道路，这就是为什么人们可以说这些类型的测试与成功的测 A/B 测试结果不确定 – 怎么办？ 试一样重要。下次出现不确 手机号码 定的测试时，请兴奋起来，因为拐角处肯定会有金块！