一种更好的产品优化方法:策略优先级评分模型 PXL Model
如果产品正走在正确的发展道路上,产品经理可能有一大堆a /B测试的想法在自己的排期计划中。一些是好的想法(有数据支持或仔细分析的结果),一些是平庸的想法,还有一些属于不知道如何评估的想法。
我们不能一次测试所有的东西,而且我们都有有限的流量。所以你应该有一个优先模型,来考虑所有这些想法,先测试最有潜力的想法。另一些愚蠢的东西一开始就不应该进行测试。
有很多模型可以用来确定优先级,虽然我们发现它们很有用,但是每一个模型都有这样或那样的不足之处。所以最好有一个兼容性更高或者说能够适用大多数项目,而且也方便使用者自定义内容的一种模型。
现有的优先级模型有什么问题?
如果您从事优化工作的时间超过...一分钟,那么您可能听说过一些优先级框架,最受欢迎的两个往往是:
- PIE framework
- ICE framework
这两种框架都很有用,但都有类似的缺陷。
PIE framework
PIE框架可能是转换优化领域中最广为人知的。它包括三个变量:
- 潜力——在页面上可以做多少改进?
- 重要性——页面的流量有多大?
- 易用性——在页面或模板上实现测试有多复杂?
唯一的问题是,每个变量的标准都有太多的解释余地。如何客观地确定一个测试想法的潜力?
如果我们事先知道一个想法有多大的潜力,我们就不需要优先级模型了。或者举个例子,如果你是一个大团队中的一员,并且你想要推动你的想法通过,为什么不附加一些关于潜力的观点(因为这是一个主观的数字)?在理想的世界中,框架将消除主观性。
此外,很难客观地把容易度和重要性放在同等重要的位置。
ICE Score
ICE Score是growthhacker在项目中默认的优先级框架,由growthhacker创始人Sean Ellis发明/推广。
其要点如下:
- 影响-如果这是有效的,会有什么影响?
- 自信——我有多大的信心能做到这一点?
- 容易——什么是容易实现?
我们可以用它来管理增长的想法。但如果我能猜到影响会是什么,我为什么还要测试它呢?
在这方面,它与PIE框架有类似的问题,但除此之外,它还存在“我对这个想法有多自信?”再说一遍,我们怎么能事先知道呢?
正如你所希望的那样客观和“基于经验”,在这里得到一致和客观的评价几乎是不可能的。同样,如果你真的想要追求这个想法,也很容易产生偏差。或者即使我们真的试着尽可能准确地给测试想法打分,三分中的两分都是关于“直觉”的。
ICE (version two)
还有另一个ICE框架,这也是一个缩略词,代表:
- 影响-可以在销售增长、成本节约等方面进行衡量。任何对公司有利的事情。
- 成本——很简单,实现这个想法需要多少成本?
- 努力——有多少资源可用,这个想法需要多少时间?
这个ICE框架在评价事物的标准上更加具体。这也缩小了范围:你只能给1或2分,这取决于你认为机会是“高”还是“低”。然后你把所有的数字加起来,就得到了总分。你根据这个数字做出决定。
用这样的二元尺度,可以避免集中趋势的误差。更小的反应量表也会使事情更准确,“任何时候,当你放大屏幕去看高分辨率的数据时,这可能是一个信号,表明这些数据毫无意义。”
这是一个更好的,但它仍然不是完美的-潜在的影响仍然是相当主观的。你可以有很多想法,都得到3或4分。那你怎么区分优先级呢?
介绍:PXL框架
策略优先级评分模型有3大优点:
1.客观的评价潜力或影响力
2.培养有数据基因的团队文化
3.客观的建立易于实施决策的评分
一个好的测试想法是希望最终的结论能够实现对用户行为的影响。因此,这个框架不是猜测影响可能是什么,而是向用户提出一组关于它的问题。
- 改动点是否在首屏?首屏的改动会有更多人注意到,因此增加了测试产生影响的可能性
- 这种变化在5秒内就能察觉到吗?→展示给同一组人看控制版本(原版),然后看多种修改后的版本,5秒后他们能分辨出来吗?如果没有,影响可能会更小
- 它添加或删除了什么吗?更大的改变,如消除干扰或添加关键信息,往往会产生更大的影响
- 测试是否在高流量页面上运行?对高流量页面的相对改进会带来更多的绝对收益。
如果我们所拥有的只是关于测试内容的讨论意见,那么优先级就没有意义了。对很多改动点的考虑都需要你把数据放在桌子上,以确定假设的优先级。来自意见的想法得分较低。
PXL模型要求每个人提供数据支撑:
- 它是否解决了用户测试中发现的问题?
- 它解决了通过定性反馈(调查、民意调查、访谈)发现的问题?
- 这一假设是否得到了鼠标跟踪热图或眼球跟踪的支持?
- 它是否解决了数据分析得出的洞察结论?
- 每个人每周都会就这四个问题进行讨论,很快就会让人们不再仅仅依赖于自己的观点。
数据是幻觉的解药--阿利斯泰尔·克罗利和本杰明·约科维茨(Lean Analytics的作者)
可定制性 Customizability
所有组织的运作方式都不一样,不能简单的认为相同的优先级模型对每个人都一样有效的。
构建这个模型的信念是,使用者可以,并且应该根据对业务重要的内容定制变量。
举个例子
也许你是在和一个品牌或用户体验团队打交道,这个假设中“符合品牌准则”是非常重要的。需要将其作为变量添加。
也许你的产品主要通过SEO从搜索引擎获得客户。又或者你的收入主要来源于特殊的人群。因此,您可以添加一个类别,如“不干扰搜索引擎优化”,这可能会改变一些标题或文案的测试。
重点是,所有组织都在不同的假设下运行,但是通过自定义模板,您可以计算他们,并优化您的优化程序。
PS:请在”全栈用户体验“公众号内回复”pxl model“获取汉化版excel.
本文暂时没有评论,来添加一个吧(●'◡'●)