科技资讯媒体ITFEED

首页 电商 互联网 硬件 创投 生活

数据误读,比没有数据更可怕

网友

  无论是按照图1所示的hub模式,还是图2所示的有BI系统参与的hub模式。业务部门都面临着很大的风险。一方面,前面我们说了,hub本身存在资源和响应的矛盾。另一方面,数据误读比没有数据更可怕。

  电子商务业务部门更强调业务能力,因此在数据的分析和解读上,能力相对较弱。与传统零售行业不同,传统零售的BI系统和分析团队往往经过了超过10年的进化,因此早已形成体系和一套具体的方法。电子商务虽然也属于零售业,但很显然,这些公司要年轻太多,让业务部门拿到数据后,自己去做分析和评估,是困难的。我最大的担忧,在于数据分析事实上容易变成一个粗暴简单并不断被“自以为是”的经验所干扰的工作。即使在做了很多的案例之后,我仍然认为,我没有哪一次没有被主观的感觉影响过判断,直到有更多的数据充实上下文才可能避免不客观的分析。而业务部门在拿到数据后,因为时间的压力和数据分析经验的缺乏,他们容易在短时间内得到结论,但误读数据,并进而造成这个结论背离事实的情况是时有发生的。而且,业务部门背负业绩压力,他们可能在一开始就主观上倾向于让自己不那么客观。

  我曾在心里默念,对于数据应该常常怀着敬畏的心,因为简单粗暴适用于网络营销,但绝对不适用于营销分析。数据误读,我记得派代上有一位专家专门写了一个帖子探讨,我不能同意更多,甚至也有完全相似的例子。如果你只是那么一点点粗心,或延续了“简单粗暴”的办法,那些数据中给你揭示的细微的差别,你可能会忽略,而这些差别可能会让你得出完全不一样甚至是相反的结论。

  例如下面的这个例子:

  对于下面两个图的数据实际上是完全一样的,可是,两个图给你的心理上的感觉却是完全不同的。


图3:利润趋势(1)


图4:利润趋势(2)

  尽管数据一样,但图3和图4用了不同的数据显示区间(Scaling)。由图3得出的结论,是利润在近期剧烈的波动,而图4的结论则是利润在近期平稳维持在低位。这两个结论并不能简单说明它们正确与否,取决于实际的商业环境。例如,如果你的生意平常一天是1000以上的利润,那么显然图4给你的结论更有参考意义,你应该探求为什么最近的生意几乎停滞了。

  但是,如果你的生意一天的确最多不超过100的利润,那么图3更有价值。而且你可能会觉得,利润数据还不错,这几天还有明显的上涨的趋势。不过,或许你还是不能高兴的太早。下面这个图(图5)和图3在利润上的数值是完全一样的,不过增加了另一个数据项:收入(蓝色点)。


图5:利润和收入趋势

  你可以看到尽管利润上升了,收入上升的趋势更为显著。这意味着,我们的利润增长并没有收入增长的快。或者换句话说,我们的投资回报率(ROI)下降了。因此利润虽然上涨,但完全不值得我们高兴。我们反而应该检讨,为什么效率降低了。

  数据的误读很多时候并非是故意的,而是跟经验有关。这些经验在于两点,第一点,对于数据的运算和把握。例如,合理建模,合理的数据可视化(Data Visualization),以及对工具合理的应用。第二点,在于对于业务的准确把握――做到看数说话,与实际业务几无偏差。第二点是建立在第一点的基础上的。如果第一点出现了一些问题,或是没有技能,或是没有经验,第二点便会遭殃,即使对于业务有很好的感觉和清晰敏捷的头脑,也会为数据所累。

  来看另一个真实的例子。

  我的朋友Johnny,他在为在美国销售某一个商品而投放Google AdWords的广告。这个商品的利润额在2011年每个月的表现如下图所示:


图6:Johnny全年每月SEM投放利润情况

  很显然这个商品的生意出了什么问题,有必要找出原因。

  利润下降,要么是收入减少,要么是支出增加,要么是二者同时发生了。从支出上看,每个月的支出变化不大,而且实际上,当利润降低的那些月份,支出反而也是略有降低的。那么很明显,收入下降是造成利润下降的主要原因。收入为什么下降呢?

  很快,他们找到了一个相当有说服力的数据关系:当SEM关键词的平均排名下降了之后,销售收入也非常明显的下滑。如图7所示。


图7:销售收入和关键词平均排名的关系

  现在,假设一个情景:有一个非常非常缺乏经验的初级SEM专员,他很可能给出的结论是:利润降低,是因为收入降低,而收入降低,是因为关键词排名降低,因此我们需要提升关键词排名,以获得更多收入提升利润。

  你当然相信这个结论是简单粗暴,并非反映事实。事实是,关键词排名升高,当然会获得更多的点击从而获得更多的销售额,但成本同时也会提高。所以,这个结论并不一定是正确的。于是,更有经验一些的SEM专员,会继续坐下来寻找下一个关系,如下图8所示。


图8:利润和关键词平均排名的关系

  这个图简直是上一个图(图7)的翻版,只是一个是收入,一个是利润,数据的比例尺不同而已。看起来,利润和关键词平均排名的关系和收入与关键词排名的关系也非常一致。现在,我们可以放心大胆的得出结论――我们应该提升排名,以获得更多的利润!

  于是他们提高了出价,提升了排名,并且在2012年1月份的这几天,得到了结果――利润不仅没有升高,反而更加下降了――甚至某些天是负的,尽管关键词的排名又重新回到了3位左右。

  之前数据反映了某种似乎确定无疑的关系,但按照这种关系行事,并没有带来预期的结果。

  我们必须承认,SEM投放是一个复杂的策略过程,并且因为瞬息万变的外部环境(竞争对手的出价),而造成最优化的出价方式总是动态的。

  上面的例子,Johnny认为原因很简单,这个商品的关键词投放可能已经遇到了瓶颈,因为外部的环境发生了变化。Johnny查看了其他的数据(我们当然不能忽略其他数据的关系),例如,CPC(Cost Per Click)数据,Johnny发现在这12个月中,CPC的变化并不大。CPC没有明显变化,而排名在逐渐降低,说明竞争对手在不断增加出价,这样,相同的投入情况下,排名降低,收入减少,利润减少。如图9。


图9:CPC(出价)没有太大变化,但排名却一落千丈

  可是,增加出价后,我们解决了一个问题,却带来了另外一个问题――出价增加,收入增加,同时成本也上升了。由于竞争环境的影响,要达到以前的排名,所出的价格甚至是之前价格的3、4倍。因此,虽然收入增加,但成本上升的更可怕,利润空间被压缩的非常厉害。

  由于这个商品60%的销售都是由一个最主要的词(大词)带来(这是我之前没有揭示的一个线索),也许我们可以因此得出另一个结论:大词的ROI表现日益下滑,因此或许应该拓展其他的词,例如长尾词,从其他的竞争不大的词上找机会。

  不过,从目前的情况看,这个商品的长尾词并没有多少流量,它仍然依赖于大词的表现。所以,我们认为,这个商品本身的市场环境已经发生了变化,高ROI的好日子过去了。现在的策略,是在微利的情况下生存,尽量更精细化更实时的优化,保证不亏损,并着手开发新的商品。

  或许这个SEM的例子并不是一个非常典型的例子,因为SEM的分析仍然是相对结构化和流程化的。我们通过BI的建模完全可以自动化,但如果没有好的BI系统(事实上因为百度的原因,国内的SEM是很难真正的BI化的),那么这些工作需要人来完成,需要有经验的、相当数量的人来完成。SEM是数据分析的较为特殊的类别,相对而言,其他的运营分析,则更不具有预先的结构化和流程化,例如对EDM营销(或数据库营销)的研究,需要大量的测试;对一次campaign或是promotion的销售预测,需要很有经验的分析师;或是对于商品生命周期的研究,需要精通零售的数据挖掘专家。这些都不是运营简单粗暴能够实现的。

  所以,人们渴求数据,尤其是运营部门。但人们却很容易面对数据变得焦虑和不信任。我常常会听到这样的反馈:“数据是错的!”――我相信永远没有他所希望的正确的数据。无论是数据误读,还是根本数据就是数据,从来没有转化成有价值的信息,都意味着反面的效果,甚至,还远不如根本就没有数据。

  因此,数据驱动的企业文化的要件,除了对数据有渴求,除了对数据有“使能”,还需要对数据正确的解读。

  我们需要从组织结构上保证数据能够被正确解读,或者至少是尽可能的被正确地解读。

2012-6-3 11:52:49

发表回复(等你坐沙发)