国内数据分析“七宗罪”
每一个做过调研的人,都会惊讶于中美两国在大数据分析理念和客户心态上的巨大差别。
“企业数据分析,中美在理念方面相差2-3年,而在实际执行层面或许有5年左右的差距。”美国数据分析科学家、Taste Analytics创始人及全美五大可视化研究中心的Derek Wang(汪晓宇)博士表示。
目前,国内的企业级客户在进行大数据分析时,仍以分析结构化数据为主,而对于内涵丰富的非结构化数据,市面上并没有有效的工具进行分析。
同时,在进行结构化数据分析时,仍采用了“招标+外包”的传统模式,即需要大数据分析服务的企业按照历史经验首先建立自己的数据分析KPI(关键绩效指标),然后将整个数据分析任务外包给第三方大数据公司,经过数月的时间后,大数据公司将数据分析的结果返还给甲方企业。
Derek Wang博士表示,这种数据分析的模式,会产生以下几方面的问题,这些问题也正是目前国内的CIO/CTO们颇为头痛的问题。
-
首先,错过了内涵丰富的非结构化数据。相比结构化数据,非结构化数据对企业同样重要,而目前,国内企业在进行非结构化数据分析方面仍在初始阶段。
-
第二,KPI非数据驱动生成,缺乏科学性。国内大数据KPI的制定常常以人为经验为准,而不是由数据驱动并且实时生成的,这就有可能造成KPI常年不变,并且缺乏科学性。
-
第三,数据分析过程冗长。国内企业在进行大数据分析时采用“招标-乙方返还数据分析结果”的方式,整个周期少则也需要1-2个月的时间,往往返还回结果时,企业内部的相关数据已经完全改变了。
-
第四,浪费了企业内部的分析师资源。采用外包的方式,其实完全浪费了企业内部的分析师资源,从经济效益上很不划算。
-
第五,数据安全性无法保障。外包的另一个问题就是数据的安全性问题,企业想确保数据以安全的方式交予第三方大数据公司,往往需要耗费额外的时间和经济成本。
-
第六,数据分析结果不能与企业经济效益直接挂钩。国内企业在进行数据分析时,不仅往往需要数月的时间,而且常常为了分析而分析,分析完之后并不能很好地将分析结果运用到企业经济效益的改善上。
-
第七,第三方大数据公司分析能力有限。企业看似将数据分析的重任交予了第三方公司,但第三方公司由于缺乏动态、数据驱动的数据分析工具,它其实也是在按照经验制定KPI和进行数据分析,这样分析出的结果难言科学有效。
对此,业内受访专家表示,目前国内企业陷入的数据分析困局,一部分是理念问题,而更多的是技术的制约以及工具的缺乏。“比如对于非结构化数据,其实每个企业都是非常渴望分析,并且希望实时分析的,但目前仍苦于在公开市场上没有好用的分析平台。”
文章来自:51CTO
微信名:
HadoopSummit
微信ID:
hadoopinchina
中国Hadoop技术峰会是亚太地区举办最早、规模最大、影响力最广阔的大数据盛会。
Chinahadoop.com是China Hadoop Summit的内容网站。
HadoopSummit是Chinahadoop.com的微信发布平台。