自从阿里提出“数据中台”的概念以后,很多企业开始谈论自己的数据中台规划,采集大数据,管理大数据,借助数据中台,将大数据能力变成企业的核心竞争力,推动企业数字化转型,用数据驱动商业的创新和发展,成了当前一种潮流。大数据产业从业者应当充分思考数据中台战略对业务带来的潜在影响,创新业务运营模式,否则可能会落后于竞争对手。
前言
笔者认为,数据中台更多的是业界在大数据平台发展到一定阶段后的一种思维升级,大数据平台是一种“技术优先”的思维,而数据中台则是“数据优先”的思维,广义的数据中台,不仅包括了在大数据平台基础上,已经沉淀的采集、计算和存储能力,统一规划的数据治理能力,还包括长期积累下来的一些可复用度较高的技术组件和数据产品。
结合笔者的实践,以及梳理了网络上一些企业开展大数据工作的案例,对于大数据企业如何构建符合自身发展的数据中台,这里给出一些建议。
奉行数据优先策略,建立全局数据思维,用数据说话
信息产业高速发展下,数据为王的时代已经到来。随着数据在商业运行中重要度日益提升,“数据即资产”已经成为当前主流的产业趋势和思维方式。在以往的信息化规划中,人们经常会以TOGAF、Zachman、FEAF等主流企业架构(EA)框架为参考依据,规划适合自家企业的信息化架构,其中数据架构在所有规划工作内容中重要度并不突出,人们更关注功能架构和应用架构,它们关系着信息化工作的成果:要实现哪些功能?要建设哪些系统?而谈到数据架构时,有哪些数据就存储哪些数据吧,最多给它们定义一下数据分类和分布。而当下,形势不同了,数据成为王者,数据的作用被提升到了企业的“宝藏”地位。数据架构也开始被优先考虑,其内涵得到了极大的扩充,数据标准、数据模型、主数据、参考数据就像一把把打开宝库的钥匙,被赋予了重要的权力。
数据不再仅仅是对历史事件的刻画,而变为驱动企业业务创新的关键。随着互联网企业对其它各行业的冲击,加剧了市场的竞争程度,许多企业面临收入增长放缓、利润空间逐步缩小的局面,过去单纯的外延式增长已经难以为继。因此,必须向外延与内涵相结合的增长方式转变,未来效益的提升很大程度上要依靠企业的内部挖潜实现,这从客观上对企业的创新能力提出了更高的要求,而提升企业内部数据管理的精细化水平,是企业开展业务创新重要基础,能够为企业创造巨大效益。
用数据说话,数据即智慧。大数据一个很明显的特点就在于其多维属性,全方位的数据是企业开展营销、争夺优质客户的关键。数据已成为企业最核心的隐形财富,谁掌握了准确的数据,谁就能获得更多智慧,就易于获得商业先机。在当前竞争日益激烈的市场上,企业如何在不同的细分市场上开展精准营销、争夺优质客户,如何选择竞争策略,每一笔资金的来源与利用,每一次经营管理决策的制定都越来越多依赖于全方位和准确的数据。
业务价值为导向,业务场景为抓手
数据中台能力的构建,需要全局规划和重点突破相结合。重点突破的点,就在于对于选取的核心业务需求,数据中台能给予强大的支撑,能够尽可能缩短数据准备时间,快速响应业务需求。因此,数据中台建设,必须坚持以业务价值为导向。通俗来说,就是业务需求驱动,以服务业务为最大出发点,汇聚数据,沉淀能力,最终为业务带来价值,并且随着业务的发展,积累更多数据,持续优化数据中台能力。
数据是商业运营过程的沉淀,脱离了业务场景的数据中台,更容易变成另一个大数据平台或数据集市。想让数据中台产生全局的影响力,最大化业务价值,必须从规划阶段充分与业务结合,从业务场景的视点出发去考虑数据的采集、存储、计算、管理等问题。
不能与业务结合的大数据项目终将被淘汰,企业管理者经常问到的一个问题是:“这些数据,对我开展业务有什么价值?”。数据中台之所以重要,就在于它加速了业务需求响应,随着数据中台能力逐步夯实,企业开展业务创新周期也将大大缩短,进一步还可以帮助企业开展基于大数据的运营和决策,在商业竞争中抢得先机。
数据治理:高质量和安全的大数据,才是好的大数据
企业的信息化系统,经过多年建设,积累了大量的数据,如今,对于数据治理的需求日益强烈。监管机构希望企业能更加清晰地了解数据,对它进行有效的管控;企业管理层希望理清数据资产,降低数据应用的复杂性,对企业进行更高效的管理;企业员工也开始认识到数据的重要性,更多地采用数据驱动的方式来开展工作。数据治理正迅速发展成一种企业核心策略,只有做好数据治理,让数据更加准确完整,并且安全合规,才能释放出数据的无限潜能,挖掘出更多有价值的数据应用。
但现实情况是,企业内部不同系统、不同部门的数据放在一起,就会发现各种口径不一致、编码不一致、同名不同义、同义不同名、数据冗余、业务逻辑错误、数据安全不可控等问题,这就是所谓的数据孤岛化。数据虽然很重要,但要从数据中发现价值进而驱动业务创新,开展数据治理才是当下最关键的工作。
在对大数据的应用和实践中,确保数据质量和数据安全是最基础的底层保障。大数据要对外提供服务,就会涉及数据的质量和安全防护,数据质量管理,是指针对数据的改善和管理,主要包括了业务规则的设定、数据质量稽核、数据质量评估、数据质量告警等内容。数据安全防护,包括了对数据进行脱敏管理,对敏感信息的风险评估、使用监控,对数据的泄露检测,数据库保密检查等。想要更好的利用大数据,需要保证各种来源数据的高可用性,如何确保这些数据的安全性与保证用户数据的隐私性是数据质量之外又一个重要问题。
融合:大数据,不仅仅是用来分析的
在大型商业科技企业信息化系统规划中,大数据平台的前身,是交易密集型系统,如计费系统、客服系统、营业系统、渠道管理系统、ERP系统等。随着数据增多,数据的集中存储、分析需求提上日程,单纯用于离线数据处理(ETL)、数据挖掘(Data Mining)、数据分析(OLAP)、报表应用目的的数据仓库、数据集市、商业智能(BI)系统出现,称之为数据分析型系统。进一步发展后,随着Hadoop、Spark、NoSQL等大数据技术加持,数据分析型系统升级为大数据平台。
大数据平台,可以认为是一种增强的数据分析型系统,其服务定位与传统数据分析型系统并没有太大区别。数据中台的提出,从功能定位上与大数据平台有了很大的差异,它不仅支持大数据分析应用,还被认为是企业在线交易处理类应用的后台保障。以往的在线交易处理类应用,关注的是当前的数据、交易量、响应速度、结构化数据、数据库表等,而数据分析类应用则更关注历史数据、数据量、处理效率、非结构化数据、数据趋势分析等。有了数据中台,这两类不同的数据应用模式开始走向融合,无论是交易密集型业务,还是数据分析型需求,都希望能基于统一的数据中台能力,随时能够按需获取数据。
未来的应用系统,不需要再明确划分属于交易密集型还是数据分析型,借助数据中台能力,同一个应用,既能够具备在线交易能力,又可以提供历史数据分析能力。未来在面向业务交易的系统中,集成数据分析能力,一站式支持业务决策制定,能够帮助业务运营人员增强业务洞察力,更好开展客户维挽和营销推荐等工作。
数据中台的下一站:数据智能化
基于大数据,人工智能技术为现代商业带来的颠覆性的影响已越发明显。大数据为人工智能发展提供了基础资源,人工智能技术的核心就在于通过计算找寻大数据中的规律,对具体场景问题进行预测和判断。想要训练出成功的人工智能算法,需要运算力和大量的数据,其中最重要的就是数据量要足够大。除了数据量足够大,大数据还需要通过采集、清洗、标注等处理工作后才能够作为人工智能算法模型训练的输入,但目前在实际应用中,数据流通不畅、数据质量不高和数据安全风险等问题仍然极大制约着人工智能的发展和应用。在这些方面,数据中台能够为人工智能发展和应用提供可靠的支持。
阿里数据中台是基于其OneData体系建立的集团数据公共层,从设计、开发、部署和使用上保障了数据口径的规范和统一,实现数据资产全链路管理,并提供标准数据输出。基于阿里数据中台输出的生意参谋产品,是阿里巴巴首个统一的商家数据产品平台,为中小企业商家提供数据披露、分析、诊断、建议、优化、预测等多项数据服务。
数据中台的下一站会走向何方,数据智能化可能是一个必选项。数据智能化,是指基于大数据技术,通过大规模机器学习和深度学习等技术,对海量数据进行处理、分析和挖掘,提取数据中所包含的有价值的信息和知识,使数据具有“智能”,并通过建立模型寻求现有问题的解决方案以及实现预测等。从上面阿里案例可以看出,阿里建设数据中台的意义,一方面是为了管理好内部现有的数据资产,另一方面则是为了提供基于大数据的预测分析产品。也就是说,企业建设数据中台,通过开展数据治理,对数据进行规范化和标准化,提供高质量和安全的数据给人工智能应用,基于大数据最终提供智能化服务,以此实现了大数据的价值。
结语
未来,数据中台将可能成为大型商业企业的标配。利用数据中台能力,企业可以快速响应业务需求,降低数据分析人员工作量,提高信息部门工作效率,实现业务的流程化,自动化,智能化。企业通过建设数据中台,真正做到对大数据,能够全局统筹规划、打破内部壁垒、盘活数据资产、深挖数据价值,对内对外提供统一的智能化数据服务,在AI时代里进一步提高竞争力。
来源:《通信企业管理》