推荐购买《中台战略-中台建设与数字商业》正版纸质书籍阅读

  数据中台的作用是引领业务，构建规范定义的、全域可连接萃取的、智慧的数据处理平台，建设目标是高效满足前台数据分析和应用的需求。数据中台涵盖了数据资产、数据治理、数据模型、垂直数据中心、全域数据中心、萃取数据中心、数据服务等多个层次的体系化建设。

6.3.1 数据中台功能定位

  数据中台首先应该是一个“业务矿产”，可以汇聚来自不同业务系统，不同数据结构、数据格式的平台；其次，还需要把这些“业务矿产”进行统一化，即统一采集、建模、管理与安全，通过加工与提纯，形成企业的数据资产；最后，加工提纯后的“业务矿产”需要对数据进行服务化，即业务数据化、数据业务化，通过数据业务消费数据，再产生新的矿产。
  数据中台需要实现数据的分层与水平解耦，并具有沉淀公共数据的能力。数据中台可分为3层——数据模型、数据服务与数据开发，通过数据建模实现跨域数据整合和知识沉淀，通过数据服务实现对数据的封装和开放，快速、灵活地满足上层应用的要求，通过数据开发工具满足个性化数据和应用的需要。

  综合而言，数据中台应该具备以下几项能力：

• 数据整合能力：企业在平台上从事各种商业、消费等活动时，每时每刻都在产生海量的数据，数据采集作为数据中台体系的第一环，尤为重要。因此，需要有一套标准的数据采集体系方案，致力于全面、高性能、规范地完成海量数据的采集，并将其传输到大数据平台。从数据来源来看，需要支持日志采集、文件采集、业务数据库的增量、全量数据传输等。
• 数据开发计算能力：数据只有被整合和计算，才能被用于洞察商业规律，挖掘潜在信息，从而实现大数据价值，达到赋能于商业和创造价值的目的。从采集层中获取到的大量原始数据，将进入数据计算与开发中被进一步整合与计算。对数据计算来说，需要提供离线计算与实时计算的能力，提供支撑个性化推荐、智能配补货、销量预测、精准营销等数据应用的算法模型能力，此外，还需要进行数据整合及管理体系。
• 数据服务能力：将数据模型按照应用要求进行服务封装，就构成了数据服务，它跟业务中台中的服务概念是完全相同的，只是数据封装比一般的功能封装要难一点，因为数据分析受市场因素的影响很大，变化更快，从而导致服务封装的难度变大。

6.3.2 数据中台建设范围

数据中台6个子系统

  要建设企业的数据中台需要6个方面的内容。当然，这6个子系统并不完全需要我们从零开始建设，有一些部件在市面上已经有开源的产品或者商业软件。这6个子系统包含大数据平台、智能运维平台、智能研发平台、自助分析平台、智能标签平台以及数据资产平台，前面5部分内容属于工具平台，都是为数据资产服务的。数据资产平台是数据中台的核心部件，它包含按照规范建设的数据分析模型、适用于各种数据赋能业务场景的数据算法模型以及企业通用的数据分析专题。

  数据中台的6个子系统详解如下所示：

• 搭建大数据平台：俗语云：“工欲善其事，必先利其器”，建设数据中台必须先选择一款足够强大的大数据计算平台，用于处理各种格式的数据，同时用来存储企业海量数据。这个平台就像一部高速运转的机器，由各种零部件组成，如：数据采集组件、数据计算组件、数据存储组件。
• 搭建智能运维平台：大数据计算平台，采用分布式架构，有服务各种场景的组件；同时，部署这些组件需要多台机器的集群，少则几台，多则上千台，必须要有一个配套的运维管理平台对服务组件与集群节点进行管理。
• 搭建智能研发平台：搭建研发管理平台的目的是为了在进行数据资产建设过程中快速进行研发，并且降低研发难度，同时，可以更加有条理性地管理建设的数据资产，让数据资产能规范化地对外输出，赋能业务。
• 搭建智能标签平台：标签平台在数据中台体系中占据着举足轻重的位置，尤其是在新零售业务模式下精准营销、精准触达、个性化推荐这些应用场景都需要基于用户、商品的标签来实现。一个成熟的标签平台则可以帮助运营团队快速定义标签、可视化管理标签、快速搭建适合企业的标签体系，以及通过标签平台对外提供标签服务。
• 搭建自助分析平台：数据中台提供的最基本能力就是支撑企业的决策分析以及智慧运营，除了下文将要讲到的标准分析专题，运营部门还需要利用数据中台提供的数据资产进行探索分析。搭建一套灵活强大的自助分析平台非常有必要。自助分析平台的搭建可以选择自建也可以选择集成市面的一些商业套件。
• 建设企业数据资产：企业通过业务在线之后沉淀下来的数据并不能称为数据资产，只有将数据通过数据中台体系化建设，按照主题域进行规范存储、建设统一的数据模型，形成标准的专题为决策分析、赋能业务提供能力才可称为数据资产。

6.3.3 搭建大数据平台

  大数据平台是建设数据中台的基石，搭建大数据平台主要是解决数据采集的组件选型、数据处理的计算引擎选型、各种类型的数据存储组件选型，以及数据作业调度、权限、安全管理组件等问题，保障数据中台中的数据资产可以在平台中有序正常地运转。
  当前在大数据平台建设过程中选择面很宽，不过仍以Hadoop生态圈的技术组件为主，比如数据存储可根据数据类型与用途不同，可选择HBase、Hive、Parquet等组件；数据计算引擎可根据需要选择MapReduce、Spark、Flink等分布式计算引擎；而数据作业调度组件则可选择Azkaban、Oozie、Airflow等各组件；数据权限、安全等也是搭建大数据平台必不可少的环节，开源社区同样提供了Ranger、Kerberos等权限管控组件。

6.3.4　搭建运维管理平台

  运维管理平台提供了界面化操作集群的能力。它帮助开发、运维人员简单快速地搭建和管理集群，同时也对集群健康状态进行监控，并在异常出现时及时作出告警。
  当前云平台服务商及一些第三方Hadoop发行版都提供了运维管理平台。如：阿里云的EMR、Hortonworks的HDP、Cloudra的CDH。

6.3.5　搭建研发管理平台

  数据研发管理平台作为平台工具，从整个数据开发流程上辅助开发人员进行数据中台的建设。其应包含以下能力：数据集成、数据模型、数据开发/算法开发、数据质量、数据服务、数据资产、任务运维等。
  数据集成作为数据中台数据采集层，在数据时效性上提供（准）实时、离线采集能力。在数据源格式上应支持结构化、半结构化和非结构化数据的采集能力。其中，应支持主流关系型数据库CDC日志、SDK上报数据、文件流数据的（准）实时数据采集；支持（非）关系型数据库、文件等数据的离线全量、增量数据的采集。
  数据模型功能，应支持可视化数据模型设计工作，并提供统一管理企业指标口径、数据模型的能力。方便模型设计人员利用维度建模理论构建统一的标准化的数据模型体系。
  数据（算法）开发功能包含实时、离线、算法这3部分的功能开发。
  数据质量管理在数据中台建设中是至关重要的一个环节。它应提供丰富的预警规则，并支持对每个数据模型进行告警规则制定，在数据异常时及时告知相关负责人员。
  数据服务作为数据中台和业务的流转桥梁，其对外提供的服务都必须通过统一的数据服务平台。为了加速数据业务化的过程，需要对汇总后的应用层数据模型进行开放，通过对数据的权限控制、查询路由解析、限流降级等措施提供生成统一数据API的能力。
  数据资产在研发管理平台中，主要是对数据模型和指标等元数据资产从各个维度进行展示，从而很方便地了解到数据中台的建设情况。
  任务运维需提供任务工作流DAG（有向无环图）可视化操作，支持任务多种调度周期设置及运行任务的监控告警能力。

6.3.6 搭建智能标签平台

  智能标签平台帮助企业构建标签体系，生成用户、商品等画像，赋能业务对用户、商品等的精细化运营。标签平台解决了企业以往通过手工写脚本的不灵活、难运维的问题，还能够支持对用户行为过程数据设置标签，丰富用户消费过程行为画像数据。
  标签平台充分整合企业多触点、全渠道数据，支持智能推荐和精准营销等上层数据应用。它具备如下的功能特点：

• 自定义标签：支持运营人员创建客观标签、组合标签。运营人员根据数据运营分析的结果可创建会员价值分类的标签，销售导购可创建消费者来访次数、消费能力等标签。所有运营人员全渠道触达用户，丰富用户标签数据。
• 标签体系：支持多级标签定义，能够查看组合标签体系层级及群体人员明细。
• 客户画像：标签使用客户群体画像生成，支持用户分群选择，也能够对个人画像的属性进行查看。
• 标签使用分析：系统平台定义的标签使用情况统计分析，查看热门标签以及未被使用的标签，优化标签结构。
• 平台开放性：平台定义的标签信息能够作为企业数据资产，提供API接口，第三方系统可以调用标签中心的接口进行标签的管理和应用创新。

6.3.7　搭建自助分析平台

  自助分析平台构建在大数据平台之上，依托于数据平台的数据研发治理能力，通过统一的数据服务，实现对数据分析探索的统一口径和标准管理，为企业业务分析提供准确、高效的数据决策支持。自助分析平台作为可以面向前端的产品，既需要体现数据应用的便捷性以及平台的大数据处理高性能，又需要拥有行业运营分析模型的沉淀，才能和业务更加紧密地结合在一起。同时，对于自助分析平台来说，还需具备可灵活扩展性、稳定性、高可用性等能力。

  自助分析平台，定位敏捷灵活、快速开发的工具，具备如下功能优势：

• 多数据源支持：多种数据源、不同数据类型数据对接支持，轻松解决数据接入对接的多接口开发工作。支持传统关系型数据库（Oracle、SQL、MySQL等）、Hadoop开源架构体系（Hive、Spark、PG等）以及阿里云系列数据库（RDS、ADB等）。
• 多维分析：具备前端系统的交互和分析能力——过滤（Filter）、钻取（Drill）、刷取（Brush）、缩放、关联（Associate）、动态计算（Dynamic Calculation）、超链接（Link）等。能够支持探索式的分析，追溯业务问题的原因，例如：当销售额同环比对比下降，业务分析人员能够根据业务维度下钻到区域—渠道—门店进行销售额的明细对比分析，也能够上钻返回到不同维度（品牌、产品）进行综合因素对比。
• 多图表组件支持：平台支持数据分析人员常用的图标组件类型（饼状图、柱状图、环状图、二维表、交叉表、复杂式表格等），用户只需要绑定、清洗准备好的数据集就能够快速生成可视化报告。对于特殊的图表组件类型支持集成开源组件进行展示，满足用户的多样化需求。
• 多用户权限：平台认证授权管理模块作为系统数据查看安全访问控制的重要功能，能够支持对企业员工进行用户、角色、岗位的定义，全面覆盖人员的一岗多职问题。权限管理能够对系统功能模块、数据源、用户操作、数据报告等进行全部功能读、写的设置，实现不同用户不同功能的使用需求。
• 多并发支持：高性能、高可用性体现，面向业务终端数据查看分析需求，弹性扩展支持。
• 多屏支持：不同业务场景支持，对大屏、移动App、PC报表的分析需求都能全方位覆盖，同时也能支持小程序等应用查看的需求。
    基于以上功能，自助分析平台能够快速有效地帮助企业数据分析师完成业务数据需求。

6.3.8 建设企业数据资产

  大数据平台提供数据资产的计算引擎、存储方式以及数据安全权限管理机制，运维管理平台为大数据平台正常的运转提供保障；研发管理平台提供两部分内容：
  1）提供快捷方便的数据处理工具，涵盖数据进入数据中台的整个生命周期，包含了数据采集、数据清洗、数据聚合汇总、数据对外服务，均可以使用可视化配置或者简单的SQL脚本；
  2）提供数据资产的管理工具，涵盖数据指标体系管理、数据模型管理、数据质量管理、数据血缘管理管理等组件。智能标签平台则是为生成实体标签服务的工具平台；自助分析平台则与数据分析模型对接，让数据分析模型快捷地通过友好的界面展示供业务部门使用。

  数据中台中的数据资产按照功能可分为两部分内容：数据模型和标准分析专题。数据模型又包含了分析模型和应用算法模型，下面就分别讲解如何建设数据中台的数据资产：
  1、数据模型
  数据模型是整个系统建设过程的导航图。
  数据模型有利于数据的整合。
  通过建立数据模型，可以排除数据描述的不一致性，如同名异义、同物异名等，使系统的各参与方能够基于相同的事实进行有效沟通。
  由于数据模型对现有的信息以及信息之间的关系从逻辑层进行了全面描述，当未来业务发生变化或系统需求发生变化时，可以很容易地实现系统的扩展。
  数据模型可以消除数据库中的冗余数据。
  数据模型具体分为分析模型与应用算法模型两大类。分析模型是数据中台的重要数据资产。
  1）分析模型
  企业在搭建数据中台时应如何建设分析模型呢？建议从企业整体业务出发，梳理全量业务进行分层建模，将数据按照功能性、量级分为四层：ODS层（操作性数据）、DWD层（明细宽表级数据）、DWS层（公共汇总数据）、ADS层（专业应用汇总数据）。一般来讲，DWD和DWS两层又合称为中间层，是整个分析模型的核心和灵魂。

分层建模整体逻辑

  ①ODS层（Operational Data Store，操作数据层）
  ODS是“面向主题的、集成的、当前或接近当前的、不断变化的”数据，是分析模型中的一个可选部分。ODS具备数据分析的部分特征和OLTP系统的部分特征。
  ②DWD层（Data Warehouse Detail，明细数据层）
  数据聚合：将来自不同系统的同类数据源按照某种维度进行聚合，形成统一的聚合数据。
  丰富维度：将事实表与维度表进行充分关联聚合后，丰富事实表的维度，避免数据在后续计算时需要关联大量的维度表，将雪花模型转换为星型模型。例如，订单表中存在商品编码，通过商品编码与商品维表的关联，将商品类别、商品规格、商品单价等属性值写入事实表。雪花模型是指当有一个或多个维表没有直接连接到事实表上，而是通过其他维表连接到事实表上时，其图解就像多个雪花连接在一起，故称雪花模型。星形模式是一种多维的数据关系，它由一个事实表（Fact Table）和一组维表（Dimension Table）组成。
  ③DWS层（Data Warehouse Summary，汇总数据层）
维度退化：加强指标的维度退化，提炼出粗粒度的常用维度、常用指标的汇总模型；数据汇总程度高于DWD层，单表数据量明显减少，通常采用星型建模。
形成主题宽表：根据客户、商品、经销商、店铺等实体在某一段时间内的事件轨迹，串联起整体业务，形成全方位的公共基础宽表，通常采用实体建模。例如客户实体，可以通过客户基本属性、客户购物经历、购物偏好、金融风险评级等维度360°全方位形成客户宽表。
  以上两种手段旨在提升公共指标的复用性，减少重复的加工工作。
  ④ADS层（Application Data Store，应用数据层）
  个性化指标加工：无公用性、复杂性（指数型、比值型、排名型指标），通过DWS层的公共基础指标衍生出应用型的衍生指标。
  基于应用的数据组装：大宽表集市、横表转纵表、趋势指标串等应用型数据。

  2）应用算法模型
  应用算法模型是数据中台中的高价值资产，真正体现数据中台与传统数据仓库差异的根本点，有了能贴近应用场景的高度抽象的算法模型才能实现数据中台的价值。
  一般来说，企业围绕营销闭环存在较多的算法模型需求，且解决这些场景的算法模型也比较丰富多样，下面介绍几个最常用的算法模型：

  ①交叉销售模型

  考虑到企业的生命周期和客户的利润贡献，一般会有两个运营选择方向：一是延缓客户流失，让客户尽可能长久地留存，常用的方法是利用客户流失预警模型提前锁定可能流失的有价值的用户，然后由客户服务团队采用各种客户关怀措施，尽可能挽留客户，从而降低客户流失率；二是让客户消费更多的商品和服务，从而更大地提升客户的商业价值，挖掘客户利润，一般是通过数据算法模型找出客户进一步的消费需求（潜在需求），从而更好及更主动地引导、满足、迎合客户需求，既可提高企业的GMV，又为客户提供更友好的购物体验。
  交叉销售模型是指通过对用户历史消费数据的分析挖掘，找出有明显关联性质的商品组合，然后用不同的建模方法，去构建消费者购买这些关联商品组合的可能模型，再用其中优秀的模型去预测新客户购买特定商品组合的可能性。

  实现交叉营销模型的算法有很多，其具体实现原理不是本书讲解的重点，这里不再叙述。这里主要讲解常用的几类算法：
  一是按照关联规则算法，也即通常所说的购物篮分析，发现那些有较大可能被一起采购的商品，对它们进行有针对性的促销和捆绑，这就是交叉销售；
  二是借鉴响应模型的思路，为某几种重要商品分别建立预测模型，对潜在消费者通过这些特定预测模型进行过滤，然后针对最有可能的前*%的消费者进行精确的营销触达；
  三是仍然借鉴预测响应模型的思路，让重要商品两两组合，找出那些最有可能消费的潜在客户；
  四是通过决策树清晰的树状规则，发现基于具体数据资源的具体规则逐层判断客户会对哪几种潜在的商品感兴趣。
  相应的建模技术主要包括关联分析（Association Analysis）、序列分析（Sequence Analysis）以及逻辑回归、决策树等算法。

  ②信用风险模型

  信用风险包括欺诈预警、交易风控、反刷单等在交易场景下的风险预警，风险预警在企业特别是金融行业有着举足轻重的作用。互联网公司获客最常用的方式是补贴，但补贴最怕“羊毛党”。

  ③商品推荐模型

  推荐模型是互联网模式下使用的最广泛的算法模型，淘宝首页上的千人一面、千人十面到千人千面这样的个性化展示均是依赖于商品推荐模型。强大的商品推荐模型可以洞悉客户最关注的商品，最有可能购买的商品。据阿里巴巴内部统计，自淘宝网实现“千人千面”功能以来，从首页带来的流量远高于从搜索页面过来的流量。
  电商推荐系统主要通过统计和机器学习技术，并根据用户在各端的行为，主动为用户提供推荐服务，从而提高网站体验。
  目前，常用的商品推荐模型主要分为规则模型、协同过滤和基于内容的推荐模型。不同的推荐模型有不同的推荐算法，譬如规则模型，常用的算法有Apriori，而协同过滤中则涉及kmeans最近邻居算法、因子模型等。

  ④智能补货模型

  智能配补货模型实现的难点是如何精准预测某一段时间区域、门店甚至某一款商品SKU的销量，而销量预测的难度又在于除了历史的销量、促销活动、行业动态之外还有很多主观影响因素，如天气变化、国家政策等不可抗力因素。

基于销量预测的智能补货算法模型实现逻辑

2、分析专题

  以“人、货、场”为脉络的分析可分别从这三个维度沉淀标准的分析专题，其人货场演进发展大致如下：

• 人：流量、用户；
• 货：商品（除现货外还包括期货、定制商品、虚拟商品等）；
• 场：一切能将人与货匹配，最终实现订单转化的载体或场景，如各类客户端或页面，及其中的搜索、推荐、推送、分类导航、活动专区等。

根据终极目标GMV分解形成专题模块

  电商的最终目标是尽可能获得销售额，根据GMV=用户×转化率×客单价，进一步分解成核心工作模块为新用户促留存、老用户促复购、提高浏览-购买转化率、提高商品动销、提高支付用户及订单量。这些核心工作模块结合“人货场”便可以归纳出基本的电商业务分析模型，包括用户留存分析、海盗模型分析、转化漏斗分析、商品分析、交易分析等：

  1）用户留存分析
  用户留存分析主要包括研究的用户、统计周期的留存率，主要包含指标如下：

用户留存分析指标

  维度按新访问用户、新支付用户、注册来源渠道划分，常用分析周期为7天留存、14天留存以及30天留存。

7天用户留存示例

  通过留存率衰减图，使用者可以快速直观地了解目前产品的新用户留存率水平、留存提升空间，以及用户流失的集中时间段，从而进一步制定留存促提的运营计划。

  2）海盗模型分析
  海盗模型分析又名AARRR模型分析，即Acquisition、Activation、Retention、Revenue、Referral的首字母缩写，分别对应电商业务的获取用户（下载注册）、用户活跃、留存、变现、自传播（分享）等5个产品生命周期阶段如下图：

AARRR模型

AARRR模型的核心指标

  如下图所示，利用海盗模型，漏斗分析业务某一阶段的产品生命周期，结果显示注册——活跃的转化率非常低，说明产品还比较新，用户对内容或者产品业务感兴趣程度很一般，所以此时的运营重点应放在新用户教育或鼓励中，配合优惠策略，促使注册用户活跃。

基于AARRR模型的业务分解结果

  3）转化漏斗分析
  可以通过分析电商用户行为，提炼关键节点数据如访问、加购、下单、支付等，形成转化漏斗分析。

转化漏斗核心指标

  如下图所示为某商品A的浏览-支付转化漏斗图，下单-支付转化率较低，仅有58.62%，对比其他商品显然这环节有着十分大的提升空间，并且若成功转化成支付则可直接提高销售额。针对这个案例，运营部门可通过外呼等强提醒措施，促使已下单的用户支付。

商品A的浏览-支付转化漏斗

  4）商品分析
  主要维度按品类或单个商品展开，具体指标包括如下所示：

商品分析的具体指标

  通过排行榜单，运营部门对本方平台的热款、爆款了然于胸，在做商品活动策划时对商品挑选会更为敏锐及高效。

  5）交易分析
  交易分析最能呈现出一个电商平台的市场竞争力，直观展示平台的营收能力、交易活跃度。

商品和类目销售排行

交易分析的核心指标如下表所示：

  交易分析相比其他专题更讲求时效性，比如在大型活动进行期间，交易数据分析颗粒度需细化到各个时段，如下图所示，可十分清晰地了解到用户在不同时段上的下单分布情况，这对运营活动一天的节奏把握，以及优惠触达时间选择都会有不错的指导意义。

交易趋势分析