原文标题：Where do Data Science experts exists?
原文链接：https://medium.com/@ansal.gaurav/where-do-data-science-experts-exists-c74d308c4693
原文作者：Gaurav Ansal

创造或产生的信息量或数据量每天都在迅速增加。医疗、零售、资讯科技、咨询，甚至政府机构等多个业界的数据量都在快速增长。这种增长的基本原因是，越来越多的人拥有比以往更多的工具来创建和共享信息。消费者不是唯一的创造数据的人。企业也在产生大量数据。

1.jpeg

在不久的过去，行业和组织在做出关键决策时，很大程度上依赖于猜测。而大数据和数据科学让他们能够浏览大量的信息，并在解决各自行业的问题时感到自信。随着可用数据量的增加，管理信息或数据的问题变得更加困难。为了处理这些不断增长的数据并理解这些数据，需要越来越多的数据科学专家，以便组织能够对其业务做出明智的决策。

由于最近几年数据量的爆发式增长，全球数据科学专家的数量也在增加。所以，问题来了，如果数据科学专家的数量逐年增加，那么专家们在哪里存在，比例又是多少呢?

本文我们将尝试用2011-2018年Stack Overflow的调查数据来寻找答案。多年来的调查数据可以在这里找到。Stack Overflow 是一个每月都有大量的活跃用户的在线技术论坛。利用调查结果，我们可以发现一般软件工程师社区以及数据科学社区的见解。在这次分析中，我使用2011-2018年 Stack Overflow 开发者调查的数据来了解数据科学社区的增长情况。

一般来说，数据科学社区包括“数据库管理员”、“商业智能专家”、“数据仓库专家”、“机器学习专家”、“数据科学家”和“具有统计或数学背景的开发人员”。

本文分析了全球不同国家、不同行业和不同规模公司的数据科学社区增长的比例和趋势。

因此，我们可以先问自己以下几个问题:

1. 从2011年到2018年，数据科学社区的增长趋势是什么?
2. 数据科学社区在哪些国家发展?
3. 近年来各国数据科学社区的发展趋势是什么?
4. 数据科学社区在哪些行业增长，占多大比例?
5. 近年来，不同行业的数据科学社区的发展趋势是什么?
6. 在哪种类型公司(小型、中型和大型)中，数据科学社区增长了?比例是多少?
7.近年来，不同规模的公司在数据科学领域的增长趋势是什么?

以上问题的答案均以调查数据为依据。让我们逐一回答这些问题。

1. 从2011年到2018年，数据科学界的增长趋势是什么?

image.png

从那以后，数据爆炸越来越多。为了从每天产生的新数据中进行处理和推断，全球每年都在创造越来越多的数据科学工作。

2. 数据科学社区在哪些国家发展?

image.png

从美国拥有硅谷时起，它成为了大型软件和IT组织、银行、金融和保险公司、医疗服务提供商、教育机构、更好的基础设施的领军者和技术家园，并始终处于技术和IT先进程度的顶端，这些行业及其创建的日常服务仅在美国就创建了大量的数据。因此，与其他国家相比，美国需要更多的数据科学专家，这是具有指数增长合理性的。

印度一直是美国IT服务供应商国家中很重要的一部分，美国与印度具有相同份额的IT工作量。与美国一样，印度在上述各个领域也有自己的一套数据科学要求。因此，印度正在创造大量的数据科学机会，也在引领印度数据科学社区快速增长。

德国、英国以及其他排名前六的国家也是如此。大量的数据被创造出来，为了处理、保管和理解这些数据，每个国家对数据科学专家的需求也在快速增长，但是根据每个国家的需求和市场的不同，需求增长的速度也不同。

image.png

从上方的可视化图中，我们可以观察到排名前十的国家的数据科学社区的增长趋势，但现在是按某个国家历年的比例（或百分比）来衡量的。因此，对于每个国家来说，2011年专家的比例最低，之后专家的比例上升，直到2018年，专家比例达到最大值。因此，对于每个国家而言，在8年的时间里，2011年是数据科学社区所占比例最低的一年，2018年是所占比例最高的一年，8年时间里每个国家所占比例之为100%。

此外，比例的增长是指数级的，这与这些国家近年来以指数方式制造的数据是一致的。我们可以清楚地看到，每一个拥有数据科学专家的排名前十的国家都有相同的模式，即多年的指数增长，但他们的速度不同。

3.近年来各国数据科学社区的发展趋势是什么?

image.png

• 在2011年，并不是所有排名前十的国家都在使用数据科学。大多数国家的数据科学专家比例为0，只有美国、英国、澳大利亚和德国等少数国家有数据科学的存在，而美国在前10名的所有国家中占有50%的数据科学专家份额。
• 美国的份额每年都远远超过其他国家。2011年，美国在数据科学专家中所占的比例约为50%，并且逐年在不同国家的数据科学专家中所占的比例都在提高。2018年，美国拥有有数据科学专家数量约38%的份额。
• 随着时间的推移，其他国家也开始使用数据科学，占其他国家的比例从0上升到20%。
• 不同国家的数据科学专家群体增长率不同，特别要说的是印度，从2011年的0增长到2018年的18%左右。
• 德国的份额也有所增加。澳大利亚在几年间逐渐失去了它的份额。英国先是有所增长，但随着时间的推移，这一比例略有下降。
• 自从其他国家开始拥有数据科学社区的份额，美国失去了一些它在数据科学社区的份额，但仍然保持所有这些年来最高的百分比。

2011年，使用数据科学的国家份额差异较大，这一比例差异逐年减小，到2018年，国家之间的份额差异变得更小。这意味着排名前十的国家中，每个国家都在使用数据科学。但根据需要、需求和市场的不同，每个国家使用数据科学的份额也有所不同。

4. 数据科学社区在哪些行业增长，占多大份额?
综合2011-2018年各年份的数据，在2017年和2018年的调查中，没有关于个人所属行业的数据。因此，以下推论基于2011-2016年的调查数据。

image.png

从上面的可视化结果来看，几乎所有的行业都或多或少地使用了数据科学，主要应用于软件产品、金融和银行业、咨询、医疗和教育行业。此外，从可视化结果中我们可以看到，最多数据科学专家的行业对应的是 “Other”，这表示Stack overflow的调查中没有使用数据科学的行业。“Other” 可以指各种行业，如：各种类别的研究、医药、制药、电子商务、建筑、运输、保险、旅游和酒店、公用事业、自然资源和能源等。

在现在这个轻科技时代，所有行业和组织都被数据淹没，数据正以指数级的方式被创造出来。因此，数据科学正以不同的比例被各行各业所使用，因为数据科学会产生更明智的决策。

image.png

• 从上图中我们可以观察到数据科学专家排名前十的行业中数据科学社区的增长趋势。我们可以看到，“Other” 引领了增长趋势，其次是软件产品、金融/银行等。这里的 “Other”行业也可以看作是指各种研究、医药、制药、电子商务、建筑、运输、保险、旅游和酒店、公用事业、自然资源和能源等行业。
• 数据科学社区在软件产品和金融/银行业呈指数增长趋势，在咨询、教育、医疗保健领域的增长也呈上升趋势，但相较之下速度较慢。
• 互联网、政府、媒体/广告和制造业也有上升趋势，但只是在2014年之后，而且与其他行业相比，增幅非常小。
• “Other”是许多其他行业的组合，其上升趋势最大，因为它结合了“Other”类别中每个行业的趋势。因此，我们不能得出“Other”的确有最大的上升趋势的结论。

好吧，使用数据科学的行业的上升趋势就像指数一样，它与跨行业的数据也在以指数的方式被创造密切相关。行业内数据的创造和交换的增加意味着，行业需要更多的数据科学专家来保管和处理数据，以数据为参考，从而在不同的行业中为各自的业务做出更好、更明智的决策。根据每个行业的需要、需求、地理位置和市场，数据科学专家的需求以不同的速度增长。因此，2014年之后，几乎所有行业都在使用数据科学。

5. 近年来，不同行业的数据科学界的发展趋势是什么?

image.png

从上面的图中，我们可以观察得到以下结论：

• 在2011年，并不是所有排名前十的行业都在使用数据科学。10个行业中有3个行业的数据科学专家比例为0。
• 2011年，软件产品在数据科学界的份额最高，为30%，其次是咨询和金融/银行业，各占20%，这3个行业占数据科学专家份额的70%。其余30%的份额中，其他行业和教育行业各占10%，医疗和制造业各占5%。
• 直到2013/2014年，媒体/广告，互联网，政府才开始占有份额。

随着时间的推移，前十大行业的数据科学社区所占的份额也在不断上升和下降。多年间这些行业所占比例的差异越来越小。

• 从那以后，其他行业也开始有了自己的份额，软件产品、咨询、金融/银行业在数据科学领域的份额逐年下降。
• 从图中我们还可以看出，数据科学专家所在的“Other”行业，可能是指各种研究不同、药品、医疗、电子商务、建筑、运输、保险、旅行和酒店、公用事业、自然资源和能源等的增长超过了其他行业。在2011年之后，该行业一直位居前两位。这意味着数据科学在许多其他行业中得到了应用，而不仅仅局限于少数行业。

2014年以后，各个行业在数据科学的使用上保持了一致性，各行业的数据科学专家份额约为3%至18%。

2011年使用数据科学的行业份额差异更大，而且这一份额差异逐年下降，2018年，行业份额差异变小，这意味着前十大行业中的每一个都在使用数据科学，但根据每个行业的地理位置、需求和市场的不同，所占份额也有所不同。

6. 在哪种类型的公司(小型、中型或大型)中，数据科学社区增长了?比例是多少?
由于Stack Overflow在2014-2015年间没有与公司规模相关的数据，我们使用了2011-2013年和2016-2018年两个时间段来推测不同规模公司的数据科学专家的趋势。此外，对于这两个时间段，行业规模的类别也有所不同。
下图是2011-2013年的观察结果:

image.png

这里小型企业是初创企业(1-25人)和成熟小企业(25-100人)的组合，中型企业是指中等规模(100-999人)，大型企业是指财富500强(1000+人)，我们可以作如下陈述：

1. 小型企业拥有35%的数据科学专家份额，中型企业占29%，大型企业占36%。

2. 2011-2013年中型企业拥有数据科学专家35人，略低于小型企业的42人，大型企业的43人。

因此，在2011-2013年，如果我们将初创企业和成熟的小企业视为小型企业，2011-2013年数据科学专家在不同规模企业中所占的份额分布大致相同。

以下是2016-2018年的观察结果:

image.png

从以上对2016-2018年不同规模公司使用数据科学比例的可视化结果我们可以看出，2016年到2018年期间，小型公司（0-499名员工）拥有的数据科学专家远远超过中型公司（500-4999名员工）和大型公司（5000–10000+员工）。数据科学专家在小型企业中的比例是65%，中型企业和大型企业中分别是16.47%和18.22%。

因此，大部分数据科学专家位于小型企业(1-499名员工)和超大型企业(10000+名员工)，两者的份额之和为79%，其余21%的份额位于其他公司(500-9999名员工)。因此，数据科学专家要么在小型企业工作，要么在超大型企业工作。

与2011-2013年相比，2016-2018年期间，小型公司的数据科学专家份额有所上升，而中型和大型公司的数据科学专家份额有所下降。

下面可能是它发生的潜在原因：

• 到2016年，数据科学已经出现了面向未来的新技术。因此，现有的小型公司开始聘请越来越多的数据科学专家，就像大型公司在2011-2013年所做的那样，以便处理和保管不断增长的数据，并能在各自的业务中做出明智的决策。
• 由于数据科学对全球各个行业都产生了巨大的影响，具备处理各行业数据科学需求能力的新的初创企业或小型公司纷纷涌现出来，它们聘请了具有数据科学技能的高素质专业人才。这些初创企业愿意为数据科学专家提供高待遇，因为这些小型组织知道，他们将从这些招聘中获得回报和收益，因为数据会以指数方式增长，对数据的服务的处理、保管和理解的需求也将增加，从长远来看会使小型企业受益匪浅。这导致了与2011-2013年相比的小型企业中数据科学专家数量的增加。

自2016-2018年以来，小型企业的数据科学专家份额逐年上升，而中型和大型企业中数据科学专家的比例有所下降。

7.近年来，不同规模的公司在数据科学领域的增长趋势是什么?

image.png

1. 2011年，初创企业(1 - 25人)和大型企业(1000+员工)在4个类别中垫底，2013年，初创企业(1 - 25人)和大型企业(1000+员工)在4个类别中垫底。

2. 同样,2011年,成熟的小企业(25 - 100员工的)小尺寸的企业和中小企业员工(100 - 999)的前两类在4 2013年,这些都是底部两个在4类

3. 随着时间的推移，初创企业(1-25人)和大型企业(1000+人)的数据科学专家所占比例呈上升趋势，而中小型企业(25-100人)和成熟小企业(100-999人)的数据科学专家所占比例呈下降趋势。

大型公司拥有更多数据科学专家的一个潜在原因是，大型公司正在进行研究和开发，并对未来几年将更有生产力、更高效和更广泛应用的技术抱有愿景。由于大型公司已经知道每天的数据创建量将呈指数级增长，所以他们雇佣了更多的数据科学专家，以便更好地处理和照顾数据，并在各自的业务中做出明智的决策。另一方面，很少有创业公司是由一群志同道合的人创办的，他们预见到数据科学成为未来技术的潜力，并在2011年至2013年期间开始聘用数据科学专家。中型企业也聘用了数据科学专家，但专家的数量出现了上下波动。
此外，在2011-2013年期间，数据科学专家的数量要少得多。因此，大型企业拥有罕见的数据科学技能集的数据科学专家的负担能力更强。初创企业是或将可能是由数据科学专家自己创办的，因此他们不得不在初创企业中雇佣志同道合的数据专家。因此，大型企业和初创企业的数据科学专家数量有所增加。

此外，与其他规模公司相比，大型组织拥有巨大的数据，因此对数据科学专家的需求更多地来自大型公司，而不是其他规模公司，因此大型公司比其他规模公司雇佣了更多的数据科学专家。而对于初创企业来说，由于他们的形成只是由于未来数据科学的巨大潜力，所以更多的数据科学专家被雇佣到初创企业中。

以下是2016-2018年的观察结果:

image.png

从上面的可视化，我们可以观察到以下-

1. 中小企业(0 - 9,10 - 19,20-99,100-499人)呈逐年上升趋势，中型企业(500-999,1000-4999)、大型企业(5000-9999,10000+)呈逐年下降趋势。因此，从2016-2018年开始，不同规模公司的小型(1-499人)数据科学专家所占比例逐年上升，而不同规模公司的中型(500-4999人)和大型(5000-10000 +员工)数据科学专家所占比例逐年下降。

2. 2016-2018年，超大型企业(10000+员工)在不同规模企业数据科学专家所占比例中，仍处于前4位。
   总结
   因此，从所有问题的答案中，根据2011-2018年Stack Overflow survey的数据，我们可以说-

• 随着数据以惊人的速度增长，注意这一点是明智的——我们不能忽视数据革命。
• 在数据高速增长的背景下，对数据科学专家的需求也在快速增长，但根据每个国家和行业的需求、需求、地理位置和市场的不同，对数据科学专家的需求也在以不同的速度增长。
• 数据科学专家主要分布在美国、印度、德国、英国、加拿大等国。
• 几乎所有行业都在或多或少地使用数据科学，主要应用于软件产品、金融和银行业、咨询、医疗和教育等行业。
• 到2018年底，不同规模的公司中，小企业(0-499名员工)和特大型企业(10000多名员工)的数据科学专家所占比例最大。
• 虽然在某一时刻，数据爆炸可能会开始放缓，但事实是，企业和消费者每天都在不断地创造新的信息。对于所有行业来说，这都是提供数据科学项目的机会，企业需要创建、存储、管理和分析手边的大量数据。

完整的分析代码可以在这里
(Github地址）找到。