更多精彩好文,尽在微信公众号《大数据阶梯之路》
一、前言
大家好,我是Akin,考虑写下这篇文章的时候我已在互联网大数据领域工作了几年,主要是给有意向从事大数据领域的朋友们一个入门引导,从而让你们了解大数据概貌入门,大数据领域下分为哪几块方向,大数据领域各岗位方向关注的技能和能力
。
二、大数据概貌
- 主要特征:海量数据,数据量极大
- 核心思想:分而治之,集群处理大任务拆分为小任务处理
- 技术栈:hadoop、hive、spark、flink、java、kafka、flume、数仓模型设计等等五花八门,框架多,每一个技术栈下都对应有很多要掌握深入的
- 工作方向:大数据数据开发、大数据平台开发、大数据数据产品、大数据数据架构、大数据数据治理
三、大数据领域细分方向
-
数据产品方向
这里的数据产品主要指的是大数据产品经理岗位,一般需要会懂点数仓理论,还需要有大数据平台产品思维。有了数仓理论就能帮助数仓开发梳理业务口径转化为数据口径,有大数据平台产品思维就能更好地推进平台的升级迭代来提升效率 -
数据开发方向
这里的数据开发主要指的是大数据开发工程师的一类,面向数据开发,一般分为离线和实时,对应岗位主要是数据仓库工程师(离线or实时方向),离线方向的日常主要是Hive,实时方向的日常主要是Flink,但不管哪个方向,作为数仓工程师,都要会数仓建设,数据治理,数据管理,数据架构 等等,说白了这个方向就是围绕着数据走,紧贴着业务,所以业务理解也要具备,当出现数据质量问题才能紧随着了解数据场景 -
平台开发方向
这里的平台开发主要指的是大数据开发工程师的另一类,面向平台开发,一般需要Java功底,常见是java后端工程师的进阶转型吧,日常主要是开发大数据相关的平台,与数仓工程师配合一同建设落地大数据产品,开发提供高效的数据平台,比如任务调度平台,元数据管理平台 等等大数据平台的开发工作
四、经验总结
- 关于大数据领域各岗位哪个前景发展好的话,这个我不便答疑,估摸着也不会有人专门答疑这块,我只能说,当你学得好了了解得深了,你就会发现,这些大数据细分方向其实都会有关联,不是说你从事了数据产品你就不需要懂数仓开发,也不是说你从事了数仓开发就不需要懂大数据平台架构,
这些岗位虽说在大厂里分得很细,但实际上又会息息相关的,面试的时候大数据面试官也不会说只揪着你一个方向问
。 - 大数据这个领域,建议是往越大的平台努力靠,小公司数据量不大所以大数据岗不太重要甚至没有,只有大厂会重视大数据带来的价值决策,而且大厂的数据管理体系也有所规范。
同时欢迎大家👏🏻关注我的个人微信公众号《大数据阶梯之路》,未来大数据道路我们一同前行
,有何问题都可与我交流,闲时我都会帮助答疑的。 -
我计划建立一个大数据技术交流微信群
,主要面向高校学生和应届生,也面向其他行业转行or其他编程方向的朋友们,以及正在从事大数据的朋友们,只要有兴趣学习了解大数据的朋友们都可入群,我会在群内分享关于我的原创技术博文,同时也提供一个技术交流氛围互相讨论,共享大数据学习资料,给大家简单答疑大数据职场方向的规划
。 - 一切的入口都可通过《大数据阶梯之路》微信公众号进入,所以务必先关注公众号再按指引获取所需。