大数据领域入门引导篇

更多精彩好文,尽在微信公众号《大数据阶梯之路》

一、前言

大家好,我是Akin,考虑写下这篇文章的时候我已在互联网大数据领域工作了几年,主要是给有意向从事大数据领域的朋友们一个入门引导从而让你们了解大数据概貌入门,大数据领域下分为哪几块方向,大数据领域各岗位方向关注的技能和能力

二、大数据概貌

  • 主要特征:海量数据,数据量极大
  • 核心思想:分而治之,集群处理大任务拆分为小任务处理
  • 技术栈:hadoop、hive、spark、flink、java、kafka、flume、数仓模型设计等等五花八门,框架多,每一个技术栈下都对应有很多要掌握深入的
  • 工作方向:大数据数据开发、大数据平台开发、大数据数据产品、大数据数据架构、大数据数据治理

三、大数据领域细分方向

  • 数据产品方向
    这里的数据产品主要指的是大数据产品经理岗位,一般需要会懂点数仓理论,还需要有大数据平台产品思维。有了数仓理论就能帮助数仓开发梳理业务口径转化为数据口径,有大数据平台产品思维就能更好地推进平台的升级迭代来提升效率
  • 数据开发方向
    这里的数据开发主要指的是大数据开发工程师的一类,面向数据开发,一般分为离线和实时,对应岗位主要是数据仓库工程师(离线or实时方向),离线方向的日常主要是Hive,实时方向的日常主要是Flink,但不管哪个方向,作为数仓工程师,都要会数仓建设,数据治理,数据管理,数据架构 等等,说白了这个方向就是围绕着数据走,紧贴着业务,所以业务理解也要具备,当出现数据质量问题才能紧随着了解数据场景
  • 平台开发方向
    这里的平台开发主要指的是大数据开发工程师的另一类,面向平台开发,一般需要Java功底,常见是java后端工程师的进阶转型吧,日常主要是开发大数据相关的平台,与数仓工程师配合一同建设落地大数据产品,开发提供高效的数据平台,比如任务调度平台,元数据管理平台 等等大数据平台的开发工作

四、经验总结

  1. 关于大数据领域各岗位哪个前景发展好的话,这个我不便答疑,估摸着也不会有人专门答疑这块,我只能说,当你学得好了了解得深了,你就会发现,这些大数据细分方向其实都会有关联,不是说你从事了数据产品你就不需要懂数仓开发,也不是说你从事了数仓开发就不需要懂大数据平台架构,这些岗位虽说在大厂里分得很细,但实际上又会息息相关的,面试的时候大数据面试官也不会说只揪着你一个方向问
  2. 大数据这个领域,建议是往越大的平台努力靠,小公司数据量不大所以大数据岗不太重要甚至没有,只有大厂会重视大数据带来的价值决策,而且大厂的数据管理体系也有所规范。同时欢迎大家👏🏻关注我的个人微信公众号《大数据阶梯之路》,未来大数据道路我们一同前行,有何问题都可与我交流,闲时我都会帮助答疑的。
  3. 我计划建立一个大数据技术交流微信群,主要面向高校学生和应届生,也面向其他行业转行or其他编程方向的朋友们,以及正在从事大数据的朋友们,只要有兴趣学习了解大数据的朋友们都可入群,我会在群内分享关于我的原创技术博文,同时也提供一个技术交流氛围互相讨论,共享大数据学习资料,给大家简单答疑大数据职场方向的规划
  4. 一切的入口都可通过《大数据阶梯之路》微信公众号进入,所以务必先关注公众号再按指引获取所需。
分享就到此结束了,建议收藏吸纳消化,博文不易,欢迎👏🏻点赞,更多精彩好文,尽在微信公众号《大数据阶梯之路》
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容