自我简介：秦风卫 男 汉族 1975年10月27日生于河南省开封市开封县陈留镇韩洼村（现为河南省开封市祥符区陈留镇韩洼村），1998年6月从开封市师范高等专科学校外语系（现在...
发简信
IP属地：河南
-
Excel数据模型自动生成Hive建表语句最近在「空白女侠」公号上看到她回答了大家会困扰的精力问题，比如为什么我（空白女侠）能同时做那么多事情，精力那么充沛？工作中遵循一个真理： 复杂的事情简单化，简单的事情标准化，...
-
kafka核心原理，藏在这 16 张图里讲一讲分中间件 问题 什么是分布式消息中间件？ 消息中间件的作用是什么？ 消息中间件的使用场景是什么？ 消息中间件选型？ 分布式消息是一种通信机制，和 RPC、HTTP、RM...
-
浅谈程序员的“内卷化”
欢迎关注公众号：数据社 一、什么是内卷化 最近开始流行一个词——“内卷化”，如果你还不知道这个词那你就out了。那么什么是内卷化？内卷化，亦称过密化，最初由文化人类学家亚历山...
-
从0到1搭建大数据平台之数据采集系统关于从0到1搭建大数据平台，之前的一篇博文《如何从0到1搭建大数据平台》已经给大家介绍过了，接下来我们会分步讲解搭建大数据平台的具体注意事项。 一、“大”数据 海量的数据...
-
Spark的这些事（四）——Spark on yarn 动态资源配置
一、YARN的配置首先需要对YARN进行配置，使其支持Spark的Shuffle Service。 修改每台集群上的yarn-site.xml： 将$SPARK_HOME/l...
-
从0到1搭建大数据平台大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，...
-
业务重要？还是技术重要？初级工程师的困惑 曾经有公众号的小伙伴后台联系我，咨询一些问题。有一个粉丝问过这样一个问题： 群主，向你请教一个困扰我很久的问题，从毕业到现在，我一直从事大数据平台开发d的工...
-
从0到1搭建大数据平台之调度系统目前大数据平台经常会用来跑一些批任务，跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据，定时跑hive/spark任务，定时推送日报、月报指标数据。任务调度系统已经...
