【前言】对于线上生产环境的HDFS，开启回收站功能是必不可少的。该功能类似于linux系统的回收站设计，HDFS会为每个用户创建一个专属的回收站目录（/user/${user...
IP属地：北京
-
HDFS Trash功能详解 -
博主日均30万作业都是spark任务吗，这样spark event log日志文件会很多吧，spark history server页面加载这些文件用时会很长吧，这怎么解决？ 只能调JVM参数吗？
【Spark】HistoryServer 进程运行日志无限增长问题解决
Spark-HistoryServer在运行过程中会打印自身进程的日志，这里是指打印在${SPARK_HOME}/logs目录下，名称为spark-spark-org.apa...
-
请教一下，为何MR的JVM配置会影响到yarn NM的服务状态呢
无法创建线程导致的nodemanager频繁挂掉
hadoop集群在执行一个MapReduce任务时，其中一个节点的nodemanager频繁挂掉，以下是日志中纪录的报错内容： 报错内容显而易见，是因为jvm没有多余的内存来...
-
ceph分布式存储-PG和PGP的区别
一、前言 首先来一段英文关于PG和PGP区别的解释： 以上是来自邮件列表的 Karan Singh 的PG和PGP的相关解释，他也是 Learning Ceph 和 Ceph...
-
-
Ranger知识地图
自己总结的Ranger的学习路线和知识点，提供给感兴趣的同学入门参考之用。 Ranger入门路线 1.准备能够上网的电脑，Eclisp开发环境，Linux服务器等；2.掌握H...
-
Ranger架构剖析Ranger介绍 2016年，Hadoop迎来了自己十周岁生日。过去的十年，Hadoop雄霸武林盟主之位，号令天下，引领大数据技术生态不断发展壮大，一时间百家争鸣，百花齐放。...
-
职场感悟、管理心得、技术总结、人生思考。<br><br>欢迎关注我的微信公众号：xiaoguailiao（小怪聊职场 ），关注公众号可以添加我微信好友<br><br>正在编写《Python爬虫系列》文章：<a href="https://www.jianshu.com/nb/18470815" rel="nofollow" target="_blank">https://www.jianshu.com/nb/18470815</a><br>《Python爬虫系列》文章代码：<a href="https://github.com/huangtao1208/scrapy_spider" rel="nofollow" target="_blank">https://github.com/huangtao1208/scrapy_spider</a><br>正在编写《技术管理系列》文章：<a href="https://www.jianshu.com/nb/23408613" rel="nofollow" target="_blank">https://www.jianshu.com/nb/23408613</a><br>正在编写《MySQL系列》文章：<br><a href="https://www.jianshu.com/nb/23992160" rel="nofollow" target="_blank">https://www.jianshu.com/nb/23992160</a>
-
-
如果你是程序员，或者有一颗喜欢写程序的心，喜欢分享技术干货、项目经验、程序员日常囧事等等，欢迎投稿《程序员》专题。 专题主编：小彤花园 http://www.jianshu.com/users/4a4eb4feee62/ 【程序员】专题拒稿指北：http://www.jianshu.com/p/7c8b33b5f63b 投稿须知： 1.收录相关技术文章，但不限于技术，也可以是项目经验类的文章和程序员日常。 2.文章內不得有任何推广信息。包括但不限于公众号、微博、微信，更不得在通过投稿后再修改文章加入推广信息。你可以将这些推广以及个人信息放在个人主页介绍里。 3.字数极少，段落混乱，大段代码没有放到代码框的文章不收录 4.不相关的内容不收录，请确认文章内容和本专题相关 目前针对优质作者及爱好者，开设了官方程序员微信群，希望加入请发简信给主编小彤花园索取个人微信，主编会将你加入到【程序员】微信群，分享内容，收获知识。添加微信时备注昵称。
