程序员，技术咨询师。长期关注软件开发效率的方方面面。
发简信
IP属地：北京
-
-
一文通俗理解Spark架构、Spark部署方式、配属配置优先级、Spark处理所提交的application的流程、Spark共享变量、Spark监听，以及master、driver、worke...Spark是一种基于内存计算的计算引擎（通俗地说就是计算速度快），由于其可以将计算的中间结果存放在内存中，因此非常适合于迭代计算和交互式查询。 一、Spark的四大核心组件和...
-
Impala 适配 Hadoop生态圈
目录 Impala适配Hadoop生态圈... 1 Impala与Hive集成... 1 Impala元数据和元数据存贮库 简介... 2 Impala集成HDFS. 3 I...
-
记一次Kafka集群的故障恢复
Kafka 集群部署环境kafka 集群所用版本 0.9.0.1集群部署了实时监控: 通过实时写入数据来监控集群的可用性, 延迟等; 集群故障发生 集群的实时监控发出一条写...
-
如何判断一个kafka集群是否稳定在流作业的生产环境中，作为应用最广泛的消息中间件，kafka集群的稳定性对业务的平稳起到重要作用。然而如何判断一个kafka集群的稳定性是一个运维人员的重要技能。 笔者结合经...
-
如何找到 Kafka 集群的吞吐量极限？Kafka 是非常流行的分布式流式处理和大数据消息队列解决方案，在技术行业已经得到了广泛采用，在 Dropbox 也不例外。Kafka 在 Dropbox 的很多分布式系统数...
-
Kafka实战(七) - 优雅地部署 Kafka 集群
既然是集群，必然有多个Kafka节点，只有单节点构成的Kafka伪集群只能用于日常测试，不可能满足线上生产需求。真正的线上环境需要考量各种因素，结合自身的业务需求而制定。看一...
-
kafka压力测试说明书（九）1 整体环境说明 1.1 硬件环境 1、 磁盘：SATA磁盘2块，磁盘阵列为RAID1 2、 CPU****：2个4核CPU。具体参数：Intel(R) Xeon(R) CP...
-
强烈推荐10款程序员必备的实用工具
01、ProcessOn ProcessOn 真的是一款良心的在线作图神器，什么流程图、思维导图、原型图、UML、网络拓扑图、组织结构图等等等等，都可以通过它来制作。 自从有...
-
Java技术版图俯瞰——awesome
Java技术版图-awesome-java aewsome-java是github上一个开源项目，搜集Java各领域比较成熟的技术。 应该说，覆盖还是较为全面的，让人强烈感到...
-
主要收入Java虚拟机、字节码、ASM等偏向底层的技术文章
-
哲学，摧毁你，然后塑造你
最近两年，我读了很多关于生命哲学的书籍，很容易地，我滑入了虚无。我变得无法相信道德，制度，价值，以及更多的概念。我深深地觉得这些概念是别人控制我的工具。我如果按照这些概念行事...
