前两篇我们讲了spark的基础知识,包括spark的体系结构、执行框架、spark的基本数据类型以及spark中stage的划分等等。本篇要介绍spark运行的原理。包括sp...
前两篇我们讲了spark的基础知识,包括spark的体系结构、执行框架、spark的基本数据类型以及spark中stage的划分等等。本篇要介绍spark运行的原理。包括sp...
团队内部要分享HBase的知识,之前研究了一段时间,知识比较零散,这一次就系统化的整理一番,之后在想到Hbase的时候,看着一篇就够了。 阿里陶系技术部招人,目前大把机会,H...
话不多数,先上两张图: 名词解释: n:数据规模k:“桶”的个数In-place:占用常数内存,不占用额外内存Out-place:占用额外内存稳定性:排序后2个相等键值的顺序...
leader 选举 和 follower 信息同步 如上图所示,kafaka集群的 broker,和 Consumer 都需要连接 Zookeeper。Producer 直接...
Redis虽然是一种内存型数据库,一旦服务器进程退出,数据库的数据就会丢失,为了解决这个问题Redis提供了两种持久化的方案,将内存中的数据保存到磁盘中,避免数据的丢失。 R...
关于最大堆 什么是最大堆和最小堆?最大(小)堆是指在树中,存在一个结点而且该结点有儿子结点,该结点的data域值都不小于(大于)其儿子结点的data域值,并且它是一个完全二叉...
1、从FTP服务器下载文件 2、连续输入5个100以内的数字,统计和、最小和最大 3、将结果分别赋值给变量 应用场景:希望将执行结果或者位置参数赋值给变量,以便后续使用。 4...
偶尔,在Linux终端在处理文件,你可能想要清空的内容文件而不打开使用任何Linux命令行编辑器。这该如何实现呢?在本文中,我们将在一些有用的命令帮助下通过几个不同的方法清空...
获取当前脚本路径 readlink 获取路径的比较