前两篇我们讲了spark的基础知识,包括spark的体系结构、执行框架、spark的基本数据类型以及spark中stage的划分等等。本篇要介绍spark运行的原理。包括sp...
前两篇我们讲了spark的基础知识,包括spark的体系结构、执行框架、spark的基本数据类型以及spark中stage的划分等等。本篇要介绍spark运行的原理。包括sp...
团队内部要分享HBase的知识,之前研究了一段时间,知识比较零散,这一次就系统化的整理一番,之后在想到Hbase的时候,看着一篇就够了。 阿里陶系技术部招人,目前大把机会,H...
话不多数,先上两张图: 名词解释: n:数据规模k:“桶”的个数In-place:占用常数内存,不占用额外内存Out-place:占用额外内存稳定性:排序后2个相等键值的顺序...
leader 选举 和 follower 信息同步 如上图所示,kafaka集群的 broker,和 Consumer 都需要连接 Zookeeper。Producer 直接...
Redis虽然是一种内存型数据库,一旦服务器进程退出,数据库的数据就会丢失,为了解决这个问题Redis提供了两种持久化的方案,将内存中的数据保存到磁盘中,避免数据的丢失。 R...
关于最大堆 什么是最大堆和最小堆?最大(小)堆是指在树中,存在一个结点而且该结点有儿子结点,该结点的data域值都不小于(大于)其儿子结点的data域值,并且它是一个完全二叉...
1、从FTP服务器下载文件 2、连续输入5个100以内的数字,统计和、最小和最大 3、将结果分别赋值给变量 应用场景:希望将执行结果或者位置参数赋值给变量,以便后续使用。 4...
偶尔,在Linux终端在处理文件,你可能想要清空的内容文件而不打开使用任何Linux命令行编辑器。这该如何实现呢?在本文中,我们将在一些有用的命令帮助下通过几个不同的方法清空...
获取当前脚本路径 readlink 获取路径的比较
shell脚本是帮助程序员和系统管理员完成费时费力的枯燥工作的利器,是与计算机交互并管理文件和系统操作的有效方式。区区几行代码,就可以让计算机接近按照你的意图行事。 为大家整...
编写Shell过程中注意事项:开头加解释器:#!/bin/bash语法缩进,使用四个空格;多加注释说明。命名建议规则:变量名大写、局部变量小写,函数名小写,名字体现出实际作用...
为什么要学习Vim,Vim和Vi的区别,Vim的基本使用方法(部分)为什么很多大型网站都采用Linux作为服务器? 1. 为什么要学习Vim,是为了装B吗? 在Windows...
使用IDEA创建的Maven项目可分为Maven的Java项目和Maven的Web项目。 一、创建Maven的Java项目 (一)、通过骨架创建Maven的Java项目 ...
现在我在master分支上,工作目标是干净的,也没有需要commit的: 新建远程分支 新建一个本地分支: 查看一下现在的分支状态: 星号(*)表示当前所在分支。现在的状态是...
tar 命令是 Linux 环境下最基本的打包工具,注意打包并不等同于压缩。打包只是负责将多个文件整理后合成为一个文件包(即归档,方便传输分享),一般后缀为 .tar。而文件...
一、linux服务器手动安装Anaconda3教程 1.首先清华镜像站 下载anaconda3。 此次下载的版本如下: 2.下载好后,使用WinSCP将下载好的文件上传到服务...
grep的使用方法 基本使用方法 grep是一种使用正则表达式的多用途文本搜索工具。 通常的使用结构如: 假设testfile.txt中的内容为: 输出为: 其中'test'...
在编写代码的时候我们经常会使用 equals 和 == 来判断两个对象是否相等,那么两者有什么区别呢,主要有以下几点区别: 首先的区别是,equals 是方法,而 == 是操...