Spark 作为一个以擅长内存计算为优势的计算引擎,内存管理方案是其非常重要的模块。作为使用者的我们,搞清楚 Spark 是如何管理内存的,对我们编码、调试及优化过程会有很大...

Spark 作为一个以擅长内存计算为优势的计算引擎,内存管理方案是其非常重要的模块。作为使用者的我们,搞清楚 Spark 是如何管理内存的,对我们编码、调试及优化过程会有很大...
本文作者: 杨晓辉 本文链接: http://youngxhui.github.io/2017/09/01/协同过滤算法/ 版权声明: 本博客所有文章除特别声明外,均采用 C...
1.什么是事务? 例如像银行转账,A对B转账,B是否能收到多次转账,可能性不大;或者A转给B的时候,A同样费用被扣了多次,B只收到一次,这样也不可能。也就是说我们要做的...
前言 接上一篇关系数据库SQL之基本数据查询:子查询、分组查询、模糊查询,主要是关系型数据库基本数据查询。包括子查询、分组查询、聚合函数查询、模糊查询,本文是介绍一下关系型数...
Streaming job 的调度与执行 结合文章 揭开Spark Streaming神秘面纱④ - job 的提交与执行[https://www.jianshu.com/p...
1.Shell脚本 1.1 格式 首行 #!/bin/bash 指定解释器 1.2 注释 '#'开头的行,'#!'是例外此外,# 是特殊字符,可以出现在一些参数代换结构...
去年带我家白先生一起去参加我的高中同学聚会,推杯换盏之间、莺歌燕舞之后,大家仍意犹未尽。于是我们三三两两围炉而坐,畅谈毕业之后的种种。 一个当年相处不错的男同学跟我聊了会儿,...
Spark 默认采用的是资源预分配的方式。这其实也和按需做资源分配的理念是有冲突的。这篇文章会详细介绍Spark 动态资源分配原理。 前言 最近在使用Spark Stream...
前言 说人话:其实就是讲Spark Streaming 的好处与坑。好处主要从一些大的方面讲,坑则是从实际场景中遇到的一些小细节描述。 玫瑰篇 玫瑰篇主要是说Spark St...