大数据技术分享 - 专题

投稿

收录了44篇文章 · 8人关注

Redis 持久化方式——RDB
RDB RDB是什么？ Redis持久化数据的两种方式之一，另外一种是AOF。Redis会定期保存数据快照至一个rbd文件中，并在启动时自动加载...

1.4 code_solve 1 3
Spark系列——Spark On Yarn 资源申请流程
Spark On Yarn 资源申请流程 Client 模式因为是Client模式，所以当我们 Spark-Submit 提交Spark任务的时...

0.3 code_solve 0 2

Hive 多分组函数GROUPING SETS,GROUPING__ID,CUBE,ROLLUP
转载自： lxw的大数据田地前言 GROUPING SETS,GROUPING__ID,CUBE,ROLLUP这几个分析函数通常用于OLAP中...

0.1 code_solve 0 1
Kafka ——如何保证消息不会丢失
前言 Kafka 提供了数据高可靠的特性，但是如果使用不当，你可能无法享受到这一特性，今天我们就来看看如何正确的使用Kafka 保证数据的不会丢...

1.1 code_solve 0 8
Spark VS MapReduce 浅谈
计算速度计算的速度是取决于计算机本身的计算能力的。并且目前来看，所有的计算机计算都是基于内存的（如果有不是的，请原谅我的孤陋寡闻...），也就...

0.8 code_solve 0 5
kafka Consumer — offset的控制
前言在N久之前，曾写过kafka 生产者使用详解，今天补上关于 offset 相关的内容。那么本文主要涉及： Kafka 消费者的两个大版本 ...

0.3 code_solve 0 2
Apache Spark 3.0 预览版正式发布，多项重大功能发布
原文地址 2019年11月08日数砖的 Xingbo Jiang 大佬给社区发了一封邮件，宣布 Apache Spark 3.0 预览版正...

1.5 code_solve 0 8

Hive优化
Hive简单优化与定期ETL Hive优化 Hive的执行依赖于底层的MapReduce作业，因此对Hadoop作业的优化或者对MapReduc...

0.5 zealscott 0 4
Apache Spark 2.2.0 中文文档 - Spark Streaming 编程指南 | ApacheCN
Spark Streaming 编程指南概述一个入门示例基础概念依赖初始化 StreamingContext Discretized ...

0.8 Joyyx 0 26
Spark系列——作业原理详解
前言本篇文章主要是从作业提交到最后获取到作业结果,从源码的角度，但是不涉及源码进行的分析.其目的是读完本篇文章，你将对作业的基本流程有个清晰的...

1.0 code_solve 0 3