我还不够强

如果不指定MapJoin符合或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：

我还不够强

我们kylin环境安装成功之后，我们就可以在hive当中创建数据库以及数据库表，然后通过kylin来实现数据的查询 第一步：创建hive数据库以及表并加载以下数据 <v:sh...

我还不够强

1）官网地址 http://kylin.apache.org/cn/ 2）官方文档 http://kylin.apache.org/cn/docs/ 3）下载地址 http:...

我还不够强

1、数据仓库、OLAP 与 BI 数据仓库 数据仓库，英文名称 Data Warehouse，简称 DW。《数据仓库》一书中的定义 为：数据仓库就是面向主题的、集成的、相对稳...

我还不够强

前面我们已经通过flink将数据介入到了hbase当中去了，那么我们接下来就可以通过hive整合hbase，将hbase当中的数据映射到hive表当中来，然后通过kylin来...

我还不够强

大数据技术之linux第一章：linux系统简介与安装部署1.1发展背景 Linux 内核最初只是由芬兰人林纳斯•托瓦兹（Linus Torvalds）在赫尔辛基大学上学时出...

我还不够强

1、广播变量广播变量主要分为两种方式：dataStream当中的广播变量以及dataSet当中的广播变量，这两个地方的广播变量还有一定的不一样的各自的特性，一句话解释，可以理...

我还不够强

flink不仅可以支持实时流式处理，它也可以支持批量处理，其中批量处理也可以看作是实时处理的一个特殊情况 1、 dataSet的内置数据源 基于文件数据源： readText...

我还不够强

对于实时处理当中，我们实际工作当中的数据源一般都是使用kafka，所以我们一起来看看如何通过Flink来集成kafka flink提供了一个特有的kafka connecto...

我还不够强

我们前面写的word count的例子，没有包含状态管理。如果一个task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。从容错和消息处理的语义上...

我还不够强

1、watermark的作用 watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用watermark机制结合window来实现。 我们知道，流处理从事件产生，...

我还不够强

对于流式处理，如果我们需要求取总和，平均值，或者最大值，最小值等，是做不到的，因为数据一直在源源不断的产生，即数据是没有边界的，所以没法求最大值，最小值，平均值等，所以为了一...

我还不够强

Flink的API概览 <v:shapetype id="_x0000_t75" stroked="f" filled="f" path="m@4@5l@4@11@9@11@...

我还不够强

为了方便我们的开发调试，Flink支持通过shell命令行的方式来对我们的代码进行开发运行，类似于Spark的shell命令行对代码的调试是一样的，可以方便的对我们的代码执行...

我还不够强

实时处理代码开发开发flink代码，实现统计socket当中的单词数量第一步：创建maven工程，导入jar包<dependencies><dependency><group...

我还不够强

这种方式的好处是一个任务会对应一个job,即每提交一个作业会根据自身的情况，向yarn申请资源，直到作业执行完成，并不会影响下一个作业的正常运行，除非是yarn上面没有任何资...

我还不够强

flink的任务也可以运行在yarn上面，将flnk的任务提交到yarn平台，通过yarn平台来实现我们的任务统一的资源调度管理，方便我们管理集群当中的CPU和内存等资源 依...

我还不够强

在上一节当中，我们实现了flink的standAlone模式的环境安装，并且能够正常提交任务到集群上面去，我们的主节点是jobManager，但是唯一的问题是jobmanag...

我还不够强

使用standalone模式，需要启动flink的主节点JobManager以及从节点taskManager | 服务以及ip | 192.168.52.100 | 192....