IP属地：上海
-
spark 源码分析系列 - wordcount 源码分析前言 本文主要通过spark wordcount 案例的源码来分析spark中的运行过程。 spark 编程模型 在spark中，RDD被表示为对象，通过对象上的方法调用来对...
-
HBase系列 - HBase Shell操作
HBase Shell 基本操作 进入HBase客户端命令行bin/hbase shell 查看帮助命令hbase(main):001:0> help 查看当前数据库中有哪些...
-
HBase系列 - 内部机制 MemstoreFlush、StoreFile Compaction、Region Split详解前言 HBase以高并发、搞可靠、高性能而闻名，而Compact和Split功能贯穿了hbase的整个写入过程，而熟悉Compact和Split内部逻辑以及控制参数才能根据具...
-
hbase-compact剖析
前面的文章介绍了当达到一定的条件后memstore会flush生成hfile，随着hfile文件逐渐增多，查询可能需要更多的IO操作，为了合并这些hfile文件从而衍生出了c...
-
HBase系列 - 概念和架构原理前言 本文主要介绍HBase基本概念以及架构原理包含数据模型、基础进程组件。再从HBase的写流程和读流程去了解HBase的架构原理。 1 HBase 定义 HBase是一种...
-
Hive 系列 - 调优经验
1 Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hi...
-
Hive 系列 - 压缩和存储1 Hadoop源码编译支持Snappy压缩 1.1 jar包准备(hadoop源码、JDK8 、maven、protobuf) （1）hadoop-2.7.2-src.ta...
-
Hive 系列 - 常用函数
1系统内置函数 1．查看系统自带的函数 2．显示自带的函数的用法 3．详细显示自带的函数的用法 2 自定义函数 Hive 自带了一些函数，比如：max/min等，但是数量有限...
-
HBase MemStore 101前言 在我们的日常工作中，HBase主要作为KV Store来使用，撑起数据仓库APP层的半边天，为后台和客户端提供高效的存取服务。另外，它也是我们采用的OLAP引擎Kyli...
-
Hive 系列 - DQL 查询数据
查询语句语法： 1 基本查询（Select…From） 1.1 全表和特定列查询 1.2 列别名 1.3 算术运算符 运算符描述A+BA和B 相加A-BA减去BA*BA和B ...
-
Hive 系列 - DML数据操作
1 数据导入 1.1 向表中装载数据（Load） 语法 （1）load data:表示加载数据 （2）local:表示从本地加载数据到hive表；否则从HDF...
-
Hive 系列 - DDL数据定义
1 创建数据库 创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create datab...
-
Hive 系列 - 架构和基本概念1. 架构原理 2用户接口：ClientCLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive） 元数据：Metastor...
-
ElasticSearch 系列 - RestFulAPI(DSL)
前言 DSL全称 Domain Specific language，即特定领域专用语言 1.全局操作 1.1 查询集群健康情况 1.2 查询各个节点状态 2. 对索引的操作 ...
-
ElasticSearch 系列 - 基本概念
1.ElasticSearch的基本概念 1.1 概念 Elasticsearch有几个核心概念，先理解这些概念将有助于掌握Elasticsearch。 1.1.1 近实时(...
-
简析Spark Streaming/Flink的Kafka动态感知前言 Sunday night，继续超短文模式（希望下周就可以不这么划水了hhhh Kafka是我们日常的流处理任务中最为常用的数据源之一。随着数据类型和数据量的增大，难免要...
