本文基于hbase-1.3.0源码 1. 前言 HBase coprocessor(协处理器)按照工作方式分为两种：endpoint和observer。 endpoint类似...
发简信
IP属地：广西
-
HBase学习 - Coprocessor
-
maven插件(5) - antrun
1. antrun 简述 通过antrun插件可以在maven中运行ant task， 具体参考antrun 2. 使用antrun 按照如下格式使用antrun 2.1 一...
-
Spark学习、项目使用相关。
-
IDEA远程调试Spark1.前言 本文讲述如何使用IDEA远程调试spark，这里所说的调试spark包括： 调试spark应用程序，也就是使用spark算子编写的driver applicatio...
-
Spark任务提交过程1. 前言 本文主要讲述一下我对spark任务调度过程的理解，必要的地方会配合源码。 2 . Spark任务调度 2.1 基本概念 Job用户提交的spark应用程序中任何一...
-
-
JDK并发包 - FutureTask1. FutureTask FutureTask实现了Runnable和Future接口，它主要用于包装真实callable或runnable的task，其run方法内运行包...
-
Netty 使用Zero Copy传输文件
1. Zero Copy传输 一般情况下，将服务器上的文件传输到客户端时，文件在服务端会经历如下copy过程：调用read方法从硬盘读文件到内核空间，从内核空间读到用户内存空...
-
HBase学习 - HFile格式 以及 HFile的读写1.前言 HBase的数据最终是以HFile的形式存储在HDFS中的，HBase中HFile有着自己的格式。一次memstore的flush会产生一个HFile，一次Comp...
-
spark如何只在map端做完成reduce的工作
1. 前言 有时候需要按照key去做reduce操作时，一般情况下调用reduceByKey就可以完成按照key reduce的任务，reduceByKey的调用就必然意味...
-
maven插件(4) - 项目打包插件
1. maven-assembly-plugin 参考maven-assembly-plugin, maven-assembly-plugin这个插件可用来打可发布可独立运行...
-
maven插件(3) - scala插件scala-maven-plugin
1. scala-maven-plugin 这个插件是用来让maven能够编译、测试、运行scala项目的，使用文档参考scala-maven-plugin 1. 1使用插件...
-
maven插件(2) - spring boot 插件
1. Spring Boot Maven 插件 Spring Boot的maven插件能够以maven命令行的方式提供对spring boot 应用打包和运行的支持。 使用s...
-
maven插件(1) - 使用插件
1. 前言 Maven is - at its heart - a plugin execution framework; all work is done by plugi...
-
Spark Sql 之 cacheTable
1. 前言 spark sql中使用DataFrame/DataSet来抽象表示结构化数据（关系数据库中的table），DataSet上支持和RDD类似的操作，和RDD上的操...
-
-
JUC之AbstractQueuedSynchronizer
1. 前言 AbstractQueuedSynchronizer(AQS)基于FIFO等待队列以及CAS操作实现了基础了同步框架，JUC中包括ReentrantLock，Re...
-
Logback - SiftingAppender1. 作用 Logback将写日志事件的任务委托给appender组件完成，SiftingAppender顾名思义就是筛选日志事件，具体点就是： 对于Logback委托给它的...
