现象 最近在补单测覆盖率的过程中遇到了一个奇怪的错误, 在添加了PowerMock(版本2.0.9)的@PrepareOnlyThisForTest注解后, 出现了一个奇怪的...
发简信
IP属地：浙江
-
单测过程中奇怪的No tests found异常 -
使用presto进行overwrite
presto不支持insert overwrite语法, 如下图: 要想实现可通过设置hive.insert_existing_partitions_behavior参数.目...
-
在阿里云EMR环境下部署Kylin
推荐理由：kylin官网目前支持的hive最高版本为1.2.1, 而阿里云最低版本的hive也在2.X, 因此直接按照官网是安装不成功的. 下面这片文章非常好的总结了如何在阿...
-
贴个核心函数:
private static void loadContext() {
AbstractApplicationContext applicationContext = new ClassPathXmlApplicationContext("/spring/spring-core.xml");
LOGGER.info("加载Spring上下文");
}[记录]Flink中取消job时没有关闭springApplication
写了一个Flink程序, 加载spring, 运行定时任务, 定时任务正常运行, 但是在取消掉job后发现定时任务仍然在运行.(猜测: 取消任务并不会导致容器关闭, 已经加载...
-
Hadoop权威指南示例代码运行一:Resource request: <memory:XXX, vCores:X> exceeds maximum AM resource allowed
在尝试Hadoop权威指南(第四版) 6.5.2 在集群上运行mapreduce任务时出现错误: ,错误原因比较明显,是因为申请的资源超出限制, 解决方式就是配置任务申请的内...
-
Flink程序报错:Provider for class javax.xml.parsers.DocumentBuilderFactory cannot be created
flink如果要操作hdfs,需要一个hadoop-hdfs的包.而增加这个包后出现如下错误: 原因: xml-apis包与项目里dom4j包冲突.排除项目中所有xml-ap...
-
[记录]kylin distinct count踩坑
CDH版本: Cloudera Express 6.1.0Kylin版本: apache-kylin-2.6.1-bin-cdh60 计算distinct count(use...
-
[记录]Flink中取消job时没有关闭springApplication
写了一个Flink程序, 加载spring, 运行定时任务, 定时任务正常运行, 但是在取消掉job后发现定时任务仍然在运行.(猜测: 取消任务并不会导致容器关闭, 已经加载...
-
[记录]apache-kylin-2.6.0-bin-cdh60构建cube时遇到数据集为空就构建失败的问题最近在apache-kylin-2.6.0-bin-cdh60构建cube时, 经常遇到构建失败的情况, 如下图: 经多次尝试,发现只要构建时数据集为空,就必然出现这个问题....
-
说的对!
Diffie-Hellman密钥交换算法
以前写的一篇文章,copy过来. 前言 根据百度百科的解释: Diffie-Hellman密钥交换算法是一种确保共享KEY安全穿越不安全网络的方法, 它是OAKLEY的一个组...
-
RocketMQ源码阅读(十)-Consumer消费消息
1.消费方式和消费者组 1.消费方式: 拉取和推送两种(事实上所有从远程获取数据都是这两种方式).2.消费者组与消费模式多个消费者组成一个消费组, 两种模式: 集群(消息被其...
-
<<java 8 函数式编程>>学习 - 第三章 流
Java 8 对核心类库的改进主要包括集合类的 API 和新引入的流 (Stream)。流使程序员得以站在更高的抽象层次上对集合进行操作. 1.从外部迭代到内部迭代 使用 f...
