在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用Fl...
在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用Fl...
打包步骤 生成gpg密钥 上传公钥到两台服务器上keys.gnupg.net 与 keyserver.ubuntu.com ~/.gradle/gradle.properti...
如何使用Shipyard安装一个docker的集群,以下为此文安装过程,使用centos7作为测试系统。 安装说明 docker 安装可参考官方安装说明 docker ins...
需求,递归输出某个目录下的所有日志文件,我们可以使用commons-io进行处理,避免重复造轮子。 使用 依赖 测试
准备数据 转换 输出结果
Centos7.x的版本的服务都是以systemctl start xxxx来启动的,如何制作自己的开机启动脚本? 大猪就来带大家如何实现一个自己的开机启动服务。 大猪是参考...
新鲜文章,昨天刚经过线上验证过的,使用它导出了3亿的用户数据出来,花了半个小时,性能还是稳稳的,好了不吹牛皮了,直接上代码吧。 MR 考查了Hbase的各种MR,没有发现哪一...
需求,递归输出某个目录下的所有日志文件,我们可以使用commons-io进行处理,避免重复造轮子。 使用 依赖 测试
有时候我们在使用Es作为搜索分析的时候,得出的结果并不是我们想要的,这时候我们会查询一下Es会怎么拆解我们的字符,这里就可以用到Es的_analyze查看一下分解的token...
打包步骤 生成gpg密钥 上传公钥到两台服务器上keys.gnupg.net 与 keyserver.ubuntu.com ~/.gradle/gradle.properti...
HDFS_DELEGATION_TOKEN 这个BUG在很多文章中都出现着,讲了很多原理,但是只给出了官方引用地扯,完全没有给出如何解决,我们线上的业务就有着这样的问题,7天...
在电商领域通常会有这样一种需要,如果客户下单了,但是在10分钟内不付款,应该需要通知客服,再由客服寻问客户为什么还没有付款,从而提高付款效率,我们可以采用Flink - CE...
这里有17个G的日志文件,使用多线程压缩2分23秒即可压缩完成3.2G的压缩,6倍的压缩比,普通压缩则要使用7分50秒,整整多出了3倍,我们看看是怎么使用的。 使用方法 安装...
如何使用Shipyard安装一个docker的集群,以下为此文安装过程,使用centos7作为测试系统。 安装说明 docker 安装可参考官方安装说明 docker ins...
在Java VisualVM这款java性能分析及调优工具如何加载插件?比如漂亮的Visual GC,大猪我比较喜欢这款漂亮的姑娘,当然了,如果觉得这是阻止了小伙伴们的进步,...
有时候我们想定义一个字符串的方法,然后通过scala的动态创建class,然后反射调用方法,在很多情景下是在学有用的,比较动态自定义spark的mapParations,当然...
java远程调优可采用两种方式进行连接,jmx与jstatd,此文演示如何配置jmx进行连接调优。 配置指南 Demo1 不启用认证 Demo2 启用用户认证 编辑./jmx...
在做项目的时候,如果项目是前后分离的,后端一定要和前端或者是移动端对接接口,那么问题来了,接口是不是要自己写给他们看,一般的会采用Excel或者Word来写,高级一点的就采用...
在SpringBoot上使用spark的时候会遇到的混合编译问题,在java代码中打包会找不到scala定义的包,即可参考使用如下配置。 使用配置
打包步骤 生成gpg密钥 上传公钥到两台服务器上keys.gnupg.net 与 keyserver.ubuntu.com ~/.gradle/gradle.properti...