1.新建maven工程2.点击工程项目,添加scala语言环境(注意Spark有对应的Scala版本信息)
今天看了一些专业的解释,还是对ODS、DW和DM认识不深刻,下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构...
我们不造轮子,只是轮子的搬运工。(其实最好是造轮子,造比别人好的轮子) 开发中经常会遇到excel的处理,导入导出解析等等,java中比较流行的用poi,但是每次都要写大段工...
IDEA配好scala直接plugin找scala ,下载sbt Spark下载http://spark.apache.org/downloads.html下载好后配置环境变...
脚本 !/bin/bashJAVA_OPTIONS_INITIAL=-Xms128MJAVA_OPTIONS_MAX=-Xmx512M_JAR_KEYWORDS=monito...
缓存穿透,缓存击穿,缓存雪崩解决方案分析 前言 设计一个缓存系统,不得不要考虑的问题就是:缓存穿透、缓存击穿与失效时的雪崩效应。 缓存穿透 缓存穿透是指查询一个一定不存在的数...
java.lang.OutOfMemoryError: Java heap space ,表示 Java 堆空间不足。当应用程序申请更多的内存时,若 Java 堆内存己经无法...
BIO:Accept线程分发 伪异步IO:线程池 NIO:缓冲区Buffer通道Channel多路复用Selector AIO: 对比:客户端/线程数BIO:1/1伪异步IO...
Why统一各开发人员版本。开发组内包共享。Docker镜像管理。 步骤下载http://www.sonatype.com/download-oss-sonatype解压后启动...
起因: 1205 lock wait timeout exceeded 原因: 锁定的事务线程一直没有commit或者rollback而是卡住了。 解决方案: SELECT ...
需求: 项目需要对收件人首字母进行排序。 备选方案: 代码排序(实现comparable<T>泛型接口):太费时。mysql的order by convert('字段',gb...
What is ZooKeeper 由Hadoop项目衍生出来的分布式节点管理工具。 选举机制 简单来说就是超过半数的节点投票,id大的。 单机伪集群的搭建 解压tar包后,...