发简信
IP属地：广东
-
windows本机搭建Hadoop环境
记录一下整个过程： 一、下载Hadoop安装包 官网下载Hadoop 2.6，并配置相关环境变量，自行百度 下载hadooponwindows-...
-
kettle8.0源码编译kettle作为一款开源etl工具，在数据仓库领域的应用还算是比较广泛的，做过数仓的朋友应该都知道，在做etl开发的时候，对于参数变量的引用是时...
-
接入es数据到hdfs
最近接到一个需求，需要接入es日志数据到hdfs，进行分析，网上查找了一下资料，总结一下方法大致有如下几种 hive本身直接支持连接es可直接参...
-
Flume实时接入
今天花了半天时间抽空看了一下flume实时接入，结合数据仓库中有部分报表有着准实时刷新的需求，需要抽数阶段近乎实时，为后面统计计算节省时间。虽然...
-
【数据仓库】元数据血缘分析
现在数据仓库基本上采用Hadoop平台了，那么数据仓库里面元数据的血缘分析的思路有哪些呢 基本上有下面这两种思路： 1、解析hql脚本，通过正则...
-
本机调试spark程序一、idea新建maven项目，配置pom.xml 二、下载jar包hadoop-common-2.2.0-bin-master.zip 下载地...
-
spark使用JavaAPI统计文本出现的字符频率最高的前五package com.neo.spark; import org.apache.spark.SparkConf; import org.apa...
-
idea 打包Java程序最近开始学习Java，年纪大了，感觉学起东西来，有点力不从心了，好在经过努力和同事的帮助下，顺利的解决了问题。 idea工具打包的流程： 1、F...