发简信
IP属地：浙江
-
-
是时候表演真正的技术了
-
我在本地跑解决了这个问题，集群上跑还是报这个错
解决：java jdbc操作phoenix报错：Cannot initiate connection as SYSTEM:CATALOG is found but client does not...
集群是cdh，安装好之后需要使用jdbc操作phoenix查询hbase中的数据，写了个测试代码如下： 运行报错 百度之后发现有人使用的方法是设置phoenix.schema...
-
从java转入大数据，目前从事大数据研发工作
-
-
关于hbase、spark、hive使用时的优化问题
一、Hbase的优化 1、JVM优化： 1）如：HBase RegionServer 的 Java 配置选项 -XX:+UseParNewGC （设置年轻代为并行收集）-XX...
-
大数据面试必问-快速理解Hive的数据存储格式及mapreduce底层原理
在大数据工程师面试时，下面这个题可谓是面试官的最爱，他考察了对于mapreduce框架以及hive的原理的理解，阅读完这篇文章，在面试这一类的问题时，就会胸有撑住了！ 在创建...
-
sqoop import使用
一、sqoop作用？ sqoop是一个数据交换工具，最常用的两个工具是导入导出。 导入导出的参照物是hadoop，向hadoop导数据就是导入。 二、sqoop的版本？ sq...
-
AZKABAN（二）使用1、启动azkaban 启动azkaban server。进入executor，执行： bin/ azkaban-executor-start.sh 可以使用bin/azka...
-
azkaban（最适合入门）
这里先默认大家都已经安装并配置完成了azkaban1、启动azkaban 启动azkaban server。进入executor，执行： bin/ azkaban-execu...
-
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
直奔主题： 其实这个错误就是编译的程序的scala版本和提交时的版本不一致导致的. 我是在idea上写的scala程序 用的是2.11.8, 但是在提交spark时 ...
-
史上最有趣的post、get方式详解GET和POST两种基本请求方法的区别 GET和POST是HTTP请求的两种基本方法，要说它们的区别，接触过WEB开发的人都能说出一二。 最直观的区别就是GET把参数包含在U...
-
-
Spark调优之JVM调优
今天给大家分享Spark调优相关的JVM调优，这个调优方法在开发中也很常见，他主要分为两种，一种是降低cache操作的内存占比，一种是调节executor堆外内存和降低连接等...
