发简信
IP属地：浙江
-
java 依赖包冲突，使用maven的Shade方式解决
java 依赖包冲突，使用maven的Shade方式解决 [TOC] 问题描述 程序中同时使用了hadoop工具包与ElasticSearch工具导致jar包。程序报错： j...
-
Github中java语言中收获最多star的前十个项目1. CyC2018/CS-Notes star: 59.3k 介绍: 技术面试必备基础知识、Leetcode 题解、后端面试、Java 面试、春招、秋招、操作系统、计算机网...
-
Elasticsearch-5.6.0使用repository-hdfs快照（备份）数据到hdfs并恢复
背景 Elasticsearch的副本机制提供了可靠性，可以容忍个别节点丢失而不影响集群的对外服务，但是并不能提供对灾难性故障的保护，所以需要对ES集群数据做一个完整的备份，...
-
ES集群状态查看命令
Elasticsearch中信息很多，同时ES也有很多信息查看命令，可以帮助开发者快速查询Elasticsearch的相关信息。 1. _cat 2. verbose 每个命...
-
ELK 6.3.2环境搭建最近把ELK生产环境从5.6.0升级到了6.3.2，在此记录一下 基础环境： 操作系统：Centos 6.7 64位ELK版本：6.3.2jdk版本：1.8ES用户：elas...
-
sqoop job省略输入mysql密码
sqoop在创建job时，使用--password-file参数，可以避免输入mysql密码，如果使用--password将出现警告，并且每次都要手动输入密码才能执行job，...
-
sqoop定时增量导入mysql数据到hdfs(hive)
需求 有2张大的mysql表，量级分别是1亿和4.5亿（太大了，DBA的同学正在考虑分表），而且数据是增量的，需要写spark任务做处理，直接读取mysql有点吃力，想通过s...
-
Specified key was too long; max key length is 767 bytes。
问题：spark sql连接hive的元数据（mysql库）时报错：Specified key was too long; max key length is 767 byt...
-
看了之后不再迷糊-Spark多种运行模式早就想写这章了，一直懒得动笔，不过还好，总算静下心来完成了。 刚接触Spark时，很希望能对它的运行方式有个直观的了解，而Spark同时支持多种运行模式，官网和书籍中对他们的...
-
centos6.5安装postgresql9.3及数据迁移最近来了一批数据，其中有一部分是一个从postgresql导出的sql文件，大概有7个多G，需要把数据整合到Mysql里边做进一步处理，网上搜了一些方式好多是要修改这个sql...
-
Spark之thriftserver/beeline的使用
启动thriftserver: 默认端口是10000 ，可以修改 启动beelinebeeline -u jdbc:hive2://localhost:10000 -n ha...
-
es设置max_result_window
es设置index.max_result_window（就是from+size,默认大小10000），可通过如下方式修改： curl -XPUT 192.168.40.31:...
-
elasticsearch通配符和正则表达式查询
通配符（wildcard）和正则表达式查询（regexp），相关的还有prefix前缀查询(前缀查询我们这里用不到，不做过多说明)，他们都是底层基于词的查询，注意事基于词的，...
-
Flume部署及使用Flume是一个分布式的、高可靠的、高可用的用于高效收集、聚合、移动大量日志数据的框架（Flume is a distributed, reliable, and avail...
