一、添加自定义参数 在KuduClientConfig中，添加自定义参数，如下 public long getSplitSize() { return splitSize; ...
IP属地：天津
-
presto 0.217 提升kudu connector查询性能
-
Presto数据模型Presto采取三层表结构： catalog 对应某一类数据源，例如hive的数据，或mysql的数据 schema 对应mysql中的数据库 table 对应mysql中的...
-
当segment中deleted doc占比超过50%的时候，segment也会重建。
Elasticsearch 5.x 源码分析（5）segments merge 流程分析
这两周主要看了下 Elasticsearch（其实是Lucene）的 segments 的 merge 流程。事情起因是，线上的ES有些大索引，其中的segments 个数几...
-
binlog不需要回滚，因为redolog已经落盘了，binlog提交就说明事务成功。等恢复的时候会把redolog刷到内存页。
Mysql binlog redolog与crash-safe
Part 1 What and Why 什么是redog和binlog? redolog是对记录修改之后的物理日志，物理日志就是说redolog保存的是某一行数据修改之后的值...
-
因为事务是否成功是以binlog为准的，binlog没执行，就说明事务失败需要回退，所以重启之后还是会一致的。
Mysql binlog redolog与crash-safe
Part 1 What and Why 什么是redog和binlog? redolog是对记录修改之后的物理日志，物理日志就是说redolog保存的是某一行数据修改之后的值...
-
首先佩服大佬，能结合实际应用分析es。也有小问题请教一下，es1.4版本，44万条数据，每次scroll size为200，为什么scroll_id一直不变呢？按理来说，scroll到后面，需要查询的shard应该越来越少，scroll_id也应该越来越短才是吧。scroll_id解析完之后的内容是什么呢？是shard_id和search_id吗？如果只是把lastEmittedDoc保存一定时间，那每次传一个不变的scroll_id的意义又何在呢？文档上有句话：While the _scroll_id may change between requests, it doesn’t always change — in any case, only the most recently received _scroll_id should be used.不太理解是什么意思。希望可以交流一下，谢谢！
Elasticsearch 5.x 源码分析（3）from size, scroll 和 search after
前两天突然被业务部的同事问了一句：“我现在要做搜索结果全量导，该用哪个接口，性能要好的？”之前虽然是知道这三种方法都是可以做分页的深度查询，但是由于具体的代码实现细节没看过，...
-
Mysql binlog redolog与crash-safe
Part 1 What and Why 什么是redog和binlog? redolog是对记录修改之后的物理日志，物理日志就是说redolog保存的是某一行数据修改之后的值...
-
ElasticSearch之跨集群实践
背景：使用多个ES集群来存储用户日志，然后提供给运营分析。日志采集架构大概为nginx-->openresty-->kafka/aws kinesis-->es。但是国内使用...
-
git日常之pull&request小技巧
新需求->开发->测试->pr->新需求....，应该是大部分写业务的程序员的日常了（架构师除外）。本文主要讲pr这一小步，也是作者痛定思痛之后学会的一个小技巧。 先说下背景...
-
