众所周知,ES的 index_API 和 update_API, 去更新一个文档的某个属性的时候,其实都是需要把整个文档重新load回来,去替换某部分的字段,最终这个文档是需...
@超级大海贼 如果是偶发性调用,scroll会好一些,起码省去了重复查询
Elasticsearch 5.x 源码分析(3)from size, scroll 和 search after前两天突然被业务部的同事问了一句:“我现在要做搜索结果全量导,该用哪个接口,性能要好的?”之前虽然是知道这三种方法都是可以做分页的深度查询,但是由于具体的代码实现细节没看过,...
ES无法只搜nested 文档的呀
Elasticsearch 5.x 源码分析(14)你一定需要使用nested 类型吗?很早之前就听说nested字段的查询效率要慢一个数量级,parent-children 查询要慢2个数量级,一直是将信将疑的,知道最近的一些慢查询的排查终于踩到这坑上来,因此...
@CDC12 这个没办法,数据库都会有这个问题,2 的话也是没办法,scroll的语义就是单次的,不是用来传递或者保存将来用的
Elasticsearch 5.x 源码分析(3)from size, scroll 和 search after前两天突然被业务部的同事问了一句:“我现在要做搜索结果全量导,该用哪个接口,性能要好的?”之前虽然是知道这三种方法都是可以做分页的深度查询,但是由于具体的代码实现细节没看过,...
问题描述 我们最近有个项目,需要实时消费订单成单的消息,提炼完数据后把结果写入HDFS,因此checkpointConfiguration 自然而然也采用默认配置写到HDFS...
一起学习吧,我们公司用2.4和window + watermark 的人很少,所以很多问题只能自己查
Spark Structured Streaming 2.4 踩的一些坑最近参与一个公司大数据项目开始入坑Spark,Spark从2.0开始从RDD 的底层API转向了面向Dataset/Dataframe 的高级API,Spark Stream...
最近参与一个公司大数据项目开始入坑Spark,Spark从2.0开始从RDD 的底层API转向了面向Dataset/Dataframe 的高级API,Spark Stream...
@CrackM5 是的,不然search after就没意义了
Elasticsearch 5.x 源码分析(3)from size, scroll 和 search after前两天突然被业务部的同事问了一句:“我现在要做搜索结果全量导,该用哪个接口,性能要好的?”之前虽然是知道这三种方法都是可以做分页的深度查询,但是由于具体的代码实现细节没看过,...
@超超_59b2 没有,scroll就是会每次都移动浮标,发现错误就重来吧
Elasticsearch 5.x 源码分析(3)from size, scroll 和 search after前两天突然被业务部的同事问了一句:“我现在要做搜索结果全量导,该用哪个接口,性能要好的?”之前虽然是知道这三种方法都是可以做分页的深度查询,但是由于具体的代码实现细节没看过,...
昨天下午被@loogson 兄追着问了一些ES下nested的性能问题,和他一起深钻进去一下子把posting list 机制和filter cache 的bitmap 机制...
前言 Spark 2.0 将流式计算也统一到DataFrame里去了,提出了Structured Streaming的概念,将数据源映射为一张无线长度的表,同时将流式计算的结...
前言 又是一个超长的标题(摊手┓( ´∀` )┏)。Spark Streaming 历史比较悠久,也确实非常好用,更重要的是,大家已经用熟了,有的还做了不少工具了,所以觉得这...
One query thread per Shard? https://discuss.elastic.co/t/one-query-thread-per-shard/717...
@黄云斌huangyunbin 敬请期待啦,黄总监
再见2018,你好2019
@要没时间了_3c48 ES好像不支持自动生成id吧?
十亿级索引性能优化的一些小经验总结这周是个忙碌的一周,忙着4.19大促的各种事情,忙着帮业务上线,忙着开发,忙着对大索引的性能调优,忙着模板的优化,忙着支持扩容,今天忙着处理故障,但静下心来总结,总想写点什么...
双十一来临,大家应该要对所有索引都做做健康检查了,由于最近压力上不去,所以盯上了Query Cache,由于之前Query Cache没有怎么注意,一直用的是默认配置,所以导...
如果你也遇到这类问题希望下面几篇帖子能帮到你 Global ordinals全局顺序 Terms aggregation performance high cardinali...