且慢!听说你线上环境准备选型 Elasticsearch SQL 了?

1、由两个线上问题说开去

  • 问题1:用 Elasticsearch 做宽表的报表查询,我们打算用 jdbc 的方式访问,方便开发(使用sql),这种方式还是用JAVA封装的方法好。有没有坑?

  • 问题2:Elasticsearch 可以用脚本写sql ,像执行hive脚本一样吗?

2、问题解读

  • 问题 1 涉及选型问题,我们会条分缕析解读。

  • 问题 2 涉及 Elasticsearch 是否支持 SQL 功能。

3、Elasticsearch SQL 到底指什么?

一句话:能像关系型数据库如 Mysql 中使用 SQL 方式一样方便的实现 Elasticsearch 增、删、改、查(尤其是检索、聚合)等的操作。

3.1 Elasticsearch SQL 演进史

相比于 Elasticsearch,关系型数据库的 SQL 查询用的人更多,大家也习惯用 SQL 进行数据的增删改查操作。

加上 Elasticsearch DSL 多少有一定的学习成本,所以在 Elasticsearch 早期 1.X——6.X版本发展过程中,听到最多声音是:

  • Elasticsearch 什么时候支持 SQL?

  • 类关系型数据库中的 SQL 如何转换成 Elasticsearch 中的 DSL?

国内的 NLPChina 团队2015年左右开源的 elasticsearch-sql 插件非常火,star 达 6.2K。但跟进到7.9.3 版本之后,elasticsearch-sql 已被 DEPRECATED(原因未知)。

地址:https://github.com/NLPchina/elasticsearch-sql/

实际上:Elasticsearch 在2018年6月15日前后发布的 6.3 版本中已支持 SQL。

可以看一下 SQL 功能刚发布后我写的文章:

抢先 | 支持sql的Elasticsearch6.3全景概览

3.2 Elastic 官方文档介绍 Elasticsearch SQL

“Elasticsearch 具有高速、灵活、可扩展等特点,能够满足您的数据需求,而且其还可以使用 SQL。使用传统数据库句法来解锁非传统性能,例如在 PB 量级的数据中进行全文本搜索,并实时获得结果。”

https://www.elastic.co/cn/what-is/elasticsearch-sql

3.3 Elasticsearch SQL 使用概览

有图有真相。

截图中的 SQL 和 Mysql中的用法几乎完全一致。

SELECT * FROM library ORDER BY page_count DESC

3.4 Elasticsearch SQL 的优点

  • 极易上手

类关系型数据库 SQL 查询,会 SQL 操作 Elasticsearch 不费劲。

  • 无需第三方依赖

高版本7.X已支持(7.1+版本 xpack基础功能免费),早期版本还需要安装 xpack 插件,现在都不需要。

4、Elasticsearch SQL 选型还需要考虑哪些因素?

4.1 Elasticsearch SQL 尚存在不足

  • 多表关联支持不足

Elasticsearch 无法完美无缝的实现 Mysql 的多表关联(Join)功能, 原因:受限于 Elasticsearch 数据模型(宽表、Nested类型、Join类型)。

  • 嵌套 select 支持不足

举例:如下 MySQL 查询语句在 Elasticsearch 执行的话,结果可能达不到预期。

  1. SELECT COUNT(subquery.item_id) total

  2.     SELECT item_id, COUNT(item_id) nofbs, CAST(timestamp AS DATE) date, user_email

  3.     FROM select_download_user

  4.     GROUP BY item_id, CAST(timestamp AS DATE), user_email

https://www.elastic.co/cn/blog/an-introduction-to-elasticsearch-sql-with-practical-examples-part-2

https://stackoverflow.com/questions/67166581/elasticsearch-sql-count-function-does-not-work-with-subquery-on-elasticsearch

4.2 Elasticsearch JDBC / ODBC 仍未免费

尽管 REST 方式可以使用,但绝大多数Java、Python 客户端用户更习惯使用 JDBC 方式连接 Elasticsearch。

参见官方文档的描述,JDBC 和 ODBC 都需要白金版付费购买 Liscene 授权才可以使用。

JDBC client requires a Platinum subscription. Please ensure that you have a Trial or Platinum license installed on your cluster before proceeding.

https://www.elastic.co/cn/downloads/jdbc-client

https://www.elastic.co/cn/subscriptions

4.3 Elasticsearch SQL 国内公司使用现状调查

正所谓:“他山之石,可以攻玉”、“知己知彼、百战百胜”。

如下是累计近 2000人 + 的 Elasticsearch 学习微信群(共 181 人参与)的随机调研结果,仅供选型参考。

问卷题目:“Elasticsearch 6.3 以后推出的SQL,你的企业场景使用了吗?”

PS:问卷题目并不严谨(如:选项内容比较随意,单选并不合理),但群众的眼光是雪亮的,问卷结果会给选型提供非常有价值的参考。

5、小结

关注铭毅天下公众号的读者都会发现,我们一般会把官方文档、官方网站或者官方博客的地址、源码截图放到最醒目的位置。

目的是想知会广大读者:官方文档是官方角度的权威介绍,相比其他论坛、博客要权威。也希望大家养成阅读官方文档的习惯。

声明一下,本文并没有说:不让使用 Elasticsearch SQL,请不要过分解读。

本文从选型视角,列举了Elasticsearch SQL 发展历程、优点、缺点、180 + 企业使用调研,目的是解答文章开头的线上问题。如果能让广大读者的 Elasticsearch SQL 选型少走不必要的弯路,我会非常欣慰。

欢迎大家留言说一下自己 Elasticsearch SQL 使用情况。

不当之处,欢迎指正交流。


推荐:

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,902评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,037评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,978评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,867评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,763评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,104评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,565评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,236评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,379评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,313评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,363评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,034评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,637评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,719评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,952评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,371评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,948评论 2 341

推荐阅读更多精彩内容