从业务视角看开源数据存储技术选型

背景

在业务场景技术选型的过程中,存储技术通常是必不可少的一环,而当前存储技术繁杂多样,如何迅速选择合适业务的技术非常重要。本文根据业务特点抽象核心需求,根据不同需求采取对应的最佳方案。

业务需求抽象

业务特点抽象由广到窄分为如下几点:

  • 是否结构化数据。这里非结构化数据主要是图片、视频和语音等二进制信息。

  • 是否分析型服务。存储服务一般分为在线业务型和分析型。在线业务型用于在线服务增产改查和一些事务性需求;分析型服务一般是运营、产品和分析型对离线数据进行洞察分析。

  • 是否关系型数据。这里主要区分SQL和NoSQL。关系型数据按结构化关系来存储(数据存储模型符合第三范式),其一般是传统行式数据库。非关系存储一般是K-V存储和文档存储。

  • 是否有数据更新和低延迟需求。主要用于对分析型服务分类,数据更新一般是对已有数据进行update修改,低延迟通常是指秒级延迟需求。

  • 是否水平扩展。这里水平扩展主要对newSQL和SQL进行分类。因为传统关系型数据库的扩展性比较弱,主要通过上层sharding方案实现扩展,其存储在设计方面的可扩展性很弱,没有自动数据balance、数据迁移功能。可水平扩展就说明该存储在设计上就实现了数据自动balance、对新加入节点进行用户透明的数据迁移。

  • 是否预聚合。这里主要是对OLAP进行分类,OLAP分为ROLAP和MOLAP,ROLAP类似传统关系型数据库,对分析需求进行adhoc查询,非常灵活,查询延迟一般在秒级以上。MOLAP主要是对数据先预聚合再查询,因为预聚合要管理员提前定义聚合指标,所以查询灵活度较低,但是响应非常迅速,一般在亚秒级。

技术选型图

存储技术路径选择图

闭源技术补充

本图主要划分了开源数据库技术选型,但除了开源选型,在当前的云计算时代,也有很多大厂对应的闭源技术可以选择,下面列举一二并给出选择参考。

非结构化存储

除了开源的ceph,闭源的有AWS的S3、Google的cloud storage、阿里云的OSS和百度云的BOS等。

关系型水平扩展数据库

除了开源的TiDB,还有AWS的Aurora、Google的cloud spanner、阿里云的Oceanbase和百度对开源CockroachDB封装的版本等。

分析型数据库

开源的分析型数据库比较丰富,可根据具体团队状况、技术栈、社区活跃度情况选择。闭源方面可以使用AWS的Redshift、Google的BigQuery、阿里云的ADS和百度云的Palo等。

总结

开源技术丰富多样,一般针对不同场景都有对应的实现技术方案,比较灵活多样,用户根据需求抽象再参考本文就可以选择合适的存储技术。

对于使用云的用户,各家厂商都有完备的对应技术方案,开箱即用。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,723评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,080评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,604评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,440评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,431评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,499评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,893评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,541评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,751评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,547评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,619评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,320评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,890评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,896评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,137评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,796评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,335评论 2 342