1.1、NoSQL概念
NoSQL并非字面的“不是SQL”或者“非SQL”,而是NoSQL=Not Only SQL,即“不仅仅是SQL”,是对不同于传统的关系型数据库的数据库管理系统的统称。
NoSQL:非关系型、分布式、不提供ACID的数据库设计模式。
NoSAQL用于超大规模数据的存储,这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。
【扩展】ACID的介绍
关系型数据库遵循ACID规则:
(1)A (Atomicity) 原子性
原子性很容易理解,也就是说事务里的所有操作要么全部做完,要么都不做,事务成功的条件是事务里的所有操作都成功,只要有一个操作失败,整个事务就失败,需要回滚。比如银行转账,从A账户转100元至B账户,分为两个步骤:1)从A账户取100元;2)存入100元至B账户。这两步要么一起完成,要么一起不完成,如果只完成第一步,第二步失败,钱会莫名其妙少了100元。
(2)C (Consistency) 一致性
一致性也比较容易理解,也就是说数据库要一直处于一致的状态,事务的运行不会改变数据库原本的一致性约束。
(3)I (Isolation) 独立性
所谓的独立性是指并发的事务之间不会互相影响,如果一个事务要访问的数据正在被另外一个事务修改,只要另外一个事务未提交,它所访问的数据就不受未提交事务的影响。比如现有有个交易是从A账户转100元至B账户,在这个交易还未完成的情况下,如果此时B查询自己的账户,是看不到新增加的100元的
(4)D (Durability) 持久性
持久性是指一旦事务提交后,它所做的修改将会永久的保存在数据库上,即使出现宕机也不会丢失。
【扩展】CAP的介绍
- C:Consistency(强一致性)
- A:Availability(可用性)
- P:Partition tolerance(分区容错性)
CAP理论就是说在分布式存储系统中,最多只能实现上面的两点。而由于当前的网络硬件肯定会出现延迟丢包等问题,所以在分布式系统中分区容错性是我们必须需要实现的。所以我们只能在一致性和可用性之间进行权衡,没有NoSQL系统能同时保证这三点。
CA:传统Oracle数据库。(单点集群,满足一致性,可用性的系统,通常在可扩展性上不太强大。)
AP: 大多数网站架构的选择在。(满足可用性,分区容错性的系统,通常可能对一致性要求低一些。)
CP: Redis、Mongodb。(满足一致性,分区容错性的系统,通常性能不是特别高。)
1.2、为什么使用NoSQL?
今天我们可以通过第三方平台(如:Google,Facebook等)可以很容易的访问和抓取数据。用户的个人信息,社交网络,地理位置,用户生成的数据和用户操作日志已经成倍的增加。我们如果要对这些用户数据进行挖掘,那SQL数据库已经不适合这些应用了, NoSQL 数据库的发展却能很好的处理这些大的数据。
由于关系型数据库的范式约束、事物特性、磁盘IO等特点,若服务器使用关系型数据库,当有大量数据产生时,传统的关系型数据库已经无法满足快速查询与插入数据的需求,NoSQL的出现解决了这一危机。它通过降低数据的安全性,减少对事务的支持,减少对复杂查询的支持,获取性能上的提升,但是,在某些特定场景下NoSQL仍然不是最佳选择,比如一些绝对要有事务与安全指标的场景。
- 具有灵活的数据模型,可以处理非结构化/半结构化的大数据;
- 容易实现可伸缩性(向上扩展与水平扩展);
- 读写性能高(无关系性的数据、数据库结构简单)。
现在一般互联网公司,都是关系型数据库与非关系型数据库组合使用。关系型数据库用来做数据的存储与持久化,非关系型数据库用来做内存、缓存,某些场景不需要事务但是频繁读取操作也用到非关系型数据库。
【注意】现在NoSQL没有一个统一标准的,也就是说,每学习一种非关系型数据库,它们里的查询之类的都不一样,这样学习成本就很大了,所以NoSQL这个缺点很大。
1.3、NoSQL数据库四大家族
1.3.1、键值(key-value)存储
- 特点:键值数据库就像传统语言中使用的哈希表。通过key添加、查询或者删除数据。
- 优点:查询速度快。
- 缺点:数据无结构化,通常只被当做字符串或者二进制数据存储。
- 应用场景:内容缓存、用户信息,比如会话、配置信息、购物车等,主要用于处理大量数据的高访问负载。
- NoSQL代表:Redis(临时性/永久性键值存储)、Memcached(临时性键值存储)、DynamoDB等。
1.3.2、文档(Document-Oriented)
- 特点:该类型的数据模型是版本化的文档,半结构化的文档以特定的格式存储,比如json,是一系列数据项的集合,每个数据项都有一个名称与对应的值,值既可以是简单的数据类型,如字符串、数字和日期等;也可以是复杂的类型,如有序列表和关联对象。
- 优点:数据结构要求不严格,表结构可变,不需要像关系型数据库一样需要预先定义表结构。
- 缺点:查询性能不高,缺乏统一的查询语法。
- 应用场景:日志、Web应用等。
- NoSQL代表:MongoDB、CouchDB等。
1.3.3、列族存储
- 特点:应对分布式存储的海量数据。列存储数据库将数据存储在列表中,将多个列聚合成一个列族,键仍然存在,但是它们的特点是指向了多个列。举个例子,如果我们有一个Person类,我们通常会一起查询他们的姓名和年龄而不是薪资,这种情况下,姓名和年龄就会被放入一个列族中,而薪资则在另一个列族中。
- 优点:列存储查询速度快,可扩展性强,更容易进行分布式扩展,适用于分布式的文件系统,应对分布式存储的海量数据。
- 缺点:查询性能不高,缺乏统一的查询语法。
- 应用场景:日志、分布式的文件系统(对象存储)、推荐画像、时空数据、消息/订单等。
- NoSQL代表:Cassandra、HBase等。
1.3.4、图形存储
- 特点:图形数据库允许我们将数据以图的方式存储,它是使用灵活的图形模型,并且能够扩展到多个服务器上。
- 优点:图形相关算法,比如最短路径寻址,N度关系查找等。
- 缺点:很多时候需要对整个图做计算才能得出需要的信息,分布式的集群方案不好做,处理超级节点乏力,没有分片存储机制,国内社区不活跃。
- 应用场景:社交网络,推荐系统等。专注于构建关系图谱。
- NoSQL代表:Neo4j、Infinite Graph等。
1.4、NoSQL优缺点
(1)、优点:
- 高扩展性:像NoSQL数据库(例如Cassandra)能轻松地添加新的节点来扩展这个集群。而关系型数据库存在join这样多表查询机制,使得数据库在扩展方面很艰难;
- 高可用(读写快):查询效率高,关系型数据库受限于磁盘IO,在高并发情况下压力倍增,而像Redis这种内存数据库每秒支持10W次读写。
- 数据模型灵活:传统关系型数据库都是结构化的表,而NoSQL可以是键值、文档、列族、图形。
- 低成本:开源软件,相比Oracle这种企业授权费用低了不少。
(2)、缺点:
- 没有固定的查询标准,学习成本高;
- 大多数不支持事务(Redis支持,MongoDB不支持);
- 大多数都是初创产品,不够成熟。
1.5、数据库管理系统排行
根据DB-Engines:https://db-engines.com/en/ranking 的排行,本文截取了排行榜 Top 45 如下图所示。DB-Engines 排名根据数据库管理系统的受欢迎程度对其进行排名。该排名每月更新一次。