BSON
BSON 是由 10gen 开发的一个数据格式,目前主要用于 MongoDB 中,是 MongoDB 的数据存储格式。BSON 基于 JSON 格式,选择 JSON 进行改造的原因主要是 JSON 的通用性及 schema-less 的特性。
BSON 采用 schema-less 存储形式,是一种类似 JSON 的二进制存储格式,全名为 Binary JSON 。它和 JSON 一样支持内嵌文档对象和数组对象,且支持后者未提供的 Date 和 BinDate 数据类型。相比 JSON ,BSON 的优点是灵活性高,缺点是空间利用率较低。
BSON 主要实现了以下三点目标:
(1)更快的遍历速度
对 JSON 格式来说,太大的 JSON 结构会导致数据遍历非常慢。在 JSON 中,要跳过一个文档进行数据读取,需要对此文档进行扫描,而且需要进行麻烦的数据结构匹配,比如括号的匹配。而 BSON 对 JSON 的一大改进就是,它会将 JSON 的每一个元素的长度存在元素的头部,这样你只需要读取到元素长度就能直接 seek 到指定的点上进行读取了。
(2)操作更简易
对 JSON 来说,数据存储是无类型的,比如你要修改基本一个值,从 9 到 10,由于从一个字符变成了两个,所以可能其后面的所有内容都需要往后移一位才可以。而使用 BSON,你可以指定这个列为数字列,那么无论数字从 9 长到 10 还是 100,我们都只是在存储数字的那一位上进行修改,不会导致数据总长变大。当然,在 MongoDB 中,如果数字从整形增大到长整型,还是会导致数据总长变大的。
(3)增加了额外的数据类型
JSON 是一个很方便的数据交换格式,但是其类型比较有限。BSON 在其基础上增加了 byte array 数据类型,这使得二进制的存储不再需要先使用 base64 转换后再存成 JSON ,大大减少了计算开销和数据大小。
但是在有的时候,BSON 相对 JSON 来说也并没有空间上的优势。比如对 {“field”:7},在 JSON 的存储上 7 只使用了一个字节,而如果用 BSON,那就是至少 4 个字节(32 位)。目前在 10gen 的努力下,BSON 已经有了针对多种语言的编码解码包,都是 Apache2 License 下开源的,并且还在随着 MongoDB 一同发展。
GridFS
GridFS 是 Mongo 的一个子模块,使用 GridFS 可以基于 MongoDB 来持久存储文件。并且支持分布式应用。BSON 存储文件数据时要求文件不得超过 16M ,在实际系统开发中,上传的图片或者文件可能尺寸会很大,此时我们可以借用 GridFS 来辅助管理这些文件。
GridFS 是一种文件管理方式,它用于存储和检索超过 16M 的大文件。GridFS 不是将一个大文件存储在一条文档中,而是自动将文件分成块,每一块作为一条文档单独存储。GridFS 使用的块的容量默认是 256K 。
GridFS 不是 MongoDB 自身特性,只是一种将大型文件存储在 MongoDB 的文件规范。GridFS 制定大文件在数据库中的处理规程,通过开发语言驱动来完成、通过 API 接口来存储检索大文件。
存储原理
GridFS 使用两个集合(collection)存储文件。一个集合是 chunks ,用于存储文件内容的二进制数据;一个集合是 files,用于存储文件的元数据。
GridFS 会将两个集合放在一个普通的 buket 中,并且这两个集合使用 buket 的名字作为前缀。MongoDB 的 GridFs 默认使用 fs 命名的 buket 存放两个文件集合。因此存储文件的两个集合分别会命名为集合 fs.files , 集合 fs.chunks 。
当然也可以定义不同的 buket 名字,可以在一个数据库中定义多个 bukets,但所有的集合的名字都不得超过 mongoDB 命名空间的限制。
MongoDB 集合的命名包括了数据库名字与集合名字,会将数据库名与集合名通过 “.” 分隔。而且命名的最大长度不得超过 120bytes 。
使用 GridFS 存储文件时,如果文件大于 256K ,会先将文件分割成多个块,最终将 chunk 块的信息存储在 fs.chunks 集合的多个文档中。然后将文件信息存储在 fs.files 集合的唯一一份文档中。对于同一个大文件,fs.chunks 集合中多个文档中的 file_id 字段对应 fs.files 集中某一个文档的 _id 字段。
读文件时,先根据查询条件在 files 集合中找到对应的文档,同时得到 _id 字段,再根据 _id 在 chunks 集合中查询所有 files_id 等于 _id 的文档。最后根据 n 字段顺序读取 chunk 的 data 字段数据,还原文件。
fs.files 集合中文档的存储内容如下:
{
"_id": <ObjectId>, // 文档ID,唯一标识
"chunkSize": <num>, // chunk 大小 256K
"uploadDate": <timetamp>, // 文件上传时间
"length": <num>, // 文件长度
"md5": <string>, // 文件md5值
"filename": <string>, // 文件名
"contentType": <string>, // 文件的 MIME 类型
"metadata": <dataObject> // 文件自定义信息
}
fs.chunks 集合中文档的存储内容如下:
{
"_id": <ObjectId>, // 文档ID,唯一标识
"files_id": <ObjectId>, // 对应 fs.files 文档的 _id
"n": <num>, // 序号,标识文件的第几个 chunk
"data": <binary> // 文件二级制数据
}
为了提高检索速度 MongoDB 为 GridFS 的两个集合建立了索引。fs.files 集合使用是 filename 与 uploadDate 字段作为唯一、复合索引。fs.chunk 集合使用的是 files_id 与 n 字段作为唯一、复合索引。