MONGO学习之旅(九、备份)

思维导图

首先来看一下我们的思维导图

Mongo学习.png

MongoDB备份与恢复分两种实现方式. mongoexport 和 mongodump

mongexport

这个就是数据的导入导出, 在MONGO学习之旅(八、数据导入 导出)中已经对这种方式做了总结. 他主要针对单个数据库做全量备份. 这种方式实现起来简单、快捷。

mongodump

mongodump 工具是MongoDB提供的用来导出数据的工具,具体的用法可以参考官方文档:https://docs.mongodb.com/manual/reference/program/mongodump/

其基本语法格式如下:

mongodump -h host -p port -d dbname -o dbdirectory
  • -h:mongoDB所在服务器的地址,例如:localhost, 127.0.0.1等,当然也可以指定端口号,如果指定端口号,后面的-p可以不用写。
  • -p:mongoDB所暴露的端口,默认27017。
  • -d:需要备份的数据库名称。例如:orderdb
  • -o:备份文件存储的位置,例如:/home/mongodb/backup/这个目录需要提前建立, 系统在备份完成之后,会自动在该目录下建立一个databaseName(数据库名称)的目录。

其他更多的指定可以通过:

mongodump --help

命令来了解。

mongoDB数据恢复

mongoDB使用mongorestore命令来恢复数据库。
其语法格式如下:

mongorestore -h <host><:port> -d dbname <path>
  • -h<host><:port>:mongodb所在服务器的地址。当然也可以分开写。
  • -d:需要恢复的数据库名称,例如orderdb
  • --drop:恢复的时候,先删除当前数据,慎用
  • <path>:mongorestore最后一个参数,设置备份数据所在的位置,例如 /home/mongodb/backup/orderdb.json
  • --dir:指定备份的目录,不能和<path>同时使用。

其他更过的命令可以通过

mongorestore --help

来获取。

增量备份与恢复

上面说的都是全量备份。如果数据量大的话,全量备份是非常耗资源的,如果正巧当时处于用户访问的高峰期,全量备份会占用大量的IO资源,导致服务器不可用,这就非常影响用户体验。

增量备份一般有两种实现方式,

  • 使用mongdump --oplog 属性
  • 使用第三方提供的mongobackup程序

增量备份导出的是某一段时间间隔的数据,例如

image.png

值得注意的是,oplog为replica set或者master/slave模式专用(standalone模式运行mongodb并不推荐)。
oplog选项只对全库导出有效, 所以不能指定-d选项

mongodump --oplog 例子

以下例子参考使用oplog完成MongoDB增量备份

  • 获取全量导入时的最新时间戳
[tim@vm backup]$ bsondump bkm/oplog.bson 
{"ts":{"$timestamp":{"t":1557155068,"i":1}},"t":{"$numberLong":"1"},"h":{"$numberLong":"-8619141524121903478"},"v":2,"op":"n","ns":"","wall":{"$date":"2019-05-06T15:04:28.087Z"},"o":{"msg":"periodic noop"}}

得到时间戳Timestamp(1557155068, 1)

  • 再在主库中插入数据
tenmao_mongo:PRIMARY> db.article.insert({title:"four"})
WriteResult({ "nInserted" : 1 })
  • 导出新的oplog(增量)
mongodump --host localhost --port 27017 -d local -c oplog.rs -q '{ts:{$gt: Timestamp(1557155068, 1)}}'
  • 导入oplog(增量)
mongorestore --host localhost --port 28017 --oplogReplay dump/local/oplog.rs.bson
  • 查看备库数据
> db.article.find()
{ "_id" : ObjectId("5cd049460dec5d0273a0e3f9"), "title" : "one" }
{ "_id" : ObjectId("5cd049490dec5d0273a0e3fa"), "title" : "two" }
{ "_id" : ObjectId("5cd0494d0dec5d0273a0e3fb"), "title" : "three" }
{ "_id" : ObjectId("5cd18baedbafdcd937baa41c"), "title" : "four" }
  • 继续
    循环:后面就继续不断地根据前面一次的最新的timestamp,然后检索出新的oplog,再应用到备库。

mongobackup例子

以下例子参考mongodb增量备份方法

  • 下载mongobackup文件包
    将mongobackup的文件下载到mongodb的bin目录下
    输入
chmod a+x mongobackup //让系统编译它
  • 重启mongodb

  • 普通备份

mongobackup --backup
  • 流式备份
mongobackup --backup --stream
  • 指定开始时间
mongobackup --backup -s 1385367056,1
  • 增量恢复
    必须指定起止时间点, 配合全备,可以恢复到任意时间点(结束时间),开始时间可以理解为全部备份的时间点。
mongobackup --recovery -s 1385367098,27350  -t  1385367132,35490  ./backup/

mongbackup 本人没有实践过, 这里只是看到网友们都在用,记录一下

参考

[ Mongodb ] 全量备份和增量备份
使用oplog完成MongoDB增量备份
MongoDB的备份与恢复

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,902评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,037评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,978评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,867评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,763评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,104评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,565评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,236评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,379评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,313评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,363评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,034评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,637评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,719评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,952评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,371评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,948评论 2 341

推荐阅读更多精彩内容