一、基本概念解释
二、MongoDB 数据类型
下表为MongoDB中常用的几种数据类型。
ObjectId 类似唯一主键，可以很快的去生成和排序，包含 12 bytes，含义是：
前 4 个字节表示创建 unix 时间戳,格林尼治时间 UTC 时间，比北京时间早了 8 个小时
接下来的 3 个字节是机器标识码
紧接的两个字节由进程 id 组成 PID
最后三个字节是随机数
MongoDB 中存储的文档必须有一个 _id 键。这个键的值可以是任何类型的，默认是个 ObjectId 对象
由于 ObjectId 中保存了创建的时间戳，所以你不需要为你的文档保存时间戳字段，你可以通过 getTimestamp 函数来获取文档的创建时间:
> var newObject = ObjectId()
> newObject.getTimestamp()
ISODate("2018-07-05T07:21:10Z")
ObjectId 转为字符串
> newObject.str
5a1919e63df83ce79df8b38f
三、Mongodb入门命令
3.1、基本查看命令
show dbs 查看所有的数据库
use databaseName 使用某个数据库 例如：use edu
show tables/collections 查看当前库下的所有collection
3.2、库和集合的操作
查看当前所处的数据库
db
3.3、在mongodb中，库是隐式创建的，你可以use 一个不存在的库，然后在该库下创建collection，即可创建库。
db.dropDatabase(); 删除database， 把当前所用的库给删除了 , 即使里面有数据也会删除
db.createCollection(‘collectionName’)， 创建collection，collection也是允许隐式创建的
db.collectionName.insert(document); 在集合(表)中插入具体数据的时候会自动创建
db.collectionName.drop() , 删除collection
举例如下：
use edu #创建数据库：edu
db.createCollection('video') #创建集合（表）：video
db.video.insert({play_url:'http://www.sohu.com/a.mp4',title:'战狼2',area:'中国'}) #插入一条数据
db.video.drop() #删除集合video
四、Mongodb基本增删改查
4.1、增加数据
mongodb存储的是文档,文档是json格式的对象,我们向数据库存储数据的时候可以使用insert方法,数据格式要以js对象格式进行存储:
语法： db.collectionName.insert(document);
db.createCollection('student')
db.student.insert({name:'zhangsan',age:'20'}) 向当前students表里插入数据
4.1.1、增加单篇文档
语法： db.student.insert({title:"nice day"});
4.1.2、增加单个文档,并且指定_ID
语法： db.student.insert({_id:8,age:78,name:"lisi"});
_id 是我们在插入数据的时候,mongodb自动给文档添加的一个属性,如果我们不需要系统分配_id ,可以在添加数据的时候手动设置,覆盖原有_id ,虽然_id 的类型可以自由指定,但是在同一个集合当中必须唯一,如果插入重复的值,系统会抛出异常.
这个_id 的名称是固定的,它可以是Mongodb支持的任何数据类型,默认是ObjectId,在关系型数据库中,主键通常是数值型的,并且可以设置自增,而Mongodb的主键,原生不支持自增主键。
4.1.3、增加多个文档
db.student.insert( [{time:'friday',value:'mongodb'},{_id:1,gender:'male',name:'QQ'}])
可以以数组的方式，一次性向集合插入多个数据；同时应该注意的是，由于mongodb采用的是 J a v a S c r ip t S he l l，所以我们可以根据js特性，将文档作为值赋给变量然后进行操作：
j = {name : 'isi'};
t = {name : 'wangwu'};
db.student.insert([j,t]);
4.1.4、SAVE和INSERT的区别
save和insert都可以进行数据的插入和增加,但是也有一些异同:
对于已存在数据 { _id:1, "name":"n1" }，再次进行插入操作时，
a、insert({_id:1, "name" :"n2"}) 会报主键重复的错误提示；
b、save({ _id:1, " name ":"n2"}) 会把 n1 修改为 n2 。
相同点： 若新增的数据中没有主键时，会增加一条记录。
不同点： 主键_id已存在时 :insert 会报错，save会修改当前_id的数据
即：insert有则报错，无则插入；save有则修改，无则插入
4.2、查询操作
4.2.1、FIND()
无条件的普通查询方式很简单,可以直接使用
db.collectionName.find( ) ; 一次可以查出指定集合中的所有数据
db.student.find();
按照条件进行查询操作
语法: db.collection.find( 查询表达式 , 查询的列 ) ;
例1: db.student.find({},{name:1}) //查询student集合中的name属性 (_id属性默认总是查出来)
例2: db.student.find({},{name:1, _id:0}) //查询student集合中的name属性,且不查询_id属性此处的0表示的是false,不查询
例3: db.student.find({age:20},{name:1,_id:0 } ) ;//查询student集合中age属性值为20的name属性
4.2.2、FINDONE()
findOne()和find()函数一样,只是findOne()返回的是查询结果中的第一条数据,或者返回null.
4.3、删除操作
语法: db.collectionName.remove( 查询表达式 , 选项 );
选项是指 { justOne:true/false},是否只删一行, 默认为false 注意
1: 查询表达式依然是个json对象
2: 查询表达式匹配的行,将被删掉.
3: 如果查询表达式为空对象{},collections中的所有文档将被删掉.
例1： db.student.remove({name:'n1'});//删除stu表中name属性值为'n1'的文档
例2： db.student.remove({gender:'m'},true);//删除stu表中gender属性为m的文档,只删除1行.
4.4、修改操作
语法: db.collection.update( 查询表达式 , 新值 , 选项 );
*改哪几行? --- 查询表达式
*改成什么样? -- 新值 或 赋值表达式
*操作选项 ----- 可选参数
upsert:如果要更新的那条记录没有找到，是否插入一条新纪录，默认为false
multi :是否更新满足条件的多条的记录,默认为false
multi :是否更新满足条件的多条的记录，false：只更新第一条，true:更新多条，默认为false
例：db.student.update({name:'QQ'},{name:'MSN'}); //是指选中student表中,name值为QQ的文档,并把其文档值改为{name:"MSN"},
结果：文档中的其他列也不见了,改后只有_id和name列了。即是新文档直接覆盖了旧文档,而不是修改。
4.4.1、修改操作中的关键字
如果是想修改文档的某列,可以用$set关键字
例：db.student.update(query,{$set:{name:’QQ’}})
修改时的赋值表达式
$set 修改某列的值
$unset 删除某个列
$inc 增长某个列
$rename 重新命名某列
$setOnInsert 当upsert为true时,并且发生了insert操作时,可以补充的字段.
$INC实例
按照指定的步长增长某个列;
db.student.insert({"uid":"201203","type":"1",size:10})
db.student.update({"uid" :"201203"},{"$inc":{"size" : 2}})
$UNSET实例
db.student.find({_id:8})
db.student.update({_id:8},{$unset:{age:'sss'}})
4.5 查询表达式
我们无论在修改删除还是查询的过程中,都需要传入查询表达式对目标数据进行查询,表达式有很多种
1: 最简单的查询表达式
{filed:value} ,是指查询field列的值为value的文档
2: $ne：!=
{field:{$ne:value}}
db.stu.find({age:{$ne:16}}) 作用--查age列的值 不等于16的文档
3:$gt:大于
$lt:小于
$gte:大于或等于
$lte:小于或等于
4: $in：[] 查询某列的值在范围内的文档
db.goods.find({cat_id:{$in:[2,8]}}
5: $nin：not in 查询某列不在范围内的文档
$nin:[2,3,5]
6: $exists
语法: {field:{$exists:1}}
作用: 查询出含有field字段的文档
7:用正则表达式查询 以”诺基亚”开头的商品
例:db.goods.find({goods_name:/诺基亚.*/},{goods_name:1});
五 游标操作
通俗的说，游标不是查询结果，而是查询的返回资源，或者接口，通过这个接口，你可以逐条对数据进行读取；
声明游标 :
var cursor = db.collectioName.find(query,projection);
cursor.hasNext() //判断游标是否已经取到尽头
cursor.next() //取出游标的下1个单元
用while来循环游标
var mycursor = db.bar.find({_id:{$lte:5}})
while(mycursor.hasNext()) { printjson(mycursor.next());}
游标还有一个迭代函数,允许我们自定义回调函数来逐个处理每个单元.
cursor.forEach(回调函数);
var gettitle = function(obj) {print(obj.goods_name)}
var cursor = db.goods.find();
cursor.forEach(gettitle);
游标在分页中的应用
比如查到10000行,跳过100页,取10行,一般地,我们假设每页N行, 当前是page页, 就需要跳过前 (page-1)*N 行, 再取N行.
在mongo中,分页是用skip(), limit()函数来实现的
//查询结果中,跳过前9995行
var mycursor = db.bar.find().skip(9995);
//查询第901页,每页10条
则是 var mytcursor = db.bar.find().skip(9000).limit(10);
六 group分组
mongodb支持聚合运算;
在goods表中插入数据
db.goods.insert([
{'_id':3,'cat_id':6,'price':29},
{'_id':4,'cat_id':7,'price':30},
{'_id':5,'cat_id':6,'price':31},
{'_id':6,'cat_id':7,'price':32},
{'_id':7,'cat_id':7,'price':28},
])
如果我们所处的是mysql数据库,我们可以这样查询每个类下面的商品平均价格
select avg(price) from goods group by cat_id;
但如果在mongodb下,我们如何查询分组内的平均值呢? 我们需要使用mongodb的聚合运算 https://docs.mongodb.com/manual/aggregation/
db.goods.aggregate([
{$match:{}},
{$group:{_id:"$cat_id",avg:{$avg:'$price'}}}
]);
其中,$match表示匹配的条件,$group表示分组的条件,$avg表示求平均值. 当然,指令还有很多,我们还可以使用limit,sort等操作
db.goods.aggregate([
{$match:{}},
{$group:{_id:"$cat_id",avg:{$avg:'$price'}}},
{$limit:1}
]);
按照价格降序排列
db.goods.aggregate([
{$match:{}},
{$sort:{price:-1}}
]);
七 MapReduce
7.1、MapReduce原理
随着大数据兴起,MapReduce的概念也越来越火,通常的概念是用于大规模数据集(1TB)的并行运算,实际上就是传统关系型数据库的group概念的延伸.
MapReduce之所以能够流行,是因为数据的大,当数据过大的时候,单个服务器无法承载,facebook,微软等等的数据中心都是分布在世界各地的, 我们所需 要的数据很可能分布在不同的服务器甚至世界各地.在这时候,我们就无法使用group操作了.
MapReduce通俗的讲,最大的优点就是可以支持分布式的group
而MapReduce的操作即分为map和reduce两步;
map ---> 映 射
reduce ---> 减少,规约,回归
7.2、MapReduce统计价格
//按照cat_id 分配 price,把price数据映射到一个数组上 var map = function(){
emit(this.cat_id , this.price)
}
//将映射好的数组进行操作
var reduce = function(cat_id,number){ return Array.avg(number)
}
//将统计的数据映射到res表当中db.goods.mapReduce(map,reduce,{out:'res'})
接下来我们使用mapReduce功能实现地震数据的统计
7.3、下载并导入地震信息
在国家地震科学数据共享中心下载过去一年的地震数据 http://data.earthquake.cn/sjfw/index.html?PAGEID=datasourcelist&dt=40280d0453e414e40153e44861dd0003
将数据保存为csv格式,导入到mongodb数据库中，使用mongoimport
-d : 指明导入文件存放在哪个数据库
-c : 指明导入文件存放在哪个集合
--type：指明要导入的文件格式。
--headerline：指明不导入第一行，csv格式的文件第一行为列名。
--file：指明要导入的文件路径。
./bin/mongoimport -d test -c dz --type csv --file /usr/local/src/dz.csv --headerline
7.4、按照经纬度统计数据
我们规约的时候按照经纬度的5*5方格进行分组,如果在此方格内存在地震,则地震+1
var map = function(){
var jd = parseInt(this.jd/5)*5; var wd = parseInt(this.wd/5)*5; var area = jd + ':' + wd;
emit(area,1);//如果该区域有地震,则统计为1
}
var reduce = function(area,nums){ return Array.sum(nums);
}
db.dz.mapReduce(map,reduce,{out:'dzrs'});
成功获取区间范围内的地震次数,此时我们要将数据导出为json,做成热力图;
7.5 热力图
使 用 百 度 地 图 开 放 平 台 的 热 力 图 api http://lbsyun.baidu.com/index.php?title=jspopular
填入密钥,生成热力图
7.6 展示地震数据
转化地震数据为规定的json格式
var course = db.dzrs.find();
var row;
course.forEach(function(obj){
row = obj._id.split(':');
db.reli.insert({lng:parseInt(row[1])+2.5,lat:parseInt(row[0])+2.5,count:obj.value})
})
导出json
./bin/mongoexport -d test -c reli -o /usr/local/src/reli.json
将json数据放入热力图当中并配置热力图相关选项.
