MongoDB因为上手比较简单,所以这个课程使用了它。记住一点如果以后代码出现了问题第一时间去查找下官方的文档,第二时间才是去google it。
1.大致了解下MongoDB
MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。
MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档,数组及文档数组。
2.开始了解MongoDB
注意ubuntu中默认的python3.4,所以在pycharm中的 project要选择python3.4.应该是。这个应该是要在Terminal中输入python之后显示的版本号一致。
3.启动MongoDB
在终端中输入 启动mongodb
如果先启动了VPN在启动mongod会失败,如果先启动
4.使用pymongo
其实,使用pymongo的大致思路就是使用excel。
1.打开电脑,打开一个excel,打开一个sheet,输入数据。下面是我自己写的实例。
-----------------------------------------------------------------------------------------------------------------
import pymongo
#创建一个数据库的实例
client = pymongo.MongoClient("localhost",27017)
#访问client实例中的数据库
omg = client["omg"]
#访问数据库中创建了一个表单
sheet_1 = omg["sheet_1"]
d = {'a':1,'b':2,'c':3}
#只有在这一步之后才会在mongodb中创建一个数据库
# sheet_1.insert_one(d)
#写入数据
foriinsheet_1.find():
print(i)
#读取数据
foriinsheet_1.find():
print(i)
----------------------------------------------------------------------------------------------------------------------------
5.注意爬取数据的类型
网页中爬取的数据都是str,如果需要int什么的需要转换。
6.写代码时的精神状态
写代码时时刻需要知道,我需要写那些步骤来完成这个任务,我现在在写什么,写了这个有什么用。
7.函数
写的脚本最好用函数来拼接,以后在看到这个脚本不用在一行一行的读代码了,看一下函数名和注解基本就可以用了。