目标
统计北京各区二手市场活跃度
工作流程
清洗数据；更新数据，整理思路；可视化数据
具体方法
import charts
import pymongo
client = pymongo.MongoClient('localhost', 27017)
ceshi = client['ceshi']
item_info = ceshi['item_infoS']
# 数据库内的数据是这个样子的
for i in item_info.find().limit(300):
print(i)
下面为打印结果：
{'pub_date': '2016.01.12', 'time': 0, '_id': ObjectId('5698f524a98063dbe9e91ca8'), 'price': 450, 'url': 'http://bj.58.com/jiadian/24541664530488x.shtml', 'look': '-', 'cates': ['北京58同城', '北京二手市场', '北京二手家电', '北京二手冰柜'], 'title': '【图】95成新小冰柜转让 - 朝阳高碑店二手家电 - 北京58同城', 'area': ['朝阳', '高碑店']} {'pub_date': '2016.01.14', 'time': 2, '_id': ObjectId('5698f525a98063dbe4e91ca8'), 'price': 1500, 'url': 'http://bj.58.com/jiadian/24349380911041x.shtml', 'look': '-', 'cates': ['北京58同城', '北京二手市场', '北京二手家电', '北京二手洗衣机'], 'title': '【图】洗衣机，小冰箱，小冰柜，冷饮机 - 朝阳定福庄二手家电 - 北京58同城', 'area': ['朝阳', '定福庄']}
pipeline = [
{'$match':{'$and':[{'pub_date':{'$in':['2015.12.25','2015.12.27']}},{'time':1}]}}, # 筛选函数，这里筛选条件是pub_date和time
{'$group':{'_id':{'$slice':['$area',1]},'counts':{'$sum':1}}}, # group接收2个参数，_id表示你以什么作为分组，counts为命名，后来跟函数表示你要做什么,sum表示发现一个加1，即计数作用。 主要用于数据的组团计算的,$price区别其他的$,它是表示调用原来的price
{'$sort' :{'counts':-1}}, # 1表示从小到大正序排列，-1反之
#{'$limit':3} # 筛选出出现频率最高三组数
]
# {'pub_date':'2015.12.24'}
for i in item_info.aggregate(pipeline):
print(i)
打印结果如下：
{'_id': ['朝阳'], 'counts': 60} # 打印结果，非程序
{'_id': ['不明'], 'counts': 59}
{'_id': ['海淀'], 'counts': 38}
{'_id': ['丰台'], 'counts': 26}
{'_id': ['昌平'], 'counts': 18}
def data_gen(date,time): # 定义成函数
pipeline = [
{'$match':{'$and':[{'pub_date':{'$in':date}},{'time':time}]}},
{'$group':{'_id':{'$slice':['$area',1]},'counts':{'$sum':1}}},
{'$sort' :{'counts':-1}},
]
for i in item_info.aggregate(pipeline):
yield [i['_id'][0],i['counts']]
for i in data_gen(['2015.12.25','2015.12.27'],1):
print(i)
打印出的结果如下：
['朝阳', 60] # 打印结果，这种格式正式图示化所需要的
['不明', 59]
['海淀', 38]
['丰台', 26]
['昌平', 18]
['通州', 13]
['大兴', 13]
['房山', 9]
['西城', 7]
图示化结果：
options = { # 这些都是套路，在highchart 的js代码里找到
'chart' : {'zoomType':'xy'},
'title' : {'text': '饼图'},
'subtitle': {'text': '城区交易量分布'},
}
series = [{
'type': 'pie',
'name': 'pie charts',
'data':[i for i in data_gen(['2015.12.25','2015.12.27'],1)]
}]
charts.plot(series,options=options,show='inline')
图示
