#断点续传功能，来自周作业的main函数
from multiprocessing import Pool
from Gchannel_extract import All_channnel_links
from Gpage_parsing import get_detailinfo, getdetail_links, detail_info, detail_urls
def get_all_links(channel):
for i in range(1, 100):
getdetail_links(channel, i)
if __name__ == '__main__':
pool = Pool()
pool.map(get_all_links, All_channnel_links.split())
#断点续传功能
db_urls = [item['url'] for item in detail_urls.find()]
index_urls = [item['url'] for item in detail_info.find()]
x = set(db_urls)
y = set(index_urls)
rest_urls = x - y
pool.map(get_detailinfo, rest_urls)
第二周第三课时
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 【蝴蝶效应】 蝴蝶效应:上个世纪70年代，美国一个名叫洛伦兹的气象学家在解释空气系统理论时说，亚马逊雨林一只蝴蝶...
