最近在研究什么样的商品适合拼团,所以拿Python来试试写爬虫。
抓网页什么的我最喜欢拿WAP页面开刀,因为它够简单,防范又弱。这次我选择的分析对象是贝贝拼团,用Chrome打开网页先F12简单看看页面内容。
大致看一会儿网页源码基本就心里有底了
1. 可以每个频道分别抓取,cat带入不同参数即可
2. 商品列表分为两部分,打横一排有十个热门商品,下面则是两列一行的普通商品列表,需要翻页每页加载十个
3. 不管热销商品还是普通商品都是包在一个超链接里,div class都有J_group_router, 这个tag可以用来做锚点
4. 可以抓取的信息有商品链接,图片,价格,销量,商品名称
5. 需注意热销商品和普通商品信息中字段的div class名字是不一样的,需分别处理
首先我下载了Selenium所需的chromedriver, 并将执行文件路径加入PATH, 然后导入Selenium, 先写个函数模拟滚动操作自动滑屏加载更多商品数据
def scroll_down(times):
for i in range(times + 1):
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(3)
我希望抓取销量大于3000的商品,所以再写个小函数判断一下销量数据
def if_append(value):
num = re.findall(r'(\w*[0-9]+)\w*',value)
ret = ((int(num[0])>3000) or ('万' in value)) if len(num)>0 else False
return ret
剩下的事情就是导入Beautiful Soap这个强大的文档解析器根据锚点提取内容,Python实在太高效了,完整代码如下:
将频道参数定位玩具执行一下,Selenium会调起一个新的浏览器并模拟滑动操作15次,找到48个符合标准的商品
3045人已抢 5斤收纳盒装太空沙 送沙盘 送65个模具送收纳盒 黏土 19.9元
8万人已抢 萌宝宝420片雪花片儿童积木塑料玩具3-6周岁益智男孩1-2女孩拼装拼插7-8-10岁【买2送礼】 9.9元
3万人已抢 儿童玩具吉他可弹奏仿真尤克里里音乐男女宝宝益智乐器 9.9元
1.5万人已抢 【直降10元 】全套12本婴幼儿童撕不烂早教书0-6岁玩具宝宝启蒙看图识字认知 17.9元
1.3万人已抢 【贝贝专享】猫贝乐挂图有声 猫咪身高婴幼儿早教启蒙卡片有声挂图玩具 1-3-6岁 11.1元
6962人已抢 乐乐鱼第三代有声画板电子发声挂图 25.4元
6.7万人已抢 美兴 宝宝戏水玩具钓鱼23件套磁性钓鱼池套装 9.9元
4465人已抢 【月销量1千件】【依妹儿】宝宝学爬行玩具会叫爸爸妈妈 17.5元
3499人已抢 【10张精选】【加厚覆膜防泼水】无声挂图宝宝启蒙 0-6岁早教认知单面撕不烂拼音 8.6元
1.4万人已抢 【妈妈放心】猫贝乐 全套一年级拼音语音有声挂图按图发声英语字母表26个英文挂图发音 12.8元
1.5万人已抢 【直降10元 】全套12本婴幼儿童撕不烂早教书0-6岁玩具宝宝启蒙看图识字认知 17.9元
6698人已抢 【10张不重复】婴幼儿童拼音无声挂图识字卡片认知挂图 9.2元
4279人已抢 休杰 592粒蘑菇钉插板动手协调玩具 13.9元
5535人已抢 【20开大书 全书360页】加厚宝宝简笔画5000例送蜡笔两盒宝宝早教启蒙图画书 9.9元
5266人已抢 盒装儿童剪纸折纸任选 120张 备送儿童安全剪刀一把精装版儿童折纸大全 120张彩纸 送教程书 9.8元
6323人已抢 乐亲 蘑菇钉插板玩具 宝宝动手协调玩具 9.4元
1.2万人已抢 喜迪奇 宝宝戏水玩具钓鱼22件套磁性钓鱼池套装 9.9元
1.1万人已抢 10张装儿童益智拼图玩具宝宝早教积木1-2-3-4-56周岁礼物男女孩卡通动漫 18.0元
3743人已抢 【依妹儿】全自动动感音乐泡泡枪电动玩具 16.9元
5829人已抢 9.9元特价4张装儿童益智拼图玩具1-2-3-4-5-6小朋友早教卡通动漫木制 9.9元
5084人已抢 (10张装)宝宝益智拼图玩具1-2-3-4-56岁儿童早教孩子礼物幼儿园小朋友 18.0元
1万人已抢 10张装儿童益智拼图积木玩具1-2-3-4-5-6岁宝宝早教幼儿园小朋友生日 17.8元
5817人已抢 木妈妈(10张装)16片拼图玩具2-3-4-5-6周岁宝宝益智早教儿童木制积木幼儿园小朋友礼物小男孩小女孩拆拼装动手 17.9元
4608人已抢 10张装立体拼图儿童益智早教拼图玩具1-2-3-4周岁宝宝启蒙教育智力开发拆装 19.9元
1.1万人已抢 喜迪奇 宝宝戏水玩具钓鱼28件套磁性钓鱼池套装 14.9元
6128人已抢 乐祺骏 佩琪猪粉红小猪按压爬楼梯滑梯玩具过家家玩具 9.5元
5382人已抢 木妈妈 儿童600粒拼插聪明棒积木送车轮车轴还送50片雪花片 15.8元
4950人已抢 【12小车+1大车】怀乐(HUAILE)合金车套装玩具小汽车手提式柜车跑车惯性车 24.9元
6465人已抢 【app专享】随机4本涂色画 幼儿园2-3-6岁儿童涂色书宝宝学画画启蒙认知书籍简笔画大全填色本绘画涂鸦本画册画画本图画 6.9元
3946人已抢 奥贝比 汽车4件套玩具惯性车火车飞机小车超萌儿童小汽车玩具车套装 16.7元
6670人已抢 木妈妈 【送12色蜡笔】【多种选择】幼儿涂色书填色本随机6册手工剪纸 9.9元
3198人已抢 贝杰斯婴幼儿音乐旋转床头铃摇铃挂件床铃 39.9元
1.3万人已抢 【简笔画秒入门】儿童手绘入门教程简笔画5000例 人物动物植物风景素材技法图谱入门大全 幼儿小学生漫画卡通画大全 9.8元
3393人已抢 注音版儿童文学课外书全5册1-6年级 18.8元
3791人已抢 【彩图注音版】全套5册只有努力才会成功熊孩子第三辑励志书二 一二三四五年级课外书必读儿童书籍 相信自己我可以 16.9元
4416人已抢 木妈妈 【86件套】儿童绘画水彩笔套装 18.8元
3651人已抢 全10册法布尔昆虫记【彩图注音版】绿野仙踪爱的教育假如给我三天光明 小学生课外阅读书籍经典名著二年级三年级课外书必读 29.9元
6055人已抢 【小小画家养成记】木妈妈86件套送2本涂色书 儿童学画画绘画水彩笔套装 19.9元
8520人已抢 【读国学精华 品中华底蕴】儿童早教国学启蒙彩图注音版全4册 三字经弟子规唐诗三百首成语故事 小学生一二年级课外读物 13.9元
1.2万人已抢 喜迪奇 宝宝戏水玩具钓鱼22件套磁性钓鱼池套装 9.9元
5016人已抢 乐亲 小猪佩奇儿童早教故事机迷你佩琪猪小妹婴幼儿趣味音乐玩具 9.9元
6669人已抢 碟谜(GT4)婴幼儿早教投影安抚小汽车1157个早教内容早教机(遥控款) 16.8元
4991人已抢 婴乐星 465个早教内容遥控投影飞机故事机+迷你兔 17.0元
5545人已抢 宜佳乐 儿童中英文学习机 婴幼教具 宝宝启蒙 多功能儿童早教机 16.9元
3.5万人已抢 怀乐(HUAILE) 1004个早教内容投影故事机儿童益智玩具 13.8元
1.5万人已抢 怀乐(HUAILE) 544个早教内容飞机投影故事机 12.9元
1万人已抢 【月销量2万件】【润杰】婴儿玩具卡通拨浪鼓+初生婴儿摇铃7件套 12.9元
1.5万人已抢 繁周玩具摇铃软胶球玩具 9.9元
1.5万人已抢 碟谜(GT4)可高温水煮婴幼儿磨牙固齿曼哈顿手抓牙胶球 14.9元
5286人已抢 【萌乐乐】婴儿玩具 摇铃七件套 10.9元
3026人已抢 【9.9曼哈顿球 马卡龙色系】婴乐星 暖色曼哈顿球潮流马卡龙色系婴幼儿宝宝牙咬磨 9.9元
3529人已抢 婴儿摇铃牙胶手摇铃宝宝新生婴儿玩具0-3-6-12个月0-1岁益智早教 31.9元
4143人已抢 【萌乐乐】婴儿玩具 摇铃七+手拎鼓五件套 16.5元
2.5万人已抢 小博士【累计销售10万单】宝宝手摇铃安抚玩具 0-2岁婴儿摇铃6件套 9.9元
1.4万人已抢 【萌乐乐】婴儿玩具 摇铃拨浪鼓组合 12.9元
9944人已抢 【月销量3万件】【润杰】婴儿玩具牙胶马卡龙6件套摇铃+摇铃7件套0-3-6-12 19.5元
3963人已抢 【120粒大颗粒积木】萌宝宝儿童颗粒塑料拼装搭插益智积木1-2男女孩宝宝3-6-7-8-10周岁玩具 9.9元
16.4万人已抢 【贝贝年货节】新款迷你兔竖耳朵兔子早教故事机 8.2元
10.6万人已抢 0-3岁宝宝早教书撕不烂的识字卡片任选8本套装 14.9元
1.8万人已抢 乐乐鱼凹凸早教有声挂图 发声挂图三张套装 25.9元
7660人已抢 乐亲 纠纠小鸡智能启蒙早教故事机宝宝学习机 9.7元
1.7万人已抢 【爆款秒杀,直降10元】超轻粘土24色无毒橡皮泥水晶彩泥太空雪花黏土沙套装玩具批 12.8元
4465人已抢 【月销量1千件】【依妹儿】宝宝学爬行玩具会叫爸爸妈妈 17.5元
3451人已抢 木妈妈 【送100根聪明棒】400片雪花片儿童加厚带字符雪花片塑料拼插宝宝积木玩具 11.9元
4360人已抢 今日特卖【20张】手工涂鸦DIY绘画儿童刮画纸 8.8元
6.3万人已抢 古琦2件套 宝宝防疫证+出生证明保护皮套 9.9元
1.4万人已抢 【月销量1万件】【依妹儿】婴儿玩具手摇铃7件+儿童拨浪鼓 12.9元
1.1万人已抢 【买粘土送练字帖】24色超轻粘土无毒橡皮泥彩泥+双面儿童凹槽练字帖描红本 10.9元
4088人已抢 奥兰奇超轻粘土24色36色无毒橡皮泥水晶彩泥太空雪花黏土沙套装玩具 19.7元
5588人已抢 儿童凹槽练字帖幼儿园学前班数字拼音汉字描红本3-8岁初学者写字练字本反复书写临摹 5.1元
6461人已抢 【优学】猫太子 小学1-6年级人教版语文同步练字帖6册 学生生词生字拼音凹槽练字帖贴板本行书行楷书 16.8元
4165人已抢 【已售卖100000件】儿童凹槽练字帖初学者幼儿园数字描红本3-6岁学前拼音字帖练字本 9.2元
5141人已抢 儿童益智木制解锁玩具鲁班锁孔明锁宝宝早教拆装积木幼儿园小朋友启蒙教育3-4-5-6-7-8-9-10岁小朋友成人亲子 9.9元
5393人已抢 熙悦 网袋小熊叠叠杯 宝宝早教套装玩具 9.9元
5.8万人已抢 全10册【3D有声动画伴读】爱上优秀的自己故事绘本 宝宝早教启蒙故事书 幼儿情商培养励志书 婴儿图画书婴儿睡前图书 14.9元
4131人已抢 宝宝看图识字凹凸发声语音6张组合 儿童早教发声看图识字宝宝拼音启蒙认知墙贴语音玩具每张送电池挂钩 39.9元
7236人已抢 全6册2-6岁幼儿童思维专注力训练200篇 脑思维观察力宝宝早教启蒙儿童益智游戏找不同图书籍 16.8元
1.7万人已抢 全套10册学前300字练习描红本 宝宝早教启蒙练习数字汉字描红 描红本天天练习 幼儿入园准备描红本 9.9元
8972人已抢 全套4册 早教启蒙学前600字 宝宝图书绘本学前必备识字书 儿童情商培养故事书 拼音识字趣味益智游戏书 培养幼儿专注力 17.9元
5543人已抢 宝宝认知卡片撕不烂早教书0-3-6岁翻翻儿童书启蒙拼音卡片识字书幼儿看图认物儿童认字卡片书幼儿图书宝宝婴儿故事书儿歌书籍 15.8元
1万人已抢 金思盈 叮当猫卡通投篮球池+50个海洋球 35.9元
3529人已抢 婴儿摇铃牙胶手摇铃宝宝新生婴儿玩具0-3-6-12个月0-1岁益智早教 31.9元