2017/1/2 22:21:40
京东商品评论爬虫
针对京东不同的商品的评价进行爬虫然后再分析
实例：魅族手机魅族Pro6 Plus###
抓包地址:
https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv266&productId=3681471&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0
分析：
请求方式：GET
请求参数：
callback:fetchJSON_comment98vv266
productId:3681471
score:0
sortType:5
page:0
pageSize:10
isShadowSku:0
关键词
callback：测试发现可以取消
productId：对应具体商品
...
其余参数测试可以发现都一样
返回数据类型：
JSON
请求：
data={
'productId':'3742076',
'score':'0',
'sortType':'5',
'page':'0',
'pageSize':'10',
'isShadowSku':'0'
}
url='https://club.jd.com/comment/productPageComments.action'
reponse=requests.get(url,data)
print(reponse.text)
返回数据如下：
JSON 太长
下面只需要获取商品id：productId 就可以在京东上获取需要的商品的评论了~
一抬头：可以看见地址栏如下：此处为京东小米5s
https://item.jd.com/3742076.html
这里就有我们需要的productId
