from selenium import webdriver
import requests
import urllib.request
def get_selenium_content(page):
br = webdriver.PhantomJS(executable_path=r'phantomjs.exe')
br.get('https://www.guazi.com/sh/buy/o'+str(page)+'/')
data = br.page_source
br.close()
return data
def get_request_content(page):
url = 'https://www.guazi.com/sh/buy/o'+str(page)+'/'
r = requests.get(
url,params = None,headers = {
'User - Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 67.0.3396.99 Safari / 537.36'
}
)
return r.text
def get_urllib_content(page):
url = 'https://www.guazi.com/sh/buy/o' + str(page) + '/'
request = urllib.request.Request(url)
r = request.add_header(
'User - Agent','Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 67.0.3396.99 Safari / 537.36'
)
content = urllib.request.urlopen(request).read().decode('utf-8')
return content
print(get_selenium_content(2))
print(get_request_content(2))
print(get_urllib_content(2))
Selenium / PhantomJS / requests / urllib.request
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- Python和爱好的结合。今天是爬虫姐姐平时喜欢编织，遇到编织图解会收藏起来。 遇到一个帖子，以图片的方式上传了一...
- 关键字： Python 爬虫 PhantomJS MongoDB Webdriver 模拟登陆 Fiddler ...
- 使用requests.get出现raise ProxyError(e, request=request)错误 折腾...
- 在做动态网页爬虫时用到了selenium + PhantomJS,安装好之后运行时报错: 说是 Selenium...
- [urllib2中的urlopen()使用方法及实例]http://www.cnblogs.com/langdas...
