前言
- 在使用自动化测试工具selenium前，需要配置ChromeDriver并且安装好python的selenium库（Chrome浏览器）；
- 本次使用selenium驱动浏览器操作，通过标签对网页的拾取，以此获取自己想要的信息；
- 使用pandas，来对获取的数据进行整合存储；
安装
1）安装selenium
推荐使用：pip3 install selenium
2）安装ChromeDriver
下载地址：http://chromedriver.storage.googleapis.com/index.html
对应自己当前的浏览器的版本进行下载！（放在py文件同一目录）
放张图
正序
导入库
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time,pandas as pd
- 上面有些导入的方法在本次我们还用不着，可以看看！
流程
- 打开网站；
-
F12开发者模式找到输入框class标签，调用send_keys()方法输入要搜索的职位名称，再调用方法控制键盘确认搜索；
-
如此，进入职位页面，后获取页面信息，找到职位信息标签，抓取文本；
- 对数据进行筛选；
# 示例：[['Python', '8k-12k', '上海', '浦东新区', '张江3-5年本科', 'ZTE', '通信/网络设备已上市10000人以上', '曹先生招聘者']]
- 抓取过后，可以关闭浏览器了（browser.close() )！
说明： 本次实现基本功能，只能抓取10条职位信息，筛选后数据以列表的数据类型存储（可后期优化）；
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time,pandas as pd
div_list = []
test_list = []
# 声明配置好的浏览器对象
browser = webdriver.Chrome()
try:
# 打开网站，搜索
browser.get('https://www.zhipin.com/geek/new/index/recommend?random=1554269449777')
# 设置延时
time.sleep(1)
input = browser.find_element_by_class_name('ipt-search')
input.send_keys('python爬虫')
time.sleep(0.5)
input.send_keys(Keys.ENTER)
# 获取职位信息
divdata = browser.find_element_by_class_name('job-list')
data = divdata.text
# 数据筛选
div_list.append(data.replace("\n"," "))
print(div_list)
test = div_list[0].replace("Python",",Python")
test = test.split(",")
print(test)
for index,i in enumerate(test):
if len(i)==0:
del test[index]
j = test[index].replace(" ",",")
k = j.split(",")
del k[-1]
test_list.append(k)
#test[index].split(" ")
print(test_list)
#[['Python', '8k-12k', '上海', '浦东新区', '张江3-5年本科', 'ZTE', '通信/网络设备已上市10000人以上', '曹先生招聘者']]
finally:
browser.close()
如此，为了使得数据更具可读性，使用pandas对数据进行处理保存！
#创建df
data = {'职位':pd.Series([' ']),
'招聘薪资':pd.Series([' ']),
'所在地':pd.Series([' ']),
'公司地址':pd.Series([' ']),
'地区':pd.Series([' ']),
'招聘经验':pd.Series([' ']),
'公司':pd.Series([' ']),
'职位性质':pd.Series([' ']),
'招聘者':pd.Series([' ']),}
df = pd.DataFrame(data)
# 将列表数据写入df，并存储到excel文件
for index,t in enumerate(test_list):
#print(t)
df.loc[str(index)] = [t[0],t[1],t[2],t[3],t[4][:2],t[4][2:],t[5],t[6],t[7]]
df.to_excel("F:\\test.xlsx",index=None)
print(df)
-
在F盘就生成一个excel文件test.xlsx
示例 -
想要更加好看一点，可以参照本人之前发布的文章！
示例
结语
- 东西不多，很基础，希望能帮助到一些人，交个朋友！
- selenium工具还是很是强大的，可以做很多有趣的事情，亦或是减少人工操作等等
-
昨晚，在朋友发的链接里看到好像比selenium好用的工具pyppeteer（黑人what？），哈！找个时间看看！
送上一句
