开发工具
PyCharm
需要安装的包
python、Selenium、requests
先来一个简单的打开百度搜索的例子
from selenium import webdriver
class OpenBaidu:
def __init__(self, search, openurl):
self.search = search
self.openurl = openurl
def open(self):
# 初始化浏览器对象
option = webdriver.ChromeOptions()
option.add_experimental_option('useAutomationExtension', False)
option.add_experimental_option('excludeSwitches', ['enable-automation'])
# 不自动关闭浏览器
option.add_experimental_option("detach", True)
driver = webdriver.Chrome(options=option)
# 设置浏览器长宽
driver.set_window_size(1200, 900)
# 打开页面
driver.get(self.openurl)
driver.find_element_by_id('kw').send_keys(self.search)
driver.find_element_by_id('su').click()
self.driver = driver
def __call__(self):
self.open()
if __name__ == '__main__':
words = '北京时间'
openUrl = 'http://www.baidu.com'
OpenBaidu(words, openUrl)()
上面的代码主要用到的方法：
browser = webdriver.Chrome()
browser.get(url)
//初始化浏览器对象 并打开对应url
browser .find_element_by_id('kw').send_keys(self.search)
browser .find_element_by_id('su').click()
//输入搜索关键字并点击查询按钮
对输入框的操作可参考链接：
Selenium文档：
首次运行的时候可能会报如下错误：
selenium.common.exceptions.WebDriverException: Message: ‘chromedriver’
参考链接
主要是相应浏览器的驱动版本不匹配导致的
打开自己电脑的浏览器（演示google浏览器）在地址栏输入chrome://version/便可以查看到谷歌当前的版本号
接着我们来到谷歌浏览器驱动的下载网址http://chromedriver.storage.googleapis.com/index.html
下载对应版本的驱动，解压后就是chromedriver.exe
复制粘贴到以下两个目录:
C:\Program Files (x86)\Google\Chrome\Application
C:\Users\DHAdmin\PycharmProjects\pythonProject\venv\Scripts--python安装目录
不知道python安装目录的可运行如下命令查看：
import sys
sys.path
本次案例：给惠网登录并签到
由于登录有个图片的验证码，需要把图片保存到本地以后用OCR进行识别处理。
这里案例用到了百度文字识别OCR的API
用到的API网络图片文字识别
百度文字识别OCR文档
目前大多数API都有可以免费使用的次数，注册过程就省略了 。
操作步骤解析
- 初始化浏览器对象并打开需要登录签到的页面
- 输入用户名和密码
- 获取验证码图片对图片进行识别，获取文字
- 输入识别出的文字点击登录按钮
- 登录成功后点击签到
第一步的步骤基本跟打开百度搜索类似
# 初始化浏览器对象
option = webdriver.ChromeOptions()
option.add_experimental_option('useAutomationExtension', False)
option.add_experimental_option('excludeSwitches', ['enable-automation'])
# 不自动关闭浏览器
option.add_experimental_option("detach", True)
driver = webdriver.Chrome(options=option)
# 登陆页面
login_url = "https://www.geihui.com/b/daily_attendance.php"
# 设置浏览器长宽--窗口最大化
driver.maximize_window()
# 打开登陆页面
driver.get(login_url)
打开以后点击登录按钮，如果未登录会跳出登录的弹窗,然后进行登录的操作
# 点击签到按钮
driver.find_element_by_class_name('module-btn').click()
# 输入用户名密码
driver.find_element_by_name('username').send_keys(self.username)
driver.find_element_by_name('password').send_keys(self.password)
获取验证码图片保存到本地
# 截取整个页面
driver.get_screenshot_as_file("test.png")
driver.save_screenshot("test.png")
# 找到搜索框
imgposition = driver.find_element_by_id("n_code_img")
# 截取搜索框元素
imgposition.screenshot("img.png")
接下来就是对图片进行识别了，由于识别图片需要带token 所以要先获取百度文字识别OCR的token
# 放一个官网提供的请求token的示例
# encoding:utf-8
import requests
# client_id 为官网获取的AK， client_secret 为官网获取的SK
host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=【官网获取的AK】&client_secret=【官网获取的SK】'
response = requests.get(host)
if response:
print(response.json())
文字识别的API有好多，要用哪种可以自己参考文档选择-这里用到的是网络图片文字识别，每天有500次免费调用的次数，后期是否会收费未知。还是放一个官网调用的示例（如果是点选验证码的话需要返回位置）
# encoding:utf-8
import requests
import base64
'''
网络图片文字识别
'''
request_url = "https://aip.baidubce.com/rest/2.0/ocr/v1/webimage"
# 二进制方式打开图片文件
f = open('[本地文件]', 'rb')
img = base64.b64encode(f.read())
params = {"image":img}
access_token = '[调用鉴权接口获取的token]'
request_url = request_url + "?access_token=" + access_token
headers = {'content-type': 'application/x-www-form-urlencoded'}
response = requests.post(request_url, data=params, headers=headers)
if response:
print (response.json())
有了识别结果以后，只要获取到文字进行输入，再点击登录，到此已经完成了70%了。由于文字识别并不是百分百有返回结果的，所以我们需要加上一个判断，如果没有识别出来的时候，点击刷新验证码按钮，，重新对图片进行保存然后识别。
if response:
if len(response.json().get('words_result')) > 0:
# 输入验证码文字
self.driver.find_element_by_id('top_loginvc').send_keys(response.json().get('words_result')[0].get('words'))
# 点击登录
self.driver.find_element_by_xpath('//*[@id="uloginfo"]/div[4]/input').click()
time.sleep(3)
# 点击签到
try:
self.driver.find_element_by_class_name('module-btn').click()
# print(response.json())
# return response.json().get('words_result')
except:
self.refreshcode()
else:
self.refreshcode()
def refreshcode(self):
# 点击刷新验证码
self.driver.find_element_by_css_selector('.refresh.pngBase').click()
time.sleep(3)
# 保存新的验证码图片覆盖原来的
# 截取整个页面
self.driver.get_screenshot_as_file("test.png")
self.driver.save_screenshot("test.png")
# 找到搜索框
imgposition = self.driver.find_element_by_id("n_code_img")
# 截取搜索框元素
imgposition.screenshot("img.png")
# 重新登陆
self.ocr_b64()
完整代码
import time
import requests
from selenium import webdriver
import base64
APP_ID = 'APP_ID' # 填写你的API Key
SECRET_KEY = 'SECRET_KEY' # 填写你的Secret Key
TOKEN_URL = 'https://aip.baidubce.com/oauth/2.0/token' # 获取token请求url
OCR_URL = 'https://aip.baidubce.com/rest/2.0/ocr/v1/webimage' # 文字识别OCRAPI
class Check:
def __init__(self, username, password):
self.username = username
self.password = password
def check(self):
# 初始化浏览器对象
option = webdriver.ChromeOptions()
option.add_experimental_option('useAutomationExtension', False)
option.add_experimental_option('excludeSwitches', ['enable-automation'])
# 不自动关闭浏览器
option.add_experimental_option("detach", True)
driver = webdriver.Chrome(options=option)
# 登陆页面
login_url = "https://www.geihui.com/b/daily_attendance.php"
# 设置浏览器长宽
driver.maximize_window()
# driver.set_window_size(1200, 900)
# 打开登陆页面
driver.get(login_url)
# 点击签到按钮
driver.find_element_by_class_name('module-btn').click()
# 输入用户名密码
driver.find_element_by_name('username').send_keys(self.username)
driver.find_element_by_name('password').send_keys(self.password)
# 截取整个页面
driver.get_screenshot_as_file("test.png")
driver.save_screenshot("test.png")
# 找到搜索框
imgposition = driver.find_element_by_id("n_code_img")
# 截取搜索框元素
imgposition.screenshot("img.png")
self.driver = driver
def fetch_token(self):
data = {
'grant_type': 'client_credentials',
'client_id': APP_ID,
'client_secret': SECRET_KEY
}
r = requests.post(TOKEN_URL, data=data)
if 'access_token' in r.json():
# print(r.json())
return r.json().get('access_token')
else:
print('请检查获取access_token的URL, APP_ID, SECRET_KEY!')
def ocr_b64(self):
'''
传入base64编码格式的图片数据，识别图片中的文字
:params: base64编码格式的图片数据
:return: 返回识别后的文字字符串
'''
access_token = self.fetch_token() # 获取 token
# 打开本地图片
f = open('./img.png', 'rb')
img = base64.b64encode(f.read())
if access_token:
params = {"image": img}
access_token = access_token
request_url = OCR_URL + "?access_token=" + access_token
headers = {'content-type': 'application/x-www-form-urlencoded'}
response = requests.post(request_url, data=params, headers=headers)
if response:
if len(response.json().get('words_result')) > 0:
# 输入验证码文字
self.driver.find_element_by_id('top_loginvc').send_keys(response.json().get('words_result')[0].get('words'))
# 点击登录
self.driver.find_element_by_xpath('//*[@id="uloginfo"]/div[4]/input').click()
time.sleep(3)
# 点击签到
try:
self.driver.find_element_by_class_name('module-btn').click()
# print(response.json())
# return response.json().get('words_result')
except:
self.refreshcode()
else:
self.refreshcode()
def refreshcode(self):
# 点击刷新验证码
self.driver.find_element_by_css_selector('.refresh.pngBase').click()
time.sleep(3)
# 保存新的验证码图片覆盖原来的
# 截取整个页面
self.driver.get_screenshot_as_file("test.png")
self.driver.save_screenshot("test.png")
# 找到搜索框
imgposition = self.driver.find_element_by_id("n_code_img")
# 截取搜索框元素
imgposition.screenshot("img.png")
# 重新登陆
self.ocr_b64()
def __call__(self):
self.check()
time.sleep(3)
self.fetch_token()
time.sleep(3)
self.ocr_b64()
if __name__ == '__main__':
# 用户名和密码
username = 'xxxxx'
password = 'xxxxx'
Check(username, password)()
第一次写代码还可进行完善，有兴趣的可以拿去改改试试
