在昨天的文章中《Python中与selenium齐名的pyppeteer库》我们对pyppeteer做了一个大致的介绍,后面将pyppeteer作为一个系列来讲,大致按照文档的思路来,再配合一些实践代码,来达到深入理解的目的。
启动器
import asyncio
from pyppeteer import launch
async def main():
browser = await launch()
page = await browser.newPage()
await page.goto('http://example.com')
await page.screenshot({'path': 'example.png'})
await browser.close()
asyncio.get_event_loop().run_until_complete(main())
其中launch是启动器,用来启动浏览器并返回browser类,launch是属于launcher类,该类还有另一种启动方式connect,connect用于连接一个已经打开的浏览器,可以在奔溃后重连,这个比selenium进步很多。
pyppeteer.launcher.connect(options: dict = None, **kwargs) → pyppeteer.browser.Browser
连接到现有的chrome,browserWSEndpoint选项是连接到chrome的必要条件。格式是ws://{port}/devtools/browser/<id>,这个值可以得到wsEndpoint。
可用选项包括:
browserWSEndpoint(str):要连接的浏览器websocket端点。(必填)
ignoreHTTPSErrors(bool):是否忽略HTTPS错误。默认为 False。
slowMo (int | float):按指定的毫秒数减慢pyppeteer的速度。
logLevel(int | str):用于打印日志的日志级别。默认值与根记录器相同。
loop(asyncio.AbstractEventLoop):事件循环(实验)。
connect方法需要一个必须参数browserWSEndpoint,这个参数通过browser的wsEndpoint属性获得:
brwoser.wsEndpoint
'ws://127.0.0.1:3533/devtools/browser/6687308b-2c43-4ccb-9464-1d2c1fec7eb5'
至于启动器launcher的launch配置参数在《Python中与selenium齐名的pyppeteer库》中已经详细说明。
另一个launcher的方法是launcher.executablePath(),可执行浏览器的默认路径。
from pyppeteer import launcher
launcher.executablePath()
'C:\Users\Administrator\AppData\Local\pyppeteer\pyppeteer\local-chromium\575458\chrome-win32\chrome.exe'
Browser类
通过启动器我们可以创建一个浏览器类Browser,比selenium复杂的地方是多了Browser类,具体的页面操作是在Browser的newPage方法上的,但是Browser也提供了一些优势,与浏览器进程的交互、多个页面对象的上文管理、模拟浏览器的基础设置、创建隐身浏览器;Browser就相当于一个管家,管理具体工作的页面,这也是pyppeteer的优势。
它具有下列一些方法和属性:
browserContexts
返回所有打开的浏览器上下文的列表。在新创建的浏览器中,这将返回单个实例 [BrowserContext]
close()
关闭连接并终止浏览器进程。
createIncogniteBrowserContext()
[已弃用]旧方法。
改用createIncognitoBrowserContext()方法。
创建一个新的隐身浏览器上下文,不会与其他浏览器上下文共享cookie /缓存。
browser = await launch()
Create a new incognito browser context.
context = await browser.createIncognitoBrowserContext()
Create a new page in a pristine context.
page = await context.newPage()
Do stuff
await page.goto('https://example.com')
...
disconnect()
断开浏览器,断开不等于关闭,断开后还可以通过connect连接
newPage()
在此浏览器上创建新页面并返回其对象。
pages()
获取此浏览器的所有页面。此处不会列出不可见的页面,例如
background_page,可以通过pyppeteer.target.Target.page()查看。
process
返回此浏览器的进程。
如果创建浏览器的是实例pyppeteer.launcher.connect(),则返回None。
brwoser.process
<subprocess.Popen object at 0x02E03190>
targets()
获取浏览器中所有活动的页面列表。在多个浏览器上下文的情况下,该方法将返回包含所有浏览器上下文中的所有目标的列表。
userAgent()
返回浏览器的原始用户代理。注意页面类可以设置代理setUserAgent()。
version()
获取浏览器的版本。
wsEndpoint
返回websocket端点url。
brwoser.wsEndpoint
'ws://127.0.0.1:4636/devtools/browser/ccb4bd48-4572-468d-8549-1f4f27da8737'
BrowserContext 类
基类:pyee.EventEmitter
BrowserContext用于创建多个独立的浏览器会话,启动浏览器时,它默认使用一个BrowserContext。browser.newPage()在默认浏览器上下文中创建页面,如果页面打开另一个页面,例如通过window.open调用,则弹出窗口也属于初始化创建的浏览器上下文。
可以通过browser.createIncognitoBrowserContext()再创建一个隐身浏览器进程,“隐身”浏览器上下文不会将任何数据写入磁盘。
Create new incognito browser context
context = await browser.createIncognitoBrowserContext()
Create a new page inside context
page = await context.newPage()
... do stuff with page ...
await page.goto('https://example.com')
Dispose context once it's no longer needed
await context.close()
该类具备下列方法:
close()
关闭浏览器上下文,将关闭属于浏览器上下文的所有页面。
isIncognite()
[已弃用]改用isIncognito()方法。
isIncognito()
返回BrowserContext是否隐身。
newPage()
在浏览器上下文中创建新页面。
targets()
返回浏览器上下文中所有活动目标的列表。
BrowserContext 和Browser都是用于创建一个浏览器对象,前者是创建一个隐身浏览器,创建浏览器对象之后进而创建Page对象,页面的所有操作都在Page对象上,下一节将讲Page对象。
重要:因为同步公号的文章格式很难保证,所以后面文章选择性在其他平台同步,欢迎移步公众号(Python之战),每日更新原汁原味!