python爬虫小实战-天天基金网第二篇-python中如何执行js代码

书接上回，利用浏览器自带的解析工具，我们获取到了对应的后端接口地址，如下：

http://fund.eastmoney.com/Data/Fund_JJJZ_Data.aspx?t=1&lx=1&letter=&gsid=&text=&sort=zdf,desc&page=2,200&dt=1658849281992&atfc=&onlySale=0

可以通过postman观察到，返回的是一句包含js语句的简单变量赋值代码。

那么我们如何通过python解析获取其中的数据部分呢？

数据截图

方法很简单，我们需要引用第三方包比如pyexecjs、js2py，它们能够在python代码中执行一些简单的js代码，正好适合目前这个场景。我把两种包的方法都列出来，基本大同小异。

# -*- coding: utf-8 -*-

import requests
from fake_useragent import UserAgent

import subprocess
from functools import partial

# Attention！！！
# windows环境下需要配置编码方式为utf-8，否则如果js代码中有中文，execjs执行会出错。
subprocess.Popen = partial(subprocess.Popen, encoding='utf-8')

import execjs
import js2py

target_url = 'http://fund.eastmoney.com/data/fund_jjjz_data.aspx'

header = {
    'user-agent': UserAgent().random
}

params = {
    'page': '1,100',
    'sort': 'dwjz,desc'
}

if __name__ == '__main__':
    with requests.get(url=target_url, headers=header, params=params) as resp:
        result = None
        if resp.status_code == 200:
            result = resp.content.decode('utf-8')
            data = result[4:]
            try:
                result = execjs.eval(data)
                result2 = js2py.eval_js(data)
                print(result['datas'])
                print(result2['datas'])
            except Exception as e:
                print(e)

PS：关于execjs和js2py这两个第三方包执行这段js代码的耗时供大家参考。从目前的结果看和网上找到的文档说明存在一定差异，可以看出execjs性能表现更好，具体原因还在分析中。

In [16]: %timeit execjs.eval(data)
60.6 ms ± 386 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [17]: %timeit js2py.eval_js(data)
87.3 ms ± 429 µs per loop (mean ± std. dev. of 7 runs, 1 loop each)

In [18]: %timeit js2py.eval_js(data)
86.6 ms ± 262 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [19]: %timeit execjs.eval(data)
60.7 ms ± 261 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

to be continued！

最后编辑于：2022.07.28 23:16:04