同花顺财经-财务数据爬取思路详解-python爬虫

同样的开头,近日,群友在讨论问题的时候发来一链接,询问如何抓取个股页面上财务指标,好奇心旺盛的博主立马打开网页研究了一番。
网址如下:http://stockpage.10jqka.com.cn/600196/finance/#view
我们的目标是爬取红框中数据。

财务报表

个股数量这么多,我们就以复星医药为例(博主看好这家公司)
首先,进行常规工作,分析页面源码,解析报文信息。页面源码就不上图了,大家可以自行查看一下,很简洁,一点数据都没有。
那么,我们就用开发者工具研究一下。
加载完成后页面

看了上图,我们可以判定出来,这是个JS动态加载的网页。新手的思路是利用selenium的webdriver,这种方法我不多说,效率低下,且相对粗暴。

另外一种思路,相信各位根据上图也能才出来,同花顺财经提供了导出功能,而且把URL也提供了,大家自行修改url中的type和code即可获取个股下载链接,回头整合一下即可。

ok,页面源码分析完毕,我们往报文方向看看,博主试着点击了下按年度,看后台报文如何。


页面加载报文

参数

完美,一个请求出来了,数据来源肯定是在这个请求中,可是我瞅了瞅报文,发现是这家伙就获取了一个空的img,其他啥都木有!
不对,肯定不对。数据肯定存在一个来源,那么我们继续祭出chrome开发者工具,看这个请求的背后到底执行了哪些js。


js执行过程

啊哈!啊哈!啊哈!众里寻他千百度,蓦然回首,那人却在,灯火阑珊处!
同志们,这个setChartData名字一看,妥妥的设置数据呀,看来一切数据的源头都在这个js里面。
此处j省略js研究过程N字。。。
一切的源头既然找到了,那么数据们,请到我的碗里来!
上效果图


数据

2022年7月,新增了API实际请求地址 O(∩_∩)O哈哈~
API接口地址如下:
https://basic.10jqka.com.cn/api/stock/finance/{stock}_main.json

好的爬虫er必须也得有一颗前端的心~
后记:数据抓取---》数据分析---》量化策略~~妥妥哒
|---》精准营销~~萌萌哒
注:未经许可 不得转载。
原文链接:http://www.jianshu.com/p/3c6952ad9219

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,340评论 5 467
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,762评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,329评论 0 329
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,678评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,583评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 47,995评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,493评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,145评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,293评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,250评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,267评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,973评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,556评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,648评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,873评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,257评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,809评论 2 339

推荐阅读更多精彩内容