python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

首先,神枪镇楼

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

吃鸡,撩妹神器

吃鸡游戏受到很多年轻人的喜爱,用户量也非常大。有很多地图,场景逼真,技术玩法,增加了游戏可玩性。而且,很多小姐姐也喜欢玩,几乎在组队当中,都可以碰到。带个妹子组队游戏,一边语音一边吃鸡,带小姐姐吃鸡就很容易获取芳心啦!

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

一顿操作猛如虎

1、首先分析数据接口

第一步当然是把这些战绩数据采集下来,首先我们需要了解页面背后的故事。去看看页面是如何获取战斗数据的。

使用Charles抓包

抓包实现

在Mac下推荐使用工具Charles来从协议层抓取手机上的流量,原理就是在Mac上开启一个代服务器,然后将手机的网络代理设置为Mac,这样手机上的所有流量都会经过我们的代理*服务器了。 大致流程如下:

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

https加密流量的处理

在实际操作的时候发现微信所有的流量都走了HTTPS,导致我们的抓到的都是加密数据,对我们没有任何参考意义。 经过研究,可以通过在手机和电脑都安装Charles根证书的方式来实现对Https流量的分析,具体操作可以参考:

1、charles mac下https抓包和iphone https抓包

2、解决Charles无法正常抓包iOS 11中的Https请求

安装好证书后,我们的流量大概是这样子的

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

经过上述的配置,我们已经可以读取到https的请求和响应数据了,如下图所示。

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

数据接口

接下来就根据这些数据来找出我们需要的接口了,经过分析,主要涉及三个接口

1、获取用户信息接口

2、获取用户战绩列表接口

3、获取用户指定战绩详细信息接口

接下来我们一个一个看

1、获取用户信息接口

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

request

代码1:

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

代码2:

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

代码3:

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

2、获取用户战绩列表

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

代码1:

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

代码2:

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

接下来就是爬取数据

使用requests请求接口获取数据

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

参照这种方式我们可以很快把另外两个接口写好。

使用redis来标记已经爬取过的信息

在上述接口中我们可能从用户A的入口进去找到用户B的openid,然后从用户B的入口进去又找到用户A的openid,为了避免重复采集,所以我们需要记录下哪些信息是我们采集过的。 核心代码片断:

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

开始抓取

因为我们是发散是爬虫,所以需要给代码一个用户的入口,所以需要手动创建一个用户的采集任务

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

有入口之后我们就用celery来启动worker去开始爬虫

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

这样我们的爬虫就可以愉快的跑起来了。再通过celery-flower来查看执行情况。

通过flower,我们可以看到运行的效率还是非常不错的。

最后,数据分析

分析方案

20万场战斗的数据已经抓取好了,全部分成json文件存在我本地磁盘上,接下来就做一些简单的分析。 python在数据分析领域也非常强大,有很多非常优秀的库,如pandas和NumPy,可惜我都没有学过,而且对于一个高考数学只考了70几分的人来说,数据分析实在是难,所以就自己写了一个非常简单的程序来做一些浅度分析。 需要进行深度分析,又不想自己爬虫的大牛可以联系我打包这些数据。

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

部分代码

分析结果

1. 平均用户日在线时长2小时

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

2. 女性角色被救次数高于男性

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

终于知道为什么有那么多人妖了,原来在游戏里面可以占便宜啊。

3. 女性角色救人次数高于男性

python程序员爬取分析20万场吃鸡数据,带妹吃鸡,终成人生赢家

给了大家一个带妹上分的好理由。

结尾

这次爬虫主要是利用了微信游戏频道可以查看陌生人数据的场景才能提取到这么多数据。我们可以通过同样的手段来分析王者荣耀和其它游戏的数据,有兴趣的同学可以尝试一下。 最后再说一下,UMP9是把好枪,配2倍镜非常爽。
如果你同样对python感兴趣,那就不会拒绝加小编的python技术交流群的吧,python交流群:823137423

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容