猫眼爬虫 之 字体加密

猫眼电影的字体加密还是很折磨人的(最后会附上源码,中间讲解部分就用截图代替)

准备部分

猫眼电影主要在于字体加密,如何破解?需要准备点东西:FontCreator,这是一个软件,下载即可。

开始分析了~,我们以这个为例:https://maoyan.com/films/1209159

解析字体当然需要当前网页的字体,查看网页源码,找到网页字体 1-1

1-1

将字体下载下来,然后刷新页面,会发现字体改变了 1-2


1-2

没关系,再下载一次,现在有两个本页面的woff文件 1-3,要进入重点了


1-3

分析部分

首先要将下载好的woff文件换个格式 2-1、2-2

2-1


2-2

将两个保存好的xml文件打开备用 2-3

2-3

然后用FontCreator打开我们的两个woff文件 2-4

2-4

现在对应关系已经很明了了,我们以4为例:两个woff文件的4分别对应uniE88A、uniE325,然后我们在对应的xml文件中找到它们 2-5、2-6

2-5
2-6

pt里面的数据是一样,说明我们的字体映射关系找对了,下面就需要设置对应的映射关系了

测试部分


我们先把其中一个woff文件中的对应映射打印出来看一下 3-1、3-2

3-1
3-2

和我们的xml中的关系对应 3-3

3-3

然后我们根据FontCreator中的数据设置对应的映射关系 3-4

3-4

输出一下,关系正确 3-5

3-5

对应关系已经找到,现在看看网页源码,发现源码中的加密字体都是由&#x开头 3-6

3-6

这个不用担心,因为我们只需要把&#x替换成uni就行了,关系就会一一对应,然后就可以返回正确的数据了。


结果

下面开始源码和测试结果

import requests

import re

import os

from fontTools.ttLib import TTFont

class MaoYan():

    #初始化需要的数据

    def __init__(self):

        self.url ='http://maoyan.com/films/1209159'

        self.headers = {

            "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,             like Gecko) Chrome/70.0.3538.110 Safari/537.36",

        }


    # 发送请求

    def get_html(self, url):

        response = requests.get(url,headers=self.headers)

        return response.content


    #下载woff字体文件

    def create_font(self, font_file):

        # 列出已下载文件

        file_list = os.listdir('./fonts')

        # 判断是否已下载

        if font_file not in file_list:

            # 未下载则下载新woff字体文件

            url ='http://vfile.meituan.net/colorstone/' + font_file

            new_file =self.get_html(url)

            with open('./fonts/' + font_file,'wb')as f:

                f.write(new_file)

        # 打开字体文件

        self.font = TTFont('./fonts/' + font_file)


    # 把获取到的数据用字体对应起来,得到真实数据

    def modify_data(self, data):

        #打开自己保存的woff文件,设置映射关系

        font2 = TTFont("./95ebcb3e871c993e8014b6cf244c939b2088.woff")

        keys = font2['glyf'].keys()

        values =list(' .0714682953')

        #对应替换

        dict1 =dict((k, v)for k, v in zip(keys, values))

        font1 =self.font

        #空字典,保存新的替换映射关系

        dict2 = {}

        for key in font1["glyf"].keys():

            for k, v in dict1.items():

                # 通过比较 字形定义 填充新的name和num映射关系

                if font2["glyf"][k] == font1["glyf"][key]:

                    dict2[key] = v.strip()

                    break

        #将获取到的网页数据中的&#x替换成uni

        for i in dict2:

            gly = i.replace('uni','&#x').lower() +';'

            if gly in data:

                data = data.replace(gly, dict2[i])

        return data

    #获取数据

    def start_crawl(self):

        html =self.get_html(self.url).decode('utf-8')

        # 正则匹配字体文件

        font_file = re.findall(r'vfile\.meituan\.net\/colorstone\/(\w+\.woff)', html)[0]

        self.create_font(font_file)

        # 正则匹配评分

        star = re.findall(r'<span class="index-left info-num ">\s+<span class="stonefont">(.*?)</span>\s+</span>', html)[0]

        star =self.modify_data(star)

        # 正则匹配想看的人数

        people = re.findall(r'<span class=".*?score-num.*?">(.*?)</span>', html,re.S)[0]

        people =self.modify_data(people)

        # 正则匹配累计票房

        ticket_number = re.findall(r'<div class="movie-index-content box">\s+<span class="stonefont">(.*?)</span><span class="unit">(.*?)</span>\s+</div>', html)[0]

        ticket_number1 =self.modify_data(ticket_number[0])

        print('用户评分: %s' % star)

        print('评分人数: %s' % people)

        print('累计票房: %s' % ticket_number1,ticket_number[1])


if __name__ =='__main__':

    maoyan = MaoYan()

    maoyan.start_crawl()

成功结束


4-1


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容