Python 黑魔法 --- metaclass 元类

元编程，一个听起来特别酷的词，强大的Lisp在这方面是好手，对于Python，尽管没有完善的元编程范式，一些天才的开发者还是创作了很多元编程的魔法。Django的ORM就是元编程的一个很好的例子。

本篇的概念和例子皆在Python3.6环境下

一切都是对象

Python里一切都是对象（object），基本数据类型，如数字，字串，函数都是对象。对象可以由类（class）进行创建。既然一切都是对象，那么类是对象吗？

是的，类也是对象，那么又是谁创造了类呢？答案也很简单，也是类，一个能创作类的类，就像上帝一样，开启了万物之始。这样的类，称之为元类（classmeta）。

类的定义

对象是通过类创建的，这个很好理解。例如下面的代码：

class Bar(object):
    pass

bar = Bar()
print(bar, bar.__class__)   # <__main__.Bar object at 0x101eb4630> <class '__main__.Bar'>
print(Bar, Bar.__class__) # <class '__main__.Bar'> <class 'type'>

可以看见对象 bar 是类 Bar 创建的实例。然而 Bar，看起来却是由一个叫 type 的类创建的实例。即 bar <-- Bar < -- type。

上面的例子，对象是动态创建的，类则是通过关键字 class 声明定义的。class关键字背后的玄机是什么呢？

实际上，class Bar(object) 这样的代码，等价于 Bar = type('Bar', (objects, ), {})
即类 type 通过实例化创建了它的对象 Bar，而这个 Bar 恰恰是一个类。这样能创建类的类，就是 Python 的元类。

从创建 Bar 的代码上来看，元类 type 的 __init__ 方法有3个参数，

  • 第一个是创建的类的名字
  • 第二个是其继承父类的元类列表，
  • 最后就是一个属性字典，即该类所具有的属性。

type 元类

type是小写，因而很容易误以为它是一个函数。通过help(type)可以看到它的定义如下：

class type(object):
    """
    type(object_or_name, bases, dict)
    type(object) -> the object's type
    type(name, bases, dict) -> a new type
    """
    def __init__(cls, what, bases=None, dict=None): # known special case of type.__init__
        """
        type(object_or_name, bases, dict)
        type(object) -> the object's type
        type(name, bases, dict) -> a new type
        # (copied from class doc)
        """
        pass

     @staticmethod # known case of __new__
    def __new__(*args, **kwargs): # real signature unknown
        """ Create and return a new object.  See help(type) for accurate signature. """
        pass

如前所述，__init__方法接受三个参数，type 实例化的过程，会创建一个新的类。创建类的代码来自 __new__ 方法，它的参数其实和 __init__，一样。至于它们之间有什么关系，后面再做介绍。目前只要知道，当调用 type 进行实例化的时候，会先自动调用 __new__ 方法，然后再接着调用 __init__方法，在类外面来看，最终会实例化一个对象，这个对象是一个类。

从 type 的定义来看，它继承 object，Python3的所有类，都继承来着 object，类type 也是 object 的实例，令人奇怪的是，object 既是类也是对象，它也是由 type实例化而来。有一种鸡生蛋，蛋生鸡的悖论。暂且先不管，只要知道所有类的顶级继承来自 object 就好。

自定义元类

既然元类可以创建类，那么自定义元类就很简单了，直接继承类 type 即可。先看下面一个例子：

class MyType(type):
    pass


class Bar(object, metaclass=MyType):
    pass


print(MyType, MyType.__class__)  # <class '__main__.MyType'> <class 'type'>
print(Bar, Bar.__class__)  # <class '__main__.Bar'> <class '__main__.MyType'>

可以看到，Bar在声明的时候，指定了其元类，此时的类 Bar 的__class__属性不再是 type，而是 MyType。即之前定义 Bar 的代码不再是 Bar = type('Bar', (objects, ), {}), 而是 Bar = MyType('Bar', (objects, ), {})。创建的元类的代码是MyType = type('MyType', (objects, ), {})。

如果一个类没有显示的指定其元类，那么会沿着继承链寻找父类的元类，如果一直找不到，那么就使用默认的 type 元类。

元类冲突

每个类都可以指定元类，但是父类和子类的元类要是一条继承关系上的，否则会出现元类冲突。并且这个继承关系中，以继承最后面的元类为其元类。

元类的查找顺序大致为，先查看其继承的父类，找到父类的元类即停止。若直接父类没有元类，直到顶级父类 object ，此时父类（object）的元类是 type（basemetaclass），再看其自身有没有指定元类（submetaclass），如果指定了元类（submetaclass），再对比这个子元类（submetaclass）和父元类（basemetaclass），如果它们毫无继承关系，那么将会抛出元类冲突的错误。如果指定的子元类是父元类的父类，那么将会使用父元类，否则将使用期指定的子元类。

即 submetaclass <- basemetaclass使用 submetaclass 作为最终元类，
若 basemetaclass <- submetaclass, 使用 basemetaclass 作为最终元类,
两者无继承关系，抛出冲突。

有点像绕口令，且看代码例子

class MyType(type):
    pass

# 等价于 MyType = type('MyType', (object, ), {})

class Bar(object, metaclass=MyType):
    pass

# 等价于 Bar = MyType('Bar', (object, ), {})

class Foo(Bar):
    pass

# 等价于 Foo = MyType('Foo', (Foo, object, ), {})

print(Bar, Bar.__class__)   # <class '__main__.Bar'> <class '__main__.MyType'>
print(Foo, Foo.__class__)  # <class '__main__.Foo'> <class '__main__.MyType'>

Bar的父元类（basemetaclass）type，指定子元类（submetaclass）是 MyType， MyType 继承自 type，所以Bar的元类是 MyType。

又如：

class MyType(type):
    pass


class Bar(object, metaclass=MyType):
    pass


class Foo(Bar, metaclass=type):
    pass


print(Bar, Bar.__class__)   # <class '__main__.Bar'> <class '__main__.MyType'>
print(Foo, Foo.__class__)  # <class '__main__.Foo'> <class '__main__.MyType'>

尽管 Foo 也指定了元类(submetaclass) type，可是其父类的元类（basemetaclass）是 MyType， MyType
是 type的子类，因此 Foo的元类抛弃了指定的(submetaclass) type，而是沿用了其父类的MyType。

当 submetaclass 和 basemetaclass 没有继承关系的时候，将会元类冲突

class MyType(type):
    pass

class MyOtherType(type):
    pass

class Bar(object, metaclass=MyType):
    pass


class Foo(Bar, metaclass=MyOtherType):
    pass

运行代码，当定义的时候就会出现TypeError: metaclass conflict: the metaclass of a derived class must be a (non-strict)元类冲突的错误。

修改代码如下：

class MyType(type):
    pass

class MyOtherType(MyType):
    pass

class Bar(object, metaclass=MyType):
    pass


class Foo(Bar, metaclass=MyOtherType):
    pass


print(Bar, Bar.__class__)  # <class '__main__.Bar'> <class '__main__.MyType'>
print(Foo, Foo.__class__) # <class '__main__.Foo'> <class '__main__.MyOtherType'>

可以看到 Bar 和 Foo 分别有自己的元类，并且都符合继承关系中寻找。再调换一下元类看看：

class MyType(type):
    pass

class MyOtherType(MyType):
    pass

class Bar(object, metaclass=MyOtherType):
    pass


class Foo(Bar, metaclass=MyType):
    pass


print(Bar, Bar.__class__) # <class '__main__.Bar'> <class '__main__.MyOtherType'>
print(Foo, Foo.__class__) # <class '__main__.Foo'> <class '__main__.MyOtherType'>

都使用了Foo还是使用了元子类作为元类。究其原因，其实也很好理解。定义父类的时候，使用了元类MyOtherType 。定义子类的时候，通过继承，找到了创建父类的元类，那么父类就是 MyOtherType 的实例。

如果使用 MyType 做为元类，那么他就是 MyType 的实例，MyType的实例会比MyOtherType具有的属性少，那么在继承链上，它又是 Bar的子类，这样看就是子类比父类还狭窄了，显然不是一个好的关系。即变成了下面的关系

Bar     <-  MyOtherType
 
  |           ↑
  |           |
  ↓           | 

Foo     <-  MyType

因此当 MyType 是 MyOtherType的父类的时候，即使 Foo 指定了 MyType作为元类，还是会被忽略，使用其父元类MyOtherType。

上面的线的箭头要一直，才能使用各自指定的元类，否则使用箭头指向的那个类作为元类。元类没有继承关系，元类冲突。

对象（类）实例化

目前为止，我们了解了类的定义，即类是如何被元类创建出来的，但是创建的细节尚未涉及。即元类是如何通过实例化创建类的过程。这也是对象创建的过程。

前文介绍了一个对象是通过类创建的，类对象是通过元类创建的。创建类中，会先调用元类的__new__方法，设置其名称，继承关系和属性，返回一个实例。然后再调用实例的__init__方法进行初始化实例对象。

class MyType(type):

    def __init__(self, *args, **kwargs):
        print('init ', id(self), args, kwargs)

    def __new__(cls, *args, **kwargs):
        print('new', id(cls),  args, kwargs)
        instance = super(MyType, cls).__new__(cls, *args, **kwargs)
        print(id(instance))
        return instance


class Bar(object, metaclass=MyType):
    pass

运行代码可以看见输出：

new 4323381304 ('Bar', (<class 'object'>,), {'__module__': '__main__', '__qualname__': 'Bar'}) {}
4323382232
init  4323382232 ('Bar', (<class 'object'>,), {'__module__': '__main__', '__qualname__': 'Bar'}) {}

注意，上面代码仅关注 Bar 类的创建，即 Bar =MyType('Bar', (object, ), {})这个定义代码。MyType进行实例化创建 Bar的过程中，会先用 其 __new__ 方法，后者调用了父类 type的 __new__方法，并返回了元类的实例, 同时调用这个实例的__init__方法，后者对改实例对象进行初始化。这也就是为什么方法名为 __init__。

通常我们会在 __init__方法初始化一些实例对象的属性如果 __new__ 方法什么也不返回，那么 __init__ 方法是不会被调用的。

instance = super(MyType, cls).__new__(cls, *args, **kwargs)， 有的地方也喜欢写成 type.__new__或者 type，前者是python中如何调用父类方法的问题，后者是直接使用type创建类的过程。比较推荐的写法还是使用 super 调用其父类的方法的方式。

类是元类的对象，普通类创建对象的过程，也是一样。因此，只要重写 __new__方法，还可以实现一个类还可以创建另外一个类的实例的魔法。

移花接木

重写 __new__ 方法，让其创建另外一个类的实例。

class Bar:
    def __init__(self, name):
        self.name = name
        print('Bar init')

    def say(self):
        print('say: Bar {}'.format(self.name))


class Foo(object):

    def __init__(self):
        print('self {}'.format(self))

    def __new__(cls, *args, **kwargs):
        instance = super(Foo, cls).__new__(Bar, *args, **kwargs)
        print('instance {}'.format(instance))
        instance.__init__('a class')
        return instance

    def say(self):
        print('say: Foo')


m = Foo()
print('m {}'.format(m))
m.say()

输出

instance <__main__.Bar object at 0x104033240>
Bar init
m <__main__.Bar object at 0x104033240>
say: Bar a class

在类 Foo 中，通过重写 __new__返回了一个 Bar 类的实例对象，然后调用 Bar 实例的 __inti__ 方法初始化，由于返回了 bar 实例，因此 Foo 的实例没有被创建，因此也不会调用它的实例方法 __inti__ 。这样就把 移花（Bar）接木（Foo）上了。

也许有人会觉得这样的诡异魔法有什么用呢？实际上，Tornado框架使用了这样的技术实现了一个叫 Configurable 的工厂类，用于创建不同网络IO下的epoll还是select模型。有兴趣可以参考其实现方式。

元类的应用

讨论了那么多原理的东西，最后肯定是要应用到实际中才有意义。既然类可以被动态的创建，那么很多定义在类的方法，岂不是也可以被动态的创建了呢。这样就省去了很多重复工作，也能实现酷酷的元编程。

元类可以创建单例模式，也可以用来实现 ORM，下面介绍的是Django使用元类实现的查找方式。更经典的model定义网上有很多例子，就不再介绍了。下面介绍一个model通过manger管理器实现查询方法的例子

import inspect


class QuerySet:

    def get(self, *args, **kwargs):
        print('get method')
        return self

    def filter(self, *args, **kwargs):
        print('filter method')
        return self


class BaseManager:

    def __init__(self):
        pass

    @classmethod
    def from_queryset(cls, queryset_class, class_name=None):
        if class_name is None:
            class_name = '%sFrom%s' % (cls.__name__, queryset_class.__name__)
        class_dict = {
            '_queryset_class': queryset_class,
        }
        class_dict.update(cls._get_queryset_methods(queryset_class))
        return type(class_name, (cls,), class_dict)

    def get_queryset(self):
        return self._queryset_class()

    @classmethod
    def _get_queryset_methods(cls, queryset_class):
        def create_method(name, method):
            def manager_method(self, *args, **kwargs):
                return getattr(self.get_queryset(), name)(*args, **kwargs)

            manager_method.__name__ = method.__name__
            manager_method.__doc__ = method.__doc__
            return manager_method

        new_methods = {}
        for name, method in inspect.getmembers(queryset_class, predicate=inspect.isfunction):
            if hasattr(cls, name):
                continue
            queryset_only = getattr(method, 'queryset_only', None)
            if queryset_only or (queryset_only is None and name.startswith('_')):
                continue
            new_methods[name] = create_method(name, method)
        return new_methods


class Manager(BaseManager.from_queryset(QuerySet)):
    pass


class ModelMetaClass(type):

    def __new__(cls, *args, **kwargs):
        name, bases, attrs = args
        attrs['objects'] = Manager()
        return super(ModelMetaClass, cls).__new__(cls, name, bases, attrs)


class Model(object, metaclass=ModelMetaClass):
    pass


class User(Model):
    pass


User.objects.get()
User.objects.filter()
User.objects.filter().get()

这样model就用使用期管理器Manger 下的方法了。通过model的元类ModelMetaClass，定义model的时候，就初始化了一个 Manger对象挂载到Model下面，而定义Manger的时候，也通过元类将QuerySet下的查询方法挂载到Manger下了。

总结

Python里一切都是对象，对象都是由类进行创建实例化而来。既然一切是对象，那么类也是对象，而类这种对象又是由一种更高级类创建而来，即所谓的元类。

元类可以创建类，Python默认的元类是 type。通过继承type，可以自定义元类，在自定义元类的时候定义或者重载 __new__，可以创建该类的实例对象，同时也可以修改类创建对象的行为。类通过 __new__创建实例对象，然后调用实例对象的 __init__初始化实例对象。

在使用自定义元类的时候，子类的的元类和父类的元类有关系，前者指定的元类必须和父类的元类是一个继承关系上的，否则会出现元类冲突。子类选取元类的取决于指定的元类和父元类的继承关系，子元类若是父元类的子类，则指定的元类为子元类，否则将会被忽略，使用父元类为其元类。

元类是元编程的一种技术手段，常用于实现工厂模式的策略。通过定义元类动态创建类和展开，可以实现很多设计精妙的应用。ORM 正式其中一种常用的方法。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
禁止转载，如需转载请通过简信或评论联系作者。
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 201,924评论 5赞 474
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 84,781评论 2赞 378
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 148,813评论 0赞 335
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,264评论 1赞 272
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,273评论 5赞 363
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,383评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,800评论 3赞 393
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,482评论 0赞 256
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,673评论 1赞 295
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,497评论 2赞 318
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,545评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,240评论 4赞 318
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,802评论 3赞 304
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,866评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,101评论 1赞 258
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,673评论 2赞 348
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,245评论 2赞 341

推荐阅读更多精彩内容

  • Spring Cloud
    Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具（例如配置管理，服务发现，断路器，智...
    卡卡罗2017阅读 134,573评论 18赞 139
  • Python 元类详解 __new__、__init__、__call__、__metacal...
    了解元类之前，先了解几个魔术方法： __new__、__init__、__call__ __new__： 对象的创...
    大富帅阅读 9,076评论 2赞 16
  • python高级编程2
    1.元类 1.1.1类也是对象 在大多数编程语言中，类就是一组用来描述如何生成一个对象的代码段。在Python中这...
    TENG书阅读 1,241评论 0赞 3
  • 特别的你，特好
    32 李文霞 实习生活已过很久，给我留下的记忆尤深。我想那段时光是我一直不会忘却的美好回忆。在未进入幼儿...
    花楹0306阅读 242评论 0赞 0
  • 如梦令
    梧叶风雪满地。 扶槛追忆往事。 初见两含羞，微雨杏花犹记。 依稀，依稀， 疑是玉人梦里。
    流湘遇阅读 278评论 0赞 0