Google Protocol Buffers学习笔记

背景

最近由于工作需要，需要做一些IDL的事情，参考对象就是Google Protocol Buffers。学习的过程中做一些记录

介绍

官方文档：https://developers.google.com/protocol-buffers/

Github：https://github.com/protocolbuffers/protobuf/tree/master/python

安装

安装其实比较简单，按照步骤安装就好了，Mac自带的Python就可以直接支持，但是有几个坑需要注意

Protocol Buffers现阶段的安装包没有configure文件，需要自己打包

从Github上下载下源码之后，需要运行./autogen.sh来自行生成configure文件。

生成configure的过程中报错autoconf不存在

brew install autoreconf
brew install automake
brew install libtool

用brew直接安装这三个东西即可解决

运行python setup.py install后依然会报错google not found

这个报错是比较奇怪，一般来说会直接把依赖包安装完毕，但是我这里确实是遇到了这个坑，解决办法是直接手工安装google。

sudo pip install protobuf
sudo pip install google

参考官方文档撸码

具体的过程就不记录了，基本上完全照搬官方文档的代码，记录几个坑。

proto文件的版本标识

syntax = "proto2";在协议文件的最上方需要标识出版本号，2和3是有一些区别的：

3中不需要定义require和optional，只有repeat声明仍然保留
3中自带默认值，不能自定义默认值，这样在序列化的时候就可以节省空间
3中支持map的编写
3中支持json的映射

编写的记录

首先要根据协议生成一个Python对象。比如addressbook_pb2。有兴趣的可以直接去看这个类的内容，基本上是定义一些空类和方法的声明，具体的操作API还是参考官方的说明比较靠谱。

用Python操作Protocol Buffers的时候，有几个注意点。

操作repeat对象

repeat对象在Python中的对应可以理解为是数组。如果需要新增一个数组元素的话，需要这样调用

phone_number = person.phones.add()
phone_number.number = number
phone_number.type = addressbook_pb2.Person.MOBILE

说实话，并不太符合Python优雅的语法。如果要再新增一个数组元素，那么就要再调用一次add生成一个对象。再给对象赋值。

序列化与反序列化

官方文档中的序列化方法为SerializeToString。实际上序列化的方法还有一个是SerializePartialToString，它们的区别是第一个会检查是否所有的元素都被初始化了，而第二个方法不会检查。序列化之后会变成一个二进制的字符串，然而我看到的结果是这样的：

15449789449465.jpg

也就是说序列化成二进制之后，值并没有被序列化成二进制。

反序列化的方法为ParseFromString。

思考

Google Protocol Buffers无疑是一个不错的传输载体，优点是很明显的：

以二进制的方式来传递能够更加高效。
相比于XML,JSON等协议来说，它更加规范化。
由于自身编译的机制，确保了两端的接口字段一定是对齐的，减少了一些调试的工作，也可以杜绝一些一端私自增加删除字段导致的bug问题。
能够自动的生成对应的解析代码。减少了代码的复杂度，更专注于业务代码的编写

但是缺点也很明显：

以IDL的方式来定义接口，本身就是一个比较重的事情。
协议文件需要编译，额外增加了程序的复杂度，在一些小型项目中并不适用。
由于编译之后会生成对应编程语言的操作对象，因此对于编码语言也有一定的限制，所幸Google毕竟是大公司，主流的语言也都支持。
以二进制的方式传输，调试起来会有一定的复杂度。

吐槽

当前版本的协议已经是3.6的版本了，但是官方文档中的示例依然用的是2的版本

在官方文档下方的语言选择中可以看出来，是支持简体中文的，但是。。

15449798674560.jpg

你的汉化程度就只有这些也敢说支持简体中文吗？？？

最后附上代码

我把官方的示例做了一些修改，原来官方的示例是以文件的形式传递的，这里我修改为以TCP的方式传递。

pb_client.py

# ecoding=utf-8
# Author: Sven_Weng
# Email : sven_weng@wengyb.com
# Web   : http://www.wengyb.com
import addressbook_pb2
import socket


def PromptForAddress(person):
    person.id = 1
    person.name = "svenweng"
    person.email = "sven_weng@wengyb.com"
    number = "17700000001"
    phone_number = person.phones.add()
    phone_number.number = number
    phone_number.type = addressbook_pb2.Person.MOBILE
    phone_num = person.phones.add()
    phone_num.number = "17700000002"
    phone_num.type = addressbook_pb2.Person.HOME


address_book = addressbook_pb2.AddressBook()

PromptForAddress(address_book.people.add())

print address_book

ss = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
ss.connect(("127.0.0.1", 6969))
print address_book.SerializeToString()
ss.send(address_book.SerializeToString())
ss.close()


pb_server.py

# ecoding=utf-8
# Author: Sven_Weng
# Email : sven_weng@wengyb.com
# Web   : http://www.wengyb.com
import socket
import addressbook_pb2
address_book = addressbook_pb2.AddressBook()


def ListPeople(data):
    address_book.ParseFromString(data)
    for person in address_book.people:
        print "Person ID:", person.id
        print "  Name:", person.name
        if person.HasField('email'):
            print "  E-mail address:", person.email

        for phone_number in person.phones:
            if phone_number.type == addressbook_pb2.Person.MOBILE:
                print "  Mobile phone #: ",
            elif phone_number.type == addressbook_pb2.Person.HOME:
                print "  Home phone #: ",
            elif phone_number.type == addressbook_pb2.Person.WORK:
                print "  Work phone #: ",
            print phone_number.number


ss = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
ss.bind(("127.0.0.1", 6969))

ss.listen(0)
while True:
    print 'Wait for connection ...'
    sock, addr = ss.accept()
    data = sock.recv(1024)
    ListPeople(data)