1.Protobuf入门：在linux下编译使用protobuf
2.ProtoBuf安装及避坑指南
3.使用protobuf实现序列化与反序列化
4.Protocol Buffer详解（一）
5.1.1.1模型描述与序列化方法之Protobuf（一）：初步使用
6.protobuf 详解

Protobuf入门：在linux下编译使用protobuf

       Google Protocol Buffer（简称Protobuf）是源码一种由Google公司内部开发的数据标准，用于数据序列化。源码广泛应用于数据存储和远程过程调用（RPC）系统。源码它具备语言无关性、源码平台无关性和可扩展性，源码支持C++、源码解析源码交易Java和Python等语言。源码

       编译源码包：从GitHub下载Protobuf的源码源代码，以2.5.0版本为例。源码解压后，源码执行配置编译命令，源码创建文件。源码编译后，源码文件夹中将包含bin、源码include和lib目录。源码

       测试工程：将include目录下的文件按目录结构和lib/libprotobuf.a复制到测试目录。定义结构化数据Content，包含id（int）、str（string）和opt（可选成员）。使用protoc程序将Mymessage.proto文件编译成目标语言，生成Mymessage.pb.h和Mymessage.pb.cc文件。

       将编译后的Mymessage.pb.o文件与Writer.cpp文件一起编译，生成log文件。Reader从log文件读取，反序列化后获得结构化数据。

       Protobuf的优点在于高效、紧凑的二进制数据序列化方式，使其适合数据存储和RPC通信。然而，它缺乏复杂概念表示的能力，与XML相比在通用性上仍有不足。XML自解释性使其在文本描述方面优于Protobuf。

       高级应用包括嵌套消息、Import Message和动态编译。嵌套消息如Person包含PhoneNumber，用于Person中的phone域。Import Message允许在包中定义公用消息，通过包引入使用。动态编译允许在运行时处理未知的.proto文件。

       编写新编译器：利用Google Protocol Buffer源代码中的protoc编译器，可以开发支持其他语言的编译器。通过实现CodeGenerator派生类，实现代码生成功能。

       Protobuf的编码方式使用Varint表示数字，节省空间。Varint用一个或多个字节表示数字，手机查看apk源码值越小字节越少。消息序列化为紧凑的二进制数据流，无需分隔符，可优化大小。

ProtoBuf安装及避坑指南

       在安装ProtoBuf前，确保g++为较新版本，若安装过程中遇到问题，尝试安装其他版本，使用`make uninstall`卸载源码安装的版本。在使用VSCode开发时，可能出现头文件检测不到的问题，这时需要查看编译器是否报错，而非仅依赖插件提示。以下为Linux环境下ProtoBuf的安装步骤。

       安装依赖库：`autoconf`、`automake`、`libtool`、`curl`、`make`和`g++`，对于Ubuntu用户，使用`sudo apt-get install`命令安装，对于CentOS用户，使用`sudo yum install`命令安装。访问GitHub下载ProtoBuf的指定版本，如v.，选择`protobuf-all-..zip`进行下载。在Windows环境下下载后，通过xshell的`rz`指令将文件传输至Linux系统。解压zip包后，进入目录。

       执行以下命令进行安装：`./configure`，根据需要选择安装方式。若在`configure`中选择第一种方式，直接执行`make`和`make install`即可完成安装。若选择第二种方式，修改了安装目录，还需在`/etc/profile`中添加相关配置信息，最后执行`source /etc/profile`使配置生效。安装完成后，通过`protoc --version`检查版本信息，显示版本号表示安装成功。

       进行ProtoBuf测试示例：创建两个文件`test.cc`和`contacts.proto`。`test.cc`文件包含使用ProtoBuf的示例代码，而`contacts.proto`文件定义了相应的数据结构和字段。执行相关语句进行测试，卸载linux内核源码验证ProtoBuf的安装和使用是否正常。

使用protobuf实现序列化与反序列化

       protobuf是用来干嘛的？

       protobuf是一种用于对结构数据进行序列化的工具，从而实现数据存储和交换。（主要用于网络通信中收发两端进行消息交互。所谓的“结构数据”是指类似于struct结构体的数据，可用于表示一个网络消息。当结构体中存在函数指针类型时，直接对其存储或传输相当于是“浅拷贝”，而对其序列化后则是“深拷贝”。）

       序列化：将结构数据或者对象转换成能够用于存储和传输的格式。 反序列化：在其他的计算环境中，将序列化后的数据还原为数据结构和对象。

       从“序列化”字面上的理解，似乎使用C语言中的struct结构体就可以实现序列化的功能：将结构数据填充到定义好的结构体中的对应字段即可，接收方再对结构体进行解析。

       在单机的不同进程间通信时，使用struct结构体这种方法实现“序列化”和“反序列化”的功能问题不大，但是，在网络编程中，即面向网络中不同主机间的通信时，则不能使用struct结构体，原因在于：

       （1）跨语言平台，例如发送方是用C语言编写的程序，接收方是用Java语言编写的程序，不同语言的struct结构体定义方式不同，不能直接解析；

       （2）struct结构体存在内存对齐和CPU不兼容的问题。

       因此，在网络编程中，实现“序列化”和“反序列化”功能需要使用通用的组件，如 Json、XML、protobuf 等。

       ① 性能高效： 与XML相比，protobuf更小（3 ~ 倍）、更快（ ~ 倍）、更为简单。

       ② 语言无关、平台无关： protobuf支持Java、C++、Python等多种语言，支持多个平台。

       ③ 扩展性、兼容性强： 只需要使用protobuf对结构数据进行一次描述，即可从各种数据流中读取结构数据，更新数据结构时不会破坏原有的java成品仓库源码程序。

       Protobuf与XML、Json的性能对比：

       测试万次序列化：

       测试万次反序列化：

       protobuf 2 中有三种数据类型限定修饰符：

       required表示字段必选，optional表示字段可选，repeated表示一个数组类型。

       其中， required 和 optional 已在 proto3 弃用了。

       protobuf中常用的数据类型：

       下载protobuf压缩包后，解压、配置、编译、安装，即可使用protoc命令查看Linux中是否安装成功：

       使用protobuf时，需要先根据应用需求编写 .proto 文件定义消息体格式，例如：

       其中，syntax关键字表示使用的protobuf的版本，如不指定则默认使用 "proto2"；package关键字表示“包”，生成目标语言文件后对应C++中的namespace命名空间，用于防止不同的消息类型间的命名冲突。

       然后使用 protobuf编译器（protoc命令）将编写好的 .proto 文件生成目标语言文件（例如目标语言是C++，则会生成 .cc 和 .h 文件），例如：

       其中：

       $SRC_DIR表示 .proto文件所在的源目录； $DST_DIR表示生成目标语言代码的目标目录； xxx.proto表示要对哪个.proto文件进行解析； --cpp_out表示生成C++代码。

       编译完成后，将会在目标目录中生成xxx.pb.h和xxx.pb.cc文件，将其引入到我们的C++工程中即可实现使用protobuf进行序列化：

       在C++源文件中包含xxx.pb.h头文件，在g++编译时链接xxx.pb.cc源文件即可：

       在protobuf源码中的/examples 目录下有官方提供的protobuf使用示例：addressbook.proto

       参考官方示例实现C++使用protobuf进行序列化和反序列化：

       addressbook.proto :生成的addressbook.pb.h 文件内容摘要：add_person.cpp :

       输出结果：

       三种序列化的方法没有本质上的区别，只是序列化后输出的格式不同，可以供不同的应用场景使用。 序列化的API函数均为const成员函数，因为序列化不会改变类对象的内容，而是将序列化的结果保存到函数入参指定的地址中。

       .proto文件中的option选项用于配置protobuf编译后生成目标语言文件中的代码量，可设置为SPEED， CODE_SIZE， LITE_RUNTIME 三种。 默认option选项为 SPEED，常用的选项为 LITE_RUNTIME。

       三者的区别在于：

       ① SPEED（默认值）： 表示生成的代码运行效率高，但是由此生成的代码编译后会占用更多的空间。

       ② CODE_SIZE： 与SPEED恰恰相反，代码运行效率较低，但是由此生成的代码编译后会占用更少的空间，通常用于资源有限的平台，如Mobile。

       ③ LITE_RUNTIME： 生成的代码执行效率高，同时生成代码编译后的大胆持仓公式源码所占用的空间也非常少。 这是以牺牲Protobuf提供的反射功能为代价的。 因此我们在C++中链接Protobuf库时仅需链接libprotobuf-lite，而非protobuf。

       SPEED 和 LITE_RUNTIME相比，在于调试级别上，例如 msg.SerializeToString(&str;); 在 SPEED 模式下会利用反射机制打印出详细字段和字段值，但是 LITE_RUNTIME 则仅仅打印字段值组成的字符串。

       因此：可以在调试阶段使用 SPEED 模式，而上线以后提升性能使用 LITE_RUNTIME 模式优化。

       最直观的区别是使用三种不同的 option 选项时，编译后产生的 .pb.h 中自定义的类所继承的 protobuf类不同：

       ① protobuf 将消息里的每个字段进行编码后，再利用TLV或者TV的方式进行数据存储； ② protobuf 对于不同类型的数据会使用不同的编码和存储方式； ③ protobuf 的编码和存储方式是其性能优越、数据体积小的原因。

Protocol Buffer详解（一）

       Protocol Buffer是一种支持多平台、多语言、可扩展的数据序列化机制，与XML相比，protobuf体积更小、速度更快、使用更简单，支持自定义数据结构。通过protobu编译器，可以生成特定语言的源代码，如C++、Java、Python，protoBuf对主流编程语言都提供了支持，使得序列化和反序列化变得非常方便。

       一、Message定义

       这里给出一个简单的例子，是一个搜索请求的message格式。

       上述例子中fields的种类都是数值型的（string和int），当然也可以指定更加复杂的fields，比如枚举类型enum，或者是嵌套的message类型。

       1、分配field编号

       上述例子中每个field都被分配了一个编号，这个编号是该field的唯一标识。需要注意的是，标识1-在编码时只占用一个字节，-占用两个字节，因此为了进一步优化程序，对于经常出现的element，建议使用1-作为其唯一标识；对于不经常使用的element，建议使用-。编号的范围是1-2^（-是系统预留的，不要使用）。

       2、field类型

       message中的field类型包含以下两种（proto3）：

       （1）singular

       （2）repeated：该类型的field可以在message中重复使用（类似于数组），它们的顺序会被保存，通过索引进行检索，数值类型的repeated默认使用packed编码方式。

       3、多message结构

       在一个proto文件中可以定义多个protobuf。

       4、reserved field类型

       在开发过程中可能会涉及到对proto文件中message各个fields的修改，可能是更新、删除某个field及其表示，这样可能会导致调用的服务失败。其中一个防止这种问题的方式是，确保你要删除的field的标识（或是名字）是reserved，具体protobuf的编译器会决定未来这个field表示能否被使用。

       5、编译结果

       对于C++开发者来说，使用protoc编译一个proto文件之后，会生成pb.h和pb.cc两个文件。

       二、数值类型

       具体proto类型对应生成类中的类型可以参考官方文档。

       三、默认值

       对于string和byte类型，默认值为空；对于bool类型，默认值是false；对于数值类型，默认值是0；对于枚举类型，默认值是第一个枚举值，默认为0；对于message类型，默认值由编程语言决定；对于repeated field，默认值为空。

       四、枚举类型

       当采用枚举类型的之后，枚举中的值都是预先定义好的，对于上述例子，我们可以再额外增加一个枚举类型corpus，具体如下。

       通常枚举类型的第一个值初始化为0，而且在message中使用枚举类型，必须要给定一个为0的值，而且这个为0的值应该为第一个元素。

       也可以给不同的元素以相同的alias，但是需要指定option allow_alias = true;具体如下。

       除此之外枚举类型不仅可以定义在message内部，也可以定义在message外部，而且在不同message中可以重用enum。

       在更改枚举类型field时，为保证系统运行正常，同样可以指定reserved数字标识和命名。

       五、使用其他message类型

       1、同文件引用

       具体如下：

       2、不同文件引用

       引用其他proto文件中定义好的message类型，具体如下。

       有时我们会对引用的proto文件进行更改，比如将其内容移动到另外一个地方，这样我们就需要对调用方import路径进行更改，当调用方非常多的时候，这种方法是非常低效的，protobuf提供一种机制，我们可以在原有位置提供一个新位置proto文件的“副本”，通过使用import public表示来实现，具体可以参考如下例子。

       这时编译器就会在某些固定目录下查询import的proto文件（具体在命令行编译的时候，由-I/—proto_path指定），如果上述路径找不到，编译器会在调用路径进行查找。通常将—proto_path设置为项目的根目录，然后import的时候使用完整的路径名。

       3、使用proto2中的message类型

       proto2中的枚举类型无法直接使用。

       六、嵌套类型

       具体如下。

       在parent message之外调用嵌套的message可以用如下方式：SearchResponse.Result，嵌套结构可以更加复杂，具体如下：

       七、更新message类型

       当现有的message已经无法满足现有业务需要，你需要更新你的message类型以支持更复杂的业务，这就涉及到向后兼容的问题了，为保证已有服务不受影响，需要遵守以下的一些规定：

       1、不要更改已经存在的fields的数字标识

       2、如果添加新的field，利用旧代码序列化得到的message可以使用新的代码进行解析，你需要记住各个元素的默认值。新代码创建的field同样可以由旧代码进行加解析

       3、field可以被删除，但是需要保证其对应的数字标识不再被使用，你可以通过加前缀的方式来重新使用这个field name，或者指定数字标识为reserved来避免这种情况

       4、int、int、uint、uint、bool这些类型都是互相兼容的，并不会影响前向、后向兼容性

       5、sint和sint之间是互相兼容的，但是和其他数字类型是不兼容的

       6、string和bytes是互相兼容的，只要使用的是UTF-8编码

       7、如果byte包含message的编码版本，则嵌套的message和bytes兼容

       8、flexed兼容sfixed,fixed,sfixed

       9、enum兼容 int, uint, int, and uint。对于这个值在转化时，不同语言的客户端处理方式会有所不同

       感兴趣的小伙伴可以关注公众号：独立团丶

1.1.1模型描述与序列化方法之Protobuf（一）：初步使用

       protobuf的使用流程相对直接，主要包括安装、编译.proto文件和生成可执行文件。本文将主要关注.proto文件的语法规则。

       1. 安装与配置

       尽管具体版本需要在实际操作中指定，但安装过程通常是下载并执行相应的protobuf可执行文件protoc。

       2. 编译.proto文件

       将编写好的.proto文件通过protoc工具编译，生成工程所需的pb.h和pb.cpp源文件。命令行操作简单，只需指定输入目录、输出目录和要编译的.proto文件名。

       3. 生成可执行文件

       将编译得到的.pb.h和.pb.cpp文件与你的cpp源码一起编译，使用pkg-config提供的protobuf编译参数。

       4. Proto文件语法详解

       Proto文件的基本结构为"字段规则 数据类型 名称 = 域值 [选项 = 选项值];"。字段规则有repeated、optional、required和reserved。例如：

       repeated string name = 1; 表示可多次出现，包括0次。

       optional string name = 1 [default ""]; 表示0次或1次出现，可指定默认值。

       required string name = 1; 必须出现1次。

       reserved name; 表示废弃，用于迭代更新。

       数据类型分为基本类型（如float、uint、string、bool）和复合类型（如message、enum、oneof和map）。message类似C++中的类，而enum则对应枚举。

       5. 选项与优化

       选项如default和packed用于设置默认值和优化编码效率，而deprecated用于标记过时属性。

       6. 其他

       高级功能如extensions、service和options通常不常用，相关内容请参考官方文档。

       7. 代码接口

       编译后的接口结构在官方文档中详细说明，此处不再赘述。

protobuf 详解

       Protobuf，即Protocol Buffers，是Google公司设计的一种轻量级、高效的结构化数据存储格式，用于结构化数据的序列化。它被广泛应用于数据存储和远程过程调用（RPC）的数据交换，支持语言无关、平台无关、可扩展的序列化结构数据格式。目前主要提供了C++、Java和Python三种语言的API。

       Protobuf的优势在于其简洁性和高效性，允许开发者定义数据结构，并以二进制格式进行序列化和反序列化，从而节省了数据传输和存储的空间，同时也加快了数据处理的速度。然而，它也有一些劣势，比如学习曲线陡峭，对于初学者来说可能需要一定时间来熟悉其语法和使用方法。

       在安装Protobuf时，protoc（Protocol Compiler）是核心组件，它能将.proto文件编译成不同语言的源代码。为了在Windows环境下安装protoc，首先需从GitHub下载protobuf源码，解压后添加bin目录路径到系统环境变量，然后通过命令行运行protoc查看是否成功安装。

       对于Go语言的支持，由于protobuf本身并未直接提供Go语言的API，需要额外安装protoc-gen-go插件来生成Go语言的序列化和反序列化代码。在安装完protobuf后，使用Go1.+版本的命令行安装protoc-gen-go插件。如果需要生成gRPC相关的Go代码，则需要安装protoc-gen-go-grpc插件。

       Protobuf的语法涵盖了多种数据类型，包括标量类型、可选类型、重复类型、映射类型以及嵌套的message类型。message成员可以被指定为标量类型，如字符串、整数等，也可以嵌套其他message类型。消息字段可以被标记为可选或重复类型，以适应不同的数据需求。

       在.proto文件中定义消息类型时，可以使用默认值来简化序列化过程。默认值在解析数据时如果消息中未包含特定的字段，则将该字段设置为默认值。此外，Protobuf还支持enum（枚举类型）和oneof（互斥字段组）特性，用于定义具有预定义值列表的字段和最多只能设置其中一个字段的字段组。

       为了将message与RPC（远程过程调用）结合使用，可以在.proto文件中定义RPC服务接口。通过protobuf编译器protoc，可以生成特定语言的RPC服务代码，包括生成序列化和反序列化的代码以及RPC服务的客户端和服务器代码。

       使用protoc编译器将.proto文件编译成目标语言的源代码。编译命令通常会指定输出目录和目标语言，如Go语言。通过设置--go_out参数，可以指定生成的Go代码的基本路径。同时，--go_opt参数可以用来为生成的Go代码指定额外的优化选项。--proto_path参数用于设置Protobuf查找.proto文件的路径。

       生成gRPC相关的Go代码需要使用protoc-gen-go-grpc插件，并通过--go-grpc_out参数指定输出目录。这将产生用于gRPC服务的客户端和服务器代码。

       要使用protobuf，通常会从源代码下载protobuf，然后通过命令行工具protoc进行编译，从而生成特定语言的序列化和反序列化代码，以及RPC服务代码。对于Go语言，除了需要安装protobuf和protoc-gen-go插件外，还需根据需求安装protoc-gen-go-grpc插件来生成gRPC相关的代码。