【云顶娱乐平台】Python RPC 之 gRPC

 

实践：

下面我们使用 gRPC
定义一个接口，该接口实现对传入的数据进行大写的格式化处理。

  • 创建项目 python demo 工程：
![](https://upload-images.jianshu.io/upload_images/208550-bd34d08e0c12cdeb.png)

Paste_Image.png
  1. client目录下的 main.py 实现了客户端用于发送数据并打印接收到 server
    端处理后的数据
  1. server 目录下的 main.py 实现了 server
    端用于接收客户端发送的数据，并对数据进行大写处理后返回给客户端
  2. example 包用于编写 proto 文件并生成 data 接口
  • 定义 gRPC 接口：

syntax = "proto3";
package example;
service FormatData {
  rpc DoFormat(Data) returns (Data){}
}
message Data {
  string text = 1;
}
  • 编译 protobuf：

$ python -m grpc_tools.protoc -I. –python_out=.
–grpc_python_out=. ./data.proto #在 example
目录中执行编译，会生成：data_pb2.py 与 data_pb2_grpc.py

  • 实现 server 端：

#! /usr/bin/env python
# -*- coding: utf-8 -*-
import grpc
import time
from concurrent import futures
from example import data_pb2, data_pb2_grpc

_ONE_DAY_IN_SECONDS = 60 * 60 * 24
_HOST = 'localhost'
_PORT = '8080'

class FormatData(data_pb2_grpc.FormatDataServicer):
    def DoFormat(self, request, context):
        str = request.text
        return data_pb2.Data(text=str.upper())

def serve():
    grpcServer = grpc.server(futures.ThreadPoolExecutor(max_workers=4))
    data_pb2_grpc.add_FormatDataServicer_to_server(FormatData(), grpcServer)
    grpcServer.add_insecure_port(_HOST + ':' + _PORT)
    grpcServer.start()
    try:
        while True:
            time.sleep(_ONE_DAY_IN_SECONDS)
    except KeyboardInterrupt:
        grpcServer.stop(0)

if __name__ == '__main__':
    serve()
  • 实现 client 端：

#! /usr/bin/env python
# -*- coding: utf-8 -*-
import grpc
from example import data_pb2, data_pb2_grpc

_HOST = 'localhost'
_PORT = '8080'

def run():
    conn = grpc.insecure_channel(_HOST + ':' + _PORT)
    client = data_pb2_grpc.FormatDataStub(channel=conn)
    response = client.DoFormat(data_pb2.Data(text='hello,world!'))
    print("received: " + response.text)

if __name__ == '__main__':
    run()
  • 执行验证结果：
  1. 先启动 server，之后再执行 client
  1. client 侧控制台如果打印的结果为：“received: HELLO,WORLD!” ，证明
    gRPC 接口定义成功
  • 交流可以加 QQ 群：397234385
  • 或者 QQ 扫码入群：

云顶娱乐平台 1

qq群.jpg

  • grpcio==1.4.0
  • grpcio-tools==1.4.0
  • xxx.proto 没错，只需要这么一个文件
  • 编译xxx.proto的命令

安装：

  1. 安装 protoc
    ：Protoc下载地址，可以根据自己的系统下载相应的
    protoc，windows 用户统一下载 win32 版本。
  2. 配置 protoc 到系统的环境变量中，执行如下命令查看是否安装成功：

$ protoc –version
如果正常打印 libprotoc 的版本信息就表明 protoc 安装成功

  1. 安装 ProtoBuf 相关的 python 依赖库

$ pip install protobuf

rpc相关文档:

安装：

  1. gRPC 的安装：

$ pip install grpcio

  1. 安装 ProtoBuf 相关的 python 依赖库：

$ pip install protobuf

  1. 安装 python grpc 的 protobuf 编译工具：

$ pip install grpcio-tools

https://grpc.io/docs/quickstart/python.html
不过在教程里clone的那个项目实在是大，不确定哪些是需要的，经过测试后给出需要的：

使用

  1. 创建 demo python 工程
![](https://upload-images.jianshu.io/upload_images/208550-efc7e919daa289de.png)

Paste_Image.png

  1. 在 example 包中编写 person.proto

    syntax = "proto3";
package example;

message person {   
    int32 id = 1;
    string name = 2;
}

message all_person {    
    repeated person Per = 1;
}

  2. 进入 demo 工程的 example 目录，使用 protoc 编译 person.proto

$ protoc –python_out=. person.proto
就会生成 person_pb2.py 文件

  1. 在 python 工程中使用 protobuf 进行序列化与反序列化
    main.py:

    #! /usr/bin/env python
# -*- coding: utf-8 -*-
from example import person_pb2

# 为 all_person 填充数据
pers = person_pb2.all_person()
p1 = pers.Per.add()
p1.id = 1
p1.name = 'xieyanke'
p2 = pers.Per.add()
p2.id = 2
p2.name = 'pythoner'

# 对数据进行序列化
data = pers.SerializeToString()

# 对已经序列化的数据进行反序列化
target = person_pb2.all_person()
target.ParseFromString(data)
print(target.Per[1].name)  #  打印第一个 person name 的值进行反序列化验证
  • 交流可以加 QQ 群：397234385
  • 或者 QQ 扫码入群：

云顶娱乐平台 1

qq群.jpg

编译protobuf文件：使用以下命令生成Python代码：

gRPC 简介：

gRPC 是一款高性能、开源的 RPC 框架，产自 Google，基于 ProtoBuf
序列化协议进行开发，支持多种语言（Golang、Python、Java等），本篇只介绍
Python 的 gRPC 使用。因为 gRPC 对 HTTP/2 协议的支持使其在 Android、IOS
等客户端后端服务的开发领域具有良好的前景。gRPC
提供了一种简单的方法来定义服务，同时客户端可以充分利用 HTTP/2 stream
的特性，从而有助于节省带宽、降低 TCP 的连接次数、节省CPU的使用等。

解决方法就是在greeter_server.py中(这个文件不知道请看上面的链接)加载django，大致如下：

ProtoBuf： 是一套完整的 IDL（接口描述语言），出自Google，基于 C++
进行的实现，开发人员可以根据 ProtoBuf
的语言规范生成多种编程语言（Golang、Python、Java
等）的接口代码，本篇只讲述 Python 的基础操作。据说 ProtoBuf
所生成的二进制文件在存储效率上比 XML 高 3~10 倍，并且处理性能高 1~2
个数量级，这也是选择 ProtoBuf 作为序列化方案的一个重要因素之一。

接口调用内容示例：

我既想用django的model又想用grpc该怎么办呢，django是一个服务，grpc是一个服务，直接暴力把grpc代码加入django是没办法使用models和views的。

https://grpc.io/docs/tutorials/basic/python.html

import os
from concurrent import futures

import grpc
import time

import bus_pb2
import bus_pb2_grpc

import django

os.environ.setdefault("DJANGO_SETTINGS_MODULE", "xxx.settings")

django.setup()

from enterprise.views import enterprise_list, add_enterprise

_ONE_DAY_IN_SECONDS = 60 * 60 * 24


class Greeter(bus_pb2_grpc.BusInfoServicer):
    def BusMethod(self, request, context):
        if request.method == 'e':
            response = enterprise_list(request)
            return bus_pb2.BusReply(data=response['data'], code=response['code'], message=response['msg'])
        elif request.method == 'a':
            response = add_enterprise(request)
            return bus_pb2.BusReply(message=response['msg'])
        return bus_pb2.BusReply(message='')


if __name__ == '__main__':
    server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))
    bus_pb2_grpc.add_BusInfoServicer_to_server(Greeter(), server)
    server.add_insecure_port('0.0.0.0:50051')
    server.start()
    try:
        while True:
            time.sleep(_ONE_DAY_IN_SECONDS)
    except KeyboardInterrupt:
        server.stop(0)

 

2.grpc的python
protobuf相关的编译工具

运行命令后会生成xxx_pb2.py 和
xxx_pb2_grpc.py两个文件，接下来重点来了(拍桌子)

 

在配置好grpc的xxx.proto之后要保证java那边的这个文件要一样(并不是全部，service开始需要完全相同)

 

python -m grpc_tools.protoc -I./protos –python_out=.
–grpc_python_out=. ./protos/xxx.proto

python3 -m
grpc_tools.protoc -I. –python_out=. –grpc_python_out=.
data.proto

这里解释一下，python(不解释) -m(也不解释)
grpc_tools.protoc(上面安装的三方)
-I./protos(标识当前目录下的protos文件夹，xxx.proto需要在这个文件夹中)
–python_out=.(当前目录生成输出文件)
–grpc_python_out=.(当前目录生成grpc文件)
./protos/xxx.proto(xxx.proto的相对路径)

pip install
grpcio-tools

初步尝试是在python脚本中与java对接接口，经常官方文档的一顿学习，成功调通了接口

 

最近在做微服务这一块，后端与java合作，自己是python的，所以考虑使用grpc，一点考虑是grpc是http2.0，另一点考虑是老大要求的：）

protobuf内容示例：

运行时只需要运行该脚本即可，django服务不必启用

1.grpc安装

注意:protobuf文件，为定义服务接口代码文件，这里是data.proto

 

3.protobuf相关python依赖库

 

 

 

 

需要安装的python包如下：

会生成：data_pb2.py
与 data_pb2_grpc.py

pip
install grpcio

pip install
protobuf

# -*- coding: utf-8 -*-
import grpc
import data_pb2,data_pb2_grpc

_HOST = 'localhost'
_PORT = '8080'

def run():
    conn = grpc.insecure_channel(_HOST + ':' + _PORT)
    client = data_pb2_grpc.gRPCStub(channel=conn)
    response = client.SayHello(data_pb2.HelloRequest(name='hello,world!'))
    print("received: " + response.text)

if __name__ == '__main__':
    run()

 

4.一些常见原型的生成python类的集合：

要调用RPC接口，python提供了一个框架grpc，这是google开源的

 

pip install
googleapis-common-protos

syntax = "proto3";
package grpcDemo;

message HelloRequest {
   string name = 1;
}

message HelloReply {
   string message = 1;
}


service gRPC {
  rpc SayHello (HelloRequest) returns (HelloReply) {}
}

data_pb2_grpc.py方法映射

data_pb2.py是服务接口映射

 

python3 -m
grpc_tools.protoc -I<目标路径目录> –python_out=.
–grpc_python_out=<目标文件所在目录路径>
<目标文件data.proto>