【云顶娱乐平台】Python RPC 之 gRPC

 

实践:

下面我们使用 gRPC
定义一个接口,该接口实现对传入的数据进行大写的格式化处理。

  • 创建项目 python demo 工程:
![](https://upload-images.jianshu.io/upload_images/208550-bd34d08e0c12cdeb.png)

Paste_Image.png
  1. client目录下的 main.py 实现了客户端用于发送数据并打印接收到 server
    端处理后的数据
  1. server 目录下的 main.py 实现了 server
    端用于接收客户端发送的数据,并对数据进行大写处理后返回给客户端
  2. example 包用于编写 proto 文件并生成 data 接口
  • 定义 gRPC 接口:

syntax = "proto3";
package example;
service FormatData {
  rpc DoFormat(Data) returns (Data){}
}
message Data {
  string text = 1;
}
  • 编译 protobuf:

$ python -m grpc_tools.protoc -I. –python_out=.
–grpc_python_out=. ./data.proto #在 example
目录中执行编译,会生成:data_pb2.py 与 data_pb2_grpc.py

  • 实现 server 端:

#! /usr/bin/env python
# -*- coding: utf-8 -*-
import grpc
import time
from concurrent import futures
from example import data_pb2, data_pb2_grpc

_ONE_DAY_IN_SECONDS = 60 * 60 * 24
_HOST = 'localhost'
_PORT = '8080'

class FormatData(data_pb2_grpc.FormatDataServicer):
    def DoFormat(self, request, context):
        str = request.text
        return data_pb2.Data(text=str.upper())

def serve():
    grpcServer = grpc.server(futures.ThreadPoolExecutor(max_workers=4))
    data_pb2_grpc.add_FormatDataServicer_to_server(FormatData(), grpcServer)
    grpcServer.add_insecure_port(_HOST + ':' + _PORT)
    grpcServer.start()
    try:
        while True:
            time.sleep(_ONE_DAY_IN_SECONDS)
    except KeyboardInterrupt:
        grpcServer.stop(0)

if __name__ == '__main__':
    serve()
  • 实现 client 端:

#! /usr/bin/env python
# -*- coding: utf-8 -*-
import grpc
from example import data_pb2, data_pb2_grpc

_HOST = 'localhost'
_PORT = '8080'

def run():
    conn = grpc.insecure_channel(_HOST + ':' + _PORT)
    client = data_pb2_grpc.FormatDataStub(channel=conn)
    response = client.DoFormat(data_pb2.Data(text='hello,world!'))
    print("received: " + response.text)

if __name__ == '__main__':
    run()
  • 执行验证结果:
  1. 先启动 server,之后再执行 client
  1. client 侧控制台如果打印的结果为:“received: HELLO,WORLD!” ,证明
    gRPC 接口定义成功

  • 交流可以加 QQ 群:397234385
  • 或者 QQ 扫码入群:

云顶娱乐平台 1

qq群.jpg

  • grpcio==1.4.0
  • grpcio-tools==1.4.0
  • xxx.proto 没错,只需要这么一个文件
  • 编译xxx.proto的命令

安装:

  1. 安装 protoc
    :Protoc下载地址,可以根据自己的系统下载相应的
    protoc,windows 用户统一下载 win32 版本。
  2. 配置 protoc 到系统的环境变量中,执行如下命令查看是否安装成功:

$ protoc –version
如果正常打印 libprotoc 的版本信息就表明 protoc 安装成功

  1. 安装 ProtoBuf 相关的 python 依赖库

$ pip install protobuf

rpc相关文档:

安装:

  1. gRPC 的安装:

$ pip install grpcio

  1. 安装 ProtoBuf 相关的 python 依赖库:

$ pip install protobuf

  1. 安装 python grpc 的 protobuf 编译工具:

$ pip install grpcio-tools

https://grpc.io/docs/quickstart/python.html
不过在教程里clone的那个项目实在是大,不确定哪些是需要的,经过测试后给出需要的:

使用

  1. 创建 demo python 工程
![](https://upload-images.jianshu.io/upload_images/208550-efc7e919daa289de.png)

Paste_Image.png
  1. 在 example 包中编写 person.proto

    syntax = "proto3";
    package example;
    
    message person {   
        int32 id = 1;
        string name = 2;
    }
    
    message all_person {    
        repeated person Per = 1;
    }
    
  2. 进入 demo 工程的 example 目录,使用 protoc 编译 person.proto

$ protoc –python_out=. person.proto
就会生成 person_pb2.py 文件

  1. 在 python 工程中使用 protobuf 进行序列化与反序列化
    main.py:

    #! /usr/bin/env python
    # -*- coding: utf-8 -*-
    from example import person_pb2
    
    # 为 all_person 填充数据
    pers = person_pb2.all_person()
    p1 = pers.Per.add()
    p1.id = 1
    p1.name = 'xieyanke'
    p2 = pers.Per.add()
    p2.id = 2
    p2.name = 'pythoner'
    
    # 对数据进行序列化
    data = pers.SerializeToString()
    
    # 对已经序列化的数据进行反序列化
    target = person_pb2.all_person()
    target.ParseFromString(data)
    print(target.Per[1].name)  #  打印第一个 person name 的值进行反序列化验证
    

  • 交流可以加 QQ 群:397234385
  • 或者 QQ 扫码入群:

云顶娱乐平台 1

qq群.jpg

编译protobuf文件:使用以下命令生成Python代码:

gRPC 简介:

gRPC 是一款高性能、开源的 RPC 框架,产自 Google,基于 ProtoBuf
序列化协议进行开发,支持多种语言(Golang、Python、Java等),本篇只介绍
Python 的 gRPC 使用。因为 gRPC 对 HTTP/2 协议的支持使其在 Android、IOS
等客户端后端服务的开发领域具有良好的前景。gRPC
提供了一种简单的方法来定义服务,同时客户端可以充分利用 HTTP/2 stream
的特性,从而有助于节省带宽、降低 TCP 的连接次数、节省CPU的使用等。

解决方法就是在greeter_server.py中(这个文件不知道请看上面的链接)加载django,大致如下:

ProtoBuf: 是一套完整的 IDL(接口描述语言),出自Google,基于 C++
进行的实现,开发人员可以根据 ProtoBuf
的语言规范生成多种编程语言(Golang、Python、Java
等)的接口代码,本篇只讲述 Python 的基础操作。据说 ProtoBuf
所生成的二进制文件在存储效率上比 XML 高 3~10 倍,并且处理性能高 1~2
个数量级,这也是选择 ProtoBuf 作为序列化方案的一个重要因素之一。

接口调用内容示例:

我既想用django的model又想用grpc该怎么办呢,django是一个服务,grpc是一个服务,直接暴力把grpc代码加入django是没办法使用models和views的。

https://grpc.io/docs/tutorials/basic/python.html

import os
from concurrent import futures

import grpc
import time

import bus_pb2
import bus_pb2_grpc

import django

os.environ.setdefault("DJANGO_SETTINGS_MODULE", "xxx.settings")

django.setup()

from enterprise.views import enterprise_list, add_enterprise

_ONE_DAY_IN_SECONDS = 60 * 60 * 24


class Greeter(bus_pb2_grpc.BusInfoServicer):
    def BusMethod(self, request, context):
        if request.method == 'e':
            response = enterprise_list(request)
            return bus_pb2.BusReply(data=response['data'], code=response['code'], message=response['msg'])
        elif request.method == 'a':
            response = add_enterprise(request)
            return bus_pb2.BusReply(message=response['msg'])
        return bus_pb2.BusReply(message='')


if __name__ == '__main__':
    server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))
    bus_pb2_grpc.add_BusInfoServicer_to_server(Greeter(), server)
    server.add_insecure_port('0.0.0.0:50051')
    server.start()
    try:
        while True:
            time.sleep(_ONE_DAY_IN_SECONDS)
    except KeyboardInterrupt:
        server.stop(0)

 


2.grpc的python
protobuf相关的编译工具

运行命令后会生成xxx_pb2.py 和
xxx_pb2_grpc.py两个文件,接下来重点来了(拍桌子)

 

在配置好grpc的xxx.proto之后要保证java那边的这个文件要一样(并不是全部,service开始需要完全相同)

 

python -m grpc_tools.protoc -I./protos –python_out=.
–grpc_python_out=. ./protos/xxx.proto

python3 -m
grpc_tools.protoc -I. –python_out=. –grpc_python_out=.
data.proto

这里解释一下,python(不解释) -m(也不解释)
grpc_tools.protoc(上面安装的三方)
-I./protos(标识当前目录下的protos文件夹,xxx.proto需要在这个文件夹中)
–python_out=.(当前目录生成输出文件)
–grpc_python_out=.(当前目录生成grpc文件)
./protos/xxx.proto(xxx.proto的相对路径)

pip install
grpcio-tools

初步尝试是在python脚本中与java对接接口,经常官方文档的一顿学习,成功调通了接口

 

最近在做微服务这一块,后端与java合作,自己是python的,所以考虑使用grpc,一点考虑是grpc是http2.0,另一点考虑是老大要求的:)

protobuf内容示例:

运行时只需要运行该脚本即可,django服务不必启用

1.grpc安装

注意:protobuf文件,为定义服务接口代码文件,这里是data.proto

 

3.protobuf相关python依赖库

 

 

 

 

需要安装的python包如下:

会生成:data_pb2.py
与 data_pb2_grpc.py

pip
install grpcio

pip install
protobuf

# -*- coding: utf-8 -*-
import grpc
import data_pb2,data_pb2_grpc

_HOST = 'localhost'
_PORT = '8080'

def run():
    conn = grpc.insecure_channel(_HOST + ':' + _PORT)
    client = data_pb2_grpc.gRPCStub(channel=conn)
    response = client.SayHello(data_pb2.HelloRequest(name='hello,world!'))
    print("received: " + response.text)

if __name__ == '__main__':
    run()

 

4.一些常见原型的生成python类的集合:

要调用RPC接口,python提供了一个框架grpc,这是google开源的

 

pip install
googleapis-common-protos

syntax = "proto3";
package grpcDemo;

message HelloRequest {
   string name = 1;
}

message HelloReply {
   string message = 1;
}


service gRPC {
  rpc SayHello (HelloRequest) returns (HelloReply) {}
}

data_pb2_grpc.py方法映射

data_pb2.py是服务接口映射

 

python3 -m
grpc_tools.protoc -I<目标路径目录> –python_out=.
–grpc_python_out=<目标文件所在目录路径>
<目标文件data.proto>