当前位置：首页 > news >正文

day7 使用 Protobuf 通信

news 来源：原创 2024/9/19 10:10:59

文章目录

1 为什么要使用 protobuf
2 使用 protobuf 通信
总结

本文代码地址： https://gitee.com/lymgoforIT/gee-cache/tree/master/day7-proto-buf

本文是7天用Go从零实现分布式缓存GeeCache的第七篇。

为什么要使用 protobuf？
使用 protobuf 进行节点间通信，编码报文，提高效率。代码约50行

1 为什么要使用 protobuf

protobuf 即 Protocol Buffers，Google 开发的一种数据描述语言，是一种轻便高效的结构化数据存储格式，与语言、平台无关，可扩展可序列化。protobuf 以二进制方式存储，占用空间小。

protobuf 广泛地应用于远程过程调用(RPC) 的二进制传输，使用 protobuf 的目的非常简单，为了获得更高的性能。传输前使用 protobuf 编码，接收方再进行解码，可以显著地降低二进制传输的大小。另外一方面，protobuf 可非常适合传输结构化数据，便于通信字段的扩展。

使用 protobuf 一般分为以下 2 步：

按照 protobuf 的语法，在 .proto 文件中定义数据结构，并使用 protoc 生成 Go 代码（.proto 文件是跨平台的，还可以生成 C、Java 等其他源码文件）。
在项目代码中引用生成的Go代码。

2 使用 protobuf 通信

新建 package geecachepb，定义 geecachepb.proto

day7-proto-buf/geecache/geecachepb/geecachepb.proto

syntax = "proto3";package geecachepb;
option go_package = "./";message Request {string group = 1;string key = 2;
}message Response {bytes value = 1;
}service GroupCache {rpc Get(Request) returns (Response);
}

Request 包含 2 个字段， group 和 cache，这与我们之前定义的接口 /_geecache/<group>/<name> 所需的参数吻合。
Response 包含 1 个字段，bytes，类型为byte数组，与之前吻合。

生成 geecache.pb.go

$ protoc --go_out=. *.proto
$ ls
geecachepb.pb.go  geecachepb.proto

可以看到 geecachepb.pb.go 中有如下数据类型：

type Request struct {Group string   `protobuf:"bytes,1,opt,name=group,proto3" json:"group,omitempty"`Key   string   `protobuf:"bytes,2,opt,name=key,proto3" json:"key,omitempty"`...
}
type Response struct {Value []byte   `protobuf:"bytes,1,opt,name=value,proto3" json:"value,omitempty"`
}

接下来，修改 peers.go 中的 PeerGetter 接口，参数使用 geecachepb.pb.go 中的数据类型。

day7-proto-buf/geecache/peers.go

import pb "geecache/geecachepb"type PeerGetter interface {Get(in *pb.Request, out *pb.Response) error
}

最后，修改 geecache.go 和 http.go 中使用了 PeerGetter 接口的地方。

day7-proto-buf/geecache/geecache.go

import (// ...pb "geecache/geecachepb"
)func (g *Group) getFromPeer(peer PeerGetter, key string) (ByteView, error) {req := &pb.Request{Group: g.name,Key:   key,}res := &pb.Response{}err := peer.Get(req, res)if err != nil {return ByteView{}, err}return ByteView{b: res.Value}, nil
}

day7-proto-buf/geecache/http.go

import (// ...pb "geecache/geecachepb""github.com/golang/protobuf/proto"
)func (p *HTTPPool) ServeHTTP(w http.ResponseWriter, r *http.Request) {// ...// Write the value to the response body as a proto message.body, err := proto.Marshal(&pb.Response{Value: view.ByteSlice()})if err != nil {http.Error(w, err.Error(), http.StatusInternalServerError)return}w.Header().Set("Content-Type", "application/octet-stream")w.Write(body)
}func (h *httpGetter) Get(in *pb.Request, out *pb.Response) error {u := fmt.Sprintf("%v/%v/%v",h.baseURL,url.QueryEscape(in.GetGroup()),url.QueryEscape(in.GetKey()),)res, err := http.Get(u)// ...if err = proto.Unmarshal(bytes, out); err != nil {return fmt.Errorf("decoding response body: %v", err)}return nil
}