原创

Skynet服务器框架(五) 使用pbc(protobuf)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://linsh-tech.blog.csdn.net/article/details/70186603

引言:

假如我们要建立的skynet服务器与客户端的连接方式为长连接,且选择了Google的Protobuf来定制我们的网络协议,那么,接下来我们要解决的问题就是:如何在skynet框架中使用socket+protobuf

API

几个常用的skynet接口:

*   输出错误信息:          skynet.error(...)
*   获取本地服务句柄方式:   skynet.localname(...)
*   设置定时器方式:        skynet.timeout(...)
*   skynet强制退出方式:    skyname.abort()
*   服务开始方式:          skynet.start(...)
*   服务注销方式:          skynet.exit()
*   发送原始文本消息方式:   skynet.core.send(...)

更多skynet.lua的API解析可以参考:skynet API:skynet.lua

protobuf在skynet中使用:

由于protobuf的lua版本的支持存在着部分缺陷,为了避免踩坑,这里我们直接使用云风博客中推荐的pbc动态proto解析库。

资源下载:

下载pbc:跟下载skynet源码一样,通过gitpbc的源码克隆到本地:

bogon:project linshuhe$ git clone https://github.com/cloudwu/pbc.git
Cloning into 'pbc'...
remote: Counting objects: 1156, done.
remote: Total 1156 (delta 0), reused 0 (delta 0), pack-reused 1156
Receiving objects: 100% (1156/1156), 302.95 KiB | 310.00 KiB/s, done.
Resolving deltas: 100% (682/682), done.
Checking connectivity... done.

编译并合入项目:

  • 项目编译:
    可以在pbc根目录下运行make指令编译项目:

    linsh@ubuntu:/application/pbc$ sudo make
    cd build && ar rc libpbc.a ../build/o/context.o ../build/o/varint.o ../build/o/array.o ../build/o/pattern.o ../build/o/register.o ../build/o/proto.o ../build/o/map.o ../build/o/alloc.o ../build/o/rmessage.o ../build/o/wmessage.o ../build/o/bootstrap.o ../build/o/stringpool.o ../build/o/decode.o
    cd build && gcc -O2 -fPIC -Wall -I.. -L. -o addressbook ../test/addressbook.c -lpbc
    cd build && gcc -O2 -fPIC -Wall -I.. -L. -o pattern ../test/pattern.c -lpbc
    cd build && gcc -O2 -fPIC -Wall -I.. -L. -o pbc ../test/pbc.c -lpbc
    cd build && gcc -O2 -fPIC -Wall -I.. -L. -o float ../test/float.c -lpbc
    cd build && gcc -O2 -fPIC -Wall -I.. -L. -o map ../test/map.c -lpbc
    cd build && gcc -O2 -fPIC -Wall -I.. -L. -o test ../test/test.c -lpbc
    cd build && gcc -O2 -fPIC -Wall -I.. -L. -o decode ../test/decode.c -lpbc
    protoc -obuild/addressbook.pb test/addressbook.proto
    protoc -obuild/descriptor.pb test/descriptor.proto
    protoc -obuild/float.pb test/float.proto
    protoc -obuild/test.pb test/test.proto
    

假如编译结果报错了:

make: protoc:命令未找到
make: *** [build/addressbook.pb] 错误 127

这是因为当前环境还没安装 protobuf,安装步骤如下:

  • 指令安装:

    sudo apt-get install protobuf-c-compiler protobuf-compiler
    
  • 查询版本验证完成:

    linsh@ubuntu:/application/pbc$ protoc --version
    libprotoc 2.5.0
    
  • 工具编译:
    用终端进入pbc项目pbc/binding/lua53目录下面编译出protobuf.so

    cd pbc/binding/lua
    sudo make
    

    编译成功的话,将protobuf.so放在config文件中lua_cpath项配置的目录下面,同时将protobuf.lua放在config文件lua_path配置的目录下,就可以调用protobuf中的库方法。我当前项目这两项的配置如下:

    lua_path = root.."lualib/?.lua;"..root.."lualib/?/init.lua"
    lua_cpath = root .. "luaclib/?.so"
    

    则移动文件命令可以如下:

    sudo cp protobuf.so /application/skynet/luaclib
    sudo cp protobuf.lua /application/skynet/lualib
    

编译报错:

  • pbc/binding/lua目录下编译,出现以下错误:

    linsh@ubuntu:/application/pbc/binding/lua$ sudo make
    gcc -O2 -fPIC -Wall -shared -o protobuf.so -I../.. -I/usr/local/include -L../../build pbc-lua.c -lpbc
    pbc-lua.c:4:17: fatal error: lua.h: 没有那个文件或目录
    #include "lua.h"
                    ^
    compilation terminated.
    make: *** [protobuf.so] 错误 1
    

报错原因: 这里因为没有安装 lua5.3,不能是lua5.2或是lua5.1等低版本,否则会报错。因为pbc用到了lua_rotate这是lua5.3新增的类型。
解决方案: 安装一下 lua5.3 即可解决,步骤如下:

  • lua官网下载lua5.3的安装包:
    lua-5.3.0.tar.gz
    也可以使用命令行下载工具 axel
    linsh@ubuntu:/application/pbc/binding$ sudo axel http://www.lua.org/ftp/lua-5.3.0.tar.gz
    初始化下载: http://www.lua.org/ftp/lua-5.3.0.tar.gz
    File size: 278045 bytes
    打开输出文件 lua-5.3.0.tar.gz
    开始下载
    
    [  0%]  .......... .......... .......... .......... ..........  [  53.8KB/s]
    [ 18%]  .......... .......... .......... .......... ..........  [  73.1KB/s]
    [ 36%]  .......... .......... .......... .......... ....
    连接 3 结束
            ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,......  [  96.9KB/s]
    [ 55%]  .......... .......... .......... .......... ..........  [  92.5KB/s]
    [ 73%]  .......... .......... .......... ......
    连接 0 结束
            ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,.... ........
    连接 1 结束
            ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,..  [  80.5KB/s]
    [ 92%]  .......... .......... .
    
    271.5 千字节 已下载,用时 6 秒。(43.52 千字节/秒)
    
  • 使用压缩包进行解压和安装:
    先将下载好的文件拷贝到usr/local/src目录下
    sudo cp lua-5.3.0.tar.gz /usr/local/src
    
    依次执行以下指令:
    sudo tar zxf lua-5.3.0.tar.gz
    cd lua-5.3.0/
    sudo make linux test
    
    创建软链接,是lua可以在当前环境下随处可用:
    sudo ln -s /usr/local/src/lua-5.3.0/src/lua  /usr/bin/lua
    
    测试一下软连接是否成功:
    linsh@ubuntu:/usr/local/src/lua-5.3.0/src$ lua
    程序 'lua' 已包含在下列软件包中:
    * lua5.2
    * lua5.1
    * lua50
    请尝试:sudo apt-get install <选定的软件包>
    
    我也出现过这个问题,最后查到原因是因为添加软链接时第一个地址(lua的安装地址)/usr/local/src/lua-5.3.0/src/lua被我写成了/usr/local/src/lua5.3.0/src/lua,解决问题和可以看到:
    linsh@ubuntu:/usr/bin$ lua
    Lua 5.3.0  Copyright (C) 1994-2015 Lua.org, PUC-Rio
    > 
    
  • 修改pbc/binding/lua/Makefile中lua库的地址配置信息LUADIR为当前lua安装的地址:
    LUADIR = /usr/local/src/lua-5.3.0/src
    
  • 再次运行编译指令,并查询当前目录下文件的变化:
    linsh@ubuntu:/application/pbc/binding/lua$ sudo make
    gcc -O2 -fPIC -Wall -shared -o protobuf.so -I../.. -I/usr/local/src/lua-5.3.0/src -L../../build pbc-lua.c -lpbc
    linsh@ubuntu:/application/pbc/binding/lua$ ls
    build_ios.sh  Makefile  parser.lua  pbc-lua.c  protobuf.lua  protobuf.so  README.md  test2.lua  test.lua  testparser.lua
    
    可以看到多出了一个protobuf.so输出文件。

测试:

  • 先在项目根目录下创建一个protos文件夹,用来存放协议文件,创建一个Person.proto协议文件,内容如下:
    sudo mkdir protos
    cd protos
    sudo vi Person.proto
    
    协议文件的内容如下:
    package cs;
    message Person {
     required string name = 1;
     required int32 id = 2;        // Unique ID number for this person.
     optional string email = 3;
     enum PhoneType {
       MOBILE = 0;
       HOME = 1;
       WORK = 2;
     }
     message PhoneNumber {
       required string number = 1;
       optional PhoneType type = 2 [default = HOME];
     }
     repeated PhoneNumber phone = 4;
    }
    
  • 将协议文件到处为.pb格式:
    linsh@ubuntu:/application/skynet/protos$ sudo protoc --descriptor_set_out Person.pb Person.proto
    linsh@ubuntu:/application/skynet/protos$ ls
    Person.pb  Person.proto
    
    目录下多出了一个对应的.pb文件。

在lua中注册对应的协议文件:

  • 引入protobuf.lua

    local pb = require "protobuf"
    
  • 注册.proto协议文件所对应的.pb文件,注册方法有两种:

    • 方法一:直接注册文件:
      pb.register_file "Person.pb"
      
    • 方法二:通过io读取文件,然后再获取文本内容进行注册:
      file = io.open("Person.pb","rb")
      buffer = file:read "*a"
      file:close()
      pb.register(buffer)
      
  • 通过 encodedecode 两个接口来实现编码和解码,完整测试脚本:

       local skynet = require "skynet"
       local protobuf = require "protobuf"
       
       skynet.start(function()
       	protobuf.register_file "./protos/Person.pb"
           skynet.error("注册协议文件:Person.pb")
           stringbuffer = protobuf.encode("cs.Person",
           {
       	    name = "linsh",
       	    id = 1,
       	})
           local data = protobuf.decode("cs.Person",stringbuffer)
           skynet.error("数据编码:name="..data.name..",id="..data.id)
       end)
     ```
    
    

假如注册的协议文件依赖其他协议文件,则依赖的协议文件需要优先注册,否则会出现 register fail 的报错

运行正确的结果:

[:0100000c] 注册协议文件:Person.pb
[:0100000c] 数据编码:name=linsh,id=1

除外,云风还自定义了一套协议格式sproto,据说比protobuf还要简单。

参考:

文章最后发布于: 2017-04-23 10:24:07
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 书香水墨 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览