[开源] gev: Go 实现基于 Reactor 模式的非阻塞 TCP 网络库 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
xuxu555
V2EX    分享创造

[开源] gev: Go 实现基于 Reactor 模式的非阻塞 TCP 网络库

  •  3
     
  •   xuxu555
    Allenxuxu 2019-09-20 09:01:25 +08:00 5607 次点击
    这是一个创建于 2221 天前的主题,其中的信息可能已经有所发展或是发生改变。

    gev 轻量、快速的 Golang 网络库

    https://github.com/Allenxuxu/gev

    gev 是一个轻量、快速的基于 Reactor 模式的非阻塞 TCP 网络库,底层并不使用 golang net 库,而是使用 epoll 和 kqueue,因此它并不支持 Windows。

    为什么有 gev

    Golang 的 goroutine 虽然非常轻量,但是每启动一个 goroutine 仍需要 4k 左右的内存。读了鸟窝大佬的文章 [百万 Go TCP 连接的思考: epoll 方式减少资源占用] 后,便去研究了了下 evio

    evio 虽然非常快,但是仍然存在一些问题,便尝试去优化它,于是有了 eviop 项目。关于 evio 的问题可以看我的另一篇博文 [Golang 网络库 evio 一些问题 /bug 和思考] 。在优化 evio 完成 eviop 的过程中,因为其网络模型的缘故,愈加感觉修改它非常麻烦,成本比重新搞一个还高。

    最终决定自己重搞一个,更加轻量,不需要的全去掉。加上大学时学习过 muduo ,便参考 muduo 的使用的 Reactor 模型实现 gev。

    在 linux 环境下,gev 底层使用 epoll,这是 gev 会专注优化的地方。在 mac 下底层使用 kqueue,可能不会过多关注这部分的优化,毕竟很少有用 mac 做服务器的( Windows 环境"暂"不支持)。

    特点

    • 基于 epoll 和 kqueue 实现的高性能事件循环
    • 支持多核多线程
    • 动态扩容 Ring Buffer 实现的读写缓冲区
    • 异步读写
    • SO_REUSEPORT 端口重用支持

    网络模型

    gev 只使用极少的 goroutine, 一个 goroutine 负责监听客户端连接,其他 goroutine ( work 协程)负责处理已连接客户端的读写事件,work 协程数量可以配置,默认与运行主机 CPU 数量相同。

    image.png

    性能测试

    测试环境 Ubuntu18.04

    和同类库的简单性能比较, 压测方式与 evio 项目相同。

    • gnet
    • eviop
    • evio
    • net (标准库)

    限制 GOMAXPROCS=1,1 个 work 协程

    image.png

    限制 GOMAXPROCS=1,4 个 work 协程

    image.png

    限制 GOMAXPROCS=4,4 个 work 协程

    image.png

    安装

    go get -u github.com/Allenxuxu/gev 

    示例

    package main import ( "flag" "strconv" "log" "github.com/Allenxuxu/gev" "github.com/Allenxuxu/gev/connection" "github.com/Allenxuxu/ringbuffer" ) type example struct{} func (s *example) OnConnect(c *connection.Connection) { log.Println(" OnConnect: ", c.PeerAddr()) } func (s *example) OnMessage(c *connection.Connection, buffer *ringbuffer.RingBuffer) (out []byte) { //log.Println("OnMessage") first, end := buffer.PeekAll() out = first if len(end) > 0 { out = append(out, end...) } buffer.RetrieveAll() return } func (s *example) OnClose() { log.Println("OnClose") } func main() { handler := new(example) var port int var loops int flag.IntVar(&port, "port", 1833, "server port") flag.IntVar(&loops, "loops", -1, "num loops") flag.Parse() s, err := gev.NewServer(handler, gev.Network("tcp"), gev.Address(":"+strconv.Itoa(port)), gev.NumLoops(loops)) if err != nil { panic(err) } s.Start() } 

    参考

    本项目受 evio 启发,参考 muduo 实现。

    相关文章

    14 条回复    2019-09-20 18:44:32 +08:00
    Leigg
        1
    Leigg  
       2019-09-20 09:15:22 +08:00 via Android   1
    点赞!!
    xuxu555
        2
    xuxu555  
    OP
       2019-09-20 09:22:49 +08:00
    @Leigg 感谢支持!!
    Thoxvi
        3
    Thoxvi  
       2019-09-20 09:24:28 +08:00 via Android
    马一下,刚好在学 Go,过几天观摩一下源码
    caskeep
        4
    caskeep  
       2019-09-20 10:08:55 +08:00 via iPhone
    有兴趣 mark 了
    deathscythe
        5
    deathscythe  
       2019-09-20 10:30:19 +08:00
    点 star 为敬
    dabaibai
        6
    dabaibai  
       2019-09-20 10:49:05 +08:00
    想折腾是不是直接用 C 写网络底层更好呢.然后套进 golang 去用
    iPhoneXI
        7
    iPhoneXI  
       2019-09-20 11:45:41 +08:00 via Android
    https://taohuawu.club/go-event-loop-networking-library-gnet

    看到一个 gnet 项目,有点像
    xuxu555
        8
    xuxu555  
    OP
       2019-09-20 11:49:43 +08:00
    @iPhoneXI 他这个就是 借鉴 的我的 [eviop]( https://github.com/Allenxuxu/eviop),gev 的性能对比里也和 gnet 对比了
    xuxu555
        9
    xuxu555  
    OP
       2019-09-20 11:50:51 +08:00
    @dabaibai Go 也提供操作 epoll 的系统 API 啊
    xuxu555
        10
    xuxu555  
    OP
       2019-09-20 11:52:36 +08:00
    @iPhoneXI gnet 目录结构和文件名都和 eviop 一样
    Cyron
        11
    Cyron  
       2019-09-20 11:56:54 +08:00
    牛逼
    cancer0704
        12
    cancer0704  
       2019-09-20 15:37:29 +08:00
    star
    keepeye
        13
    keepeye  
       2019-09-20 15:57:13 +08:00
    666
    xuxu555
        14
    xuxu555  
    OP
       2019-09-20 18:44:32 +08:00
    @Cyron 头像
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2207 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 16:03 PVG 00:03 LAX 09:03 JFK 12:03
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86