求助最近使用 Redission 分布式锁遇到的坑 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
alexfarm
V2EX    Redis

求助最近使用 Redission 分布式锁遇到的坑

  •  
  •   alexfarm 2022-09-06 23:54:44 +08:00 2709 次点击
    这是一个创建于 1145 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现象描述

    最近一次上线使用了 Reentrant Lock ,上限次日早上 9 点迎来流量高峰,出现较多 RedisTimeoutExcpetion:Command execution timeout for command(EVAL)...(省略的部分是 lua 的加锁和解锁逻辑部分),几天观察下来,一般会在 9:00-9:15 期间自动恢复,后面再也没有任何该搞错出现,待凌晨迎来流量低谷,次日 9 点该现象会再次出现。 伴随着该报错,能观察到的是 redis 节点的 client connection 会在短暂上升后,迎来一个平台阶段,这个阶段报错最多,后快速上升达到一个数值,此时报错也自动恢复。 下面 client connection 的曲线和报错量曲线 client connection error

    使用版本

    redisson 2.9.2 redis 为哨兵模式,1 主 2 从 应用 8 个节点,redis client 配置的最大线程数 100 ,即加起来为 800 ,最小空闲线程数 20 ,图中初始的 300 多,是因为其他应用共用了该 redis 集群。

    翻了很多关于 redisson 类似问题,没有相似的,目前没有了排查头绪,求助一下。

    7 条回复    2022-09-07 09:55:32 +08:00
    ufan0
        1
    ufan0  
       2022-09-07 00:14:56 +08:00
    差点怀疑你是我的同事了,哈哈哈。

    有检查过内存使用情况吗?

    某个应用昨天出现了很多稀奇古怪的问题,后面发现是 Redis 内存爆了。
    alexfarm
        2
    alexfarm  
    OP
       2022-09-07 08:57:55 +08:00
    @ufan0 redis 集群的一些指标都看过了,cpu 、内存都正常,就是这个客户端连接数增长得有点可疑
    siweipancc
        3
    siweipancc  
       2022-09-07 09:24:17 +08:00 via iPhone
    我没这么用过的场景(写崩了?),上锁是否有等待获取锁时间,如果有的话可以调低一点。

    另一个不负责任的猜想:其他应用的客户端不支持非单机连接。
    alexfarm
        4
    alexfarm  
    OP
       2022-09-07 09:38:58 +08:00
    @siweipancc 一般 9:15 恢复之后,QPS 还是这么大,但不会报错了,感觉和等待获取锁时间这些关系不大,不然应该会一直报错
    siweipancc
        5
    siweipancc  
       2022-09-07 09:44:27 +08:00 via iPhone
    @alexfarm 把对面 ban 了试一个早上:D ,我这边崩过,结果是有人没释放锁跟监听器
    alexfarm
        6
    alexfarm  
    OP
       2022-09-07 09:50:12 +08:00
    @siweipancc 应该不是。。因为 share 资源的应用都是我们维护的,且还没到 redis 的配置的最大线程数啊
    siweipancc
        7
    siweipancc  
       2022-09-07 09:55:32 +08:00 via iPhone
    @alexfarm 一般这时候我们按数据库连接超时或者锁行来排查(隔壁用了个运维给的虚拟机,线程数是假的)
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2493 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 10:39 PVG 18:39 LAX 03:39 JFK 06:39
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86