服务器 CPU,内存占用不高,但是就是卡,有大佬知道如何排查吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wukaige
V2EX    服务器

服务器 CPU,内存占用不高,但是就是卡,有大佬知道如何排查吗?

  •  
  •   wukaige 2024-06-26 17:42:09 +08:00 2832 次点击
    这是一个创建于 490 天前的主题,其中的信息可能已经有所发展或是发生改变。

    登录 ssh 要好久,登录上去后,能感觉到明显的卡顿,例如打开 top 命令,都要 5s 多。

    第 1 条附言    2024-06-27 09:46:09 +08:00
    机器配置:4T MEM ,256 核 CPU

    目前放在机房,接入公网 IP ,中过一次挖矿病毒,那时候 CPU 占用直接 100%,但是现在这个情况,CPU 10% 都不到,就是卡。
    29 条回复    2024-07-06 10:41:42 +08:00
    swLoXtOtd89pGg8t
        1
    swLoXtOtd89pGg8t  
       2024-06-26 17:54:18 +08:00 via iPhone
    htop 看看磁盘
    swLoXtOtd89pGg8t
        2
    swLoXtOtd89pGg8t  
       2024-06-26 17:54:31 +08:00 via iPhone
    还有 cpu
    swLoXtOtd89pGg8t
        3
    swLoXtOtd89pGg8t  
       2024-06-26 17:55:53 +08:00 via iPhone
    如果是 ssh 本身卡,考虑延迟,如果是执行命令返回卡,应该是机器资源的问题
    wukaige
        4
    wukaige  
    OP
       2024-06-26 18:15:40 +08:00
    @NevadaLi

    不是延迟问题,CPU ,磁盘 IO ,MEM 都不高

    Avg[|||| 2.6%] Tasks: 420, 5993 thr, 2213 kthr; 0 runing
    Mem[||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 348G/3.92T] Load average: 9.26 6.69 6.77
    Swp[ 0K/0K] Uptime: 26 days, 22:46:20
    laonger
        5
    laonger  
       2024-06-26 18:33:03 +08:00
    随便找一个命令 用 time 计时看看?
    chendl111
        6
    chendl111  
       2024-06-26 18:58:14 +08:00 via Android
    yangliudi123
        7
    yangliudi123  
       2024-06-26 20:51:13 +08:00 via iPhone
    有大量 io 吗
    killva4624
        8
    killva4624  
       2024-06-27 00:06:23 +08:00 via iPhone
    看看你的 Shell 是不是用了太多插件之类。
    yzding
        9
    yzding  
       2024-06-27 00:06:28 +08:00 via iPhone
    你这个 cpu 负载不低了吧,排查看是不是中了挖矿木马
    ncisoft
        10
    ncisoft  
       2024-06-27 01:49:58 +08:00 via iPhone
    你这 load 不低了,几核的机器?
    另一个排查对象是 swap ,IO 高也会引发卡顿
    ETiV
        11
    ETiV  
       2024-06-27 03:34:29 +08:00 via iPhone
    pip 装个 glances ,用完卸载掉

    基本上打开看一会儿就会告诉你哪儿不对劲了
    ETiV
        12
    ETiV  
       2024-06-27 03:50:33 +08:00
    举个例子,如官方文档里的第一个图 https://glances.readthedocs.io/en/latest/quickstart.html
    屏幕下方会有 Warning or critical alerts 的提示,你根据提示自行处理即可
    Dragonish3600
        13
    Dragonish3600  
       2024-06-27 05:49:00 +08:00 via iPhone
    load 都 9 了……看看 cpu 占用吧
    old9
        14
    old9  
       2024-06-27 08:40:59 +08:00
    这单机 4T 内存,CPU 估计也得过两百个了?估计是 IO 问题
    ndl8788
        15
    ndl8788  
       2024-06-27 08:57:47 +08:00 via Android
    物理机还是云服务器?
    wukaige
        16
    wukaige  
    OP
       2024-06-27 09:29:02 +08:00
    @ndl8788

    放在机房的物理机
    wukaige
        17
    wukaige  
    OP
       2024-06-27 09:29:33 +08:00
    @yzding

    256 核,CPU 占用不到 10%
    wukaige
        18
    wukaige  
    OP
       2024-06-27 09:29:45 +08:00
    @ladypxy

    256 核,CPU 占用不到 10%
    wukaige
        19
    wukaige  
    OP
       2024-06-27 09:30:48 +08:00
    @laonger

    top 命令需要 3s
    wukaige
        20
    wukaige  
    OP
       2024-06-27 09:33:12 +08:00
    @yangliudi123

    也没有大量的 IO
    wukaige
        21
    wukaige  
    OP
       2024-06-27 09:34:01 +08:00
    @ETiV

    多谢,我试试看
    YOOHUU
        22
    YOOHUU  
       2024-06-27 11:00:16 +08:00
    cat /proc/pressure/* 看看?
    cbythe434
        23
    cbythe434  
       2024-06-27 11:16:32 +08:00
    《不高》
    virusdefender
        24
    virusdefender  
       2024-06-27 11:29:48 +08:00   1
    估计被挖矿了,有些会用 LD_PRELOAD 技术让你看不到真实的文件和 cpu 占用
    yzding
        25
    yzding  
       2024-06-27 12:36:33 +08:00   1
    ```
    ps -aux --sort=-%cpu | head -10
    ```
    再查下 top, ps 这些命令 md5 被修改没有
    wukaige
        26
    wukaige  
    OP
       2024-06-28 09:36:03 +08:00
    @DAPTX4869

    没有 pressure 文件夹, 系统是 redhat9
        27
    YOOHUU  
       2024-06-28 12:21:18 +08:00
    @wukaige #26 看来内核低于 4.20
    dode
        28
    dode  
       2024-07-02 20:53:37 +08:00
    试试物理访问屏幕键盘,命令是否卡顿
    zyq2280539
        29
    zyq2280539  
       2024-07-06 10:41:42 +08:00
    这个负载确实不低了,我的负载都是 0.3 ,0.6 ,0.4 ,
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1114 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 18:15 PVG 02:15 LAX 11:15 JFK 14:15
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86