新需求,要求所有 k8s 里的服务把日志都保存到本地磁盘 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
0987363
V2EX    Kubernetes

新需求,要求所有 k8s 里的服务把日志都保存到本地磁盘

  •  
  •   0987363 220 天前 3479 次点击
    这是一个创建于 220 天前的主题,其中的信息可能已经有所发展或是发生改变。
    18 条回复    2025-03-04 18:24:17 +08:00
    cctv6
        1
    cctv6  
       220 天前   5
    根据我的经验,90%不是日志服务器挂了,而是压根没打印。
    nxforce
        2
    nxforce  
       220 天前
    对日志服务器做远程备份啊。

    打本地快照也行。
    Jokesy
        3
    Jokesy  
       220 天前
    Pod 的日志默认都是在磁盘内部,/var/lib/docker/* 去可以找的到。
    idihs
        4
    idihs  
       220 天前
    bro, try a random LLM(large language model
    birdhk
        5
    birdhk  
       220 天前
    fluent-bit 、vector 这些日志收集组件不都可以直接收集 k8s 中的日志吗?收集到了想保存哪里就保存到哪里
    birdhk
        6
    birdhk  
       220 天前
    直接 fluent-bit 收集或 vector 收集然后直接写入到 es 不就行了,没啥问题
    runzhliu
        7
    runzhliu  
       220 天前
    k8s 节点也会挂,磁盘也可能有问题,光存本地肯定不行
    defunct9
        8
    defunct9  
       220 天前
    最近正在搞这个,用 ilogtail 吧,满足你的需求
    dbak
        9
    dbak  
       220 天前
    搞一个 nfs 网盘 挂载到容器/data/logs 下 把应用的日志都保存到这里 定期压缩归档
    cheng6563
        10
    cheng6563  
       220 天前
    看你怎么部署的,比如直接用 vector daemonset 把/var/log/pods/全收集就完了。
    yelog
        11
    yelog  
       220 天前
    直接 hostPath 落盘
    kd9yYw2RyhQwAwzn
        12
    kd9yYw2RyhQwAwzn  
       220 天前
    这种碰到 pod 漂移 日志翻看起来会很痛苦吧
    tairan2006
        13
    tairan2006  
       220 天前
    容器的 stdout 本来就保存在本地啊……
    set
        14
    set  
       220 天前
    @Jokesy #3 对的
    $ cp /var/lib/docker/* /root/
    报个 1 个月开发工时, 其后就可以摸鱼拿钱了
    oudemen
        15
    oudemen  
       220 天前
    存本地的话用 victorialogs 吧,兼容多种协议。也一天一个目录,方便归档和备份
    lff0305
        16
    lff0305  
       220 天前
    用 fluent bit ,protail 之类(一般都是装成 daemon set ),监控/var/lib/docker 下面的日志文件,转发到日志服务器。日志服务器可以用 Loki 或者 ES 或者其它什么现在选择很多;
    可以装在本地自己定期备份,或者装在云上,直接用各种高可用的存储。

    真要是不差钱可以直接用 datadog 或者 dynatrace 之类的服务,直接把日志发给他们,整个监控+日志查询+归档一条龙,可用性要比开源方案强的多,就是要很多
    Bromine0x23
        17
    Bromine0x23  
       220 天前
    那只能用 Filebeat 采集 /var/log/containers ,再同时输出到 ES 和本地文件了
    sampeng
        18
    sampeng  
       220 天前
    你本来就有个 agent 每台机器上进行采集日志啊。加一个 output 输出到 NFS 的盘上就好了啊。我们是云服务,所以一个 output 是 kafka 。kafka 分两个 output 一个 s3 一个 es 。也做过直接 agent 分两个 output ,一个直接往 nfs 上 backup 一份,一个给 es 。但其实。。99%的原因是压根没打日志。1%的可能是 es 有并发限制丢弃了,加个 kafka 就不会丢了。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2948 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 13:40 PVG 21:40 LAX 06:40 JFK 09:40
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86