支持远端日志解析了 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
MagicCoder
V2EX    程序员

支持远端日志解析了

  •  
  •   MagicCoder 5 天前 1106 次点击

    前言

    NginxPulse日志分析工具开源一周以来,有很多开发者反馈说还存在一个痛点:真实业务中使用的时候,日志文件是放在生产服务器上或者放在某个存储桶里,不太方便部署我这套解析服务,希望增加远端日志的解析。

    花了点时间开发和测试,终于把这个功能做出来了,目前支持三种接入方式:

    • HTTP 服务暴露日志(自己部署或用 Nginx/Apache )
    • SFTP 直连拉取(无需额外 HTTP 服务)
    • 对象存储( S3/OSS )(上传/归档到对象存储)

    还做了另一个实时推送的方案,适合内网/边缘节点场景,通过独立进程实时推送日志行。

    具体的使用教程,请移步文档:远端日志支持( sources )

    项目地址

    image-20260119234009505

    写在最后

    至此,文章就分享完毕了。

    我是神奇的程序员,一位前端开发工程师。

    如果你对我感兴趣,请移步我的个人网站,进一步了解。

    2 条回复    2026-01-20 11:21:11 +08:00
    zhuccc
        1
    zhuccc  
       4 天前
    HTTP 服暴露日 模式一直失、有有混合本地端和端的 docker-compose.yanl 例?
    端 拿掉 logpath 都出
    读取配置文件失败: 以下网站的日志文件不存在:
    - '分路' (缺少日志文件路径配置)

    请修正配置问题后重新启动服务

    WEBSITES: '[{"name":"Default","logPath":"/share/log/nginx/access.log","domains":["Default"]},{"name":"分路","source":{"id":"http-main","type":"http","mode":"poll","url":"http://192.168.12.20/logs/access.log","rangePolicy":"auto","pollInterval":"10s"},"domains":["Default"]}]'
    MagicCoder
        2
    MagicCoder  
    OP
       4 天前
    @zhuccc 我晚点补充个样例
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     931 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 21ms UTC 19:57 PVG 03:57 LAX 11:57 JFK 14:57
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86