看日志痛苦可能是你方法不对:推荐一款通用日志分析工具 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
compilelife
V2EX    分享创造

看日志痛苦可能是你方法不对:推荐一款通用日志分析工具

  •  2
     
  •   compilelife
    compilelife 2020-10-18 07:57:45 +08:00 5906 次点击
    这是一个创建于 1817 天前的主题,其中的信息可能已经有所发展或是发生改变。

    preview

    亮点特性:

    • 支持大文件秒开(macbook 2015 上 2.5G 文件 5s 内打开)
    • 时间线功能:日志再乱,思路清晰
    • 小窗过滤:双线程查问题
    • TAG 栏加持
    • 快速、轻量、内存占用少
    • 保存、打开工程:没有日志是看一天解决不了的,如果有,那就多看几天
    • 切割日志的合并打开(待开发)
    • 日志格式化高亮(待开发)
    • 智能分析(待开发)

    项目地址:gitee, github

    了解软件设计思路: https://zhuanlan.zhihu.com/p/212961205

    第 1 条附言    2020-10-19 16:37:44 +08:00
    为感谢大家的关注,发起一个“推荐得永久下载权利”的活动。

    目前下载权利是赞助者的特权: https://mianbaoduo.com/o/bread/aZeTkpc=

    现开启活动如下:

    1. 推荐 3 个以上赞助者;或 10 个以上好友参与 star 。将获得“永久下载权利”
    2. 请私信 [email protected] ,附上好友昵称
    3. 我将发送“永久下载权利”的地址到你的邮箱
    25 条回复    2020-11-10 11:55:15 +08:00
    CEBBCAT
        1
    CEBBCAT  
       2020-10-18 08:05:26 +08:00 via Android
    没想到还有这种工具,想了想倒也是,凭什么没有,有创造力!
    0o0O0o0O0o
        2
    0o0O0o0O0o  
       2020-10-18 08:38:22 +08:00 via iPhone
    日志格式化高亮(待开发)

    个人觉得强大的过滤和这个功能比较重要
    qiushaox
        3
    qiushaox  
       2020-10-18 08:40:37 +08:00 via iPhone
    对于我这种天天被日志折腾的人,这东西非常好
    compilelife
        4
    compilelife  
    OP
       2020-10-18 08:42:44 +08:00
    多谢大家让我知道方向是对的,做的东西对大家有用,才有动力继续开发
    ian511
        5
    ian511  
       2020-10-18 08:45:00 +08:00 via Android
    好东西 star 了,设计思路文档建议伴随后续需求开发一起更新分享一下,持续关注
    ivyliner
        6
    ivyliner  
       2020-10-18 08:59:22 +08:00
    @compilelife 我需要先把 log 文件下载到本地然后再使用这个工具来查看 ?
    compilelife
        7
    compilelife  
    OP
       2020-10-18 09:01:45 +08:00
    @ivyliner 嗯,是的。后面可以考虑加上远程文件的支持
    GaoGeYang
        8
    GaoGeYang  
       2020-10-18 11:30:01 +08:00
    star 了,希望能加上对远程文件的支持
    leafdream
        9
    leafdream  
       2020-10-18 12:09:06 +08:00
    lnav
    watzds
        10
    watzds  
       2020-10-18 12:14:26 +08:00 via Android
    不是 grep 等命令就行了吗?或者收集到日志平台
    hcsu
        11
    hcsu  
       2020-10-18 12:20:42 +08:00 via iPhone
    hhszl
        12
    hhszl  
       2020-10-18 13:45:00 +08:00
    很好的创意,已 Star,赞一个!
    micolore
        13
    micolore  
       2020-10-18 16:01:42 +08:00 via iPhone
    @watzds 小项目这样还行,用 awk 、sed 、grep 。大的肯定要 elk 了。
    compilelife
        14
    compilelife  
    OP
       2020-10-18 20:02:13 +08:00
    @micolore @watzds

    没错,是这样的。
    另外一个考虑是跨平台,让 windows 的同学 grep 下怕是没几个有环境的

    其实 vim 也有类似过滤窗(vimgrep),和时间线(mark 书签)的概念,但是,会用的也是少数。
    watzds
        15
    watzds  
       2020-10-18 22:39:27 +08:00 via Android
    @compilelife 基本没在本地处理过日志,都是 ssh 到线上或者日志平台上搜索
    watzds
        16
    watzds  
       2020-10-18 22:43:35 +08:00 via Android
    @micolore 多大算大呢,我一般还是 grep 或者阿里云日志,不会下载到本地处理。不过单服务最多也就十几台,单日志最多一两亿
    compilelife
        17
    compilelife  
    OP
       2020-10-19 09:11:18 +08:00   1
    @watzds 我们的场景(也是我的最初出发点)是这样的:

    我们是机顶盒设备,压力测试会产生较大日志(一般在几百 M,如果软件异常,可能会出现 1 ~ 2G 的情况)。

    机顶盒设备的软件是多进程架构,也就意味着,一旦压力测试时出错,需要理清纠缠各个模块的时序、先后逻辑。

    在看问题时,比如 ANR/CRASH,可以发现一些蛛丝马迹,但也只是线索,我们需要从线索推断问题原因。有时会出现在一份日志跟踪多个线索的情况。

    可以说,loginsight 是为这样的场景定制的。

    不过,推而广之,也是可以支持其他看日志的需求。

    对于 ssh 的远程日志,如果不需要复杂的分析、推理,直接 grep 某个关键字即可。如果需要,后期考虑支持打开 ssh 上的文件
    shunia
        18
    shunia  
       2020-10-19 09:48:49 +08:00
    可以,有用,希望做大做强
    Lemeng
        19
    Lemeng  
       2020-10-19 10:24:31 +08:00
    看日志确实痛苦,谢谢,辛苦了
    0o0O0o0O0o
        20
    0o0O0o0O0o  
       2020-10-19 20:49:37 +08:00 via iPhone
    附言的模式不错,RDM 这些软件也是这样。但第一点我觉得在技术社区很容易引发争议,建议楼主谨慎考虑。
    compilelife
        21
    compilelife  
    OP
       2020-10-19 22:36:31 +08:00
    @0o0O0o0O0o 所言极是。本意是想让大家积极参与帮助推广,让更多同学接触到这个软件,却有刷星之嫌。

    更正为:1. 推荐 3 个以上赞助者 。将获得“永久下载权利”

    如果的确有想要的同学,没满足条件也没关系,邮箱私信我即可~
    jackrebel
        22
    jackrebel  
       2020-10-22 16:22:53 +08:00
    如果有远程看的功能就好多了。 现在很不方便。
    ygtq
        23
    ygtq  
       2020-10-22 17:11:16 +08:00
    不是一般都是 es kibna 么
    jackrebel
        24
    jackrebel  
       2020-10-23 11:13:40 +08:00
    一个上 G 的日志文件, 要下载下来才能分析。。。 好苦。 快快加入远程功能。
    compilelife
        25
    compilelife  
    OP
       2020-11-10 11:55:15 +08:00
    近期准备开始支持远程功能。

    有需要的同学,欢迎来此讨论: https://github.com/compilelife/loginsight/issues/11
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1100 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 23:16 PVG 07:16 LAX 16:16 JFK 19:16
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86