请问自学 ElasticSearch 如何进阶 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
luozhiyun
V2EX    程序员

请问自学 ElasticSearch 如何进阶

  •  a href="Javascript:" Onclick="downVoteTopic(477025);" class="vote">
  •   luozhiyun 2018-08-05 15:15:23 +08:00 4263 次点击
    这是一个创建于 2629 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近我自己一直在学习 es,看了很多资料, 把官网的资料也看的差不多了.自己在公司的实操中,也利用 es 解决了一些问题, 例如,以前公司七八台服务器想看日志都是挨个拉下来看的, 现在我利用 ELK 在测试服务器中搭建了个 ELK 进行日志的收集,避免了很多日志的查找工作,但是我觉得这远远是不够的,想要像各位大神一样利用 es 做更多的事情该怎么去做呢?

    而且我觉得这种类似于数据库的操作没有练习的话是很难成长的,请问大家是如何进一步的学习的呢?

    15 条回复    2018-08-06 14:52:36 +08:00
    pathbox
        1
    pathbox  
       2018-08-05 15:48:36 +08:00 via iPhone
    document 看一遍其实不够
    my3157
        2
    my3157  
       2018-08-05 16:05:20 +08:00   3
    其实具体操作倒是可以不用 care, 比如怎么去 full text search , 怎么 term search 之类的, 不会了查文档就可以,

    依照楼主的思路, 主要应用在日志这块, 可以尝试如下:

    日志收集 ==> 一般用 filebeat 收集, logstash 解析为 结构化数据, 比如 nginx 日志, 解析出 status, byte send, url path, url refer

    日志查看以及搜索, 简单的分析 ==> kibana

    日志告警 ==> 对异常状态产生的日志发送告警信息, 可以在两个点做, logstash 处理日志的时, 可以执行个脚本发送告警, 或者用第三方工具, 用游标的方式监控特定 index, 符合条件就发送告警

    高级分析, 业务分析 ==> 写程序, 出报表, 和用 RDBMS 没区别, 查询方式 /数据源 变了而已

    优化 ==> 觉得最应该做的是 ES 集群的优化, 当日志的量特别大的时候, IO 不够, 查询慢, 集群脑裂等, 另外, 基于 ES 的日志体系数据链太长, filebeat --> mq(redis/kafka) --> logstash --> es --> toos (kibana/other),任何一个点出问题都会影响整个流程, 如何保证整个数据链的健壮以及容错性


    反而楼主问的: `而且我觉得这种类似于数据库的操作没有练习的话是很难成长的,请问大家是如何进一步的学习的呢?` 不太重要
    RqPS6rhmP3Nyn3Tm
        3
    RqPS6rhmP3Nyn3Tm  
       2018-08-05 17:13:15 +08:00 via iPhone
    Grafana 我觉得比 Kibana 好用一些,报警问题完美结局
    misaka19000
        4
    misaka19000  
       2018-08-05 17:31:35 +08:00 via Android
    学习!
    luozhiyun
        5
    luozhiyun  
    OP
       2018-08-05 18:42:41 +08:00 via iPhone
    @my3157 学习了
    luozhiyun
        6
    luozhiyun  
    OP
       2018-08-05 18:43:03 +08:00 via iPhone
    @pathbox document 反复的查了好多遍了额
    SimbaPeng
        7
    SimbaPeng  
       2018-08-05 22:13:55 +08:00
    学 Lucene
    owenliang
        8
    owenliang  
       2018-08-06 08:13:33 +08:00 via Android
    解决业务需求来磨练吧。。
    luozhiyun
        9
    luozhiyun  
    OP
       2018-08-06 09:14:36 +08:00 via iPhone
    @owenliang 没业务的,日志系统都是我自己要求做的
    shaohan0228
        10
    shaohan0228  
       2018-08-06 09:29:43 +08:00
    也是刚开始用 elasticsearch,但是仅限于搭建环境+日志收集+插件查询日志,然后就是照着 metricbeat 把一部分监控数据存储也迁移到了 elasticsearch。但是关于下一步就迷茫了
    WilliamYang
        11
    WilliamYang  
       2018-08-06 10:04:08 +08:00
    老实说,自学这个基本上很难进阶的,因为你没有实际的大量数据演练,除非在公司里应用,会学习得快很多
    luozhiyun
        12
    luozhiyun  
    OP
       2018-08-06 11:13:14 +08:00 via iPhone
    @WilliamYang 老铁,如果不会的话,没公司会让你去做的,也得不到训练,这是一个矛盾点
    smallpath
        13
    smallpath  
       2018-08-06 11:13:28 +08:00
    三周前发布的 Grafana 5.2 版本支持了 Elasticsearch 告警,不查详细日志的话没必要用 kibana 了
    luozhiyun
        14
    luozhiyun  
    OP
       2018-08-06 11:14:28 +08:00 via iPhone
    @smallpath 我去看看
    streamo
        15
    streamo  
       2018-08-06 14:52:36 +08:00
    @luozhiyun 没这么难,其他基础比较扎实的话可以找到相关工作的。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     6336 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 02:32 PVG 10:32 LAX 19:32 JFK 22:32
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86