搞 PHP 的,公司需要搞了 ELK,没人带,迷茫了,我该干点啥? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
snailsir
V2EX    程序员

搞 PHP 的,公司需要搞了 ELK,没人带,迷茫了,我该干点啥?

  •  
  •   snailsir 2015-06-09 11:22:10 +08:00 7190 次点击
    这是一个创建于 3784 天前的主题,其中的信息可能已经有所发展或是发生改变。

    搞php的,现因公司需要整天用 ELK 做一些数据统计工作,很枯燥,有时很闲(不知干啥,没人带(就我一个),领导只是说了大致要干什么(其实也没想好怎么用),剩下的就是自己摸索),感觉失去了为之奋斗的动力了。

    对 ELK 的应用前景不是很了解(现在感觉就是做日志分析,整天分析,很枯燥),不知道有什么个人发展前景。

    情况大致是这样的:

    1. 摸索了着搞了一个收集网站用户访问信息的统计环境,学了实践了这篇文章 网站统计中的数据收集原理及实现

    2. 用 ELK 对 [1] 收集的数据进行分析,为运营那边提供一些数据

    3. 重复 [2]

    4. 现在又有需要说用 E 的api在我们自己的后台做一个类似 K 的功能,看了一部分 E 的API,晕了。 还有需要说将 K 分析的数据存到数据库中(调用API啥的),便于后台统计功能的使用,更晕了。但我总感觉没有这个必要。

    暂时想到的就这些,希望有人指点一二

    10 条回复    2015-06-09 19:42:43 +08:00
    server
        1
    server  
       2015-06-09 12:24:29 +08:00   1
    我现在在做这个了。网站统计 piwik 很成熟,可以参考。
    下面是扯淡的话
    1. 量力而行。
    2. what do u want。
    3. 你做php时间不长,主要想做的方向 在 用php(含各种框架)写项目 增长php的经验,对于非php的有抵触。
    likuku
        2
    likuku  
       2015-06-09 12:37:17 +08:00   1
    数据分析,数据挖掘,这可是大金矿啊(金融行业,金融相关行业等)...比纯写码的前途光明太多了...
    snailsir
        3
    snailsir  
    OP
       2015-06-09 13:53:24 +08:00
    @server 嗯, 首先要谢谢你,

    [3] 说到心里去了,现在即便在弄 ELK,对自身的发展也不知道会有什么帮助,该往哪里走?又该怎么走?

    [2] 是个关键问题。毕业那会儿,想着做 C 开发,碰了一些壁后,便做了 php。现在想换其他的似乎也没当初那个年龄了,便就做 php 吧。听过一句话,意思是不管你的选择如何,只要你能随心所欲的实现自己所想的东西便就够了。而这便是我如今奋斗的目标吧。

    的确做php不算太久(近1年),也还在学习中,总感觉 ELK 和 php 牵扯不大,又鉴于以上的两点及自身下一步的打算,现今便对 ELK 有些抵触。
    snailsir
        4
    snailsir  
    OP
       2015-06-09 13:58:59 +08:00
    @likuku 我之前也听说过数据分析、数据挖掘,也曾有些兴趣,但那时了解到的是 R 语言和微博上 @梁斌penny (感觉是用 C 语言)研究的东西,却没有听过 ELK(现在工作后,领到说用这个,才开始了解)
    fxxkgw
        5
    fxxkgw  
       2015-06-09 14:08:56 +08:00   1
    ELK是elasticsearch+logstash+kibana是吧
    logstash负责收集日志
    elasticsearch负责存储
    kibana负责展示
    两面两个是Java做的
    ELK总体来说很成熟了,只要数据量不是特别大,网上的例子拿来就可以用了,也可以在logstash和elasticsearch之间用redis过度
    搜索下 三斗室 ELK大牛
    kobiwxl
        6
    kobiwxl  
       2015-06-09 14:58:41 +08:00
    学白 多大个事
    snailsir
        7
    snailsir  
    OP
       2015-06-09 15:28:06 +08:00
    @kobiwxl 这样的话,这世上就没什么事了
    snailsir
        8
    snailsir  
    OP
       2015-06-09 15:35:02 +08:00   1
    @fxxkgw 对,ELK是elasticsearch+logstash+kibana。谢谢提供的资源。对了,有只用 E 和 L 的案例吗?现在领导有种想法,只用 E + L + php
    fxxkgw
        9
    fxxkgw  
       2015-06-09 17:19:19 +08:00
    @snailsir ELK案例网上太多了,基本的安装配置都有
    http://www.cnblogs.com/yjf512/p/4194012.html
    不过要根据你的日志类型对logstash的配置文件做相应处理 比如增加一些split grok等 这样得出的数据才更直观
    我个人觉得kibana已经做得非常不过了,整个展现非常大气直观,如果非要用PHP自己重构的话,感觉你领导有点没事找事了。。你可以搭建一个ELK给领导展示下kibana的效果 相信他一定会打消重构想法
    snailsir
        10
    snailsir  
    OP
       2015-06-09 19:42:43 +08:00
    @fxxkgw 嗯,现在我们的 ELK 环境已经搭好并使用了,根据记录的日志基本的数据也有了,但是这中间要提供一些数据给运营那边的人员,领导有一种考虑是运营人员不会使用 kibana(比如有些精确数据的检索,会调整一些 aggregations 条件(我不知道有没有其他方法)),然后就想着是不是可以用 php 在我们自己的后台搞一个。

    而我呢,一是刚开始接触 ELK,二是不太懂得拒绝,所以有些东西,感觉上没问题,便就会答应,但做的的时候便会发现自己掉进一个坑里去了。哎。。

    所以现在如果继续搞这个 ELK 的话,基本的情况就是

    1. ELK 已经搭建好并使用了

    2. 自己摸索着搞的一套用于统计网站信息的东西也弄好了

    3. 相关日志数据也已经有了

    4. 剩下的便是用 kibana 分析数据了,而这一点,对我来讲没什么问题,但是运营那边的人员就不一定了,而且有些数据还得进一步加工。而现在的流程基本上就是我将数据弄出来,发给运营那边

    5. 还有就是你说的用 php 重构了,我看了一些 E 的 restfull API,光构建查询请求体就我把绕晕了,又没人带,自己一个瞎摸索(小公司,其他人都在做网站的一些业务开发,比较忙,而我这边基本上没什么事,弄好了给领导看下,同时提供运营那边的数据就行,感觉很不爽)

    大致就这些吧。。。。瞧。我这说哪去了。。哎。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2543 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 10:33 PVG 18:33 LAX 03:33 JFK 06:33
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86