毕业快两年了,从事大数据方面工作,现在很迷茫,求大佬指点 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
vowers
V2EX    职场话题

毕业快两年了,从事大数据方面工作,现在很迷茫,求大佬指点

  •  
  •   vowers 2018-09-27 16:33:27 +08:00 10446 次点击
    普通二本本科毕业,本来是信息安全专业,本来是很喜欢安全行业,但同样也热衷大数据,毕业还是先找到了大数据方面的工作(非北上广深)。

    现在对大数据平台有一定了解,自己搭建维过也护集群(主要是用 ambari 平台),对 Hadoop 平台、Hbase、redis、kafka ……都有用过但说不上熟悉,主要是用 spark 来处理分析一些数据,所以学习了 Scala,但还是主要用 python (本科阶段就在写所以顺手),有一定数据基础吧,毕竟大学里概率论、离散数学、信息论等等基础的数学理论还是凑合吧(信息安全专业的好处就是计算机相关课程都学了一遍,而且密码学所以数学也要求不低),有一段时间在做时间序列的预测分析等

    但是后来在公司里,自己大数据方面的技术就再没怎么长进了,大部分时间都在维护集群、写爬虫、写接口等等琐碎的事,曾经看过一篇 基于深度学习的城市网格人流预测 其实很想模仿学习一下,但一方面卡住了不知道自己从哪里入手,另一方面公司(小团队)琐碎事情太多也没办法专心搞,其实自己很是很想学习机器学习方面的,但也不知道怎么开始了。。。

    毕业快两年了,,,准备离职了,但是都不知道下一份工作该怎么办,安全相关早被我落下,大数据其实也没精通啥,啥都是了解但也没有哪个特别熟悉精通,感觉自己净写了一年多各种 python 爬虫接口什么的对 python 其实帮助也不大。。。

    各位大佬,我还是想从事大数据方面工作,很想去大公司里学习一下,发现自己真的技术太差了,不知道我下来该怎么走啊。。。实在有点烦了
    40 条回复    2018-10-08 10:00:53 +08:00
    listnodeptr
        1
    listnodeptr  
       2018-09-27 16:51:41 +08:00
    你可以考虑安全相关风控领域的招聘,做帐号安全数据分析风险建模之类的
    vowers
        2
    vowers  
    OP
       2018-09-27 16:56:29 +08:00
    @listnodeptr 谢谢,确实之前也关注安全方向的大数据,也挺有兴趣
    linghutf
        3
    linghutf  
       2018-09-27 16:56:35 +08:00
    觉得学不到东西就应该勇敢走
    wizardforcel
        4
    wizardforcel  
       2018-09-27 17:42:30 +08:00 via Android
    数据分析了解一下
    jbiao520
        5
    jbiao520  
       2018-09-27 17:47:53 +08:00
    把用过的技术都搞懂,实现原理,最佳实践,重要源码阅读。如果只是简单调用几个 api 肯定会很迷茫的,因为等于啥都不会
    vowers
        6
    vowers  
    OP
       2018-09-27 17:59:01 +08:00
    @linghutf 确实,公司团队小,没什么大佬能带着,准备离职了
    vowers
        7
    vowers  
    OP
       2018-09-27 17:59:42 +08:00
    @wizardforcel 就是在做数据分析方面工作,只是杂事太多
    vowers
        8
    vowers  
    OP
       2018-09-27 18:00:24 +08:00
    @jbiao520 谢谢,是真的用了很多但感觉自己还是啥都不会,这么一点明白了
    abmin521
        9
    abmin521  
       2018-09-27 18:01:49 +08:00
    这帖子好像也快月经了 不管哪个方向都要能深入
    s3040608090
        10
    s3040608090  
       2018-09-27 18:19:24 +08:00
    我也是本科学习统计学,时间序列之类的。出来做数据分析,结果现在整天都在用 python 做接口开发(因为公司小没有数据开发)。已经做了半年了,感觉机器学习都忘记光了。想再做一段时间辞职考研。
    vowers
        11
    vowers  
    OP
       2018-09-27 18:26:50 +08:00   1
    @s3040608090 有点后悔当初没考研,现在我是没勇气再坚持考研去了。。。
    vowers
        12
    vowers  
    OP
       2018-09-27 18:27:22 +08:00
    @abmin521 谢谢
    misaka19000
        13
    misaka19000  
       2018-09-27 18:28:06 +08:00 via Android
    啊。。。最近才开始看大数据相关内容的萌新瑟瑟发抖
    alfredsun
        14
    alfredsun  
       2018-09-27 19:01:11 +08:00
    @s3040608090 考研好有勇气
    godbmw
        15
    godbmw  
       2018-09-27 19:49:51 +08:00
    之前我在实验室帮老师做东西(大数据方便),基本靠自学.半年基本就是学各种 API,觉得学不到东西,就退出了.PS:现在钟情 web
    wizardforcel
        16
    wizardforcel  
       2018-09-27 20:35:31 +08:00
    @vowers 不是啊,你这是大数据开发,跟一般的后端没啥区别。跟数据分析差远了。
    vowers
        17
    vowers  
    OP
       2018-09-28 09:10:53 +08:00
    @wizardforcel 我是做分析的啊,一直在做人群画像和预测,只是其他杂事太多没办法也没人做只能也干着,,,
    Magic078
        18
    Magic078  
       2018-09-28 09:20:10 +08:00   1
    数据分析偏 SQL,数据开发偏实时计算,离线计算,数据挖掘偏算法,机器学习,数据平台偏 Hadoop
    vowers
        19
    vowers  
    OP
       2018-09-28 09:30:54 +08:00
    @Magic078 谢谢,,学习了
    enaxm
        20
    enaxm  
       2018-09-28 09:42:26 +08:00
    安全我认为可以放弃了,缺点有整体大环境不是很好、研究方向不成体系、工作内容较杂且只适合养老,帮你削减选择。
    hiddendeerer
        21
    hiddendeerer  
       2018-09-28 09:46:57 +08:00
    @godbmw 我是做 WEB 建站的,我还想着做安全大数据方面,感觉比较高端,工薪也好提,你这反而跟我倒着来了
    vowers
        22
    vowers  
    OP
       2018-09-28 09:48:41 +08:00
    @enaxm 也算是机缘巧合,毕业时候想着先找到哪方面工作就干哪方面了,有家很想去的安全团队没能过面,就开始干大数据了,虽然还是很喜欢大学时候瞎捣鼓安全方面,但既然做了这方面了应该不会再回头搞安全了
    vowers
        23
    vowers  
    OP
       2018-09-28 09:52:37 +08:00
    @hiddendeerer em。。。其实安全大数据方向挺有趣的,我也琢磨琢磨。不过 web 应该不会搞,顶多是个人兴趣
    anthow
        24
    anthow  
       2018-09-28 10:28:00 +08:00
    为什么我的关注点在毕业“快两年",不应该是两年多么~
    vowers
        25
    vowers  
    OP
       2018-09-28 10:45:23 +08:00
    @anthow 17 届毕业的啊。。。
    LxkLxkLxk
        26
    LxkLxkLxk  
       2018-09-28 14:08:04 +08:00
    @s3040608090 加油,明年一起考研!
    wqzjk393
        27
    wqzjk393  
       2018-09-29 15:18:43 +08:00
    1、集群搭建和调优,感觉需求大,但是感觉更像是运维
    2、爬虫方向,有不少公司有专门的爬虫工程师,需要很强的反反爬虫能力
    3、数据分析挖掘方向,就机器学习这些,需要很强的数学能力,最好考研
    wqzjk393
        28
    wqzjk393  
       2018-09-29 15:24:46 +08:00
    还有数据分析这个,我感觉这个方向的未来基本上不是成了产品经理,就是成立数据挖掘算法方向的工程师或者是数据产品研发方向的。纯数据分析估计没啥意思,我们公司基本上进来的分析工程师,但是内部培训都是往挖掘还有机器学习方向培养的。
    vowers
        29
    vowers  
    OP
       2018-09-29 17:04:59 +08:00
    @wqzjk393 谢谢,我也是觉得需要主要往数据挖局和机器学习方面研究可能会更好
    cirton
        30
    cirton  
       2018-09-29 17:44:07 +08:00
    建议楼主想好要做什么,然后就赶紧走。

    我接触大数据,也快四年了,做过集群部署和调优,写过接口,shell,java,python 都用,还做过 hive 的离线处理,kafka+spark 流实时处理等等,做这么多的后果就是最后一样都不精。

    当时没觉得怎样,后来出来找工作的时候就发现问题了。什么都了解,什么都不精,稍微问的深入一些,就不懂了。最后还被面试官评定为基础不好。。

    做技术还是要专注一些的好,反正我现在是后悔死了。
    vowers
        31
    vowers  
    OP
       2018-09-29 17:56:50 +08:00
    @cirton 我也是越来越感觉到了,会的东西不少,可基本都停留在会用,确实我也需要抓住一个方向深入了
    qq9808
        32
    qq9808  
       2018-09-30 09:51:01 +08:00
    我是 java 开发的,目前也在自学大数据呢,想转大数据
    BQsummer
        33
    BQsummer  
       2018-09-30 17:01:24 +08:00
    @vowers 面试都是要问底层的,这种东西不是说一个好公司,一个好项目就能学到的,都是得自己抽时间看源码看书的。
    brucewuio
        34
    brucewuio  
       2018-09-30 17:05:50 +08:00
    怎么说呢 看了很多相关的帖子 很多和楼主类似的情况 我只能说现在的大学,培训之类的都是为了满足社会,或者说国家需求而"教育", 不是真正的教育。

    我看了下 MIT 那些课程和教材 很是注重培养科学思维,只能说国情不一样。

    至于建议,我给不出什么,我就说说我自己的情况吧,我目前在写 java,大多数都是些业务逻辑,有小部分设计分布式,总体来说没什么难度,我感觉还挺舒服的,我自己下班就学学其他,比如 Go 写写我需要的东西,看看原理的书籍,很有趣。

    我觉得还是自己怎么看,毕竟很多东西不可兼得。
    vowers
        35
    vowers  
    OP
       2018-09-30 21:44:44 +08:00
    @brucewuio 谢谢 ,很有道理,不在于那条路好,就看我怎么活
    wjx1993
        36
    wjx1993  
       2018-10-01 18:24:52 +08:00 via Android
    和楼主经历的有点相似,楼主后面打算怎么办?顺便求指点迷津
    onyourroad
        37
    onyourroad  
       2018-10-02 08:01:55 +08:00
    那你不如考个好的学校研究生了。
    user919lx
        38
    user919lx  
       2018-10-05 04:59:34 +08:00
    @vowers

    我自己也是做大数据方面的工作,现在是一名数据工程师。我对未来的方向还是比较清晰的,我的目标就是深耕数据工程这个领域,不拘泥于技术(当然,主流技术是要学习的,只是不过分深究细节),把重点放在建立数据体系上,总的来说,就是让数据变得更易使用。

    首先推荐你看一篇文章,《数据工程师的崛起》,Airflow 的开发者写的,大数据文摘翻译。流传比较广,随便搜一下就有了。这篇文章对数据工程师的工作做了比较全面的总结,可以帮助你梳理一下数据工程的整体概况,对未来的方向会有更清晰的认识。

    然后如果找不到方向,建议学习一下数据仓库的相关知识。就我自己的经验来看,有数据仓库项目经验的工程师,在求职时真的非常有优势。很多公司都开始意识到数据仓库的重要性了,都想建数据仓库,但懂得怎么搞的人真的不多,能把大数据和传统数仓结合起来的人就更少了。这东西投入大,见效慢,风险高。我之前的公司,就有这种情况:大老板专门成立一个部门搞数据仓库,但搞了几个月都没什么产出,最后又解散掉了。

    另外,可以去买一本阿里数据部出的《大数据之路》看一下。这本书讲的东西都比较浅,但内容全面,数据工程涉及的方方面面都有提及,你完全可以选其中比较感兴趣的部分深入研究。

    如果打算在这个行业里继续发展,还是考虑到一线城市去,到有数据氛围的公司去。这些公司,一则对数据比较重视,使用的场景也多,相应地踩坑也多,有很多可以学习的相关经验。二则数据量大,种类丰富,需求多样,对你自己是挑战也是提升自我的机会。三则数据分析师比较优秀,你的工作的价值会得到体现(数据仓库建得再好,也得有人用才有意义)

    就我自己了解的情况来看。国内有名的大公司里面,阿里和美团在这方面应该是做得最好的公司了,他们有非常强大的工程和分析团队,还有自己开发的各种系统,满足方方面面的数据需求。
    godbmw
        39
    godbmw  
       2018-10-06 19:32:19 +08:00
    @enaxm 我是跟着兴趣走。而且是学生,所以不需要有考虑工资、待遇那么多的考量。
    qq9808
        40
    qq9808  
       2018-10-08 10:00:53 +08:00
    @user919lx 老哥 可以加个好友交流一下吗?我是做 java web 开发的 最近都在自学大数据想往这方面转 想向你学习一下
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1307 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 17:08 PVG 01:08 LAX 09:08 JFK 12:08
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86