有谁现在正在准备学 Hadoop 或 Spark? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sgtiaww
V2EX    Hadoop

有谁现在正在准备学 Hadoop 或 Spark?

  •  
  •   sgtiaww 2016-01-11 21:21:29 +08:00 6481 次点击
    这是一个创建于 3572 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我想尝试一下引导学习的方式,看看自己能不能教别人。并且我还想尝试梳理一下这方面知识脉络,根据初学者的反馈整理出来一份有用的资料放在网上。因为是尝试,所以并不知道效果会如何,但是我觉得只要学习了总会有进步,而且我也不收钱,只是要点反馈而已。

    大致形式是:

    1. 邮件沟通(不面基,不用 IM ,我应该只能在工作之余时间回邮件);
    2. 每周或双周出一项任务来完成,我会给出一些参考资料和任务指引;
    3. 有问题可以发邮件给我,但是不支持比如 “ Command not found ” 这种没营养的或者 Google 一下一大堆答案的问题;
    4. 学习形式会根据反馈和实践有微调。

    学习内容限于 Hadoop 和 Spark 的使用和原理,略微深入点的内容还可以,太深入的实现细节我觉得还没有到可以教别人的程度。

    我希望参与学习的人应该具有一定的计算机基础,至少会简单使用 Linux 吧,然后写代码基础不太弱就行了;计算机科班的学生最好了,不过我也不做这个限定。

    关于我,我是个数据处理相关方面的码农,这个方面工作几年了,应该算是入了门了吧。这个 V2EX 帐号是我新注册的,因为我想匿名搞这个事情,毕竟万一搞砸了 :D

    我觉得这种形式应该最适合于那种,想学习、有一定基础,但是没入门、没头绪的同学,其实很多方向都是稍微引导下入门了就好学了。不知道会不会有人感兴趣,所以我先发帖调查下,有人的话我再放邮箱。估计我也只能支持很少的人一起学,因为工作还挺忙,所以如果人多我会考虑回复顺序。

    第 1 条附言    2016-01-13 11:58:13 +08:00
    谢谢大家回复。

    因为我个人确实时间有限、能力有限,所以这个”引导计划“支持不了很多同学,实在是很抱歉。不过有时间的情况下我还是愿意帮忙的。我觉得楼上几位提议挺好,因此建了一个 GGroup: https://groups.google.com/d/forum/another-wonder-world ,欢迎大家加入,在这里讨论自己学习时遇到的问题。也欢迎各位大神在这里帮助大家,我自己也会回答力所能及的问题,并且发布引导计划里形成的资料。

    另外,我收到一位同学的邮件说大家可以形成互助小组,一起讨论学习,也挺好的。欢迎大家在邮件组里自由搭伙和讨论,另外 V2EX 也是个不错的平台。学习技术就怕兴趣和动力缺失,希望大家在互相帮助中保持动力满满。
    58 条回复    2016-01-13 13:03:22 +08:00
    sgtiaww
        1
    sgtiaww  
    OP
       2016-01-11 21:23:36 +08:00
    另外,学习内容限于 Hadoop 和 Spark 的使用和原理,略微深入点的内容还可以,太深入的实现细节我觉得还没有到可以教别人的程度。
    yzld2002
        2
    yzld2002  
       2016-01-11 21:39:17 +08:00 via iPad
    有意啊!日常使用 linux ,熟练使用 java
    billlee
        3
    billlee  
       2016-01-11 21:54:00 +08:00
    信息工程科班,有随机数学和一点机器学习的基础,现在公司产品刚部署了 hadoop, 正要学习怎么利用
    griffinqiu
        4
    griffinqiu  
       2016-01-11 22:00:53 +08:00 via iPhone
    有意哦, username@gmail
    billgreen1
        5
    billgreen1  
       2016-01-11 22:27:23 +08:00
    挺有意思的,我今天下午刚买了书。
    br00k
        6
    br00k  
       2016-01-11 22:32:52 +08:00
    有点兴趣。。。
    qinxi
        7
    qinxi  
       2016-01-11 22:34:07 +08:00
    有意+1 java 猿.linux 会一点
    lszxlong
        8
    lszxlong  
       2016-01-11 22:45:02 +08:00
    python 以及 php linux 会点.

    怎么联系
    sgtiaww
        9
    sgtiaww  
    OP
       2016-01-11 22:48:30 +08:00
    谢谢楼上四位同学支持 :D

    看各位都挺厉害的,也希望我能帮上忙吧。那第一周麻烦大家发邮件给我,简单介绍下自己的技术能力,和对 Hadoop 和 Spark 的了解程度,我计划在周六零点之前准备好第一周作业,希望不要加班跳票 :P

    我邮箱是 `echo c29nb29kdGhpc2lzYXdvbmRlcmZ1bHdvcmxkQGdtYWlsLmNvbQo= | base64 -d -`, linux 环境,那么后续我们就邮件沟通吧。

    如果我觉得写的任务、参考资料和指引还 OK ,我也会发布到这里来,也欢迎四位同学将来过来发表 solution 。
    sgtiaww
        10
    sgtiaww  
    OP
       2016-01-11 22:53:41 +08:00
    编辑完回复,已经变成七位同学了,开心。

    我感觉自己一个人精力有限,那就以我上一条回复截止报名吧,以免时间不够,承诺了大家却不能实现。

    请 @yzld2002 @billlee @griffinqiu @billgreen1 @br00k @qinxi @lszxlong 同学发邮件注明 ID 哦。
    yhf
        11
    yhf  
       2016-01-11 22:57:36 +08:00
    来迟了,非常想学:(
    wenbinwu
        12
    wenbinwu  
       2016-01-11 23:07:39 +08:00
    我想学习,还有机会吗
    Andy00
        13
    Andy00  
       2016-01-11 23:10:15 +08:00
    来晚了,就差十几分钟,做过 MapReduce 开发,但是还想学学 Spark ,大神求带
    sgtiaww
        14
    sgtiaww  
    OP
       2016-01-11 23:12:29 +08:00 via iPhone
    @yhf 谢谢谢谢,我确实有点担心业余时间不够用,毕竟还有工作,所以抱歉啦。如果我准备的材料大家觉得还不错,我也会同步到这里来,非常欢迎公开的讨论哈。
    kezonwong
        15
    kezonwong  
       2016-01-11 23:15:48 +08:00
    我也想学,平常使用 ubuntu 和 java ,由于项目需要在学 scala ,项目外时间比较充足,所以想趁这个机会学下 spark 相关的东西
    sgtiaww
        16
    sgtiaww  
    OP
       2016-01-11 23:39:48 +08:00 via iPhone
    谢谢大家,想学习当然有机会,立刻开始就可以啊。写代码的自学肯定不能差,我这个计划也只是起到互相监督和引导学习作用,我也梳理一下内容,达不到大神授课的层次啊 :D
    chenyuxiaodhr
        17
    chenyuxiaodhr  
       2016-01-11 23:49:09 +08:00
    来晚了,能不能先共享一些资料和学习计划(蹭课~
    LonelyWalker
        18
    LonelyWalker  
       2016-01-11 23:53:18 +08:00
    来晚了...之前看视频自学 hadoop ,看得头都大了,没人带真的难学,环境都得搭半天,然后对着视频操作,运行官方的统计单词的测试代码一直卡住不动,然后,就没有然后了...
    darluc
        19
    darluc  
       2016-01-12 00:29:49 +08:00
    我就想看看: end6MjUyQGdtYWlsLmNvbQo=
    ivanlw
        20
    ivanlw  
       2016-01-12 05:19:51 +08:00
    报个名
    hpan
        21
    hpan  
       2016-01-12 08:46:57 +08:00
    不错不错,没报上名的可以围观吗?
    yaoweilei
        22
    yaoweilei  
       2016-01-12 08:58:03 +08:00
    eWFvd2VpbGVpQGhvdG1haWwuY29t 没报上名围观
    loggerhead
        23
    loggerhead  
       2016-01-12 09:08:27 +08:00
    OS X 的 base64 命令有点不一样

    echo 'c29nb29kdGhpc2lzYXdvbmRlcmZ1bHdvcmxkQGdtYWlsLmNvbQo=' | base64 -D -
    staticor
        24
    staticor  
       2016-01-12 09:10:35 +08:00
    我也有兴趣参与, c3RhdGljb3JAbWUuY29tCg 目前刚在这个行业从事 1 年的时间. 对 Hadoop Spark 同感兴趣. Learning Spark 和 Hadoop the Definitive (4 th) 是我比较推荐的 2 本入门书
    jackysc
        25
    jackysc  
       2016-01-12 09:49:53 +08:00
    楼主 相关资料和内容能否发到 github 上让我们也学习下呢 谢谢
    希望能报上名

    echo cGFuLnlhbi5qYWNreXNjQGdtYWlsLmNvbQo= | base64 -d -
    jy02201949
        26
    jy02201949  
       2016-01-12 09:53:37 +08:00
    部门搭了 hadoop ,但不是我用,不过也打算学一下,保不齐哪天轮岗了。。。

    不过还没正式开始
    wh0syourda66y
        27
    wh0syourda66y  
       2016-01-12 10:58:38 +08:00
    学习 Hadoop+Spark 推荐一本好书《 OReilly.Advanced.Analytics.with.Spark.2015 》
    strahe
        28
    strahe  
       2016-01-12 11:13:28 +08:00
    邮件问一条答一条的话效率忒慢的,况且我估计问你的问题问 google 应该也没问题的,如果你愿意的话我建议你写个简单的教程吧,通俗易懂的那种。
    gzxultra
        29
    gzxultra  
       2016-01-12 11:24:29 +08:00
    正在做 spark 内存动态分配的本科毕设,谢谢指导!!!
    Mail: bXlnbGFkZmluZ2VyQGdtYWlsLmNvbQ==
    yangxiongwei
        30
    yangxiongwei  
       2016-01-12 11:34:08 +08:00
    来晚了,现在还来得及吗?

    个人时间不太多,怕跟不上进度。

    有问题能 email 咨询你吗? (问题不会是 Google 能简单就搜到的)
    aheadlead
        31
    aheadlead  
       2016-01-12 12:36:15 +08:00 via iPhone
    开个 maillist 如何
    chengcanmm77
        32
    chengcanmm77  
       2016-01-12 13:11:01 +08:00
    不错哦, [email protected]
    WeberXie
        33
    WeberXie  
       2016-01-12 13:14:56 +08:00
    bk201
        34
    bk201  
       2016-01-12 13:15:45 +08:00
    dGVzdDAxQGJrMjAxc2FtYS5ldS5vcmc=
    感觉有种既视感
    ivanchou
        35
    ivanchou  
       2016-01-12 13:27:56 +08:00 via Android
    接触过 Hadoop ,但对 spark 不太了解,有意
    enhscmFua0BnbWFpbC5jb20=
    Comdex
        36
    Comdex  
       2016-01-12 13:41:08 +08:00
    求带,wcomdex#foxmail.com
    delavior
        37
    delavior  
       2016-01-12 14:26:23 +08:00
    老司机带带我, ZGVsYXZpb3JAMTYzLmNvbQo=
    swolf119
        38
    swolf119  
       2016-01-12 15:42:45 +08:00
    来迟了 还来得及学么
    bWVAbG91c2FtYS5jb20K
    swolf119
        39
    swolf119  
       2016-01-12 15:43:21 +08:00
    我前阵子刚开始学 spark ,楼主希望能一起交流一下
    zonghua
        40
    zonghua  
       2016-01-12 15:45:45 +08:00
    其实最重要的还是数理统计的知识。
    hfpeng01
        41
    hfpeng01  
       2016-01-12 16:33:53 +08:00
    求围观,非常有兴趣,一直入不了大门,卡在门口学啊学
    cszhiyue
        42
    cszhiyue  
       2016-01-12 17:16:56 +08:00
    推荐可以去 GitHub 发一个 repos 。
    有问题也可以发 issue 交流。这样也不用 lz 一条条回复 @sgtiaww

    同样从事数据分析
    islandev
        43
    islandev  
       2016-01-12 17:42:01 +08:00
    有意,感觉可以将资料和作业弄到这块来
    a15819620038
        44
    a15819620038  
       2016-01-12 18:02:55 +08:00
    正在学习,我也来留个:

    emhhbmdoYWlwZW5nNDA0QGdtYWlsLmNvbQ==

    辛苦啦,谢谢。
    hunk
        45
    hunk  
       2016-01-12 20:11:00 +08:00
    或者一起整个 google group 交流?一堆一的,是否不太热闹?
    如何联系?
    sacuba
        46
    sacuba  
       2016-01-12 20:46:59 +08:00 via Android
    还能报名么,最近用 spark+ phoenix 处理数据,摸索前进中,官方回复邮件总在凌晨,一来一回就一天时间…
    Bryan0Z
        47
    Bryan0Z  
       2016-01-12 21:27:45 +08:00 via Android
    @staticor 感觉 Hadoop in Action 更适合
    sgtiaww
        48
    sgtiaww  
    OP
       2016-01-13 00:18:44 +08:00
    谢谢大家回复。

    因为我个人确实时间有限、能力有限,所以这个”引导计划“支持不了很多同学,实在是很抱歉。不过有时间的情况下我还是愿意帮忙的。我觉得楼上几位提议挺好,因此建了一个 GGroup: https://groups.google.com/d/forum/another-wonder-world ,欢迎大家加入,在这里讨论自己学习时遇到的问题。也欢迎各位大神在这里帮助大家,我自己也会回答力所能及的问题,并且发布引导计划里形成的资料。

    另外,我收到一位同学的邮件说大家可以形成互助小组,一起讨论学习,也挺好的。欢迎大家在邮件组里自由搭伙和讨论,另外 V2EX 也是个不错的平台。学习技术就怕兴趣和动力缺失,希望大家在互相帮助中保持动力满满。
    staticor
        49
    staticor  
       2016-01-13 00:41:59 +08:00
    @Bryan0Z 恩 一些优秀的书都该多涉及.
    xiyangyang
        50
    xiyangyang  
       2016-01-13 04:11:00 +08:00
    不错,正要学习,我也加入。 id: xiyangyang
    huifukejian
        51
    huifukejian  
       2016-01-13 09:19:30 +08:00
    搞个 qq 群啊,比邮件方便多了
    onlyshit
        52
    onlyshit  
       2016-01-13 09:22:22 +08:00
    YWxpdWh1aWJpbmFAZ21haWwuY29tCg== 留个邮箱
    shenchuanli
        53
    shenchuanli  
       2016-01-13 09:45:09 +08:00
    我想学呢,我熟悉 hadoop,,目前在学 spark , mahout. linux java 什么的,肯定没有问题。望多多指点啊
    frandy
        54
    frandy  
       2016-01-13 09:57:22 +08:00
    学习 spark 和 scala ,望搞个扣扣群或者
    mail:MzAzNzM0MDIzQHFxLmNvbQo=
    Bryan0Z
        55
    Bryan0Z  
       2016-01-13 11:49:57 +08:00 via Android
    建议楼主 append 中贴上 GGroup 地址
    sgtiaww
        56
    sgtiaww  
    OP
       2016-01-13 11:58:06 +08:00
    @Bryan0Z bingo
    crayygy
        57
    crayygy  
       2016-01-13 12:48:25 +08:00
    最近在准备一个实习,想学习一下 Hadoop
    crayygy
        58
    crayygy  
       2016-01-13 13:03:22 +08:00
    @crayygy Y3JheXlneUBnbWFpbC5jb20K
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4033 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 00:57 PVG 08:57 LAX 17:57 JFK 20:57
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86