如果你想学习 scrapy 爬虫开发,或许它能帮到你 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
MichaelYin
V2EX    程序员

如果你想学习 scrapy 爬虫开发,或许它能帮到你

  •  2
     a href="Javascript:" Onclick="downVoteTopic(325560);" class="vote">
  •   MichaelYin 2016-12-06 10:18:15 +08:00 4853 次点击
    这是一个创建于 3238 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如果你想学习 scrapy 爬虫开发,或许它能帮到你

    大家好,我是 michael ,现在居住在水电之城宜昌,从事远程开发已经三年多了,主要用 python 进行爬虫开发,数据可视化工具开发。一直以来 python 社区并没有一份比较好的爬虫入门教程,免费的更少,所以我决定来试着解决这个痛点。

    这个项目包含

    1. 一份任务列表,这份任务列表包含了爬虫开发过程中的一些基本知识点,每一个任务都是一个小的测验,当你循序渐进的完成了这个任务列表中的任务时,你将有能力面对爬虫实际开发过程中一些更复杂的情况。这个任务列表的创意来自 codekata

    2. 一份爬虫开发过程中的注意事项和笔记,这些笔记能有效提高你的开发效率,还会介绍一些非常有用的工具

    项目已经托管在 github, 关于这个项目更多的信息请戳 这里

    19 条回复    2016-12-07 13:07:35 +08:00
    lakeview
        1
    lakeview  
       2016-12-06 10:33:39 +08:00
    谢谢,先看看
    fengxueshangu
        2
    fengxueshangu  
       2016-12-06 10:38:06 +08:00
    支持一下楼主,公司电脑不能 pip ,安装起来简直要了我老命
    pscl
        3
    pscl  
       2016-12-06 10:38:40 +08:00
    支持,先看看
    zhangchioulin
        4
    zhangchioulin  
       2016-12-06 10:48:00 +08:00
    支持支持
    KenGe
        5
    KenGe  
       2016-12-06 11:03:05 +08:00
    支持 我先看看 最近在学习
    GreatMartial
        6
    GreatMartial  
       2016-12-06 11:11:19 +08:00 via Android
    支持
    hebwjb
        7
    hebwjb  
       2016-12-06 11:34:51 +08:00
    支持
    cankoor
        8
    cankoor  
       2016-12-06 13:25:13 +08:00
    有心,支持!
    jingliang
        9
    jingliang  
       2016-12-06 13:41:31 +08:00
    chendajun
        10
    chendajun  
       2016-12-06 13:53:52 +08:00
    有心,兹磁!
    fhefh
        11
    fhefh  
       2016-12-06 14:00:08 +08:00
    先 mark
    songjiaxin2008
        12
    songjiaxin2008  
       2016-12-06 14:06:34 +08:00 via Android
    前几天直接学 scrapy 爬了下 javlibrary...这个库很强大,对于错误处理以及存储都很方便,就是感觉文档有的东西不是很新呀,都得自己踩完了才能发现,比如 log 库,以及包引入(contribe)。
    ammzen
        13
    ammzen  
       2016-12-06 14:42:09 +08:00
    @songjiaxin2008 分词搞错了,当成 javlibrary 这个库很强大,去搜了一下[掩面而逃(*/ω*)]
    zhanghaoteng
        14
    zhanghaoteng  
       2016-12-06 16:22:05 +08:00
    支持 lz ,感谢
    flyingghost
        15
    flyingghost  
       2016-12-06 18:07:29 +08:00
    @ammzen javlibrary 这个库很强大毫无破绽啊。
    publicAdmin
        16
    publicAdmin  
       2016-12-06 21:55:26 +08:00
    已 fork ,感谢,感谢!
    alexapollo
        17
    alexapollo  
       2016-12-06 22:26:39 +08:00
    @songjiaxin2008
    @flyingghost
    你们竟然在这里讨论这么神圣而不可侵犯的库
    blaxing
        18
    blaxing  
       2016-12-06 22:27:36 +08:00
    楼主有心了,谢谢您的付出。
    zypy333
        19
    zypy333  
       2016-12-07 13:07:35 +08:00
    @songjiaxin2008 我还以为是 java...学习了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2812 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 06:31 PVG 14:31 LAX 23:31 JFK 02:31
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86