Python Scrapy 的安装 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
allencode
V2EX    Python

Python Scrapy 的安装

  •  
  •   allencode 2016-03-09 10:03:15 +08:00 4378 次点击
    这是一个创建于 3502 天前的主题,其中的信息可能已经有所发展或是发生改变。

    怎么安装 Scrapy 要安装那么多依赖啊?而且动不动就安装报错,为什么不能直接 pip install Scrapy 一键搞定呢?各位有没有什么好的解决办法?

    26 条回复    2016-04-25 22:08:47 +08:00
    Tink
        1
    Tink  
    PRO
       2016-03-09 10:54:54 +08:00 via iPhone
    不能 pip install ?
    allencode
        2
    allencode  
    OP
       2016-03-09 11:06:50 +08:00
    @Tink 在 pip install 之前要安装四五个依赖吧,而且有几个很难安装。不过最后搞定了,直接去 github 上下载 scrapy 的源码解压, cd 进去,然后 python setup.py build,python setup.py install.搞定啦
    4641585
        3
    4641585  
       2016-03-09 12:59:57 +08:00
    为什么不能用 pip install ?

    项目网站首页最上面就是 pip install scrapy
    4641585     4
    4641585  
       2016-03-09 13:04:44 +08:00
    刚刚试了一下也没有出任何问题。。
    allencode
        5
    allencode  
    OP
       2016-03-09 13:05:13 +08:00
    @4641585 请问你只用匹配 install scrapy 就可以成功安装 scrapy 了吗?不用安装其他依赖?像 lxml , pywin32 ?
    9hills
        6
    9hills  
       2016-03-09 13:08:02 +08:00
    @allencode lz 是 windows ?

    要么折腾,要么换系统吧
    4641585
        7
    4641585  
       2016-03-09 13:17:39 +08:00
    @allencode
    好吧我用的不是 windows 。。
    CocoTaka
        8
    CocoTaka  
       2016-03-09 13:23:41 +08:00 via iPad
    用 easy_install
    xmwd
        9
    xmwd  
       2016-03-09 13:26:39 +08:00
    我用的 ubuntu15.10 ,使用 pip ,也得手动装 libffi 、 libxslt 和 libxml
    wenyu1001
        10
    wenyu1001  
       2016-03-09 13:29:53 +08:00
    弄个虚拟环境: virtualenv ( virtualenvwrapper )

    省的被其他环境(依赖)干扰。
    ctrainr
        11
    ctrainr  
       2016-03-09 13:35:31 +08:00
    主要是 lxml 难装
    simapple
        12
    simapple  
       2016-03-09 13:40:26 +08:00
    就是需要这么多依赖,只要不是 windows ,直接 pip 安装,缺少什么 lib 就安装什么

    其实 windows 下安装也没有那么难
    whatot
        13
    whatot  
       2016-03-09 13:42:58 +08:00
    Installing collected packages: zope.interface, Twisted, six, w3lib, queuelib, lxml, idna, pyasn1, pycparser, cffi, cryptography, pyOpenSSL, cssselect, pyasn1-modules, attrs, service-identity, scrapy
    Successfully installed Twisted-15.5.0 attrs-15.2.0 cffi-1.5.2 cryptography-1.2.3 cssselect-0.9.1 idna-2.0 lxml-3.5.0 pyOpenSSL-0.15.1 pyasn1-0.1.9 pyasn1-modules-0.0.8 pycparser-2.14 queuelib-1.4.2 scrapy-1.0.5 service-identity-16.0.0 six-1.10.0 w3lib-1.13.0 zope.interface-4.1.3

    不到 2 分钟装完了。依赖会自动解决吧
    jswh
        14
    jswh  
       2016-03-09 13:42:58 +08:00
    之前也是,在 vps 上 pip install 安装总是报错。最后发现是 vps 内存太小,编译各种 python-lxml 的时候内存爆了。用 apt-get 装了预编译包就好了。 23333
    Tink
        15
    Tink  
    PRO
       2016-03-09 14:14:30 +08:00 via iPhone
    为什么要用 windows 啊醉了
    yinzishao
        16
    yinzishao  
       2016-03-09 16:14:30 +08:00
    我用的是 ubuntu14.04 pip install 直接安装就可以了。并没有遇到什么问题。或者你贴出具体的问题代码,给大家解决一下?
    allencode
        17
    allencode  
    OP
       2016-03-09 16:49:06 +08:00 via Android
    @9hills 已经搞定了,谢谢你
    allencode
        18
    allencode  
    OP
       2016-03-09 16:49:19 +08:00 via Android
    @CocoTaka 搞定了,谢谢
    allencode
        19
    allencode  
    OP
       2016-03-09 16:49:34 +08:00 via Android
    @xmwd 搞定了,哈哈
    allencode
        20
    allencode  
    OP
       2016-03-09 16:49:46 +08:00 via Android
    @ctrainr 是的哦,不过后来搞定了
    allencode
        21
    allencode  
    OP
       2016-03-09 16:50:15 +08:00 via Android
    @yinzishao 我已经搞定了,只是安装过程感叹一下,哈哈
    allencode
        22
    allencode  
    OP
       2016-03-09 16:51:07 +08:00 via Android
    @Tink 实验室 台式机准备装优班图,笔记本装了许多软件,不敢轻易折腾
    allencode
        23
    allencode  
    OP
       2016-03-09 16:51:37 +08:00 via Android
    @whatot 这个好, 2333
    allencode
        24
    allencode  
    OP
       2016-03-09 16:51:47 +08:00 via Android
    @simapple 是的
    patrickstar
        25
    patrickstar  
       2016-03-09 19:15:26 +08:00
    我现在用 anaconda ,完全满足我用了,不过由于没有用到 scrapy 所以还没关注里面有没有这个,实在不想去折腾, pypi 上有些包没有直接 pip 安装的!
    moogle
        26
    moogle  
       2016-04-25 22:08:47 +08:00
    我这里有两个环境:
    python2 C:\Anaconda3\envs\python2
    root * C:\Anaconda3
    是不是我先 activate python2 后,然后再 pip install scrapy ?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     885 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 20:37 PVG 04:37 LAX 13:37 JFK 16:37
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86