Python 安装一个 Scrapy 快疯了,一个下午没了 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
musclepanda
V2EX    Python

Python 安装一个 Scrapy 快疯了,一个下午没了

  •  
  •   musclepanda 2018-07-09 18:37:25 +08:00 7801 次点击
    这是一个创建于 2657 天前的主题,其中的信息可能已经有所发展或是发生改变。
    哎,新手想学习 scrapy,结果一个下午都耗费在安装上了
    先是在 pycharm 里面直接安装,提示安装不了,也不知道啥原因,一堆红字

    然后跑去下载了一个 Anaconda3,几百兆大小,下载好了之后,按照官方的教程
    conda install -c scrapinghub scrapy

    结果提示 conda 不存在,又去折腾设置环境变量,conda 能用了,scrapy 安装上也能用了

    用 cmd 玩了记下命令行的 scrapy 正常

    又跑回去 pycharm,结果 import scrapy 出错,提示 No module named 'scrapy'

    网上一堆百度 google,找到个设置 run 选项的,
    https://blog.csdn.net/l1336037686/article/details/78471856

    哎,还是不行,差不多快放弃了。。

    求 v 友安慰
    72 条回复    2018-07-20 15:43:51 +08:00
    xuegj1010
        1
    xuegj1010  
       2018-07-09 18:39:08 +08:00 via Android   4
    哈哈,不好意思,没忍住
    xuegj1010
        2
    xuegj1010  
       2018-07-09 18:43:05 +08:00 via Android
    在 pycharm 里面设置一下环境指向 anaconda 里面的 Python 就可以在 pycharm 中用你在 anaconda 里面装的 scrapy 了
    just1
        3
    just1  
       2018-07-09 18:46:52 +08:00
    你可以直接搜索如何安装 scrapy...
    或者看文档
    然后看看红字是什么,看不懂可以翻译嘛
    xuegj1010
        4
    xuegj1010  
       2018-07-09 18:46:53 +08:00 via Android
    折腾是正常的,想当年刚学 Python 就装了 Ubuntu,还各种扩展 Vim,系统不知道重装了多少次,差点就砸电脑了。
    riggzh
        5
    riggzh  
       2018-07-09 18:49:03 +08:00 via iPhone
    我为啥 pip install scrapy 就可以了
    musclepanda
        6
    musclepanda  
    OP
       2018-07-09 18:52:15 +08:00
    @xuegj1010 一句话点通我了。。pycharm 用的也不熟,不过设置了下环境,可以了,谢谢*1024
    est
        7
    est  
       2018-07-09 18:52:35 +08:00   4
    装不上主要是网络差。。网络差主要原因是。。。。

    拒绝反动脚本语言从我做起,支持国产中文编程。
    musclepanda
        8
    musclepanda  
    OP
       2018-07-09 18:54:58 +08:00
    @est 装 whl 也不行…………
    Leigg
        9
    Leigg  
       2018-07-09 18:55:16 +08:00 via iPhone
    都是这么过来的,只不过你的可能更坎坷一点
    WildCat
        10
    WildCat  
       2018-07-09 18:58:10 +08:00   5
    1. anaconda pip 都有国内源,你为什么不折腾下?
    2. TG Python 中文交流群问一句大家都愿意帮你,求什么安慰?
    3. PyCharm 你按 Alt + Enter 都会提示你安装 scrapy 的选项吧?
    4. 新手用什么 PyCharm ?尤其是你这种环境设置都不知道修改的?
    5. 心灵脆弱就不要来学编程
    6. 搜索和变通不仅仅是编程需要的技能,你想在这个世界好好活下去就需要。

    截图:

    chinvo
        11
    chinvo  
       2018-07-09 18:58:19 +08:00 via iPhone   1
    快速解决:装个 Linux 先
    WildCat
        12
    WildCat  
       2018-07-09 18:58:40 +08:00
    不要求安慰了,我当年自己搞 Android Eclipse 开发环境搞了三个月都没求安慰。
    WildCat
        13
    WildCat  
       2018-07-09 19:00:34 +08:00
    7. 另外,如果你这么喜欢看某搜索引擎和某 SDN 的话,强烈建议不要学编程了真的,这两个网站的内容质量呵呵哒。
    andylsr
        14
    andylsr  
       2018-07-09 19:03:16 +08:00 via Android   1
    https://www.lfd.uci.edu/~gohlke/pythonlibs/

    记住这个网址~你用的包人家早已帮你打包成了 whl~直接 pip 就可以了
    YehShs
        15
    YehShs  
       2018-07-09 19:04:16 +08:00
    从坑里爬出来了就好了,哈哈哈
    jiangnanyanyu
        16
    jiangnanyanyu  
       2018-07-09 19:05:11 +08:00 via Android
    这点就算受到打击了?
    zjp
        17
    zjp  
       2018-07-09 19:15:20 +08:00 via Android   2
    #10 说的可能不是很好听,但在理

    顺带吐槽 CSDN。下午谷歌搜了下一个库怎么配置,国内博客站清一色的使用类 A,特别有几篇 CSDN 文章还是新的。然而我发现根本就没有这个类。再往下翻,看到 10 年 StackOverflow 的提问:类 A 被标记过时了怎么办
    wnh3yang
        18
    wnh3yang  
       2018-07-09 19:18:29 +08:00 via Android   1
    你是用 windows 环境吧,参考这个帖子 http://www.zues.pub/archives/25/
    haon
        19
    haon  
       2018-07-09 19:21:14 +08:00
    常规操作
    40huo
        20
    40huo  
       2018-07-09 19:25:58 +08:00
    Windows 上装这个确实挺恶心的
    townmu
        21
    townmu  
       2018-07-09 20:17:05 +08:00 via Android
    @WildCat 别在新人面前秀你的优越感
    WildCat
        22
    WildCat  
       2018-07-09 20:23:24 +08:00
    @townmu 你的优越感?呵呵。
    saran
        23
    saran  
       2018-07-09 20:24:42 +08:00
    win 上想用上 python 里的 scrapy 就别想了,还是买台 MB 吧……
    ThirdFlame
        24
    ThirdFlame  
       2018-07-09 20:26:04 +08:00
    我觉得新手 不应该直接安装 python、pip 然后来先跑起来么? 直接安装这俩应该坑稍微少点吧。
    mimzy
        25
    mimzy  
       2018-07-09 20:26:54 +08:00
    @townmu #21 #10 其实回答了问题还提供了不少有用的信息…挺好的。
    xpresslink
        26
    xpresslink  
       2018-07-09 20:29:27 +08:00
    @saran 别瞎说,我就用的好好的。在 windows 上装其实就一个小坑是装 twisted。
    把这个 Twisted-17.9.0-cp36-cp36m-win_amd64.whl 下到本地用 pip 装就可以了
    golmic
        27
    golmic  
       2018-07-09 20:40:34 +08:00 via Android
    @WildCat 支持
    saran
        28
    saran  
       2018-07-09 21:01:18 +08:00
    @xpresslink 反正我怎么都没办法把 twisted 给装上,把 python 降回 2.7x 也没成功。
    musclepanda
        29
    musclepanda  
    OP
       2018-07-09 21:13:18 +08:00
    @WildCat TG Python 是啥?
    epicnoob
        30
    epicnoob  
       2018-07-09 21:19:47 +08:00
    答案都在红字里,在第一条路里就能解决。
    一般都是没有 VC++编译器
    kokutou
        31
    kokutou  
       2018-07-09 21:21:29 +08:00
    Twisted 装了,剩下的 pip 就行。
    seiuneko
        32
    seiuneko  
       2018-07-09 21:23:23 +08:00
    @musclepanda #29 Telegram Python 群
    crab
        33
    crab  
       2018-07-09 21:25:53 +08:00
    pip install scrapy

    不行吗?
    ranwu
        34
    ranwu  
       2018-07-09 21:34:29 +08:00
    命令行能跑就行了呗。干嘛偏要用 IDE
    WildCat
        35
    WildCat  
       2018-07-09 21:42:44 +08:00
    @musclepanda Telegram
    UNDEFlNED
        36
    UNDEFlNED  
       2018-07-09 22:32:16 +08:00
    把报错的包单独用 whl 装就行了
    mingyun
        37
    mingyun  
       2018-07-09 23:02:22 +08:00
    14 楼正解
    genius2k
        38
    genius2k  
       2018-07-10 00:00:09 +08:00
    python 用什么 ide。。。vim+pylint 解决一切
    syahd
        39
    syahd  
       2018-07-10 00:11:52 +08:00 via Android
    也许是你没有计算机的基础才装得这么辛苦吧,有的问题,比如环境变量的设置,pip 安装包,应该是常识的,但是你却需要临时搜。。。。没关系,被 cao 过几次,你就能举一反三了。
    TuxcraFt
        40
    TuxcraFt  
       2018-07-10 00:15:59 +08:00
    主要不是 scrapy 的问题
    而是你用的是 windows
    tempdban
        41
    tempdban  
       2018-07-10 00:55:52 +08:00 via Android
    新手用 Linux 反倒是最简单的
    Asterism
        42
    Asterism  
       2018-07-10 00:56:42 +08:00
    小哥,学编程不是来求安慰的。遇的坎解决它,记录下来问题,以后其他人遇到了,你也可以帮助其他人。
    20015jjw
        43
    20015jjw  
       2018-07-10 05:46:21 +08:00 via Android   1
    别用 windows 啊 游戏机系统搞开发就跟去 ps4 上炒股一样
    Geo200
        44
    Geo200  
       2018-07-10 07:14:17 +08:00 via iPhone
    @zjp @zjp csdn 上清一色都是互相抄,有些东西根本没实践过也能写出来,最近简书也有这样的趋势
    Lwf1995
        45
    Lwf1995  
       2018-07-10 07:17:18 +08:00 via Android
    Ubuntu 你先高个,一个 sudo apt get install scrapy 就结束了
    tohearts
        46
    tohearts  
       2018-07-10 09:13:03 +08:00
    求你用 linux, 毕竟以后做开发部署大多数情况下都是 Linux。
    ioth
        47
    ioth  
       2018-07-10 09:57:18 +08:00
    高中没毕业,职校读一半吧。
    一下午搭环境也算事?
    tonghuashuai
        48
    tonghuashuai  
       2018-07-10 10:03:19 +08:00
    我曾经有个同事,想做 Python 开发,结果环境已经装不对,于是一怒之下去写 PHP 了……
    新手折腾 Python 遇到的问题,绝大多数是因为 Windows 系统……
    simapple
        49
    simapple  
       2018-07-10 10:06:22 +08:00
    开始折腾的时候,搭建环境确实是个费事费力的活
    lihongjie0209
        50
    lihongjie0209  
       2018-07-10 10:09:06 +08:00
    基本操作, 玩多了就熟悉了
    zhuangzhuang1988
        51
    zhuangzhuang1988  
       2018-07-10 10:12:15 +08:00
    1.好好先学英语
    2.再学基础 python
    3.再搞这个
    真用 linux 了,都不知道怎么死的
    LokiSharp
        52
    LokiSharp  
       2018-07-10 10:14:25 +08:00
    别用 Windows 啊
    jeremaihloo
        54
    jeremaihloo  
       2018-07-10 11:14:42 +08:00
    学编程别用 Windows
    还有,要有耐心
    RockShake
        55
    RockShake  
       2018-07-10 11:16:42 +08:00
    过两年你再回来看的时候肯定觉得搞笑的
    killerv
        56
    killerv  
       2018-07-10 11:17:33 +08:00
    如果你是个 Python 新手,建议不要一上来就折腾那些 IDE 和框架。Windows 上装 Scrapy 是没问题的,就是可能会有一些坑需要填一下。另外现在 wsl 貌似也比较稳定了,你可以试试这个。
    RicardoScofileld
        57
    RicardoScofileld  
       2018-07-10 11:22:28 +08:00
    conda create --name env
    soucre activate env
    conda install scrapy
    pycharm 配置环境解释器
    recall704
        58
    recall704  
       2018-07-10 11:29:07 +08:00
    之前搞 python 的时候,windows 就是最大的问题。
    drank20L
        59
    drank20L  
       2018-07-10 11:32:51 +08:00
    我还记得,我前老板说的那句话:遇到什么问题,别怕,弄就行,一次不行两次,总有弄好的时候,碰见能别你一下的问题才有意思,一帆风顺的学不到嘛
    yylucifer
        60
    yylucifer  
       2018-07-10 12:39:08 +08:00
    看到楼主的描述..

    我默默赞了一楼.
    xio
        61
    xio  
       2018-07-10 12:41:39 +08:00
    不要用 Windows
    q397064399
        62
    q397064399  
       2018-07-10 12:49:23 +08:00
    @zjp #17 都 8012 年了,,还用中文社区,,简直浪费时间
    tabris17
        63
    tabris17  
       2018-07-10 15:00:07 +08:00
    https://www.douban.com/note/664537261/

    按照这篇文章,即可成功
    qqjt
        64
    qqjt  
       2018-07-10 15:56:56 +08:00
    如果用的是 linux 系统或者虚拟机,会方便很多
    anhoo
        65
    anhoo  
       2018-07-10 15:58:23 +08:00
    膜拜大牛
    nancheng
        66
    nancheng  
       2018-07-10 16:13:55 +08:00
    用 pip 就好了,pyCharm 自带的解释器,和你 cmd 的解释器,如果指向不一样,就会有这种问题
    meisky6666
        67
    meisky6666  
       2018-07-10 16:35:03 +08:00
    路由器$$,装各种东西一步到位
    lyluyaoh
        68
    lyluyaoh  
       2018-07-10 16:45:32 +08:00   1
    Pycharm 根据你选的 Python 解释器创建一个虚拟环境 Conda 或者 virtualenv, 你需要在 settings-project 里面下载需要的包自动安装到你的虚拟环境. 大部分情况下跟用 Windows 还是 Linux 无关.
    另外不要在意很多老哥的几连问号和嘲笑, 什么不懂搜什么, 搜不到就问.
    tujin
        69
    tujin  
       2018-07-10 20:05:01 +08:00
    linux 吧,windows 下面新手基本都要被坑
    gordon797
        70
    gordon797  
       2018-07-10 22:44:56 +08:00 via Android
    Linux 就很方便 233
    JCZ2MkKb5S8ZX9pq
        71
    JCZ2MkKb5S8ZX9pq  
       2018-07-10 23:11:28 +08:00
    最初写爬虫也是直接下了 scrapy,结果现在全靠 requests 了。
    zhang0320
        72
    zhang0320  
       2018-07-20 15:43:51 +08:00
    推荐 装个虚拟机 manjaro 开发。。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     994 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 31ms UTC 18:56 PVG 02:56 LAX 11:56 JFK 14:56
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86