这个产品图片怎么爬下来? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
fan2006
V2EX    Python

这个产品图片怎么爬下来?

  •  
  •   fan2006 2018-12-26 08:10:59 +08:00 5059 次点击
    这是一个创建于 2499 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如: https://mall.icbc.com.cn/products/pd_0001381554.jhtml 这个产品左边的 5 个大图。得到图片的链接用浏览器试总会跳转到主页去了。不知道怎么处理?希望能指点一下。
    25 条回复    2018-12-26 17:03:23 +08:00
    python8215
        1
    python8215  
       2018-12-26 08:24:18 +08:00
    https://image5.mall.icbc.com.cn/oaasImage/10023640/3/1542861223648_3.jpg 测试这个链接是可以直接用浏览器访问的,没有发生跳转的情况
    fan2006
        2
    fan2006  
    OP
       2018-12-26 08:28:10 +08:00
    如得到
    @python8215 这个你在网页源代码那里点击可以打开。但是你得到单独的图片地址就不行了。会发生跳转。
    1daydayde
        3
    1daydayde  
       2018-12-26 08:30:07 +08:00 via iPhone
    加 referer
    bruce00
        5
    bruce00  
       2018-12-26 08:32:20 +08:00
    @bruce00 额。。好像真的会跳转
    glaucus
        7
    glaucus  
       2018-12-26 08:38:49 +08:00
    把你发出来的这个链接当作 Referer 请求就可以了
    MuscleOf2016
        8
    MuscleOf2016  
       2018-12-26 08:41:32 +08:00
    @fan2006 没看明白这句话,图片的链接不是.jpg 的吗
    masker
        9
    masker  
       2018-12-26 08:44:04 +08:00 via Android
    看请求头
    fan2006
        10
    fan2006  
    OP
       2018-12-26 08:45:27 +08:00
    @bruce00 没发出链接。只发了主地址。。好了,我被 360 浏览器坑了。。用 google 测试下能打开了。。
    fan2006
        11
    fan2006  
    OP
       2018-12-26 08:46:07 +08:00
    @MrUser 多谢老兄。我知道了。非常感谢
    fan2006
        12
    fan2006  
    OP
       2018-12-26 08:46:42 +08:00
    @bruce00 别用 360 浏览器测试,我被坑了
    a226679594
        13
    a226679594  
       2018-12-26 08:54:23 +08:00
    我怀疑你在发广告 手动滑稽
    fan2006
        14
    fan2006  
    OP
       2018-12-26 09:00:12 +08:00
    @a226679594 真没有。现在是年底,忙着搞数据呢?卖的多也是累死我们这些汇总产品的吧。
    tutustream
        15
    tutustream  
       2018-12-26 09:20:19 +08:00
    chrome 没跳转
    winterx
        16
    winterx  
       2018-12-26 09:38:40 +08:00
    我的 Chrome 跳转了
    inwl
        17
    inwl  
       2018-12-26 09:50:31 +08:00
    @winterx 我的 chrome 也跳转了
    inwl
        18
    inwl  
       2018-12-26 09:53:12 +08:00
    @fan2006
    @tutustream
    图片链接跳转,感觉是后台做了权限控制吧,不跳转的我猜登陆了?
    fan2006
        19
    fan2006  
    OP
       2018-12-26 09:55:18 +08:00
    @inwl 可能你版本比较老。360 用 63 的内核是跳转的。。
    run2
        20
    run2  
       2018-12-26 12:09:15 +08:00
    #3 楼那位就给你们正确答案了 不知道你们还在瞎猜啥
    celeron533
        21
    celeron533  
       2018-12-26 12:21:48 +08:00
    https://image5.mall.icbc.com.cn/image/10023640/4/1524359627669_3.jpg

    直接 F12,禁用缓存,抓取网络请求。重新刷新页面就能得到地址。
    fan2006
        22
    fan2006  
    OP
       2018-12-26 14:01:55 +08:00
    @celeron533 正解。这个是对的。感谢大佬
    lanqing
        23
    lanqing  
       2018-12-26 15:20:54 +08:00
    加 referer 就可以了
    qooder
        24
    qooder  
       2018-12-26 16:45:12 +08:00
    想知道为什么会跳转。。。
    15399905591
        25
    15399905591  
       2018-12-26 17:03:23 +08:00
    应该是加了防盗链限制,只允许来源 mall.icbc.com.cn 域名的地址访问,你把在 header 中添加一个 referer 属性,标识来源的是该域名就可以了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1144 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 17:55 PVG 01:55 LAX 10:55 JFK 13:55
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86