Python 通过文件下载链接下载文件,几乎每天文件都要更新,如何在下载文件前得知文件是否更新呢? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
sr0miao
V2EX    Python

Python 通过文件下载链接下载文件,几乎每天文件都要更新,如何在下载文件前得知文件是否更新呢?

  •  
  •   sr0miao 2018-02-08 09:12:55 +08:00 4609 次点击
    这是一个创建于 2807 天前的主题,其中的信息可能已经有所发展或是发生改变。

    别的公司每天不定时的会给我们数据,我们有一个定时系统检测文件数据是否更新,如果更新就下载。但有一个公司给我们的是 http 的文件下载链接,不知道如何在线上检测是否更新。之前的做法是下载下来和之前的作比较,有什么方法在下载钱就得知文件信息么? ps:刚刚实习,好多不懂的地方,请指教。

    15 条回复    2018-02-09 00:06:55 +08:00
    TimePPT
        1
    TimePPT  
    PRO
       2018-02-08 09:29:37 +08:00 via iPhone
    让对方在下载链接带一个哈希值参数
    sunnyadam
        2
    sunnyadam  
       2018-02-08 09:37:12 +08:00
    顶楼上,带哈希值,如果下载链接每次都变可以比对链接地址,或者和对方商量一下,他们那边更新后通过接口给你一个消息,你方接受到消息则认为文件更新,然后进行下载;等等的,方法很多的
    CEBBCAT
        3
    CEBBCAT  
       2018-02-08 09:38:40 +08:00 via Android
    head 可以拿到文件大小,可以做简单的判断
    awenforlinux
        4
    awenforlinux  
       2018-02-08 09:39:44 +08:00   1
    last-modified
    fiht
        5
    fiht  
       2018-02-08 09:40:59 +08:00   2
    etag
    sr0miao
        6
    sr0miao  
    OP
       2018-02-08 10:03:21 +08:00
    @awenforlinux 阁下正解,十分感谢
    scriptB0y
        7
    scriptB0y  
       2018-02-08 10:06:25 +08:00   1
    @fiht etag+1 https://developers.google.com/web/fundamentals/performance/optimizing-content-efficiency/http-caching?hl=zh-cn#etag

    不过也需要服务器端正确实现才可以,如果没实现,还是让他们在链接加一个 hash 参数简单
    sr0miao
        8
    sr0miao  
    OP
       2018-02-08 10:10:02 +08:00
    @scriptB0y 能让对方改的话我就让他们利用 ftp 或 sftp 了,沟通十分艰难。
    sr0miao
        9
    sr0miao  
    OP
       2018-02-08 10:28:46 +08:00
    @sr0miao
    @fiht
    etag 也很不错,但我要在数据库记录时间,所以用了 last-modified
    qsnow6
        10
    qsnow6  
       2018-02-08 10:31:23 +08:00   1
    last-modified、etag、Content-Length

    都可以,简单、高效
    qsnow6
        11
    qsnow6  
       2018-02-08 10:41:50 +08:00   1
    最低成本的是使用 If-Modified-Since,给 If-Modified-Since 设置一个时间,源服务器会比对时间,当资源的更新时间大于 If-Modified-Since 的值时,返回 200 状态码,否则就是 304。

    https://developer.mozilla.org/zh-CN/docs/Web/HTTP/Headers/If-Modified-Since
    vimiix
        12
    vimiix  
       2018-02-08 12:27:00 +08:00
    让对方每次更新都提供文件的 MD5 值,判断值是否相同
    pabupa
        13
    pabupa  
       2018-02-08 14:13:32 +08:00
    最后修改时间呀~
    laodao1990
        14
    laodao1990  
       2018-02-08 15:02:52 +08:00
    第一次听说 etag,学习了。感谢!
    Xieldy
        15
    Xieldy  
       2018-02-09 00:06:55 +08:00
    学到了学到了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1204 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 23:45 PVG 07:45 LAX 16:45 JFK 19:45
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86