关于 s3 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
itertools
V2EX    Python

关于 s3

  •  
  •   itertools 2017-09-23 19:11:36 +08:00 3450 次点击
    这是一个创建于 3016 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近项目中有这样的需求:

    • 通过上传图片,然后,后台经过处理把结果(json 格式)返回调用方。
    • 通过传递图片的 url, 服务端通过下载 url 对应的图片,然后,服务器对下载的图片处理,把处理结果(json 格式)返回给调用方。

    PS: 服务端需要保存图片。 之前都是通过图片,保存在服务器特定目录下,然后把路径传递给处理函数。

    现在由于处理图片的服务器要扩展为多台( api 服务器还是一台),所以就想把图片存放在 s3 上面,然后,把 s3 上面图片对应的 url 传递给处理函数。但是,现在我的做法是:

    • 把调用者上传到服务器图片数据再次上传到 s3,然后,获取对应的 url,给后面函数处理。
    • 如果调用者是通过传递图片 url 上传图片数据,服务端通过下载 url 对应的图片,然后在上传到 s3,最后再获取图片在 s3 的 url,给后面的函数处理。

    问题: 改为 s3 存放图片之后,响应时间相差很多,有什么方法可以优化?或者是我的做法欠妥还有更好的方法?

    6 条回复    2017-09-24 12:21:04 +08:00
    guyskk0x0
        1
    guyskk0x0  
       2017-09-23 20:05:44 +08:00 via Android
    1. s3 支持客户端直传吗?服务端发个 token 给调用方,调用方自己上传到 s3,我记得七牛支持这个。
    2. 同理,s3 支持直接下载并保存图片吗,这样就不用服务端重复下载了,七牛支持这个,s3 应该也支持。
    3. 加带宽吧
    whileFalse
        2
    whileFalse  
       2017-09-23 20:37:35 +08:00 via iPhone
    s3 可以客户端直传。
    derek80
        3
    derek80  
       2017-09-23 20:39:58 +08:00 via Android
    楼上的 1,2 可以用 STS 发 token 解决。
    itertools
        4
    itertools  
    OP
       2017-09-23 20:42:41 +08:00
    @guyskk0x0 第二点可行,但是第一点有个疑点,比如:我这个 api 可能给合作方或者以后开放给更多人。这时候,调用方就不可控,可能就不愿意自己调用 s3 相关 api (通过 token )上传。
    calease
        5
    calease  
       2017-09-24 09:17:41 +08:00
    s3 有 pre-signed url
    调用你的 api 得到 pre-signed url 然后调用方直接上传,
    通过 s3 notification 发通知给 lambda 处理上传结果。
    guyskk0x0
        6
    guyskk0x0  
       2017-09-24 12:21:04 +08:00 via Android
    @itertools token 有效期很短+只能用一次,颁发 token 时验证调用方
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2763 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 37ms UTC 02:10 PVG 10:10 LAX 18:10 JFK 21:10
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86