[问] 有没有“动态页面静态化”的服务?或者,开源系统??请贴地址 或 项目名 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
1989922yan
V2EX    Python

[问] 有没有“动态页面静态化”的服务?或者,开源系统??请贴地址 或 项目名

  •  
  •   1989922yan 2015-04-30 11:28:06 +08:00 4661 次点击
    这是一个创建于 3843 天前的主题,其中的信息可能已经有所发展或是发生改变。
    第 1 条附言    2015-05-01 15:35:21 +08:00
    附加:

    简单的说,就是“google快照” 或者 “百度快照” 的东西
    但是,更灵活,对现有业务系统,改动最小
    最理想的状态,就是:动态页面静态化的系统。

    这是一个想法。
    nginx可以完成的是反向代理,高效代理静态文件。
    我希望利用这样的特点,把“动态的网站”完全静态化,或者,尽量多地静态化。

    希望讨论。如果现有这样的系统,希望给出。
    python非常适合做这个项目。
    第 2 条附言    2015-05-06 10:39:12 +08:00
    我想明白怎么更清楚地描述这个系统了:

    不是希望简单地让服务器(nginx或者其他)做缓存
    而是希望做一个第三方系统,尽可能多的,帮助服务器(nginx或者其他)缓存
    24 条回复    2015-05-06 10:38:06 +08:00
    knightlhs
        1
    knightlhs  
       2015-04-30 11:38:26 +08:00
    描述不明确
    什么叫 动态页面静态化 的服务 在我看 CDN 就完成你的需求了
    loading
        2
    loading  
       2015-04-30 12:03:39 +08:00 via Android
    webzip另一种用途。
    ryd994
        3
    ryd994  
       2015-04-30 15:27:12 +08:00
    nginx反代加缓存不也是一样效果?
    kofj
        4
    kofj  
       2015-04-30 21:34:00 +08:00
    curl
    janxin
        5
    janxin  
       2015-05-01 10:43:11 +08:00
    CMS应该都会有这类的功能吧...不过php之类的比较常见一点
    xiaoz
        6
    xiaoz  
       2015-05-01 12:04:05 +08:00 via Android
    开启缓存
    1989922yan
        7
    1989922yan  
    OP
       2015-05-01 15:43:34 +08:00
    @knightlhs

    我添加了附加,再帮我看看呢。
    假如,我现在有一个动态页面,整个页面都是从数据库中取数据。每一次请求都是。
    那么cdn是设置过期时间,然后才会更新的,是这样吗?
    1989922yan
        8
    1989922yan  
    OP
       2015-05-01 15:44:36 +08:00
    @loading
    到位。如果可以直接用在后端应用,那么整个网站都能静态化下来
    1989922yan
        9
    1989922yan  
    OP
       2015-05-01 15:46:11 +08:00
    @ryd994

    的确希望用类似nginx高效的机制
    如果仔细考虑你说缓存,在用户访问使用的时候,其实是一个策略在里面的,还需要考虑
    @xiaoz
    1989922yan
        10
    1989922yan  
    OP
       2015-05-01 15:48:33 +08:00
    @janxin

    同样看到PHP的动态静态化了
    的确可以实现
    只是我现在希望单独一个系统处理,这样动态代码和静态服务,可以分开
    xiujie2005
        11
    xiujie2005  
       2015-05-01 23:58:43 +08:00
    varnish
    1989922yan
        12
    1989922yan  
    OP
       2015-05-02 00:58:20 +08:00
    @xiujie2005 是类似nginx吗?
    wsph123
        13
    wsph123  
       2015-05-02 11:44:53 +08:00
    CDN 强制一段时间不更新就是了吧
    loading
        14
    loading  
       2015-05-02 13:08:03 +08:00 via Android
    在windows下,我可以用python配合webzip类软件搞定。
    局域网?细思极恐!
    shootsoft
        15
    shootsoft  
       2015-05-02 21:30:48 +08:00
    看你目的是想干什么,如果是你想离线浏览某些网页或者测试某些服务,可以试试这个https://github.com/shootsoft/Easygoing.FiddlerCache
    1989922yan
        16
    1989922yan  
    OP
       2015-05-02 23:13:44 +08:00
    @wsph123 我在看看,cdn有没有粒度更细的静态化
    1989922yan
        17
    1989922yan  
    OP
       2015-05-02 23:14:30 +08:00
    @loading
    还是网站的静态化问题,其实也就是控制粒度到标签就可以了
    1989922yan
        18
    1989922yan  
    OP
       2015-05-02 23:15:02 +08:00
    @shootsoft 我希望通过网站静态化,提供更高的并发量
    fburst
        19
    fburst  
       2015-05-02 23:23:22 +08:00
    用爬虫抓取网页?
    xiujie2005
        20
    xiujie2005  
       2015-05-03 00:12:11 +08:00
    Varnish工作原理及配置详解
    http://harisxiong.blog.51cto.com/7513022/1556778
    不用再多说吧.这个应该满足你
    1989922yan
        21
    1989922yan  
    OP
       2015-05-03 22:30:03 +08:00
    @fburst
    原理是一个。但是爬虫现在的目的,不再是获取内容做分析。
    而是,获得内容,然后静态化可以静态化的,动态部分可以用js做restful(我是这样想,具体还得思量)
    1989922yan
        22
    1989922yan  
    OP
       2015-05-03 22:35:34 +08:00
    @xiujie2005

    哥们,很靠谱。
    这里,你注意到,Varnish会判断“是否可以缓存“。
    如果我们主动让让我们的内容,全部可以缓存,或者,更多的内容可以缓存,
    那么我们应该可以很容易提高并发量。

    至于关键的数据,在客户端再异步请求获取。

    我不知道这个方案,是否可行。或者,是否值得
    fburst
        23
    fburst  
       2015-05-03 23:31:47 +08:00
    Varnish或squid做cdn也行。
    看具体系统吧。
    nginx proxy_cache速度应该会快一些。
    1989922yan
        24
    1989922yan  
    OP
       2015-05-06 10:38:06 +08:00
    @fburst

    = =,不是希望简单地让服务器做缓存
    而是希望做一个第三方系统,尽可能多的,帮助服务器缓存
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5267 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 07:52 PVG 15:52 LAX 23:52 JFK 02:52
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86