凉心云又一大坑, COS CDN 回源流量无故暴增至 5 倍 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
eason1874
V2EX    云计算

凉心云又一大坑, COS CDN 回源流量无故暴增至 5 倍

  •  
  •   eason1874 2022-07-24 17:12:40 +08:00 7473 次点击
    这是一个创建于 1188 天前的主题,其中的信息可能已经有所发展或是发生改变。

    背景:

    一网站使用腾讯云 COS 对象存储放静态文件,通过 CDN 提供访问,内容长期没有变化。近几年 COS 平均每日回源流量稳定在 200MB 以内,一直在使用 10GB 资源包(月包),每月都用不完

    问题:

    这个月破天荒早早用完 10GB 回源流量,并且开始每日扣费。我排查,发现这个月日均回源流量近 1GB

    好家伙,我直呼好家伙,在内容没有变化,流量也没有增加的清空下,回源流量暴增至 5 倍

    按需求付费,原来不是按用户的需求,而是按厂商的需求

    23 条回复    2022-08-03 10:02:35 +08:00
    billzhuang
        1
    billzhuang  
       2022-07-24 17:39:10 +08:00 via iPhone
    提工单看看,另外看看 cos 的日志
    Mitt
        2
    Mitt  
       2022-07-24 18:45:25 +08:00
    我觉得大概率是你设置有问题,可能有人在刷参数导致回源
    learningman
        3
    learningman  
       2022-07-24 18:46:10 +08:00 via Android
    ignore get 参数了吗,感觉被刷了
    eason1874
        4
    eason1874  
    OP
       2022-07-24 19:00:13 +08:00
    @billzhuang
    @Mitt
    @learningman

    都是静态文件,查询参数一直是忽略的,重复请求不会重复回源

    CDN 请求数和流量比上个月少一点,比例也没有异常,不像是刷流量
    iwdmb
        5
    iwdmb  
       2022-07-24 20:19:51 +08:00
    Cloudflare
        6
    pastor  
       2022-07-24 21:41:24 +08:00
    如果是良心云增加了很多 CDN 节点导致回源流量暴增,那说明它的服务质量是提升了。。
    但是我不太相信是这个原因。
    Macv1994
        7
    Macv1994  
       2022-07-24 21:57:28 +08:00
    这就是我一直不敢用 CDN 的原因
    eason1874
        8
    eason1874  
    OP
       2022-07-24 23:13:57 +08:00
    @iwdmb # 5 服务国内用户,用 Cloudflare 访问不了

    @pastor #6 正经 CDN ,回源多少次跟节点有多少是没关系的。就近回源,节点间自动同步,这样才能有分布式加速的效果,不同区域节点都单独访问源服务器拿数据就太慢了

    内容 200MB ,以前每天全国各地流量 50GB ,每天回源也只有 200MB 。这样就是一个节点回源,然后自动同步到其他节点,内容没变,配置没变,流量少了,回源却增加到 1GB ,我猜是他们最近降本增效把缓存策略改了。适当降低缓存可用时间,每用户每月多花几块,每百万用户每月就增加几百万了

    @Macv1994 # 有些场景还是得 CDN ,别的问题只能靠自己多注意了
    pastor
        9
    pastor  
       2022-07-25 00:13:49 +08:00
    @eason1874 #8
    印象里我公司用过的 CDN ,回源流量峰值大于资源总量,比如资源总量 500M ,回源流量峰值可能 1G+,回源时间间隔远大于 1 天。

    我是开发,运维相关懂得不多,只是猜测:
    可能各个厂商实现策略不同,比如跟在线量有关?如果 CDN 都是单点回源然后 CDN 厂内部同步的话,尤其大厂、用户多,很容易赶上大量用户回源高峰期,这样如果大量节点之间同时迅速同步就也可能会有 CDN 厂内部网络风暴的问题,所以调度策略应该不是这种简单的方式,说不定是默认单节点回源后慢慢同步给其他节点,但是节点越多时间越久,这时候如果某些节点收到了请求、但自己节点还没收到回源节点同步来的数据,可能就直接源站了,然后也作为同步节点给其他节点发散?
    eason1874
        10
    eason1874  
    OP
       2022-07-25 00:25:44 +08:00
    @pastor #9 各家策略是不同的,如果我是才换过来腾讯云,我不会觉得有问题,顶多觉得腾讯云节点缓存时间短。主要是我这套内容在腾讯云 COS + CDN 好几年了,最近配置没改过,流量也没有增加,只有回源突然增加了,那唯一的变量就是腾讯云策略变了

    你说得对,热点内容回源时间间隔远超 1 天的,腾讯云这回源本身就算频繁的。我在百度云 CDN 上的同样内容,同样缓存一个月,百度云每月才回源几百 MB ,比腾讯云少 10 倍。现在腾讯云居然又增加回源流量,要说不是故意的,我不信
    nicoljiang
        11
    nicoljiang  
    PRO
       2022-07-25 03:48:51 +08:00
    @eason1874
    > 正经 CDN ,回源多少次跟节点有多少是没关系的。就近回源,节点间自动同步,这样才能有分布式加速的效果,不同区域节点都单独访问源服务器拿数据就太慢了

    你怕是对 CDN 有误解。你说的这种策略各家都有相应的特性(或单独的产品),都是另外单独计费的。
    mytsing520
        12
    mytsing520  
    PRO
       2022-07-25 04:29:51 +08:00
    @eason1874
    > 正经 CDN ,回源多少次跟节点有多少是没关系的。就近回源,节点间自动同步,这样才能有分布式加速的效果,不同区域节点都单独访问源服务器拿数据就太慢了

    一般 CDN 缓存都是各个节点各自为政,当然指的是那些配置了缓存策略后,被动缓存的场景。
    即便是用户主动预热,也是触发各 CDN 节点去访问一遍源站,这期间,会造成源站的访问压力。
    eason1874
        13
    eason1874  
    OP
       2022-07-25 04:57:49 +08:00
    @nicoljiang #11 你说的那个是动态加速,针对实时连接的链路优化,跟静态分发是两码事

    @mytsing520 #12

    CDN 技术架构中至少两层缓存,有的三层,中间源才是真正按用户要求去缓存内容的,边缘节点只会从中间源要内容,不会越过它去访问源站。只要边缘节点共用的中间源有缓存,无论你从其中哪一个节点去访问,都不会触发回源

    所以我说 CDN 回源多少次跟有多少节点是没关系的,这只跟中间源数量有关

    像我这 200MB 内容,在百度智能云 CDN 每月 1TB+流量,用户访问了上百个 CDN 节点,如果全部 CDN 节点都回源的话,回源流量至少 20GB 了。但实际回源流量还不到 500MB ,也就是说真正回源的中间源顶多也就 2 个,甚至可能只有 1 个

    同样 200MB 内容,在腾讯云每月 1.5TB 流量的时候,也是全国各地都有访问,上百节点,以前回源 6GB ,说明也不是每个节点都会回源,也是有中间源的。现在每天 1GB ,总数算起来倒像是每个节点都分别回源了,但这做法可不是正经 CDN 架构的做法
    mytsing520
        14
    mytsing520  
    PRO
       2022-07-25 05:05:22 +08:00
    @eason1874
    给他们发工单问问看呗
    eason1874
        15
    eason1874  
    OP
       2022-07-25 05:25:25 +08:00
    @mytsing520 听说他们最近在清理低消费用户,我有点怂啊,为了每月几块钱去烦他们,我怕也会被莫须有封号。不太敢对线,吐槽一下算了
    mytsing520
        16
    mytsing520  
    PRO
       2022-07-25 05:43:06 +08:00
    @eason1874
    你这种算不上低消用户啊
    yuzo555
        17
    yuzo555  
       2022-07-25 07:09:41 +08:00
    可以考虑下我们多吉云 DogeCloud ,底层同样是 COS / OSS ,稳定性一致,但回源流量不收费,价格还更便宜,如果你现在在用 COS 的话,几乎可以无缝切换
    picone
        18
    picone  
       2022-07-25 09:21:18 +08:00
    @eason1874 #13 既然这样为什么还用凉心云不用百度云。。
    cco
        19
    cco  
       2022-07-25 09:58:52 +08:00
    CDN 这东西,我从来只用 CloudFlare 这种的服务,不然搞不好房子都给你刷没了。
    eason1874
        20
    eason1874  
    OP
       2022-07-25 16:47:50 +08:00
    @yuzo555 #17 好的。我观察一段时间,还是离谱回源就去试试你们家的

    @picone #18 百度智能云也有在用,我们是几家同时在用。每家优惠流量包都是限购的,只用一家没有同时用几家优惠

    @cco #19 可惜的是国内很多地方访问不了 CloudFlare ,要能用我肯定用
    wkingnet
        21
    wkingnet  
       2022-07-31 21:07:27 +08:00
    你要查日志啊,光自己猜测有什么用
    eason1874
        22
    eason1874  
    OP
       2022-07-31 23:20:00 +08:00
    @wkingnet #21

    我已经说了,内容没有变化,CDN 流量和请求数没有异常,甚至比上月还要少一点。还要查什么日志?
    cco
        23
    cco  
       2022-08-03 10:02:35 +08:00
    @eason1874 CloudFlare 在国内的合作伙伴,百度加速云也可以的,一样的架构,你找代理商一年也就几百块。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2623 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 37ms UTC 01:42 PVG 09:42 LAX 18:42 JFK 21:42
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86