质疑阿里云 CDN 资源监控中的文件响应占比数据 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
qgy18
V2EX    云计算

质疑阿里云 CDN 资源监控中的文件响应占比数据

  •  2
     
  •   qgy18 2016-04-21 00:55:34 +08:00 6554 次点击
    这是一个创建于 3469 天前的主题,其中的信息可能已经有所发展或是发生改变。

    首先声明,我发现这个问题后,第一时间走正常途径通过系统工单反馈(后面有截图)。

    阿里云客服给我的回复是:

    您好,我这边用测试账号测试是存在差异的,请您查看附件。 建议您可以将时间选择多几个时间段测试下,谢谢。 

    但是我这边确实所有时间段都有问题,于是陷入僵局(让我想起了那个段子:测试同学提了一个 BUG ,开发同学说我这里是好的,你环境问题吧)。

    所以我发这个帖的目的是:请大家帮忙看看你们的统计是否正常,是不是只有我的帐号才有这个问题。

    问题描述

    我阿里云帐号下的 CDN 管理 -> 资源监控 -> 热点分析 -> 文件响应占比 报表中,所有时段中 >1M 和 <1M 的比例都完全一致。而且我的源站显然没有 > 1M 的资源,所以我怀疑这个统计数据有问题。

    小于 1M 的统计截图:

    大于 1M 的统计截图:

    联系客服的工单截图:

    第 1 条附言    2016-04-21 15:39:48 +08:00

    此事已真相大白,见 34 楼。为阿里云的跟进速度点个赞!

    55 条回复    2017-06-07 10:54:44 +08:00
    dzxx36gyy
        1
    dzxx36gyy  
       2016-04-21 01:02:00 +08:00 via Android
    恭喜楼主保住了一千万:doge
    maskerTUI
        2
    maskerTUI  
       2016-04-21 01:03:36 +08:00
    年轻人,质疑之前要准备好一千万哟
    dzxx36gyy
        3
    dzxx36gyy  
       2016-04-21 01:05:42 +08:00 via Android
    @maskerTUI 楼主发过工单还给了截图,阿里要是这么瞎那么一千万就只能给他们买眼药水了
    Daniel65536
        4
    Daniel65536  
       2016-04-21 01:10:45 +08:00
    @dzxx36gyy 上次说阿里偷窥隐私的 po 主也有截图,你以为有图阿里就不会告你了么?改进去借 1000w ,晚了就完了(
    dzxx36gyy
        5
    dzxx36gyy  
       2016-04-21 01:11:39 +08:00 via Android
    @Daniel65536 吓死宝宝了_(:з)∠)_
    qgy18
        6
    qgy18  
    OP
       2016-04-21 01:13:13 +08:00
    截至到目前为止,没有一个人正面回答我的问题。
    先睡觉去了~ 明天早上起来再看。
    kn007
        7
    kn007  
       2016-04-21 01:18:44 +08:00 via Android
    前排关注
    lslqtz
        8
    lslqtz  
       2016-04-21 02:49:54 +08:00
    我这边用阿里云 cdn ,流量每天都有 10g 多。直接把解析挂机子上删了 cdn 每天不到 1g 。。
    reeco
        9
    reeco  
       2016-04-21 08:00:23 +08:00 via iPhone
    CinderellaCiCi
        10
    CinderellaCiCi  
       2016-04-21 09:45:05 +08:00
    据我所知,楼主已经不是学生了, 1000w 准备好了没?
    qgy18
        11
    qgy18  
    OP
       2016-04-21 09:57:37 +08:00   1
    @CinderellaCiCi 你这是来凑啥热闹,哈哈哈。

    首先,我发现了我正在使用的产品中的 BUG ,通过正常途径反馈之后,被答复无法复现。我试图通过论坛收集更多的信息,便于他们定位问题。

    任何一个产品出现 BUG 都很正常,我做为一个比较热心的用户,有问题都会及时反馈(我给阿里云提过很多工单,这里就不截图了)。工单不能解决的问题,我才会通过论坛来收集更多信息。例如之前反馈的这个问题: http://v2ex.com/t/251037 ,最终也得到了解决。能及时改正问题的产品,我会一直用下去。

    最后,正面回答你的问题,你咋知道我没有。
    xl0shk
        12
    xl0shk  
       2016-04-21 10:37:58 +08:00   1
    这么一致的曲线图...很容易猜想是有问题的。
    不过说句不好听的实话,这些厂商的客服看到反馈的问题,第一反应往往是选择推卸掉自己的责任。
    上个月,我使用的 CDN 的统计和回源出现明显的异常,跟他们客服交涉了一周,就是不承认问题,我把数据包、配置、截图、系统信息打印出来给了好几遍也不承认...
    后面我通过关系找到他们技术负责人...然后又是一天的调试,最后他们承认存在问题...不过到现在还没修复,为不影响使用,我暂时把问题绕过了。
    我其实跟屈屈就是想帮助他们解决问题,在客服那浪费了好多时间真是郁闷。

    我也不知道我想说什么,不说出来不愉快~
    loweila
        13
    loweila  
       2016-04-21 10:41:46 +08:00
    1000 万是个什么梗啊,求解答。
    shiniv
        14
    shiniv  
       2016-04-21 10:51:29 +08:00
    @loweila 详情看这个 t/271551
    indust
        15
    indust  
       2016-04-21 10:58:09 +08:00   1

    还是有点差异的
    虽然分析了下日志发现两个值都不准.. 图表数据里大于 1M 的文件只占 33%, 我自己统计的却有 50%左右.
    qgy18
        16
    qgy18  
    OP
       2016-04-21 10:59:11 +08:00
    @xl0shk

    其实我可以肯定是他们的统计问题,因为我把这段时间的日志都下载回来(日志是他们 CDN 自己提供的),自己 awk 跑出下 response size ,根本没有 > 1M 的记录。

    但我估计就算把这些信息提交给他们客服,也是白搭!
    qgy18
        17
    qgy18  
    OP
       2016-04-21 11:00:37 +08:00
    @indust 我怀疑只有在源站完全不存在 > 1M 的资源时,才会出现这种问题,不过无法验证啊。
    lianghaijian
        18
    lianghaijian  
       2016-04-21 11:06:41 +08:00
    @lslqtz 你最好把 CDN 日志下载下来分析一下,是否真的有请求。你切回源之后没准很多请求 timeout 了。哈哈哈哈
    songjiaxin2008
        19
    songjiaxin2008  
       2016-04-21 11:10:20 +08:00 via iPhone
    难道这个统计图表的数据是写死的?...
    b821025551b
        20
    b821025551b  
       2016-04-21 11:16:59 +08:00   1

    看了一下确实很像,但是有一丢丢差异
    qgy18
        21
    qgy18  
    OP
       2016-04-21 11:33:35 +08:00
    @b821025551b

    请问,你的源站有 > 1M 的内容么?
    akira
        22
    akira  
       2016-04-21 12:39:59 +08:00
    图片仅供参考?
    kn007
        23
    kn007  
       2016-04-21 13:20:21 +08:00
    图片仅供参考 +1

    话说之前百度也是,提了很多 bug 和 enhancement ,然后许多等了几个月才解决。。。还好就是有承认,但未能解决。。
    qgy18
        24
    qgy18  
    OP
       2016-04-21 13:48:20 +08:00
    客服后续回复:

    售后工程师 : 您反馈的问题需要转交到后端专员,能否在明天白天工作时间处理呢
    2016-04-21 02:40:55

    售后工程师 : 您好,您的问题后端专员还在定位中,您先忙您的事情,有结果会第一时间工单反馈您。
    2016-04-21 11:33:15

    看来之前是客服内部给的答复,不被我认可之后转到技术那边查了。其实阿里的客服反映还是很及时的,也很辛苦(凌晨 2 点多还在回复),只是解决问题的能力
    lslqtz
        25
    lslqtz  
       2016-04-21 13:56:02 +08:00
    @lianghaijian 666 大晚上的可能 timeout 吗?
    lslqtz
        26
    lslqtz  
       2016-04-21 13:56:29 +08:00
    @lianghaijian 一天 pv 20 人,大晚上根本没人。仍然有流量
    b821025551b
        27
    b821025551b  
       2016-04-21 13:58:55 +08:00
    @qgy18 有,但是我感觉这两个曲线如此相似真的有点不正常(话说刚刚的图居然被压缩了)
    chousb
        28
    chousb  
       2016-04-21 14:32:49 +08:00
    .......
    zonghua
        29
    zonghua  
       2016-04-21 14:48:24 +08:00 via iPhone
    昨天就发现 ququ 的博客访问不了了
    zonghua
        30
    zonghua  
       2016-04-21 14:50:44 +08:00 via iPhone
    @b821025551b 写了个 random ?
    est
        31
    est  
       2016-04-21 14:58:45 +08:00
    > 而且我的源站显然没有 > 1M 的资源

    可能 CDN 会做一些 chunked encoding , http keepalive 之类的。把多个<1M 的资源合并到同一个连接里去响应。这样就会有统计的出入。

    一种相反的情况就是>1M 的资源会被 gzip 到 <1M
    qgy18
        32
    qgy18  
    OP
       2016-04-21 15:00:50 +08:00
    @zonghua 不是吧。。。

    为啥访问不了,现在好了么?
    qgy18
        33
    qgy18  
    OP
       2016-04-21 15:01:42 +08:00
    @lslqtz 这个很有可能吧,比如爬虫,比如被盗链了。
    shudu
        34
    shudu  
       2016-04-21 15:12:32 +08:00   1
    我是阿里云 CDN 研发负责人叔度,非常感谢屈大大的反馈!

    经过排查,这是我们统计代码的一个 bug 。我们的数据监控代码在统计 1M 以上响应文件时,错误的把<=1M 的文件也累加上了,所以导致用户看到的该数据是错的。

    这个 bug 会导致用户看到的 1M 以上响应监控统计是错的。但不会影响用户的计费准确性。

    我们很抱歉给屈大大和其他用户带来了这个困扰。现在代码已经修复。以往数据的清洗也会在两天内重新计算完毕。

    再次感谢屈大大的反馈,也赞一下您的细心!
    lslqtz
        35
    lslqtz  
       2016-04-21 15:14:05 +08:00
    @qgy18 爬虫的流量是有的,但偏差太大了。我接 cdn 有半个月,然后转回来后用到现在。
    shudu
        36
    shudu  
       2016-04-21 15:15:56 +08:00
    @lslqtz 您是否对照过访问日志?另外能否私信我一下您的用户名?谢谢!
    qgy18
        37
    qgy18  
    OP
       2016-04-21 15:45:19 +08:00
    @shudu

    感谢解答,原文已经 APPEND 。终于真相大白了!

    其实倒不是因为细心,我一直比较在意个人博客访问速度,无论如何也不允许有 > 1M 的图片出现在我的博客。所以看到这个统计时,一眼就感觉出不对劲。

    这个也印证了我之前的猜想(见 17 楼):我怀疑只有在源站完全不存在 > 1M 的资源时,才会出现这种问题。

    只有源站完全不存在 > 1M 文件时,这个 BUG 才会导致两条曲线完全一致,所以客服的测试帐号看不出来问题。
    qgy18
        38
    qgy18  
    OP
       2016-04-21 15:52:55 +08:00 via iPhone
    已正常。

    shudu
        39
    shudu  
       2016-04-21 16:58:28 +08:00
    @qgy18 谢谢屈大大。后续使用上碰到问题也可以私信我的新浪微博 @淘叔度 ,我看到消息会响应比较快些, V2EX 平时上得少。再次感谢!
    lslqtz
        40
    lslqtz  
       2016-04-21 17:04:38 +08:00 via iPhone
    @shudu 也是属于统计问题 扣费没有。
    shudu
        41
    shudu  
       2016-04-21 17:33:08 +08:00
    @lslqtz 能否给我一下您的用户名或者域名,我们来排查下。非常感谢!
    v2v2v2
        42
    v2v2v2  
       2016-04-21 17:44:42 +08:00
    你有 1000 万吗
    barretlee
        43
    barretlee  
       2016-04-21 17:53:43 +08:00
    @shudu 哈哈,没人 @ 你,就这么精准的看到了帖子,运气很好呀~
    qgy18
        44
    qgy18  
    OP
       2016-04-21 17:59:09 +08:00
    @barretlee 应该是客服反馈的吧。

    我昨天晚上就提过工单,然后等到快两点。
    kn007
        45
    kn007  
       2016-04-21 18:01:24 +08:00
    不错,圆满解决。
    yangzj1992
        46
    yangzj1992  
       2016-04-21 23:09:11 +08:00
    阿里响应的很及时啊.不错
    zonghua
        47
    zonghua  
       2016-04-22 16:39:48 +08:00
    @qgy18 我在教室第一次打开很慢,不知道是加载什么东西
    lslqtz
        48
    lslqtz  
       2016-04-22 20:56:12 +08:00
    @shudu 别人的号,不方便提供呢。。自己没用阿里云 cdn
    lslqtz
        49
    lslqtz  
       2016-04-22 20:56:25 +08:00
    CinderellaCiCi
        50
    CinderellaCiCi  
       2016-04-22 21:23:35 +08:00 via Android
    @qgy18 你这样暴露家产真的好么?就不怕被坏人尾随…?
    其实,对于用户提 bug 的事,我想很多产品团队都是欢迎的,这样能够帮助产品的持续改进。程序并不是万能的, bug 也一定是还有的,每个做技术的肯定都能正视这个问题。只是,在提出 bug 的同时,如果能给出完整的重现步骤、有力的必要证据和依赖环境、甚至可能的原因分析,会更受欢迎。
    很多公司开发和测试相处不和谐,都是因为理解、分析和交流不够深入所致。…
    CinderellaCiCi
        51
    CinderellaCiCi  
       2016-04-22 21:28:51 +08:00 via Android
    啊…转岗一两年了,硬是还改不掉我的测试职业病…
    tSQghkfhTtQt9mtd
        52
    tSQghkfhTtQt9mtd  
       2016-04-22 22:53:26 +08:00 via Android
    是啊所以有什么 CloudXNS 问题找 @CinderellaCiCi 就可以了((
    soto
        53
    soto  
       2016-05-30 09:51:47 +08:00   1
    自己造了 50M 的 synflood ,阿里高防 ip 显示 150M ,汗
    soto
        54
    soto  
       2016-05-30 09:52:58 +08:00   1
    @shudu 自己造了 50M 的 synflood ,阿里高防 ip 显示 150M ,汗
    wkl17
        55
    wkl17  
       2017-06-07 10:54:44 +08:00
    @soto 哈哈,现在问题是否还依旧?高防 IP 收费如何?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2953 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 32ms UTC 13:32 PVG 21:32 LAX 06:32 JFK 09:32
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86