在不保存所有变量的情况下如何算出方差? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
anzu
V2EX    Java

在不保存所有变量的情况下如何算出方差?

  •  
  •   anzu 2020-08-21 17:04:10 +08:00 2316 次点击
    这是一个创建于 1890 天前的主题,其中的信息可能已经有所发展或是发生改变。

    据 apache commons-math SummaryStatistics 描述:

    Computes summary statistics for a stream of data values addd using the addValue method. The data values are not stored in memory, so this class can be used to compute statistics for very large data streams.

    这个类有提供计算方差 getVariance() 方法的,那么问题来了,如果不保存每一个变量(data value),又如何能算出方差?

    根据方差计算公式,计算过程中需要计算每一个变量与均值的差值的,如果不断地 addValue(),那么均值也会不断变动,差值也随之变动,因此需要保存所有变量直到最后均值固定下来后一次性算出。

    所以我不明白 apache 是怎么做到的?

    9 条回复    2020-08-21 20:38:20 +08:00
    MinQ
        2
    MinQ  
       2020-08-21 17:34:10 +08:00   1
    方差的递推公式
    raymanr
        3
    raymanr  
       2020-08-21 17:34:57 +08:00
    猜测是使用流只读取部分数据, 遍历两次, 先求得均值再求方差? 虽然感觉这种遍历两次的算法很不优雅... 但是好像确实算是个解决方案?
    MinQ
        4
    MinQ  
       2020-08-21 17:35:25 +08:00
    raymanr
        5
    raymanr  
       2020-08-21 17:38:00 +08:00
    @MinQ 哎, 数学基础不扎实呀, 虽然猜想过有这个算法, 但是自己没想过去推导或者搜索, 但是直觉就觉得这种方法很丑陋
    BiteTheDust
        6
    BiteTheDust  
       2020-08-21 17:38:06 +08:00
    https://github.com/BiteTheDDDDt/Sometime/blob/master/Simplest%20ver/%E8%AF%B4%E6%98%8E.md
    里面讲到只用序列的一次方和与二次方和求解标准差 不需要知道每一项具体是多少
    算是比较常规的优化操作了
    yanqiyu
        7
    yanqiyu  
       2020-08-21 20:06:50 +08:00 via Android
    不保存任何数?肯定要有状态啊
    <x^2>-<x>^2 是一般计算方差的公式,你需要三个状态,x^2 的求和,x 的求和以及数据个数
    yanqiyu
        8
    yanqiyu  
       2020-08-21 20:08:20 +08:00 via Android
    没看英语部分,那上面的步骤就满足你的正文描述了,数学证明很简单,把<(x-<x>)^2>展开就行
    xcstream
        9
    xcstream  
       2020-08-21 20:38:20 +08:00
    当前方差 平均数 新的数 可以计算下一轮
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2750 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 31ms UTC 07:39 PVG 15:39 LAX 00:39 JFK 03:39
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86