深度学习中如何找到影响模型效果最大的 X(向量) - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
chizuo
V2EX    机器学习

深度学习中如何找到影响模型效果最大的 X(向量)

  •  
  •   chizuo 2020-02-09 21:30:29 +08:00 1520 次点击
    这是一个创建于 2136 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我不知道描述的清不清楚。
    一个实际例子:
    对于 NLP 中句子情感分类(正负情感),对于简单的 LSTM 或者 RNN 模型,有没有什么办法知道哪个样本(或者单词)对这个模型的效果影响最大?
    比如说一共 3 个样本,A、B、C,10 个 epoch 后,acc 达到 0.80
    去除 A 之后样本只剩下 B、C,10 个 epoch 后,acc 只有 0.1 了,那么 A 影响力很大。
    就是这个样本很重要。
    现在问题是如何找到这个样本 A ?
    谢谢大家,小白发问。

    3 条回复    2020-02-10 16:34:35 +08:00
    nightwitch
        1
    nightwitch  
       2020-02-09 23:47:04 +08:00
    从数据集中去掉部分数据,结果保持不变,这个数据集才算是能用的。如果从数据集中去掉某部分数据以后结果发生了变化,说明数据集的分布不均匀。
    chizuo
        2
    chizuo  
    OP
       2020-02-10 16:34:19 +08:00
    @nightwitch emmm,可能我描述有问题。这样子举个例吧
    训练一个网络判断文本是否是负面的,假设文本样本中存在 A 这个 word,每当存在 A,80%概率预测它都是负面的,去掉 A 之后,10%概率以下。
    现在问题是如何找到 A 这个 word ?
    chizuo
        3
    chizuo  
    OP
       2020-02-10 16:34:35 +08:00
    @nightwitch emmm,可能我描述有问题。这样子举个例吧
    训练一个网络判断文本是否是负面的,假设文本样本中存在 A 这个 word,每当存在 A,80%概率预测它都是负面的,去掉 A 之后,10%概率以下。
    现在问题是如何找到 A ?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2793 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 00:23 PVG 08:23 LAX 16:23 JFK 19:23
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86