人生第一次用显卡炼丹,特来发个贴 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
villivateur
1.56D
V2EX    机器学习

人生第一次用显卡炼丹,特来发个贴

  •  
  •   villivateur 2022-03-30 21:47:34 +08:00 5376 次点击
    这是一个创建于 1356 天前的主题,其中的信息可能已经有所发展或是发生改变。

    今天在 GitHub 上看到了 faceswap 这个换脸项目,兴致大发,在自己的 1070 Ti 显卡上试了一番。这个项目不错,感觉真的是把机器学习做到了开箱即用了。

    于是我尝试把女朋友常跟着跳舞的 UP 主视频,那个 UP 主的脸换成我的脸,丧心病狂地准备让她看着我跳舞,哈哈。

    现在还在跑模型训练,预计要……两三天,1070 Ti 这么拉垮了吗?我都闻到糊味了,话说搞机器学习的人都经常要等这么久吗?

    19 条回复    2022-05-21 14:50:45 +08:00
    Merlini
        1
    Merlini  
       2022-03-30 21:53:14 +08:00 via Android
    深度学习实验室都用的 tesla v100 那种比较贵的卡吧,关键贵的卡可能也得跑几天,或者 google 的 tpu 。
    不是 1070ti 拉,是算力要求太高了。
    villivateur
        2
    villivateur  
    OP
       2022-03-30 21:58:12 +08:00 via Android
    @Merlini 话说如果不求质量的话,模型训练到一半停下来也能用?
    vopin
        3
    vopin  
       2022-03-30 22:22:14 +08:00 via iPhone
    不清楚具体,一般用别人训练好的模型 inference 很快的吧,你这个必须从头训练吗
    Merlini
        4
    Merlini  
       2022-03-30 22:49:34 +08:00   1
    @villivateur #2 对的,处理好 keyboardinterruptexception 能保存下来就能用。其实一开始的模型里面的 vector 全随机也能用,只是效果不好而已,训练的过程就是让模型里面的 vector 更逼近理想的结果。现在单纯用的话都是 fine-tuning 多,不需要训练那么长时间了,有些是完全不需要再训练直接开箱即用。
    hertzry
        5
    hertzry  
       2022-03-31 00:06:34 +08:00 via Android
    找找有没有预训练好的模型参数,直接下载下来。
    ekidona
        6
    ekidona  
       2022-03-31 07:45:19 +08:00 via iPhone
    我这边做真正的 training 一般是提交一个 kubeflow pipeline 到 aws 上,然后通常会拉起几十个 worker ,几百个 GPU 啥的。
    ekidona
        7
    ekidona  
       2022-03-31 07:46:16 +08:00 via iPhone
    当然 train 一次都是几万刀的电费
    netnr
        8
    netnr  
       2022-03-31 08:32:30 +08:00 via Android   1
    源动力实足
    yaphets666
        9
    yaphets666  
       2022-03-31 09:12:10 +08:00
    我们是 5 张 3080
    vicalloy
        10
    vicalloy  
       2022-03-31 10:16:49 +08:00
    机器学习很大程度上是算力的比拼,就是烧钱。
    个人玩一般都是用预训练好的模型吧,为啥要自己从头训。
    对 faceswap 不熟,你应当只是用预训练好的模型做推理吧。
    villivateur
        11
    villivateur  
    OP
       2022-03-31 10:39:46 +08:00 via Android
    @vicalloy
    @hertzry
    这个项目,如果你用自己的脸,就得重新训练,因为他的模型就是脸 A 到脸 B 的转换
    lizytalk
        12
    lizytalk  
       2022-03-31 20:08:11 +08:00 via iPhone
    小数据测通模型,再跑大数据,等大数据结果的时间干别的
    pydiff
        13
    pydiff  
       2022-03-31 21:21:07 +08:00 via iPhone
    用了 4 张 v100 ,所有卡都是吃满状态,算了 17 天了都还没完,这玩意太耗性能了
    necomancer
        14
    necomancer  
       2022-04-01 14:06:17 +08:00
    1920x1080 是不行的,你试试 64x36 ,缩小 G 和 D 的 filter 个数,把 64 ,128 ,256 ,512 换成 8 ,16 ,32 ,64 ,训练起来就快多啦~无非是糊得抽象些,加油~
    necomancer
        15
    necomancer  
       2022-04-01 14:07:33 +08:00
    卧槽我看了一下难道 faceswap 本来就是 64x64.....上 32x32 ?糊成头像( ̄ ̄)
    RatioPattern
        16
    RatioPattern  
       2022-04-04 06:27:53 +08:00   1
    1070 系列当时镁光显存有质量问题,炼丹可能失败或者偏离太大可以往这方面考虑,已经踩坑..............
    shm7
        17
    shm7  
       2022-05-20 23:58:14 +08:00
    所以,糊了没?
    villivateur
        18
    villivateur  
    OP
       2022-05-21 11:48:01 +08:00 via Android
    @shm7 糊了,满地狼藉
    shm7
        19
    shm7  
       2022-05-21 14:50:45 +08:00
    @villivateur 允悲。用 gpustat 或者 nvidia-smi 监测下使用率和温度,真的很考验散热。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5631 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 51ms UTC 03:03 PVG 11:03 LAX 19:03 JFK 22:03
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86