想配一台双 2080ti 电脑跑深度学习,这个配置有没有槽点呢各位老哥们 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cowarder
V2EX    硬件

想配一台双 2080ti 电脑跑深度学习,这个配置有没有槽点呢各位老哥们

  •  
  •   cowarder 2020-06-18 08:49:59 +08:00 7548 次点击
    这是一个创建于 1956 天前的主题,其中的信息可能已经有所发展或是发生改变。

    CPU:英特尔( Intel ) i9-10900X 酷睿十核 盒装 CPU 处理器 GPU:技嘉(GIGABYTE)GeForce RTX 2080Ti GAMING OC 1665-1650MHz 14000MHz 352bit GDDR6 11G 电竞游戏显卡 X2 内存条:金士顿(Kingston) DDR4 2666 16B 台式机内存条 X4 水冷:九州风神( DEEPCOOL ) 水元素 240RGB CPU 水冷散热器(泄压冷排 /RGB 风扇 /支持 I9 2066 、AM4/静音) 固态:三星( SAMSUNG ) 1TB SSD 固态硬盘 M.2 接口(NVMe 协议) 970 PRO ( MZ-V7P1T0BW ) 电源:美商海盗船 (USCORSAIR) AX1600i 1600W 电脑电源(全模组数字 /80PLUS 钛金认证 /十年质保) 硬盘:希捷(Seagate)6TB 256MB 5400RPM 台式机机械硬盘 SATA 接口 希捷酷鱼 BarraCuda 系列(ST6000DM003) 主板:华硕( ASUS ) PRIME X299-A 主板 ( Intel X299/LGA 2066 ) 机箱:美商海盗船 (USCORSAIR) 780T 黑色 全塔机箱(侧透 /支持 E-ATX 主板 /3 速风量调节 /4 组水冷位 /35CM 显卡)

    62 条回复    2020-06-19 12:19:01 +08:00
    murmur
        1
    murmur  
       2020-06-18 08:55:38 +08:00
    看着真难受,水冷上个 360 的,这么牛逼的 u 散热器就不要吝啬了
    malusama
        2
    malusama  
       2020-06-18 08:59:06 +08:00
    老哥排一下格式啊, 要不然上图片
    kop1989
        3
    kop1989  
       2020-06-18 08:59:20 +08:00
    这个硬盘是个叠瓦盘吧
    cowarder
        4
    cowarder  
    OP
       2020-06-18 09:04:49 +08:00
    CPU:英特尔( Intel ) i9-10900X 酷睿十核 盒装 CPU 处理器

    GPU:技嘉(GIGABYTE)GeForce RTX 2080Ti GAMING OC 1665-1650MHz 14000MHz 352bit GDDR6 11G 电竞游戏显卡 X2

    内存条:金士顿(Kingston) DDR4 2666 16GB 台式机内存条 X4

    水冷:九州风神( DEEPCOOL )水元素 360RGB CPU 水冷散热器(一体式水冷 /静音 /3 个 RGB 风扇 /稳压 I9/标配硅脂)

    固态:三星( SAMSUNG ) 1TB SSD 固态硬盘 M.2 接口(NVMe 协议) 970 PRO ( MZ-V7P1T0BW )

    电源:美商海盗船 (USCORSAIR) AX1600i 1600W 电脑电源(全模组数字 /80PLUS 钛金认证 /十年质保)

    硬盘:希捷(Seagate)6TB 256MB 5400RPM 台式机机械硬盘 SATA 接口 希捷酷鱼 BarraCuda 系列(ST6000DM003)

    主板:华硕( ASUS ) PRIME X299-A 主板 ( Intel X299/LGA 2066 )

    机箱:美商海盗船 (USCORSAIR) 780T 黑色 全塔机箱(侧透 /支持 E-ATX 主板 /3 速风量调节 /4 组水冷位 /35CM 显卡)
    cowarder
        5
    cowarder  
    OP
       2020-06-18 09:05:22 +08:00
    @murmur 感谢老哥意见,已经换了新的,看看这个行不行
    cowarder
        6
    cowarder  
    OP
       2020-06-18 09:05:45 +08:00
    @malusama 重新排了,没注意不好意思,在下面的评论里
    cowarder
        7
    cowarder  
    OP
       2020-06-18 09:06:06 +08:00
    @kop1989 怎么了老哥,这个不行吗硬盘
    murmur
        8
    murmur  
       2020-06-18 09:08:33 +08:00
    @cowarder 叠瓦盘便宜,但是读写并发的时候性能会很差,如果做仓库盘无所谓,做工作盘就很难受
    cowarder
        9
    cowarder  
    OP
       2020-06-18 09:09:19 +08:00
    懂得老哥们,这一套配起来能不能用,有没有明显的两个配件不匹配的问题呢,就怕买回来组装不起来哈哈
    Porphet
        10
    Porphet  
       2020-06-18 09:13:46 +08:00   1
    自用的服务器?还是实验室里的?

    CPU 可以不用上这么好的,GPU 还是换显存大一些的吧,我觉得至少 24g 以上
    niubee1
        11
    niubee1  
       2020-06-18 09:14:28 +08:00
    会不会最终大部分时间还是拿来游戏了?
    cowarder
        12
    cowarder  
    OP
       2020-06-18 09:15:47 +08:00
    @Porphet 实验室里面用的,大约三四个人用吧
    cowarder
        13
    cowarder  
    OP
       2020-06-18 09:16:23 +08:00
    @niubee1 哈哈,不会的, 我不玩游戏的老哥,实验室除了我也都是妹子
    cowarder
        14
    cowarder  
    OP
       2020-06-18 09:17:10 +08:00
    老哥们,给个意见,这个能用着不,没啥硬性问题我今天就要买了,正好搞活动经费够
    murmur
        15
    murmur  
       2020-06-18 09:18:59 +08:00   1
    @Porphet testla v100,这卡一张四万到六万块,主要优化在(据说稳定性)、并行性能、功耗

    如果不爆显存的话

    在 FP 32 单精度训练上,Titan RTX 平均:

    比 RTX 2080Ti 快 8%;
    比 GTX 1080Ti 快 46.8%;
    比 Titan Xp 快 31.4%;
    比 Titan V 快 4%;
    比 Tesla V100 ( 32 GB )慢 13.7%。

    这是网上评测结果,所以说 2080ti 性价比是最高
    Merlini
        16
    Merlini  
       2020-06-18 09:20:42 +08:00 via Android
    不建议在本地跑大模型。原因有几个:
    1. 2080ti 本身也不是很强力,训练需要的时间很长。再比如说你要 fine tuning 一个 Bert,显存就要 12G,要求太高了。
    2. 在训练的时候,gpu 负载很高,如果你要顺便干别的事情,不方便或者卡。
    3. 现在 colab 的免费 gpu 都 k80 了,还是可以用一用的,弄个鼠标连点器,然后设置一下训练保存这些。
    4. cloud computing 是未来。
    cowarder
        17
    cowarder  
    OP
       2020-06-18 09:23:52 +08:00
    @murmur 老哥,你上眼看看我这一套能用吗,不存在型号不匹配的问题吧,能用我就先买了,后面升级再换,反正是经费
    Porphet
        18
    Porphet  
       2020-06-18 09:27:00 +08:00   2
    @murmur 嗯,参数上看是最优选择。但是实际用起来,11g 的显存经常会爆的,尤其是用预训练模型( NLP 任务)。

    任务都跑不起来,何谈其他。

    用 pytorch 可以将一个模型分布在两个 gpu 上,但是写起来限制也挺多的。比如,需要人为把模型分开,强行分成两个模型。这样码代码的工作量就会很大,时间都浪费在改代码上,我现在的情况就是这样,很难受

    我现在用 TitanV*2,但是肯定不够用,下一步实验室要换 RTX8000,哈哈
    murmur
        19
    murmur  
       2020-06-18 09:28:05 +08:00
    @cowarder 我大概看了一下没问题,不过这么高端的平台我没装过。。
    Merlini
        20
    Merlini  
       2020-06-18 09:28:16 +08:00 via Android   1
    当然也不是说不能用,不过如果是比较专业的,以发论文打比赛为主的,还是不建议。
    楼主说是多人用的,那么就会遇到其他人在跑模型的时候,另外一些人就得等了。况且很多时候不是跑一次就行,得调参吧。
    还有一个情况是,现在的模型都被大公司带跑偏了,都是大的不行。比如说 NLP 领域最近新出的 GPT3,参数就有 175B 。如果以后这种模型越来越多的话,硬件会跟不上。
    你说可以有模型压缩加速这些方法呀。这个领域目前还在研究阶段,做的比较成熟的就是 mobilenet,distillbert 那些。没有到大规模应用的时候。
    madeye
        21
    madeye  
       2020-06-18 09:28:48 +08:00
    不如做个等等党,新卡九月份就来了哦,BF16 TF32 这些新特性对于训练爆显存问题有奇效。

    https://devblogs.nvidia.com/nvidia-ampere-architecture-in-depth/
    czwstc
        22
    czwstc  
       2020-06-18 09:29:04 +08:00 via iPhone
    @cowarder 看了下问题不大,rich 。我都是采购二手服务器的。
    没啥坑,就是长得比较酷不够稳重。槽点就是消费级显卡不能装 windows server 。
    买吧..记得开个箱。
    cowarder
        23
    cowarder  
    OP
       2020-06-18 09:33:08 +08:00
    @czwstc 感谢老哥
    cowarder
        24
    cowarder  
    OP
       2020-06-18 09:33:21 +08:00
    @murmur 感谢老哥意见
    cowarder
        25
    cowarder  
    OP
       2020-06-18 09:34:55 +08:00
    老哥们的意见都很好哈,感谢感谢,但是情况是,实验室就给了这么点钱,当然都知道更好的卡性能更好呢,但是手头紧不是,现实情况它不允许哈哈
    hugedata
        26
    hugedata  
       2020-06-18 09:51:44 +08:00
    如果配好之后用不了(性能不够跑不起来)或者用着不爽(没有办法并行多个模型训练任务),能不能五千包邮卖给我?/doge
    nxforce
        27
    nxforce  
       2020-06-18 10:10:09 +08:00 via Android
    我想问一下,这一套下来要多少钱
    murmur
        28
    murmur  
       2020-06-18 10:13:51 +08:00
    @joyhub2140 三万块钱
    murmur
        29
    murmur  
       2020-06-18 10:18:01 +08:00
    2080ti 今天打特价 8500 一张 板 u 套装加起来 5500 这些就两万二了 其余的看着奢华也不是极品 三万怎么也下来了
    如果是龙神 360 水冷 太阳神机箱 那档次就不一样了
    FaceBug
        30
    FaceBug  
       2020-06-18 10:42:13 +08:00
    买这么贵的机箱,还说实验室没有钱,哈哈哈
    coderluan
        31
    coderluan  
       2020-06-18 11:03:28 +08:00
    二手 RTX6000/8000 楼主有兴趣吗 去年十月自己创业买的 因为疫情熬不住了 打算 6 折出了 可以开票.
    gadsavesme
        32
    gadsavesme  
       2020-06-18 11:40:03 +08:00
    能不能跑深度学习我不清楚,但这个配置去打游戏是真的很爽(狗头)
    xuehaihang
        33
    xuehaihang  
       2020-06-18 11:57:27 +08:00
    2080ti 支持半精度 fp16 训练,显存占用远小于 fp32,自用性价比挺高了,实验室用,这卡数,这内存都不太给力呀
    ShallowAi
        34
    ShallowAi  
       2020-06-18 11:58:45 +08:00 via Android
    这么高预算就不要用金士顿内存了 换英睿达普条 16Gx4

    硬盘 6TB 应该上企业级的希捷银河 酷鱼是叠瓦盘


    如果 CPU 没有强制要求考虑一下 AMD
    niubee1
        35
    niubee1  
       2020-06-18 12:17:08 +08:00   1
    kokutou
        37
    kokutou  
       2020-06-18 14:09:32 +08:00
    6t 希捷,你选的那个型号是 smr 叠瓦盘。。。换一个吧。
    比如日立 hc320
    ETiV
        38
    ETiV  
       2020-06-18 14:11:02 +08:00 via iPhone
    我想到个押韵的:

    买前深度学习,买后每晚吃鸡
    cowarder
        39
    cowarder  
    OP
       2020-06-18 14:52:40 +08:00
    @ETiV 真实,哈哈哈,但是不玩游戏的
    cowarder
        40
    cowarder  
    OP
       2020-06-18 14:52:52 +08:00
    @kokutou 好的,谢谢
    littleghosty
        41
    littleghosty  
       2020-06-18 15:03:35 +08:00
    有钱,我也想双路学习下 steam 和 epic
    systemcall
        42
    systemcall  
       2020-06-18 15:17:09 +08:00 via Android
    机箱缩一下,散热换 360 水冷或者阿萨辛那样的大的风冷,多装风扇,装满都可以
    深度学习的电脑又不放在桌子上看,没必要那么讲究外观和静音,外观和静音舍弃掉,堆散热,这样好得多
    cowarder
        43
    cowarder  
    OP
       2020-06-18 15:19:13 +08:00
    @systemcall 静音还是要的,放在桌子地下的,要不太响,反正预算那么多,不如买个好看点的哈哈
    systemcall
        44
    systemcall  
       2020-06-18 15:19:50 +08:00 via Android
    @littleghosty 现在没多少游戏还做双路显卡的优化了,而且不是流行显卡侧装吗?那样就只能装一个显卡了
    abcdabcd987
        45
    abcdabcd987  
       2020-06-18 15:24:20 +08:00
    2 月份的时候装了一台 TITAN RTX *2 + EPYC Rome
    现在完全闲置……
    futou
        46
    futou  
       2020-06-18 15:26:22 +08:00   1
    自己出钱?
    如果不是,先确定是否要走竞价或采购平台。
    还有你组装出了问题就是你的原因。建议多花个 10%左右找个代理。

    如果自己掏腰包就另当别论了。
    abcdabcd987
        47
    abcdabcd987  
       2020-06-18 15:28:56 +08:00
    当时装机完成之后先装了个 Windows 玩,然后发现访问大部分网站最多只有 10MB/s 的学校网络,Steam 下载速度能达到 80MB/s,看来学校网络还是更适合打游戏(误)

    futou
        48
    futou  
       2020-06-18 15:29:03 +08:00
    @abcdabcd987 没用鞋盒当机箱,差评
    abcdabcd987
        49
    abcdabcd987  
       2020-06-18 15:32:09 +08:00
    @futou 赞同,我觉得公家采购还是找个有服务的中间商比较好,省得出了问题自己维护。我这台机子自己装的就出了好多问题,比如有一条内存条老是消失(后来发现是机箱上有一个多余的螺母顶到了主板),比如摸一下机箱就会重启(到现在愣是没有查出来哪里接地有问题)……让中间商赚个差价,出了问题就打电话叫人来解决就好了,也不用担心自己维修会不会弄坏。
    screen
        50
    screen  
       2020-06-18 15:51:05 +08:00 via iPhone
    @cowarder 划重点
    nmecury
        51
    nmecury  
       2020-06-18 17:53:28 +08:00
    看你做什么任务吧,有些任务还是很耗 CPU 的,建议上一个好一点的 CPU,内存槽多一点的主板……可以考虑一些非游戏系列的 GPU 和主板,或者直接上超微 4028 或者 7048 之类的准系统。
    我以前做简单的 CV,6 核 8 线程的 CPU,32G 的内存就勉强够用了,现在做 graph,48 核 96 线程的 CPU 、近 400G 内存都不太够用。
    zpole
        52
    zpole  
       2020-06-18 18:43:31 +08:00 via iPhone
    cpu 换 ryzen 3700 就够了,深度学习又不吃 cpu,把省下来的钱再买块大的 ssd,抛弃机械硬盘吧
    piao5109
        53
    piao5109  
       2020-06-18 20:24:44 +08:00 via iPhone
    我们公司买的 dell,18 核处理器,64G 内存,单显卡 2080i,2 T固态。风冷。

    3.2 万。
    izzy27
        54
    izzy27  
       2020-06-18 21:21:57 +08:00
    不都是在服务器上面跑的吗。。你在本机跑了还能干别的事? 不懂
    vandort
        55
    vandort  
       2020-06-18 23:01:35 +08:00
    建议看一下你这个 CPU 和主板最大支持多大的内存,消费电子产品,很多主板或者 CPU 只支持 64G 的内存,以免以后需要大内存无法扩容。


    @nmecury graph 真的吃内存,我的服务器 512G 的内存都不太够用


    @piao5109 dell 的东西很贵,同配置下比曙光等厂家贵 30%到 40%,你们这 3.2 万里估计有一半都是 dell 的品控成本和售后维护的钱
    longbye0
        56
    longbye0  
       2020-06-19 01:12:06 +08:00
    没讲是 cv,nlp 还是推荐啥的。

    cv 11g 显存 sota 模型几乎都能吃下,20 系还有 fp16 tensor core,amp 训练也够了。就是吃 batch 大小的任务跑不到 sota 罢了。

    非 cv 任务基本都是显存老虎。
    ScjMitsui
        57
    ScjMitsui  
       2020-06-19 06:02:56 +08:00
    九州风神现在是不是漏液不赔了??
    kokutou
        58
    kokutou  
       2020-06-19 08:03:56 +08:00 via Android
    水冷确实建议换掉,时间长了无法保证永远不漏水。。。
    w1573007
        59
    w1573007  
       2020-06-19 09:12:26 +08:00 via Android
    借楼问一下,双路显卡的显存是可以叠加的么?就是一张卡的 11g 满了能借另一张的?双路显卡有什么优势
    Porphet
        60
    Porphet  
       2020-06-19 09:21:36 +08:00
    @w1573007 我印象中大部分显卡都不能自己叠加,写程序的时候可以用点技巧让一个模型用两个 gpu 的显存。

    双路的目的是实验室里两个人可以各用个的,或者加速运算但是显存还是 11g
    superlc
        61
    superlc  
       2020-06-19 12:13:14 +08:00 via iPhone
    放实验室的机器用啥水冷啊,花里胡哨的没啥用,以后维护都你就承包了,万一哪天坏了还有人埋怨

    你的 task 能跑到满载吗?我的 task 几乎没什么 cpu 压力,推荐志强多核,workers 拉满就完事儿
    superlc
        62
    superlc  
       2020-06-19 12:19:01 +08:00 via iPhone
    @w1573007 不能。两块显卡相当于算力提高一倍,速度会有提升。现在用上 syncBN 以后可以把 bn 层的数据跨卡同步,只能说效果接近单卡大显存,但是还是不一样
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2820 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 14:02 PVG 22:02 LAX 07:02 JFK 10:02
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86