这是一个创建于 599 天前的主题，其中的信息可能已经有所发展或是发生改变。
项目背景：国资尾部券商，迫于 CIO 想出 AI 相关成绩，遂需采购 gpu server 。只做 llm 推理 不做调优 可能会放若干个 rag 系统上去。
考虑到以下几点有些犹豫：
1.证监会现对券商有要求，每年新投入的软硬件预算有信创指标（今年 20%-30%？逐年递增）。gpu 预算在总预算中只占 4%左右
2.目前在谈的有华为和中科曙光的产品 中科曙光 Z100 型号单卡性能相当于 V100 60%-70%， 华为的产品还没有了解性能。
3.从自身出发，nvidia 不论是开发还是跑开源应用还是能方便很多。
4.此次立项标题可能是‘算力资源建设’，所以要考虑后续新增 gpu 的拓展性。
5.价格上中科曙光 Z100 8 卡 gpu 应该是 30 多万，我们的预算 150 万左右，需要测试环境生产环境至少各一台。
考虑到以下几点有些犹豫：
1.证监会现对券商有要求，每年新投入的软硬件预算有信创指标（今年 20%-30%？逐年递增）。gpu 预算在总预算中只占 4%左右
2.目前在谈的有华为和中科曙光的产品 中科曙光 Z100 型号单卡性能相当于 V100 60%-70%， 华为的产品还没有了解性能。
3.从自身出发，nvidia 不论是开发还是跑开源应用还是能方便很多。
4.此次立项标题可能是‘算力资源建设’，所以要考虑后续新增 gpu 的拓展性。
5.价格上中科曙光 Z100 8 卡 gpu 应该是 30 多万，我们的预算 150 万左右，需要测试环境生产环境至少各一台。
 | 1 wetalk 2024-04-26 11:20:38 +08:00 既然上头有要求，就按照要求来，剩下的 80%采购 nvidia |
 | 2 Dav1s OP @wetalk 我可能没说清楚 总预算不只是 gpu 预算 gpu 总预算需要有 20%-30%购买信创产品，gpu 预算只占 4%左右，也就是那 150 万。所以其实是个二选一的处境。 |
 | 3 renmu 2024-04-26 11:43:37 +08:00 via Android 如果你是领导就买信创，不是就买英伟达 |
 | 4 tangtang369 &nbp; 2024-04-26 11:45:21 +08:00 研发用肯定英伟达 |
 | 5 YGHMXFAL 2024-04-26 12:05:51 +08:00 不是政策要求谁愿意为信创买单啊 |
 | 6 feather12315 2024-04-26 12:18:38 +08:00 via iPhone 领导让买啥买啥， 不用犹豫不用纠结。 |
 | 7 jlkm2010 2024-04-26 12:23:27 +08:00 考虑后续新增 gpu 的拓展性，那还是选国产算力卡吧，腾 910B 性能更强一些 |
 | 8 kongyiji 2024-04-26 12:27:22 +08:00 via iPhone 那肯定是信创了，还要质疑？ |
 | 9 sakilascott 2024-04-26 13:00:57 +08:00 via Android 你有权利做这个决定吗？ 如果有，那肯定是谁的返点多买谁的。 如果没有，别瞎操心了。 |
 | 10 zaizaizai2333 2024-04-26 13:38:10 +08:00 英伟达你能买到 V100 嘛？ 灰色路径买到的，一旦被定位、发现，会被锁卡。 无论买啥，兼容 PyTorch 的最重要了，生态能给你用卡省不少事情。 |
 | 11 minami 2024-04-26 13:55:35 +08:00 这个所谓的 Z100 ，是不是 AMD 那边买的技术。。。 |
 | 12 unknowsll 2024-04-26 14:14:36 +08:00  1 1 、大陆使用被禁售的卡，会有被远程锁卡的风险措施； 2 、这个事情估计你拍不了板，还是领导定吧，因为涉及这种金额的事情，都属于江湖，而江湖不是打打杀杀，江湖是人情世故。 |
 | 13 thep 2024-04-26 14:17:55 +08:00 不用纠结肯定信创，早用早舒心，省的折腾。 |
 | 14 wzbrbj 2024-04-26 14:33:35 +08:00 我记得我听过一期播客，他讲做信创的公司都已经给你想好解决办法了，外壳是搞的信创的设备，实际 GPU 都是用的英伟达的。 2 个都要买的，信创的买了给领导看的，英伟达的才是真正干活的。找个信创的公司说你有什么什么需求，能不能满足。 |
 | 15 ntedshen 2024-04-26 16:14:18 +08:00 1 不是怎么远程锁卡这种神奇的论调都出现了。。。 甚至明明都分不清哪张卡是哪张。。。 “8 卡 gpu 应该是 30 多万” 显卡的预算就算三万一张？ 首先得搞清楚 v100 不是 a100 ，v100 就是个古代卡，家用 20 系一代的。。。 16g 的 v100 散装现在四千带票五千就可以买到，32g 的倒是要三万，但是主要是因为大显存贵，不是算力贵。。。 单论硬件规格这东西基本也就和一个 2080ti 差不多，除了 fp32 。。。 所以买 v100 的主要理由应该是你的需求真的需要在八张卡的限定内搞定 256g 显存，算力实际上没有被考虑。。。 而这“Z100 型号单卡性能相当于 V100 60%-70%”，这个百分比想来也是算力的差距。。。 但是当你开始考虑 v100 的时候其实已经意味着你没在考虑算力了。。。 于是乎结论应当是你要只吃显存那信创随便买。。。 要要求算力可以去买 v100 ，但是总的来讲属于咸鱼之选。。。 题外话的。。。 a100 国行是不好买不过 a800 最近卖的挺火。。。 我司来了好几台 nf5280m6 。。。 非要说显存价格比确实是不如 v100 ，甚至 cpu 的双路 xeongold 没能打过家用 12900k 。。。 但是至少是个新卡。。。 |
 | 16 BMAO 2024-04-26 17:08:42 +08:00 国企里面优先考虑风险吧 |
 | 17 n0bin0bita 2024-04-26 17:16:17 +08:00 @ntedshen 不懂就问，A100 真的会锁卡吗？具体形式或原理是啥样的，公司在阿里云上买了 A100 ，阿里云是有什么特权还是有什么小动作，他对外出租显卡，不会吃传票吗，真心好奇求解答 |
| 18 ntedshen 2024-04-26 18:34:04 +08:00 @n0bin0bita 这谁提你问谁啊，就一张卡我还好奇他怎么锁呢。。。 传说中的 intel on demand 也就只是硬件解锁，谁家单一硬件搞加锁的，又不是 switch 。。。 |
| 19 zaizaizai2333 2024-04-26 23:33:49 +08:00 |
| 20 ntedshen 2024-04-27 10:48:33 +08:00 |
 | 21 googol2chen 347 天前 GPU 用英伟达，符合信创要求吗？ |
Select Language