这是一个创建于 62 天前的主题，其中的信息可能已经有所发展或是发生改变。
花费了 8w 个 token, 110$的 gpu 服务器成本(一般时间花在 debug 上，一半时间训练)
感受是 gpu 价格及其贵，代码出现 1 个 bug = 10min debug -> 至少 1.2$花销
bug 出现频率高: python 容易写出语法/变量名错误，超参数填的的不对会导致 gpu 计算错误，cuda 和 pytorch 版本问题也会导致出错
总结就是:
1. 犯错的代价是严重的，务必用小批量数据测试代码是否写的正确
2. ai 基建大概率不是泡沫
以上 gpu 是租的便宜的小厂商的，主流云服务价格翻倍
 | 1 YanSeven 62 天前 “AI 基建大概率不是泡沫”，这句话是什么意思。 |
 | 2 cmos 62 天前 1. cuda 和 pytorch 版本：我们是用 docker 环境，固定死的。 2. 服务器成本贵、花费高：热度炒起来导致的，我用 Tesla K40 的时候，计算卡还是正常价格，A100 开始疯涨。 3. bug 出现频率高：不熟导致的，先在 RTX PRO 6000 上测试，通过后用集群跑。 4. ai 基建大概率不是泡沫：工业上是很有用的，“民用”上，什么时候能直出黄图、视频，什么时候才能算基建。 |
 | 3 importmeta 62 天前 @YanSeven AI 股票的泡沫论 |
 | 4 wangshuo6 OP @importmeta 我不觉得是泡沫 |
 | 7 xjoker 62 天前 大佬是租用哪个小厂家的，也想自己玩玩 |
 | 8 huaweii 62 天前 via Android 你用的哪家小厂 gpu 算力服务 |
 | 9 cctvbnm111X1 62 天前 AI 基建还得看国产，等纯国产 3nm 、GDDR7 、HBM3 生产线全部落地，价格就便宜了 |
 | 10 lingeo 62 天前 @cctvbnm111X1 国产不会便宜，首先产能就供不上，其次有产能也是优先给政府单位，还有不是把硬件造出来就行了，配套的驱动、生态都要维护，这块可以看看腾社区的提问。 |
 | 11 iwdmb 62 天前 |
 | 12 riceball 61 天前 500M 用得上云跑吗? 本地有一个 16G VRAM ，大概应该也够吧。 或者直接 CPU run,慢就慢。 |
 | 13 c0xt30a 61 天前 训练的数据集方便透漏下么？ 8w 个 token, 是 8B token 的笔误么？ |
Select Language