

花费了 8w 个 token, 110$的 gpu 服务器成本(一般时间花在 debug 上,一半时间训练)
感受是 gpu 价格及其贵,代码出现 1 个 bug = 10min debug -> 至少 1.2$花销
bug 出现频率高: python 容易写出语法/变量名错误,超参数填的的不对会导致 gpu 计算错误,cuda 和 pytorch 版本问题也会导致出错
总结就是:
1. 犯错的代价是严重的,务必用小批量数据测试代码是否写的正确
2. ai 基建大概率不是泡沫
以上 gpu 是租的便宜的小厂商的,主流云服务价格翻倍

     1   YanSeven      6 小时 22 分钟前  “AI 基建大概率不是泡沫”,这句话是什么意思。   |  
     2   cmos      6 小时 2 分钟前  1. cuda 和 pytorch 版本:我们是用 docker 环境,固定死的。  2. 服务器成本贵、花费高:热度炒起来导致的,我用 Tesla K40 的时候,计算卡还是正常价格,A100 开始疯涨。 3. bug 出现频率高:不熟导致的,先在 RTX PRO 6000 上测试,通过后用集群跑。 4. ai 基建大概率不是泡沫:工业上是很有用的,“民用”上,什么时候能直出黄图、视频,什么时候才能算基建。  |  
     3   importmeta      5 小时 48 分钟前  @YanSeven AI 股票的泡沫论   |  
     4   wangshuo6   OP @importmeta 我不觉得是泡沫   |  
     6   wangshuo6   OP cmos 有道理   |  
     7   xjoker      5 小时 4 分钟前  大佬是租用哪个小厂家的,也想自己玩玩   |  
     8   huaweii      4 小时 12 分钟前 via Android  你用的哪家小厂 gpu 算力服务   |  
     9   cctvbnm111X1      4 小时 10 分钟前  AI 基建还得看国产,等纯国产 3nm 、GDDR7 、HBM3 生产线全部落地,价格就便宜了   |  
     10   lingeo      3 小时 20 分钟前  @cctvbnm111X1 国产不会便宜,首先产能就供不上,其次有产能也是优先给政府单位,还有不是把硬件造出来就行了,配套的驱动、生态都要维护,这块可以看看腾社区的提问。   |  
     11   iwdmb      1 小时 0 分钟前    |