这是一个创建于 41 天前的主题，其中的信息可能已经有所发展或是发生改变。
目录：
关于我们做到了哪一步 BERT 简介 有趣的观察 预训练过程的有趣现象 数据非常非常重要 从 Finetune 管窥预训练的威力 错误与教训 即使在极小数据集上也无法过拟合 一次性预处理全量数据，CPU 加班，GPU 休假 试图用临时手搓的玩意儿达到很好的性能 workers 和 prefetch 因子设得过大导致 OOM 没有优雅处理 DataLoader worker 的异常 评估时使用了错误的 tokenizer 最后  | 1 dryadent 41 天前  1 看错误和教训就知道是真正训练了的， [ workers 和 prefetch 因子设得过大导致 OOM] 这个是刚做的人经常会遇到的问题～ |
 | 2 huangyezhufeng OP @dryadent ，确实是踩过坑才知道:D |
Select Language