
目录:
关于我们做到了哪一步 BERT 简介 有趣的观察 预训练过程的有趣现象 数据非常非常重要 从 Finetune 管窥预训练的威力 错误与教训 即使在极小数据集上也无法过拟合 一次性预处理全量数据,CPU 加班,GPU 休假 试图用临时手搓的玩意儿达到很好的性能 workers 和 prefetch 因子设得过大导致 OOM 没有优雅处理 DataLoader worker 的异常 评估时使用了错误的 tokenizer 最后 1 dryadent 41 天前 看错误和教训就知道是真正训练了的, [ workers 和 prefetch 因子设得过大导致 OOM] 这个是刚做的人经常会遇到的问题~ |
2 huangyezhufeng OP @dryadent ,确实是踩过坑才知道:D |