[教程] TinyGPT: 在 Mac 本地从头预训练一个 能续写儿童故事的模型

以前手写操作系统，手写数据库... 是程序员的浪漫

现在 AI 时代得多加个手写 LLM

特性

• 完整训练流程: 涵盖从 预训练（ DONE ）、SFT 到 DPO (WIP)
• 低门槛: 无需云端 GPU ，同时兼容 Mac M 芯片
• 为学习而生:
  • 内置 teacher AI，引导式教学
  • 手写模型架构，且不追求性能和效果，仅使用经典算法做入门实现
  • 有类型注释，懂的都懂 ♀...

开始吧！

每个章节相互独立，可任意开始

也可直接让老师带你，比如：

# 在 Cursor ，Claude Code 或任何带 Bash Tool 的环境中： @teacher 带我预训练 

• 预训练: 手搓 10M 的超小模型（比 Qwen3-0.6B 还要小 60 倍）
• SFT (WIP): Qwen3-0.6B 版加法器
• DPO (WIP): 反向安全对齐，Qwen3-0.6B 越狱破限

https://github.com/glidea/tinygpt