作者 Andrej Karpathy 是特斯拉前 AI 高级总监、OpenAI 创始团队成员,斯坦福大学博士,现致力于 AI 教育行业。
整个课程通过 8 个循序渐进的视频教程,从最基础的反向传播算法开始,一步步实现一个小 GPT 模型。
GitHub:http://github.com/karpathy/nn-zero-to-hero
主要内容:
– 从零实现反向传播算法,构建 micrograd 自动微分引擎
– 逐步构建字符级语言模型 makemore,理解语言建模基础
– 深入多层感知机内部机制,掌握批量归一化等关键技术
– 手动实现反向传播过程,成为真正的 “反向传播忍者”
– 实战构建类似 WaveNet 的卷积神经网络架构
– 从头实现完整的 GPT Transformer 模型
– 深入理解 GPT 的分词器原理和实现过程
同时每个课程都提供完整的 Jupyter 笔记本和练习题,适合想深入理解 AI 原理的开发者。