从零实现 GPT-2 规模大模型：NanoEuler 的教学价值与工程意义
NanoEuler 用纯 C/CUDA 从零实现 GPT-2 规模 LLM，无任何依赖。在 API 调用即可用最强模型的年代，从零实现仍有价值：模型调试、端侧部署、安全研究、教学。
教学项目生态
- nanoGPT：Python/PyTorch，教学首选
- micrograd：Python autograd 引擎
- NanoEuler：纯 C/CUDA，最新成员
为什么叫“欧拉”？
残差块用于计算残差值。
x = x + f(x)
可以将其视为数值积分的一种实现方式。前向欧拉法通过某种方式来推进常微分方程 dx/dt = f(x) 的求解过程。
x(t+Δt) = x(t) + Δt · f(x(t))
当步长为 Δt = 1 时，这实际上就是所谓的残差更新过程。因此，深度残差网络可以被看作是一种离散化的常微分方程：网络的深度对应于积分时间，而每一层则相当于将隐藏状态向前推进一个欧拉步长。这一理念正是“神经常微分方程”理论的基础（实际上，残差网络就是连续过程的欧拉离散化形式）。该项目的命名源自莱昂哈德·欧拉，正是他提出了这种积分方法。