小规模语言模型训练流程

语言模型系统 · Nanochat Study

学习分词器训练、预训练、监督微调和强化学习之间的关系。

查看项目源码 →

问题

把训练规模缩小后，哪些环节更容易独立检查和理解？

实现与可检查依据

学习分词器训练、预训练、监督微调和强化学习之间的关系。

本页提供技术栈和项目源码作为检查入口。记录中没有测试设置、运行输出或独立测量数据。

结果

仓库将 BPE、预训练、监督微调和强化学习组织在同一套学习流程中。

记录边界

本页只整理已有的问题、摘要、结果说明、技术栈和链接。它不提供测试过程或线上效果证明。实现状态以仓库当前内容为准。

源码与项目入口

查看 Nanochat Study 的源仓库；有独立演示网站时，也可以直接打开。