LLMs-from-scratch

LLMs-from-scratch 简介

LLMs-from-scratch 是一个由开发者 rasbt 发起的开源项目，目标是用 PyTorch 从零开始搭建一个类似 ChatGPT 的大型语言模型。它并不是直接给你一个训练好的模型，而是把构建 LLM 的完整过程拆解成可以跟着做的步骤，从数据预处理、注意力机制实现，一直走到模型训练、微调与部署。对于想弄明白大语言模型内部到底发生了什么的人来说，这类开源项目的价值在于「看得见、改得动」，你可以直接运行每一段代码，观察结果如何随参数变化。项目同时也提供了中文翻译版本，方便中文读者对照学习。

• LLMs-from-scratch 开源项目官网入口网址：https://github.com/rasbt/LLMs-from-scratch
• LLMs-from-scratch 中文翻译项目入口网址：https://github.com/datawhalechina/llms-from-scratch-cn

项目特色与学习方式

• 从零构建：不依赖现成的高层封装，一步步写出注意力机制、前馈网络等核心组件，理解每一行的作用。
• 全程 PyTorch：所有代码基于 PyTorch 编写，便于快速实验、随时改动，也方便和自己的工作流衔接。
• 分步教程：内容按数据准备、模型搭建、预训练、微调的顺序组织，跟着做就能跑通完整流程。
• 互动学习：项目鼓励亲自动手运行和修改代码，通过反复试验去体会语言模型的工作机制与局限。

适合人群与配套资源

• 入门友好：适合具备一定 Python 基础、对人工智能和自然语言处理感兴趣的开发者和学生。
• 配套读物：与 Sebastian Raschka 的《Build a Large Language Model (From Scratch)》相互对应，可对照阅读。
• 中文译版：借助社区维护的中文翻译项目，降低阅读英文教程的门槛。
• 社区共享：以开源方式汇聚课程、博客与仓库等资源，方便持续跟进和互相交流。

如果你希望在动手过程中真正理解大语言模型的原理，而不是停留在调用接口的层面，LLMs-from-scratch 值得花时间跟着做一遍。建议先从官方仓库的教程顺序入手，遇到卡点再配合中文译本和配套书籍查阅，学习效果会更扎实。