Skip to content

00 · 学习路线与运行环境

00 · 学习路线与运行环境

学完本节,你会得到

  • 一条适合自己的学习路线:概念轨、源码轨或真实运行轨
  • 对硬件限制的正确预期,不会把安装失败误认为“自己不适合学”。
  • 一个可复用的环境检查清单。

先说结论:没有 GPU 也能学

这本书里的 13 个互动场景都是纯 HTML、CSS 与 JavaScript,可以直接在浏览器运行。源码阅读同样不需要 GPU。只有真正执行 nano-vLLM 推理时,才需要适配的 Linux、NVIDIA CUDA 环境以及能够安装 PyTorch、Triton 和 FlashAttention 的 Python 环境。

上游 pyproject.toml 当前声明 Python >=3.10,<3.13,并依赖 PyTorch、Triton、Transformers、FlashAttention 与 xxhash。教程建议使用独立虚拟环境:

bash
python3.11 -m venv .venv
source .venv/bin/activate
python -m pip install -U pip
pip install git+https://github.com/GeeeekExplorer/nano-vllm.git

下载示例模型时,使用当前 Hugging Face CLI 的 hf download

bash
pip install -U huggingface_hub
hf download Qwen/Qwen3-0.6B --local-dir ~/huggingface/Qwen3-0.6B

WARNING

上游 README 曾使用 huggingface-cli download --resume-download。Hugging Face CLI 已演进为 hf 命令,本教程使用新写法。上游 issue #179 也记录了旧命令失效问题。

三条学习路线

路线适合你做法
概念轨没有 GPU、第一次接触推理系统完成互动实验、术语表和每章习题
源码轨会 Python,想读懂架构按章节打开对应文件,手画调用链
运行轨有 CUDA 环境,想调试与改造先跑 example.py,再加日志与 benchmark

环境自检

仓库提供了 examples/check_runtime.py。它不会安装依赖,只会告诉你当前 Python、CUDA 和关键包是否可用:

bash
python examples/check_runtime.py

把环境问题拆成四层:操作系统与驱动、CUDA 可见性、Python 包、模型文件。一次只验证一层,不要一口气重装所有东西。

HTML INTERACTIVE LAB00 · 学习路线与运行环境
单独打开 ↗
课后习题等待完成

没有 NVIDIA GPU 时,最合理的学习方式是什么?

动手任务

运行 examples/check_runtime.py,把输出记录在学习笔记中,并标出你当前属于概念轨、源码轨还是运行轨。

下一节:第一次推理

社区教程,与 nano-vLLM 上游项目无官方隶属关系。