NANO-VLLM · ATTENTION LAB

先预测 token 5 的物理 slot,再观察 K/V 如何写入分页缓存

这里的 token 位置连续,但它不直接等于显存位置。请从 block_table=[3, 8] 找出 token 5 所在的物理 block 与页内偏移,再验证 slot_mapping 让 scatter 写到了哪里。

概念模拟,不执行真实模型
1设定任务
读取 table 与逻辑位置
2承诺预测
选择目标 physical slot
3运行并解释
映射后 scatter K/V

逻辑 token、block table 与物理缓存

逻辑 block / 页内偏移
选中的物理 block
本轮 physical slot等待预测

Sequence 的逻辑 token 位置

token 0–3 属于逻辑页 0;token 4–7 属于逻辑页 1。

block_table:逻辑页 → 物理 block

logical page 0physical block 3
logical page 1physical block 8
分页 KV Cache:10 个物理 block,每个 4 个 slot黄色格是本题待写入的位置
已有历史 K/V待写入目标scatter 完成后的 K/V
任务已装载。先不要把 token 位置 5 当成 physical slot 5:先从逻辑页、block table、页内偏移三步推导,再执行写入。
你的解释锚点:逻辑 token 位置决定“第几页、页内第几格”;block_table 决定该逻辑页对应的离散物理 block;两者相乘后才得到 scatter 写入的 physical slot。