NANO-VLLM LAB

Sequence 状态机

操作一个请求,观察 WAITING、RUNNING、FINISHED 以及 prompt / completion / cached token 的变化。

概念模拟,不执行真实模型

请求对象

WAITINGRUNNINGFINISHED
总 token0
Prompt token0
Completion token0
尚未创建。