NANO-VLLM LAB

Tensor Parallel 切分矩阵

选择 GPU 数与切分方式,观察线性层权重如何分片,以及何处需要通信。

概念模拟,不执行真实模型

权重矩阵分片