NANO-VLLM LAB
Tensor Parallel 切分矩阵
选择 GPU 数与切分方式,观察线性层权重如何分片,以及何处需要通信。
概念模拟,不执行真实模型
权重矩阵分片