带宽与计算界限

为算术单元供数

MAC 次数衡量工作量；带宽衡量操作数能多快到达。四个单 MAC PE 理想情况下每周期执行四次 MAC。如果每次 MAC 都读取两个单字节操作数，就需要每周期八字节。复用降低外部流量，但本地缓冲仍需足够端口供给 PE。外部带宽和内部读端口需求是不同量。

计算时间下界为 MAC 次数除以可用 MAC 速率。传送时间下界为字节数除以带宽。完全重叠时，总时间不可能小于两者最大值。不重叠时，两者相加。启动、突发、地址建立、尾部和写入可能增加实际调度时间。

假设设计计算示例

使用 N=1、C=2、H=W=6、M=4，以及无填充的 3×3 卷积。输出为 4×4，工作量为 1152 次 MAC。假设每个张量只读取一次，没有边缘区域重复加载或部分和溢出到外部存储。Int8 输入占 72 字节，权重 72，输出 64，32 位偏置 16：共 224 字节。

四个 PE 的计算下界为 288 周期。每周期一字节时，传送需要 224 周期，因此完全重叠下界为 288。每周期半字节时，传送需要 448 周期，成为较大的下界。每周期一字节且不重叠时，简单相加为 512 周期。每个报告数值都应附带这些假设。

在这个复用假设下，算术强度为 1152/224≈5.14 次 MAC/字节。如果每次 MAC 都读取两个操作数，则使用 2304 个操作数字节；输出和偏置使总量增加为 2384。工作量不变，移动量不同。这有意忽略缓存、压缩和总线对齐，并不是硬件测量。

记录唯一张量尺寸、实际读写字节、部分和流量、有效 PE 操作和总周期。将空闲周期按输入供给不足、输出阻塞、尾部和控制分类。传送占主导时，PE 翻倍不能让时间减半。更好复用可能需要更多存储，因此应结合上一课的分块预算进行分析。