頻寬與運算下界

供應算術單元

MAC 次數衡量工作量；頻寬衡量運算元能多快抵達。四個單 MAC PE 的理想能力為每週期四次 MAC。每次 MAC 若讀取兩個一位元組運算元，便需要每週期八位元組。重用降低外部流量，但本地緩衝器仍需要足夠埠來供應 PE。外部頻寬與內部讀取埠需求是不同量。

運算下界為 MAC 次數除以可用 MAC 速率。傳輸下界為位元組數除以頻寬。完美重疊時，總時間不可能小於兩者最大值。沒有重疊時則相加。啟動、突發傳輸、位址設定、尾部與寫入，可能增加實際排程。

假設設計範例

使用 N=1、C=2、H=W=6、M=4，以及無填補的有效 3×3 卷積。輸出為 4×4，工作量 1152 次 MAC。假設各張量只讀取一次，沒有周邊重新載入或部分和溢寫。Int8 輸入使用 72 位元組、權重 72、輸出 64，32 位元偏置 16：總共 224 位元組。

四個 PE 的運算下界為 288 週期。每週期一位元組，傳輸需 224 週期，因此完美重疊下界為 288。每週期半位元組，傳輸需 448 週期，成為較大下界。每週期一位元組且無重疊，簡單相加為 512 週期。每個回報數字都應附上這些假設。

依此重用假設，算術強度為 1152/224≈5.14 MAC/位元組。若每次 MAC 都讀取兩個運算元，則使用 2304 位元組運算元；輸出與偏置使總量增至 2384。工作量相同，移動不同。這刻意忽略快取、壓縮與匯流排對齊，不是硬體量測。

記錄唯一張量尺寸、實際讀寫位元組數、部分和流量、有效 PE 操作與總週期。將閒置週期分為輸入不足、輸出阻塞、尾部與控制。傳輸占主導時，PE 加倍無法讓時間減半。更好的重用可能需要更多儲存，因此應與前課分塊預算一起考慮。