Altifigence Academy

17 / 24 · 概念

PE、資料流與 MAC 重用

將 P=3、M=2、K=8 映射至四個輸出駐留 PE。排除寫入,MAC 週期數與有效 MAC 槽利用率各是多少?

決定哪些值留在附近

PE 是具有乘法、累加與小型本地狀態的處理單元。只有運算元與部分和能抵達時,更多 PE 才增加可能的並行量。資料流將迴圈軸映射至時間與 PE 位置,並選擇哪些值留在本地。相同 MAC 次數可能需要非常不同的資料移動。

輸出駐留在供應運算元時,將輸出部分和保留於本地。權重駐留在不同輸入間保留權重,並移動或合併部分和。輸入駐留保留輸入值,以在不同權重間重用。各名稱指出減少哪種移動,不會消除所有其他傳輸。結合重用策略時,描述實際路徑。

輸出駐留映射範例

P=4 個空間位置、M=2 個輸出通道、K=9 個歸約項,產生八個輸出與 72 次 MAC。四個 PE 各擁有一個輸出,每週期執行一項。前四個輸出需九週期,後四個再需九週期:十八個 MAC 週期。每組之後加入一個同時寫結果週期,沒有重疊,總共二十週期。MAC 槽完全利用,但完整操作利用率也包含寫入。

將同一視窗的兩個輸出通道放在不同 PE,廣播共用輸入。若兩通道分別讀取九樣本視窗,供應邊界需要十八次讀取;讀取一次並共用則需九次。不包含 PE 本地讀取或鄰近視窗重用。說明計算流量的邊界。

只保留本地儲存可容納的部分和。七個輸出配置四個 PE,第二組會空出一個 PE。有效性遮罩必須抑制其假結果,利用率也必須只計有效 MAC。

移動部分和可能需要比移動 int8 運算元更寬的傳輸。記錄各類數值的寬度與讀寫次數。重新安排精確整數加總,不改變結果,但中間裁切可能破壞此等價。MIT Eyeriss 專案 提供重視重用的加速器設計第一手範例。此處 PE 數與排程是獨立的假設教學範例。

自己試試看

將 P=3、M=2、K=8 映射至四個輸出駐留 PE。排除寫入,MAC 週期數與有效 MAC 槽利用率各是多少?

查看解說

六個輸出需要兩組與十六個 MAC 週期。共有 64 個 PE 週期槽與 48 次有效 MAC,因此利用率為 75%。

此選擇適用於本瀏覽器,隨時可從頁尾變更。