Băng thông và giới hạn tính toán

Cấp dữ liệu cho số học

Số MAC đo công việc; băng thông đo tốc độ toán hạng tới nó. Bốn PE một MAC cho lý tưởng bốn MAC mỗi chu kỳ. Tải hai toán hạng một byte cho mỗi MAC sẽ cần tám byte mỗi chu kỳ. Tái sử dụng giảm lưu lượng ngoài, nhưng bộ đệm cục bộ vẫn cần đủ cổng cấp PE. Băng thông ngoài và nhu cầu cổng đọc nội bộ là đại lượng khác.

Giới hạn dưới tính toán là số MAC chia tốc độ MAC khả dụng. Giới hạn dưới truyền là byte chia băng thông. Với chồng lấp hoàn hảo, tổng thời gian không thể ngắn hơn giá trị lớn nhất của chúng. Không chồng lấp thì cộng lại. Khởi động, burst, thiết lập địa chỉ, phần dư và ghi có thể tăng lịch thực.

Tính thiết kế giả định

Dùng N=1, C=2, H=W=6, M=4 và tích chập 3×3 không đệm. Đầu ra là 4×4, công việc 1152 MAC. Giả sử mỗi tensor tải một lần, không tải lại vùng bao hay tràn tổng riêng ra bộ nhớ. Đầu vào int8 dùng 72 byte, trọng số 72, đầu ra 64 và bias 32 bit 16: tổng 224 byte.

Bốn PE cho giới hạn tính toán 288 chu kỳ. Tại một byte mỗi chu kỳ, truyền cần 224 chu kỳ, nên giới hạn chồng lấp hoàn hảo là 288. Tại nửa byte mỗi chu kỳ, truyền cần 448 và trở thành giới hạn lớn hơn. Không chồng lấp tại một byte mỗi chu kỳ, tổng đơn giản là 512 chu kỳ. Gắn các giả định này với mọi con số được báo.

Theo giả định tái sử dụng, cường độ số học là 1152/224≈5.14 MAC mỗi byte. Nếu tải cả hai toán hạng mỗi MAC sẽ dùng 2304 byte toán hạng; đầu ra và bias tăng tổng thành 2384. Công việc không đổi; di chuyển khác. Ví dụ cố ý bỏ qua cache, nén và căn chỉnh bus, không phải phép đo phần cứng.

Ghi kích thước tensor duy nhất, byte đọc/ghi thực, lưu lượng tổng riêng, phép toán PE hữu ích và tổng chu kỳ. Phân loại chu kỳ rỗi theo thiếu đầu vào, chặn đầu ra, phần dư và điều khiển. Nhân đôi PE không thể giảm nửa thời gian khi truyền chiếm ưu thế. Tái sử dụng tốt hơn có thể cần nhiều lưu trữ, nên xem phân tích cùng ngân sách khối trước.