Nối ReLU và gộp cực đại

Bao gồm các tầng hậu xử lý

Suy luận có thể tiếp tục sau tích chập. ReLU chọn giá trị lớn hơn giữa mỗi giá trị thực và 0. Gộp cực đại chọn giá trị lớn nhất trong cửa sổ không gian. Một phép theo phần tử; phép kia đổi kích thước không gian và cần điều kiện hoàn thành khác. Đường của chúng ta lượng tử hóa lại, áp dụng ReLU, rồi gộp cực đại 2×2 không đệm với bước trượt hai. Quy ước làm tròn xuống bỏ hàng hoặc cột cuối chưa đủ.

Với đầu ra lượng tử thô, số 0 thực là điểm 0 đầu ra zy. Thang dương giữ thứ tự, nên ReLU dùng max(q,zy). So mã uint8 với 0 literal khi zy=128 sẽ giữ sai giá trị thực âm.

Tính chuỗi xử lý

Bộ tích lũy [−2,4;6,−8] với hệ số 0.5 và điểm 0 bằng 0 thành [−1,2;3,−4]. ReLU tạo [0,2;3,0], gộp chọn ba. Giảm mẫu không gian và đổi thang số là hai ý riêng. Gộp cực đại chọn mã sẵn có nên giữ thang trong bài tập.

Với điểm 0 128, mã [126,132;134,120] thành [128,132;134,128] sau ReLU và gộp thành mã 134. Tham chiếu vẫn là số 0 thực ngay cả khi biểu diễn lưu trữ đổi. Gộp trung bình sẽ thêm chia và làm tròn, nên không thể thay thế triển khai này.

Cửa sổ âm trước ReLU [−8,−5;−3,−6] có cực đại −3. Chèn sai 0 tại biên đệm cho mẫu không tồn tại thắng. Triển khai có đệm phải loại vị trí đó hoặc dùng giá trị nhỏ nhất đã xác định. Hàm gộp có thể chạy của chúng ta không hỗ trợ đệm.

Gộp các tầng có thể giảm lưu lượng bộ nhớ trung gian, nhưng giữ các giá trị quan sát được để kiểm chứng. So riêng bộ tích lũy, mã lượng tử hóa lại, giá trị kích hoạt và đầu ra gộp. Đầu vào 4×4 cho bốn giá trị gộp; 3×3 cho một theo quy tắc làm tròn xuống đã nêu. Ghi chính sách cửa sổ chưa đủ trong kiểm tra. Xem định nghĩa gốc tại ONNX Relu và ONNX MaxPool.