im2col và nhân ma trận

Biểu diễn lại phép toán

im2col trải phẳng mỗi cửa sổ đầu vào thành vector để nhân ma trận. Ta đặt một patch mỗi hàng. Ma trận A có P×K phần tử, với P=HoWo và K=CRS. Trọng số trải phẳng tạo cột của ma trận B, kích thước K×M. Tích AB có kích thước P×M. Quy ước khác đặt patch trong cột, nên xác lập trục thay vì suy từ tên.

Có thể tạo đầy đủ ma trận patch hoặc tạo patch theo nhu cầu. Cả hai cho cùng số với lưu trữ và băng thông khác. Có engine nhân ma trận không đòi hỏi ghi toàn bộ ma trận mở rộng ra bộ nhớ ngoài.

Tính ma trận

Với [1,2,3;4,5,6;7,8,9] và cửa sổ 2×2, A có các hàng [1,2,4,5], [2,3,5,6], [4,5,7,8] và [5,6,8,9]. Kernel [1,2;3,4] cho cột trọng số [1,2,3,4]. Bốn tích vô hướng là 37,47,67,77. Vì thế 4×4 nhân 4×1 cho 4×1, rồi xếp lại thành đầu ra 2×2.

Đầu vào gốc có chín phần tử; ma trận mở rộng có mười sáu. Giá trị giữa năm xuất hiện bốn lần, còn giá trị góc một xuất hiện một lần. Tái sử dụng không gian trở thành trùng lặp trong biểu diễn tạo sẵn. Một vector trọng số được tái sử dụng cho cả bốn patch. Tính P×K và so với C×H×W trước khi phân bổ lưu trữ. Vùng đầu ra lớn hơn có thể làm trùng lặp đáng kể.

Với nhiều kênh, trải patch và trọng số theo cùng thứ tự c,r,s. Patch hai kênh 1×1 là [x0,x1]; chỉ đảo kênh trọng số làm đổi kết quả. Bắt đầu với giá trị kênh bất đối xứng. Tích chập nhóm tạo vector nhóm riêng thay vì đưa mọi kênh đầu vào vào một cách không phân biệt.

Khớp mô hình trực tiếp kiểm chứng giá trị số học, không kiểm chứng truyền bộ nhớ vật lý hay hoạt động PE đồng thời. Chương sau tạo cửa sổ tương đương từ luồng; chia khối sau đó tránh lưu cả tensor mở rộng. Ghi kích thước ma trận trung gian và mức trùng lặp cùng giá trị đầu ra để chi phí ánh xạ vẫn thấy rõ.