Suy luận và huấn luyện

Định nghĩa phép tính trước đường dữ liệu

Suy luận áp dụng trọng số cố định đã chọn trước cho đầu vào trong lượt truyền xuôi. Huấn luyện còn tính hàm mất mát, lan truyền gradient và cập nhật trọng số. Do đó mạch thực hiện tích chập truyền xuôi chứng minh một phép suy luận; tự nó không chứng minh huấn luyện. Khóa học xây dựng đường suy luận số nguyên nhỏ. Phần cứng gradient, bộ tối ưu, độ chính xác phân loại và nhập mô hình tự động nằm ngoài bài tập.

Viết quy ước cho lô N, kênh đầu vào C, kích thước không gian H và W, kênh đầu ra M và kernel R nhân S. Ta dùng thứ tự NCHW. Phần tử đầu ra thông thường tích lũy C×R×S tích. Với đầu ra kích thước N×M×Ho×Wo, đếm N×M×Ho×Wo×C×R×S MAC. Ở đây một MAC nghĩa là một phép nhân có tích lũy. Báo cáo phép toán dấu phẩy động có thể đếm riêng nhân và cộng, nên nêu quy tắc đếm trước khi so sánh báo cáo.

Ví dụ tính toán

Lấy N=1, C=2, H=W=5, M=3 và kernel 3×3, bước trượt một và không đệm. Đầu ra không gian là 3×3. Có 27 phần tử đầu ra, mỗi phần tử tích lũy 18 tích, cho 486 MAC. Vector bias chứa ba số được lưu, một mỗi kênh đầu ra, nhưng bias được cộng tại 27 vị trí đầu ra. Báo riêng các phép cộng đó thay vì âm thầm đổi định nghĩa MAC.

Thứ tự là một phần đúng đắn. Đọc đầu vào ưu tiên kênh kết hợp với diễn giải trọng số ưu tiên không gian sẽ ghép sai toán hạng dù mọi giá trị hợp lệ. Gắn cả kênh và tọa độ không gian cho đầu ra tham chiếu. Bắt đầu với một lô, xác định mỗi tệp tensor và chỉ mở rộng chiều lô khi quy ước cơ bản ổn định.

Ghi kích thước chấp nhận, bước trượt, đệm và phạm vi số. Từ chối rõ yêu cầu không hỗ trợ. Mảng phần mềm linh hoạt không chứng minh RTL hỗ trợ mọi kích thước. Tương tự, đầu ra tham chiếu không đo được tần số, công suất hay độ chính xác mô hình. Bài sau phân biệt giá trị chính xác với ước tính chu kỳ có giả định đã nêu. Với các giai đoạn truyền xuôi, truyền ngược và cập nhật của huấn luyện, xem hướng dẫn PyTorch chính thức.