1.混合精度深度學習算法,其特征在于:包括以下步驟:
S101、利用單精度眾核處理器進行前向傳播計算,對每一網絡層計算出每一個神經元的值;
S102、利用單精度眾核處理器進行后向傳播計算,對每一網絡層計算出誤差殘量值;
S103、利用單精度眾核處理器計算權值的增量;
S104、將單精度眾核處理器計算出的增量權值更新到高精度眾核處理器計算出的增量權值上,完成一次迭代計算。
2.根據權利要求1所述的混合精度深度學習算法,其特征在于:所述混合精度深度學習算法發生于深度學習的迭代后期。
3.根據權利要求1所述的混合精度深度學習算法,其特征在于:步驟102中,所述進行后向傳播計算,對每一網絡層計算出誤差殘量值,具體包括:
將上一層的殘差乘以當前層的權值,并與當前層的梯度做乘法,得出所有層的誤差殘量值。
4.根據權利要求1所述的混合精度深度學習算法,其特征在于:步驟103中,所述計算權值的增量,具體包括:
利用后向傳播中計算出來的每一網絡層的殘差值,通過梯度等計算出權值變化量。