1.一種基于局部收斂權陣進化的BP神經網絡MapReduce訓練方法,其特征在于包括以下步驟:
步驟一、將訓練樣本集劃分成多個輸入數據分片,每個輸入數據分片對應傳遞到一個Map任務中;
步驟二、各Map任務接收輸入數據分片,分別使用獲得的輸入數據分片對初始BP神經網絡進行迭代訓練,首次訓練時初始BP神經網絡的權陣隨機產生,Map任務結束,每個Map任務產生一個對輸入數據分片達到局部收斂的權陣,之后將各權陣傳遞到Reduce任務作為遺傳算法的初始種群;
步驟三、Reduce任務接收到所有Map任務產生的局部收斂權陣,利用遺傳算法對各局部收斂權陣進行進化,最終輸出經遺傳算法優化的種群;
步驟四、步驟一~三作為MapReduce訓練BP神經網絡的一次迭代,當一次迭代結束后,利用步驟三輸出的種群中的各局部收斂權陣對訓練樣本集進行全局收斂性判斷;如果該輪次已經產生對訓練樣本集全局收斂的權陣,則MapReduce訓練結束;否則選取步驟三最終輸出種群中適應度最高的個體,作為下輪MapReduce迭代時所有Map任務的初始權陣;
步驟五、重復進行步驟二~四,直到MapReduce訓練BP神經網絡達到全局收斂時訓練結束。
2.根據權利要求1所述的基于局部收斂權陣進化的BP神經網絡MapReduce訓練方法,其特征在于:步驟四中判斷某局部收斂權陣是否對訓練樣本集全局收斂的過程如下:每個Map任務分別將步驟三輸出種群中的每個個體作為初始權陣,通過各自的輸入數據分片對BP神經網絡進行迭代訓練,得出的累積誤差取均值,得出誤差均值E,所有Map任務對于某個個體得出誤差均值集合{E1,E2,...,En},n為Map任務的個數,當每個Map任務最終產生的誤差均值都達到預期誤差,即max{E1,E2,...,En}<δ時,即可判定該個體即局部收斂權陣對訓練樣本集已經全局收斂。
3.根據權利要求2所述的基于局部收斂權陣進化的BP神經網絡MapReduce訓練方法,其特征在于:步驟四中適應度的判斷函數為其中,F表示適應度,E’表示每個個體代表的局部收斂權陣對于訓練樣本集的誤差,該誤差由該個體對于所有輸入數據分片得出的誤差均值E取平均獲得,即E’=(E1+E2+...+En)/n。
4.根據權利要求1所述的基于局部收斂權陣進化的BP神經網絡MapReduce訓練方法,其特征在于:步驟二中各Map任務并行訓練各輸入數據分片。