本發明涉及鐵路檢測領域，特別涉及一種基于深度學習的TFDS非故障圖像檢測方法。

背景技術：

我國鐵路發展迅速，成為人們出行、貨物運輸的重要交通工具，在給人們帶來便利的同時，人們對鐵路安全性能的要求也越來越高，任何細小的故障即可引發重大的事故。目前貨車鐵路的故障檢測基于TFDS系統(貨車運行故障圖像動態檢測系統)由監控室內的列檢人員通過圖像復示終端軟件觀察所采集圖像，依賴人眼觀察圖像來完成，每天大量運行的列車需要大量的室內列檢人員來觀察圖像，同時對每個室內列檢人員來說是個巨大的工作量。

盡管目前一些研究人員針對某些特定的故障研究了一些故障自動識別算法，例如張益等在專利號為201110166974.3的發明專利“一種貨車下心盤螺栓丟失故障識別裝置及其識別方法”中提出了一種心盤螺栓丟失的故障識別方法。王敏在碩士論文“貨車底部手把和拉桿的故障識別算法研究”中提出了基于模板匹配和基于目標結構特征的兩種潛在故障區域的定位算法，定位后再對截斷塞門手把關閉和緩解閥拉桿丟失兩類故障進行判定。這些方法對故障出現的場景和故障的形態有很高的要求，而往往故障的種類多樣化，且某個區域可能出現的故障形式也表現為多樣化，因此這些自動故障識別算法效率不高，容易出現漏檢，實用性不高，在現場依靠這些方法對列車進行故障自動識別會存在很大的風險。

從上述分析可以看出，目前現場的鐵路貨車故障檢測還是需要大量的列檢工作人員，然而，在實際鐵路貨車運行中，TFDS采集的圖像中故障圖像所占的比率是非常低的，而非故障圖像占了大多數，因此，若能夠有效檢出大量非故障圖像，只將少量疑似故障圖像留給列檢人員檢測，將可以大大提高工作效率。

技術實現要素：

有鑒于此，本發明的主要目的在于提供一種基于深度學習的TFDS非故障圖像檢測方法，基于深度學習圖像識別和目標檢測技術，使用一個統一的網絡模型同步檢測多類關鍵區域，通過有效的訓練使得該模型只檢測出不包含故障的關鍵部位區域，從而濾除這些非故障圖像，只將少數關鍵部位未檢測出的圖像作為疑似故障圖像，由室內列檢人員人眼觀察檢測。

為達到上述目的，本發明的技術方案是這樣實現的：

一種基于深度學習的TFDS非故障圖像檢測方法，包括以下步驟：

步驟11、收集TFDS圖像，建立非故障圖像訓練樣本圖庫和包含故障及非故障圖像的測試樣本圖庫；

步驟12、采用基于機器學習算法的半自動標注方法標注步驟11的非故障圖像訓練樣本圖庫，得到標注信息，同時由非故障圖像訓練樣本圖庫和標注信息建立關鍵區域圖庫；

步驟13、根據步驟11的非故障圖像訓練樣本圖庫和步驟12的標注信息建立多區域多類別同步關鍵區域檢測的網絡模型，所述網絡模型包括圖像特征提取模塊和目標區域檢測模塊，圖像特征提取模塊用于獲取圖像特征表達，目標區域檢測模塊用于對關鍵區域進行定位檢測；

步驟14、使用步驟12的關鍵區域圖庫預訓練步驟13的圖像特征提取模塊，獲得步驟13的網絡模型中圖像特征提取模塊網絡層的預訓練參數；

步驟15、根據步驟14的預訓練參數初始化網絡模型中的參數，結合步驟11包含故障及非故障圖像的測試樣本圖庫采用多次測試進一步微調的網絡訓練策略訓練步驟12的網絡模型，得到一個只檢測非故障圖像的網絡模型；

步驟16、使用步驟15訓練好的網絡模型檢測現場TFDS圖像，檢測時，先由步驟13的圖像特征提取模塊獲得圖像的特征表達，再由步驟13的目標區域檢測模塊定位關鍵區域，能夠準確檢測出該圖像中關鍵區域的圖像判為非故障圖像，反之判為疑似故障圖像，排除非故障圖像，而疑似故障圖像將由室內列檢人員人眼去觀察判別。

步驟11所述的非故障圖像訓練樣本圖庫是只將包含待檢測關鍵區域的非故障圖像列入訓練樣本圖庫中，且保證包含每類關鍵區域的樣本數基本均衡，避免樣本傾斜；所述包含故障及非故障圖像的測試樣本圖庫則將包含待檢測關鍵區域的故障及非故障圖像均列入測試樣本圖庫中，其中的故障圖像盡可能包含該關鍵區域一些常見表現形式的故障圖像。

步驟12所述的標注非故障圖像訓練樣本圖庫是對步驟11中建立的非故障圖像訓練樣本圖庫采用半自動標注的方法，即人工標注部分圖像，并用這些帶有人工標注的非故障圖像訓練樣本圖庫訓練一個基于機器學習算法構建的分類器，結合該分類器的檢測輔助人工標注；建立關鍵區域圖庫是根據標注信息將非故障圖像訓練樣本圖庫中的關鍵區域裁剪并按照關鍵區域的類別分類。

步驟13所述的建立多區域多類別同步關鍵區域檢測的網絡模型，即建立一個基于深度學習多類別的關鍵區域檢測的網絡模型，用于檢測TFDS圖像中的一些關鍵區域，檢測的類別與待檢測的關鍵區域類別數相一致；關鍵區域檢測的網絡模型基于卷積神經網絡理論，包括圖像特征提取模塊和目標區域檢測模塊，具體包括以下步驟：

(1)基于原圖像建立多層卷積層提取圖像特征得到最后一層卷積特征圖，該卷積特征圖用于目標區域檢測模塊中目標區域的特征表達；(2)根據原圖像提取候選區域，這些候選區域映射至最后一層卷積特征圖得到相應的特征表達，再經過全連接層等至網絡的輸出層，網絡的輸出包括目標區域框的回歸和目標區域框的分類。

其中由(1)得到圖像特征提取模塊，用于建立原圖像的特征表達，從而便于獲取(2)中候選區域的特征表達，由(2)得到目標區域檢測模塊，根據網絡的輸出即可得到網絡模型檢測到的目標區域及該目標區域所屬的類別。

步驟14所述的關鍵區域圖庫預訓練網絡模型，僅預訓練步驟13網絡模型中的圖像特征提取模塊，即從圖像輸入到最后一層卷積特征圖之間的權值參數；通過訓練一個關鍵區域圖庫的分類網絡，得到圖像特征提取模塊中網絡層的預訓練參數，該預訓練參數能夠給步驟13的網絡模型提供一個較好的初始化參數。

步驟15中使用步驟14預訓練得到的權值參數初始化步驟13網絡模型的圖像特征提取模塊中的網絡層參數，而其它參數隨機初始化。

步驟15中，為了防止關鍵區域檢測的網絡模型將包含故障的關鍵區域檢測出來，采用多次測試進一步微調網絡的策略，即訓練好的網絡模型測試步驟11的測試樣本圖庫，將檢測錯的關鍵區域作為負樣本加入訓練樣本圖庫中繼續訓練，經過多次的測試與訓練，獲得最佳模型參數，用訓練好的具有最佳模型參數的網絡模型檢測現場TFDS圖像，能夠準確檢測出關鍵區域的圖像判為非故障圖像，反之判為疑似故障圖像。

步驟15中訓練得到的網絡模型用于現場檢測時，能夠根據現場的檢測結果不斷優化，優化方法為：定期檢查檢測結果，將現場中檢錯的關鍵區域作為負樣本加入至訓練樣本圖庫中繼續訓練，得到更優的模型參數。

本發明與現有技術相比的優點在于：本發明提供的一種基于深度學習的TFDS非故障圖像檢測方法，是一種鐵路故障輔助檢測方法，旨在于通過檢測圖像中非故障的關鍵區域來濾除大量正常圖像，只將少量疑似故障的圖像由室內列檢人員人眼觀察來檢測，這種輔助檢測方法能夠大大減少室內列檢人員的工作量，降低列檢人員的工作強度，在現場有很強的實用性。不同于現有技術，該方法只將正常非故障圖像檢測出來，對故障表現的不同形態不予考慮，尤其對于表現形式多樣化的故障，這種輔助檢測方法能夠有效避免漏檢。同時，基于深度學習技術的關鍵區域檢測算法不需要針對不同類別區域分別設計算法，直接交給網絡去學習，大大減輕了以往人為設計特征提取器的復雜過程，能夠實現同時對多個類別的關鍵區域進行檢測。

附圖說明

圖1為本發明基于深度學習的TFDS非故障檢測方法的總體實現流程圖；

圖2為半自動標注方法的流程示意圖；

圖3為側架部位和部分中間部TFDS圖像及關鍵區域標注。

具體實施方式

以下結合附圖及具體實施例對本發明再作進一步詳細的說明。

圖1為本發明基于深度學習的TFDS非故障檢測方法的總體實現流程圖，如圖1所示，本發明的故障輔助檢測方法包括以下步驟：

步驟11：收集TFDS圖像，建立非故障圖像訓練樣本圖庫和包含故障及非故障圖像的測試樣本圖庫。收集現場采集的不同車次的TFDS圖像，挑選出非故障的圖像建立訓練樣本圖庫，訓練樣本圖庫中包含需要檢測的所有關鍵區域，且包含不同關鍵區域的圖像樣本數要基本均衡，避免樣本傾斜。

將故障和非故障的圖像建立測試樣本圖庫，準備多組測試樣本圖庫，每組的圖像需要包含關鍵區域非故障和故障圖像，其中故障圖像包含關鍵區域中常見高發故障的各種表現形式。

步驟12、采用基于機器學習算法的半自動標注方法標注訓練樣本圖庫，得到標注信息，同時由訓練樣本圖庫和標注信息建立關鍵區域圖庫。標注是要針對每幅圖像每個關鍵區域進行標注的，其中標注信息包括關鍵區域的左上角、右下角的像素坐標、以及關鍵區域的類別，建立與訓練樣本庫一一對應的標注文件。

在基于深度學習有監督的網絡模型中，帶標注的樣本是訓練一個好模型的關鍵所在，且訓練的樣本數越多得到的模型越好，然而訓練樣本標注需要耗費大量的時間，傳統的機器學習算法雖然效果遠不如深度學習算法，但傳統機器學習算法的訓練需要的訓練樣本要少很多，因此借助傳統機器學習算法采用半自動標注的方法，即人工標注部分圖像(約占非故障圖像訓練樣本圖庫的20％-30％)，并將該帶標注樣本訓練一個基于機器學習算法構建的分類器，結合分類器的檢測輔助人工標注。

如圖2所示，半自動標注方法主要包括以下步驟：

a、人工標注部分圖像樣本，并將該帶標注樣本訓練一個基于機器學習算法構建的分類器(例如Adaboost目標檢測分類器)。

b、將未標注的樣本進行分組，每組圖像數與訓練樣本數相等。

c、將一組未標注樣本輸入a中訓練好的分類器中，挑出分類器輸出結果符合要求的樣本，直接使用分類器輸出數據制作該樣本的標注，同時將這些制作好標注的樣本加入原人工標注樣本中作為新的更大的訓練樣本集，再一次訓練該分類器。

d、取一組未標注樣本輸入新訓練好的分類器中，同樣挑出分類器輸出結果符合要求的樣本，使用分類器輸出數據制作該樣本的標注，再將這些帶標注的樣本加入上一次訓練樣本中重新訓練。隨著訓練樣本的增加，三次的訓練能夠大大提高分類器的性能，當然更多次的訓練會讓分類器更加強大，使網絡的輸出結果準確率進一步提高。

e、將剩余未標注樣本以及前兩次標注不符合要求的樣本輸入經過三次訓練好的分類器中，對于分類器輸出結果符合要求的樣本，直接使用輸出數據制作該樣本的標注；對于分類器輸出結果錯誤的樣本，采用人工標注修正。這種機器標注和人工標注結合的標注模式，將大大減少人工標注工作量，降低純人工標注錯誤率。

建立關鍵區域圖庫是將標注好的訓練樣本圖庫中的關鍵區域裁剪并按照區域的類別分類。

步驟13、建立多區域多類別同步關鍵區域檢測的網絡模型，模型包括圖像特征提取模塊和目標區域檢測模塊。關鍵區域檢測包括兩大步：圖像特征提取和目標區域檢測，圖像特征提取采用一個多層的卷積神經網絡模型提取圖像特征，輸入原圖像，經過多層卷積池化等層的作用得到最后一層卷積特征圖，該卷積特征圖為目標區域檢測過程提供特征表達。目標區域檢測可以基于區域預測的檢測方法，在文章“Faster R-CNN:Towards real-time object detection with region proposal networks[C],Advances in neural information processing systems.2015,Montreal,Canada”中有相關描述，也可以基于回歸的檢測方法，在文章“You Only Look Once:Unified,Real-Time Object Detection[J].Computer Science,2016”中有相關描述。

建立的多區域多類別同步關鍵區域檢測的網絡模型，用于檢測TFDS圖像中的一些關鍵區域，其中檢測的類別與關鍵區域類別數相一致。

步驟14、使用關鍵區域圖庫預訓練網絡模型，獲得網絡模型中圖像特征提取網絡層的預訓練參數。使用步驟12建立的關鍵區域圖庫對網絡模型預訓練，僅預訓練網絡模型中圖像特征提取層的參數，即從圖像輸入到最后一層卷積特征圖之間的權值參數。通過訓練一個關鍵區域圖庫的分類網絡，得到預訓練的權值參數。

步驟15、初始化網絡模型中的參數，采用多次測試進一步微調的網絡訓練策略，得到一個只檢測非故障圖像的網絡模型。使用步驟14預訓練得到的權值參數初始化步驟13網絡模型的圖像特征提取網絡層參數，其它參數隨機初始化。用訓練樣本圖庫訓練網絡模型，調整網絡超參數，其中包括：基礎學習速率、沖量、衰減量、學習速衰減策略、最大迭代次數、各層參數學習速率倍率等。

為了防止該關鍵區域檢測的網絡模型也將包含故障區域的圖像檢測出來，采用多次測試進一步微調網絡的策略。即將訓練好的網絡模型測試步驟11的測試樣本圖庫，每次選取一組測試樣本圖庫，將錯檢的關鍵區域圖像作為負樣本加入訓練樣本圖庫中重新訓練，重復多組的微調訓練直到該網絡模型能夠有效的檢測出非故障的關鍵區域，且不把有故障的關鍵區域檢測出來。

步驟16、檢測現場TFDS圖像，通過訓練好的網絡模型排除大量非故障圖像，少量疑似故障圖像由室內列檢人員人眼去觀察判別。通過步驟15中訓練好的網絡模型排除大量非故障圖像，訓練好的網絡模型首先對現場TFDS圖像進行檢測，能夠準確檢測出該圖像中關鍵區域的圖像判為非故障圖像，反之判為疑似故障圖像，疑似故障圖像再由室內列檢人員人眼觀察檢測。

為了說明本發明的TFDS非故障圖像檢測方法，以一具體檢測實例進行說明：

圖3所示為側架部位和部分中間部的TFDS圖像，其中包括的關鍵區域如圖3標記所示，其中關鍵區域1容易發生軸端螺栓丟失、脫落，軸承前蓋丟失、裂損，擋鍵丟失等的故障；區域2容易發生交叉桿端部緊固螺栓丟失，鎖緊板移位、丟失等故障；區域3容易發生搖枕彈簧竄出、丟失、折斷等故障；區域4容易發生截斷塞門把手關閉的故障；區域5、6容易發生人力制動機拉桿鏈折斷、人力制動機拉桿圓銷丟失等故障。這些關鍵區域的故障在鐵路貨車中均屬于高發故障。

按圖1所述步驟對上述的6類區域進行檢測，過程為：

收集TFDS側架部位(包括前臺側架和后臺側架)、中間部的圖像，隨機選取非故障圖像建立包含4500幅圖像的訓練樣本圖庫，再選出600幅圖像建立測試樣本圖庫，該測試樣本圖庫隨機分成3組，每組200幅圖像，該測試樣本圖庫中包括各關鍵區域非故障和故障圖像，其中故障表現形式包括這6類區域下易發生的故障類型，如前面所述。

將訓練樣本圖庫隨機分組，采用步驟12所述的半自動標注的方法標注訓練樣本圖庫。同時，標注后將所有標注的區域裁剪并按照區域類別歸類，建立關鍵區域圖庫。

根據論文“Faster R-CNN:Towards real-time object detection with region proposal networks[C],Advances in neural information processing systems.2015,Montreal,Canada”建立一個基于Faster RCNN的關鍵區域檢測模型，檢測圖3所標記了6類關鍵區域。

使用關鍵區域圖庫對網絡模型預訓練，預訓練網絡模型中卷積層的參數，即從圖像輸入到最后一層卷積特征圖之間的權值參數。通過訓練基于Faster RCNN的圖像分類網絡，即訓練分類關鍵區域圖庫的網絡，得到預訓練的權值參數。

用預訓練的參數初始化網絡模型，其余參數隨機初始化，設定網絡超參數，訓練網絡直至收斂。用一組測試圖像測試該網絡，將錯檢的圖像，即包含故障的關鍵區域也被檢測出來的圖像，該錯檢的關鍵區域作為負樣本，加入訓練樣本圖庫中繼續訓練。訓練好的模型測試第二組測試圖像，同樣將錯檢的關鍵區域作為負樣本，加入訓練樣本圖庫中繼續訓練。最后得到的模型再測試第三組測試圖像。

該方法能夠將90％以上的非故障關鍵區域檢測出來，對于有故障的圖像均不檢測，因此，該方法能夠過濾大量非故障圖像，這樣在現場時可以只將少量疑似故障圖像由室內列檢人員人眼觀察檢測，大大減輕了室內列檢人員的工作量，提高了效率。

以上所述，僅為本發明的較佳實施例而已，并非用于限定本發明的保護范圍。