本發明涉及一種學習故障條件的機械學習方法及機械學習裝置、以及具備該機械學習裝置的故障預知裝置及故障預知系統。

背景技術：

在工業機械中，為了提高成品率或防止發生嚴重的事故，有時要求事先檢測結構部件的異常。例如，已知將傳感器的輸出值與預先決定的閾值進行比較，根據其結果檢測異常的方法。在這里，“工業機械”不僅是指工業用機器人或通過計算機數值控制(CNC：Computer Numerical Control)裝置進行控制的機械，還意味著包含服務用機器人或各種各樣的機械裝置的機械。

在日本特開昭63-123105號公報中公開了將正常狀態的機器人的標準動作模式與動作中的機器人的動作模式進行比較來預知機器人故障的故障預知診斷方法。

在日本特開平10-039908號公報中公開了將基于驅動軸的實際的動作狀態的負載側功率與基于對驅動軸的動作指令的驅動側功率之間的差與判定值進行比較，由此來評價機器人結構部有無惡化以及惡化等級的故障預知方法。

然而，隨著工業機械的復雜化或升級，造成故障的原因也復雜化。因此，按照一定的標準執行的現有的故障預知方法無法適用于實際狀況，或缺乏正確性。因此，尋求根據狀況能夠進行正確的故障預知的故障預知裝置。

技術實現要素：

根據本申請的第一發明，提供了一種機械學習裝置，其學習與工業機械的故障相關聯的條件，其具備：狀態觀測部，其在所述工業機械動作中或靜止中觀測狀態變量，該狀態變量包含檢測所述工業機械或周圍環境的狀態的傳感器的輸出數據、控制所述工業機械的控制軟件的內部數據、以及基于所述輸出數據或所述內部數據得到的計算數據中的至少一個；判定數據取得部，其取得判定了所述工業機械有無故障或故障程度的判定數據；學習部，其按照基于所述狀態變量以及所述判定數據的組合生成的訓練數據組，學習與所述工業機械的故障相關聯的條件。

根據本申請的第二發明，在第一發明的機械學習裝置中，所述學習部構成為按照針對多個工業機械生成的所述訓練數據組來學習所述條件。

根據本申請的第三發明，在第一發明或第二發明的機械學習裝置中，所述學習部構成為只在某個固定期間學習正常狀態，之后基于所述判定數據取得部檢測故障發生。

本申請的第四發明是在第一發明至第三發明中的任意一個發明的機械學習裝置中，所述學習部構成為在所述判定數據取得部取得了表示所述工業機械的故障的判定數據時，對應于從故障發生時開始追溯到取得所述判定數據時的時間長度，對所述訓練數據組中包含的所述判定數據進行加權來更新所述條件。

根據本申請的第五發明，提供了一種故障預知裝置，其具備第一發明至第四發明中的任意一發明的機械學習裝置，預知所述工業機械故障，該故障預知裝置還具備故障信息輸出部，其基于所述學習部按照所述訓練數據組進行學習的結果，對當前的所述狀態變量的輸入進行響應來輸出表示所述工業機械有無故障或故障程度的故障信息。

根據本申請的第六發明，在第五發明的故障預知裝置中，所述學習部構成為按照基于所述當前的狀態變量以及所述判定數據的組合生成的追加的訓練數據組來再次學習所述條件。

根據本申請的第七發明，在第五發明或第六發明的故障預知裝置中，構成為所述機械學習裝置經由網絡與所述工業機械連接，所述狀態觀測部經由所述網絡來取得所述當前的狀態變量。

根據本申請的第八發明，在第七發明的故障預知裝置中，所述機械學習裝置存在于云服務器上。

根據本申請的第九發明，在第五發明至第八發明中的任意一發明的故障預知裝置中，將所述機械學習裝置內置在控制所述工業機械的控制裝置中。

根據本申請的第十發明，在第五發明至第九發明中的任意一發明的故障預知裝置中，由多個所述工業機械共享所述機械學習裝置的學習結果。

根據本申請的第十一發明，提供了一種故障預知系統，其具備：第五發明至第十發明中的任意一發明的故障預知裝置；輸出所述輸出數據的傳感器；向操作者通知所述故障信息的故障信息通知部。

根據本申請的第十二發明，在第十一發明的故障預知系統中，通過所述故障信息通知部向操作者通知所述故障信息的時期滿足從故障發生的時期開始進行追溯在通過第一預定期間決定的時期之前，以及從故障發生的時期開始進行追溯在通過第二預定期間決定的期間之后中的至少一方。

根據本申請的第十三發明，提供了一種機械學習方法，其學習與工業機械的故障相關聯的條件，其在所述工業機械動作中或靜止中觀測狀態變量，該狀態變量包含檢測所述工業機械或周圍環境的狀態的傳感器的輸出數據、控制所述工業機械的控制軟件的內部數據、以及基于所述輸出數據或所述內部數據得到的計算數據中的至少一個，取得判定了所述工業機械有無故障或故障程度的判定數據，按照基于所述狀態變量以及所述判定數據的組合生成的訓練數據組，學習與所述工業機械的故障相關聯的條件。

附圖說明

通過參照以下的附圖，會更明確地理解本發明。

圖1是表示一個實施方式的故障預知系統的一個例子的框圖。

圖2是表示機械學習裝置的學習過程的流程的一個例子的流程圖。

圖3表示神經網絡的結構例子。

圖4是用于說明無教師的學習方法的學習期間的一個例子。

圖5是用于說明循環型神經網絡的一個例子。

圖6是表示其他的實施方式的故障預知系統的一個例子的框圖。

圖7用于說明實施方式的故障預知系統的表示故障程度的指標值的例子(其1)。

圖8用于說明實施方式的故障預知系統的表示故障程度的指標值的例子(其2)。

圖9是表示利用了學習結果的故障預知的流程的一個例子的流程圖。

具體實施方式

以下，參照附圖來說明本發明的機械學習方法及機械學習裝置，以及具備該機械學習裝置的故障預知裝置及故障預知系統的實施方式。然而，希望理解本發明并不限于附圖或以下說明的實施方式。為了幫助理解本發明，對于圖示的實施方式的結構要素，適當變更了比例尺。另外，對于相同或對應的結構要素使用相同的參照符號。

圖1是表示一實施方式的故障預知系統的一個例子的框圖。故障預知系統1能夠使用具有機械學習功能的機械學習裝置5來學習與工業機械的故障相關聯的條件(以下稱為“故障條件”)。另外，故障預知系統1能夠基于機械學習裝置5進行學習的結果來生成與工業機械及其周圍環境的狀態對應的故障信息。

在本說明書中，“工業機械”意味著包含工業用機器人、服務用機器人以及由計算機數值控制(CNC)裝置控制的機械在內的各種各樣的機械。另外，在本說明書中，“工業機械的故障”包含工業機械的結構部件的故障。即，“工業機械的故障”并不限于無法執行意圖的工業機械功能的狀態，例如，還包含無法暫時或恒久地再現正常時的動作這樣的狀態。

通過故障預知系統1生成的“故障信息”包含表示工業機械有無故障的信號或表示“故障的程度”的信息。“故障信息”也可以包含表示工業機械為正常狀態的信息。“故障的程度”意味著故障的嚴重性。“故障的程度”也可以限制最大值或最小值中的任意一方。“故障的程度”可以是連續量也可以是離散量。操作者能夠根據“故障的程度”判斷是應該直接進行對象的結構部件的更換或修理、或是應該在下次的維護作業時進行對象的結構部件的更換或修理。

在以下的說明中，說明為了預知機器人2的故障所使用的故障預知系統1。然而，本領域的人員應該認識到對于其他任意的工業機械也能夠同樣地應用本發明。

圖1所示的機器人2是通過電動機驅動各個關節的六軸垂直多關節機器人。機器人2通過公知的通信單元與機器人控制裝置3相連接。機器人控制裝置3按照控制程序生成針對機器人2的指令。

機器人控制裝置3是具備CPU、ROM、RAM、非易失性存儲器以及與外部裝置相連接的接口的數字計算機。機器人控制裝置3如圖1所示，具備故障判定部31。

故障判定部31利用公知的故障診斷方法來判定機器人2的故障。故障判定部31與通過故障預知系統1生成的故障信息相獨立，判定機器人2有無故障或故障的程度。例如，在通過扭矩傳感器檢測的干擾扭矩、或傳感器的輸出數據的振動的振幅超過預先決定的閾值時，故障判定部31判定為發生了故障。或者，故障判定部31也可以基于在機器人控制裝置3中存儲的控制軟件的內部數據來判定機器人2發生了故障。如此，故障判定部31判定基于各種原因的故障。向后述的機械學習裝置5的判定數據取得部51輸入故障判定部31的判定結果。

在其他的實施方式中，機械學習裝置5也可以構成為對發現或已得知機器人2的故障的操作者的輸入操作進行響應，向判定數據取得部51輸入故障信息。

故障預知系統1還具備檢測機器人2或周圍環境的狀態的傳感器11。傳感器11可以包含力傳感器、扭矩傳感器、振動傳感器、集音傳感器、拍攝傳感器、距離傳感器、溫度傳感器、濕度傳感器、流量傳感器、光量傳感器、pH傳感器、壓力傳感器、粘度傳感器以及氣味傳感器中的至少一個。把從傳感器11輸出的數據(以下簡稱為“輸出數據”)輸入到機械學習裝置5的狀態觀測部52。

機械學習裝置5學習機器人2的故障條件。在一實施方式中，機械學習裝置5也可以是與經由網絡與機器人2連接的機器人控制裝置3不同的數字計算機。

在其他的實施方式中，機械學習裝置5也可內置在機器人控制裝置3中。此時，機械學習裝置5利用機器人控制裝置3的處理機來執行機械學習。另外在其他的實施方式中，機械學習裝置5也可以存在于云服務器上。

如圖1所示，機械學習裝置5具備判定數據取得部51、狀態觀測部52、學習部53。

判定數據取得部51從故障判定部31取得判定數據。將判定數據從判定數據取得部51輸入到學習部53，該判定數據在機械學習裝置5學習故障條件時使用。判定數據是判定了有無故障或故障程度的數據。判定數據也可以不包含表示有故障的情況、即表示機器人2處于異常狀態的數據。

狀態觀測部52在機器人2動作中或靜止中觀測作為機械學習的輸入值的狀態變量。在機械學習裝置5經由網絡與機器人2以及傳感器11相連接的實施方式中，狀態觀測部52經由網絡取得狀態變量。

狀態變量可以包含傳感器11的輸出數據。狀態變量也可以包含控制機器人2的控制軟件的內部數據。內部數據可以包含扭矩、位置、速度、加速度、加加速度、電流、電壓以及推定干擾值中的至少任意一個。推定干擾值例如是基于扭矩指令以及速度反饋通過觀測器推定的干擾值。

狀態變量也可以包含基于輸出數據或內部數據得到的計算數據。可以利用頻率解析、時間頻率解析以及自我相關解析中的至少一個來取得計算數據。當然，也可以利用更簡單的計算，例如系數乘法運算或微分積分運算來取得計算數據。

學習部53按照基于從狀態觀測部52輸出的狀態變量、以及從判定數據取得部51輸出的判定數據的組合而生成的訓練數據組，來學習故障條件。訓練數據組是將狀態變量以及判定數據相互關聯起來的數據。

參數圖2對機械學習裝置5中的學習過程的一個例子進行說明。當開始學習時，在步驟S201中，狀態觀測部52取得包含輸出數據、內部數據或計算數據等的狀態變量。在步驟S202中，判定數據取得部51基于故障判定部31的判定結果來取得判定數據。

在步驟S203中，學習部53按照訓練數據組來學習故障條件，訓練數據組基于在步驟S201取得的狀態變量與在步驟S202取得的判定數據的組合而生成。在機械學習裝置5充分學習故障條件之前重復執行步驟S201～S203的處理。

在一個實施方式中，機械學習裝置5的學習部53也可以按照神經網絡模型來學習故障條件。圖3表示神經網絡模型的例子。神經網絡由包含l個神經元x₁、x₂、x₃、…、x_l的輸入層、包含m個神經元y₁、y₂、y₃、…、y_m的中間層()、包含n個神經元z₁、z₂、z₃、…、z_n的輸出層構成。此外，在圖3中，只表示了一層的中間層，但是也可以設置兩層以上的中間層。此外，機械學習裝置5(神經網絡)可以使用通用的計算機或處理器，但是在使用GPGPU(General-Purpose computing on Graphics Processing Units通用計算圖形處理單元)或大規模PC集群等時，能夠更高速地進行處理。

神經網絡學習與機器人2的故障相關聯的故障條件。神經網絡按照訓練數據組，通過所謂的有教師學習來學習狀態變量與故障發生之間的關系性，即故障條件，其中，訓練數據組是基于狀態觀測部52觀測到的狀態變量以及判定數據取得部51取得的判定數據的組合而生成的。有教師學習是指通過向學習裝置大量地提供某個輸入和結果(標簽)的數據組，從而能夠學習在這些數據組中具有的特征，歸納性地獲得根據輸入推定結果的模型，即其關系性。

或者，神經網絡還能夠只積蓄無故障的狀態，即機器人2正在正常進行動作時的狀態變量，通過所謂的無教師學習來學習故障條件。例如，無教師學習的方法在機器人2的故障頻率極低時是有效的。無教師學習是指以下的方法：通過只將輸入數據大量地提供給學習裝置，來學習輸入數據進行了怎樣的分布，即使不提供對應的教師輸出數據，也會學習針對輸入數據進行壓縮/分類/整形等處理的裝置。能夠將這些數據組中具有的特征以彼此相似的方式進行類聚。使用該結果，設置某種基準來進行使其最優的輸出分配，由此能夠實現輸出的預測。另外，作為無教師學習和有教師學習的中間的問題設定，還有被稱為半教師學習的學習，只存在一部分的輸入和輸出的數據的組合，除此之外只是輸入的數據的情況相當于該半教師學習。

圖4用于說明無教師的學習方法的學習期間的一個例子。在這里，橫軸表示時間(時間的經過)，縱軸表示故障的程度。如圖4所示，上述的無教師的學習方法將以機器人2剛出廠后或剛進行維護后等為起點的某個固定期間，例如將數周時間設為學習期間，只在此時更新狀態變量，并定義為正常狀態。然后，此后不進行狀態變量的更新，根據從神經網絡輸出的輸出結果基于與正常模型的距離來輸出“故障的程度”從而僅進行異常判定，由此能夠實現異常檢測。

另外，在本實施方式中，例如，因為將時間上具有相關性的時間序列數據進行模型化，因此使用被稱為循環型的神經網絡也是有效的。循環神經網絡(RNN：Recurrent Neural Network)并非僅使用當前時刻的狀態來形成學習模型，也使用到此為止的時刻的內部狀態。針對循環神經網絡，通過將時間軸的網絡展開來進行考慮，能夠與一般的神經網絡同樣地進行處理。在此，循環神經網絡也具有多種，作為一個例子說明簡單遞歸網絡(Elman網絡)。

圖5用于說明循環型神經網絡的一個例子。圖5(a)表示Elman網絡的時間軸展開，圖5(b)表示誤差反向傳播算法(反向傳播算法：Backpropagation)的沿時間反向傳播(BPTT：Back Propagation Through Time)。在這里，如果是圖5(a)所示的Elman網絡的結構，則能夠應用反向傳播算法。

但是，在Elman網絡中，與通常的神經網絡不同，如圖5(b)所示，誤差以追溯時間的方式傳播，將這樣的反向傳播算法稱為沿時間反向傳播(BPTT)。通過應用這樣的神經網絡結構，能夠推定出考慮了到目前為止的輸入的遷移的輸出模型，例如，能夠將該推定的輸出值是否為某個異常值用作與故障發生具有關系。

在進行后述的故障預知時，對向神經網絡的輸入層輸入的狀態變量進行響應，輸出層輸出表示有無與上述的故障信息對應的故障的信息或“故障的程度”。此外，“故障的程度”的可取值可以是將最大值和最小值中的任意一個進行了限制的值，或者是連續量或離散量。

通過上述實施方式的機械學習裝置以及機械學習方法，與基于從判定數據取得部51輸出的判定數據的故障條件相比，能夠學習與實際的使用狀況對應的正確的故障條件。由此，即使在造成故障的原因復雜，難以預先設定故障條件的情況下，也能夠實現高精度的故障預知。

在一實施方式中，在判定數據取得部51取得了表示機器人2的故障的判定數據時，學習部53可以根據從故障發生時開始追溯到取得各個判定數據時的時間長度，分別對判定數據進行加權來更新故障條件。在此，取得判定數據后到實際發生故障為止的時間越短，則推定越接近直接關系到故障發生的狀態。因此，如果根據從取得訓練數據組開始的經過時間對判定數據進行加權，能夠有效地學習故障條件。

在一實施方式中，學習部53可以按照針對多個機器人2生成的訓練數據組來學習故障條件。學習部53可以從在同一現場使用的多個機器人2取得訓練數據組，或者可以使用從在不同的現場獨立進行運轉的多個機器人2收集的訓練數據組來學習故障條件。另外，也可以在途中在對象中追加收集訓練數據組的機器人2或者反之從對象中進行刪除。

接著，作為共享(共用)多個機器人2的訓練數據組的方法，列舉了以下三個例子，但是自不必說也可以應用除此以外的方法。首先，作為第一個例子，是共享神經網絡的模型使其相同的方法，例如，對于網絡的各權重系數，使用通信單元發送并反映各機器人2之間的差異。另外，作為第二個例子，通過共享神經網絡的輸入和輸出的數據組，能夠共享學習裝置5的權重等。并且，作為第三個例子，準備某個數據庫，通過訪問該數據庫加載更適當的神經網絡的模型來共享(設為相同的模型)狀態。

圖6是表示其他的實施方式的故障預知系統的一個例子的框圖。故障預知系統1具備故障預知裝置4，該故障預知裝置4利用機械學習裝置5進行學習而得到的結果來生成機器人2的故障信息。

故障預知裝置4具備狀態觀測部41、故障信息輸出部42。狀態觀測部41具有與參照圖1說明的狀態觀測部52相同的功能，取得反映了機器人2以及周圍環境的狀態的狀態變量。故障信息輸出部42基于上述機械學習裝置5的學習部53按照訓練數據組進行學習而得到的結果，對經由狀態觀測部41的狀態變量的輸入進行響應來輸出機器人2的故障信息。

如圖6所示，機器人控制裝置3能夠具備通知部(故障信息通知部)32。通知部32向操作者通知故障信息輸出部42輸出的故障信息。只要操作者可以得知，通知故障信息的方式沒有特別的限定。例如，可以在未圖示的顯示裝置中顯示已預知的有無故障或故障的程度，或者也可以根據故障信息的內容產生警告音。

圖7以及圖8用于說明實施方式的故障預知系統的表示故障程度的指標值的例子(第一例～第四例)。在這里，在圖7(a)、圖7(b)、圖7(c)以及圖8中，橫軸表示時間，縱軸表示故障的程度。首先，如圖7(a)所示，例如在第一例中可構成為：以隨著故障的臨近而變大的方式來決定表示“故障的程度”的指標值，故障信息輸出部42將通過學習而得到的指標值直接作為故障信息進行輸出。另外，如圖7(b)所示，例如在第二例中可構成為：對所述指標值設置閾值，如果在閾值以上則為異常，如果不到閾值則為正常，故障信息輸出部42輸出以如此方式表示有無故障的信息來作為故障信息。并且，如圖7(c)所示，例如在第三例中可構成為：對上述指標值設置多個閾值(閾值1～閾值3)，故障信息輸出部42輸出按照各閾值劃分的等級(故障等級1～故障等級4)來作為故障信息。

如圖8所示，例如在第四例中，基于多個導致故障的數據(教師數據)，求出上述指標值與直到導致故障為止的時間之間的關系，根據該關系求出第一閾值，該第一閾值用于滿足從發生故障的時期開始進行追溯在通過第一預定期間決定的時期之前的情況。另外，決定第二閾值，該第二閾值用于滿足從發生故障的時期開始進行追溯在通過第二預定期間決定的時期之后的情況。然后，在滿足指標值不滿第一閾值的情況和指標值為第二閾值以上的情況中的至少一個情況時，故障信息輸出部42能夠將指標值本身作為故障信息進行輸出，或者將通過閾值對指標值進行劃分后的等級作為故障信息進行輸出。關于此時的閾值的決定方法，例如能夠設置閾值以使過去的教師數據全部滿足條件，另外，也可以根據需要設置裕度來設定閾值，并且，在概率論方面，還能夠設置閾值從而允許某一定概率內的判定錯誤。

接著，參照圖9對使用機械學習裝置進行學習而得到的結果而執行的故障預知的一個例子進行說明。在步驟S501中，狀態觀測部41例如取得包含來自傳感器11的輸出數據的當前狀態變量。在步驟S502中，故障信息輸出部42基于上述的機械學習裝置5的學習結果來輸出與在步驟S501取得的狀態變量對應的故障信息。在故障預知系統1具備通知部32時，可以在步驟S502后執行向操作者通知故障信息的工序。

可以在機器人2執行預先決定的特定的動作時進行參照圖9說明的故障預知裝置4的故障預知。或者也可以在機器人2動作中或靜止中并行地繼續執行步驟S501～S502的處理。或者，也可以在預先決定的時刻定期地執行故障預知。

在一實施方式中，可以與故障預知裝置4執行的故障預知并行地由機械學習裝置5執行機械學習。此時，在故障預知裝置4生成故障信息的同時，基于經由故障判定部31或操作者的操作取得的判定數據以及該時間點的狀態變量，由機械學習裝置5的學習部53再次學習故障條件。

說明了利用神經網絡進行機械學習的實施方式，但是也可以根據其他公知的方法，例如遺傳編程、功能邏輯編程、支持向量機等來執行機械學習。另外，再次重復說明，與上述相同，在本說明書中，“工業機械”意味著包含工業用機器人、服務用機器人以及由計算機數值控制(CNC)裝置控制的機械在內的各種各樣的機械。

本發明的機械學習裝置以及機械學習方法按照基于狀態變量以及判定數據的組合生成的訓練數據組來學習與工業機械的故障相關聯的條件。因為一邊使工業機械實際進行動作一邊學習故障條件，所以能夠學習與實際的使用狀況對應的正確的故障條件。另外，通過本發明的故障預知裝置以及故障預知系統，因為具備能夠機械學習故障條件的機械學習裝置，所以能夠進行與實際的使用狀況對應的正確的故障預知。

以上，對本發明的各種實施方式進行了說明，但是本領域的人員應該認識到通過其他的實施方式也能夠實現本發明意圖的作用效果。特別是能夠在不脫離本發明的范圍內刪除或替換上述實施方式的結構要素，或者能夠進一步添加公知的手段。另外，通過任意組合在本說明書中明示或暗示公開的多個實施方式的特征也能夠實施本發明，這對于本領域的人員來說是顯而易見的。