本發明涉及一種電動機控制裝置、在該電動機控制裝置中使用的變換器的控制裝置以及用于該變換器的控制裝置的機械學習裝置及其方法，上述電動機控制裝置在將從交流電源側提供的交流電力變換為直流電力來輸出到直流鏈路后將該直流電力進一步變換為用于驅動電動機的交流電力來提供給電動機。

背景技術：

在對機床、鍛壓機械、注射成型機、工業機械、或者各種機器人內的電動機進行驅動的電動機控制裝置中，在將從交流電源側提供的交流電力暫時變換為直流電力后進一步變換為交流電力，將該交流電力用作針對每個驅動軸設置的電動機的驅動電力。

圖7是表示一般的電動機控制裝置的結構的圖。電動機控制裝置100具備：將來自商用交流電源103(以下簡稱為“交流電源”)的交流電力變換為直流電力的變換器101；將從變換器101輸出的直流電力變換為作為電動機104的驅動電力而提供的希望頻率的交流電力或者將電動機104再生的交流電力變換為直流電力的逆變器102，控制與該逆變器102的交流側連接的電動機104的速度、轉矩、或者轉子的位置。為了使附圖簡明扼要，在圖7中表示了驅動一臺電動機104的情況。一般來說，在驅動多個驅動軸時，針對每個驅動軸分別設置電動機，此時，為了單獨對各個電動機提供驅動電力，需要設置多個逆變器。

變換器101和逆變器102經由DC鏈路(直流鏈路)來連接。在DC鏈路中設置有DC鏈路電容器105。DC鏈路電容器105具有積蓄直流電力的蓄電功能以及抑制變換器101的直流輸出的脈動量的平滑功能。

近年來，因為節能的要求，作為電動機控制裝置中的變換器，例如多使用日本專利第2567830號公報中記載的那樣的，可使電動機減速時生成的再生電力返回到交流電源側的電源再生方式的變換器。

電源再生方式的變換器具有把從交流電源側提供的交流電力變換為直流電力來輸出到DC鏈路側的功能，并且還具有在電動機減速時將從DC鏈路側提供的直流電力變換為交流電力來輸出到交流電源側的功能。通過逆變器將電動機減速時電動機產生的再生電力從交流電力變換為直流電力，將該直流電力經由DC鏈路輸入到變換器，并且通過變換器變換為交流電力后在交流電源側進行電源再生。

作為電源再生方式的變換器，例如有PWM控制方式整流電路或120度通電型整流電路等。

其中，PWM控制方式整流電路例如像在日本特開平8-47279號公報中記載的那樣，由半導體開關元件以及與其逆并聯連接的二極管的橋電路構成，對內部的半導體開關元件的開關動作進行PWM控制，在交流電源側的交流電力和直流鏈路側的直流電力之間進行電力變換。

在這樣的電動機控制裝置中，在DC鏈路中設置的DC鏈路電容器的兩端施加的直流電力壓(以下有時簡稱為“DC鏈路電壓”)與以下的量對應地進行變動：由電動機消耗的驅動電力的量或者由電動機產生的再生電力的量、通過變換器從交流電力向直流電力的電力變換量或其反方向的電力變換量、通過逆變器從直流電力向交流電力的電力變換量或其反方向的電力變換量。例如在電動機減速時，通過逆變器將電動機產生的交流的再生電力變換為直流電力，但是通過調整變換器的從直流電力向交流電力的變換動作(以下稱為“通過變換器的電源再生動作”)來進行調整，以使DC鏈路電壓成為不會損壞變換器及逆變器內的各元件以及不會損壞DC鏈路電容器的電壓。

例如，像在日本專利第5319318號公報中記載的那樣，提出了若干根據DC鏈路電壓的大小控制變換器的電源再生動作的方法。

如上所述，通過逆變器將電動機減速時電動機產生的交流的再生電力變換為直流電力來返回到DC鏈路，因此DC鏈路電壓升高。如果由于再生電力使DC鏈路電壓升得過高，則會損壞變換器及逆變器內的各元件以及DC鏈路電容器，或者由于為了防止損壞而設置的過電壓警報，電動機控制裝置停止，因此需要使變換器進行電源再生動作從而使DC鏈路中的能量返回到交流電源側。另一方面，如果變換器進行電源再生，則由于開關損耗導致變換器內的半導體開關元件發熱。特別是如果長時間進行電源再生，變換器內的半導體開關元件的發熱變大，由此變換器內的半導體開關元件會發生熱損壞，或者由于以變換器內的半導體開關元件的過熱保護為目的的過電壓警報而使電動機控制裝置停止。由此，一邊極力避免電源再生，一邊為了使DC鏈路電壓不過于升高，進行調整從容高效且恰當地進行變換器的電源再生動作是非常重要的。這樣的調整在電動機控制裝置的設計階段由設計者進行，或者在組裝了電動機控制裝置的機械的調整階段由作業者手動進行。另外，根據各個機械的運轉狀況通過手動進行這樣的調整是非常復雜的。

技術實現要素：

鑒于上述問題，本發明的目的在于提供一種可高效率地進行變換器的將DC鏈路側的直流電力變換為交流電力來返回到交流電源側的電源再生動作的電動機控制裝置、在該電動機控制裝置中使用的變換器的控制裝置，以及用于該變換器的控制裝置的機械學習裝置及其方法，其中，上述變換器通過從交流電源側的交流電力進行變換，來生成為了生成用于驅動電動機的交流電力而使用的DC鏈路中的直流電力。

為了實現上述的目的，機械學習裝置，學習與變換器的將DC鏈路側的直流電力變換為交流電力后返回交流電源側的電源再生動作相關聯的條件，變換器通過從交流電源側的交流電力進行變換來生成用于生成電動機驅動用交流電力的DC鏈路中的直流電力，機械學習裝置具備：狀態觀測部，其觀測狀態變量，該狀態變量由以下數據中的至少一個數據構成：與DC鏈路的直流電壓的值相關的數據、與通過變換器的電源再生動作從DC鏈路側返回交流電源側的電能即電源再生量相關的數據、與表示DC鏈路的直流電壓超過了預先設定的過電壓警報等級的過電壓警報有無發生相關的數據；以及學習部，其按照由狀態變量構成的訓練數據集，學習與變換器的電源再生動作相關聯的條件。

在此，學習部可以具備：回報計算部，其根據狀態變量計算回報；函數更新部，其根據回報來更新函數，函數用于變更成為變換器開始電源再生動作的基準的DC鏈路電壓即電源再生開始電壓以及成為變換器停止已開始的該電源再生動作的基準的DC鏈路電壓即電源再生停止電壓。

另外，回報計算部可以在由狀態觀測部觀測到的當前的DC鏈路的直流電壓高于在該當前的DC鏈路的直流電壓之前由狀態觀測部觀測到的DC鏈路的直流電壓時增加回報。

另外，回報計算部可以在由狀態觀測部觀測到的當前的DC鏈路的直流電壓低于在該當前的DC鏈路的直流電壓之前由狀態觀測部觀測到的DC鏈路的直流電壓時減少回報。

另外，回報計算部可以在由狀態觀測部觀測到的當前的電源再生量小于在該當前的電源再生量之前由狀態觀測部觀測到的電源再生量時增加回報。

另外，回報計算部可以在由狀態觀測部觀測到的當前的電源再生量大于在該當前的電源再生量之前由狀態觀測部觀測到的電源再生量時減少回報。

另外，回報計算部可以在由狀態觀測部觀測到沒有發生過電壓警報時增加回報。

另外，回報計算部可以在由狀態觀測部觀測到發生了過電壓警報時減少回報。

另外，學習部可以構成為按照對于多個變換器取得的訓練數據集，學習條件。

另外，一種變換器的控制裝置，其具備上述的機械學習裝置，其具備：意圖決定部，其根據學習部按照訓練數據集進行學習的結果，對當前的狀態變量的輸入進行響應，來決定電源再生開始電壓以及電源再生停止電壓；以及變換器用電力變換動作控制部，其控制將交流電源側的交流電力與DC鏈路側的直流電力相互進行變換的變換器的電力變換動作，變換器用電力變換動作控制部在DC鏈路的直流電壓上升從而超過由意圖決定部決定的電源再生開始電壓時，對變換器指令開始電源再生動作，在變換器開始了電源再生動作后，在DC鏈路的直流電壓下降從而低于由意圖決定部決定的電源再生停止電壓時，對變換器指令停止電源再生動作。

在此，可以將學習部構成為按照由當前的狀態變量構成的追加的訓練數據集，再學習條件來進行更新。

另外，變換器的控制裝置可以還具備測定DC鏈路的直流電壓的直流電壓測定部、測定電源再生量的電源再生量測定部、接收與過電壓警報有無發生相關的數據的過電壓警報接收部中的至少一個。

另外，具備上述變換器的控制裝置的電動機控制裝置還具備逆變器用電力變換動作控制部，其控制將DC鏈路側的直流電力與交流電動機側的交流電力相互進行變換的逆變器的電力變換動作。

另外，一種機械學習方法，其學習與變換器的將DC鏈路側的直流電力變換為交流電力后返回交流電源側的電源再生動作相關聯的條件，變換器通過從交流電源側供給的交流電力進行變換來生成DC鏈路中的直流電力，該直流電力用于生成用于電動機驅動的交流電力，機械學習方法具備：觀測狀態變量的步驟，該狀態變量由以下數據中的至少一個數據構成：與DC鏈路的直流電壓的值相關的數據、與通過變換器的電源再生動作從DC鏈路側返回交流電源側的電能即電源再生量相關的數據、與表示DC鏈路的直流電壓超過了預先設定的過電壓警報等級的過電壓警報有無發生相關的數據；以及按照由狀態變量構成的訓練數據集，學習與變換器的電源再生動作相關聯的條件的步驟。

附圖說明

通過參照以下的附圖，可以更加明確地理解本發明。

圖1是實施例的機械學習裝置的原理框圖。

圖2是表示實施例的機械學習方法的動作原理的流程圖。

圖3是實施例的使用強化學習的機械學習裝置的原理框圖。

圖4是表示實施例的使用強化學習的機械學習方法的原理的流程圖。

圖5是表示具備實施例的機械學習裝置的變換器的控制裝置、以及具備該變換器的控制裝置的電動機控制裝置的原理框圖。

圖6是表示實施例的使用強化學習的機械學習裝置的動作流程的流程圖。

圖7表示一般的電動機控制裝置的結構。

具體實施方式

以下，參考附圖來說明調整電源再生的電動機控制裝置、變換器的控制裝置以及機械學習裝置及機械學習方法。然而，希望理解本發明并不限于附圖或以下說明的實施方式。

圖1是實施例的機械學習裝置的原理框圖。以后，在不同的附圖中被賦予了相同的參考符號的構成要素意味著是具有相同功能的構成要素。

實施例的機械學習裝置1在具備變換器和逆變器的電動機控制裝置中，學習與變換器所執行的將DC鏈路則的直流電力變換為交流電力后返回交流電源側的電源再生動作相關聯的條件，其中，上述變換器將來自交流電源的交流電力變換為直流電力后輸出給DC鏈路，上述逆變器將DC鏈路的直流電力變換為作為電動機的驅動電力而提供的期望頻率的交流電力后提供給電動機或者將從電動機再生的交流電力變換為直流電力后輸出給DC鏈路。即，機械學習裝置1學習與能夠實現變換器101的高效的電源再生動作的電源再生動作相關聯的條件，即電源再生開始電壓以及電源再生停止電壓。

機械學習裝置1具備狀態觀測部11和學習部12。

狀態觀測部11觀測狀態變量來作為訓練數據集，狀態變量由以下數據中的至少一個數據構成：與DC鏈路的直流電壓的值相關的數據、與通過變換器的電源再生動作從DC鏈路側向交流電源側返回的電能即電源再生量相關的數據、表示DC鏈路的直流電壓超過了預先設定的過電壓警報等級的過電壓警報有無發生相關的數據。

學習部12按照由狀態變量構成的訓練數據集，學習與變換器的電源再生動作相關聯的條件，即電源再生開始電壓以及電源再生停止電壓。此外，也可以從多個變換器取得訓練數據集，此時，學習部12按照針對多個變換器取得的訓練數據集，學習與電源再生動作相關聯的條件。

圖2是表示實施例的機械學習方法的動作原理的流程圖。機械學習方法學習與變換器的將DC鏈路側的直流電力變換為交流電力后返回交流電源側的電源再生動作相關聯的條件，所述變換器通過從交流電源側供給的交流電力進行變換來生成為了生成用于驅動電動機的交流電力而使用的DC鏈路中的直流電力，所述機械學習方法具備狀態觀測步驟S101和機械學習步驟S102。

狀態觀測步驟S101通過狀態觀測部11來執行，即為觀測由以下數據中的至少一個數據構成的狀態變量：與DC鏈路的直流電壓的值相關的數據、與通過變換器的電源再生動作從DC鏈路返回交流電源側的電能即電源再生量相關的數據、與表示DC鏈路的直流電壓超過了預先設定的過電壓警報等級的過電壓警報有無發生相關的數據。

機械學習步驟S102通過學習部12來執行，即按照由狀態變量構成的訓練數據集，學習與變換器的電源再生動作相關聯的條件。

學習部12所用的學習算法可以使用任何算法。在此，作為一個例子，說明采用了強化學習(Reinforcement Learning)的情況。強化學習是指某個環境中的智能體(行為主體)觀測當前的狀態，并決定應采取的行為。智能體通過選擇行為從環境取得回報，通過一連串的行為來學習得到最多回報的策略。作為強化學習的代表性方法，已知有Q學習(Q-Learning)或TD學習(TD-Learning)。例如在Q學習的情況下，行為價值函數Q(s，a)的一般的更新式(行為價值表)由式1來表示。

在式1中，s_t表示在時刻t的環境，a_t表示在時刻t的行為。通過行為a_t，環境變為s_t+1。r_t+1表示由于環境的變化所得到的回報(reward)，γ表示折扣率，α表示學習系數。在應用了Q學習的情況下，電源再生開始電壓以及電源再生停止電壓成為行為a_t。

圖3是實施例的使用了強化學習的機械學習裝置的原理框圖。學習部12具備回報計算部21和函數更新部22。回報計算部21根據狀態變量計算回報。函數更新部22根據回報來更新函數，該函數用于變更成為變換器開始電源再生動作的基準的DC鏈路電壓即電源再生開始電壓以及成為變換器停止已開始的該電源再生動作的基準的DC鏈路電壓即電源再生停止電壓。例如，在Q學習的情況下，將式1表示的行為價值函數(s，a)作為用于變更行為a_t即電源再生開始電壓以及電源再生停止電壓的函數來使用。關于這些以外的電路構成要素，與圖1所示的電路構成要素相同，因此對同一電路構成要素賦予同一符號并省略該電路構成要素的詳細說明。

圖4是表示實施例的使用強化學習的機械學習方法的原理的流程圖。

首先，在狀態觀測步驟S101中，狀態觀測部11觀測狀態變量，該狀態變量由以下數據中的至少一個數據構成：與DC鏈路的直流電壓的值相關的數據、與通過變換器的電源再生動作從DC鏈路返回交流電源側的電能即電源再生量相關的數據、與表示DC鏈路的直流電壓超過了預先設定的過電壓警報等級的過電壓警報有無發生相關的數據。

接著，在回報計算步驟S102-1中，回報計算部21根據在步驟S101中觀測到的狀態變量計算回報。

接著，在函數更新步驟S102-2中，函數更新部22根據回報更新函數，該函數用于變更成為變換器開始電源再生動作的基準的DC鏈路電壓即電源再生開始電壓以及成為變換器停止已開始的該電源再生動作的基準的DC鏈路電壓即電源再生停止電壓。

然后，對具備上述機械學習裝置的變換器的控制裝置以及具備該變換器的控制裝置的電動機控制裝置進行說明。在此，作為一個例子，說明作為學習部的學習算法使用了強化學習的情況。

圖5是表示具備實施例的機械學習裝置的變換器的控制裝置、以及具備該變換器的控制裝置的電動機控制裝置的原理框圖。在此，說明對一個電動機104進行驅動控制的電動機控制裝置1000，但是，關于通過電動機控制裝置1000驅動控制的電動機104的個數，在本發明中并不特別限定，也可以為多個。另外，關于通過電動機控制裝置1000驅動的電動機104的種類，在本發明中并不特別限定，例如可以是感應電動機也可以是同步電動機。另外，關于相數在本發明中也不特別限定，除了三相以外，例如也可以是單相或其他的多相。

作為主要電路結構，電動機控制裝置1000具備變換器101、逆變器102、DC鏈路電容器105。在電動機控制裝置1000的三相交流輸入側連接交流電源103，在電動機控制裝置1000的交流電動機側連接三相的電動機104。此外，為了簡化說明，在圖5中將用于驅動電動機104的控制系統統一記載為逆變器用電力變換動作控制部41。另外，關于在將DC鏈路電壓從0(V)升壓到交流電源的電壓峰值時使用的初始充電單元，省略了圖示。

變換器101根據從變換器用電力變換動作控制部14接收的指令，在交流電源103側的交流電力與直流側即DC鏈路的直流電力之間進行電力變換。即，變換器101是將從交流電源103側提供的交流電力變換為直流電力后輸出到直流側，或者將DC鏈路中的直流電力變換為交流電力后輸出到交流電源103側的，能夠在交直流雙向上進行變換的電力變換器。只要變換器101是能夠在交直流雙向上進行變換的電力變換器，則不特別限定實施方式，例如有120度通電型整流電路或者PWM控制方式的整流電路等。變換器101由開關元件以及與其逆并聯連接的二極管的橋電路構成。作為開關元件的例子，具有IGBT、晶閘管、GTO(Gate Turn-OFF thyristor：門極可關斷晶閘管)、晶體管等，但是在本發明中不限定開關元件的種類本身，也可以是其他的半導體元件。例如，在變換器101為PWM控制方式的整流器的情況下，關于其內部的開關元件的開關動作，根據變換器用電力變換動作控制部14生成的PWM控制信號控制變換器101，從而產生功率因數1的交流電力，并且把在DC鏈路電容器105的兩端施加的直流電壓保持為希望的值，并且控制變換器101使其進行將交流電力變換為直流電力的動力運行動作(正變換動作)以及將直流電力變換為交流電力的電源再生動作(逆變換動作)中的某一個動作。在通過電動機控制裝置1000的控制使電機104進行減速時，電動機104產生再生電力，針對變換器101，根據PWM控制信號控制其內部的開關元件的開關動作，進行將直流電力變換為交流電力的電源再生動作(逆變換動作)，將經由逆變器102返回的再生能量進一步返回到交流電源103側。

DC鏈路電容器105設置在將變換器101的直流側與逆變器的直流側相連接的DC鏈路中。DC鏈路電容器105具有積蓄DC鏈路中的直流電力的功能和抑制變換器101的直流輸出的脈動量的平滑功能。

逆變器102與DC鏈路相連接，能夠在DC鏈路的直流電力和作為電動機104的驅動電力或再生電力的交流電力之間進行雙向的電力變換，按照從逆變器用電力變換動作控制部41接收到的電動機驅動指令，進行將直流電力變換為交流電力的再生動作(逆變換動作)以及將交流電力變換為直流電力的動力運行動作(正變換動作)中的某一個動作。具體來說，逆變器102根據從逆變器用電力變換動作控制部41接收到的電動機驅動指令使內部的開關元件進行開關動作，從而將從DC鏈路側提供的直流電力變換為用于驅動電動機104的期望的電壓以及期望的頻率的三相交流電力。由此，電動機104根據所提供的電壓可變以及頻率可變的三相交流電力進行動作。另外，在電動機104減速時產生再生電力，此時根據從逆變器用電力變換動作控制部41接收到的電動機驅動指令，將電動機104產生的交流的再生電力變換為直流電力后返回到DC鏈路。在通過電動機控制裝置1000驅動控制多個電動機104時，為了對各個電動機104單獨提供驅動電力來驅動控制電動機104，并聯連接與電動機104的個數相同數量的逆變器102。逆變器102例如像PWM逆變器那樣，由開關元件以及與其逆并聯連接的二極管的橋電路構成。作為開關元件的例子，具有IGBT、晶閘管、GTO(Gate Turn-OFF thyristor：門極可關斷晶閘管)、晶體管等，但是在本發明中不限定開關元件的種類自身，也可以是其他的半導體元件。

作為變換器101的控制裝置，電動機控制裝置1000具備參照圖3以及圖4說明的使用了強化學習的機械學習裝置1、意圖決定部13、變換器用電力變換動作控制部14。

機械學習裝置1具備狀態觀測部11和學習部12。

狀態觀測部11觀測狀態變量，該狀態變量由以下數據中的至少一個數據構成：與DC鏈路的直流電壓的值相關的數據、與通過變換器101的電源再生動作從DC鏈路側返回交流電源103側的電能即電源再生量相關的數據、與表示DC鏈路電壓超過了預先設定的過電壓警報等級的過電壓警報有無發生相關的數據。將觀測到的狀態變量作為訓練數據集在學習部12的學習中使用。通過直流電壓測定部31測定DC鏈路電壓，通過電源再生量測定部32測定變換器101的電源再生量，通過過電壓警報接收部33接收與過電壓警報有無發生相關的數據。此外，關于電源再生量測定部32針對電源再生量的測定，可以通過根據變換器101的交流電源103側的交流電壓和交流電流進行計算來實現，或者可以通過使用設置在變換器101的交流電源103側的電能儀表(未圖示)進行測量來實現，或者也可以通過根據DC鏈路電壓(即直流電壓測定部31測定出的直流電壓)和從變換器101向DC鏈路側輸出的直流電流進行計算來實現。

學習部12內的回報計算部21根據通過狀態觀測部11觀測到的狀態變量計算回報。

在將與DC鏈路電壓的值相關數據作為狀態變量時，在通過狀態觀測部11觀測到的當前的DC鏈路電壓高于在該當前的DC鏈路電壓之前通過狀態觀測部11觀測到的DC鏈路電壓時(即DC鏈路電壓上升時)，回報計算部21增加回報，在通過狀態觀測部11觀測到的當前的DC鏈路電壓低于在該當前的DC鏈路電壓之前通過狀態觀測部11觀測到的DC鏈路電壓時(即DC鏈路電壓降低時)，回報計算部21減少回報。如上所述，在DC鏈路電壓上升時增加回報，在DC鏈路電壓下降時減少回報，其原因在于，如果DC鏈路電壓降低，則在發生了瞬間電壓降低或發生了停電時，變換器101可使用的電力降低。

另外，在將與電源再生量相關的數據作為狀態變量時，回報計算部21在通過狀態觀測部11觀測到的當前的電源再生量小于在該當前的電源再生量之前通過狀態觀測部11觀測到的電源再生量時(即，電源再生量減少時)增加回報，在通過狀態觀測部11觀測到的當前的電源再生量大于在該當前的電源再生量之前通過狀態觀測部11觀測到的電源再生量時(即，電源再生量增加時)減少回報。如上所述，在電源再生量減少時增加回報，在電源再生量增加時減少回報，其原因在于，如果變換器進行電源再生則由于開關損耗使得半導體開關元件發熱，因此電源再生量越多，變換器的電源再生動作的效率越差。

另外，在將與過電壓警報有無發生相關的數據作為狀態變量時，回報計算部21在通過狀態觀測部11觀測到的沒有發生過電壓警報時增加回報，在通過狀態觀測部11觀測到有發生過電壓警報時減少回報。如上所述在產生過電壓警報時減少回報，其原因在于，如果DC鏈路電壓成為過電壓，則變換器以及逆變器內的各元件以及DC鏈路電容有可能被損壞。

學習部12內的函數更新部22根據由回報計算部21計算出的回報來更新函數，該函數用于變更電源再生開始電壓以及電源再生停止電壓。例如在為Q學習時，將式1所表示的行為價值函數Q(s_t，a_t)作為用于變更電源再生開始電壓以及電源再生停止電壓的函數來使用。

意圖決定部13根據學習部12按照訓練數據集進行學習而得到的結果，對當前狀態變量的輸入進行響應，來決定電源再生開始電壓以及電源再生停止電壓。在本實施例中，例如一個例子，作為學習算法使用了強化學習，因此根據學習部12內的回報計算部21計算出的回報，學習部12內的函數更新部22更新用于變更電源再生開始電壓以及電源再生停止電壓的函數，意圖決定部13根據更新后的函數來選擇得到最多回報的電源再生開始電壓以及電源再生停止電壓。

變換器用電力變換動作控制部14控制將交流電源103側的交流電力與DC鏈路側的直流電力相互進行變換的變換器101的電力變換動作。作為基本的動作，變換器用電力變換動作控制部14對變換器101進行指令從而使其將從交流電源103側提供的交流電力變換為直流電力后輸出到直流側，并且根據直流電壓測定部31測定出的DC鏈路電壓來對變換器101進行指令使其進行電力再生動作。具體來說，變換器用電力變換動作控制部14在DC鏈路電壓上升從而超過電源再生開始電壓時，對變換器101進行指令使其開始電源再生動作，在變換器開始了電源再生動作后，在DC鏈路電壓下降從而低于電源再生停止電壓時對變換器指令停止電源再生動作。在變換器用電力變換動作控制部14的處理中使用的電源再生開始電壓以及電源再生停止電壓是如上所述由意圖決定部13所決定的電壓。在變換器101為PWM控制方式的整流器時，作為用于對變換器101內的開關元件的開關動作進行PWM控制的PWM控制信號，生成上述各指令。

逆變器用電力變換動作控制部41控制將DC鏈路側的直流電力與交流電動機側的交流電力相互進行變換的逆變器102的電力變換動作。即，逆變器用電力變換動作控制部41使用電動機104的動作程序、逆變器102的交流電動機側的交流電流或者交流電壓以及/或電動機104的旋轉速度等，作為用于控制電動機104的速度、轉矩、或者轉子位置的驅動指令，對逆變器102指令將交流電力變換為直流電力的動力運行動作(正變換動作)以及將直流電力變換為交流電力的再生動作(逆變換動作)中任意一個動作。在逆變器102為PWM控制方式的逆變器時，作為用于對逆變器102內開關元件的開關動作進行PWM控制的PWM控制信號，生成上述各指令。

綜合控制部51對變換器用電力變換動作控制部14以及逆變器用電力變換動作控制部41進行綜合控制。

圖6是表示實施例的使用了強化學習的機械學習裝置的動作流程的流程圖。

一般來說，在強化學習中隨機地選擇行為的初期值。在實施例中，在步驟S201隨機地選擇作為行為的電源再生開始電壓以及電源再生停止電壓的初始值。但是，電源再生開始電壓必須為比電源再生停止電壓高的值。

在步驟S202中，電動機控制裝置1000的綜合控制部51對變換器用電力變換動作控制部14以及逆變器用電力變換動作控制部41進行與電動機104的驅動相關的指令。具體來說，變換器101根據從變換器用電力變換動作控制部14接收到的指令，將從交流電源103側提供的交流電力變換為直流電力后輸出到直流側。逆變器102根據從逆變器用電力變換動作控制部41接收到的電動機驅動指令，進行將交流電力變換為直流電力的動力運行動作(正變換動作)以及將直流電力變換為交流電力的再生動作(逆變換動作)中的某一個動作。由此，電動機104進行加速動作、定速動作或者減速動作。

在步驟S203中，作為訓練數據集，狀態觀測部11觀測狀態變量，該狀態變量由以下數據構成：與DC鏈路電壓的值相關的數據、與通過變換器的電源再生動作從DC鏈路側返回交流電源103側的電能即電源再生量相關的數據、與表示DC鏈路電壓超過了預先設定的過電壓警報等級的過電壓警報有無發生相關的數據。在本實施例中，作為一個例子將這三個數據作為狀態變量，但也可以將這三個數據中的至少一個作為狀態變量。

在步驟S204中，狀態觀測部11觀測DC鏈路電壓是否升高，在DC鏈路電壓升高時，即在觀測到的當前的DC鏈路電壓高于在該當前的DC鏈路電壓之前測定出的DC鏈路電壓時，在步驟S205中回報計算部21增加回報。另外，在DC鏈路電壓降低時，即在觀測到的當前的DC鏈路電壓低于在該當前的DC鏈路電壓之前觀測到的DC鏈路電壓時，在步驟S206中回報計算部21減少回報。

在步驟S207中，狀態觀測部11觀測通過變換器101的電源再生量是否增加，在電源量增加時，即在觀測到的當前的電源再生量大于在該當前的電源再生量之前觀測到的電源再生量時，在步驟S208中回報計算部21減少回報。在電源再生量減少了時，即在觀測到的當前的電源再生量小于在該當前的電源再生量之前觀測到的電源再生量時，在步驟S209中回報計算部21增加回報。

在步驟S210中，狀態觀測部11觀測是否產生了過電壓警報，在觀測到產生過電壓警報時，在步驟S211中，回報計算部21減少回報。另外，在觀測到沒有產生過電壓警報時，在步驟S212中，回報計算部21增加回報。

上述的步驟S204～S206的處理、步驟S207～S209的處理、步驟S210～S212的處理可以任意地調換來執行。

在步驟S213中，函數更新部22根據回報計算部21計算出的回報來更新用于變更電源再生開始電壓以及電源再生停止電壓的函數。

接下來在步驟S214中，意圖決定部13根據在步驟S213中更新后的函數，選擇得到最多回報的電源再生開始電壓以及電源再生停止電壓。然后，返回步驟S202，從此之后，反復執行步驟S202～S214的處理。由此，機械學習裝置1學習與能夠實現變換器101的高效的電源再生動作的電源再生動作相關聯的條件，即電源再生開始電壓以及電源再生停止電壓。可以從多個變換器101取得訓練數據集，此時，學習部12按照針對多個變換器101取得的訓練數據集，反復執行步驟S201～S214的處理，來學習電源再生開始電壓以及電源再生停止電壓。如果針對多個變換器101取得訓練數據集，則機械學習裝置1的學習精度提高。

此外，上述的狀態觀測部11、學習部12以及意圖決定部13例如也可以通過軟件程序形式來構筑，或者可以通過各種電子電路與軟件程序的組合來構筑。例如在以軟件程序形式構筑這些部分時，通過使電動機控制裝置1000內的運算處理裝置按照該軟件程序進行動作，來實現上述各部的功能。又或者，可以作為寫入了用于實現各部的功能的軟件程序的半導體集成電路來實現具備狀態觀測部11以及學習部12的機械學習裝置1。又或者可以通過不僅包含具有狀態觀測部11以及學習部12的機械學習裝置1還包含意圖決定部13的方式，來實現寫入了用于實現各部的功能的軟件程序的半導體集成電路。

另外，使用電動機控制裝置1000為了驅動控制電動機原本具備的直流電壓測定部21、電源再生量測定部32以及過電壓警報接收部33測定的各種數據來執行機械學習處理，因此不需要像現有技術那樣設置新的硬件裝置，所以可以隨后安裝在既有的電動機控制裝置中來使用。此時，可以在該既有的電動機控制裝置中安裝寫入了用于實現機械學習裝置1和意圖決定部13的各部的功能的軟件程序的半導體集成電路，也可以在該既有的電動機控制裝置內的運算處理裝置中追加安裝用于實現機械學習裝置1和意圖決定部13的各部的功能的軟件程序。另外，也可以將關于某個電動機控制裝置已學習了電源再生開始電壓以及電源再生停止電壓的機械學習裝置1安裝在其他的電動機控制裝置中，關于該其他的電動機控制裝置再學習電源再生開始電壓以及電源再生停止電壓來進行更新。

根據本發明，能夠實現可高效地進行變換器的將DC鏈路側的直流電力變換為交流電力后返回交流電源側的電源再生動作的電動機控制裝置、在該電動機控制裝置中使用的變換器的控制裝置、以及用于該變換器的控制裝置的機械學習裝置及其方法，上述變換器通過從交流電源側的交流電力進行變換來生成用于生成驅動電動機的交流電力的DC鏈路中的直流電力。

通過本發明，針對正在進行動作的電動機控制裝置，機械學習裝置自身調整能夠高效且恰當地進行變換器的電源再生動作的電源再生開始電壓以及電源再生停止電壓，因此在電動機控制裝置的設計階段或運行階段不需要人工進行調整。除此之外，由于通過機械學習裝置進行調整即可，因此可以用較短的時間來進行目前復雜的運行狀況不同的每個機械的變換器的電源再生動作的調整。對于運行狀況相同的機械，通過多個機械學習裝置分散地進行訓練數據集的學習，由此與單獨進行學習相比，能夠用較短的時間進行變換器的電源再生動作的調整。另外，通過調整電源再生開始電壓和電源再生停止電壓，可以抑制電源再生造成的變換器以及逆變器內的半導體開關元件的發熱，同時可以防止由于電源再生不足而發生的DC鏈路過電壓警報。并且，通過抑制電源再生，可以利用DC鏈路電壓的上升，對于發生瞬間電壓降低或停電時的電力不足，使用在DC鏈路部中儲存的電力，由此能夠使機械持續運行。在沒有發生瞬間電壓降低或停電時，通過在逆變器的輸出上升時使用在DC鏈路部中儲存的電力，直到DC鏈路電壓成為交流電源的電壓峰值以下為止，在變換器的半導體開關元件中不會流過電流，因此可抑制半導體開關元件的發熱。