本發明涉及圖像處理技術領域，尤其涉及一種面部表情遷移方法及設備。

背景技術：

人臉表情捕獲是真實感圖形學的重要組成部分，目前已經被廣泛應用于電影、動畫、游戲、網絡聊天以及教育等領域?；谌四槺砬檫w移的人臉動畫，是系統捕獲用戶的表情并將該表情映射到另一個目標圖像上。

現有技術中，人臉表情遷移的實現方式主要有以下幾種：

第一，在人體上佩戴能夠準確跟蹤以及捕獲人臉表情的傳感器。該方法需要昂貴的硬件設備支持，無法廣泛應用于普通用戶，且在人體上佩戴傳感器導致用戶體驗差。

第二，目前常用的為采用Kinect設備實現人臉表情跟蹤以及捕獲，該Kinect設備能夠通過普通攝像頭得到圖像二維信息，以及通過紅外攝像頭獲得圖像的深度信息，根據該圖像二維信息以及該圖像的深度信息能夠很好捕捉人臉的信息變化。該方法成本較高，并且當人頭部發生劇烈變化時，由于Kinect設備處理速度限制導致捕獲的人臉表情不準確。

基于此，需要尋求一種人臉表情遷移的方法，以保證人臉表情遷移的準確性并降低實現成本、提高處理效率。

技術實現要素：

本發明實施例提供一種面部表情遷移的方法及設備，用以保證面部表情遷移的準確性并降低實現成本、提高處理效率。

本發明實施例提供的具體技術方案如下：

第一方面，本發明實施例提供了一種面部表情遷移方法，包括：

獲得控制者當前面部圖像，其中，所述面部圖像為二維圖像；

確定所述控制者當前面部圖像的關鍵特征點，并根據所述關鍵特征點確定第一特征向量，其中，所述第一特征向量用于表征所述控制者當前面部表情，所述第一特征向量為二維列向量；

確定采用所述控制者的面部圖像樣本對應的第二特征向量線性表示所述第一特征向量所需的系數向量，其中，所述第二特征向量用于反映所述控制者的面部圖像樣本的面部表情，所述控制者的面部圖像樣本為二維圖像；

根據所述系數向量以及被控者的面部圖像樣本對應的第三特征向量確定第四特征向量，其中，所述第三特征向量用于反映所述被控者的面部圖像樣本的面部表情，所述第四特征向量用于表征遷移后所述被控者面部表情，所述被控者的面部圖像樣本為二維圖像。

第二方面，本發明實施例中提供了一種設備，包括：

獲取模塊，用于獲得控制者當前面部圖像，其中，所述面部圖像為二維圖像；

第一處理模塊，用于確定所述控制者當前面部圖像的關鍵特征點，并根據所述關鍵特征點確定第一特征向量，其中，所述第一特征向量用于表征所述控制者當前面部表情，所述第一特征向量為二維列向量；

第二處理模塊，用于確定采用所述控制者的面部圖像樣本對應的第二特征向量線性表示所述第一特征向量所需的系數向量，其中，所述第二特征向量用于反映所述控制者的面部圖像樣本的面部表情，所述控制者的面部圖像樣本為二維圖像；

第三處理模塊，用于根據所述系數向量以及被控者的面部圖像樣本對應的第三特征向量確定第四特征向量，其中，所述第三特征向量用于反映所述被控者的面部圖像樣本的面部表情，所述第四特征向量用于表征遷移后所述被控者面部表情，所述被控者的面部圖像樣本為二維圖像。

基于上述技術方案，本發明實施例中，獲得控制者當前面部圖像后，確定采用所述控制者的面部圖像樣本對應的第二特征向量，線性表示所述控制者當前面部表情的第一特征向量所需的系數向量，將該系數向量作用于被控者的面部圖像樣本對應的第三特征向量后，即可得到用于表征遷移后所述被控者面部表情的第四特征向量。該方式不需要額外的硬件設備支持，降低了實現成本，并且能夠保證表情遷移的準確性，實現過程簡單，提高了處理效率。

附圖說明

圖1為本發明實施例中面部表情遷移的過程示意圖；

圖2為本發明實施例中稀疏表示模型的示意圖；

圖3為本發明實施例中被控者的一張面部圖像示意圖；

圖4為本發明實施例中被控者的面部圖像樣本庫示意圖；

圖5為本發明實施例中對被控者的面部圖像樣本庫中的每幅面部圖像進行特征提取的示意圖；

圖6為本發明實施例中控制者當前的面部圖像示意圖；

圖7為本發明實施例中表情遷移后被控者的面部圖像示意圖；

圖8為本發明實施例中設備結構示意圖。

具體實施方式

為了使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明作進一步地詳細描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例?；诒景l明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬于本發明保護的范圍。

本發明實施例中，面部表情遷移是指將控制者的面部表情遷移到被控者的面部，使被控者呈現與控制者相同的面部表情。

本發明實施例中，需要預先建立控制者的面部圖像樣本庫以及被控者的面部圖像樣本庫。

優選地，控制者的面部圖像樣本庫與被控者的面部圖像樣本庫中包含的面部圖像樣本的個數相同；控制者的面部圖像樣本庫中第N個面部圖像樣本對應的面部表情的類型，與被控者的面部圖像樣本庫中第N個面部圖像樣本對應的面部表情的類型相同，示例的，對應的面部表情的類型可以為張嘴、微笑、抬眉毛、厭惡、擠左眼、擠右眼、憤怒、向左歪嘴、向右歪嘴、露齒笑、嘟嘴、噘嘴、翻嘴唇、鼓嘴、閉嘴、閉眼等中的一種，其中，N不小于1且不大于控制者或被控者面部圖像樣本庫中包含的面部圖像的總數。

例如，采集控制者面部的基本表情組成控制者的面部圖像樣本庫，以及采集被控者面部的基本表情組成被控者的面部圖像樣本庫，控制者或被控者的面部圖像樣本庫中包括48個面部圖像樣本，該48個面部圖像樣本為在三個不同的拍攝角度下分別拍攝16種基本表情得到。示例的，該16種基本表情為：張嘴、微笑、抬眉毛、厭惡、擠左眼、擠右眼、憤怒、向左歪嘴、向右歪嘴、露齒笑、嘟嘴、噘嘴、翻嘴唇、鼓嘴、閉嘴、閉眼。示例的，該三個不同的拍攝角度可以是左側偏轉30度、右側偏轉30度和正面拍攝。

分別對控制者面部圖像樣本庫以及對被控者面部圖像樣本庫進行以下處理：

分別對每幅圖像進行關鍵特征點提取，該關鍵特征點用于反映面部表情。針對任意一幅圖像，將該圖像的關鍵特征點保存在一個特征向量中，該特征向量由兩個一維列向量組成，該圖像的關鍵特征點的橫坐標(即X軸坐標)組成該特征向量中的第一維列向量，表示為X，該圖像的關鍵特征點的縱坐標(即Y軸坐標)組成該特征向量中的第二維列向量，表示為Y。

對于圖像中的任意一個關鍵特征點，該關鍵特征點的橫坐標在第一維列向量中的位置，與該關鍵特征點的縱坐標在第二維列向量中的位置相同，即將第一維列向量的第A行的值作為橫坐標的值，以及將第二維列向量的第A行作為縱坐標的值，可以確定一個關鍵特征點的橫坐標和縱坐標。

根據控制者面部圖像樣本庫中每個面部圖像樣本的第一維列向量確定第一字典，表示為DX1＝(X1，X2，X3…)，其中Xa表示第a個面部圖像樣本對應的第一維列向量；以及根據控制者面部圖像樣本庫中每個面部圖像樣本的第二維列向量確定第二字典，表示為DY1＝(Y1，Y2，Y3…)，其中，Yb表示第b個面部圖像樣本對應的第二維列向量。通過DX1和DY1可以表示控制者的每個表情。

同理，根據被控者面部圖像樣本庫中每個面部圖像樣本的第一維列向量確定第一字典，表示為DX2＝(X1，X2，X3…)，其中Xa表示第a個面部圖像對應的第一維列向量；以及根據控制者面部圖像樣本庫中每個面部圖像樣本的第二維列向量確定第二字典，表示為DY2＝(Y1，Y2，Y3…)，其中，Yb表示第b個面部圖像樣本對應的第二維列向量。通過DX2和DY2可以表示被控者的每個表情。

本發明實施例中，如圖1所示，面部表情遷移的具體過程如下：

步驟101：獲得控制者當前面部圖像，其中，該面部圖像為二維圖像。

具體地，通過攝像頭獲得控制者當前面部圖像；或者，從圖片庫中獲取控制者的面部圖像作為當前面部圖像。

步驟102：確定控制者當前面部圖像的關鍵特征點，并根據該關鍵特征點確定第一特征向量，其中，該第一特征向量用于表征控制者當前面部表情，該第一特征向量為二維列向量。

實際應用中，確定控制者當前面部圖像中用于反映控制者當前面部表情的關鍵特征點的方式有多種，包括但不限于以下列舉的方式：人工標定的方式；通過特征點提取算法提取關鍵特征點。其中，特征點提取算法包括但不限于：基于級聯姿態回歸(Cascaded Pose Regression，CPR)的人臉特征點檢測方法；基于約束局部模型(Constrained Local Model，CLM)的人臉特征點檢測方法；基于回歸樹的人臉特征點檢測方法等。

優選地，控制者當前面部圖像中、控制者的面部圖像樣本庫中每個面部圖像樣本中以及被控者的面部圖像樣本庫中每個面部圖像樣本中，對于面部的同一個部位，所包含的關鍵特征點的個數相同。

較佳地，按照預先約定的面部的每個部位所包含的關鍵特征點的個數，確定控制者當前面部圖像中用于反映控制者當前面部表情的關鍵特征點。

具體地，確定第一特征向量的具體過程如下：根據用于反映控制者當前面部表情的關鍵特征點的橫坐標，確定第一特征向量的第一維列向量，以及根據用于反映控制者當前面部表情的關鍵特征點的縱坐標，確定第一特征向量的第二維列向量。

例如，在控制者當前面部圖像中、控制者的面部圖像樣本庫中的任意一個面部圖像樣本中、被控者的面部圖像樣本庫中的任意一個面部圖像樣本中，位于左側的眉毛部位均有5個關鍵特征點，位于右側的眉毛部位均有6個關鍵特征點等。

步驟103：確定采用控制者的面部圖像樣本對應的第二特征向量線性表示第一特征向量所需的系數向量，其中，第二特征向量用于反映控制者的面部圖像樣本對應的面部表情，控制者的面部圖像樣本為二維圖像。

優選地，該系數向量為能夠線性表示第一特征向量的最稀疏解。

具體地，確定系數向量的具體過程為：

確定采用控制者的面部圖像樣本對應的第二特征向量的第一維列向量，線性表示第一特征向量的第一維列向量所需的第一維系數向量，其中，第一維列向量為根據該面部圖像的關鍵特征點的橫坐標確定；以及

確定采用控制者的面部圖像樣本對應的第二特征向量的第二維列向量，線性表示第一特征向量的第二維列向量所需的第二維系數向量，其中，第二維列向量為根據面部圖像的關鍵特征點的縱坐標確定；

其中，第一維系數向量和第二維系數向量組成該系數向量。

具體地，計算稀疏向量的過程描述如下：

假設反映控制者當前面部表情的第一維列向量或第二維列向量表示y，控制者的面部圖像樣本庫表示為D1＝[d₁,d₂,d₃,...,d_n]，D1為m×n維的向量，其中，m小于n。D1中的每一列d_i表示控制者的面部圖像樣本庫中一個面部圖像樣本的第一維列向量或第二維列向量，d_i為m×1維的向量。反映控制者當前面部表情的第一維列向量y1可以表示為公式1：

y1≈D1·x1＝x1₁·d₁+x1₂·d₂...+x1_n·d_n (公式1)

公式1中，d_i表示控制者的面部圖像樣本庫中一個面部圖像樣本的第一維列向量。對于公式1，由于m遠遠小于n，因此在y1和D1已知的情況下，公式1為一個欠定方程。欠定方程有無數解，這里計算該方程的最稀疏解，最稀疏解中包含的非零值的個數最少，從而將欠定方程轉換為對0范數的求解。因此，稀疏表示模型為公式2所示：

如圖2所示為稀疏表示模型的示意圖，其中，每個小方塊代表一個元素，各元素的取值不完全相同，白色小方塊表示該元素取值為零，x1中白色小方塊越多則x1越稀疏?？梢圆捎米钚《朔ǖ惹蠼夤?2)得到最稀疏解x1，即第一維系數向量。

反映控制者當前面部表情的第二維列向量y2可以表示為公式3：

y2≈D1·x2＝x2₁·d₁+x2₂·d₂...+x2_n·d_n (公式3)

公式3中，d_i表示控制者的面部圖像樣本庫中一個面部圖像樣本的第二維列向量。同理，將公式(3)轉換為公式(4)所示的稀疏表示模型：

可以采用最小二乘法等求解公式(4)得到最稀疏解x2，即第二維系數向量。

步驟104：根據系數向量以及被控者的面部圖像樣本對應的第三特征向量，確定第四特征向量，其中，第三特征向量用于反映被控者的面部圖像樣本的面部表情，第四特征向量用于表征遷移后被控者面部表情，被控者的面部圖像樣本為二維圖像。

具體地，確定第四特征向量的具體過程為：

根據被控者的面部圖像樣本對應的第三特征向量的第一維列向量以及第一維系數向量，確定第四特征向量的第一維列向量；以及

根據被控者的面部圖像樣本對應的第三特征向量的第二維列向量以及第二維系數向量，確定第四特征向量的第二維列向量。

具體地，第四特征向量的計算過程如下：

假設第四特征向量的第一維列向量表示為y3，控制者的面部圖像樣本庫表示為D2＝[d₁,d₂,d₃,...,d_n]，D2為m×n維的向量，其中，m小于n。D2中的每一列d_i表示控制者的一個面部圖像樣本的第一維列向量或第二維列向量，d_i為m×1維的向量。則第四特征向量的第一維列向量y3可以表示為公式5：

y3≈D2·x1＝x1₁·d₁+x1₂·d₂...+x1_n·d_n (公式5)

將步驟103計算得到的第一維系數向量x1以及被控者的面部圖像樣本庫中每個面部圖像的第一維列向量代入公式5中，可以得到第四特征向量的第一維列向量y3。

同理，假設第四特征向量的第二維列向量表示為y4，則第四特征向量的第二維列向量y4可以表示為公式6：

y4≈D2·x1＝x1₁·d₁+x1₂·d₂...+x1_n·d_n (公式6)

將步驟103計算得到的第二維系數向量x2以及被控者的面部圖像樣本庫中每個面部圖像樣本的第二維列向量代入公式6中，可以得到第四特征向量的第二維列向量y4。

其中，第四特征向量的第一維列向量y3由反映面部表情的關鍵特征點的橫坐標組成，第四特征向量的第二維列向量y4由反映面部表情的關鍵特征點的縱坐標組成。即y3中的第i行與y4中的第i行組成一個關鍵特征點，據此可以確定遷移后被控者面部表情的每個關鍵特征點的坐標。

本發明實施例中，根據第四特征向量的第一維列向量以及第四特征向量的第二維列向量，確定遷移后被控者的面部圖像。

具體地，根據第四特征向量的第一維列向量以及第四特征向量的第二維列向量，確定遷移后被控者面部表情的每個關鍵特征點的坐標，基于遷移后被控者面部表情的每個關鍵特征點的坐標進行三角剖分和紋理映射，從而得到表情遷移后被控者的面部圖像。

其中，三角剖分是代數拓撲學里最基本的研究方法。以曲面為例，采用三角剖分將曲面剖開成一塊塊碎片，要求滿足下面條件：(1)每塊碎片都是曲邊三角形；(2)曲面上任何兩個曲邊三角形，要么不相交，要么恰好相交于一條公共邊，不能同時有兩條或兩條以上的邊相交。目前比較常用的是Delaunay三角剖分方法。

其中，紋理映射是指在得到的三角剖分圖中添加紋理信息，即給每個像素賦予像素值。

優選地，對控制者當前面部圖像、控制者的面部圖像樣本庫中每個面部圖像樣本以及被控者的面部圖像樣本庫中每個面部圖像樣本中的關鍵特征點進行歸一化處理。具體地，針對任意一幅面部圖像，對該面部圖像中的關鍵特征點進行歸一化處理的過程為：

按照公式7對該面部圖像中的關鍵特征點的X坐標值進行歸一化處理，公式7為：

其中k_i為第i個關鍵特征點的X坐標的值，為該面部圖像中所有關鍵特征點的X坐標的平均值，k_i'為新得到的歸一化處理的關鍵特征點的X坐標的值。

同理，按照公式7對該面部圖像中的關鍵特征點的Y坐標值進行歸一化處理，此時公式7中的k_i為第i個關鍵特征點的Y坐標的值，為該面部圖像中所有關鍵特征點的Y坐標的平均值，k_i'為新得到的歸一化處理的關鍵特征點的Y坐標的值。

以下通過一個具體實施例對面部表情遷移的具體過程進行舉例說明。

第一步，如圖3所示給定的被控者的一張面部圖像，希望通過控制者的表情變化對該被控者的表情進行控制，實現表情遷移；

第二步，獲取包含被控者的基本表情的面部圖像樣本庫，如圖4所示為該面部圖像樣本庫的示意圖；

第三步，如圖5所示，針對被控者的面部圖像樣本庫中的每幅面部圖像，進行以下處理：對該面部圖像進行關鍵特征點提取，將每個關鍵特征點按照預設的順序排序后，將每個關鍵特征點的X軸坐標存儲于第一維列向量，將每個關鍵特征點的Y軸坐標存儲于第二維列向量；

第四步，根據被控者的面部圖像樣本庫中的每幅面部圖像樣本的第一維列向量和第二維列向量，建立兩個字典，分別表示為DX和DY，通過該兩個字典可以表示被控者的各種面部表情，其中，DX表示為(X1,X2,X3…)，DY表示為(Y1，Y2，Y3…)，X1表示被控者的面部圖像樣本庫中第一幅面部圖像樣本的第一維列向量，Y1表示被控者的面部圖像樣本庫中第一幅面部圖像樣本的第二維列向量，依次類推；

第五步，按照公式7對被控者的面部圖像樣本庫中每個面部圖像樣本中的關鍵特征點進行歸一化處理；

第六步，按照步驟第二步至第五步的方式為控制者建立基本表情的圖像樣本庫，具體參見第二步至第五步的描述，此處不再重復；

第七步，通過攝像頭獲得控制者當前的面部圖像，如圖6所示為控制者當前的面部圖像示意圖，并提取該面部圖像中的關鍵特征點，并確定包含該面部圖像中的關鍵特征點的X軸坐標的第一維列向量y1，以及確定包含該面部圖像中的關鍵特征點的Y軸坐標的第二維列向量y2，則y1可以表示為公式1，y2可以表示為公式3，通過求解公式1中x1的最小0范數得到稀疏解x1，即第一維系數向量，以及通過求解公式3中x2的最小0范數得到稀疏解x2，即第二維系數向量；

第八步，按照公式5以及公式6確定將控制者當前的面部圖像中的表情遷移到被控者后，被控者面部圖像中反映面部表情的關鍵特征點的坐標；

第九步，基于遷移后被控者面部表情的每個關鍵特征點的坐標進行三角剖分和紋理映射，從而得到表情遷移后被控者的面部圖像，如圖7所示為表情遷移后被控者的面部圖像示意圖。

其中，第七步中，采用分段匹配跟蹤的方式求解公式1中x1的最小0范數得到稀疏解x1的過程如下：

已知輸入參數為：稀疏解x1的稀疏度K，控制者的表情字典D1，y1以及閾值需求解的參數為稀疏解x1。

步驟a，初始化各參數：x1＝0，初始化殘差r₀＝y1，索引集Λ₀＝φ，迭代計數t＝1，其中，φ為D1中每個列向量的索引值的集合

步驟b，將殘差r_t-1分別與索引集Λ_t-1中的每個列向量進行內積運算，從索引集Λ_t-1中選擇內積所得的結果大于閾值的所有列向量的索引，得到選出索引集J_t，

步驟c，更新索引集：Λ_t＝Λ_t-1∪{J_t}；

步驟d，更新殘差：

步驟e，判斷是否滿足迭代停止條件，若滿足，停止迭代過程，并輸出若不滿足，則更新t＝t+1，并轉去執行步驟b。其中，迭代停止條件為殘差小于設定閾值，該設定閾值根據實際需求設定，例如，該設定閾值為0.02。

采用分段匹配跟蹤的方式求解公式1中x1的最小0范數得到稀疏解x1的總體思路為：每次迭代中，將上一次得到的殘差與D1中的列向量分別做內積運算，然后選出內積所得的結果大于閾值的列向量，并將選出的列向量所對應的列數索引保存到Λ_t中，然后用Λ_t中的索引組成新的字典并求出稀疏解x1和殘差，反復迭代，直到滿足終止條件，輸出x1。

基于同一發明構思，本發明實施例中提供了一種設備，該設備的具體實施可參見方法實施例部分的描述，重復之處不再贅述，如圖8所示，該設備主要包括：

獲取模塊801，用于獲得控制者當前面部圖像，其中，所述面部圖像為二維圖像；

第一處理模塊802，用于確定所述控制者當前面部圖像的關鍵特征點，并根據所述關鍵特征點確定第一特征向量，其中，所述第一特征向量用于表征所述控制者當前面部表情，所述第一特征向量為二維列向量；

第二處理模塊803，用于確定采用所述控制者的面部圖像樣本對應的第二特征向量線性表示所述第一特征向量所需的系數向量，其中，所述第二特征向量用于反映所述控制者的面部圖像樣本的面部表情，所述控制者的面部圖像樣本為二維圖像；

第三處理模塊804，用于根據所述系數向量以及被控者的面部圖像樣本對應的第三特征向量確定第四特征向量，其中，所述第三特征向量用于反映所述被控者的面部圖像樣本的面部表情，所述第四特征向量用于表征遷移后所述被控者面部表情，所述被控者的面部圖像樣本為二維圖像。

可能的實施方式中，所述第一處理模塊具體用于：

根據所述關鍵特征點的橫坐標確定所述第一特征向量的第一維列向量，以及根據所述關鍵特征點的縱坐標確定所述第一特征向量的第二維列向量。

可能的實施方式中，所述第二處理模塊具體用于：

確定采用所述第二特征向量的第一維列向量，線性表示所述第一特征向量的第一維列向量所需的第一維系數向量；以及

確定采用所述第二特征向量的第二維列向量，線性表示所述第一特征向量的第二維列向量所需的第二維系數向量；

其中，所述第一維系數向量和所述第二維系數向量組成所述系數向量。

可能的實施方式中，所述第三處理模塊具體用于：

根據所述第三特征向量的第一維列向量以及所述第一維系數向量，確定所述第四特征向量的第一維列向量；以及

根據所述第三特征向量的第二維列向量以及所述第二維系數向量，確定所述第四特征向量的第二維列向量。

基于上述技術方案，本發明實施例中，獲得控制者當前面部圖像后，確定采用所述控制者的面部圖像樣本對應的第二特征向量，線性表示所述控制者當前面部表情的第一特征向量所需的系數向量，將該系數向量作用于被控者的面部圖像樣本對應的第三特征向量后，即可得到用于表征遷移后所述被控者面部表情的第四特征向量。該方式不需要額外的硬件設備支持，降低了實現成本，并且能夠保證表情遷移的準確性，實現過程簡單，提高了處理效率。

本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或計算機程序產品。因此，本發明可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本發明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器和光學存儲器等)上實施的計算機程序產品的形式。

本發明是參照根據本發明實施例的方法、設備(系統)、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和范圍。這樣，倘若本發明的這些修改和變型屬于本發明權利要求及其等同技術的范圍之內，則本發明也意圖包含這些改動和變型在內。