本發明涉及鑄件缺陷檢測領域，特別涉及一種基于人眼視覺注意機制的鑄件缺陷識別方法。

背景技術：

隨著勞動力成本的不斷提高，原材料的持續上漲，為了最大限度的降低成本，越來越多有遠瞻性的企業選擇機器人來代替人工進行生產，實現生產線的自動化產業升級。在這種以新的以機器人為主的智能制造模式下，質量更有保障、同時還提高了效率、降低了成本。目前，工業機器人的人眼視覺檢測技術已經成為國外大公司研究的熱點，而且，各大廠家也都把工業機器人柔性視覺檢測定為今后在線檢測的應用趨勢。因此在鑄件巡檢機器人上采用視覺無損檢測方法確定鑄件內部缺陷的空間位置及分布，將對鑄件質量評價、安全生產等有著重要的意義。

現在工廠內一般是靠工人抽檢樣品，憑肉眼觀察缺陷，用樣品的質量特征來推測產品的質量特征。這種方式由于檢測設備、檢測者的疲勞和非一致性等人為因素影響，效率極低不適合現場實時檢測。

射線檢測是常規無損檢測的重要方法之一。目前，x射線數字圖像的計算機自動識別是該領域的研究熱點。近幾年，對鑄件x射線視覺的缺陷檢測研究主要集中在靜態圖像的增強、分割、識別方面。現在大多的處理方法只是集中于孤立圖像處理，這樣導致了可靠性不高以及實時性差兩個問題。工業應用要求盡可能高的生產效率和檢測速度，而以圖像處理技術為核心的x射線發動機鑄件缺陷自動檢測技術受數據量的影響，處理速度較慢，另外，運動圖像產生的拖影也限制了檢測速度的提高。因此，至今未有x射線缺陷實時自動檢測系統投入實際應用，可靠性與實時性問題是制約x射線視覺缺陷實時自動檢測系統投入應用的重大共性和關鍵性科學問題。

作為計算機視覺領域的基礎技術，運動目標檢測的研究具有非常重要的理論以及現實意義。運動目標檢測是目標跟蹤和行為識別等的基礎，檢測結果的好壞在很大程度上影響到目標追蹤和識別的性能，而且檢測性能的一點點的改善都會對后續工作的處理帶來非常大的便利，所以動態檢測結果具有重要的理論意義。在許多計算機視覺領域的實際應用中，動態目標檢測都是必須的。

隨著信息技術的快速發展，計算機視覺技術將在國家發展中發揮越來越重大的作用。另一方面，機器人技術快速發展，其應用前景廣闊，除工業機器人外，水下機器人、空間機器人、空中機器人、地面機器人、微小型機器人等各種用途的機器人相繼問世，許多夢想成為了現實。同人類情況一樣，視覺信息也是機器人獲取其周邊環境信息的主要來源，而故視覺信息處理系統將會是機器人與周邊環境交互的主要方式。

機器人視覺信息系統將目標對象從環境中檢測出來，確定目標與機器人的相對位置，然后實施具體動作和任務。盡管目標檢測是一個基礎技術，而且這方面研究也較多，但同時也是一個困難的問題，其也面對著人工智能領域的其它技術一樣的難題，一些人能夠輕易實現的事情，用計算機模擬起來卻異常困難。

在面對背景復雜、目標較小的射線圖像，現有傳統方法都基本失效，這是射線圖像檢測技術的一個難點?，F有的缺陷檢測方法是將圖像中的所有區域賦予相同的處理優先等級，而事實上很多圖像處理任務所關心的內容僅占圖像中很小的一部分，這樣必將導致計算量無謂增多，同時缺陷區域與偽缺陷區域的信息相互干擾，提高了識別的分析難度，也降低了分析的精確度。

現階段，itti等人提出數據驅動的視覺注意機制計算模型在現有視覺注意機制計算模型中應用最多，在對自然圖像及普通物體的檢測中取得了較好的效果。但itti所提模型在面對復雜大背景射線圖像時，存在適應性差、計算復雜、效率低等缺點。

技術實現要素：

本發明的目的在于針對現有技術的不足，提供一種基于人眼視覺注意機制的鑄件缺陷識別方法，本發明對鑄件缺陷的識別效果良好，準確率較高，且針對鑄件、焊縫等缺陷的兩大類缺陷(區域型和線型)，建立不同的實現模型，在準確提取出缺陷的同時，提高了缺陷檢測的效率。

本發明的目的是這樣實現的：一種基于人眼視覺注意機制的鑄件缺陷識別方法，包括如下步驟：

1)在系統初始化后進行參數導入，系統開始工作后，獲取鑄件射線圖像的動態序列；

2)確定鑄件射線圖像中的可疑缺陷區域：對圖像動態序列中的各幅鑄件射線圖像均進行圖像分割，將各幅鑄件射線圖像劃分成若干子區域。搜索各子區域內的峰值點，然后以各峰值點為中心在中心峰值點的n個鄰域方向上分別搜索離其最近的峰值點即為周邊峰值點，分別計算n個鄰域方向上的中央-周邊差δfi，將計算出來的各個鄰域方向上的中央-周邊差δfi分別與設定的中央-周邊差閾值ti進行比較，如果δfi≥ti，則將該鄰域方向上的周邊峰值點作為可疑缺陷區域的邊界參考點，根據得到的邊界參考點確定可疑缺陷區域，使邊界參考點位于可疑缺陷區域的邊界上或邊界內。

各區域內的峰值點的要求就是該方向上這個點兩邊的值都大于或者都小于該點灰度值。峰值點包括極大值點和極小值點。極大值點為該方向上其兩邊的值都小于其灰度值。極小值點為該方向上其兩邊的值都大于其灰度值。根據圖像不同，中心點可以根據實際需要選擇為分割后區域內的極大值點或極小值點。周邊點也可以根據實際需要選擇為分割后區域內的極大值點或極小值點。當中心點選擇極大值點時，周邊點選擇極小值點，當中心點選擇極小值點時，周邊點選擇極大值點。

3)缺陷匹配：對圖像動態序列中的鑄件射線圖像進行特征點提取和特征點初步匹配，得到初步匹配點，將初步匹配點與可疑缺陷區域做對比，選出在可疑缺陷區域內的最終匹配點。本發明將圖像動態序列中的所有鑄件射線圖像進行缺陷匹配，后一幅圖像是前一幅圖像平移所得，將前一副圖像作為后一副圖像的基準圖像，這樣在圖像的運動序列中對缺陷進行實時提取和動態跟蹤，利用人眼視覺注意機制模型等圖像處理方法在每幅圖像中分離出潛在缺陷，保證提取出全部真缺陷而不必考慮偽缺陷的數量，進一步提高鑄件缺陷的識別的準確率。

根據鑄件、焊縫等缺陷類型(區域型和線型)可以選擇對應的圖像分割手段，如區域分割手段或線段(行或列)分割手段。優選地，步驟2)采用區域分割手段或線段(行或列)分割手段對鑄件射線圖像進行圖像分割，當步驟2)采用區域分割手段對鑄件射線圖像進行圖像分割時，分割后的各子區域內的多個像素點呈縱橫排列的矩陣分布，當步驟2)采用線段分割手段對鑄件射線圖像進行圖像分割時，分割后的各子區域內的多個像素點呈直線(行或列)分布。

步驟2)中心峰值點的n個鄰域方向為該中心峰值點的8鄰域方向的部分以及全部，1≤n≤8，8鄰域方向包括該中心峰值點的上、下、左、右4個鄰域方向以及中心峰值點對角線方向上的4個鄰域方向。

優選地，當步驟2)采用區域分割手段對鑄件射線圖像進行圖像分割時，n為8，這8個鄰域方向為中心峰值點的上、下、左、右4個鄰域方向以及中心峰值點對角線方向上的4個鄰域方向，當步驟2)采用線段分割手段對鑄件射線圖像進行圖像分割時，n為2，這2個鄰域方向為中心峰值點的上、下2個鄰域方向或中心峰值點的左、右2個鄰域方向。

步驟2)采用區域分割手段對鑄件射線圖像進行圖像分割時，將求得的邊界參考點外接一個矩形，將所有相連矩形進行合并，合并后的矩形區域即為可疑缺陷區域。

步驟2)采用線段分割手段對鑄件射線圖像進行圖像分割時，邊界參考點與中心峰值點之間為缺陷像素，為了降低誤判，將缺陷像素區域擴大作為待處理區域，將所有相連待處理區域進行合并，合并后的待處理區域即為可疑缺陷區域。本發明可以將缺陷像素區域擴大為矩形作為待處理區域，缺陷像素區域位于該矩形內。

中央-周邊差閾值ti＝ti＝sδf+kσδf，其中σδf為中央-周邊差標準差，sδf為中央-周邊差平均值，k為常數。σδf為掃描同類型無缺陷鑄件射線圖像得出的中央—周邊差的標準差。sδf為掃描同類型無缺陷鑄件射線圖像得出的中央-周邊差平均值。k根據實際情況取值，一般取1-5。各子區域均對應同一中央-周邊差閾值ti或各子區域分別對應有各自的中央-周邊差閾值ti。

對圖像動態序列中的鑄件射線圖像進行harris角點提取和初步匹配，得到harris初步匹配點集合，對圖像動態序列中的鑄件射線圖像進行sift特征提取和初步匹配，得到sift初步匹配點集合，將harris初匹配點集合與sift初匹配點集合進行合并，得到初步匹配點集合，初步匹配點集合為harris初匹配點集合與sift初匹配點集合的并集，將初步匹配點集合與可疑缺陷區域做對比，選出在可疑缺陷區域內的最終匹配點。

引入ransac方法分別對harris初匹配點集合、sift初匹配點集合進行優化，進一步剔除偽匹配點，校正匹配結果。

本發明可以利用缺陷定位方法求取最終匹配點的空間位置坐標，即為缺陷的空間位置坐標。優選地，缺陷定位方法采用平移視差法。當然還可以采用立體觀測法或黑度計定位法等。

本發明的有益效果為：

本發明的步驟2)通過模擬視覺注意機制，以區域或者行(列)分割為手段，提出了基于視覺注意機制且利用中心-周邊算子的鑄件射線圖像缺陷檢測模型以及其實現方法，避免了傳統itti方法存在的問題，減少了無關區域對核心區域的干擾以及數據處理量，達到順利選擇出射線圖像中應該被關注的重點區域的目的，為后續缺陷提取打下基礎。通過模擬人眼視覺的掃描來進行自適應中央-周邊差計算來直接獲得顯著圖即roi(regionofinterest)的方法，以迅速有效地減少圖像處理的數據量，提高檢測速度，保證檢測效率；更重要的是有效地消除無效數據對缺陷檢測區域的干擾，有助于提高檢測精度和準確度。

建立人眼立體立體視覺中的極線約束和三維重建算法模型。按照匹配條件對潛在缺陷區域依次進行兩兩匹配，經過缺陷匹配后獲得的潛在缺陷區域。根據檢測圖像的線灰度或者區域灰度分布特點研究定位特征點的選擇方法，建立復雜鑄件中缺陷深度與偏移量計算的數學模型。實現自動地計算缺陷深度、偏移量，減少人為因素的干擾和提高程序運行的魯棒性。

本發明的步驟3)分析總結了harris角點提取和sift特征點提取的原理及一般流程，之后通過介紹ransac方法的原理及優點，優化了匹配過程中偽缺陷的問題，進一步保證了缺陷匹配的準確性。在此基礎上，提出了基于harris-sift的缺陷匹配方法。

對圖像動態序列中的鑄件射線圖像進行harris角點提取和初步匹配，得到harris初步匹配點集合，對圖像動態序列中的鑄件射線圖像進行sift特征提取和初步匹配，得到sift初步匹配點集合，將harris初匹配點集合與sift初匹配點集合進行合并，得到初步匹配點集合，初步匹配點集合為harris初匹配點集合與sift初匹配點集合的并集，將初步匹配點集合與可疑缺陷區域做對比，選出在可疑缺陷區域內的最終匹配點。

本發明通過將步驟2)中確定的可疑缺陷區域以及步驟3)中匹配成功的缺陷綜合對比后，得到鑄件中缺陷的真實位置，而后利用平移視差法定位鑄件缺陷在空間中的具體坐標。

本發明將人眼視覺選擇注意機制和立體機制引入到x射線圖像目標檢測中，提出一種動態的基于人眼視覺機制的x射線數字圖像自動識別新方法。該方法在圖像的運動序列中對缺陷進行實時提取和動態跟蹤，利用人眼視覺注意機制模型等圖像處理方法在每幅圖像中分離出潛在缺陷，保證提取出全部真缺陷而不必考慮偽缺陷的數量，并將此方法應用于工業檢測機器人在線檢測過程中，有很大的現實意義。

總之，本發明對鑄件缺陷的識別效果良好，準確率較高，檢測效率高。

附圖說明

圖1為本發明的檢測系統運行流程圖；

圖2為本發明的檢測方法流程圖；

圖3為基于區域分割的視覺注意機制實現方法流程圖；

圖4為8鄰域方向；

圖5為可疑缺陷區域；

圖6為基于行(列)分割的視覺注意機制實現方法流程圖；

圖7為含有缺陷的x射線圖像，其中(a)為含有缺陷的x射線圖像；(b)為射線圖像三維灰度直方圖；

圖8為區域分割缺陷檢測示意圖；

圖9為行(列)分割缺陷檢測示意圖；

圖10為本發明方法與傳統方法效果對比圖，其中(a)本發明方法，(b)固定閾值法，(c)自適應閾值法，(d)分水嶺法；

圖11為本發明匹配算法流程圖；

圖12為高斯金字塔的示意圖；

圖13為高斯差分金字塔的示意圖；

圖14為高斯差分金字塔尺度空間局部極值檢測的示意圖；

圖15為確定主梯度的方向的示意圖；

圖16為特征點描述的示意圖；

圖17為sift特征點提取流程圖；

圖18為待匹配圖像；

圖19為初步提取的匹配點的示意圖；

圖20為初步匹配點集合的示意圖；

圖21為最終的匹配點的示意圖；

圖22為缺陷較多情況下的匹配效果的示意圖；

圖23為svm結果圖。

具體實施方式

參見圖1，本發明公開了一種基于人眼視覺機制的鑄件缺陷檢測系統，該系統包括巡檢機器人和上位計算機，所述巡檢機器人用于獲取連續的鑄件射線圖像即鑄件射線圖像的動態序列，并將獲得的連續的鑄件射線圖像上傳至上位計算機，所述上位計算機用于采集巡檢機器人上傳的連續的鑄件射線圖像，并對鑄件射線圖像進行圖像分割、缺陷匹配、缺陷定位處理后輸出定位數據。

巡檢機器人在傳送帶附近隨機或者固定對運動中的工件進行圖像獲取，之后系統的工作過程是：(1)系統啟動，傳動帶開始工作，上料機將鑄件放在傳送帶上，傳送帶做迅速運動；(2)巡檢機器人隨機在其巡檢范圍內對傳送帶上的鑄件進行拍照，獲取連續的x射線圖像，而后巡檢機器人將獲得的圖像上傳至上位機進行處理；(3)上位機對獲得的圖像進行程序處理，而后導出相關數據。

參見圖2，本發明公開了一種基于人眼視覺注意機制的鑄件缺陷識別方法，包括如下步驟：

本發明的步驟1)為在系統初始化后進行參數導入，系統開始工作后，獲取鑄件射線圖像的動態序列；

本發明的步驟2)為確定鑄件射線圖像中的可疑缺陷區域：對圖像動態序列中的各幅鑄件射線圖像均進行圖像分割，將各幅鑄件射線圖像劃分成若干包含多個像素點的子區域，搜索各子區域內的峰值點，然后以各峰值點為中心在中心峰值點的n個鄰域方向上分別搜索離其最近的峰值點即為周邊峰值點，分別計算n個鄰域方向上的中央-周邊差δfi，將計算出來的各個鄰域方向上的中央-周邊差δfi分別與該子區域的中央-周邊差閾值ti進行比較，如果δfi≥ti，則將該鄰域方向上的周邊峰值點作為可疑缺陷區域的邊界參考點，根據得到的邊界參考點確定可疑缺陷區域，使邊界參考點位于可疑缺陷區域的邊界上或邊界內；

根據鑄件、焊縫等缺陷類型(區域型和線型)可以選擇對應的圖像分割手段，如區域分割手段或線段(行或列)分割手段。優選地，步驟2)采用區域分割手段或線段(行或列)分割手段對鑄件射線圖像進行圖像分割，當步驟2)采用區域分割手段對鑄件射線圖像進行圖像分割時，分割后的各子區域內的多個像素點呈縱橫排列的矩陣分布，當步驟2)采用線段分割手段對鑄件射線圖像進行圖像分割時，分割后的各子區域內的多個像素點呈直線(行或列)分布。

針對鑄件、焊縫等的區域型缺陷，本發明采用基于區域分割的視覺注意機制實現方法確定鑄件射線圖像中的可疑缺陷區域，參見圖3，該方法首先將目標射線圖像劃分成8*8大小的若干子區域，之后搜索該子區域內的局部峰值點，以該峰值點為中心向該點8鄰域方向(圖4所示)尋找各個方向最近的峰值點如圖5所示，通過中央-周邊差算子與既定閾值作對比，把符合條件的點作為可疑缺陷區域的邊界點，外接所有邊界點為一個矩形后獲得可疑缺陷區域。后續的圖像處理、分析、識別都以得到可疑缺陷區域為基礎。

參見圖3，基于區域分割的視覺注意機制實現方法如下：

(1)對射線圖像進行子區域劃分，如本實施例每個子區域包含8*8個像素點；

(2)搜索各子區域得到第i個子區域峰值點f(xi,yi)(i＝1,2,…,n)即中心點，該中心點對應的像素坐標為(xi,yi)。搜索各個子區域峰值點8鄰域方向的峰值點，分別為f(xin,yin)(n＝1,2,…,8)，記做(xin,yin)；

(3)分別計算8個中央-周邊差：

δfi(i＝1,2,…,8)＝f(xi,yi)-f(xin,yin)(n＝1,2,…,8)；

(4)設ti＝sδf+kσδf為中央-周邊差閾值，其中σδf為中央-周邊差標準差，sδf為中央-周邊差平均值，k為常比例系數，一般取1～3。將中央-周邊差δfi與該子區域閾值ti作比較。如果δfi≥ti，則標記該方向上的峰值點記為可疑區域邊界參考點，如果δfi<ti，則該點不作為可疑區域邊界參考點；

(5)將求得的標記點外接一個矩形，如圖5所示，將所有相連矩形進行合并，合并后的矩形區域即為可疑缺陷區域，之后的處理皆以該可疑缺陷區域為基礎。

針對鑄件、焊縫等的線型缺陷，本發明采用基于行(列)分割的視覺注意機制實現方法確定鑄件射線圖像中的可疑缺陷區域，該方法首先將目標射線圖像的行(列)劃分成相等的線段，之后搜索該線段內的局部峰值點，以該峰值點為中心向該點左、右(上、下)鄰域方向尋找各個方向最近的峰值點，通過中央-周邊差算子與既定閾值作對比得到缺陷像素區域，通過外接、合并缺陷像素區域矩形從而獲得可疑區域。后續的圖像處理、分析、識別都以得到可疑區域為基礎。

參見圖6，基于行(列)分割的視覺注意機制實現方法如下：

(1)將射線圖像的每行或每列劃分為以多個像素點為單位的線段，如本實施例將射線圖像的每列劃分為以12個像素點為單位的線段。

(2)本實施例的中心點取局部極大值點，搜索第j列灰度曲線各子線段的局部極大值點f(xi,yj)(i＝1,2,…,n)即中心點，n為中心點的個數，各中心點對應的像素坐標為(xi,yj)。從各個中心點開始向兩側分別搜索離其最近的局部極小值點，分別為f(xil,yj)和f(xir,yj)，得到的兩個周邊點，記做(xil,yj)和(xir,yj)。

(3)設δfl＝f(xi,yj)-f(xil,yj)和δfr＝f(xi,yj)-f(xir,yj)為兩個中央-周邊差；tj為第j列掃描的中央-周邊差算子閾值，tj＝sδf+kσδf，其中σδf為中央-周邊差的標準差，sδf為中央-周邊差平均值，k為常數，本實施例k取3。

(4)將δfl和δfr與各掃描線的閾值tj作比較。如δfl≥tj，則該周邊點(xil,yj)與中心點中間部分為缺陷像素區域，δfr≥tj，則該周邊點(xir,yj)與中心點中間部分為缺陷像素區域，如δfl≥tj，δfr≥tj，則兩個周邊點中間部分為缺陷像素區域，同時，該列掃描線上其余各點顯著度置零。

(5)將所得缺陷像素區域外接矩形擴大2倍作為待處理區域，合并相連的待處理區域即可得到可疑缺陷區域，之后的處理皆以該可疑缺陷區域為基礎。

在鑄件、焊縫等射線圖像中，焊縫中的不同材質使得亮度比鑄件圖像更加不均勻且模糊，因此以提取難度更大的焊縫射線圖像為研究對象進行實驗分析。圖7(a)為含有氣孔、夾渣、裂紋等缺陷的x射線圖像。可以看出其整體亮度不均勻，灰度起伏大，其灰度分布直方圖為圖7(b)，如果采用傳統方法對其進行處理，效率較低。

應用本發明提出的基于區域分割的視覺注意機制實現方法處理圖7(a)中含有氣孔、夾渣等缺陷的鑄件缺陷圖像。對圖像進行子區劃分，并經過中央-周邊差算子結果與閾值比較后可得如圖8(上)效果，之后通過合并相連區域后得到可疑缺陷區域，如圖8(中)所示，二值化后得到圖8(下)。

采用本發明提出的基于線段(行或列)分割的視覺注意機制實現方法處理圖7(下)中的含有裂紋等細長狀缺陷的圖像。對圖像每行進行劃分，經過中央-周邊差算子結果與閾值比較后得到圖9(a)中的缺陷像素區域，如圖9(b)所示將這些缺陷區域外接矩形得到待處理區域，合并相連的待處理區域后得到可疑缺陷區域如圖9(c)，將可疑缺陷區域二值化后的結果如圖9(d)所示。實驗表明，本發明提出的方法能夠后效的檢測出鑄件射線圖像中的缺陷。

本發明對130相關射線圖像進行了微小缺陷的提取實驗，并與傳統方法做了對比，傳統方法處理后的圖像見圖10，相關數據結果如表1所示:

表1實驗結果

本發明通過模擬視覺注意機制，以區域或者行(列)分割為手段，提出了基于視覺注意機制且利用中心-周邊算子的鑄件射線圖像缺陷檢測模型以及其實現方法，避免了傳統itti方法存在的問題，減少了無關區域對核心區域的干擾以及數據處理量，達到順利選擇出射線圖像中可疑缺陷區域的目的，為后續缺陷提取打下基礎。

本發明通過借鑒生物選擇注意機制完成序列內圖像的缺陷快速檢測，降低了漏檢率，提高了生產效率。但只針對孤立的圖像進行缺陷檢測，并不能保證提取出的缺陷的真實性，不能降低偽缺陷的存在率，故仍需在圖像動態序列中進行缺陷匹配，剔除噪聲等偽缺陷，提高缺陷檢測正確率，且同時利用平移視差法對缺陷進行定位，進一步提高缺陷檢測精度。

本發明的步驟3)為缺陷匹配：對圖像動態序列中的鑄件射線圖像進行特征點提取和特征點初步匹配，得到初步匹配點，將初步匹配點與可疑缺陷區域做對比，選出在可疑缺陷區域內的最終匹配點。

優選地，參見圖11，本發明對圖像動態序列中的鑄件射線圖像進行harris角點提取和初步匹配，得到harris初步匹配點集合，對圖像動態序列中的鑄件射線圖像進行sift特征提取和初步匹配，得到sift初步匹配點集合，將harris初匹配點集合與sift初匹配點集合進行合并，得到初步匹配點集合，初步匹配點集合為harris初匹配點集合與sift初匹配點集合的并集，將初步匹配點集合與可疑缺陷區域做對比，選出在可疑缺陷區域內的最終匹配點。優選地，引入ransac方法分別對harris初匹配點集合、sift初匹配點集合進行優化，進一步剔除偽匹配點，校正匹配結果。

harris角點的提取的基本流程為：(1)取以目標像素點為中心的一個小區域作為窗口；(2)計算窗口內沿任何方向移動后的灰度變化,并用解析形式表達。設以像素點(x,y)為中心的小窗口在x方向上移動u，y方向上移動v，灰度變化度量的解析表達式如(1)：

gx,y為窗口內的灰度變化度量；i為圖像灰度函數

將gx,y化為二次型有：

其中

通過對角化處理可以得到：

其中r為旋轉因子，λ1,λ2兩個特征值反映了兩個主軸方向的圖像表面曲率。為了簡便運算，采用tr(m)和det(m)來代替λ1,λ2，現假設：

則矩陣m(x,y)的行列式和跡為：

tr(m)＝λ1+λ2＝a+bdet(m)＝λ1λ2＝ab-c²式(5)

可得harris的角點相應函數式子：

r(x,y)＝det(m)-k(tr(m))²＝(ab-c²)-k(a+b)²式(6)

式中k為大于0的參數，一般取0.04。在實際應用過程中，當目標點的r值大于給定的閾值時，該點即為角點。

在角點提取過程中，當r值越大，則得到的角點越少，大部分為特征明顯的角點，反之，則提取的角點越多，更加密集。由于角點相應閾值r的選擇范圍大，使得提取角點的數目易于控制，為后續過程中得到新的特征點提供了可行性條件。

harris角點的初步匹配的基本流程為：對提取到的角點運用歸一化互相關函數進行一致性匹配，式(7)為歸一化函數具體形式。首先設定相關系數的閾值t，然后計算基準圖像上所有特征點與匹配圖像上所有特征點的相關系數。圖像序列中前一副圖像為后一副圖像的基準圖像。若基準圖像上的特征點pi與匹配圖像上的特征點p'i之間的相關系數大于特征點p'i與匹配圖像上其余特征點之間的相關系數，且該相關系數還要是匹配圖像上的特征點p'i與基準圖像上所有特征點之間的相關系數中的最大值,同時大于相關系數的閾值t,即滿足匹配的約束條件,則特征點pi與p'i被確定為匹配點，為下一步匹配工作做準備。

其中m,n表示匹配窗口的大小，wi,j為基準圖像上特征點pi在(i,j)點的灰度，w'i+r,j+c為匹配圖像上特征點p'i在點(i+r,j+c)的灰度，表示基準區域和匹配區域的灰度平均值，ρ(r,c)表示特征點pi與p'i之間的相關系數。

sift特征提取的基本流程為：

(1)sift特征點檢測

在不同尺度kσ(k＝1，尺度以k倍遞增)的高斯濾波函數g(x,y,kσ)下對圖像i(x,y)進行平滑得到第一組s+3層的高斯圖像l(x,y,kσ)。將圖像i(x,y)進行二次采樣，得到新的二次采樣圖像，用不同尺度kσ(k＝2，尺度以k倍遞增)的高斯濾波函數g(x,y,kσ)對其進行平滑得到第二組s+3層的高斯圖像l(x,y,kσ)。依次類推，最終得到由多組高斯圖像l(x,y,kσ)構成的高斯尺度金字塔，如圖12所示。將每組內相鄰的兩層圖像l(x,y,k²σ)和l(x,y,kσ)相減得到s+2層高斯差分影像d(x,y,kσ)，得到由多組高斯差分影像d(x,y,kσ)構成的高斯差分金字塔dog，如圖13所示。在高斯差分金字塔中，將每組中間s層中的每個像素點與它同尺度的8個相鄰像素點和上下相鄰尺度對應的9*2個像素點(總共26個點)進行灰度值比較，若該點為極值點，則可作為sift候選特征點，如圖14所示。再將低對比度和邊緣候選極值點去掉，得到穩定特征點，并通過曲線擬合對特征點進行精確定位，將關鍵點鄰域內各點的梯度方向直方圖中最大值對應的方向作為該點的方向，如圖15所示。

(2)特征點描述

為保證特征的旋轉不變性，第一步先將坐標軸旋轉至關鍵點的方向。然后在特征點所在的尺度空間內取以其為中心的16*16像素大小的窗口，將其分為4*4個子區域，接著計算每個子區域每個方向上的的梯度方向直方圖。再把所有子區域的梯度方向直方圖按位置排序，形成一個128維(4*4*8)的特征向量。最后再將特征向量長度歸一化去除光照變化影響。

圖16左邊的圖的中央為當前關鍵點的位置，關鍵點周圍的小格子代表其鄰域所在的尺度空間內的一個像素點，右圖中的箭頭指向該像素點的梯度方向，箭頭的長短表示梯度的值，接著用高斯窗口對其進行加權運算。

高斯加權運算的范圍如圖16中左圖圓圈的范圍。然后在每個4×4的小塊上計算8個方向的梯度方向直方圖和每個梯度方向的累加值，即可形成一個種子點，如圖右部分示，圖中有4個種子點，每個種子點有8個方向向量的信息。sift特征點提取及算法的流程如圖17所示。

sift特征的匹配的基本流程為：根據最近鄰特征點距離與次近鄰特征點距離之比d(即nn算法)確定匹配點對。采用該策略時d的取值很重要，當d較高時匹配點對的數量很大，但易產生弱匹配點，減弱主要匹配點對在計算中的權值，從而影響匹配效果和計算速度；當d較小時，匹配點對的數量較少，可能會集中在影像的局部區域，影響其它區域的匹配效果。為避免d的取值，消除了人為經驗的影響，本發明將雙向匹配約束條件引入到sift特征匹配過程中進行初匹配，在此之前需要確定特征點的最近鄰點，所以如何快速有效地尋找到特征點的最近鄰點是sift特征匹配的關鍵問題，雖然窮舉法能找到最精確的最近鄰點，但是如果特征點數目很大時，計算量會以指數級別增長，實用性不強。

由于sift特征向量的維數高達128維，故需一種高效的數據結構以達到快速搜索的目的，k-d樹(k-dimensiontree，k-d樹中k表示為k個維度)搜索算法是二叉搜索樹的擴展，能避免窮舉法的不足而快速找到最近鄰點。對于k-d樹的每個節點而言，每個節點都代表一個維度的分割，其左子樹之節點都小于等于其代表的值，而右子樹皆大于其值。若父節點為第i個維度的分割，則子節點代表第i+1個維度的分割。當一個節點中的點數少于給定的最大點數時，分割結束，k-d樹的時間復雜度為o(nlogn)，其中n表示為點的個數。本發明以二維樹為例介紹k-d樹數據組織結構的建立步驟:

(1)對n個k維向量(x11,x12,...,x1k),(x21,x22,...,x2k),...,(xn1,xn2,...,xnk)按第i個維度的大小排序(i＝1,2,...k)；

(2)取排序后的中位數v，將點集分為左右兩部分，左子樹節點第i個維度小于v值，右子樹節點第i個維度大于v值；

(3)按上述步驟類推從第i+1維度建立左點集的k-d樹；

(4)同上從i+1維度建立右點集的k-d樹。

小維度的k-d樹搜索十分高效，但是隨著其維度的提高，k-d樹的搜索效率會降低。所以本發明采用一種適合高維度空間的搜索方法best-bin-first，簡稱bbf方法，對k-d樹進行最近鄰搜索。bbf搜索算法是在k-d樹的基礎上采用優先隊列將節點和被查詢節點間的最短距離按遞增排序來搜索節點，在沿著某一方向的分支搜索節點時，優先隊列將會加入一個成員，該成員記錄了對應節點的相關信息，包括此節點在樹中的位置信息和該節點到被查詢節點間的距離信息，當搜索到葉子節點后刪除隊列的隊首，再搜索包含最近鄰節點的其它分支。

確定搜索最近鄰點的方法后利用雙向一致性約束實現sift特征點的初匹配，其匹配原理是:首先利用bbf-kd樹方法在匹配影像(右影像)中尋找并確定基準影像(左影像)上某sift特征點pi，的最近鄰點p'i，如果再利用bbf-kd樹方法在左影像中尋找并確定右影像上特征點p'i的最近鄰點對應為pi，，則此時特征點pi與p'i，滿足雙向一致性約束條件，并可認為它們是一對初匹配點。雙向匹配后將獲取得到的sift匹配點作為下一步精匹配的候選匹配點(簡稱sift初匹配點)。

為了進一步剔除偽缺陷導致的誤匹配等情況，故引入ransac方法進行優化。

ransac基本思想為：在相對定向過程中，引入ransac(randomsampleconsensus:隨機抽樣一致性)方法，ransac算法的基本假設是樣本中包含正確數據(inliers，可以被模型描述的數據)，也包含異常數據，即數據集中含有噪聲。這些異常數據可能是由于錯誤的測量、錯誤的假設、錯誤的計算等產生的。同時ransac也假設，給定一組正確的數據，存在可以計算出符合這些數據的模型參數的方法。

ransac算法流程為

(1)應用對前文中提到的角點提取或者特征提取對圖像進行特征點提??；

(2)按照前文中提出的方法進行特征點初步匹配；

(3)對上述初步匹配的結果進行n次的抽樣：

1)隨機選擇一定量的初步匹配點，解核線方程；

2)計算每組初步匹配點與其對應核線件的距離；

3)統計距離小于閾值的匹配點的數量，將這些點定作內點；

(4)利用內點最多的一組匹配結果計算左右篇核線；

(5)利用(4)得到的結果引導校正匹配結果，同時用新的匹配結果重新計算核線，將該步驟多次迭代后，直到獲得穩定的結果為止。

依照本發明提出的方法，首先將基準圖像和平移后的匹配圖像用harris-sift角點和特征點匹配方法提取出初步匹配點，原圖為圖18，處理后效果如圖19所示：

而后通過ransac優化后得到如圖20所示的初步匹配點集合。將所得的初步匹配點集合與步驟2)檢測出的可疑缺陷區域做比較后，得到最終的匹配點，如圖21所示。圖22為缺陷較多的情況下的匹配效果。

本發明可以利用缺陷定位方法求取最終匹配點的空間位置坐標，即為缺陷的空間位置坐標。優選地，缺陷定位方法采用平移視差法。當然還可以采用立體觀測法或黑度計定位法等。

將最終獲得的匹配點的坐標代如平移視差法中的公式可得如表2的匹配點的坐標：表2

此一些列坐標即為缺陷的空間位置坐標，由此完成了鑄件缺陷的匹配及定位功能。

本發明的步驟3)利用harris-sift方法提取出鑄件射線圖像中的缺陷點特征，同時結合步驟2)中選擇出的可疑區域，減少了其他無關區域的影響。

本發明使用svm方法對鑄件射線圖片缺陷的提取進行驗證。針對夾渣以及裂紋這兩種最常見的鑄件缺陷，共有樣本130個，每種65個，選擇每種的55個作為訓練集，另外的10個作為測試集，用訓練集對svm機器學習進行訓練得到分類模型，使用分類模型對測試集的樣本進行標簽判別。判別結果如圖23所示，通過結果圖發現，利用svm成功對2種典型的鑄件缺陷進行了分類識別，正確率達100％，證明本發明的方法中對鑄件射線圖像中缺陷提取的正確性以及準確性。

本發明不僅僅局限于上述實施例，在不背離本發明技術方案原則精神的情況下進行些許改動的技術方案，應落入本發明的保護范圍。