本發明屬于工業產品表面瑕疵檢測方法技術領域,特別是一種計算量小、實時性好的近矩形平面狀工業產品表面瑕疵檢測方法。
背景技術:
流水線生產過程中有可能在產品外殼上形成劃痕、擦傷等表面瑕疵,表面完好度檢測是很多工業產品出廠合格檢測的必檢項目之一。
表面瑕疵檢測傳統上主要依靠人工目測檢查的方式。長時間從事這種單調的外觀瑕疵檢測極易引起質檢員視覺疲勞,從而影響檢測效率和正確率。工業生產線光照條件穩定,單一流水線產品類型固定,比較適合采用機器視覺的方式在線自動檢測產品表面瑕疵。基于機器視覺的工業品外觀瑕疵檢測方案在紡織、通信等行業都有應用案例,已有應用案例大都在空間域進行數字圖像處理,通過與預存的標準產品外觀模板對比評估待檢產品表面是否存在瑕疵。為了發現一些較為細小的劃痕、污點等瑕疵,用于表面瑕疵檢測的機器視覺系統一般選擇分辨率較高的工業相機采集數字圖像。
目前大部分檢測系統采用空間域處理的方式比對待檢產品和標準圖像,在圖像分辨率較高的情況下,計算量較大,實時性差。
技術實現要素:
本發明的目的在于提供一種近矩形平面狀工業產品表面瑕疵檢測方法,計算量小、實時性好。
實現本發明目的的技術解決方案為:
一種近矩形平面狀工業產品表面瑕疵檢測方法,包括以下步驟:
(10)模板圖像生成:在流水線正常照明狀態下采集表面完好的標準產品的外觀灰度圖像,檢測該圖像邊緣,獲取產品外輪廓線,依據外輪廓線裁剪出標準產品外觀模板圖像;
(20)待檢測產品圖像生成:采集待檢測產品外觀灰度圖像,尋找產品外輪廓矩形,裁剪出待檢測產品區域,調整分辨率,得到待檢測產品圖像,將模板圖像與待檢測產品圖像拼接形成一張整體圖像;
(30)疑似瑕疵區域檢測:將整體圖像進行二維離散傅里葉變換和傅里葉反變換,在經反變換后的圖像中剪裁出拼接時的待檢測產品圖像對應區塊,將其二值化得到疑似瑕疵區域;
(40)瑕疵區域檢測:將疑似瑕疵區域與模板圖像中相同位置附近區域進行對比,如最小差異超出閾值范圍,則確定該處存在表面瑕疵。
本發明與現有技術相比,其顯著優點為:
1、計算量小:本發明首先通過高效的頻域分析檢測疑似瑕疵區域,然后僅針對這些疑似瑕疵區域實施計算量較大的瑕疵區域精細比較過程。由于一張待檢測產品圖像中疑似瑕疵區域數量較少,因此與常用的逐像素對比方法相比明顯減小了計算量。
2、實時性好:本發明使用的圖像快速傅里葉變換有很高的計算效率,同時得益于提取的疑似瑕疵區域待對比數據量較小,因此比常見的基于空間域分析的方法效率更高。
下面結合附圖和具體實施方式對本發明作進一步的詳細描述。
附圖說明
圖1為本發明近矩形平面狀工業產品表面瑕疵檢測方法的主流程圖。
圖2為圖1中模板圖像生成步驟的流程圖。
圖3為模板圖像生成結果示例圖。
其中,圖3a為標準產品灰度圖像,圖3b為邊緣檢測與外輪廓矩形檢測結果,圖3c為裁剪得到的產品模板圖像。
圖4為圖1中待檢測產品圖像生成步驟的流程圖。
圖5為待檢測產品圖像生成結果示例圖。
其中,圖5a為待檢測產品灰度圖像,圖5b為邊緣檢測與外輪廓矩形檢測結果,圖5c為裁剪得到的待檢測產品圖像。
圖6為圖1中疑似瑕疵區域檢測步驟的流程圖。
圖7為模板圖像與待檢測產品圖像拼接結果示例圖。
圖8為圖1中瑕疵區域檢測步驟的流程圖。
圖9為待檢測產品外觀瑕疵檢測結果示例圖。
其中,圖9a為疑似瑕疵區域,圖9b為確定瑕疵區域,圖9c為瑕疵檢測結果。
具體實施方式
如圖1所示,本發明近矩形平面狀工業產品表面瑕疵檢測方法,包括以下步驟:
(10)模板圖像生成:在流水線正常照明狀態下采集表面完好的標準產品的外觀灰度圖像,檢測該圖像邊緣,獲取產品外輪廓線,依據外輪廓線裁剪出標準產品外觀模板圖像;
如圖2所示,所述(10)模板圖像生成步驟包括:
(11)邊緣圖像獲取:在流水線正常照明狀態下,采集表面完好的標準產品的外觀灰度圖像itemp-o,測量外觀灰度圖像中產品外輪廓矩形的寬度、高度,使用標準canny邊緣檢測算子檢測外觀灰度圖像itemp-o邊緣,得到二值化邊緣圖像itemp-edge;
(12)外輪廓線獲取:在二值化邊緣圖像itemp-edge中使用標準hough變換方法檢測直線,在檢測得到的直線簇中選擇長度與產品外輪廓矩形長和寬差異不超過δl的直線段作為疑似外輪廓線,先選擇二值化邊緣圖像itemp-edge中位于最左惻和最上惻的疑似外輪廓線作為實際輪廓線,然后以步驟1-1中測量的產品外輪廓矩形在itemp-o中的寬和高作為先驗知識,選擇與左側和上側輪廓線平行且與其距離最接近產品寬和高的直線段作為右側和下側輪廓線;
(13)外觀模板圖像獲取:用標準圖像旋轉方法旋轉四條輪廓線圍成的區域,使上側輪廓線旋轉后呈水平,然后將旋轉后輪廓線圍成的區域保存為產品外觀模板圖像itemp。
圖3所示為模板圖像生成的結果示例圖。其中,圖3a為標準產品灰度圖像,圖3b為邊緣檢測與外輪廓矩形檢測結果,圖3c為裁剪得到的產品模板圖像。
(20)待檢測產品圖像生成:采集待檢測產品外觀灰度圖像,尋找產品外輪廓矩形,裁剪出待檢測產品區域,調整分辨率,得到待檢測產品圖像,將模板圖像與待檢測產品圖像拼接形成一張整體圖像;
如圖4所示,所述(20)待檢測產品圖像生成步驟包括:
(21)外觀灰度圖像采集:采集待檢測產品的外觀灰度圖像;
(22)外輪廓矩形尋找:使用canny邊緣檢測算子,在外觀灰度圖像中尋找產品外輪廓矩形;
(23)待檢測產品圖像獲取:旋轉外觀灰度圖像,使產品外輪廓矩形上邊緣水平,依據外輪廓裁剪出待檢測產品區域,并將該區域縮放至與模板圖像itemp同分辨率,得到待檢測產品圖像itest,
(24)圖像拼接:將m*n-1個模板圖像itemp與1個待檢測產品圖像itest整體按照m*n排列拼接形成一張整體圖像idet。
所述(24)圖像拼接步驟包括:
(241)圖像縮放:在拍攝的包含待檢測圖像的原始圖像中裁剪出待檢測產品圖像itest并縮放至與模板圖像itemp4相同分辨率;
(242)圖像排列:將m*n-1個模板圖像itemp與1個待檢測產品圖像itest分別作為整體圖像塊,按照m*n排列拼接形成一張圖像idet,其中將itest放置于
圖5為待檢測產品圖像生成結果示例圖。
其中,圖5a為待檢測產品灰度圖像,圖5b為邊緣檢測與外輪廓矩形檢測結果,圖5c為裁剪得到的待檢測產品圖像。
(30)疑似瑕疵區域檢測:將整體圖像進行二維離散傅里葉變換和傅里葉反變換,在經反變換后的圖像中剪裁出拼接時的待檢測產品圖像對應區塊,將其二值化得到疑似瑕疵區域;
如圖6所示,所述(30)疑似瑕疵區域檢測步驟包括:
(31)傅里葉變換:將整體圖像idet進行二維離散傅里葉變換得到idet-f,如式(1)
其中mdet,ndet為idet的高和寬,udet-f、vdet-f、xtest、ytest為像素坐標,j為虛數單位,r(udet-f,vdet-f)為傅里葉變換后的實數部分,i(udet-f,vdet-f)為虛數部分,以下公式中類似參數含義相似僅以下標區別,式(1)中:
(32)幅度譜計算:使用式(2)計算傅里葉變換后idet-f的幅度譜
(33)傅里葉逆變換:然后使用式(4)對idet-f'進行二維離散傅里葉逆變換,即
在idet'中剪裁出原itest放置位置的圖像塊保存為itest';
(34)疑似瑕疵區域獲取:使用標準otsu算法將itest'二值化,二值化圖像中亮度為255的像素點為疑似瑕疵區域。
圖7為模板圖像與待檢測產品圖像拼接結果示例圖。
(40)瑕疵區域檢測:將疑似瑕疵區域與模板圖像中相同位置附近區域進行對比,如最小差異超出閾值范圍,則確定該處存在表面瑕疵。
如圖8所示,所述(40)瑕疵區域檢測步驟包括:
(41)待對比圖像塊選取:依次選擇疑似瑕疵區域中的疑似瑕疵點作為中心像素點,取邊長wn像素的正方形窗口內的近鄰像素與中心像素點一起作為待對比圖像塊;
(42)待對比圖像塊差異計算:記該待對比圖像塊為imgpatchtest(i),其中心像素在itest'中的圖像坐標為(xi,yi),在模板圖像itemp中,以(xi,yi)為中心,取邊長wt的正方形對比窗口sw,依次以窗口sw中的像素為中心像素,在模板圖像itemp中取中心像素與邊長wn像素的正方形窗口內的近鄰像素組成對比圖像塊imgpatchtemp(j),0<j<wt2+1,將wt2個imgpatchtemp(j)分別與imgpatchtest(i)對比計算差異;
所述(42)待對比圖像塊差異計算步驟中,對比計算差異具體為:
假設當前帶對比圖像塊為imgpatchtest(i),對比模板圖像塊為imgpatchtemp(j),每個圖像塊中包含wn2個像素,使用式(5)計算imgpatchtest(i)與imgpatchtemp(j)的差異值:
式中,gmax為所使用灰度圖像格式的可取灰度級最大值,itest'中的每個imgpatchtest(i)與item中的wt2個對比圖像塊做對比得到wt2個差異值。
(43)瑕疵判定:記取最小的差異值為emin,如果emin大于設定的差異閾值eth,則待檢測產品圖像itest中(xi,yi)處即確定為瑕疵,否則不為瑕疵。
圖9為待檢測產品外觀瑕疵檢測結果示例圖。
其中,圖9a為疑似瑕疵區域,圖9b為確定瑕疵區域,圖9c為瑕疵檢測結果。
本發明使用快速頻域變換技術,利用頻域濾波檢測疑似瑕疵區域,然后在空間域中僅把疑似瑕疵區域與模板圖像對比,通過頻率域與空間域混合分析方法顯著減少了對比時的計算量;利用單張圖像重復排列拼接方法人為構造圖像中的整體重復模式,使用簡單的頻域濾波算法即可發現待檢測圖像與模板圖像不一致的區域,從而實現瑕疵檢測;與一般使用sift等特征算子匹配方法匹配模板圖像與待檢測圖像不同,本方法通過檢測產品輪廓矩形的方法在圖像中裁剪出產品區域并調整角度使產品上邊緣平行,然后將裁剪出的待檢測產品圖像縮放至和裁剪出的模板圖像同分辨率實現圖像匹配,在確定的生產線環境下,檢測攝像機安裝位置固定,產品區域在模板圖像和待檢測圖像中實際縮放比例很小,因此這種方法比稠密特征算子匹配方法更加簡便、高效。