圖像處理裝置和圖像處理方法
【專利摘要】本發明提供圖像處理裝置和圖像處理方法，能夠確定輸入圖像中符合搜索條件的由多個字符串區域構成的組。圖像處理裝置包含受理搜索條件的設定單元。搜索條件包含多個格式字符串的指定。各格式字符串包含按照作為識別對象的字符對字符類型或者特定字符的指定。圖像處理裝置包含：提取單元，其從輸入圖像中提取作為候選的字符串區域；計算單元，其針對各個由多個字符串區域構成的組，計算關于各組中包含的各個字符串區域的字符識別結果與多個格式字符串之間的相似度；以及確定單元，其根據所計算出的相似度，確定由多個字符串區域構成的組中符合搜索條件的組。
【專利說明】圖像處理裝置和圖像處理方法
【技術領域】
[0001]本發明涉及通過字符識別來確定輸入圖像中符合預先規定的搜索條件的區域的圖像處理裝置和圖像處理方法。
【背景技術】
[0002]近年來，由于工廠的自動化和可追溯性(traceability)的強化,對附加在半成品或成品上的字符的檢查和讀取的需求正在增加。對應這種需求，常常使用圖像處理裝置，用于進行對半成品或成品的印刷檢查用途和字符讀取用途的字符識別。要求提高用于進行這種字符識別的圖像處理裝置的性能。
[0003]作為這種字符識別的圖像處理的一例，日本特開2002-183667號公報(專利文獻I)中，公開了一種字符識別裝置，該字符識別裝置將任意的字符集合設定為識別對象字符集合，根據語言信息，以高識別率快速地進行識別處理。日本特開2006-106931號公報(專利文獻2)公開了一種字符串搜索裝置，該字符串搜索裝置從灰度圖像中搜索指定的字符串所存在的位置。此外，日本特開2009-193159號公報(專利文獻3)公開了能夠高效且準確地對以字符數變化的正規表達所表示的信息進行字符識別的區域提取程序等。
[0004]現有技術文獻
[0005]專利文獻
[0006]專利文獻1:日本特開2002 - 183667號公報
[0007]專利文獻2:日本特開2006 - 106931號公報
[0008]專利文獻3:日本特開2009 - 193159號公報

【發明內容】

[0009]發明要解決的問題
[0010]但是，作為字符識別中的一個課題，存在由于噪聲或檢查位置的偏移導致的字符串區域的誤檢測。例如，在確定多行范圍內的字符串等的情況下，難于去除這種被誤檢測的字符串區域。此外，在這種用途中，即使在采用了上述現有技術文獻所公開的任意的方法的情況下，也存在不能適當地進行字符識別的情況。
[0011]本發明正是為了解決這種課題而作出的，其目的在于提供一種圖像處理裝置和圖像處理方法，能夠在輸入圖像中確定符合搜索條件的由多個字符串區域構成的組。
[0012]用于解決問題的手段
[0013]根據本發明的一個方面，提供一種通過字符識別確定輸入圖像中符合預先規定的搜索條件的區域的圖像處理裝置。圖像處理裝置包含受理搜索條件的設定單元。搜索條件包含多個格式字符串的指定。各格式字符串包含按照作為識別對象的字符對字符類型或者特定字符的指定。圖像處理裝置具有:提取單元，其從輸入圖像中提取作為候選的字符串區域；計算單元，其針對各個由多個字符串區域構成的組，計算關于包含各組中的各個字符串區域的字符識別結果與多個格式字符串之間的相似度；以及確定單元，其根據計算出的相似度，確定由多個字符串區域構成的組中符合搜索條件的組。
[0014]優選的是，搜索條件還包含多個格式字符串之間的相對位置關系，計算單元選擇符合相對位置關系的多個字符串區域，并計算相似度。
[0015]更優選的是，設定單元根據多個格式字符串的輸入順序，確定多個格式字符串之間的相對位置關系。
[0016]優選的是，字符串區域是按照行單位對字符串進行提取而得到的，相對位置關系表示輸入圖像中的字符串區域的行的位置關系。
[0017]優選的是，確定單元確定計算出的相似度最高的字符串區域的組，并且從候選中排除沒有包含在該確定出的字符串區域的組中的其他的字符串區域。
[0018]優選的是，計算單元根據針對包含在字符串區域中的每個字符分別計算的相似度，計算字符串區域的組的相似度。
[0019]更優選的是，在作為對象的字符串區域中所包含的字符數小于對應的格式字符串所指定的字符數的情況下，計算單元使計算的相似度降低。
[0020]優選的是，設定單元根據識別結果來設定格式字符串的初始值，該識別結果是通過對包含作為搜索對象的字符串的參照圖像執行字符識別而取得的。
[0021]更優選的是，設定單元受理用戶對格式字符串的初始值的變更。
[0022]優選的是，搜索條件用與各字符類型關聯的記號來表示。
[0023]優選的是，格式字符串包含從識別對象中排除特定字符的指定。
[0024]優選的是，設定單元預先保持有格式字符串，根據用戶的選擇，將所選擇的格式字符串設定為搜索條件。
[0025]根據本發明的另一個方面，提供一種圖像處理方法，該圖像處理方法通過字符識別確定輸入圖像中符合預先規定的搜索條件的區域。圖像處理方法包含受理搜索條件的步驟。搜索條件包含多個格式字符串的指定。各格式字符串包含按照作為識別對象的字符對字符類型或者特定字符的指定。圖像處理方法包含以下步驟:從輸入圖像中提取作為候選的字符串區域；針對各個由多個字符串區域構成的組，計算關于包含在各組中的各個字符串區域的字符識別結果與多個格式字符串之間的相似度；根據計算出的相似度，確定由多個字符串區域構成的組中符合搜索條件的組。
[0026]發明的效果
[0027]根據本發明，能夠容易地在輸入圖像中確定符合搜索條件的由多個字符串區域構成的組。
【專利附圖】

【附圖說明】
[0028]圖1是用于對在本發明的實施方式的圖像處理裝置中所執行的、使用了格式字符串的字符識別處理進行說明的圖。
[0029]圖2是示出本發明的實施方式的圖像處理裝置的處理結果的一例的圖。
[0030]圖3是示出通過本發明的實施方式的圖像處理裝置提取出的字符串區域的一例的圖。
[0031]圖4是示出本發明的實施方式的圖像處理裝置的處理例的圖。
[0032]圖5是示出包含本發明的實施方式的圖像處理裝置在內的視覺傳感器系統的整體結構的示意圖。
[0033]圖6是本發明的實施方式的圖像處理裝置的概略結構圖。
[0034]圖7是示出本發明的實施方式的圖像處理裝置的功能結構的示意圖。
[0035]圖8是示出由本發明的實施方式的圖像處理裝置執行的圖像處理的處理步驟的流程圖。
[0036]圖9是示出由本發明的實施方式的圖像處理裝置執行的運轉模式中的處理步驟的流程圖。
[0037]圖10是用于對在本發明的實施方式的圖像處理裝置中執行的組相似度的計算處理進行說明的圖。
[0038]圖11是示出用于對本實施方式的圖像處理裝置提供的格式字符串進行設定的用戶接口畫面的一例的圖。
[0039]圖12是示出用于對本實施方式的圖像處理裝置提供的格式字符串進行設定的用戶接口畫面的一例的圖。
[0040]圖13是示出由本發明的實施方式的圖像處理裝置所提供的格式字符串的自動提取功能所涉及的處理步驟的流程圖。
[0041]圖14是示出本實施方式的圖像處理裝置提供的格式字符串的自動提取所涉及的用戶接口畫面的一例的圖。
[0042]圖15是示出本實施方式的圖像處理裝置所提供的格式字符串的設定所涉及的用戶接口畫面的一例的圖。
[0043]標號說明
[0044]1:視覺傳感器系統，2:工件，4:光電傳感器，4a:受光部，4b:投光部，5:PLC，6:輸送機構，8:照相機，100:圖像處理裝置，102:顯示器，104:鼠標，106:存儲卡，110:CPU,112:主存儲器，114:硬盤，116:照相機接口，116a:圖像緩沖區，118:輸入接口，120:顯示控制器，122:PLC接口，124:通信接口，126:數據讀取器/寫入器，128:總線，150:圖像取入部，160:圖像處理部，162:字符提取部，164:字符識別部，166:字符串區域確定部，168:辭典數據，170:設定部，172:格式字符串設定部，174:計測參數設定部，176:格式字符串自動提取部，178:參數儲存部，180:輸出部，200:輸入圖像。
【具體實施方式】
[0045]參照附圖對本發明的實施方式進行詳細的說明。另外，對圖中的相同或者相當部分，賦予相同的標號，不重復其說明。
[0046][A.格式字符串]
[0047]本實施方式的圖像處理裝置通過字符識別來確定輸入圖像中符合預先規定的搜索條件的區域。該搜索條件包含多個格式字符串。首先，對本實施方式的格式字符串進行說明。
[0048]本實施方式的格式字符串典型地按照作為識別對象的字符指定了字符類型或者字符。換言之，格式字符串針對作為識別對象的字符串指定了字符類型或者字符的組合。
[0049]具體而言，格式字符串包含按照作為識別對象的字符對字符類型的指定(字母數字、字母、數字、記號、特殊字符、漢字、平假名、片假名等)、字符本身的指定(作為字母的各字符“A”、“B”、…、作為記號的各字符“’”、“一”、…、作為平假名的各字符…、
作為片假名的各字符“ 了 ”、“ ^ ”、…)、字體種類的指定、字符大小(字體大小)的指定等。另外，使用格式字符串，除了字符之外，也可以指定符號。
[0050]典型地，根據預先規定了賦予識別對象的字符串的印刷格式的、例如商品型號、價格、制造年月日、識別號碼等來設定格式字符串。
[0051]另外，也可以是，作為格式字符串，能夠設定從識別對象中排除特定字符的指定。即，關于連接字符串之間的分隔符(區分要素)等，由于大多數情況下不需要作為識別對象，所以在字符識別中也可以將其跳過。
[0052]通過應用這種格式字符串，可以提高識別率(降低誤識別率)。即，本實施方式的圖像處理裝置100通過使用預先設定的格式字符串(字符/字符類型的組合信息)，限定識別候選，改善了對類似字符的誤識別。在本實施方式中，格式字符串是由用戶預先設定的。另外，在指定了字符本身的情況下，僅該被指定的字符成為識別候選。
[0053]圖1是用于對在本發明的實施方式的圖像處理裝置100中所執行的、使用了格式字符串的字符識別處理進行說明的圖。參照圖1，例如，假想能夠區分數字、字母、記號這樣的方式作為字符類型。可以任意地決定定義格式字符串的方法(表現形式)。在圖1所示的例中，使用了“？等記號作為格式字符串。各符號的意思如下。
[0054]?:將全部的字符作為識別候選
[0055]#:僅將數字(O~9 )作為識別候選
[0056]$:僅將字母(A~Z，和/或，a~z )作為識別候選
[0057]@:僅將記號(“ ’ ”、“一”、“.”、“:”、“ Y ”等)作為識別候選
[0058]圖1所示的格式字符串只是一例，也可以使用任意的記號、符號以及圖標等來表示字符類型。
[0059]參照圖1，在對象物的表面印刷有字符串“780 (七、八、字母O)”。假設在圖1所示的實例I中，沒有指定格式字符串。由于沒有指定格式字符串，因此全部的字符(數字、字母、記號)成為模式匹配的識別候選。其結果是，例如，字符串“7B0 (七，字母B、零)”作為識別結果而被輸出。即，“8 (八)”被誤識別為“B (字母B)”，“0 (字母O)”被誤識別為“O(零)”。
[0060]與此相對，在實例2中，指定了 “##$”(數字+數字+字母)作為格式字符串。因此，對于包含在所提取的字符串區域中的第I和第2個字符，數字成為模式匹配的識別候選。同樣，對于包含在所提取的字符串區域中的第3個字符，字母成為模式匹配的識別候選。結果，字符串“ 7B0 ”被正確識別的概率提高。
[0061]這樣，在本實施方式中，通過使用格式字符串(字符/字符類型的組合的信息)來限定識別候選，以提高識別精度。
[0062]在本說明書中，“字符串區域”的意思是被判斷為存在I個或多個字符的總括的區域，典型地為，相當于包含彼此相鄰地配置的一系列字符的區域。若識別對象的字符(字符串)的配置方向為行方向，則可以將以行單位提取字符串得到的區域作為字符串區域。當然，也可以提取跨越多個行的區域作為字符串區域。例如，若字符串是橫排書寫，則基本上沿著橫向提取字符串區域。
[0063]作為這種字符串區域的提取方法，可以采用公知的方法。例如，將輸入圖像在第I方向(若為橫排書寫則是橫向)上進行投影(例如對亮度值積分)，確定字符串排列的行，將各個確定的行在與第I方向正交的第2方向(若第I方向為橫向則是縱向)上進行投影(例如對亮度值積分)，確定包含在各行中的各字符。這樣，從輸入圖像中提取字符串區域，并且確定了包含在各字符串區域的各字符。
[0064][B.處理概要]
[0065]接著，對本實施方式的圖像處理的處理概要進行說明。圖2是示出本發明的實施方式的圖像處理裝置100進行的處理結果的一例的圖。
[0066]圖2的(a)所示的處理例表示從對對象物攝像而得到的輸入圖像中提取到的字符串區域和識別結果。圖2的(a)所示的字符串區域中的位于右側中段的字符串區域是由于背景的圖案這樣的噪聲等而被誤檢測到的。在本實施方式中，如圖2的(b)所示，將這種被誤檢測的字符串區域去除。
[0067]具體而言，本實施方式的圖像處理裝置100受理包含多個格式字符串的指定的搜索條件。圖像處理裝置100從作為處理對象的輸入圖像中提取作為候選的字符串區域。然后，圖像處理裝置100針對由多個字符串區域構成的組中的每一個組，計算包含在各組中的各個字符串區域的字符識別結果與多個格式字符串之間的相似度，并根據計算出的相似度，確定由多個字符串區域構成的組中符合搜索條件的組。這時，將符合搜索條件的字符串區域的組之外的字符串區域，作為被誤檢測的字符串區域而除去。
[0068]S卩，圖像處理裝置100計算將預先設定的格式字符串應用到所提取的字符串區域時的相似度。計算將格式字符串應用到各個字符串區域的組時的相似度，選擇相似度高的字符串區域的組合。這時，圖像處理裝置100將相似度低的字符串區域作為誤檢測而除去。另外，有時在同一輸入圖像內存在多個符合搜索條件的字符串區域的組。因此，也可以在計算出相似度的字符串區域的組中，提取I個以上相似度相對較高的組。該所提取出的字符串區域的組被確定為輸入圖像中符合預先規定的搜索條件的區域。
[0069]圖3是示出本發明的實施方式的圖像處理裝置100所提取的字符串區域的一例的圖。圖4是示出本發明的實施方式的圖像處理裝置100的處理例的圖。
[0070]在圖3中，示出從輸入圖像200中提取了 4個字符串區域201?204的例子。圖像處理裝置100從提取出的字符串區域201?204中分別提取構成字符串的各字符，執行字符識別。
[0071]在圖4的(a)中示出預先設定的格式字符串的一例。如圖4的(a)所示，例如，設定有 3 個格式字符串
[0072]首先，對4個字符串區域201?204執行字符識別。然后，分別對由多個字符串區域構成的組的各個，應用該3個格式字符串。在圖4的(b)中，示出了對4個字符串區域201?204執行字符識別的情況的結果。
[0073]在該字符識別中，在表示各字符的圖像與識別候選的字符之間計算相似度。該相似度典型地是表示與包含在預先定義的辭典中的各字符的圖像和特征量的一致程度的值。該相似度是使用在字符識別時所計算的相關值等而計算的。
[0074]圖像處理裝置100使用這些按照字符的相似度，針對由多個字符串區域構成的組中的每一個組，計算關于各組所包含的各個字符串區域的字符識別結果與多個格式字符串之間的相似度。即，圖像處理裝置100根據對字符串區域所包含的每個字符分別計算出的相似度，來計算字符串區域的組的相似度。以下，為了方便說明，將關于字符串區域與格式字符串的組合的相似度稱為“組相似度”。關于該“組相似度”的具體的計算方法，之后再敘述。
[0075]圖4的(C)示出針對字符串區域與格式字符串的各個組合計算出組相似度的例子。另外，在圖4的(C)中，示出將多個格式字符串之間的相對位置關系作為搜索條件的例子。即，還布置了從輸入圖像中提取的字符串區域的出現位置與所設定的多個格式字符串的設定順序對應這樣的條件。雖然不需要將多個格式字符串之間的相對位置關系作為搜索條件，但是如果預先規定了印刷格式，則通過附加這樣的條件，能夠更高速且有效地執行字符識別。即，圖像處理裝置100選擇符合多個格式字符串的相對位置關系的多個字符串區域，計算組相似度。
[0076]例如，計算下述情況的相似度:將格式字符串“$$$$$_#”(Fl)應用于字符串區域201 (Rl)的識別結果，將格式字符串“###_#_##”(F2)應用于字符串區域202 (R2)的識別結果，將格式字符串“$$$$$$”(F3)應用于字符串區域203 (R3)和字符串區域204 (R4)的識別結果。
[0077]在圖4的(C)所示的例子中，按照格式字符串(F1)、(F2)、(F3)的順序應用于字符串區域(Rl)、(R2)、(R3)、(R4)，因此，字符串區域與格式字符串的組合為4個。然后，針對各組合，計算組相似度。在圖4的(c)所示的例子中，將格式字符串(FI)、(F2)、(F3)分別應用于字符串區域(R1)、(R2)、(R4)的組合示出了最高的組相似度的值。因此，圖像處理裝置100將字符串區域(Rl)、(R2)、(R4)(圖3所示的字符串區域201、202、204)確定為是符合搜索條件的區域，并且輸出各字符串區域的識別結果(文本值)。
[0078]進而，圖像處理裝置100確定所計算的相似度最高的字符串區域的組，并且從候選中除去沒有包含在該確定的字符串區域的組中的其他的字符串區域。在圖4的(C)所示的例子中，字符串區域(R3)(圖3所示的字符串區域203)被除去。
[0079]通過以上那樣的處理，即便字符串區域被誤檢測，也能夠排除由這種誤檢測帶來的影響，最終提高檢測結果的識別精度。
[0080]典型地，字符串區域是從輸入圖像中以行單位對字符串進行提取而得到的，該情況下，使用輸入圖像中的字符串區域的行的位置關系作為上述的相對位置關系。
[0081][C.硬件結構]
[0082]圖5是示出包含本發明的實施方式的圖像處理裝置100在內的視覺傳感器系統I的整體結構的示意圖。
[0083]參照圖5，視覺傳感器系統I被組裝在生產線等中，通過對輸入圖像執行字符識別來從輸入圖像中確定符合預先規定的搜索條件的區域，其中，該輸入圖像是通過對對象物(工件2)攝像而得到的。另外，視覺傳感器系統I也可以輸出對確定的字符串進行讀取而得到的結果(文本信息)。
[0084]在視覺傳感器系統I中，工件2由傳送帶等輸送機構6輸送，通過照相機8在預定時刻對被輸送的工件2攝像。作為一例，照相機8構成為，除了鏡頭等光學系統之外，還包含 CCD (Coupled Charged Device:電荷稱合兀件)或 CMOS (Complementary Metal OxideSemiconductor:互補金屬氧化物半導體)傳感器這樣的、劃分為多個像素的攝像元件。另夕卜，還可以設置照明機構，對由照相機8進行攝像的工件2照射光。[0085]通過照相機8攝像而得到的輸入圖像被傳送給圖像處理裝置100。圖像處理裝置100對從該照相機8中接收到的輸入圖像執行包含后述那樣的字符識別的處理，將該結果顯示在所連接的顯示器102中，或者將該結果向外部裝置輸出。
[0086]通過配置在輸送機構6兩端的光電傳感器4來檢測工件2到達照相機8的視野內的情況。具體而言，光電傳感器4包含在同一光軸上配置的受光部4a和投光部4b，由受光部4a檢測從投光部4b放射的光被工件2遮擋的情況，由此檢測工件2的到達。該光電傳感器4的觸發信號被輸出到PLCXProgrammable Logic Controller:可編程序邏輯控制器)
5。PLC5接收來自光電傳感器4等的觸發信號，并且管理輸送機構6的控制自身。
[0087]圖像處理裝置100具有對工件2執行計測處理(圖像處理)的運轉模式，以及設定搜索條件(格式字符串)和計測參數等的設定模式。
[0088]典型地，圖像處理裝置100是具有通用體系結構的計算機，通過執行預先被安裝的程序(指令代碼)，來提供如后述那樣的各種功能。典型地是，這種程序在被存儲于存儲卡106等的狀態下進行流通。
[0089]在使用通用的計算機作為圖像處理裝置100的情況下，除了用于提供本實施方式的功能的應用程序之外，也可以安裝用于提供計算機的基本功能的0S(0perating System:操作系統)。該情況下，也可以是，本實施方式的程序從作為OS的一部分而被提供的程序模塊中，以預定的排列在預定的時刻調用所需要的模塊，并執行處理。即，本實施方式的程序自身也可以不包含上述那樣的模塊，而與OS協作執行處理。作為本實施方式的程序，也可以是不包含這樣的一部分的模塊的方式。
[0090]此外，也可以將本實施方式的程序合并到其他的程序的一部分中而進行提供。該情況下，在程序自身中也不包括上述那樣所組合的其他的程序中所包含的模塊，而與該其他的程序協作執行處理。即，作為本實施方式的程序，也可以是這樣的并入其他的程序的方式。另外，也可以是，將通過程序的執行而提供的功能的一部分或者全部作為專用的硬件電路進行安裝。
[0091]圖6是本發明的實施方式的圖像處理裝置100的概略結構圖。參照圖6，圖像處理裝置100包含:作為運算處理部的CPU (Central Processing Unit:中央處理單元)110、作為存儲部的主存儲器112和硬盤114、照相機接口 116、輸入接口 118、顯示控制器120、PLC接口 122、通信接口 124、以及數據讀取器/寫入器126。這些各部分經由總線128，以彼此能夠進行數據通信的方式而連接。
[0092]CPUllO將存儲在硬盤114中的程序(代碼)展開到主存儲器112中，并以預定順序執行這些程序，由此來實施各種運算。典型地,主存儲器112是DRAM (Dynamic RandomAccess Memory:動態隨機存取存儲器)等易失性的存儲裝置，除了從硬盤114中讀出的程序之外，還保持有由照相機8取得輸入圖像和各種參數等。另外，也可以是，除了硬盤114之外，還采用SSD (Solid-State Drive:固態驅動器)等半導體存儲裝置，或者是，代替硬盤114,而采用SSD (Solid-State Drive:固態驅動器)等半導體存儲裝置。
[0093]照相機接口 116負責CPUllO與照相機8之間的數據傳輸。即，照相機接口 116與照相機8連接，該照相機8用于對工件2進行攝像并生成圖像數據。更具體地說，照相機接口 116能夠與I個以上的照相機8連接，其包含圖像緩沖區116a，該圖像緩沖區116a用于暫時儲存來自照相機8的圖像數據。而且，在圖像緩沖區116a中儲存了預定幀數的圖像數據后，照相機接口 116將該儲存的數據向主存儲器112傳輸。此外，照相機接口 116根據CPUllO生成的內部指令，對照相機8提供攝像指令。
[0094]輸入接口 118負責CPUllO與鼠標104、鍵盤、觸摸板等輸入部之間的數據傳輸。即，輸入接口 118受理用戶操作輸入部而提供的操作指令。
[0095]顯示控制器120與作為顯示裝置的典型例的顯示器102連接，并將CPUllO中的圖像處理的結果等通知給用戶。即，顯示控制器120與顯示器102連接，并控制該顯示器102中的顯示。
[0096]PLC接口 122負責CPUllO與PLC5之間的數據傳輸。更具體地說，PLC接口 122將由PLC5控制的生產線的狀態的信息和工件所涉及的信息等傳輸給CPU110。
[0097]通信接口 124負責CPUllO與控制臺(或者個人計算機或服務器裝置)等之間的數據傳輸。典型地，通信接口 124由以太網(注冊商標)和USB (Universal Serial Bus:通用串行總線)等構成。另外，如后所述，也可以是，代替將存儲卡106所儲存的程序安裝到圖像處理裝置100中的方式，而將經由通信接口 124從發布服務器等中下載的程序安裝在圖像處理裝置100中。
[0098]數據讀取器/寫入器126負責CPUllO與作為存儲介質的存儲卡106之間的數據傳輸。即，在存儲卡106中存儲有由圖像處理裝置100執行的程序等的狀態下流通，數據讀取器/寫入器126從該存儲卡106中讀出程序。此外，數據讀取器/寫入器126響應CPUllO的內部指令，將由照相機8取得的圖像數據和/或圖像處理裝置100中的處理結果等寫入存儲卡106中。另外，存儲卡106由CF (Compact Flash:微型快擦寫存儲卡(注冊商標))、SD (Secure Digital:安全數字卡)等通用的半導體存儲設備,或者軟盤(Flexible Disk)等磁存儲介質，或者⑶一 ROM (Compact Disk Read Only Memory:光盤只讀存儲器)等光學存儲介質等構成。
[0099]此外，也可以根據需要，將圖像處理裝置100與打印機等其他的輸出裝置連接。
[0100]圖5和圖6所示的圖像處理裝置100示出將受理各種設定的功能和執行字符識別的功能安裝在同一裝置中的例子，但是，也可以將這些功能安裝在不同的裝置中。這種情況下，通過每個裝置彼此聯系，能夠作為圖像處理系統而實現本實施方式的功能。本申請發明的技術范圍如果具有權利要求書中記載的結構，則能夠包含任意的安裝方式。
[0101][D.功能結構]
[0102]接著，對用于實現本實施方式的圖像處理的功能結構進行說明。圖7是示出本發明的實施方式的圖像處理裝置100的功能結構的示意圖。典型地，CPUl 10執行硬盤114(均在圖6中)中儲存的程序(代碼)，由此實現圖7所示的各功能。
[0103]參照圖7，圖像處理裝置100包含圖像取入部150、圖像處理部160、設定部170、以
及輸出部180作為其功能結構。
[0104]圖像取入部150取得照相機8對被攝體進行攝像而生成的輸入圖像。該取得的輸入圖像被輸出到圖像處理部160中。除此之外，也存在設定部170參照輸入圖像的情況。
[0105]圖像處理部160對來自圖像取入部150的輸入圖像執行上述那樣的圖像處理，由此，通過字符識別來確定輸入圖像中符合預先規定的搜索條件的區域。更具體地說，圖像處理部160包含字符提取部162、字符識別部164、以及字符串區域確定部166。
[0106]字符提取部162從輸入圖像中提取作為候選的字符串區域。使用上述那樣的亮度值的投影等方法來提取該字符串區域。字符提取部162參照儲存在參數儲存部178中的計測參數來提取字符串區域。
[0107]字符識別部164對所提取的字符串區域的各候選執行字符識別。這時，字符識別部164參照預先設定的辭典數據168，執行字符識別。然后，字符識別部164對任意的字符串區域的組合應用格式字符串，由此計算組相似度。即，字符識別部164針對由多個字符串區域構成的組中的每一個組，計算關于各組中所包含的各個字符串區域的字符識別結果與多個格式字符串之間的相似度。這時，字符識別部164根據對包含在字符串區域中的每個字符分別計算的相似度，計算字符串區域的組的相似度(組相似度)。另外，字符識別部164訪問參數儲存部178，參照參數儲存部178中儲存的格式字符串。
[0108]字符串區域確定部166根據由字符識別部164計算的組相似度，確定符合搜索條件的區域。即，字符串區域確定部166根據計算出的相似度，確定在由多個字符串區域構成的組中符合搜索條件的組。同時，字符串區域確定部166確定所計算出的組相似度最高的字符串區域的組，并且從候選中除去不包含在該確定的字符串區域的組中的其他字符串區域。
[0109]輸出部180將由字符串區域確定部166確定的字符串區域的組，以及所讀取的文本值作為識別結果進行輸出。輸出部180也可以輸出所確定的字符串區域的圖像本身。
[0110]設定部170受理來自用戶等的格式字符串作為搜索條件，并且受理用戶指定的計測參數。設定部170根據用戶操作，將格式字符串和計測參數儲存到參數儲存部178中。作為計測參數，可以列舉出例如字符顏色(指定作為識別對象的字符的顏色的參數)、印刷種類(指定作為識別對象的字符的表現形式的參數)、點間隔(表示構成作為識別對象的字符的縱/橫的點間隔的參數)，過濾尺寸(指定噪聲除去用的過濾尺寸的參數)、字符粗度閾值(指定作為識別對象的字符的粗度的參數)、旋轉偏差校正(將預定范圍內的字符的旋轉偏差作為搜索范圍)、斜體偏差校正(將預定范圍內的字符的斜體偏差作為搜索范圍)、邊緣消除校正(將計測區域所鄰接的黑色部分作為噪聲，從讀取候選中除去)等。
[0111]更具體地說，設定部170包含格式字符串設定部172、計測參數設定部174、以及格式字符串自動提取部176。格式字符串設定部172提供用于受理格式字符串的用戶接口畫面，并且受理來自用戶的該指定。計測參數設定部174提供用于受理計測參數的設定/調整的用戶接口畫面，并且受理來自用戶的該指定。
[0112]如后所述，格式字符串自動提取部176從測試圖像(通過對測試樣本攝像而取得的圖像)中自動提取格式字符串。通過這種格式字符串的自動提取功能來支援用戶對格式字符串的輸入。
[0113][E.處理順序]
[0114]接著，對本實施方式的圖像處理的處理順序進行說明。
[0115](el:整體處理)
[0116]圖8是示出由本發明的實施方式的圖像處理裝置100執行的圖像處理的處理順序的流程圖。在圖8中，同時示出設定格式字符串和計測參數等的設定模式中的處理，以及對工件2執行計測處理(圖像處理)的運轉模式中的處理。
[0117]參照圖8，在設定模式中，圖像處理裝置100取得測試圖像(步驟S2)。該測試圖像是通過在照相機8的視野范圍內配置包含作為識別對象的字符串的對象物(測試樣本)，并通過照相機8對該對象物攝像而取得的圖像。
[0118]接著，圖像處理裝置100受理來自用戶的格式字符串的設定(步驟S4)并且受理來自用戶的計測參數的設定(步驟S6)。然后，圖像處理裝置100將所設定的格式字符串和計測參數作為設定值進行儲存(步驟S8)。
[0119]接著，在運轉模式開始后，圖像處理裝置100根據某個觸發信號對對象物攝像，取得輸入圖像(步驟S10)。接著，圖像處理裝置100從輸入圖像中提取字符串區域(步驟S12)。然后，圖像處理裝置100對包含在所提取的各字符串區域中的各字符執行字符識別(步驟S14)，計算關于由多個字符串區域構成的組中的每一個組的組相似度(步驟S16)。另外，圖像處理裝置100根據所計算的組相似度，確定符合搜索條件的區域(步驟S18)。然后，圖像處理裝置100輸出字符識別的執行結果(步驟S20)。
[0120]在選擇運轉模式期間，重復步驟SlO?S20的處理。
[0121](e2:運轉模式)
[0122]接著，對運轉模式中的處理順序，進行更詳細的說明。圖9是示出由本發明的實施方式的圖像處理裝置100執行的運轉模式中的處理順序的流程圖。
[0123]參照圖9，圖像處理裝置100從輸入圖像中提取字符串區域(步驟S100)。然后，圖像處理裝置100從所提取的各字符串區域中提取字符(步驟S102)。接著，圖像處理裝置100對所提取的每個字符執行字符識別(步驟S104)。在本實施方式中，為了計算組相似度，在步驟S104中，針對各字符，計算與辭典數據所包含的全部的字符候選之間的相似度。即，針對作為對象的字符，分別計算與字母(A?Z)、數字(O?9)、記號一”、:”、“Y”等)之間的相似度。
[0124]然后，圖像處理裝置100應當計算組相似度，并確定字符串區域的組合(步驟S106)。接著，在所確定的組合中，選擇成為組相似度的計算對象的字符串區域的組合(步驟S108)。
[0125]圖像處理裝置100針對所選擇的字符串區域的組合，將格式字符串應用于字符串區域，計算各字符串區域所包含的各字符的相似度(步驟Slio)。S卩，圖像處理裝置100根據格式字符串來計算各字符的相似度。例如，若適合于某個字符的字符類型為“#”，則僅數字(O?9)成為識別候選，與作為對象的字符之間的相似度最高的數字及其相似度作為識別結果被輸出。同樣，若適合于某個字符的字符類型為“$”，則僅字母(A?Z)成為識別候選，與作為對象的字符之間的相似度最高的字母及其相似度作為識別結果而輸出。
[0126]圖像處理裝置100根據針對各字符串區域的各字符所計算出的相似度，計算關于所選擇的組合的組相似度(步驟S112)。典型地，計算關于各字符串區域的各字符的相似度的總和作為關于該組合的組相似度。
[0127]然后，圖像處理裝置100判斷是否選擇了全部字符串區域的組合(步驟S114)。在存在沒有被選擇的組合的情況下(步驟S114中的“否”的情況)，在未選擇的字符串區域的組合中選擇作為計算對象的字符串區域的組合(步驟S116)。然后，執行步驟SllO以下的處理。
[0128]在選擇了全部字符串區域的組合的情況下(步驟S114中的“是”的情況)，圖像處理裝置100確定所計算的組相似度為最高的組合(步驟S118)并且，從候選中除去沒有包含在該確定的字符串區域的組中的其他字符串區域(步驟S120)。然后，圖像處理裝置100輸出關于包含在所確定的組合中的字符串區域的識別結果和相似度(步驟S122)。
[0129][F.組相似度的計算處理]
[0130]接著，說明針對包含在字符串區域中的每個字符所計算的相似度和組相似度的計
算處理。
[0131]圖10是用于說明在本發明的實施方式的圖像處理裝置100中所執行的組相似度的計算處理的圖。在圖10中，示出通過對字符串“780 (七，八，字母O)”執行字符識別而計算出的相似度。如上所述，在最初的階段中，計算與全部的識別候選之間的相似度。考慮對該字符識別的識別結果應用了 3個格式字符串((I) “##$”，(2) “$$$$”，(3) “###，，)的情況。
[0132]當應用第I個格式字符串“##$”時，針對第I個和第2個字符，識別候選被限制為數字，確定其中相似度最高的字符(在該例中，分別為“7”和“8”)，并提取該相似度(均為“50”)。針對第3個字符，識別候選被限制為字母，確定其中相似度最高的字符(在該例中為“0”)，并提取該相似度(“50”)。其結果是，計算50+50+50=150，作為相似度。
[0133]接著，當應用第2個格式字符串“$$$$”時，針對第I個?第3個字符，識別候選被限制為字母，確定其中相似度最高的字符(在該例中分別為以及“0”)，并提取該相似度(分別為“20”、“45”和“50”)。這時，雖然格式字符串包含4個字符的指定，但是從候選的字符串區域中只提取了 3個字符，因此針對第4個字符，也可以將相似度視為“O”。或者，也可以將沒有提取到字符的情況作為懲罰(penalty)而減分。即，在字符串區域中所包含的字符數沒有達到格式字符串所指定的字符數的情況下，也可以給予懲罰。換言之，在作為對象的字符串區域中所包含的字符數低于對應的格式字符串所指定的字符數以下的情況下，圖像處理裝置100使所計算的相似度降低。
[0134]這樣，通過給予懲罰，在對應的格式字符串下，出現相似度低這樣的特征量，不容易被選擇，由此能夠使誤識別率降低。
[0135]最后，當應用第3個格式字符串“###，，時，針對第I個?第3個字符，識別候選被限制為數字，確定其中相似度最高的字符(在該例中分別為“7”、“8”以及“0”)，并提取該相似度(分別為“50”、“50”以及“45”)。該第3個格式字符串“###，，并不是表示作為識別對象的字符串的原本的格式，其結果是，可知與應用了第I個格式字符串“##$”的情況相比，相似度變低。
[0136]在圖10所示的例中，為了說明方便，針對關于I個字符串區域的相似度的計算方法進行了說明，但是，計算關于包含在對應的組合中的各個字符串區域的相似度的總和作為組相似度即可。
[0137]作為這種根據相似度的總和來計算組相似度的方法，也可以使用包含在該組中的字符串區域的相似度的平均值和/或最低值，來代替使用相似度的總和的方法。通過使用最低值，在任意I個字符串區域不適合對應的格式字符串的情況下，能夠容易地將該組合排除。
[0138]另外，由于使用格式字符串而被識別的字符串大多將記號:”、“Y”等)用作分隔符(劃分要素)，因此也可以從識別對象中排除，即，在字符識別中跳過。
[0139]另外，如上所述，也可以將多個格式字符串之間的相對位置關系設定為搜索條件。即，也可以使用位置關系的信息，構成多個字符串區域的組合。[0140][G.用戶接口]
[0141]接著，對本實施方式的圖像處理裝置100所提供的用戶接口的一個例子進行說明。
[0142](gl:格式字符串的設定)
[0143]圖11是示出用戶接口畫面400A的一例的圖，該接口畫面400A用于對本實施方式的圖像處理裝置100所提供的格式字符串進行設定。在圖11所示的用戶接口畫面400A中，能夠對4個字符串區域分別設定格式字符串。即，用戶接口畫面400A包含4個格式字符串輸入區域 410、412、414、416。
[0144]用戶選擇任意一個格式字符串輸入區域，輸出作為目的的格式字符串。這時，可以使用鍵盤等輸入裝置，直接進行輸入，但是也可以提供以下那樣的格式字符串輸入用的用戶接口畫面。
[0145]圖12是示出用戶接口畫面400B的一例的圖，該用戶接口畫面400B用于設定本實施方式的圖像處理裝置100所提供的格式字符串。通過在圖11所示的用戶接口畫面400A中選擇格式字符串輸入區域410、412、414、416的任意一個來顯示圖12所示的用戶接口畫面 400B。
[0146]在圖12所不的用戶接口畫面400B中，表不輸入中的格式字符串的格式字符串輸入區域410、分別與能夠指定的多個字符類型相關聯的多個對象420、以及與能夠指定的記號相關聯的多個對象422并排地顯示，即顯示在同一畫面中。用戶在對象420和422中選擇任意一個后，與該選擇的對象對應的格式字符串被追加。
[0147]這樣，也可以是，用戶能夠將字符類型或者字符的組合直接指定為格式字符串。
[0148]在顯示區域402中，使用與各字符類型對應的記號來顯示所設定的格式字符串。即，通過記號這樣的符號來決定格式字符串。在圖12所示的用戶接口畫面400B的各個對象420中，將表示關聯的字符類型的消息(例如，“字母數字”和“數字字符”這樣的顯示)與對應于該字符類型的記號(例如，“？ ”和“ # ”這樣的記號)一起顯示，以使得一看就能掌握這樣的記號的意思。
[0149]這樣，為了一看就能掌握關聯的字符類型的意思，在對象420中添加了消息，并且同時添加了表示對應的字符類型的記號，因此，即便用戶預先不知道各記號的意思，也能夠容易掌握格式字符串輸入區域410所顯示的設定中的格式字符串的內容。
[0150]在用戶接口畫面400B中，還顯示有用于編集所設定的格式字符串的對象。例如，配置有與刪除操作(刪除光標緊前方的字符的操作)相關聯的對象424、與清空操作(將所設定的格式字符串全部刪除的操作)相關聯的對象426、以及與使光標移動的操作相關聯的對象 428。
[0151]也可以根據圖11所示的4個格式字符串輸入區域410、412、414、416的位置關系，來確定多個格式字符串之間的相對位置關系。例如，可以在格式字符串輸入區域410中輸入的格式字符串與格式字符串輸入區域412中輸入的格式字符串之間，設為前者位于輸入圖像上的上側、后者位于輸入圖像的下側這樣的搜索條件。
[0152]這樣，在本實施方式中，搜索條件包含多個格式字符串之間的相對位置關系。而且，圖像處理裝置100選擇符合相對位置關系的多個字符串區域并計算相似度。也可以根據多個格式字符串的輸入順序來確定該多個格式字符串之間的相對位置關系。[0153]另外，也可以直接指定格式字符串之間的相對位置關系。這時，也可以使用特殊記號來指定相對位置關系。
[0154]另外，也可以代替用戶直接指定格式字符串的結構，在圖像處理裝置100中預先準備使用頻率高的格式字符串(例如，年月日等)，使用戶能夠任意進行選擇。即，也可以是，圖像處理裝置100預先保持格式字符串，并根據用戶的選擇，將所選擇的格式字符串設定為搜索條件。
[0155](g2:格式字符串的自動提取)
[0156]在構成識別對象的字符串的字符較多的情況下，設定上述那樣的格式字符串的作業變得復雜。因此，也可以自動地從測試圖像(通過對測試樣本攝像而取得的圖像)中提取格式字符串。更具體地說，對拍攝測試樣本而取得的輸入圖像執行字符識別，并且根據由此取得的識別結果自動生成格式字符串的候選。進而，用戶對該自動生成的格式字符串的候選適當地施加修正/變更，設定希望的格式字符串(字符/字符類型的組合信息)。通過圖7所示的格式字符串自動提取部176來執行該格式字符串的自動提取。通過這種格式字符串的自動提取功能來支援用戶對格式字符串的輸入。
[0157]圖13是表示由本發明的實施方式的圖像處理裝置100提供的格式字符串的自動提取功能的處理順序的流程圖。另外，在圖13所示的流程圖中，對與圖8所示的流程圖相同的處理賦予相同的步驟號碼。
[0158]參照圖13，圖像處理裝置100取得測試圖像(步驟S2)。然后，圖像處理裝置100從測試圖像中提取字符串區域(步驟S30)，并且從所提取的各字符串區域中提取字符(步驟S32)。接著，圖像處理裝置100對所提取的每個字符執行字符識別(步驟S34)。然后，圖像處理裝置100根據字符識別的結果確定格式字符串(步驟S36)，并作為初始值向用戶提示(步驟S38)。
[0159]之后，圖像處理裝置100判斷是否對格式字符串的初始值請求了變更(步驟S40)。在對格式字符串的初始值請求了變更的情況(步驟S40中為“是”的情況)下，圖像處理裝置100受理用戶對格式字符串的變更(步驟S42)。圖像處理裝置100響應于該用戶指示，對所設定格式字符串進行修正。然后，重復步驟S40以下的處理。
[0160]在沒有對格式字符串的初始值請求變更的情況(步驟S40中為“否”的情況)下，即，在接收到用戶承認格式字符串的初始值的指示的情況下，圖像處理裝置100受理用戶對計測參數的設定(步驟S6)。然后，圖像處理裝置100將所設定格式字符串和計測參數作為設定值進行存儲(步驟S8)。
[0161]圖14是示出本實施方式的圖像處理裝置100所提供的格式字符串的自動提取所涉及的用戶接口畫面400C的一例的圖。參照圖14的(a)，首先，用戶對測試樣本攝像，取得測試圖像，并對該取得的測試圖像指定作為識別對象的字符串區域460。
[0162]接著，對所指定的字符串區域460執行字符識別。然后，根據該字符識別的執行所得到的識別結果，判斷各字符的字符類型，并將該判斷的按照字符的字符類型設定為格式字符串的初始值。然后，向用戶提示如圖14的(b)所示的用戶接口畫面400D。在用戶接口畫面400D中，將格式字符串的初始值顯示在格式字符串輸入區域410中。同時，將對測試圖像設定的字符串區域460內的圖像追加地顯示在同一畫面內，并且，追加地顯示格式字符串470，該格式字符串470示出對字符串區域460內的圖像進行字符識別的結果。用戶一邊參照這些信息，一邊選擇對象420或對象422等，對格式字符串的初始值進行必要的修正/編集。即，圖像處理裝置100受理用戶對格式字符串的初始值的變更。
[0163]這樣，圖像處理裝置100根據識別結果來設定格式字符串的初始值，該識別結果是通過對包含作為搜索對象的字符串的參照圖像(測試圖像)執行字符識別而取得的。
[0164](g3:格式字符串的設定用用戶接口)
[0165]也可以是一邊確認所設定的格式字符串的應用狀態，一邊設定格式字符串。
[0166]圖15是示出本實施方式的圖像處理裝置100所提供的格式字符串的設定所涉及的用戶接口畫面400E的一例的圖。在圖15所示的用戶接口畫面400E中，對測試圖像設定了識別對象的字符串區域460，對該設定的字符串區域460應用所設定的格式字符串，并提示了字符識別的結果。更具體地說，用框表示出從測試圖像上設定的字符串區域460中提取到的各字符，根據各框的顯示方式，用示出其中的字符的字符類型的方式進行顯示。用戶確認該顯示，判斷字符區域是否被正確地提取。
[0167]這樣，在設定格式字符串時，向用戶提示對測試圖像應用格式字符串而得到的結果，并且，用戶可以一邊確認該結果一邊編集格式字符串。
[0168][H.優點]
[0169]根據本實施方式，即便從輸入圖像中誤檢測字符串區域，通過應用格式字符串，也能夠適當地排除該被誤檢測到的字符串區域。由此，能夠提高識別精度。
[0170]應該理解為，本次公開的實施方式在全部方面都不限于例示。本發明的范圍并不是由上述的說明示出，而是由權利要求書的范圍示出，應包含與權利要求書的范圍均等的意義和范圍內的全部變更。
【權利要求】
1.一種圖像處理裝置，其通過字符識別確定輸入圖像中符合預先規定的搜索條件的區域，該圖像處理裝置具有: 設定單元，其受理所述搜索條件，所述搜索條件包含多個格式字符串的指定，各格式字符串包含按照作為識別對象的字符對字符類型或者特定字符的指定； 提取單元，其從所述輸入圖像中提取作為候選的字符串區域； 計算單元，其針對各個由多個字符串區域構成的組，計算關于各組中包含的各個字符串區域的字符識別結果與所述多個格式字符串之間的相似度；以及 確定單元，其根據計算出的相似度，確定所述由多個字符串區域構成的組中符合所述搜索條件的組。
2.根據權利要求1所述的圖像處理裝置，其中， 所述搜索條件還包含所述多個格式字符串之間的相對位置關系， 所述計算單元選擇符合所述相對位置關系的多個字符串區域，計算相似度。
3.根據權利要求2所述的圖像處理裝置，其中， 所述設定單元根據所述多個格式字符串的輸入順序，確定所述多個格式字符串之間的相對位置關系。
4.根據權利要求3所述的圖像處理裝置，其中， 所述字符串區域是按照行單位對字符串進行提取而得到的， 所述相對位置關系表示所述輸入圖像中的所述字符串區域的行的位置關系。
5.根據權利要求1~4中的任意一項所述的圖像處理裝置，其中， 所述確定單元確定計算出的相似度最高的字符串區域的組，并且從候選中排除沒有包含在該確定出的字符串區域的組中的其他字符串區域。
6.根據權利要求1~5中的任意一項所述的圖像處理裝置，其中， 所述計算單元根據針對包含在字符串區域中的每個字符分別計算出的相似度，計算字符串區域的組的相似度。
7.根據權利要求6所述的圖像處理裝置，其中， 在作為對象的字符串區域中所包含的字符數小于對應的格式字符串所指定的字符數的情況下，所述計算單元使計算出的相似度降低。
8.根據權利要求1~7中的任意一項所述的圖像處理裝置，其中， 所述設定單元根據識別結果來設定格式字符串的初始值，該識別結果是通過對包含作為搜索對象的字符串的參照圖像執行字符識別而取得的。
9.根據權利要求8所述的圖像處理裝置，其中， 所述設定單元受理用戶對所述格式字符串的初始值的變更。
10.根據權利要求1~9中的任意一項所述的圖像處理裝置，其中， 所述搜索條件用與各字符類型關聯的記號來表示。
11.根據權利要求1~10中的任意一項所述的圖像處理裝置，其中， 所述格式字符串包含從識別對象中排除特定字符的指定。
12.根據權利要求1~11中的任意一項所述的圖像處理裝置，其中， 所述設定單元預先保持有格式字符串，根據用戶的選擇，將所選擇的格式字符串設定為所述搜索條件。
13.一種圖像處理方法，通過字符識別確定輸入圖像中符合預先規定的搜索條件的區域，該圖像處理方法包含以下步驟: 受理所述搜索條件，所述搜索條件包含多個格式字符串的指定，各格式字符串包含按照作為識別對象的字符對字符類型或者特定字符的指定； 從所述輸入圖像中提取作為候選的字符串區域； 針對各個由多個字符串區域構成的組，計算關于各組中包含的各個字符串區域的字符識別結果與所述多個格式字符串之間的相似度；以及 根據計算出的相似度，確定所述由多個字符串區域構成的組中符合所述搜索條件的組。`
【文檔編號】G06F17/30GK103714338SQ201310361931
【公開日】2014年4月9日 申請日期:2013年8月19日 優先權日:2012年9月28日
【發明者】殿谷德和, 日向匡史, 湊善久, 大江正道, 栗田真嗣 申請人:歐姆龍 株式會社