專利名稱：影像內插的處理方法
技術領域：
本發明涉及一種影像內插的處理方法，尤其涉及一種強化邊緣效果的影像內插處理方法。
背景技術：
目前普遍使用于影像放大的方法可分為內插法以及超解析度 (super-resolution),內插放大影像的方法，現有技術有雙線性內插法(bilinear interpolation)、雙立方內插法(bicubic interpolation)等來對影像做各種不同的影像 放大。超解析度方法的運算復雜度較內插法高，常需要大量的培訓樣本資料，建立放大模 型，以作為預測原始影像放大的依據，因此需要較多的計算時間。
雙線性內插法目前應用相當普遍，其方法是先后對水平及垂直方向做鄰近兩個像 素點的內插，雖然簡單且運算速度快，但是因缺乏影像高頻信息而導致放大后的影像模糊， 且容易產生區塊效應(block effect)。
雙立方內插法是參考原始影像中四個像素點的亮度值，乘上其權重值以決定其內 插結果的亮度值。相較于雙線性內插法，利用雙立方內插法放大后的影像，其邊緣銳利程度 效果較好，但隨著邊緣銳利程度的提升，影像邊緣的過沖(overshoot)現象也隨之增加。此 外，當放大倍率調高時，利用雙立方內插法放大后的影像與真實光學放大的影像結果差距 愈來愈大。發明內容
有鑒于此，本發明提供一種影像內插的處理方法，可依據不同的邊緣型態選擇不 同的內插處理方法，以提高放大后的影像在邊緣區域的影像品質。
本發明提出一種影像內插的處理方法，包括下列步驟。首先，針對原始影像中的選 定區域，利用邊緣檢測(edge detection)法檢測此選定區域有無邊緣存在，并決定此邊緣 的邊緣方向。在邊緣方向的法線方向上，利用原始影像中的像素點內插出多個輪廓像素點， 以構成邊緣輪廓線，其中目標像素點位于邊緣輪廓線上。接著，判斷邊緣輪廓線的亮度值變 化趨勢，并找出輪廓像素點中的兩極值點。判斷目標像素點位于漸層(transition)區域或 非漸層區域。若目標像素點位于非漸層區域，則根據兩極值點的亮度值與目標像素點的亮 度值，計算一內插調整值。再根據此內插調整值，對選定區域進行內插處理，以獲得目標像 素點的內插結果。
在本發明的一實施例中，所述的判斷邊緣輪廓線的亮度值變化趨勢的步驟包括利 用在邊緣輪廓線上靠近目標像素點的多個輪廓像素點來判斷邊緣輪廓線的亮度值變化趨 勢為遞增或遞減趨勢。
在本發明的一實施例中,所述的兩極值點包括最大極值點以及最小極值點。最大 極值點為在邊緣輪廓線上自目標像素點位置往亮度值變化趨勢遞增方向上的輪廓像素點 中具有最大亮度值者。最小極值點為在邊緣輪廓線上自目標像素點位置往亮度值變化趨勢遞減方向上的輪廓像素點中具有最小亮度值者。
在本發明的一實施例中，所述的判斷目標像素點位于漸層區域或非漸層區域包括 下列步驟。根據兩極值點的亮度值與目標像素點的亮度值，判斷目標像素點的亮度值靠近 兩極值點的哪一者的亮度值，定義此極值點為目標極值點。自目標像素點位置，往目標極值 點的那端判斷輪廓像素點中是否有轉折點存在。若往目標極值點的那端存在著轉折點，則 目標像素點位于非漸層區域。若往目標極值點的那端不存在轉折點，則目標像素點位于漸 層區域。
在本發明的一實施例中，所述的自目標像素點位置，往目標極值點的那端判斷輪 廓像素點中是否有轉折點存在包括下列步驟。當目標極值點位于邊緣輪廓線的左側時，若 邊緣輪廓線左側多個像素點的亮度變化趨勢和邊緣輪廓線的亮度變化趨勢相反或邊緣輪 廓線左側起始多個像素點亮度變化趨勢小于一臨界值，則存在轉折點，反之，則不存在轉折 點；當目標極值點位于該邊緣輪廓線的右側時，若邊緣輪廓線右側多個像素點的亮度變化 趨勢和邊緣輪廓線的亮度變化趨勢相反或邊緣輪廓線右側起始數個像素點亮度變化趨勢 小于一臨界值，則存在轉折點，反之，則不存在轉折點。
在本發明的一實施例中，所述的根據兩極值點的亮度值與輪廓像素點的亮度值變 化，計算內插調整值包括下列步驟。計算最大極值點與最小極值點的中心點，并利用最大極 值點的亮度值與最小極值點的亮度值進行算術平均以獲得中心點的亮度值。此外，利用中 心點的亮度值、目標像素點的亮度值與前述的目標極值點，計算此內插調整值。
在本發明的一實施例中，所述的根據內插調整值，對選定區域進行內插處理，以 獲得目標像素點的內插結果的步驟包括根據內插調整值，對選定區域進行雙向性內插 (bilateral interpolation)處理，以獲得目標像素點的內插結果。
在本發明的一實施例中，所述的影像內插的處理方法包括若目標像素點位于漸層 區域，則對選定區域進行雙線性內插處理，以獲得目標像素點的內插結果。
在本發明的一實施例中，所述的在判斷目標像素點位于漸層區域或非漸層區域的 步驟之前，還包括利用邊緣檢測法檢測選定區域內的所有像素點的邊緣強度及邊緣方向， 藉以判定目標像素點的區域型別，其中區域型別包括邊緣區域、平滑(smooth)區域以及紋 理(texture)區域。
在本發明的一實施例中，所述的影像內插的處理方法若目標像素點的區域型別 為邊緣區域，則接著判斷目標像素點位于漸層區域或非漸層區域；若目標像素點的區域型 別為平滑區域，則對選定區域進行雙線性內插處理；若目標像素點的區域型別為紋理區域， 則對選定區域進行雙立方內插處理。
基于上述，本發明所提供的影像內插的處理方法，除了可依據不同的邊緣型態選 擇不同的內插處理方法，以提升放大后的影像在邊緣區域的影像品質之外，還可分辨影像 是否為平滑或紋理區域，而給予不同的內插處理方法。
為讓本發明的上述特征和優點能更明顯易懂，下文特舉實施例，并配合附圖作詳 細說明如下。


圖1是依照本發明一實施例所顯示的影像內插的處理方法的流程圖。
圖2是依照本發明一實施例所顯示的選定區域與輪廓像素點的示意圖。
圖3是依照本發明一實施例所顯示的邊緣輪廓線的亮度值變化趨勢示意圖，(a) 極值點，(b)中心點與目標極值點。
圖4(a)至圖4(c)顯示為三種不同端點狀況的邊緣輪廓線的范例。
圖5顯示為一種利用目標極值點與中心點設定內插調整值的示意圖。
圖6是依照本發明另一實施例所顯示的影像內插的處理方法的流程圖。
主要元件符號說明
20 :選定區域
OP :原始像素點
IP、IP_1 IP_3 :輪廓像素點
Max :最大極值點
Min :最小極值點
DP:目標像素點
DP ’ 內插調整值
DE 目標極值點
R1、R2 :與內插出輪廓像素點相關的原始像素點所在之列
C:中心點
SllO S170 :影像內插的處理方法的各步驟
S610 S690 :影像內插的處理方法的各步驟具體實施方式
圖1是依照本發明一實施例所顯示的影像內插的處理方法的流程圖。請參照圖1， 首先如步驟SllO所示，針對原始影像中的選定區域，利用邊緣檢測(edge detection)法檢 測此選定區域有無邊緣存在，并決定此邊緣的邊緣方向。圖2是依照本發明一實施例所顯 示的選定區域與輪廓像素點的示意圖。搭配圖1與圖2說明如下
選定區域20為原始影像中的其中一區塊，選定區域包含多數個原始像素點0P， 并利用原始像素點OP雙線性內插出一目標像素點DP，此目標像素點DP例如是位于選定 區域20的中央位置。接著，可利用邊緣檢測法來計算選定區域20的邊緣強度，邊緣檢測 法包括利用索貝爾運算子(Sobel operator)、Canny運算子或拉普拉斯運算子(Laplace operator)等等來計算選定區域20在四個不同方向(水平、垂直及兩對角線方向)的強度， 藉以計算邊緣方向。在本實施例中，如圖2所示，邊緣方向為一垂直方向，邊緣方向的法線 方向就是水平方向。
接著，如步驟S120所述，在邊緣方向的法線方向上，利用原始像素點內插出多個 輪廓像素點，以構成邊緣輪廓線，其中目標像素點位于邊緣輪廓線上。如圖2所示，利用列 Rl與列R2上相對應的兩個原始像素點0P，即可內插出輪廓像素點IP，這些輪廓像素點IP 皆位于同一水平方向以構成邊緣輪廓線，且此邊緣輪廓線與目標像素點DP位于同一直線 上。
求出邊緣輪廓線后，便可執行步驟S130，判斷邊緣輪廓線的亮度值變化趨勢，并找 出輪廓像素點中的兩極值點。在此須說明的是，若原始影像為灰階影像，則亮度值為像素點的灰階值；若原始影像為彩色階影像，則亮度值可為像素點的R/G/B值的組合或為像素點 的明度值/彩度值的組合。
圖3是依照本發明一實施例所顯示的邊緣輪廓線的亮度值變化趨勢示意圖，(a) 極值點，(b)中心點與目標極值點。請同時配合參照圖1與圖3，利用在邊緣輪廓線上靠近 目標像素點的數個輪廓像素點來決定邊緣輪廓線的亮度值變化趨勢是遞增或是遞減，如圖 3(a)所示，此邊緣輪廓線的亮度值變化趨勢為一遞減趨勢。接著找出輪廓像素點中的兩極 值點，兩極值點包括最大極值點以及最小極值點。最大極值點為在邊緣輪廓線上自目標像 素點位置往亮度變化趨勢遞增方向上的輪廓像素點中具有最大亮度值者。最小極值點為在 邊緣輪廓線上自目標像素點位置往亮度變化趨勢遞減方向上的輪廓像素點中具有最小亮 度值者。如圖3(a)所示，此邊緣輪廓線具有一最大極值點Max以及一最小極值點Min。
得到兩極值點后，便可執行步驟S 140，判定目標像素點位于漸層(transition) 區域或非漸層區域。首先，根據兩極值點的亮度值與目標像素點的亮度值，判斷目標像素點 的亮度值靠近哪個極值點的亮度值，并定義較靠近的極值點為目標極值點DE。請配合參照 圖3 (a)與圖3 (b)，最大極值點Max與最小極值點Min的中心點C的亮度值，可由最大極值 點Max的亮度值與最小極值點Min的亮度值進行算術平均得到。若目標像素點DP的亮度 值大于中心點C的亮度值，則目標極值點DE為最大極值點Max ;反之，則目標極值點DE為 最小極值點Min。因此，在圖3(b)所示的實施例中，目標極值點DE即為最大極值點Max所 在之位置。
接下來，則自目標像素點DP位置，往目標極值點DE的那端判斷輪廓像素點中是否 有轉折點存在。圖4(a)至圖4(c)顯示為三種不同端點狀況的邊緣輪廓線的范例。如圖 4(a)至圖4(c)所示，由輪廓像素點所構成的邊緣輪廓線,三者的邊緣輪廓線變化趨勢均為 由左至右遞減。以下即根據圖4舉例說明如何判斷邊緣輪廓線是否有轉折點存在。
請參照圖4(a)，目標極值點DE在左側，輪廓像素點IP_1、IP_2的亮度變化趨勢為 由左至右遞增和邊緣輪廓線變化趨勢相反，所以判定有轉折點存在。
另參照圖4(b)，目標極值點DE在左側，左側的輪廓像素點并無和邊緣輪廓線變化 趨勢相反的變化趨勢。而在左側起始的數個輪廓像素點進入一平坦區域，意即在左側起始 的數個輪廓像素點的亮度值變化極小，此情況亦判定有轉折點存在。在本實施例中，若IP_1 亮度值減IP_2亮度值為第一遞減差值Diff_l，IP_2亮度值減IP_3亮度值為第二遞減差 值Diff_2。將第一差值Diff_l與第二差值Diff_2進行相加獲得一端點檢測值，若此端點 檢測值小于一趨勢臨界值，代表邊緣輪廓線左側屬于一平坦區域或是為非由左至右遞減趨 勢，因此，判定有轉折點存在。其中，趨勢臨界值可由本領域技術人員依據實際情況做設定。
又參照圖4(c)，目標極值點在左側，左側的輪廓像素點并無和邊緣輪廓線變化趨 勢相反的變化趨勢。前述的端點檢測值也大于趨勢臨界值。意即，此邊緣輪廓線不存在任 何轉折點，則判斷此目標像素點位于漸層區域。
回到圖1，在步驟S140中，藉由判斷邊緣輪廓線中是否存在轉折點，來判定目標像 素點位于漸層區域或非漸層區域。若在目標極值點的那端不存在轉折點，則判定目標像素 點位于漸層區域，則接續步驟S150，對選定區域直接進行雙線性內插處理，以獲得目標像素 點的內插結果。若在目標極值點的那端存在著轉折點，則判定目標像素點位于非漸層區域， 并且接續步驟S160。
在步驟S160中，根據兩極值點的亮度值與目標像素點的亮度值，計算一內插調整 值。請配合參照圖5，利用前述的中心點C的亮度值、目標像素點DP的亮度值與前述的目標 極值點的亮度值，以及搭配事先所設定的邊緣強化曲線，計算出調整后的目標像素點的內 插調整值DP’。
最后，于步驟S170中，再根據此內插調整值，對選定區域進行內插處理，以獲得目 標像素點的內插結果。于本實施例中，可根據此內插調整值，對選定區域進行雙向性內插 (bilateral interpolation)處理，以獲得目標像素點的內插結果。雙向性內插處理,第一 個權重可以是與目標像素點的距離，第二個權重可以是和內插調整值的亮度值差。
上述實施例用以說明本發明可利用判斷目標像素點位于漸層區域或非漸層區域， 而適當給予不同的內插處理方法。然而上述是針對影像中的選定區域位于邊緣區域，也就 是存在邊緣輪廓線的情況做處理，當影像中的選定區域屬于其他類型的影像例如是平滑 (smooth)區域或紋理(texture)區域時,本發明另提供一種當選定區域不存在邊緣輪廓線 的處理方法。
圖6是依照本發明另一實施例所顯示的影像內插的處理方法的流程圖。請參照圖 6，圖6所示的影像內插的處理方法與圖1所示的影像內插的處理方法大致相似，故以下僅 就兩者不同之處進行說明。
在判定目標像素點位于漸層區域或非漸層區域的步驟之前，還包括利用邊緣檢測 法檢測選定區域內的所有像素點的邊緣強度及邊緣方向，藉以判定目標像素點的區域型 別，其中區域型別包括邊緣區域、平滑區域以及紋理區域。因為若目標像素點所在的選定區 域為邊緣區域，才能進一步利用邊緣像素點內插出多個輪廓像素點，以構成邊緣輪廓線，也 才能判斷此目標像素點位于漸層區域或非漸層區域。若目標像素點所在的選定區域為平滑 區域或紋理區域，其影像特性不同于邊緣區域的影像特性，因此給予不同的內插處理。
因此，在本實施例中，在步驟S610針對原始影像中的選定區域，利用邊緣檢測法 檢測此選定區域的邊緣強度和邊緣方向之后，則接續步驟S620，判斷目標像素點所在的選 定區域的區域型別。若目標像素點的區域型別為紋理區域，則接續步驟S630，對選定區域進 行雙立方內插處理；若目標像素點的區域型別為平滑區域，則接續步驟S640，對選定區域 進行雙線性內插處理；若目標像素點的區域型別為邊緣區域，則接續步驟S650 S690，步 驟S650 S690與圖1所示的步驟S120 S170相似，故在此不再贅述。
須說明的是，本發明的影像內插的處理方法適用于各種影像擷取裝置或影像處理 裝置，影像擷取裝置例如是數碼相機、攝影機、或具備相機功能的手機、智能型手機或平板 電腦等；影像處理裝置例如是電腦或其他具備影像處理功能的處理器等。因此，本發明的影 像內插的處理方法可由軟件、硬件或其組合實作而得，在此不加以限制。
綜上所述，本發明所提供的影像內插的處理方法，可依據影像中具不同特性的區 域型別給予不同的內插處理方法。在平滑區域的影像可使用保持低雜訊效果的內插處理 法；在紋理區域則利用能強化銳力程度且保持自然的細節表現的內插處理法；在邊緣區域 還可依據不同的邊緣型態選擇不同的內插處理方法，若邊緣位于非漸層區域，則進行邊緣 強化的內插處理，可加強影像邊緣的銳利程度；若邊緣位于漸層區域，則直接利用雙線性內 插處理。據此，本發明所提供的影像內插的處理方法不會產生影像邊緣的過沖現象問題，在 影像邊緣區域更能接近真實光學放大的影像結果。
雖然本發明已以實施例揭示如上，但其并非用以限定本發明，任何所屬技術領域的技術人員，在不脫離本發明的精神和范圍內，當可作適當 的修改和同等替換，故本發明的保護范圍應當以本申請權利要求所界定的范圍為準。
權利要求
1.一種影像內插的處理方法，其特征在于，包括 針對一原始影像中的一選定區域，利用一邊緣檢測法檢測該選定區域有無一邊緣存在，并決定該邊緣的一邊緣方向； 在該邊緣方向的法線方向上，利用原始影像中的多個像素點內插出多個輪廓像素點，以構成一邊緣輪廓線，其中一目標像素點位于該邊緣輪廓線上； 判斷該邊緣輪廓線的亮度值變化趨勢，并找出該些輪廓像素點中的兩極值點； 判斷該目標像素點位于一漸層區域或一非漸層區域； 若該目標像素點位于該非漸層區域，根據該兩極值點的亮度值與該目標像素點的亮度值，計算一內插調整值；以及 根據該內插調整值，對該選定區域進行內插處理，以獲得該目標像素點的一內插結果。
2.根據權利要求1所述的影像內插的處理方法，其中判斷該邊緣輪廓線的亮度值變化趨勢的步驟包括 利用該邊緣輪廓線上靠近該目標像素點的多個輪廓像素點來判斷該邊緣輪廓線的亮度值變化趨勢為一遞增趨勢或一遞減趨勢。
3.根據權利要求2所述的影像內插的處理方法，其中 該兩極值點包括一最大極值點以及一最小極值點， 其中該最大極值點為自該目標像素點位置往該邊緣輪廓線的亮度值變化趨勢為遞增趨勢的方向上的該些輪廓像素點中具有最大亮度值者，該最小極值點為自該目標像素點位置往該邊緣輪廓線的亮度值變化趨勢為該遞減趨勢的方向上的該些輪廓像素點中具有最小亮度值者。
4.根據權利要求3所述的影像內插的處理方法，其中判斷該目標像素點位于該漸層區域或該非漸層區域的步驟包括 根據該兩極值點的亮度值與該目標像素點的亮度值，判斷該目標像素點的亮度值靠近該兩極值點的哪一者的亮度值，定義該極值點為一目標極值點； 自該目標像素點位置，往該目標極值點的一端判斷該些輪廓像素點中是否有一轉折點存在； 若該些輪廓像素點中存在該轉折點，該目標像素點位于該非漸層區域；以及 若該些輪廓像素點中不存在該轉折點，該目標像素點位于該漸層區域。
5.根據權利要求4所述的影像內插的處理方法，其中自該目標像素點位置，往該目標極值點的一端判斷該些輪廓像素點中是否有該轉折點存在的步驟包括 當該目標極值點位于該邊緣輪廓線的左側時，若該邊緣輪廓線左側多個像素點的亮度變化趨勢和該邊緣輪廓線的亮度變化趨勢相反或該邊緣輪廓線左側起始多個像素點亮度變化趨勢小于一臨界值，則存在該轉折點，反之，則不存在該轉折點；以及 當該目標極值點位于該邊緣輪廓線的右側時，若該邊緣輪廓線右側多個像素點的亮度變化趨勢和該邊緣輪廓線的亮度變化趨勢相反或該邊緣輪廓線右側起始數個像素點亮度變化趨勢小于一臨界值，則存在該轉折點，反之，則不存在該轉折點。
6.根據權利要求4所述的影像內插的處理方法，其中根據該兩極值點的亮度值與該目標像素點的亮度值，計算該內插調整值的步驟包括 計算該最大極值點與該最小極值點的一中心點，并利用該最大極值點的亮度值與該最小極值點的亮度值進行算術平均以獲得該中心點的亮度值； 若該目標像素點的亮度值大于該中心點的亮度值，則該目標極值點為該最大極值點，反之，則該目標極值點為該最小極值點；以及 利用該中心點的亮度值、該目標像素點的亮度值與該目標極值點的亮度值，計算該內插調整值。
7.根據權利要求1所述的影像內插的處理方法，其中根據該內插調整值，對該選定區域進行內插處理，以獲得該目標像素點的該內插結果的步驟包括 根據該內插調整值，對該選定區域進行雙向性內插處理，以獲得該目標像素點的該內插結果。
8.根據權利要求1所述的影像內插的處理方法，還包括 若該目標像素點位于該漸層區域，對該選定區域進行雙線性內插處理，以獲得該目標像素點的一內插結果。
9.根據權利要求1所述的影像內插的處理方法，其中在判斷該目標像素點位于該漸層區域或該非漸層區域的步驟之前，還包括 利用該邊緣檢測法檢測該選定區域內的所有像素點的邊緣強度及邊緣方向，藉以判定該目標像素點的一區域型別，其中該區域型別包括一邊緣區域、一平滑區域以及一紋理區域。
10.根據權利要求9所述的影像內插的處理方法，其中 若該目標像素點的該區域型別為該邊緣區域，接著判斷該目標像素點位于該漸層區域或該非漸層區域， 若該目標像素點的該區域型別為該平滑區域，對該選定區域進行雙線性內插處理， 若該目標像素點的該區域型別為該紋理區域，對該選定區域進行雙立方內插處理。
全文摘要
本發明涉及一種影像內插的處理方法。此方法針對原始影像中的選定區域，利用邊緣檢測法檢測并藉以產生包含目標像素點與多個輪廓像素點的一邊緣輪廓線。接著，判斷邊緣輪廓線上的輪廓像素點的亮度值變化趨勢，并找出輪廓像素點中的兩極值點。并利用亮度值變化趨勢和兩極值點判定目標像素點位于漸層區域或非漸層區域。若目標像素點位于非漸層區域，根據兩極值點的亮度值與目標像素點的亮度值，計算一內插調整值。再根據此內插調整值，對選定區域進行內插處理，以獲得目標像素點的內插結果。
文檔編號G06T5/00GK103034976SQ20111029452
公開日2013年4月10日 申請日期2011年9月29日 優先權日2011年9月29日
發明者黃裕程, 吳宗達 申請人:華晶科技股份有限公司