本發(fā)明涉及一種立體攝像裝置及利用此的圖像處理方法。

背景技術(shù)：

最近，隨著攝像技術(shù)的發(fā)展，在多種電子設(shè)備中應(yīng)用著攝像裝置。例如，在智能手機(jī)、平板電腦、筆記本電腦等多種電子設(shè)備中融合有攝像裝置。

電子設(shè)備中應(yīng)用的攝像裝置需要被小型化，因此其功能被拍攝、視頻錄像等最優(yōu)化。

即，現(xiàn)有的攝像裝置有著如下的限制：難以實(shí)際實(shí)現(xiàn)攝像頭的特殊功能，例如，難以實(shí)現(xiàn)以高幀數(shù)進(jìn)行拍攝而提供慢鏡頭的超高速攝像機(jī)功能等的限制。

[現(xiàn)有技術(shù)文獻(xiàn)]

[專(zhuān)利文獻(xiàn)]

(專(zhuān)利文獻(xiàn)1)韓國(guó)公開(kāi)專(zhuān)利公報(bào)第2012-0109182號(hào)

(專(zhuān)利文獻(xiàn)2)日本公開(kāi)專(zhuān)利公報(bào)第2014-0108852號(hào)

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明的一實(shí)施形態(tài)的目的在于，提供一種能夠通過(guò)獲得高幀圖像而進(jìn)行超高速圖像處理的立體攝像裝置及利用此的圖像處理方法。

本發(fā)明的一技術(shù)方案提供一種立體攝像裝置。所述立體攝像裝置可以包括：第一攝像頭，以第一幀率(framerate)而從投影到第一圖像傳感器的第一圖像生成奇數(shù)字段數(shù)據(jù)；第二攝像頭，以第一幀率而從投影到第二圖像傳感器的第二圖像生成偶數(shù)字段數(shù)據(jù)；圖像處理部，以第二幀率工作，在每一幀中利用所述奇數(shù)字段數(shù)據(jù)和所述偶數(shù)字段數(shù)據(jù)而生成輸出圖像。所述第二幀率可以對(duì)應(yīng)于所述第一幀率的倍數(shù)。

本發(fā)明的另一技術(shù)方案提供一種圖像處理方法。所述圖像處理方法可以包括以下步驟：以第一幀率(framerate)而從投影到第一圖像傳感器的第一圖像中生成奇數(shù)字段數(shù)據(jù)；以第一幀率而從投影到第二圖像傳感器的第二圖像中生成偶數(shù)字段數(shù)據(jù)；在第二幀率的每一幀，利用所述奇數(shù)字段數(shù)據(jù)和偶數(shù)字段數(shù)據(jù)而生成輸出圖像。所述第二幀率可以對(duì)應(yīng)于所述第一幀率的倍數(shù)。

所述課題的解決方案沒(méi)有列出本發(fā)明的所有特征。可以參照以下的詳細(xì)說(shuō)明的具體實(shí)施形態(tài)而更詳細(xì)地理解用于解決本發(fā)明的課題的多種單元

根據(jù)本發(fā)明的一實(shí)施形態(tài)的立體攝像裝置及利用此的圖像處理方法可以通過(guò)獲得高幀圖像而進(jìn)行超高速圖像處理。

附圖說(shuō)明

圖1是示出應(yīng)用根據(jù)本發(fā)明的一實(shí)施例的立體攝像裝置的移動(dòng)終端的一示例的圖。

圖2是示出根據(jù)本發(fā)明的一實(shí)施例的立體攝像裝置的模塊構(gòu)成圖。

圖3是示出圖像的一示例的圖。

圖4是說(shuō)明關(guān)于圖像的奇數(shù)字段的數(shù)據(jù)的一示例的圖。

圖5是說(shuō)明關(guān)于圖像的偶數(shù)字段的數(shù)據(jù)的一示例的圖。

圖6是示出圖2中示出的圖像處理部的處理操作的一示例的圖。

圖7是說(shuō)明圖2中示出的圖像處理部的重復(fù)處理操作的一示例的圖。

圖8是說(shuō)明根據(jù)本發(fā)明的一實(shí)施例的圖像處理方法的一示例的順序圖。

符號(hào)說(shuō)明

10：移動(dòng)終端100：立體攝像裝置

110：第一攝像頭120：第二攝像頭

130：圖像處理部

具體實(shí)施方式

以下，參照附圖對(duì)本發(fā)明的優(yōu)選實(shí)施形態(tài)進(jìn)行說(shuō)明。

但是，本發(fā)明的實(shí)施形態(tài)可以變形成其他多種形態(tài)，本發(fā)明的范圍不限于以下說(shuō)明的實(shí)施形態(tài)。并且，本發(fā)明的實(shí)施形態(tài)為了給在本技術(shù)領(lǐng)域中具有一般知識(shí)的人員更完整地說(shuō)明本發(fā)明而被提供。

本說(shuō)明書(shū)中，當(dāng)提到某個(gè)構(gòu)成要素“連接”到其他構(gòu)成要素時(shí)，可能直接連接到所述其他構(gòu)成要素，但是應(yīng)當(dāng)理解為，在中間可能存在其他構(gòu)成要素。相反，當(dāng)提到某個(gè)構(gòu)成要素“直接連接”到其他構(gòu)成要素時(shí)，應(yīng)理解為，中間不存在其他構(gòu)成要素。另外，用于說(shuō)明構(gòu)成要素之間的關(guān)系的術(shù)語(yǔ)，即，“在…之間”與“在…正中間”以及“與…相鄰”與“與…直接相鄰”應(yīng)以同樣的方式得到解釋。

圖1是示出應(yīng)用根據(jù)本發(fā)明的一實(shí)施例的立體攝像裝置的移動(dòng)終端的一示例的圖。

參照?qǐng)D1，移動(dòng)終端10采用立體攝像裝置100。

移動(dòng)終端10可以是智能手機(jī)、平板電腦等多種電子設(shè)備。

立體攝像裝置100包括兩個(gè)攝像頭，且可以利用從兩個(gè)攝像頭提供的數(shù)據(jù)而生成輸出圖像。

立體攝像裝置100的各個(gè)攝像頭利用分別拍攝到的圖像的一部分而生成數(shù)據(jù)，并可以將通過(guò)上述方法從兩個(gè)攝像頭提供的數(shù)據(jù)混合利用而增加輸出圖像的數(shù)量。從而，立體攝像裝置100可以以比攝像頭的幀率(framerate)更高的幀率生成輸出圖像，因此可以確保更高的幀率而提供超高速拍攝等功能。

以下，參照?qǐng)D2至圖7而對(duì)立體攝像裝置100進(jìn)行更詳細(xì)的說(shuō)明。

圖2是示出根據(jù)本發(fā)明的一實(shí)施例的立體攝像裝置的模塊構(gòu)成圖。

參照?qǐng)D2，立體攝像裝置100可以包括：第一攝像頭110、第二攝像頭120和圖像處理部130。

第一攝像頭110可以以第一幀率而從投影(foucused)到第一圖像傳感器的第一圖像中生成奇數(shù)字段數(shù)據(jù)。

第二攝像頭120可以以第二幀率而從投影到第二圖像傳感器的第二圖像中生成偶數(shù)字段數(shù)據(jù)。

即，第一攝像頭110和第二攝像頭120可以從分別投影的圖像中分別生成彼此不同字段數(shù)據(jù)。第一攝像頭110和第二攝像頭120可以以相同的幀率工作。

根據(jù)實(shí)施例，第一攝像頭110和第二攝像頭120可以同步或者交替工作。

第一攝像頭110可以包括：透鏡(未示出)、第一圖像傳感器(未示出)和第一接口111。

第一圖像傳感器可以生成來(lái)自到達(dá)第一圖像傳感器的光的第一圖像。透鏡和圖像傳感器可以應(yīng)用多種技術(shù)，所以本說(shuō)明書(shū)中不用特定的方式進(jìn)行限制。

第一圖像傳感器可以利用排列成格子的多個(gè)單元中的奇數(shù)列(或者奇數(shù)行)的輸出而生成所述奇數(shù)字段數(shù)據(jù)。即，第一圖像傳感器可以按每一所述第一幀率來(lái)利用第一圖像的奇數(shù)列數(shù)據(jù)而生成所述奇數(shù)字段數(shù)據(jù)。

第一接口111可以電連接所述第一圖像傳感器和圖像處理部130。即，從第一圖像傳感器輸出的所述奇數(shù)字段數(shù)據(jù)可以通過(guò)第一接口111而被傳遞至圖像處理部130。例如，第一接口111可以是基于mipi(移動(dòng)產(chǎn)業(yè)處理器接口；mobileindustryprocessorinterface)協(xié)議等的接口。

第一接口111的帶寬可以對(duì)應(yīng)于所述奇數(shù)字段數(shù)據(jù)的大小。因此，可以提高從第一攝像頭110傳遞至圖像處理部130的數(shù)據(jù)的傳輸速度，據(jù)此可以順利地支持來(lái)自圖像處理部130的高速處理。

第二攝像頭120也可以與第一攝像頭110相同地包括：透鏡(未示出)、第二圖像傳感器(未示出)以及第一接口111，可以從上述說(shuō)明中理解對(duì)它的說(shuō)明。

圖像處理部130可以以第二幀率工作，并在每一幀率利用所述奇數(shù)字段數(shù)據(jù)和所述偶數(shù)字段數(shù)據(jù)而生成輸出圖像。所述第二幀率可以相當(dāng)于所述第一幀率的倍數(shù)。

例如，第一攝像頭110可以與第二攝像頭120交替工作，所述第二幀率可以是所述第一幀率的2倍。

以下，參照?qǐng)D2至圖5對(duì)圖像處理部130的操作進(jìn)行更詳細(xì)的說(shuō)明。

圖3示出投影到圖像傳感器的圖像的一示例。

第一攝像頭110與第二攝像頭120相隔預(yù)定距離，因此投影到各個(gè)攝像頭的圖像可能存在圖像視差(disparity)。但是，由于是在立體攝像頭之間的間距狹窄的移動(dòng)終端環(huán)境中拍攝，并且拍攝的是中距離或遠(yuǎn)距離的被攝體，所以本發(fā)明中的圖像視差足夠小或者可以忽略。

因此，圖3中示出圖像可以被理解是投影到第一攝像頭110的第一圖像傳感器的第一圖像，同時(shí)也是投影到第二攝像頭120的第二圖像傳感器的第二圖像。

所示出的圖像將投射到攝像頭的圖像傳感器的圖像表示為虛擬圖像。一示例中，第一攝像頭110或第二攝像頭120并非在生成圖示的圖像之后輸出奇數(shù)字段數(shù)據(jù)或偶數(shù)字段數(shù)據(jù)，而是從投影的圖像中只獲取奇數(shù)字段或偶數(shù)字段的數(shù)據(jù)，從而生成奇數(shù)字段數(shù)據(jù)或偶數(shù)字段數(shù)據(jù)。

圖4是說(shuō)明關(guān)于從第一攝像頭110輸出的第一圖像的奇數(shù)字段的數(shù)據(jù)的一示例的圖。

第一攝像頭110可以從第一圖像中生成包括奇數(shù)字段的奇數(shù)字段數(shù)據(jù)，圖4的示例相當(dāng)于這種奇數(shù)字段數(shù)據(jù)的圖像化。

圖5是說(shuō)明關(guān)于圖像的偶數(shù)字段的數(shù)據(jù)的一示例的圖。第二攝像頭120可以從第二圖像生成包括偶數(shù)字段的偶數(shù)字段數(shù)據(jù)，圖5的示例相當(dāng)于這種偶數(shù)字段數(shù)據(jù)的圖像化。

圖4和圖5中示出的示例中以列為基準(zhǔn)而生成數(shù)據(jù)，但是根據(jù)實(shí)施例可以將行作為基準(zhǔn)而生成數(shù)據(jù)。

圖6是示出圖2中示出的圖像處理部的處理操作的一示例的圖。圖示的附圖中，橫軸表示時(shí)間的流逝。

參照?qǐng)D2和圖6，對(duì)圖像處理部130的處理進(jìn)行說(shuō)明。

如圖所示，第一攝像頭110以第一幀率生成奇數(shù)字段數(shù)據(jù)(0dd1至0dd4)；第二攝像頭120以第一幀率生成偶數(shù)字段數(shù)據(jù)(even1至even4)。

圖像處理部130被輸入奇數(shù)字段數(shù)據(jù)(0dd1至0dd4)及偶數(shù)字段數(shù)據(jù)(even1至even4)。圖像處理部130以第二幀率進(jìn)行工作，并且在每一幀利用奇數(shù)字段數(shù)據(jù)和所述偶數(shù)字段數(shù)據(jù)而生成輸出圖像。

例如，圖像處理部130可以將在第一時(shí)刻生成的第一奇數(shù)字段數(shù)據(jù)odd1和在第二時(shí)刻生成的第一偶數(shù)字段數(shù)據(jù)even1反交錯(cuò)(deinterlace)，從而在所述第二時(shí)刻生成第一輸出圖像(odd1+even1)。

并且，圖像處理部130可以將在第三時(shí)刻生成的第二奇數(shù)字段數(shù)據(jù)odd2和所述第一偶數(shù)字段數(shù)據(jù)even1反交錯(cuò)，從而在所述第三時(shí)刻生成第二輸出圖像(odd2+even1)。

如上所述，圖像處理部130可以利用更新后的奇數(shù)字段數(shù)據(jù)或者偶數(shù)字段數(shù)據(jù)而以第二幀率生成輸出圖像。

因此，圖像處理部130可以以相當(dāng)于第一攝像頭和第二攝像頭的幀率的2倍的速度生成輸出圖像。因此，即使不配備專(zhuān)門(mén)的幀數(shù)增加單元，也可以通過(guò)圖像合成而增加幀率，并且可以據(jù)此具有超高速拍攝性能。

一實(shí)施例中，所述奇數(shù)字段數(shù)據(jù)可以包括奇數(shù)標(biāo)識(shí)符，所述偶數(shù)字段數(shù)據(jù)可以包括偶數(shù)標(biāo)識(shí)符。圖像處理部130可以通過(guò)確認(rèn)奇數(shù)標(biāo)識(shí)符或偶數(shù)標(biāo)識(shí)符而識(shí)別接收到的字段數(shù)據(jù)的種類(lèi)。

圖6中示出的示例中，第一攝像頭110與第二攝像頭120交替工作，但這僅僅是示例。因此，第一攝像頭110可以與第二攝像頭120同步工作，在此情況下，圖像處理部130也可以與上述說(shuō)明相同地，以對(duì)應(yīng)于攝像頭的倍數(shù)的幀率生成輸出圖像。

圖7是說(shuō)明圖2中示出的圖像處理部的重復(fù)處理操作的一示例的圖。

如圖7所示，在遺漏第三奇數(shù)字段數(shù)據(jù)的情況下，圖像處理部130會(huì)連續(xù)接收第三偶數(shù)字段數(shù)據(jù)even3和第四偶數(shù)字段數(shù)據(jù)even4。

如上所述，在圖像處理部130連續(xù)接收所述奇數(shù)字段數(shù)據(jù)或者所述偶數(shù)字段數(shù)據(jù)的情況下，可以重新輸出上一幀中生成的輸出圖像(0dd2+even3)。

相同地，圖像處理部130在以第一幀率接收的奇數(shù)字段數(shù)據(jù)未被接收的情況下，可以重新輸出上一幀中生成的輸出圖像(0dd2+even3)。

圖8是說(shuō)明根據(jù)本發(fā)明的一實(shí)施例的圖像處理方法的一示例的順序圖。

以下要說(shuō)明的圖像處理方法涉及參照?qǐng)D2至圖7而在上文中說(shuō)明的立體攝像頭的圖像處理。因此，可以參照?qǐng)D2至圖7并根據(jù)上述內(nèi)容而容易地理解。

參照?qǐng)D8，立體攝像裝置可以以第一幀率而從投影到第一圖像傳感器的第一圖像中生成奇數(shù)字段數(shù)據(jù)(s810)。

并且，立體攝像裝置可以以第一幀率而從投影到第二圖像傳感器的第二圖像中生成偶數(shù)字段數(shù)據(jù)(s820)。

立體攝像裝置可以按第二幀率的每一幀來(lái)利用所述奇數(shù)字段數(shù)據(jù)和偶數(shù)字段數(shù)據(jù)而生成輸出圖像(s830)。其中，所述第二幀率可以對(duì)應(yīng)于所述第一幀率的倍數(shù)。

雖然在圖示的示例中表示為在執(zhí)行s810步驟以后執(zhí)行s820步驟，但是可以根據(jù)實(shí)施例而同時(shí)執(zhí)行s810步驟和s820步驟。

一實(shí)施例中，s810步驟和s820步驟被交替執(zhí)行，所述第二幀率可以對(duì)應(yīng)于所述第一幀率的2倍。

在針對(duì)s810步驟的實(shí)施例中，立體攝像裝置可以對(duì)所述奇數(shù)字段數(shù)據(jù)添加奇數(shù)標(biāo)識(shí)符。

在針對(duì)s830步驟的一例中，立體攝像裝置可以將在第一時(shí)刻生成的第一奇數(shù)字段數(shù)據(jù)和在第二時(shí)刻生成的第一偶數(shù)字段數(shù)據(jù)反交錯(cuò)，從而在所述第二時(shí)刻生成第一輸出圖像。

并且，立體攝像裝置可以將在第三時(shí)刻生成的第二奇數(shù)字段數(shù)據(jù)和所述第一偶數(shù)字段數(shù)據(jù)反交錯(cuò)，從而在所述第三時(shí)刻生成第二輸出圖像。

在針對(duì)s830步驟的一實(shí)施例中，立體攝像裝置確認(rèn)所述奇數(shù)字段數(shù)據(jù)或者所述偶數(shù)字段數(shù)據(jù)是否被連續(xù)接收，在連續(xù)接收時(shí)，可以重新輸出生成于上一幀的輸出圖像。

以上，根據(jù)具體構(gòu)成要素等特定事項(xiàng)和限定的實(shí)施例及附圖而對(duì)本發(fā)明進(jìn)行了說(shuō)明，但這只為了有助于本發(fā)明的整體理解而被提供，本發(fā)明不限于所述實(shí)施例，在本發(fā)明的所屬技術(shù)領(lǐng)域中具有一般知識(shí)的人員可以從上述記載中聯(lián)想到多種修改和變形。

因此，本發(fā)明的思想不應(yīng)局限于上文中說(shuō)明的實(shí)施例，并且權(quán)利要求書(shū)以及它的等同或等價(jià)的變形都應(yīng)屬于本發(fā)明思想的范圍內(nèi)。