本發明涉及包括多相機陣列的成像系統及方法。確切地說,本發明涉及實現低剖面成像系統及移動裝置同時維持或改進圖像質量的系統及方法。
背景技術:
許多移動裝置(例如移動電話及平板計算機計算裝置)包含可由用戶操作以捕捉靜態及/或視頻圖像的相機。因為移動裝置通常設計為相對較小,所以可能至關重要的是將相機或成像系統設計得盡可能薄以便保持為低剖面移動裝置。折疊光學圖像傳感器陣列(“陣列相機”)允許創建低剖面圖像捕捉裝置,而不縮短焦距或減小圖像在傳感器陣列的視場內的分辨率。通過使用初級及次級表面朝向陣列中的每一傳感器重新引導光,及通過對用以將入射光聚焦于初級表面與次級表面之間的透鏡組合件進行定位,可將傳感器陣列定位在垂直于透鏡組合件的平坦襯底上。較長的焦距使得有可能實施例如光學變焦等特征,且有可能將更復雜的光學系統(其需要比通常由傳統移動相機提供的更多的空間)并入,例如添加更多光學元件。
一些陣列相機使用中央鏡或棱鏡,其具有多個小面以將包含目標圖像的入射光分割成多個部分來供所述陣列中的傳感器捕捉,其中每一小面將來自目標圖像的光的一部分引向所述陣列中的傳感器。經分割的光的每一部分可穿過透鏡組合件,且從位于傳感器正上方或正下方的表面反射回來,使得每一傳感器捕捉到圖像的一部分。傳感器視場可重疊以輔助將所捕捉部分拼接在一起成為完整圖像。
技術實現要素:
本文所描述的折疊光學傳感器陣列及圖像捕捉技術允許創建低剖面圖像捕捉裝置,但不縮短焦距或減小圖像在傳感器陣列的視場內的分辨率,其中捕捉到的圖像具有增大的視場及減小或消除的相機視場(FOV)偽影。現有陣列相機的一個挑戰是,因陣列中的相機看到其對應的鏡面之外或周圍而導致的質量降低。因此,捕捉到不表示圖像場景的圖像數據,從而在圖像拼接期間產生問題。陣列相機面臨的另一挑戰是,歸因于針對每一個別相機的FOV的限制,整個陣列的FOV幾乎局限于大約60度。通常,將相機移動更接近中央鏡可實現FOV增大,然而,在低剖面陣列相機中,相機會開始在鏡面中看到自身,且無法實現顯著的FOV增大。
除其它之外,本文所描述的棱鏡陣列相機在一些實施例中解決了上述問題。所述實施例中的一些可使用中心折射棱鏡(例如具有多個表面或小面)以將包含所述目標圖像的入射光分割成多個部分以供所述陣列中的傳感器捕捉。在一些實施例中,所述棱鏡可具有大約1.5或更高的折射率,且可經定形及定位以降低色像差偽影及增大傳感器的FOV。例如,可將所述棱鏡的頂部表面定位為正交于所述陣列的垂直對稱軸(也可為所述陣列的光軸)。在一些實施例中,可將所述棱鏡的下部內表面定位為相對于垂直對稱軸成角度α,且可將(例如,朝向對應的相機的)下部外表面定位為正交于所述頂部表面。在其它實施例中,可將所述棱鏡的下部內表面定位為相對于垂直對稱軸成角度α,且可將(例如,朝向對應的相機的)下部外表面定位為相對于所述頂部表面成角度2α。在一些實例中,可將負透鏡并入或附接到所述下部外表面以進一步增大所述FOV。此類實例可使所述陣列的總FOV實現高達180度。
可使經分割的光的每一部分穿過透鏡組合件且從定位在傳感器正上方或正下方的可選額外反射表面反射回來(或通過定位在所述傳感器正上方或正下方的可選額外棱鏡折射),使得每一傳感器捕捉到圖像的一部分。在一些情況下,所述陣列中的每一傳感器可捕捉到所述圖像的與所述陣列中的相鄰傳感器所捕捉的部分稍微重疊的一部分,且可(例如,通過線性混合或其它圖像拼接技術)將這些部分組合成目標圖像。
一個方面涉及一種用于捕捉目標圖像場景的棱鏡陣列相機,系統包含多個定位在所述棱鏡陣列相機的垂直對稱軸周圍的相機,所述多個相機中的每一相機包含圖像傳感器及經定位而相對于所述垂直對稱軸成第一角度的光軸,所述第一角度對應于一定角度值;及多個棱鏡,每一棱鏡經配置以至少部分地通過折射而將表示所述目標圖像場景的光的一部分引向所述多個相機中的對應相機,每一棱鏡包含經定位正交于所述棱鏡陣列相機的垂直對稱軸的第一表面(所述第一表面經定位以使得表示所述目標圖像場景的光的部分通過第一表面進入棱鏡)、第二表面(其經定位以使得由第二表面形成的平面將對應的相機的光軸與垂直對稱軸之間的第一角度平分),及第三表面,所述第二表面經配置以將從第一表面所接收的光的部分朝向第三表面重新引導,所述第三表面經定位以使得表示所述目標圖像場景的光的部分離開棱鏡且朝向對應的相機傳播。
另一方面涉及一種制造棱鏡陣列相機的方法,所述方法包含確定所述棱鏡陣列相機的垂直對稱軸;且針對所述棱鏡陣列相機的多個相機中的每一相機,對所述相機進行定位以使得所述相機的光軸定位為相對于所述垂直對稱軸成第一角度(所述第一角度對應一定角度值),且定位光學元件以使得所述光學元件的第一表面經定位正交于所述垂直對稱軸,及所述光學元件的第二表面經定位以使得由所述第二表面形成的平面平分第一角度。
另一方面涉及一種用在陣列相機中的棱鏡組合件,所述棱鏡組合件包含垂直對稱軸;及多個折射光學元件,每一元件與所述陣列相機的多個相機中的對應一者相關聯且經配置以將表示目標圖像場景的光的一部分傳向所述多個相機中的對應一者,多個折射光學元件中的每一者包含經定位正交于所述棱鏡陣列相機的垂直對稱軸的第一表面(所述第一表面經定位以使得表示所述目標圖像場景的光的部分通過第一表面進入棱鏡)、第二表面(其經定位以使得由第二表面形成的平面將對應的相機的光軸與垂直對稱軸之間的第一角度平分)、第三表面(所述第二表面經配置以將從第一表面所接收的光的部分朝向第三表面重新引導,所述第三表面經定位以使得表示所述目標圖像場景的光的部分離開棱鏡且朝向對應的相機傳播),及由第一表面與第二表面的相交點所界定的頂點。
另一方面涉及一種用于捕捉圖像的設備,其包含用于捕捉目標圖像場景的多個部分的裝置;用于折射表示所述多個部分中的每一部分的光的裝置,所述用于折射光的裝置包含以幾何關系布置的小面,所述小面包含定位為正交于所述用于折射光的裝置的垂直對稱軸的第一平面、定位為相對于所述垂直對稱軸成第一角度的第二平面(所述第一角度對應于第一角度值)及定位為相對于所述第一表面成第二角度的第三平面(所述第二角度對應于大體上等于所述第一角度值兩倍的第二角度值);及用于將所述多個部分組合成目標圖像場景的最終影像的裝置。
附圖說明
將在下文結合附圖及附錄來描述所揭示的方面,提供附圖及附錄是為了說明而非限制所揭示的方面,其中相同符號表示相同元件。
圖1A說明折疊光學陣列相機的實施例的橫截面側視圖。
圖1B說明折疊光學陣列相機的另一實施例的橫截面側視圖。
圖2說明圖像捕捉裝置的一個實施例的框圖。
圖3A至3C說明無視差及傾斜偽影的實施例。
圖4說明用于所述陣列相機的一個傳感器及鏡面的設計參數的實例。
圖5A至5C說明用于棱鏡陣列相機的棱鏡的實施例。
圖6A至6C說明用于棱鏡陣列相機的棱鏡的另一實施例。
圖7A至7C說明用于棱鏡陣列相機的棱鏡的另一實施例。
圖8說明折疊光學圖像捕捉過程的實施例。
具體實施方式
I.引言
本文所揭示的實施方案提供用于使用具有折疊光學系統的陣列相機來產生具有寬廣視場的圖像的系統、方法和設備,所述圖像基本上不含視差及傾斜偽影。本發明的各方面涉及具有寬廣視場(例如,大約180度)的陣列相機。利用棱鏡替換鏡面同時解決上文所提到的兩個問題——相機看到中央鏡之外,及每一相機的有限FOV。舉例而言,歸因于全內反射的效應,廣泛范圍的棱鏡設計相機并不看到棱鏡的邊緣或頂點以上。這就非常有效地解決了第一個問題。此外,相機獲得更寬的FOV。在設計的一個類別中,這與色像差的引入有關。所述棱鏡陣列相機設計的另一實施例完全沒有像差。利用較高折射率玻璃及其它材料,個別相機的視場不受限制,且仍然如同具有“自由鏡頭”。在所述棱鏡陣列相機設計的在另一個實施例中,將負透鏡添加至所述棱鏡可額外增大所述個別相機的FOV,高達90度,從而使180度總FOV成為可能。
所述陣列中的每一傳感器使用對應的中心棱鏡“看到”所述圖像場景的一部分,且因此每一個別傳感器/鏡對僅表示總陣列相機的子孔徑。完整陣列相機具有基于所有個別孔徑光線的總和(即,基于將子孔徑所產生的圖像拼接在一起)而產生的合成孔徑。
在以下描述中,給出具體細節以提供對實例的透徹理解。然而,可以在無這些具體細節的情況下實踐所述實例。
II.折疊光學陣列相機的概述
現參看圖1A及1B,現將更詳細地描述適合與本文中所描述的自動聚焦系統及技術一起使用的折疊光學多傳感器組合件100A、100B的實例。圖1A說明折疊光學系統陣列100A的實例的橫截面側視圖,所述陣列包括圖像傳感器105、125,次級光重新引導反射表面110、135,透鏡組合件115、130,及中心反射表面120,其均可安裝至襯底150。圖1B說明折疊光學傳感器陣列的實施例的橫截面側視圖,其包括針對光重新引導初級表面122、124的中心棱鏡141、146,以及形成次級光重新引導表面135、110的額外棱鏡。
參考圖1A,在某些實施例中,圖像傳感器105、125可包括電荷耦合裝置(CCD)、互補金屬氧化物半導體傳感器(CMOS)、或響應于所接收到的圖像而接收光且產生圖像數據的任何其它圖像感測裝置。圖像傳感器105、125可能夠獲得靜態相片的圖像數據,且還可提供關于所捕捉的視頻流中的運動的信息。傳感器105及125可為個別傳感器或可表示傳感器陣列,例如3x1陣列。然而,如所屬領域的技術人員將理解,所揭示的實施方案中可使用任何合適的傳感器陣列。
傳感器105、125可安裝在襯底150上,如圖1A中所展示。在一些實施例中,所有傳感器可通過安裝至平坦襯底150而處于一個平面上。襯底150可為任何合適的基本上平坦的材料。中心反射表面120及透鏡組合件115、130也可安裝在襯底150上。可能有多個用于安裝(一或多個)傳感器陣列、多個透鏡組合件以及多個初級及次級反射或折射表面的配置。
仍參看圖1A,在一些實施例中,中心反射表面120可用于將來自目標圖像場景的光朝向傳感器105、125重新引導。中心反射表面120可為一個鏡面或多個鏡面,且可為平面的或根據需要整形,以將入射光恰當地重新引導至圖像傳感器105、125。舉例來說,在一些實施例中,中心反射性表面120可為大小及形狀經設定以將入射光光線反射穿過透鏡組合件115、130分別到達傳感器105、125的鏡面。中心反射表面120可將包含目標圖像的光分割成多個部分,且在不同傳感器處引導每一部分。舉例來說,中心反射表面120(也稱作初級光重新引導表面,因為其它實施例可能實施折射棱鏡而非反射表面)的第一側122可將對應于第一視場(FOV)140的光的一部分朝左側傳感器105發送,而第二側124將對應于第二視場145的光的第二部分朝右側傳感器125發送。應了解,圖像傳感器的視場140、145一起至少覆蓋所述目標圖像。
在接收傳感器各自為多個傳感器的陣列的一些實施例中,中心反射表面可由相對于彼此放置成一角度的多個反射表面組成,以便朝向所述傳感器中的每一者發送目標圖像場景的不同部分。所述陣列中的每一傳感器可具有大體上不同的視場,且在一些實施例中,所述視場可重疊。當設計透鏡系統時,中心反射表面的某些實施例可具有用以增大自由度的復雜非平面表面。另外,盡管將中心表面論述為反射表面,但在其它實施例中,中心表面可能為折射性的。舉例來說,中心表面可為配置有多個小面的棱鏡,其中每一小面將包含所述場景的光的一部分朝向所述傳感器中的一者引導。
在從中心反射表面120反射回來之后,所述光可如圖1A中所說明傳播穿過透鏡組合件115、130。可在中心反射性表面120與傳感器105、125及反射表面110、135之間提供一或多個透鏡組合件115、130。透鏡組合件115、130可用于使被引向每一傳感器的目標圖像的部分聚焦。
在一些實施例中,每一透鏡組合件可包含一或多個透鏡,以及用于使所述透鏡在多個不同透鏡位置當中移動穿過殼體的致動器。所述致動器可為音圈電機(VCM)、微電子機械系統(MEMS)或形狀記憶合金(SMA)。所述透鏡組合件可進一步包括用于控制致動器的透鏡驅動器。
可通過改變每一相機的透鏡115、130與對應的傳感器105、125之間的焦距來實施傳統自動聚焦技術。在一些實施例中,這可通過移動鏡筒來完成。其它實施例可通過上下移動移動中央鏡或通過調整所述鏡面相對于透鏡組合件的角度來調整焦點。某些實施例可通過在每一傳感器上方移動側鏡來調整焦點。此類實施例可允許組合件個別地調整每一傳感器的焦點。另外,對于一些實施例,有可能(例如)通過將透鏡(如液體透鏡)放置在整個組合件上方來一次改變整個組合件的焦點。在某些實施方案中,可使用計算攝影術來改變相機陣列的焦點。
如圖1A中所說明,可在中央鏡120周圍提供與傳感器相對的多個側反射表面,例如反射表面110及135。在穿過透鏡組合件之后,側反射表面110、135(也稱作次級光重新引導表面,因為其它實施例可能實施折射棱鏡而非反射表面)可將光(在如圖1A中所描繪的方向上“向下”)反射到平面傳感器105、125上。如所描繪,傳感器105可位于反射表面110下面,且傳感器125可位于反射表面135下面。然而,在其它實施例中,傳感器可在側反射表面上方,且所述側反射表面可經配置以向上反射光。可能有側反射表面及傳感器的其它合適配置,其中來自每一透鏡組合件的光被重新引導朝向傳感器。某些實施例可能夠實現側反射表面110、135的移動來改變相關聯的傳感器的焦點或視場。
可利用中央鏡120的與所述傳感器相關聯的表面來將每一傳感器的視場140、145轉向到物空間中。可采用機械方法來傾斜鏡面及/或移動陣列中的棱鏡,使得每一相機的視場可轉向至物場上的不同位置。這可(例如)用來實施高動態范圍相機,以增加相機系統的分辨率,或實施全光相機系統。每一傳感器(或每一3x1陣列)的視場可投射至物空間中,且每一傳感器可根據所述傳感器的視場捕捉包含目標場景的一部分的局部圖像。在一些實施例中,相對的傳感器陣列105、125的視場140、145可重疊某一量150。為了減少重疊150且形成單個圖像,如下文所描述的拼接過程可用于組合來自兩個相對傳感器陣列105、125的圖像。拼接過程的某些實施例可采用重疊150來識別在將局部圖像拼接在一起的過程中的常見特征。在將重疊圖像拼接在一起之后,可將經拼接的圖像裁剪到所要的高寬比,例如4:3或1:1,以形成最終圖像。
圖1B說明折疊光學陣列相機100B的另一實施例的橫截面側視圖。如圖1B中所展示,傳感器組合件100B包括一對圖像傳感器105、125,每一者安裝至襯底150。傳感器透鏡組合件100B還包含分別對應于圖像傳感器105、125的透鏡組合件115、130,各自分別包括次級光重新引導表面110、135的光學組件116、117(其經定位分別鄰近圖像傳感器105、125的玻璃蓋片106、126)。在一些實施例中,玻璃蓋片106、126實體地耦接至傳感器105、125且至光學組件116、117。一些實施例包括定位在玻璃蓋片106、126與光學組件116、117之間的透鏡127、129。在一些實施例中,玻璃蓋片106、126的一側實體地耦接至傳感器105、125,另一側實體地耦接至透鏡127、129。在一些實施例中,此類透鏡127、129進一步實體地耦接至光學組件116、117。舉例來說,在一些實施例中,圖像傳感器105、125、玻璃蓋片106、117及透鏡127、129形成堆疊,其實體地耦接在一起且耦接至光學組件116、117以供將其對齊狀態固定為已知布置。一些實施例并不包括透鏡127、129。折射棱鏡141的初級光重新引導表面122將來自目標圖像場景的光的一部分沿著光軸121引導通過透鏡組合件115,重新引導離開次級光重新引導表面110,穿過玻璃蓋片106,且入射至傳感器105上。折射棱鏡146的初級光重新引導表面124將從目標圖像場景所接收的光的一部分沿著光軸123引導通過透鏡組合件130。光經重新引導離開次級光重新引導表面135,穿過玻璃蓋片126,且入射于傳感器125上。折疊光學陣列相機100B說明實施折射棱鏡而非圖1A的陣列相機100A的反射表面的一個陣列相機實施例。將折射棱鏡141、146中的每一者提供于襯底150中的孔徑中,使得初級光引導表面122、124處于襯底所形成的平面下方,且接收表示目標圖像場景的光。
傳感器105、125可如圖1B中所展示安裝在襯底150上。在一些實施例中,所有傳感器可通過安裝至平坦襯底150而處于一個平面上。襯底150可為任何合適的基本上平坦的材料。襯底150可包含如上文所描述的允許入射光穿過襯底150至初級光重新引導表面122、124的孔徑。可能有多個用于將(一或多個)傳感器陣列以及所說明的其它相機組件安裝到襯底150的配置。
仍參看圖1B,初級光重新引導表面122、124可為如所說明的棱鏡表面,或可為一個鏡面或多個鏡面,且可如所需要為平坦的或經定形的,以適當地將入射光重新引導至圖像傳感器105、125。在一些實施例中,初級光重新引導表面122、124可如圖1A中所說明形成為中央鏡角錐或棱鏡。所述中央鏡角錐、棱鏡或其它光學組件可將表示目標圖像的光分割為多個部分且將每一部分引導于不同傳感器處。舉例來說,初級光重新引導表面122可朝向左側傳感器105發送對應于第一視場的光的一部分,同時初級光重新引導表面124朝向右側傳感器125發送對應于第二視場的光的第二部分。在接收傳感器各自為多個傳感器的陣列的一些實施例中,光重新引導表面可由相對于彼此放置成一角度的多個反射表面組成,以便朝向所述傳感器中的每一者發送目標圖像場景的不同部分。應了解,相機的視場一起覆蓋至少目標圖像,且可在捕捉之后對齊和拼接在一起,從而形成由所述陣列的合成孔徑捕捉的最終圖像。
所述陣列中的每一傳感器可具有大體上不同的視場,且在一些實施例中,所述視場可重疊。如下文更詳細地描述,可預先確定各個初級光重新引導表面122、124、透鏡組合件115、130及傳感器105、125之間的空間關系以減少或消除在不同視場之間發生的視差及傾斜偽影。
如圖1A及1B所說明,每一陣列相機具有總高度H。在一些實施例中,總高度H可大約為4.5mm或更小。在其它實施例中,總高度H可大約為4.0mm或更小。盡管未說明,但可在具有大約為4.5mm或更小或大約為4.0mm或更小的對應內部高度的殼體中提供整個陣列相機100A、100B。
基于傳感器及光重新引導表面的相對定位,此類陣列相機100A、100B的一些配置可能遭受視差及傾斜偽影,從而因所述陣列的不同相機看到的相同對象的不同視圖之間的視差及傾斜而呈現關于品質降低的挑戰。視差及傾斜使由每一相機所捕捉的圖像無法完全無縫拼接成沒有偽影的最終圖像。視深度(例如,從透鏡到對象的距離)而定,來自一個相機的圖像可能相對于來自另一相機的重疊圖像在位置及角度方面有偏移。當圖像拼接或融合在一起時,所得視差及傾斜可導致對應于重疊視場的圖像區域中的“雙圖像”鬼影。即使所述陣列經結構化以使得傳感器視場中不存在重疊,然而當例如線條及邊緣等不連續特征橫越傳感器視場之間的邊界時,視差在圖像中產生此類特性。
如本文所使用,術語“相機”是指圖像傳感器、透鏡系統及數個對應的光重新引導表面,例如初級光重新引導表面124、透鏡組合件130、次級光重新引導表面135及傳感器125,如圖1中所說明。折疊光學多傳感器陣列(稱作“陣列”或“陣列相機”)可在各種配置中包括多個此類相機。陣列配置的一些實施例揭示于2013年3月15日申請且標題為“使用折疊光學系統的多相機系統(MULTI-CAMERA SYSTEM USING FOLDED OPTICS)”的美國申請公開案第2014/0111650號中,所述公開案的揭示內容特此以引用的方式并入。可能有其它將受益于本文所描述的用于減少或消除視差偽影的幾何結構關系的陣列相機配置。
圖2描繪裝置200的高級框圖,其具有包含連接到一或多個相機215a至215n的圖像處理器220的一組組件。圖像處理器220還與工作存儲器205、存儲器230及裝置處理器250通信,所述工作存儲器205、存儲器230及裝置處理器250又與存儲裝置210及電子顯示器225通信。
裝置200可為蜂窩電話、數碼相機、平板計算機、個人數字助理,或類似者。存在許多便攜式計算裝置,其中例如本文所描述的降低厚度的成像系統將提供優點。裝置200還可為靜止計算裝置或其中較薄成像系統將有利的任何裝置。在裝置200上有多個應用程序可供用戶使用。這些應用程序可包含傳統攝影及視頻應用程序、高動態范圍成像、全景照片及視頻,或例如3D圖像或3D視頻等立體成像。
圖像捕捉裝置200包括用于捕捉外部圖像的相機215a至215n。相機215a至215n可各自包含傳感器、透鏡組合件以及用于將目標圖像的一部分重新引導至每一傳感器的初級及次級反射或折射表面,如上文相對于圖1所論述。一般來說,可使用N個相機215a至215n,其中N≥2。因此,目標圖像可分割成N個部分,其中N個相機的每一傳感器根據所述傳感器的視場來捕捉目標圖像的一個部分。應理解,相機215a至215n可包含適合實施本文所描述的折疊光學成像裝置的任何數目的相機。可增加傳感器的數目,以實現系統的較低z高度(如下文相對于圖4較詳細論述)或符合其它目的的需要(例如具有類似于全光相機的視場的重疊視場,這可實現在后處理之后調整所述圖像的焦點的能力)。其它實施例可具有適合于高動態范圍相機的視場重疊配置,其實現捕捉兩個同時存在的圖像且接著將其合并在一起的能力。相機215a至215n可耦接至圖像處理器220以將所捕捉的圖像發送至裝置處理器250。
圖像處理器220可經配置以對包括目標圖像的N個部分的所接收的圖像數據執行各種處理操作以便輸出高品質拼接圖像,如將在下文更詳細地描述。圖像處理器220可為通用處理單元或專門設計用于成像應用的處理器。圖像處理操作的實例包含裁剪、按比例縮放(例如到不同分辨率)、圖像拼接、圖像格式轉換、色彩內插、色彩處理、圖像濾波(例如空間圖像濾波)、透鏡偽影或疵點校正等。在一些實施例中,圖像處理器220可包含多個處理器。某些實施例可具有專用于每一圖像傳感器的處理器。圖像處理器220可為一或多個專用圖像信號處理器(ISP)或處理器的軟件實施方案。
如所展示,圖像處理器220連接至存儲器230及工作存儲器205。在所說明的實施例中,存儲器230存儲捕捉控制模塊235、圖像拼接模塊240及操作系統245。這些模塊包括配置裝置處理器250的圖像處理器220以執行各種圖像處理及裝置管理任務的指令。工作存儲器205可由圖像處理器220用以存儲存儲器230的模塊中所含有的處理器指令的工作組。或者,工作存儲器205也可由圖像處理器220用以存儲在裝置200的操作期間所創建的動態數據。
如上所提及,圖像處理器220由存儲在存儲器中的若干模塊來配置。捕捉控制模塊235可包括配置圖像處理器220以調整相機215a至215n的聚焦位置的指令。控制模塊235可進一步包括控制裝置200的總體圖像捕捉功能的指令。舉例來說,捕捉控制模塊235可包含調用子例程以配置圖像處理器220來使用相機215a至215n捕捉目標圖像場景的原始圖像數據的指令。捕捉控制模塊235可接著調用圖像拼接模塊240以對由相機215a至215n捕捉到的N個局部圖像執行拼接技術,且將經拼接及裁剪的目標圖像輸出至成像處理器220。捕捉控制模塊235也可調用圖像拼接模塊240以對原始圖像數據執行拼接操作,以便輸出待捕捉的場景的預覽圖像且按特定時間間隔或在原始圖像數據中的場景改變時更新預覽圖像。
圖像拼接模塊240可包含配置圖像處理器220以對所捕捉的圖像數據執行拼接及裁剪技術的指令。舉例來說,N個傳感器215a至215n中的每一者可根據每一傳感器的視場來捕捉包含目標圖像的一部分的局部圖像。所述視場可共享重疊區域,如上文及下文所描述。為了輸出單個目標圖像,圖像拼接模塊240可對圖像處理器220進行配置以組合多個N個局部圖像來產生高分辨率目標圖像。目標圖像的產生可通過已知圖像拼接技術而發生。美國專利申請案第11/623,050號中可發現圖像拼接的實例,該申請案以全文引用的方式并入本文中。
舉例來說,圖像拼接模塊240可包括用以將沿著N個局部圖像的邊緣的重疊區域進行比較以得出匹配特征以便確定所述N個局部圖像相對于彼此的旋轉和對齊的指令。歸因于每一傳感器的視場的局部圖像及/或形狀的旋轉,組合的圖像可形成不規則形狀。因此,在將N個部分圖像對齊且組合之后,圖像拼接模塊240可調用子例程,所述子例程對圖像處理器220進行配置以將組合的圖像裁剪至所要形狀及高寬比,例如4:3的矩形或1:1的正方形。可將經裁剪的圖像發送至裝置處理器250,以用于在顯示器225上顯示,或用于保存在存儲裝置210中。
操作系統模塊245對圖像處理器220進行配置以管理裝置200的工作存儲器205及處理資源。舉例來說,操作系統模塊245可包括用以管理硬件資源(例如相機215a至215n)的裝置驅動器。因此,在一些實施例中,上文所論述的圖像處理模塊中所含有的指令可不與這些硬件資源直接交互,而是通過位于操作系統組件270中的標準子例程或API交互。操作系統245內的指令可接著與這些硬件組件直接交互。操作系統模塊245可進一步對圖像處理器220進行配置以與裝置處理器250共享信息。
裝置處理器250可經配置以控制顯示器225來向用戶顯示所捕捉的圖像或所捕捉的圖像的預覽。顯示器225可在成像裝置200外部或可為成像裝置200的部分。顯示器225還可經配置以提供顯示預覽圖像以供在捕捉圖像之前使用的視圖查找器,或可經配置以顯示存儲在存儲器中或最近由用戶捕捉到的所捕捉圖像。顯示器225可包含LCD或LED屏幕,且可實施觸敏式技術。
裝置處理器250可將數據寫入至存儲模塊210,例如表示所捕捉圖像的數據。雖然存儲模塊210以圖形方式表示為傳統磁盤裝置,但所屬領域的技術人員應理解,可將存儲模塊210配置為任何存儲媒體裝置。舉例來說,存儲模塊210可包含磁盤驅動器,例如,軟盤驅動器、硬盤驅動器、光盤驅動器或磁光盤驅動器,或固態存儲器,例如閃存、RAM、ROM及/或EEPROM。存儲模塊210也可包含多個存儲器單元,且存儲器單元中的任一者可經配置以處于圖像捕捉裝置200內,或可在圖像捕捉裝置200的外部。舉例來說,存儲模塊210可包括含有存儲在圖像捕捉裝置200內的系統程序指令的ROM存儲器。存儲模塊210還可包括經配置以存儲所捕捉圖像的存儲卡或高速存儲器,其可從相機移除。
盡管圖2描繪具有單獨組件以包括處理器、成像傳感器及存儲器的裝置,但所屬領域的技術人員應認識到,這些單獨組件可通過多種方式組合以實現特定的設計目標。舉例來說,在替代實施例中,存儲器組件可與處理器組件組合以節省成本且改進性能。在一些實施例中,裝置可包括可執行參考裝置處理器250及圖像處理器220所描述的功能的單個處理器。
另外,盡管圖2說明兩個存儲器組件(包括包含若干模塊的存儲器組件230以及包含工作存儲器的單獨存儲器205),但所屬領域的技術人員應認識到利用不同存儲器架構的若干實施例。舉例來說,一種設計可利用ROM或靜態RAM存儲器來存儲實施存儲器230中所含有的模塊的處理器指令。處理器指令可加載到RAM中以便于由圖像處理器220執行。舉例來說,工作存儲器205可包含RAM存儲器,其具有在由圖像處理器220執行之前被加載到工作存儲器205中的指令。
III.無視差及傾斜偽影的折疊光學陣列相機的概述
圖3A及3B說明因根據下文所界定的預先確定的空間關系來布置各種組件而無視差及傾斜偽影的陣列相機的實施例。如通過圖3A及3B所說明,可基于預先界定的空間關系配置兩個鏡面表面330、335及兩個對應的傳感器311A、311B以避免導致所捕捉圖像中的視差及傾斜偽影。所述陣列的傳感器及其對應的透鏡稱為“相機”,且陣列中的所有相機的聯動稱為“虛擬相機”。雖未說明,但每一相機可具有如上文所描述的次級光重新引導表面,以便將光重新引導朝向未定位在所說明的相對于相機的光軸而成的角度處的傳感器。舉例來說,在一些實施例中,所有傳感器可定位在公共平面中。在所說明的實施例中,虛擬相機320包括虛擬傳感器321及與所述虛擬傳感器相關聯的虛擬透鏡322。如應理解,虛擬相機320經描繪以展示對應于通過拼接實體傳感器311A、311B所捕捉的圖像而產生的整個陣列300的合成孔徑(視場340)的虛擬傳感器321及虛擬透鏡322,且所述虛擬相機并非實體地存在于所述陣列的實際建構中。
每一相機310A、310B對著中央鏡棱鏡350的頂點A,每一相機310A、310B的光軸315A、315B穿過頂點A。與相機310A、310B中的每一者相關聯的透鏡312A、312B的透鏡中心處于與所述頂點距離相同之處,且每一相機310A、310B看到虛擬相機320的視場340的一半。每一相機310A、310B的光軸315A、315B相對于縱軸325的角度可為由其對應的鏡面330、335所形成的平面相對于縱軸325的角度的兩倍。在所說明的實施例中,縱軸325指示陣列300的垂直對稱軸,且還是所述虛擬光軸(例如,由虛擬傳感器321及虛擬透鏡322所表示的虛擬相機320的光軸)。
如所說明,由鏡面表面330、335形成的平面相交在沿著所述陣列的虛擬光軸325的一公共點處,所述公共點稱為頂點且在圖中標記為A。相機310A、310B可經定位以使得每一相機的光軸315A、315B與頂點A相交。此外,每一相機310A、310B可經定位以使得形成于相機的光軸315A、315B與虛擬光軸325之間的角(標記為角2α)是形成于對應的鏡面表面330、335與虛擬光軸325之間的角(標記為角α)的兩倍。然而,對于陣列中的所有相機,這些角并不用必須相同。對于陣列中的所有相機,頂點A與投影中心313B(位于對應于傳感器311B的透鏡312B內)之間的距離D可相同或基本上相同。陣列的所有相機310A、310B以虛擬方式合并成(解讀為“充當”)一個單個的虛擬相機320,其沿著陣列300的虛擬光軸325向上看。以此方式,每一個別相機/透鏡/鏡面組合僅表示總陣列300的子孔徑。虛擬相機320具有由所有個別孔徑光線的總和組成的合成孔徑。
圖3C說明上述針對陣列300中的一個相機310B的設計約束的實例。通過對來自陣列300中的所有相機310A、310B的圖像進行拼接所形成的虛擬相機320的視場340可基于所述系統的機械參數的優化。然而,可基于假設無限小(點大)的個別相機310B來獲得粗略的估計值。虛擬相機320最大的可能的視場(FOV)與圖3C中的角相關,其中:
FOV=2β
β=90-α
FOV=180-2α
虛擬相機320“看到”的超出角度β的光線可被真實相機310B的物理結構阻擋。在陣列相機的一些實施例中,FOV可能更小。
另外,在一些實施例中,所述陣列相機合乎需要地較薄(例如,高度為4mm或更小),這將角α限制至小于45°且大于某一值。其它實務要求可能使α>30°。在各種實施例中,焦距及角α并不對于所有相機都必須相同。
圖4說明設計參數的實例及針對入射在對應于一個傳感器311B的鏡面335及圖3A至3C的陣列相機300的鏡面335上的各種角度的光的實例光線軌跡,其可得到FOV=60°(大約)。然而,這是實例而非限制,且實際上可能有更寬的角度。假設一理想透鏡312B(其具有針對真實透鏡所預期的類似結果),相機310B的焦距大約為5mm,孔徑為2.5mm,從A至透鏡312B投影中心313B的距離大約為10.9mm,A從基座400起算的高度H大約為4mm(盡管所述高度H可基于所述陣列的整體厚度或高度而變化),透鏡投影中心313B從基座400起算的高度大約為2mm,且α=40°。可依靠計算相關光照確定FOV=60°,且可利用鏡面335大小及從透鏡投影中心313B至鏡面335的距離對其進行限制。大約4mm的鏡面高度H限制可能因為陣列相機的外觀尺寸局限性而無法提高,而至鏡面335的距離可減小,但代價是實體相機阻擋一些光線。如所說明,比起將傳感器311B常規地定位為以光軸315B為中心的情況,可將傳感器311B定位為偏離光軸315B中心,以便搜集來自所述鏡面所提供的視場更多部分的光。在其它實施例中,傳感器可定位在不同位置且相對于所述光軸成不同角度,且次級光重定向表面可經包括以將光重新引導至傳感器中。舉例來說,可將中央鏡角錐的基座400定位在襯底上(或插入其中),且可將傳感器311B(及陣列300中的所有其它傳感器)定位在襯底上(或插入其中)。
IV.棱鏡陣列相機的概述
圖5A至5C說明用于棱鏡陣列相機的棱鏡的實施例。圖5A說明棱鏡700的剖示側視圖,其具有經定位正交于陣列相機垂直對稱軸750(也稱為虛擬相機V的虛擬光軸)的頂部表面710(也稱為第一表面),相對于垂直對稱軸750成角α定位的棱鏡700的下部內表面720(也稱為第二表面),及經定位正交于頂部表面710的下部外表面730(也稱為第三表面)。第一表面710可經定位以使得表示目標圖像場景的至少一部分的光通過第一表面710進入棱鏡700。第二表面720可經定位相對于虛擬光軸750成角度2,以便將從第一表面710接收的光朝向第三表面730重新引導,其中角度2具有角度值α。第三表面730可朝向對應的相機C,使得穿過棱鏡700的光離開第三表面730且進入相機C。
V表示虛擬相機,是基于成像系統的折疊光學系統的相機C的影像。A表示棱鏡700的沿著垂直對稱軸750定位的“頂點”,所述垂直對稱軸也是虛擬相機V的光軸。C表示位于棱鏡700的外部沿著相機光軸745的任何地方的相機,其中相機光軸745經定位相對于棱鏡700的第二表面720成角度α且相對于虛擬光軸750成角度1,其中角度1具有角度值2α。雖然出于簡單及清晰的目的而繪示為一點,但相機C可包括多個組件,例如,如圖1A中所說明的透鏡組合件130、次級光重新引導表面135及傳感器125。在一些實例中,棱鏡700可用作圖1B中所說明的折射棱鏡141、146。
在一些實施例中,具有折射率n=2的材料可用于棱鏡700。在其它實施例中,具有折射率n≥1.5的材料可用于棱鏡700。舉例來說,高指數玻璃可為用于建構棱鏡700的合適材料。所述棱鏡可由所述合適的材料刻制、切割或模制而成。在一些實施例中,棱鏡700的第二表面720可鍍有反射材料(例如鋁金屬或另一金屬)來增強所述表面的反射特性。
在一些實例中,當n=2時,角度α=30°。歸因于具有折射率n=2的材料的全內反射特性,通過右側表面730進入所述棱鏡的以大于α=30°的角度到達頂部表面710的任何光線將從頂部表面710反射回至所述棱鏡。來自所述相機的略微高于表示相機光軸的虛線的光線以比全內反射的角度大的角度到達表面710且不再出來(如利用實例光線735所說明)。因此,相機看不到棱鏡的左上角A上方的事物。沒有來自圖像場景的光從所述位置/方向進入所述相機孔徑。雖然在本文提供的實例中可能將光線說明及論述為“來自”所述相機以說明所述相機的視場,但應了解,所述光線實際上可能產生于目標圖像場景中且在進入相機C之前穿過所述棱鏡。
大體上水平的光線(如利用實例光線740所說明)以全內反射角度2α=60°到達第二表面720,且水平地離開所述棱鏡。在其上方的從C出來的其它光線以不同角度(直至垂直)離開所述棱鏡。因此,這個相機覆蓋大約90°的FOV,且此類相機的陣列將覆蓋大約180°的FOV。
圖5B說明單獨地展示的棱鏡700的透視圖及例如可用于四相機棱鏡陣列相機中的四個棱鏡的組合件780的透視圖。所說明的配置提供為棱鏡組合件的實例,且在其它實施例中,可在所述組合件中使用兩個、三個、五個或更多個棱鏡700。如所展示,每一個別棱鏡的頂點A可經定位大體上鄰近于每一其它棱鏡的頂點,且頂部表面710可為共面。每一棱鏡700的第三表面730形成組合件780的外部側面,使得在所說明的實例中具有四個棱鏡,通過頂部表面710進入組合件780的光在四個方向上被重新引導朝外穿過第三表面730。雖然組合件780看起來是實心的,但所述棱鏡的放置成一角度的第二表面720在棱鏡組合件780中形成空的角錐形凹部,該凹部的一個部分被繪示為與棱鏡700相關聯的負空間760。在各種實施例中,所述凹部可為空的或(例如)利用反射背襯或反射固體填實。如本文所使用,“反射背襯”可指代一或多種材料,包括作為背襯或涂層應用于棱鏡的表面的反射材料。舉例來說,通過將所述材料附著、噴涂、涂敷、經真空沉積而沈積或以其他方式應用于所述棱鏡,可在所述棱鏡的第二表面720上提供一薄層金屬、膜或其它反射材料,使得所述材料的反射側鄰近于第二表面720的外部側面(即,所述棱鏡的外部)。
圖5C說明使用棱鏡700的棱鏡陣列相機可能面臨的潛在問題。為說明所述問題,設想由BK7玻璃制成的棱鏡的實例。BK7玻璃的折射率n=1.5致使α=24°。一個潛在問題是,在許多情況下,一些光線(參看實例光線770)被棱鏡自身剪除,因此FOV限于約60°,如圖7C中所說明。這仍可產生具有約120°的FOV的陣列相機。另一潛在問題是,棱鏡具色散性,且因此由“通過”棱鏡700看到圖像場景的相機C所捕捉的圖像可能具有色像差。色像差可在視覺上呈現為彩色及/或模糊的偽影,例如歸因于色散而在色彩化方向上模糊。
圖6A至6C說明用于棱鏡陣列相機的棱鏡的另一實施例,其解決圖5A至5C的相機的FOV限制及色像差問題。棱鏡800(也稱為光學元件)因其對稱性而可進行反射及折射兩者,通過具有形成為等腰三角形的橫截面區域來彌補圖5A至5C的棱鏡的上述問題,其中第一表面810與第三表面830的長度大體上相同。來自目標圖像場景的至少一部分的光通過第一表面(所述光可在此處發生折射)進入光學元件,經重新引導離開第二表面而朝向第三表面,且通過第三表面離開光學元件以朝向相機C傳播。
形成于第一表面810與第二表面820之間的角α的角度值及形成于第二表面820與第三表面830之間的角的角度值大體上相同,且可等于90至α。形成于第二表面820與垂直對稱軸850(也是虛擬光軸)之間的角2的角度值可等于形成于第二表面820與相機光軸845之間的角α的角度值。因此,由第二表面820形成的平面將形成于虛擬光軸850與相機光軸845之間的角1平分,且角1具有角2的角度值兩倍的角度值。形成于第一表面810與第三表面830之間的角3具有角1的角度值兩倍的角度值。垂直對稱軸850及相機光軸845可在棱鏡800的頂點A處相交。在一些實例中,棱鏡800可用作圖1B中所說明的折射棱鏡141、146。
圖6A說明棱鏡800的剖示側視圖,其具有經定位正交于陣列相機垂直對稱軸850的第一(或頂部)表面810,經定位相對于所述垂直對稱軸成角度α的棱鏡800第二(或下部內)表面820,及經定位相對于第一表面810成角度2α的第三(或下部外)表面830。在一些實施例中,第二表面820可具備反射背襯,或可將反射材料定位成鄰近于第二表面820。第三表面830可經定位朝向對應的相機以將由棱鏡800接收的光的部分傳送至所述相機。所述相機(圖6A中未展示)可位于相機光軸845上在棱鏡800外部的任何地方。
根據上文所描述的無視差及傾斜設計的原理,相機光軸845相對于所述垂直對稱軸放置成角度2α且穿過所述棱鏡的頂點A。虛擬相機的投影中心可沿著垂直對稱軸850定位。雖然繪示為剖示側視圖,但應了解,由第一表面、第二表面及第三表面中的每一者所形成的平面遵循用于減少或消除實施所述棱鏡的棱鏡陣列相機中所捕捉到的圖像中的視差及傾斜偽影的幾何結構關系。
此類棱鏡不具有色散,且因此并不引起色像差。圖6B說明穿過棱鏡800的實例光線835。圖6B中說明相機C及虛擬相機V。
如從虛擬相機V的角度所見,棱鏡800等效于具有平行頂部及底部表面的厚塊玻璃,其中歸因于棱鏡800的折疊光學系統,因此V是真實相機C的鏡像。因為穿過具有平行表面的玻璃板的光不存在色彩問題,所以棱鏡800也在所捕捉的圖像中體現無色像差。如所說明,來自C的水平光線835等效于來自虛擬相機V的光線840。如利用光線段841所展示的光線在平行于其從V進入的方向(表示為光線段840)離開棱鏡。
此外,沒有剪除光線:只要光線進入棱鏡,其也可離開。因此,相機的FOV得以保留。每一者具有FOV=60°的相機陣列將覆蓋120°。如果V觸及所述板且α為全內反射的角度,那么陣列相機的FOV有可能高達180°。
圖6C說明單獨地展示的棱鏡800的透視圖及例如可用于四相機棱鏡陣列相機中的四個棱鏡800的組合件880的透視圖。所說明的配置提供為棱鏡組合件的實例,且在其它實施例中,可在所述組合件中使用兩個、三個、五個或更多個棱鏡。如所展示,每一個別棱鏡800的頂點A可經定位大體上鄰近于每一其它棱鏡的頂點,且所述頂部(第一)表面可共面。每一棱鏡800的第三表面830形成組合件880的外部側面,使得在所說明的實例中具有四個棱鏡,通過頂部表面810進入組合件880的光在四個方向上被重新引導朝外穿過第三表面830。雖然組合件880看起來是實心的,但所述棱鏡的放置成一角度的下部內(第二)表面820在棱鏡組合件880中形成空的角錐形凹部,該凹部的一部分被繪示為與棱鏡800相關聯的負空間860。在各種實施例中,所述凹部可為空的或(例如)利用反射背襯或反射固體填實。
組合件880中的每一棱鏡可經制造而具有根據上文所界定的幾何結構關系定位的小面以產生無視差及傾斜的圖像。下部外(第三)表面的角度可使組合件880看起來具有斜置側。
圖7A至7C說明用于具有平凹面透鏡940(也稱為負透鏡)的棱鏡陣列相機的棱鏡900的另一實施例。將透鏡940并入上文相對于圖6A至6C所描述的等腰棱鏡設計中可進一步增大相機的FOV。
圖7A說明棱鏡900的剖示側視圖,其具有經定位正交于陣列相機垂直對稱軸950的第一表面910,經定位相對于垂直對稱軸950成角度α的棱鏡900的第二表面920,經定位相對于垂直對稱軸950成角度2α的相機光軸945,及經定位相對于第一表面910成角度2α的第三表面930。第三表面930可朝向對應的相機。所述相機(圖7A中未展示)可位于相機光軸945上在棱鏡900外部的任何地方。根據上文所描述的無視差及傾斜設計的原理,相機光軸945相對于所述垂直對稱軸放置成角度2α且穿過所述棱鏡的頂點A.虛擬相機的投影中心可沿著也穿過頂點A的垂直對稱軸950定位。在一些實例中,棱鏡900可用作圖1B中所說明的折射棱鏡141、146。
負透鏡940說明為形成于第三表面930中。在各種實施例中,負透鏡940可從棱鏡900刻制或切割或可利用棱鏡900模制或以其他方式形成。在其它實施例中,第三表面可為平面的,且所述負透鏡可(例如)利用粘合劑耦接至所述表面。刻制成棱鏡900的透鏡可能更適合與薄外觀尺寸的陣列相機一起使用。
這種透鏡940應視作總體光學設計的部分且與將用于使相機聚焦的透鏡組合件一起優化。此類透鏡940通過將朝向相機傳播的光線擴散開來而增大FOV。在一個實例中,所述透鏡表面可為以投影中心為中心的球面的部分。所有光線垂直進入且不發生折射。即使當光線在玻璃內部占有一小角度時,當所述光線通過透鏡940的平坦表面離開時,所述角度也會增大。當所述光線的角度接近全內反射時,所述出射角顯著地增大。
圖7B說明單獨地展示的棱鏡900的透視圖及例如可用于四相機棱鏡陣列相機中的四個棱鏡900的組合件980的透視圖。所說明的配置提供為棱鏡組合件的實例,且在其它實施例中,可在所述組合件中使用兩個、三個、五個或更多個棱鏡。如所展示,每一個別棱鏡的頂點A可經定位大體上鄰近于每一其它棱鏡的頂點,且所述頂部(第一)表面910可共面。每一棱鏡900的第三表面930形成組合件980的外部側面,使得在所說明的實例中具有四個棱鏡,通過頂部表面910進入組合件980的光在四個方向上被重新引導朝外穿過第三表面930。雖然組合件980看起來是實心的,但所述棱鏡的放置成一角度的下部內(第二)表面920在棱鏡組合件980中形成空的角錐形凹部,該凹部的一個部分被繪示為與棱鏡900相關聯的負空間960。在各種實施例中,所述凹部可為空的或(例如)利用第二表面920上的反射背襯或利用反射固體填實。第三表面930的角度可使組合件980看起來具有斜置側。第三表面930展示在側邊的負透鏡940。
圖7C從虛擬相機V的視角說明圖7A的概念的表示。圖7C展示光線935以角度90-α從虛擬相機V無彎曲地通過虛擬負透鏡970(對應于負透鏡940的鏡像)進入棱鏡900,且以全內反射的角度到達第一表面910。此光線935通過第一表面910大約水平地離開棱鏡900。同時,來自所述虛擬相機的垂直光線(未說明,所述垂直光線將沿著垂直對稱軸950傳播)垂直地離開。因此,如果相機具有90-α度全FOV(其中α為全內反射的角度),那么所述相機將覆蓋所述玻璃外部全部90°的視場。此外,兩個或更多個此類相機將覆蓋180°的FOV。四個此類相機將覆蓋180°的FOV,且具有比兩個此類相機更寬的正交覆蓋范圍。
如所說明,為了減少相機C與對應于額外棱鏡(例如,在組合件980中與棱鏡900一起布置的另一棱鏡)的相機所捕捉到的圖像之間的視差偽影,由第二表面920形成的平面將形成于虛擬光軸950與相機光軸945之間的角1平分,且角1具有角2的角度值的兩倍的角度值。形成于第一表面910與第三表面930之間的角3具有角1的角度值兩倍的角度值(2α)。組合件中的每一棱鏡及其對應的相機可根據這些降低視差設計原理加以定形及/或布置。雖然在圖5A至7C中出于簡單的目的而說明為點源,但應了解,相機C可包括多種組件,例如以下各者中的一或多者:圖像傳感器,在離開棱鏡的第三表面的光入射在傳感器上之前向其提供次級重新引導的鏡面或折射元件,及定位在所述圖像傳感器與鏡面或折射元件之間的透鏡組合件。
在一些實例中,可基于無視差設計原理來建構棱鏡陣列相機的上述實施例,所述設計原理將棱鏡的下部內表面定位在形成于對應相機的投影中心與虛擬相機的虛擬投影中心之間的線上且與之正交,使得所述下部內表面所形成的平面將虛擬光軸與相機光軸之間形成的一角平分。在這些實例中,所述陣列相機可能擺脫或可能沒有擺脫傾斜偽影。在其他實例中,所述棱鏡陣列相機的上述實施例可基于圖3A到4的無視差及傾斜設計原理。這個設計比圖5A到7C的設計更具限制性,但其可消除傾斜及視差兩者。
V.實例圖像捕捉過程的概述
圖8說明折疊光學圖像捕捉過程1000的實施例。過程1000開始于框1005,其中提供多個成像傳感器組合件。這個步驟包括上文相對于先前圖式所論述的傳感器陣列配置中的任一者。如上文相對于圖1A及1B所論述,傳感器組合件可包括傳感器、透鏡系統及經定位以將來自透鏡系統的光重新引導至傳感器上的反射表面。傳感器組合件或者可包括傳感器、透鏡系統及如上文所論述的折射棱鏡實例中的任一者。過程1000接著進展至框1010,其中將至少一個折射表面安裝成接近于所述多個圖像傳感器。舉例來說,這個步驟可包含將中心棱鏡組合件安裝在傳感器陣列的中心,其中所述中心棱鏡組合件包含至少一個與陣列中的每一傳感器相關聯的表面。在一些實施例中可提供次級鏡面或棱鏡,例如,定位在每一傳感器與相關聯的透鏡組合件之間用以降低所述陣列的總高度的一個次級鏡面或棱鏡。
過程1000接著轉到框1015,其中使包含目標場景的圖像的光折射通過至少一個折射表面朝向成像傳感器。舉例來說,可使所述光的一部分折射通過所述棱鏡組合件中的多個棱鏡中的每一者而朝向所述多個傳感器中的每一者中的對應一者。這個步驟可進一步包含將所述光傳送通過與每一傳感器相關聯的透鏡組合件,且還可包括使所述光反射離開第二表面到傳感器上,其中所述透鏡組合件定位在所述折射表面與所述反射表面之間。框1015可進一步包含使用所述透鏡組合件及/或通過移動反射或折射表面中的任一者來聚焦所述光。
過程1000可接著進展到框1020,其中傳感器捕捉目標圖像場景的多個圖像。舉例來說,每一傳感器可捕捉場景的對應于所述傳感器的視場的一部分的圖像。所述多個傳感器的視場一起至少覆蓋物空間中的所述目標圖像。歸因于用于將來自圖像場景的光朝向傳感器重新引導的折射棱鏡的特性,總視場可相對于未實施此類折射棱鏡的系統而增大,同時保持低剖面。
過程1000接著可轉至框1025,其中執行圖像拼接方法以從所述多個圖像生成單個圖像。在一些實施例中,圖2的圖像拼接模塊240可執行此步驟。這可包含已知圖像拼接技術。此外,視場中的任何重疊區域可產生所述多個圖像中的重疊,其可用于在拼接過程中對齊圖像。舉例來說,框1025可進一步包括識別鄰近圖像的重疊區域中的共同特征且使用所述共同特征來對齊圖像。在一些實施例中,歸因于所述折射棱鏡的表面之間的幾何結構關系,各種局部圖像之間在拼接之前可能不存在或基本上不存在視差或傾斜偽影。
接下來,過程1000轉至框1030,其中將經拼接圖像裁剪為指定高寬比,例如4:3或1:1。最后,過程在框1035處存儲經裁剪圖像之后結束。舉例來說,圖像可存儲在圖2的存儲裝置210中,或可存儲在圖2的工作存儲器205中以供作為目標場景的預覽圖像而顯示。
VI.實施系統及術語
本文所揭示的實施方案提供用于無視差及傾斜偽影的多個傳感器陣列相機的系統、方法及設備。所屬領域的技術人員將認識到,這些實施例可實施于硬件、軟件、固件或其任何組合中。
在一些實施例中,可在無線通信裝置中利用上文所論述的電路、過程及系統。無線通信裝置可為一種用于以無線方式與其它電子裝置通信的電子裝置。無線通信裝置的實例包含蜂窩電話、智能電話、個人數字助理(PDA)、電子閱讀器、游戲系統、音樂播放器、上網本、無線調制解調器、膝上型計算機、平板計算機裝置等。
無線通信裝置可包括:一或多個圖像傳感器;兩個或更多個圖像信號處理器;包括用于實施上文所論述的過程的指令或模塊的存儲器。裝置也可具有數據、從存儲器加載指令及/或數據的處理器、一或多個通信接口、一或多個輸入裝置、一或多個輸出裝置(例如,顯示裝置)及電源/接口。無線通信裝置可另外包括發射器及接收器。發射器及接收器可共同稱作收發器。收發器可耦接至一或多個天線以供發射及/或接收無線信號。
無線通信裝置可以無線方式連接至另一電子裝置(例如,基站)。無線通信裝置或者可被稱作移動裝置、移動臺、訂戶臺、用戶設備(UE)、遠程站、接入終端、移動終端、終端、用戶終端、訂戶單元等。無線通信裝置的實例包括膝上型或桌上型計算機、蜂窩式電話、智能電話、無線調制解調器、電子書閱讀器、平板裝置、游戲系統等。無線通信裝置可根據例如第三代合作伙伴計劃(3GPP)等一或多個業界標準來操作。因此,通用術語“無線通信裝置”可包括根據業界標準的不同命名法來描述的無線通信裝置(例如,接入終端、用戶設備(UE)、遠程終端等)。
可將本文中所描述的功能作為一或多個指令存儲在處理器可讀或計算機可讀媒體上。術語“計算機可讀媒體”是指可由計算機或處理器存取的任何可用媒體。借助于實例而非限制,此類媒體可包含RAM、ROM、EEPROM、閃存、CD-ROM或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝置,或任何其它可用于存儲呈指令或數據結構形式的所要程序代碼且可由計算機存取的媒體。如本文中所使用,磁盤及光盤包括壓縮光盤(CD)、激光光盤、光學光盤、數字多功能光盤(DVD)、軟盤及光盤,其中磁盤通常以磁性方式再現數據,而光盤利用激光以光學方式再現數據。應注意,計算機可讀媒體可為有形的及非暫時性的。術語“計算機程序產品”是指與可由計算裝置或處理器執行、處理或計算的代碼或指令(例如,“程序”)組合的計算裝置或處理器。如本文中所使用,術語“代碼”可指可由計算裝置或處理器執行的軟件、指令、代碼或數據。
本文所揭示的方法包含用于實現所描述的方法的一或多個步驟或動作。在不脫離權利要求書的范圍的情況下,所述方法步驟及/或動作可彼此互換。換句話說,除非正在描述的方法的適當操作需要步驟或動作的特定次序,否則在不脫離權利要求書的范圍的情況下可修改特定步驟及/或動作的次序及/或使用。
應注意,如本文中所使用,術語“耦接”或詞語耦接的其它變體可指示間接連接或者直接連接。舉例來說,如果第一組件“耦接”至第二組件,那么第一組件可能間接連接至第二組件或者直接連接至第二組件。如本文所使用,術語“多個”指示兩個或更多個。舉例來說,多個組件指示兩個或更多個組件。
術語“確定”涵蓋廣泛多種動作,且因此“確定”可包括計算、運算、處理、推導、研究、查找(例如,在表、數據庫或其它數據結構中查找)、確認等等。此外,“確定”可包括接收(例如,接收信息)、接入(例如,接入存儲器中的資料)等等。此外,“確定”可包括解決、選擇、挑選、建立等等。
除非以其它方式明確指定,否則短語“基于”并不意味著“僅基于”。換句話說,短語“基于”描述“僅基于”與“至少基于”兩者。
在前文描述中,給出特定細節以提供對實例的透徹理解。然而,所屬領域的一般技術人員將理解,可在沒有這些特定細節的情況下實踐所述實例。舉例來說,可在框圖中展示電組件/裝置,以免在不必要的細節上混淆所述實例。在其它情況下,可詳細展示此類組件、其它結構及技術以進一步解釋實例。
出于參考目的及為了輔助定位各個章節,本文中包括一些標題。這些標題不欲限制關于其描述的概念的范圍。此類概念可在整個說明書中都具有適用性。
還應注意,可將所述實例描述為過程,這個過程被描繪為流程表、流程圖、有限狀態圖、結構圖或框圖。雖然流程圖可將操作描述為依序過程,但是許多操作可同時或并行執行,并且所述過程可重復。此外,可重新布置操作的次序。當過程的操作完成時,所述過程終止。過程可對應于方法、函數、進程、子例程、子程序等。當過程對應于軟件函數時,過程的終止對應于函數返回至調用函數或主函數。
提供對所揭示實施方案的先前描述以使得所屬領域的技術人員能夠進行或使用本發明。所屬領域的技術人員將易于明白對這些實施方案的各種修改,且本文中所定義的通用原理可在不脫離本發明的精神或范圍的情況下應用于其它實施方案。因此,本發明并不希望限于本文中所展示的實施方案,而應符合與本文中所揭示的原理及新穎特征相一致的最廣泛范圍。