本發明涉及用于光學圖像穩定的機構以及涉及用于光學圖像穩定的方法。

背景技術：

在靜止和運動畫面照相機領域內，圖像穩定一直是個問題。在本申請的上下文內，圖像穩定可以指在曝光時間期間運動效應的降低，即除此以外會導致運動模糊的運動。應該注意，運動效應取決于快門的類型。在運動畫面應用中，諸如在使用攝像機時，每個單獨的圖像可以非常清晰，可是由于多余的運動，像這樣記錄的視頻序列會難以跟蹤。在這種情況下，典型的“多余的運動”可能通過振動或震動引起，并且這也可以在本申請的上下文中被處理。這種類型的運動經常要求更加復雜的方法，因為存在多余的運動和預期的運動(例如平移運動)兩者。在這些情況下，數字圖像穩定可以作為針對光學圖像穩定的唯一措施或者附加措施而被應用。

本公開將涉及一種光學圖像穩定機構，即在照相機光路中的部件為了補償多余的運動而被移動的技術。被移動的部件典型地可以是透鏡元件或圖像傳感器。

彈性地和可控地懸置光學部件是眾所周知的，其中由墊片(通常每個滾珠一個墊片)支撐的滾珠軸承使能夠在平面中自由運動，見例如US 20120027391。如在引用的文件中所討論的，墊片和滾珠構造可能隨著時間易于受到磨損，影響滾珠的形狀或者墊片的表面，兩者都會影響圖像穩定的性能。在所引用的文件中公開的方案是由陶瓷材料形成滾珠。

技術實現要素：

為了消除或至少減輕現有技術中的一些缺陷，本公開涉及一種用于光學圖像穩定的改進機構。本發明的用于照相機的圖像穩定機構包括：能夠檢測所述照相機的運動的移動傳感器，在所述照相機光路中的元件，滾珠和墊片，用作允許所述元件在與所述光路正交的平面中移動的軸承，能夠在所述平面中移動所述元件的驅動器機構，處理器，被配置成作為對由所述移動傳感器探測到的所述照相機的運動的響應而控制所述驅動器以移動所述元件，由此穩定來自所述照相機的圖像。所述穩定機構的特征在 于，所述處理器進一步被配置成沿著輔助運動路徑移動所述元件以便將由所述滾珠產生的磨損分布在墊片上。這種輔助運動路徑可以引起圖像移位，并且因此所述處理器通過用于移位所述圖像的其它裝置能夠補償由所述輔助運動路徑產生的圖像移位。

創造性的穩定機構將提供改進的耐磨性。

在一個或者多個實施例中，在所述光路中的所述元件可以是透鏡或者圖像傳感器。本公開中沒有任何內容使得其它元件喪失被移動的資格，但是透鏡或圖像傳感器從功能角度來說是最可能的元件。透鏡可以是單透鏡或透鏡組件，或者任何其它透鏡元件。

在一個或者若干實施例中，所述輔助運動路徑可以是連續運動路徑、間歇式運動路徑或者其組合。

沿著輔助運動路徑運動的運動速度在任何實施例中可被限制以便導致所述照相機的視場中的移位小于每幀所述圖像傳感器的像素的一小部分，通過簡單裝置能夠使運動模糊消除。

在一個或者多個實施例中，所述處理器可以被配置成使用所述照相機的當前運動作為所述輔助運動路徑的輸入。這將在詳細的描述中結合某些實施例中所述照相機的運動的幅度如何能夠影響所述輔助運動路徑來舉例說明，然而作為替代或者此外，能夠使用其它參數。

作為對其它控制方法的組合功能或者作為輔助運動的獨立控制，所述處理器可以被配置成使用所述滾珠的運動的熱圖作為所述輔助運動路徑的輸入。這將對應于降低磨損的統計方法。該方法具有潛在優勢，該優勢在于，其解釋了所述滾珠的實際運動，而不是預測滾珠的運動。

在一個或者若干實施例中，使用數字裁剪和縮放可以移位所述圖像。這能夠對應于數字圖像穩定，并且其將在詳細的描述中可以進一步舉例說明。對詳細的描述的參考不應該被解釋為是表示將本實施例的可用性限制到在詳細的描述中呈現的精確的實施例中，而僅應解釋為對進一步闡釋的參考。

在另一個實施例中，預期的圖像移位通過移動所述照相機的平移(pan)機構和傾斜機構可以全部或局部地消除。能夠預測組合的實施例，其中平移機構和傾斜機構與數字圖像穩定一起使用，例如平移機構和傾斜機構能夠消滅較大的移位，同時數字圖像穩定消滅任何殘留移位。因為數字圖像穩定能夠以任何方式應用，這不必導致任何進一步的復雜化。

在一個或者多個實施例中，所述處理器可以被設置成使用光學變焦、縮放和裁剪來增加圖像穩定機構的穩定能力范圍。

根據第二方面，本發明涉及一種用于控制照相機的穩定機構的方法，包括：通過 運動傳感器探測所述照相機的運動，將所述運動的信息轉發到所述照相機的處理器，使用所述處理器控制驅動器以在光路中移動元件，以便抵消所述照相機的運動，使用所述處理器控制所述驅動器以在所述光路中沿著輔助運動路徑移動所述元件，其中所述元件通過滾珠和墊片懸架來懸置，例如結合圖像穩定機構公開的滾珠和墊片懸架。

類似于本發明機構的實施例，在其一個或者多個實施例中，所述方法被設置成引發并控制是連續運動路徑、間歇式運動路徑或者其組合的輔助運動路徑。

在一個或者多個實施例中，所述元件可以以受限制的速度沿著所述輔助運動路徑移動，使得對所述照相機圖像傳感器的影響被限制到每幀像素的小部分。

在其它或者組合的實施例中，所述照相機的運動可以被用作所述輔助運動路徑的輸入。

在又一些實施例中，所述滾珠的運動的熱圖可以被用作所述輔助運動路徑的輸入。

根據又一概念，本發明涉及包括計算機可讀存儲介質的計算機程序產品，該計算機可讀存儲介質具有在由處理器執行時適于根據之前或下面描述的方法實施的指令。

附圖說明

圖1是在本發明的一個或者多個實施例中使用的滾珠和墊片裝置的一部分的示意立體圖。

圖2是圖示現有技術的實施例的滾珠和墊片裝置的一部分的示意平面圖。

圖3是圖示本發明第一實施例的類似于圖2的平面視圖。

圖4是圖示本發明第二實施例的類似于圖3的平面視圖。

圖5是圖示本發明第三實施例的類似于圖4的平面視圖。

圖6是本發明第四實施例的類似于圖5的平面視圖。

圖7圖示照相機的視場。

圖8是圖示照相機的運動的一種效應的類似于圖7的視圖。

圖9是照相機和照相機懸架的示意圖。

實施方式

圖1是根據本發明第一實施例的機構的一部分的示意立體圖。該機構包括滾珠102和墊片104，并且在使用該機構期間，該滾珠將沿著軌跡106行進以便補償所探測到的照相機的運動。該機構自身將與圖像傳感器關聯或者與透鏡元件關聯，并且通過移位圖像傳感器和透鏡元件中的任何一個，該機構將可能影響在圖像傳感器上的圖像位 置。理論上，該機構會與能夠影響光路的光學系統中的任何部件關聯，諸如鏡子，如果存在設置在光路上的鏡子，然而在實踐中將使用圖像傳感器或者透鏡部件。

在現有技術中，已經公開了滾珠/墊片機構、滾珠/墊片機構的基本控制或其懸架的細節，并且其將不是本公開的主要問題。概括起來，某些種類的傾斜傳感器(例如加速計或者陀螺儀裝置，或者兩者的組合)可以用于探測照相機的運動。使用成像系統的現有設置，諸如與縮放級別和焦距有關的透鏡參數，處理器可以確定在圖像平面(在傳感器上)中圖像運動的最終效應，其中通過移動透鏡組件或圖像傳感器(或者任何能夠影響光束路徑的其它部件)可以引發反向運動。

實際上引發反向運動的驅動器例如可以基于電磁或壓電裝置?？梢允褂玫囊环N特定類型的驅動器是所稱的音圈電機(voice coil actuator)，然而也可以使用其它類型的驅動器。

用于移動透鏡或傳感器的裝置可以包括一個或多個滾珠/墊片機構。在實際示例中，完整的布置可能具有三個支撐點或者更多，以提供穩定的布置。并不是所有支撐點都需要提供給本發明的機構。

圖2是圖示其中沒有應用本發明的情況的示意平面圖。如通過實線所圖示的，滾珠(未示出)將沿著路徑106相對于墊片104移動，以使圖像穩定。路徑106不是基于真實情況的，其僅僅是基于照相機圍繞中心點任意移動的。在照相機通過例如固定裝置或三腳架完全或局部支撐的情況下，圖案可能是完全不同的。一種效應是照相機將更傾向于在一個方向上而不是在另一方向上移動。然而，根據簡化的示例，顯而易見的是，在墊片104的中心將存在過度磨損，最終導致機構的低劣性能和最終失效。在圖2(或者針對該情況的任何圖)中僅顯示了一個墊片，然而在通常安裝中，存在兩個墊片，其在滾珠的任一側以相對的關系布置；一個墊片被布置在要被移動的物品上并且另一墊片被布置在基部上。墊片可以不形成分離的結構，其可以簡單的是另一結構的平面部分。還應該澄清，滾珠確實能夠以另一方式被懸置在其中一個結構中，例如在插座中，在這種情況下，僅需要一個墊片或平面部分?？梢允褂没魻杺鞲衅餮b置或者另一機構以確保該墊片或多個墊片在每次使用之后返回到期望的起始點。

根據本發明的第一個舉例的實施例，可以應用運動輔助路徑。此運動輔助路徑在圖3中圖示為在墊片104上的虛線108。在圖3的視圖中還沒有考慮穩定運動的效應。現在，在圖3的實施例中，機構被布置成在墊片表面上方慢慢地到處移動滾珠。單詞“慢慢地”不是定量測量，而是該情況不是僅一種單一速度是可能的類型，其將進一步被討論。首先注意輔助運動效應。通過比較(以及可能通過組合)圖2和圖3的視圖容易領會該效應。通過使用圖3的輔助運動，圖2中圖示的運動中心將不斷地在墊 片上到處移動，并且這將降低墊片的磨損，或者至少在墊片104的較大表面區域上分布磨損，因此有效地增加了墊片的壽命。在一般水平上，滾珠102的磨損將不會受太大影響，然而通過利用較硬材料制造滾珠，整個機構的組合壽命可以被延長。輔助運動還將影響在圖像平面中的圖像位置，并且這將參考圖7和圖8進行討論，并且因為這部分地涉及“慢慢地”的定義或者缺少其定義，因此這也將被討論。還可以注意到，虛線表示如果沒有應用穩定運動則滾珠將具有的位置，如果應用穩定運動則表示“穩定中點”。在實際情況中，在可以連續應用穩定運動的情況下，滾珠的實際路徑根本不會遵循虛線。然而，滾珠將多次穿越該虛線。

如果圖3的實施例中的輔助運動是慢的且可選地是連續的，那么圖4中圖示的實施例的運動具有間歇式的本質。在此實施例中，該滾珠在一個位置保持靜止一段時間(根據輔助運動)，在這段時間過后，該滾珠移動到新位置，在該新位置該滾珠保持靜止一段時間，以此類推。這在圖4的連接點中被圖示，其中該點對應于滾珠靜止的位置(即，不存在引發的輔助路徑的位置)。在這些位置的每個位置中，滾珠可能如圖2所圖示到處移動，以致影響圖像穩定，由此實現磨損分布。

在又一進一步的實施例中，輔助運動可以是有效地顯示隨著時間變化的速度曲線的連續運動和間歇式運動的組合。如本文所公開的本發明不應該被限制在該方面，至少不應限制在其最寬范圍中。

在由圖5圖示的實施例中，為了控制輔助運動，使用統計資料。輪廓線意在表示關于滾珠隨著時間運動的熱圖。熱圖不必將輔助運動與圖像穩定運動分開，因為其是對于磨損而言至關重要的滾珠的實際歷史位置。參見圖5的示例，很明顯，滾珠主要位于右上象限中以及位于左下角中。此輸入可以用于控制輔助運動，使得滾珠朝向右下角或左上角以便稍微均衡磨損。使用熱圖作為輸入可以在多種不同復雜水平上實施，例如熱圖(或者對應的統計測量)可以連續用作輸入，或者該熱圖可以在暫時地間隔開的分離事件中使用，在這些事件中，針對直到下次事件的時間，計算期望的輔助路徑。在本示例中，熱圖已經被給予輪廓圖的形式，因為這是說明性的且容易理解的示例。在實踐中，熱圖可以通過各種統計測量來表示，并且由權利要求限定的本發明不應該限制在該方面。

圖6圖示包括又一個控制機構的進一步的實施例。再次示出墊片104，并且在本實施例中，墊片的表面已經被分割成三個功能性的同中心區段；中心區段112、中間區段114以及外部區段116。在實際情況中，顯然將限制墊片104的表面區域，這將限制滾珠102可用的運動范圍。另一給定參數是在照相機移動得更大時，即 在運動幅度增加時，用于滾珠的運動范圍也增加了。這可以用作針對輔助運動的控制的有價值的輸入。實質上當通過加速計或陀螺儀(或者其它合適的傳感器)探測到照相機的運動幅度增加時，將控制輔助運動以便朝向墊片104的中間移動滾珠102。在圖6的實施例中，想法是在某幅度之上，滾珠104將被控制成行進到中心區段112并且在中心區段112中行進，并且在某幅度之下，滾珠將被控制成行進到外部區段116并且在外部區段116中行進，以及在這些幅度之間，滾珠104可以被控制成行進到中間區段114并在中間區段114中行進。短語“到并在…中”不意味著滾珠被控制成唯一在這些區段中行進，所產生的穩定照相機的運動仍可以促使滾珠在預定區域外部行進。

在本實施例中對這些區段的使用僅基于便于闡釋的目的，可存在更多區段，諸如四個、五個、六個等，存在更少區段，諸如兩個或者甚至沒有區段。后者的示例可以是用于輔助運動的工作半徑是照相機的運動幅度的連續的、反向的函數。在所公開的實施例中，照相機的運動幅度被用作輸入，然而實際函數可以取決于更多參數，諸如在較短的或延長的時間段上照相機運動的頻率、統計資料等。

在相對于圖5和圖6公開的任何實施例中，可以應用如相對于圖3或圖4公開的運動模式。因此其可以是連續運動、以及間歇式運動、變化速度運動或者其組合。

在下面的部分中，將描述如何消除輔助運動效應的幾個示例。

在圖7中，舉了場景圖像的例子。成像到圖像傳感器的內容通過外部矩形118限定，并且在顯示器上示出的內容或者至少在視頻流中被轉發的內容通過內部虛線矩形120限定。在本示例中，圖像傳感器可以說是超大尺寸，然而通過使用模擬數字縮放可以實現相同效果。在圖8的視圖中，輔助運動已經促使成像到圖像傳感器上的圖像在位置上移位，但是由于傳感器尺寸過大的事實(或者使用數字縮放)，如之前的相同區域將為用戶示出。在圖7和圖8之間的位置上的移位在實踐中將相距數以百計的幀，使得由輔助運動引起的逐步圖像移位既不能被人眼探測到也不能被開發成例如探測運動的探測算法探測到。

輔助運動的運動精確速度優選地應該是其導致相鄰圖像幀之間的成像視圖中的像素的部分移位。即使速度盡可能地慢以對應于每幀像素的1/100，但每秒30-60幀的普通幀速率(fps)將導致輔助運動在降低磨損方面是顯著的。這能夠被進一步舉例：考慮到速度是每幀像素的1/100并且考慮到使用1080p傳感器。能夠假定可以引起對傳感器的20％的最大值進行延伸的輔助運動，即約200像素。為了移動該距離，將要求20000幀，這對應于在30fps下的約10分鐘。在圖3中舉例的 模式或類型的路徑從啟動到結束(或者從啟動到再次啟動)將需要約30分鐘。

從實踐角度可以推斷用于輔助運動的建議速度，并且從該實踐角度，每幀像素的1/10也是可能的，并且更慢的速度也是可能的。在減慢運動時，不存在顯而易見的下限值。在最終加速運動時，其會導致圖像中的偽影。這些偽影通過例如去卷積可以被校正，然而該校正以及類似的校正從計算觀點是要求過高的，這使得它們更不適合應用在現場直播中。

輔助運動在多個實施例中將在圖像傳感器上到處移動圖像，并且因此需要實施要顯示給用戶的傳感器區域的選擇。示出給用戶的區域的選擇可以從受控的輔助運動、透鏡系統的當前設置等推斷，即其是可預測的并且從各種可用輸入數據可以計算。

替代如上面段落中使用可預測方法，或者除了上面段落中使用可預測方法之外，可以使用數字圖像穩定，例如基于相鄰幀中特征的識別和定位的數字圖像穩定。值得注意的是，通過來自各傳感器的輸入可以支持現有的數字圖像穩定，并且因此技術的組合可以用于達到期望的最終結果。

在本發明的所有實施例中，本發明額外的益處在于其不需要任何復雜的技術，如果鑒于在相關技術領域中可用的技術而考慮，則至少不需要任何復雜的技術。基本上，可以使用如今用于光學圖像穩定的任何驅動單元，并且也存在用于監控滾珠位置的技術。針對創造性的目的，滾珠的位置是令人感興趣的，然而該信息可以通過監控與滾珠互相作用的墊片或多個墊片的位置或運動而推斷。

此外，光學圖像穩定可能不能夠消除所有類型的震動或振動的效應。在廣義的示例中，可以說光學圖像穩定可以用于負責在第一頻率間隔(其在一端部或更多端部可以開放并且可以包括若干間隔分段)內的移動穩定，同時數字圖像穩定可以用于負責在第二頻率間隔(其可以在一端部或多個端部處開放并且可以包括若干間隔分段)內的移動穩定。第一頻率間隔和第二頻率間隔可以部分地重疊。數字圖像穩定能夠在更高頻率處負責校正，在該更高頻率處，陀螺儀或者穩定機構太慢以至于不能響應，而光學圖像穩定能夠在更低頻率處負責校正，或者正好相反。

回到參考圖6描述的實施例，其中輔助運動由照相機的所探測的運動部分地控制，對去除由輔助運動引起的可視效應的最近描述的提議解決方案，可以在照相機的多余的運動的情況下使用。因此，在一個實施例中，處理器被設置成如果探測到照相機的多余的運動，則光學地縮小，因此擴大在圖像傳感器上成像的視場(對應于圖7和圖8中的區域118)。這將有效地增加照相機在開始影響為用戶 示出的區域之前能夠移動的量。作為縮小的結果，處理器還將不得不重新調節為用戶示出的視圖，目的在于隱藏縮小過程的效應。該過程將增加該機構的穩定能力范圍，或者實際上增加包括該機構的照相機的穩定能力范圍。

由于區域118和區域120之間的尺寸差異，使用光學縮小和光學放大還能用于最小化丟棄的像素數量。當輔助運動路徑在墊片中間時，光學縮放能夠設置成使區域118和區域120具有相同尺寸。輔助運動移動到距離墊片中心越遠，那么照相機必須光學縮小更多以使得所有區域120被包括在區域118中。然后，區域120的圖像可以被調整比例到普通尺寸以適合連續的圖像流。

在相同或相關實施例中，縮放級別基于滾珠的位移可以動態地變化(在其穩定運動中)，所需要的補償量能夠最小化。在裁剪的情況下，這意味著當滾珠越接近墊片的中心則分辨率越高。

圖9例舉了一個實施例，其中使用硬件對輔助運動的效應進行消除。圖9示出示意性地懸置使得其能夠平移和傾斜的照相機122。處理器可以用于控制平移機構和傾斜機構，使得通過在平移P和傾斜T方向上的反向運動消除輔助運動的效應。顯而易見地，所考慮的效應是將圖像定位在圖像芯片上的效應，而不是降低磨損的效應。

如果適當地考慮，則圖7、圖8、圖9的實施例可以自由組合。作為這種情況的一個示例，平移和傾斜馬達的使用可以通過數字圖像穩定來支持，從而降低任何殘留效應。