本申請案涉及用于使成像裝置自動聚焦的系統和方法。更確切地說，本申請案涉及對于使用載玻片或微量滴定板的透鏡式顯微鏡應用使用基于圖像的激光自動聚焦系統的自動聚焦。

背景技術：

為對板或載玻片上的樣品進行成像，使用成像裝置。將成像裝置和/或樣品彼此移近或移遠，直到樣品處于成像裝置的焦點。對于例如高含量成像(hci)系統的自動化系統，通常使用自動聚焦來加速所述過程。

當前使用各種類型的自動聚焦系統，包含基于圖像的系統和基于激光的系統。盡管這些常規系統提供優于非自動聚焦系統的某些優勢，但其具有某些缺點，且并不始終以所需速度提供自動化系統所需要的焦點水平。

技術實現要素：

呈現用于使用載玻片或微量滴定板的透鏡式顯微鏡應用的準確、可靠且穩健的基于激光的自動聚焦解決方案。所述基于激光的自動聚焦解決方案解決歸因于相對于所關注的樣品處于不同距離的多個反射表面而出現的諸多問題。所述基于激光的自動聚焦解決方案提供通過使用基于圖像的方法解決由這些多個反射表面造成的不明確性的獨特解決方案。

前述“發明內容”僅為說明性的，且不意欲以任何方式為限制性的；提供所述“發明內容”以便以簡化形式引入下文在“具體實施方式”中進一步描述的一系列概念。此“發明內容”并不意欲識別所主張的標的物的關鍵或基本特征，也不意欲輔助確定所主張的標的物的范圍。

以下描述中將闡述本發明的額外特征和優點，且這些特征和優點將部分從所述描述中顯而易見，或者通過實踐本文中所描述或設想的實施例而獲知。可以借助于所附權利要求書中明確指出的儀器和組合來實現且獲得本文中描述或設想的實施例的特征和優勢。這些和其它特征將從以下描述和所附權利要求書變得更完全地顯而易見，或可以通過實踐如在下文中闡述的本文中描述或設想的實施例而獲知。

附圖說明

現在將參看附圖論述各種實施例。應了解，這些圖式僅僅描繪典型的實施例，因而不被視為限制本申請案的范圍。還應了解，圖式未必按比例繪制且出于清楚起見可能僅僅繪制一些元件。

圖式中相同的參考標號表示相同的元件。此外，元件的多個例子可以各自包含附加到元件數字的單獨字母。舉例來說，特定元件“20”的兩個例子可標注為“20a”和“20b”。在這種情況下，可使用不帶附加字母的元件標記(例如“20”)以總體上指代元件的每個例子；而當參照元件的特定的例子時，元件標記將包含附加字母(例如“20a”)。

圖1為示出成像板的各表面以及可從其發生的反射的框圖。

圖2說明其中樣品的z位置在凹孔或板中可能彼此不同的實例。

圖3為示出離焦圖像與聚焦圖像之間的差異的圖像。

圖4說明并有本文中所揭示或設想的特征的系統的實例實施例。

圖5是根據一個實施例的細胞成像裝置的截面側視圖。

圖6是圖5的細胞成像裝置的截面俯視圖，圖中示出了通過裝置的激發光和發射光流。

圖7說明并有本文中所揭示或設想的特征的系統的實例實施例。

圖8說明根據一個實施例的使用激光自動聚焦裝置使樣品聚焦的方法。

圖9說明根據一個實施例的在高含量成像系統中使樣品成像的方法。

圖10說明根據一個實施例的確定用于訓練圖像的信息的方法。

圖11說明根據一個實施例的處理自動聚焦圖像的方法。

圖12和13為使用本文中描述的方法獲得的樣品圖像。

圖14為對應于圖14的每一列的最大強度的投影。

圖15說明根據一個實施例的移行成像組件到所需焦點位置的方法。

圖16說明根據另一實施例的移行成像組件到所需焦點位置的方法。

圖17說明根據另一實施例的移行成像組件到所需焦點位置的方法。

圖18說明根據一個實施例的獨立laf。

具體實施方式

如說明書中所使用，以單數形式出現的詞語涵蓋其復數的對應部分，而以復數形式出現的詞語涵蓋其單數的對應部分，除非暗含地或明確地以其它方式理解或陳述。此外，應理解，對于本文中描述的任何給定組件或實施例，針對所述組件列出的任何可能候選或替代方案通常可以個別地使用或彼此結合使用，除非隱含地或明確地另有理解或陳述。另外，將理解，除非另外隱含地或明確地理解或陳述，否則此類候選或替代方案的任何列表僅是說明性的，而不是限制性的。另外，除非另外指明，否則本說明書和權利要求書中所用的表示成分的量、組分、反應條件等等的數字應理解為均由術語“約”修飾。

因此，除非相反地指示，否則本說明書和隨附權利要求書中所闡述的數值參數是可以取決于試圖通過本文提出的標的物獲得的所需性質而變化的近似值。最低限度地，且不試圖限制等效物原則對權利要求書范圍的應用，每一個數值參數都應至少根據所報告的有效數字的數量且通過應用一般四舍五入技術來解釋。盡管闡述本文中提出的標的物的廣泛范圍的數值范圍和參數為近似值，但具體實例中所闡述的數值是盡可能精確報告的。然而，任何數值固有地含有某些由其對應的測試測量值中所發現的標準差必然造成的誤差。

此外，如在說明書和所附權利要求書中使用，例如“頂部”、“底部”、“左”、“右”、“上”、“下”、“上部”、“下部”、“近”、“遠”等等的方向術語在本文中僅用以指示相對方向且并不希望限制本發明或權利要求的范圍。

如圖1中所說明，為對板或載玻片152上的樣品150進行成像，使用成像組件154，例如顯微鏡物鏡。為易于論述，我們將基于定位在板上的樣品進行我們的論述。然而，應了解，本文中的論述也可以適用于載玻片或樣品可以定位在上面以進行成像的其它裝置。

將成像組件154和/或板152彼此豎直地移近或移遠以經由成像組件154使樣品150聚焦。參考圖1，我們在本文中將把豎直移動方向定義為z方向。由此，任何組件在z方向上的位置可以稱為所述項目的“z位置”，且各組件之間在z方向上的距離可以稱為組件之間的“z距離”。成像組件154與樣品150之間的在樣品處于焦點時的z距離將在本文中定義為“焦距”。我們還將把成像組件154與樣品150的z位置稱為每一項目的“焦點位置”。

如圖1所示，成像組件154與樣品150之間的z距離為以下各者的組合：(1)成像組件154與板152之間的z距離、(2)跨越板152的z距離，以及(3)從板152到樣品150的需要成像的部分的z距離。通常，樣品150的待成像的所需部分處于板152的表面處，從而實質上消除板與樣品的所述部分之間的z距離。

如果樣品150在成像期間不在焦點上，那么可能發生諸多問題。要在焦點上，成像組件154必須處于距樣品150的特定焦距處。

將成像組件154和/或樣品150在z方向上移動以改變其間的z距離，直到樣品出現于焦點中。此時，z距離等于焦距，且樣品和成像組件處于對應于焦距的焦點位置。盡管本文中的論述將針對移動成像組件154以獲得所需焦距，但應了解，也可以替代或結合成像組件154而移動板152。還應了解，成像組件154可以定位在樣品150上方或下方。

因為板152定位于樣品150與成像組件154之間，因此每一樣品的z位置將隨著板的形狀或位置的變化而變化。結果，樣品在一個視場中的z位置可能不同于樣品在另一視場中的z位置。由此，如果成像組件不移動，那么每一樣品與成像組件之間的z距離可能變化。

圖2示出其中樣品的z位置在凹孔或板中可能彼此不同的一個實例。如所描繪，曲率164可能存在于一個或多個凹孔166中的每一個上。此曲率可能使得z距離在物鏡與對應凹孔中的每一樣品之間變化。此外，曲率168可能存在于整個板152a上。此曲率可能使得z距離在物鏡與不同凹孔中的樣品之間變化。例如在所描繪的實施例中的兩種類型的曲率164與168的組合可能使所述問題加劇。此外，板在其厚度上可能具有隨機變化，從而使得所述問題幾乎不可能模擬。實際上，板的形狀甚至跨越在同一制造批次中產生的板也可能會不可預測地變化。

歸因于這些z距離變化，必須相應地改變成像組件154的z位置以維持到每一樣品的正確焦距且有效地“移除”如由圖2的底部部分表示的不合需要的板和/或凹孔曲率。這樣做將允許每一樣品在所需焦距處成像。

為嘗試補救此情境，已使用基于圖像的自動聚焦來確定樣品在每一視場中的z位置，接著可以使用所述z位置來移動成像組件和/或板以達到正確焦距。在此方法中，使用與用以出于篩查目的而對樣品進行成像的檢測模式(例如，熒光、明視場，等)相同的檢測模式來出于自動聚焦目的而對樣品進行成像。盡管此方法已提供許多益處，但其具有數個缺點，包含：

●速度-必然會在搜索正確焦距的同時以不同z距離拍攝圖像。當對樣品進行成像所必需的曝光時間長時，這就成為問題。

●光致漂白-由焦點成像造成的光致漂白可能影響樣品，且因此更改用于篩查的所得樣品圖像。

●厚樣品-當樣品比光學系統的視場深度厚時，在視覺上最佳的聚焦圖像從視場到視場可能不是在到樣品的相同相對位置處。這可能會引起在迥然不同的區域中進行測量，從而可能導致對結果的誤解。

●生物學上難以成像或稀疏-有時樣品在板上難以成像或非常稀疏。這可能使得基于軟件的自動聚焦算法選擇出不正確的焦點位置。

基于激光的自動聚焦(laf)系統克服這些問題中的諸多問題。laf系統使用激光來確定焦距。由此，laf系統使用不同于用以由裝置篩查樣品的成像模式的成像模式。激光通過檢測板的表面來確定板的位置。這接著用作參考來估計在哪里找到樣品。舉例來說，可能估計樣品駐留在距板位置固定的數微米處。為確定板的位置，laf系統可以使用板與周圍介質之間的界面的反射性。

對于其中樣品駐留在載玻片與蓋玻片之間或駐留在微量滴定板(其中成像系統必須經由板的透明塑料或玻璃底部進行聚焦)上的顯微法應用，激光自動聚焦系統呈現出特定問題——通常存在若干反射表面，每一反射表面處在不同z位置。舉例來說，在圖1中示出的實施例中，存在至少三個反射表面——板152的上表面156和下表面158，以及介質162的上表面160(樣品150定位于其中)。這些表面中的每一個可能產生激光的單獨反射，這可能引起自動聚焦系統的混淆。

第一且通常最亮的反射來自板的最近表面(例如，板152的下表面156)。這一表面在本文中將稱為“外”表面。來自外表面的反射是由空氣與板的材料(通常為塑料或玻璃)之間的界面造成。

然而，外表面并不是所關注的樣品在z方向上通常所位于之處。實際上，樣品通常位于板的另一表面處或超出所述表面。舉例來說，如圖1中所描繪，樣品150位于板152的上表面158處或稍微超出所述上表面。這另一表面在本文中將稱為“內”表面。

第二反射來自這一內表面，且是由板的材料與空氣或樣品周圍的液態介質之間的界面造成。所述第二反射通常比第一反射弱得多，從而使得第二反射難以檢測或從第一反射辨識出來。其它反射可能來自其它表面，從而使得檢測和區分困難得多。舉例來說，如圖1中所描繪，第三反射可能來自介質162的上表面160，由介質與空氣之間的界面造成。

如上文所指出，外表面與內表面之間的z距離可以跨越板和/或跨越板內的凹孔而變化。結果，外表面的z位置通常并不是用于確定樣品的z位置的良好參考。實際上，因為樣品通常直接定位在板的內表面上，因此內表面的z位置是所使用的更好參考。如果可以確定內表面的z位置，那么可以使用其來更準確地定位成像組件以獲得聚焦圖像。

兩種主要方法已由laf系統用于嘗試確定微量滴定板和載玻片與蓋玻片的內表面與外表面的z位置。在第一方法中，同時檢測來自內表面和外表面的反射，且所述表面的位置指示距焦點的z位置。為實現這一目的，激光以入射角與表面成角度地定位，以使得當激光照到板上時，反射各自成角度地返回，類似于圖1中所示出者。傳感器的線性陣列經定位以檢測所述反射。由于激光的角度，反射在傳感器陣列上在彼此不同的位置返回。結果，由線性陣列檢測到的反射的位置可以用來確定表面的z位置。這允許使用激光信號的單個測量來確定樣品的z位置的估計。

然而，這種第一方法受到限制，因為：(a)不同反射具有顯著不同的強度，而不同反射必須仍通過線性傳感器陣列同時俘獲，(b)不同反射歸因于成角方法而通常在傳感器上彼此重疊，以及(c)板表面的任何角度變化或變形將引起線性傳感器陣列上的偏移。這可能使得難以同時檢測兩個反射。此外，因為激光設置必須以可以同時觀測兩個反射的方式進行，因此難以設計適應板厚度與視場深度不同的不同物鏡兩者的變化的單個設置。

在第二方法中，獨立地檢測來自內表面與外表面的反射。為實現這一目的，使用傳感器檢測且分析激光經由成像組件的反射。在反射出現于焦點中時，其變得較小且強度增大，如圖3的圖像170和172中所示。結果，系統可以使用傳感器測量到的大小和強度來檢測界面何時出現于焦點中。可以例如通過使用介刀而使激光為非對稱的，這將使得反射指示在哪一方向上移動以獲得焦點。通過一個或兩個大面積傳感器測量激光反射，其測量反射的總強度值。這種第二方法不利用單個測量預測樣品的確切z位置-實際上，使用搜索算法來移動成像組件，直到確定出表面的z位置。

所述第二方法解決了第一方法存在的諸多問題，但仍具有數個缺點。舉例來說，因為兩個反射無法同時看到，因此無法確定是哪一表面引起反射。

對于其中基于激光和基于軟件的自動聚焦兩者皆適用的應用，上文所論述的兩個laf方法的成功率通常都不如基于圖像的自動聚焦方法有效。然而，對于一些應用，可能僅laf方法為有效選項。

本文中呈現解決常規自動聚焦系統遇到的以上和其它的laf方法和裝置。舉例來說，使用本文中呈現的laf解決方案的實施例，可以獨立而同時地檢測多個反射。此外，反射的不明確性得以解決，且解決方案的準確度經由使用反射的位置、強度、形狀和大小而得以改善。此外，在一些實施例中，可以使用單個測量替代使用搜索算法來估計焦點位置。

本文中呈現的解決方案可以為常規上由成像裝置使用的自動聚焦方法和系統提供額外速度、可靠性和穩健性。這至少部分地通過使用高分辨率相機(例如已經在用于對樣品進行成像的系統中使用的相同相機)對激光反射進行成像來實現。通過這樣做，可以利用數百萬傳感器替代僅測量總強度(如在常規系統中那樣)的僅一個或兩個傳感器來以高分辨率測量激光反射。結果，可以與其它離焦(模糊)反射同時觀測所需反射。所有這些反射可能存在于給定圖像中，但每一反射將具有不同位置、強度、形狀和大小。結果，可以個別地識別反射，且每一反射的信息可以用來提供樣品的z位置(其對于多個反射的存在是不變的)的穩健估計。

此外，通過使用提供較寬、較高分辨率傳感器區域的相機，laf系統可以經設計以使得反射隨著z位置改變而跨越圖像移動。可以使跨越圖像的距離與距反射的z距離成比例。由此，替代主要依靠多個反射的強度、形狀和大小，反射的位置也可以在估計到反射表面中的每一個的相對距離中起到關鍵作用。這允許使用單個測量來準確地確定從當前z位置到板的內表面(且因此到樣品)的物鏡距離，驗證恰當反射被聚焦，且能夠處置存在三個或三個以上反射的情況。

本文中所揭示或設想的實施例可包括或利用專用或通用計算機，包含計算機硬件，例如一個或多個處理器，如下文更詳細地論述。實施例還可包含用于攜載或存儲計算機可執行指令和/或數據結構的物理和其它計算機可讀媒體。此類計算機可讀媒體可以是可以通過通用或專用計算機系統存取的任何可用媒體。存儲計算機可執行指令的計算機可讀媒體是物理存儲媒體。攜載計算機可執行指令的計算機可讀媒體是傳輸媒體。因此，借助于實例而非限制，實施例可以包括至少兩種明顯地不同類別的計算機可讀媒體：計算機存儲媒體和傳輸媒體。

計算機存儲媒體包含ram、rom、eeprom、cd-rom或其它光盤存儲器、磁盤存儲器或其它磁性存儲器裝置，或者可以用來存儲計算機可執行指令或數據結構的形式的所需程序代碼構件且可以通過通用或專用計算機存取的任何其它媒體。

“網絡”被定義為一個或多個數據鏈路，其使得能夠在計算機系統和/或模塊和/或其它電子裝置之間傳送電子數據。當經由網絡或另一通信連接(固線式、無線式的或固線式的與無線式的組合)向計算機傳送或提供信息時，計算機將連接恰當地視為傳輸媒體。傳輸媒體可以包含可以用于攜載數據或計算機可執行指令或數據結構形式的所需程序代碼構件且可以通過通用或專用計算機存取的網絡和/或數據鏈路。以上各項的組合也應包含在計算機可讀媒體的范圍內。

另外，當到達各種計算機系統組件時，計算機可執行指令或數據結構形式的程序代碼構件可以從傳輸媒體自動傳送到計算機存儲媒體(或反之亦然)。舉例來說，經由網絡或數據鏈路接收到的計算機可執行指令或數據結構可以在網絡接口模塊(例如“nic”)內的ram中緩沖，且接著最終傳送到計算機系統ram和/或計算機系統處的較低易失性的計算機存儲媒體。因此，應理解，計算機存儲媒體可以包含在也(或甚至主要)利用傳輸媒體的計算機系統組件中。

計算機可執行指令包括例如使通用計算機、專用計算機或專用處理裝置執行某一功能或功能群組的指令和數據。計算機可執行指令可以例如是二進位、例如匯編語言的中間格式指令，或甚至源代碼。盡管已經以特定地針對結構特征和/或方法動作的語言來描述標的物，但應理解，所附權利要求書中所界定的標的物未必限于上文所描述的所描述特征或動作。而是，作為實施權利要求的實例形式揭示所描述的特征和動作。

所屬領域的技術人員將理解，可以在具有許多類型的計算機系統配置的網絡計算環境中實踐實施例，這些計算機系統配置包含個人計算機、桌上型計算機、膝上型計算機、消息處理器、手持式裝置、多處理器系統、基于微處理器的或可編程消費型電子裝置、網絡pc、微型計算機、大型主機計算機、平板電腦、移動電話、pda、尋呼機、路由器、交換機等等。可以在分布式系統環境中實踐實施例，其中本地和遠程計算機系統都執行任務，該本地和遠程計算機系統通過網絡(通過固線式數據鏈路、無線數據鏈路或通過固線式鏈路與無線數據鏈路的組合)鏈接。在分布式系統環境中，程序模塊可以位于本地存儲裝置和遠程存儲器存儲裝置中。用于一個實體的程序模塊可以位于另一實體數據中心中或者在“云中”，或者在另一實體數據中心中或者在“云中”運行。在本說明書和以下權利要求書中，計算機系統還定義為包含成像系統(例如，圖4中的成像系統102)。

圖4說明并有本文中所揭示或設想的特征的示范性系統100。在系統的中心是定量高含量細胞成像系統102，其中對生物細胞進行掃描和分析。示例性細胞成像系統102包含(但不限于)成像裝置104和計算裝置106。

成像裝置104包括安裝在顯微鏡組合件110上的級殼108。級殼108經配置以容納定位含有細胞的試樣板(例如96孔板)所必需的組件，使得顯微鏡組合件110可以對細胞進行成像以允許執行細胞的高含量篩查，這是所屬領域的技術人員已知的。成像裝置104配合計算裝置106可以執行從成像獲得的數據的分析和存儲。

計算裝置106可以用作所述系統的控制器且用于自身或者配合成像裝置104執行成像裝置104獲得的數據的分析和/或存儲。計算裝置106可以包括如上定義的通用或專用計算機或服務器等等或任何其它計算機化裝置。如本領域中已知，計算裝置106可以直接或通過網絡與成像裝置104通信。在一些實施例中，計算裝置106并入到成像裝置104中。

系統100還可以包含用戶顯示裝置112以顯示結果和/或系統配置。成像裝置104和/或計算裝置106可以直接或間接地與用戶顯示裝置112通信。

通常布置在成像裝置104中的光學配置在相機上產生細胞的放大圖像以便記錄細胞樣品的高分辨率圖像。具體來說，本文中論述的配置提供一種不僅能夠實現所屬領域的技術人員已知的“寬視場”顯微檢查而且能夠實現光學分段能力的系統。這可以包含(例如)在一系列細胞上掃描的聚焦照明點或照明行的標準共焦顯微鏡。這些能力可以與輔助提供如由相機記錄的所需圖像的成像算法相結合。

在一個實施例中，作為軟件應用程序執行本文所述的方法步驟中的一個或多個。然而，實施例不限于這種情況，且方法步驟也可以在固件、硬件或固件、硬件和/或軟件的組合中執行。此外，方法的步驟可以完全或部分地存在于成像裝置104、計算裝置106和/或其它計算裝置上。

用于所述系統的裝置的操作環境可以包括或利用具有一個或多個微處理器和系統存儲器的處理系統。根據計算機編程領域的技術人員的實踐，除非另有規定，下文參照處理系統執行的操作或指令的動作和符號表示描述實施例。這些動作和操作或指令被稱作“計算機執行的”、“cpu執行的”或“處理器執行的”。

圖5是成像裝置104的示例性實施例。圖5顯示內部平臺設計的總體橫截面側視圖。一般來說，成像裝置104集成定位含有生物細胞的hcs樣品板116所必需的組件，從而使得顯微鏡組合件110可以執行生物細胞的高含量篩查。

級殼108包括級組合件114，其以便于與構成顯微鏡組合件110的組件進行光學和機械協作的方式安裝。級組合件114一般包括上面能定位hcs樣品板116的級，以及用于選擇性地移動級以便觀察的級定位機構，如本領域中已知。

在描繪的實施例中，顯微鏡組合件110容納倒置式顯微鏡，其可以用于從試樣下方對試樣樣品板116上的試樣執行篩查。顯微鏡包含物鏡組合件118，如本領域中已知，其包括多個物鏡以獲得試樣的放大視圖。每個物鏡可以對應于不同的放大水平。在一個實施例中，包含至少三個標準物鏡。如果需要，還可以包含額外物鏡。實例標準物鏡可以包含10x/0.4na、20x/0.45na和40x/0.6na光學規范。實例額外物鏡可以包含2x/0.08na、4x/0.16na和20x/0.7na光學規范。還可以使用其它放大水平和物鏡類型。

顯微鏡還包含聚焦驅動機構120，其機械耦合到顯微鏡物鏡組合件118。物鏡組合件118可以經由聚焦驅動機構120而相對于級組合件114上下(即，在z方向上)移動，以便將顯微鏡物鏡組合件118的物鏡中的任一者對準且聚焦在安置在試樣樣品板116內的生物細胞上。聚焦驅動機構120可以配置有步進式電機和螺絲/螺母組合，其降低消隙以提供(例如)低至0.006-μm/微步的分辨率以支持成像裝置104中配置的顯微鏡物鏡。

雖然本文中的論述是針對使用倒置式顯微鏡配置，但是應了解，可以替代地使用非倒置式顯微鏡配置從細胞上方執行篩查。此外，雖然本文中論述的顯微鏡組合件110是定制的，但是在需要時可以并入其它常規顯微鏡配置，例如德國哥廷根(goettingin)的卡爾蔡司微成像有限公司(carlzeissmicroimaging,inc.)制造的axiovert200m。在一些實施例中，根本不需要顯微鏡。

顯微鏡組合件104還包括各種已知組件，用于產生和記錄通過物鏡獲得的試樣的圖像。這些組件可以包含(但不限于)：

●圖像記錄器122，例如單色ccd或cmos相機，

●熒光團激發源124，例如包括多個發光二極管(led)的光引擎，

●濾光器，其對激發和發射光進行濾波，例如多位置雙色濾光輪128和多位置發射濾光輪130，以及

●光引導裝置，其引導激發和發射光通過顯微鏡組合件，例如特蘭透鏡132、折疊鏡134(例如90度折疊鏡)和一個或多個導光管。

以上組件中的一個或多個通常受到計算裝置106的控制以允許自動成像。通常布置在成像裝置104中的光學配置可以在圖像記錄器122上產生細胞的放大圖像，以使得可以記錄細胞樣品的高分辨率圖像。具體來說，本文中論述的配置提供一種不僅能夠實現所屬領域的技術人員已知的“寬視場”顯微檢查而且能夠實現光學分段能力的系統。

在一個實施例中，特蘭透鏡132是經設計用于在使用具有所需發射波長的任何經配置物鏡時增強成像裝置104在從藍色到nir的可見光譜的全范圍上的性能的近紅外(nir)增強透鏡(例如olympustriplet)，下文將予以論述。

對于熒光分析，熒光團激發源124產生激發光，其照明細胞且使得細胞誘發熒光團發射光。舉例來說，熒光團激發源124可以是多led光引擎，其與雙色濾光輪128和發射濾光輪130提供的配置激發濾光器協作工作，這兩個濾光輪都可以受到計算機驅動以選擇所需濾光器。

作為一種通用的操作方法，可以自動或手動地引導熒光團激發源124以提供從紫色(例如380nm)到近紅外(例如至少700nm)的范圍的多個光帶寬，且經設計以激發熒光團，例如藍綠色熒光蛋白質(cfp)和遠紅外(即，近紅外)熒光團。

使用系統100，可以執行細胞的熒光分析。為了執行分析，級組合件114首先將樣品板116移動到微孔的所需特定片段或載玻片的特定片段處于給定光路中的位置。

圖6是進一步說明顯微鏡組合件110內的實例組件的落射熒光路徑的俯視圖描繪(與圖5的側視圖相反)。如圖5和6中所描繪，熒光團激發源124發出通過光纖遞送系統中繼(如圖6中的大方向箭頭136所示)的所需系統波長帶寬，這取決于相對于樣品板116中的熒光標記細胞的應用。照明轉接器138使用各種光學件導引激發波長帶寬以便另外沿著激發光路140受到引導(如圖5和6中通過含有斜杠的箭頭指示)，直到被安置在多位置雙色濾光輪128中的所需雙色組件142(圖6中所示)接收到。雙色組件142經過設計且自動經過軟件選擇，以用于熒光團激發光源124提供的特定波長帶寬。雙色組件142將激發光引導到90度折疊鏡134。此后，如圖5所示，激發光沿著激發光路140繼續向上，通過特蘭透鏡132和物鏡組合件118到達安置在樣品板支座116中的細胞，如所屬領域的技術人員所已知。

激發光在安置在樣品板支座116中的細胞中誘發熒光。誘發熒光沿著路徑144(圖5和6中通過暗箭頭示出)通過物鏡組合件118和特蘭透鏡132經由落射熒光布置從細胞返回，直到被90度折疊鏡134接收到。如圖6中具體所示，折疊鏡134將誘發的熒光引導回到雙色組件142，這允許誘發熒光沿著通過(例如)額外光學組件的路徑144繼續返回。誘發的熒光接著通過布置在發射濾光輪組合件130中的經配置濾光器濾光，且經由相機122俘獲經濾波的誘發熒光且記錄為圖像。

如圖5所示，為了能夠進行明視場和發色團成像，顯微鏡組合件104進一步包括位于樣品板116上方的透光組合件126。透光組合件126利用具有不同彩色波長(例如，藍色、綠色、琥珀色與紅色)的光源(例如led)照亮圖5中所示的透光幾何結構中的樣品，以使得可以使用圖像記錄器122基于發色團對光的不同吸收來檢測發色團。透光組合件126還提供透射白光以用于明視場成像。

如圖5所示，顯微鏡組合件104包含激光自動聚焦(laf)裝置200，其提供用以確定物鏡相對于樣品的正確焦點位置的激光。laf裝置200產生激光束，其照射到試樣樣品板116上以便從樣品板表面產生反射。所述反射通過圖像記錄器122成像，且執行軟件方法以基于所述圖像確定物鏡相對于樣品板的內表面的z位置。聚焦驅動機構接著基于針對物鏡確定的原始z位置而將物鏡移動到對應于正確焦距的新z位置。在一些實施例中，激光束和隨之而來的反射通過物鏡，使得激光束和對應反射從物鏡的中心偏移。在一些實施例中，反射隨著物鏡與樣品板的內表面之間的z距離改變而跨越圖像移動。

圖7為說明用于熒光成像的相同相機如何也可以由激光自動聚焦系統使用的框圖。如所描繪實施例中所示，laf裝置200包括例如激光二極管202的用以產生激光的激光產生單元以及例如準直透鏡204的用以將由激光產生單元產生的激光對準且聚焦到激光束中的光學件。還可以包含通常稱為“介刀”的阻斷裝置206以阻斷由laf裝置200發射的激光束的一部分，使得激光束的反射為非圓形的。這允許產生不對稱反射，從而可以提供更多信息以輔助聚焦。

舉例來說，如果激光束的一側被阻斷，那么由laf裝置200發射的激光束和基于其的反射將具有“d”橫截面形狀。這可以用來以圓形截面形狀所不可能的一種方式來確定聚焦信息。當反射離焦時，將產生“d”形狀。歸因于光學特性，“d”形狀在焦距過短時將在一個方向上延伸，且在焦距過長時將在相反方向上延伸。即，在經過正確焦距時，“d”形狀將“翻轉”。

盡管本文中論述的laf裝置200是定制的，但其它常規laf裝置也可以用作laf裝置200。一些實例包含：德國哥廷根的卡爾蔡司微成像有限公司制造的definitefocus、由馬薩諸塞州羅克蘭市的priorscientific公司制造的lf210激光自動聚焦系統，以及由蒙大拿州博茲曼市的quantumcomposers公司制造的af910自動聚焦傳感器。

如圖7中所說明且大體如上文所論述，在樣品的熒光成像期間，熒光團激發源124發射所需系統波長帶寬，其沿著經過一個或多個雙色組件(例如雙色鏡208)且經過物鏡210的激發光路140導引到安置于樣品板152上的150。由激發光在樣品150中誘發的熒光從樣品150向后經由物鏡210且沿著熒光返回路徑144返回，其一部分與激發光路140重合。熒光返回路徑144與激發光路140歸因于允許激發光與所誘發熒光中的僅一者通過而反射另一個的雙色組件(例如，雙色鏡208等等)而在某一點處分叉。所誘發熒光繼續沿著返回路徑144到相機122，其在所述相機處被俘獲且記錄為圖像。

在自動聚焦期間，laf裝置200發射激光束，其沿著經過一個或多個雙色組件(例如，雙色鏡214)的激光路徑212導引，直到使激光路徑212與激發光路140重合。激光束經由物鏡210朝向安置于樣品板152上的樣品150引導。如上文所論述，板152的內表面和外表面以及可能的其它表面反射激光束。這些反射經由物鏡210向后且沿著反射返回路徑216返回。反射返回路徑216與由所誘發熒光使用的熒光返回路徑144重合。由此，反射到達相機122，類似于所誘發熒光，所述反射在所述相機處被俘獲且記錄為圖像。

如上文所指出，激光束在其通過物鏡210時可能從其中心偏移。這可能導致返回的反射也從物鏡210的中心偏移，但在相反側上偏移。結果，反射可能出現于圖像上的不同橫向位置處，且可能隨著物鏡與表面之間的z距離改變而跨越圖像移動。這可以用來幫助確定對應于反射的表面的z位置。

將hci系統的相機用作laf裝置的圖像記錄器提供數個益處。因為相機已經在hci系統內，因此無需額外相機，從而提供經濟益處。此外，不需要額外校準步驟。

在一替代實施例中，可以使用與hcs相機分離的相機。盡管較不經濟，但使用單獨相機可以提供其它益處。舉例來說，這樣做可能加速z馬達、相機與定位方法之間的往返。這可以通過若干方式實現-包含使用視頻率相機、在硬件與相機之間使用硬件觸發器，或使用與激光自動聚焦單元直接耦合的集成式相機。此外，可能實施單獨的成像路徑和檢測器專用于激光的特定波長。

此外，盡管以上論述已針對使用具有hci系統的laf裝置，但應了解，類似于上文所論述的裝置的laf裝置也可以與其它類型的樣品成像系統一起使用。舉例來說，上文所論述或設想的laf裝置也可以與通用顯微鏡和例如板讀取器的低含量成像系統一起使用。其它系統也可以并有laf裝置。這同樣適用于下文論述的方法。

圖8說明根據一個實施例的使用激光自動聚焦裝置使樣品自動聚焦的方法。laf裝置發射激光束，所述激光束例如以上文所論述的方式朝向樣品照射。在激光束照在各表面(例如，板的內表面和外表面、細胞/介質界面表面，和介質表面)上時，光例如以上文所論述的方式經由成像組件(例如，顯微鏡物鏡)反射到相機。通過成像組件產生反射的圖像，例如圖像222。使用一個或多個軟件算法224處理所述圖像以確定用于使樣品聚焦的信息，包含例如識別圖像的每一反射、確定每一反射涉及的表面，以及估計成像組件相對于由所述反射表示的表面中的任一者的z位置。使用所述信息來確定成像組件對于待處于焦點上的樣品的所需焦點位置，例如物鏡的z位置。最后，驅動機構將成像組件移動到所需焦點位置。

如下文較詳細論述，一個實施例使用圖像處理算法來將圖像投影到線上，且接著識別所述投影的峰值以識別所述線上的多個激光反射的數目和位置。基于識別結果，測量圖像中的每一斑點(其中每一斑點為所檢測到的反射)的位置、強度、形狀和大小。基于每一斑點的相對大小、強度和位置，軟件可以預測物鏡相對于內表面且因此相對于樣品的位置。

圖9說明根據一個實施例的使用高含量成像(hci)系統對樣品進行成像的方法250。所述方法也可以適于用于其它類型的系統。方法250包括步驟252到264。

在步驟252中，建立成像組件相對于樣品的所需焦點位置。在一個實施例中，用戶手動地操縱物鏡以在z方向上移動，直到定位在板上的樣品處于焦點上。在另一實施例中，物鏡的移動受計算機裝置控制，所述計算機裝置確定樣品何時處于焦點上。在一個實施例中，z方向為豎直的，且物鏡向上和/或向下移動。在一個實施例中，用戶經由物鏡觀看樣品以確定樣品何時處于焦點上。在一個實施例中，用戶觀看經由物鏡拍攝的樣品的所記錄圖像以確定樣品何時處于焦點上。

在步驟254中，一旦已建立成像組件的所需焦點位置，就訓練所述系統以使loa裝置的反射的圖像上的位置與所需焦點位置相關。在一個實施例中，使用由相機俘獲的激光束的反射來確定所需焦點位置。在一個實施例中，所需焦點位置與由相機俘獲的內表面的反射的位置直接相關。

在步驟256中，一旦系統已得以訓練，就使成像組件在z方向上與待成像的第一樣品對準。在一個實施例中，水平地移動板或物鏡以使物鏡與待成像的第一視場或凹孔對準，如本領域中已知。

在步驟258中，一旦成像組件已與待成像的樣品對準，就在z方向上移動成像組件和/或樣品以在對應于所需焦點位置的相同位置中產生反射。在一個實施例中，將物鏡在z方向上移動到導致所需焦距的新焦點位置。如下文所論述，在一個實施例中，可以使用由相機成像的激光束的反射來確定新焦點位置。

在步驟260中，一旦成像組件和/或樣品已移動到所需z位置，就經由具有記錄裝置的成像組件來俘獲樣品的一個或多個圖像。在一個實施例中，以本領域中已知的方式使用相機經由物鏡俘獲圖像。

如由決策步驟262所指示，如果需要對更多樣品進行成像，那么方法繼續進行到步驟264。否則，所述方法結束。在一個實施例中，每一樣品對應于凹孔中的不同視場。在一個實施例中，每一樣品對應于板中的不同凹孔。

在步驟264中，使成像組件在z方向上與待成像的下一個樣品對準。在一個實施例中，水平地移動板或物鏡以使物鏡與待成像的第一視場或凹孔對準，如本領域中已知。

一旦成像組件已與待成像的下一個樣品對準，就對于所述樣品重復步驟258和260。繼續這一過程，直到已對所有所需樣品進行成像。由此，重復步驟256和258，直到已對所有所需樣品進行成像。

圖10說明根據一個實施例的確定所需焦距的方法270。方法270可以用于例如方法250的步驟254。方法270包括步驟272到280。

在步驟272中，產生自動聚焦圖像。在一個實施例中，這包括將激光束從laf裝置照射到板上，以便使得光的反射從各個表面通過成像組件且由記錄裝置記錄。在一個實施例中，光經由物鏡至少從板的內表面和外表面反射，且所述反射例如以上文所論述的方式由相機記錄。獲得示出一個或多個反射的圖像，例如，類似于圖8中所示的圖像222或圖12中所示的圖像230。所述圖像可以存儲在例如計算機存儲器等存儲裝置上，如本領域中已知。

在步驟274中，處理自動聚焦圖像以確定其中的對象的數目以及關于每一對象的信息。下文論述這樣做的一種方式。

如由決策步驟276所指示，如果在圖像中發現至少兩個對象，那么所述方法繼續進行到步驟278。否則，已發生錯誤，且可能需要獲得并處理其它圖像。

在步驟278中，使來自板的外表面與內表面的反射分別對等(默認對應)于圖像的第一與第二所確定對象。

在步驟280中，確定所需焦距。在一個實施例中，所需焦距為物鏡與板的內表面之間的距離，且部分地基于從圖像的第二對象獲得的信息而計算。

圖11說明根據一個實施例的處理自動聚焦圖像以確定其中的反射對象(或斑點)的數目和關于每一對象的信息的方法300。在方法300中，使用圖像處理算法將自動聚焦圖像投影到線上，且接著識別投影的峰值以識別多個激光反射的數目和位置。基于識別結果，測量圖像中的每一斑點(其中每一斑點為所檢測到的反射)的位置、強度、形狀和大小。基于每一斑點的相對大小、強度和位置，可以估計物鏡相對于內表面的z位置。方法300可以用于例如方法270的步驟274。方法300包括步驟302到314。

在步驟302中，從相機直接獲得或從存儲裝置獲得自動聚焦圖像。圖12中所示的自動聚焦圖像230為使用本發明的實施例獲得的一個此類圖像的實例。圖像230大致含有在約1100行和約1100列中的一百萬個像素。每一行/列位置對應于圖像的單個像素。如圖12中所示，在自動聚焦圖像230的右上方處在行100與500之間以及列700與1100之間示出兩個對象232和234。對象232與234分別表示從板的外表面與內表面反射的激光束的第一反射與第二反射。在一個實施例中，以一系列流從相機或計算機裝置獲得圖像。舉例來說，可以從第一行開始一次一行地獲得圖像。

在步驟304中，裁減所獲得的自動聚焦圖像以獲得所需區域且移除圖像的與自動聚焦對象不相關的一個或多個部分。舉例來說，可以裁減圖像230以移除圖像的下一半且獲得圖13中所示的區域236。移除圖像的不相關部分去除了那些部分內的任何對象，以使得那些對象不會錯誤地用于聚焦計算中。可以在校準先前執行的系統期間確定圖像的要使用的區域。其可以取決于物鏡內的激光反射所經過的位置以及其它因素。

在步驟306中，確定圖像的每一列的代表值且將其存儲成線性陣列。陣列的每一位置對應于列中的一個。舉例來說，對于區域236，使用約1100的線性陣列，其中陣列中每一位置對應于單獨列。在一個實施例中，列的代表值為所述列中的任何像素的最大強度值。在一個實施例中，代表值為列中的所有像素的總強度。

在使用圖像236的實例中，陣列的每一位置填入在對應列中發現的最大強度值。已標繪所得值以獲得圖14中所示的圖形投影238。如圖14中所示，大致在投影238的列550處觀測到幾乎為600的最高強度值，其中數個其它強度峰值出現于列560、620、640、720，等處。谷值出現于投影238上的強度峰值之間。峰值與谷值的寬度不同。約為125的恒定“噪聲”等級在投影的所有列上恒定。

鑒于以上內容，盡管圖像236包含分別表示第一與第二反射的兩個對象232與234，但圖14中圖示的代表性陣列值具有許多強度峰值和谷值，從而使得難以確定存在多少單獨的反射對象，更不用說關于每一對象的任何信息。由此，包含步驟308到312以有助于在對象之間進行區分。

在步驟308中，確定對象之間的局部最小值，且獲得局部最小值的強度值。首先假定最高強度值與第一或第二反射對象相對應。舉例來說，對于投影238，假定反射對象中的一個包含具有最高強度值的列550。

在一個實施例中，首先確定潛在局部最小值。潛在局部最小值為從最高強度列向左與向右至少預定數目個列寬(在下文中稱為“預定寬度”)和至少預定數目個列(在下文中稱為“預定距離”)的投影的第一谷值的最低強度值。舉例來說，如果預定寬度與距離分別為25與30，那么投影238的第一潛在局部最小值將為140，在最高強度列向右的位置590處。第二潛在局部最小值也可能出現在最高強度列左側，盡管在投影238上并未發現。

局部最小值確定為潛在局部最小值中的最大值。舉例來說，投影238的局部最小值為如由localmin線指示的140。

在步驟310中，一旦確定了局部最小值，就確定閾值強度。閾值強度用于確定對應于反射對象的列，如下文所論述。閾值強度設定為比局部最小值高的值，以使得可以在對象之間進行清楚區分。在一個實施例中，通過簡單地將預定閾值調整值相加到強度局部最小值來獲得閾值強度。舉例來說，如果預定閾值調整值為40，那么閾值強度為180(140+40)，如由圖14中的閾值線所指示。

在步驟312中，使用閾值強度識別且區分反射對象。在一個實施例中，彌合投影的強度峰值之間的小間隙以移除谷值且使曲線平滑。在一個實施例中，如果鄰近峰值之間的列距離小于預定值，那么對峰值之間的列的強度值給出介于鄰近峰值的強度值之間的新值。在一個實施例中，對峰值之間的列給出最低峰值的強度值。

一旦已使反射平滑化，就將閾值強度應用于每一列以產生二進制陣列；如果投影的列的強度值大于或等于閾值強度，那么就將對應于所述列的二進制陣列位置設定為1；否則，將二進制陣列位置設定為0。二進制陣列的具有重復的1的每一部分潛在地對應于對象。

一旦已填入二進制陣列，就將閾值對象寬度應用于陣列以移除過小的潛在對象。移除1的重復數目小于閾值對象寬度的潛在對象(即，將對應陣列位置重置為0)。陣列中左側的內容對應于寬度至少為閾值對象寬度的對象，在陣列中由零分隔開。

接著識別二進制陣列中的每一反射對象，包含構成所述對象的列。反射對象通常從最右側對象開始識別為第一到第n對象。

在步驟314中，計算每一對象的信息。此信息可以包含對象的列圖心、平均強度、峰值強度，等。為進行此操作，再次使用原始圖像。舉例來說，在步驟312中識別為圖像的部分的每一列的強度值可以用來確定圖像的圖心。在一個實施例中，使用圖像的所有列的強度來確定圖像的強度加權列，類似于質心計算。在另一實施例中，僅使用高于閾值的值來確定強度加權列。接著使用圖心來表示反射對象的位置。可以保存每一對象的信息。

圖15說明移行成像組件到所需焦點位置的方法320。所需焦點位置對應于導致樣品處于焦點上的z位置。方法320可以用作例如方法250的步驟258。方法320包括步驟322到336。

在步驟322中，基于訓練時確定的值以及來自在本方法期間使用的值的結果來估計物鏡的所需z位置。目標為將物鏡置于在與訓練圖像相同的列位置處產生內表面的反射圖像的z位置。

在步驟324中，例如通過驅動機構將物鏡移動到所需z位置，如本領域中已知。

在步驟326中，如上文所論述(例如見方法270的步驟272)而產生自動聚焦圖像。

在步驟328中，例如以上文所論述的方式處理所述自動聚焦圖像以確定其中的對象的數目以及關于每一對象的信息。

在步驟330中，將自動聚焦圖像的內表面反射的列位置添加到用于移行處理的一組此類列位置。如果是第一次進行本移行方法的步驟330，那么列位置組將僅包含這個第一列位置。

如在決策步驟332中所反映，如果經訓練圖像的內表面反射的列位置在列位置組的最高值與最低值之間，那么所述方法繼續進行到步驟334。否則，所述方法返回到步驟322以再次執行步驟322到330。每次執行步驟322時，可以使用每次進行所述循環時添加的列位置組來更好地估計新的所需z位置。

在步驟334中，一旦經訓練圖像的內表面反射的列位置在列位置組的最高值與最低值之間，那么確定物鏡所要使用的z位置(即，焦點位置)。在一個實施例中，使用關于經訓練圖像的列位置組的最高值和最低值來內插焦點位置。在另一實施例中，使用三個值來內插焦點位置：最接近于經訓練圖像的內表面反射的列位置的列位置組的第一值，以及在所述第一值兩側上的列位置的兩個值。

在步驟336中，例如通過驅動機構將物鏡移動到焦點位置以用于成像，如本領域中已知。

圖16說明移行成像組件到所需焦點位置的另一方法340。方法340包括步驟342到352。

除了確定可以退出循環的方式之外，方法340類似于方法320。由此，步驟342、344、346、348與350分別對應于方法320的步驟322、324、326、328與330。然而，如在決策步驟352中所反映，如果自動聚焦圖像的內表面反射的列位置在距經訓練圖像的內表面反射的列位置的預定列距離內，那么已獲得焦點位置。因為物鏡已經在焦點位置處，因此其不必移動到那里。

圖17說明移行成像組件到所需焦點位置的另一方法360。方法360包括步驟362到380。

方法360也類似于方法320，只是經訓練圖像的內表面反射的列位置需要處于列位置組的最高值與最低值之間，而且列位置組的值中的一個還需要接近于經訓練圖像的內表面反射的列位置。

由此，步驟362、364、366、368、370與372分別對應于方法320的步驟322、324、326、328、330與332。當確定經訓練圖像的內表面反射的列位置在列位置組的最高值與最低值之間時，所述方法繼續進行到步驟374。

在步驟374中，確定列位置組中的最接近于經訓練圖像的內表面反射的列位置的值的值。

如在決策步驟376中所反映，如果在步驟374中確定的值在距經訓練圖像的內表面反射的列位置的預定量內，那么所述方法繼續進行到步驟380。否則，所述方法返回到步驟362以再次執行步驟362到374。

在步驟378中，一旦列位置組中的值中的一個在距經訓練圖像的內表面反射的列位置的預定量內，就確定物鏡所要使用的z位置(即，焦點位置)。在一個實施例中，使用在步驟374中確定的值和列位置組內的另一值來內插焦點位置。

圖18為laf裝置400的另一實施例。laf裝置400為可以插入到hci成像器中(例如插入到其中的傳統插槽中)的獨立單元。獨立laf裝置可以與在發射路徑中具有開放插槽的任何系統集成或經由熒光激發路徑的共享電動化雙色而集成。

類似于非獨立laf裝置，獨立laf裝置包含例如激光二極管的激光產生元件、介刀以及準直透鏡。此外，獨立laf裝置400還可以包含用以朝向板、相機(例如ccd或cmos相機)反射激光以記錄激光反射的雙色元件以及例如微處理器的用以控制laf裝置的計算機裝置。益處可以包含：(a)具有用于laf裝置的專用處理器，(b)歸因于與馬達控制器(例如指示馬達已完成其移動的硬件觸發器)的直接耦合而增大速度，以及(c)可以按比hci裝置的成像相機高的速度(例如視頻率速度)操作laf圖像記錄器。

在一個實施例中，可以包含搜索算法以反復地改善z位置估計。搜索可以產生最佳z位置的反復估計，且最終估計可以是來自反復估計的結果的加權平均值。最終估計可能較不易于受到由反射位置處的塑料的激光強度變化、振動、缺陷等造成的錯誤的影響。

在一個實施例中，可以使用機器學習方法。在此方法中，對于當前實驗呈現一組訓練激光圖像(物鏡、板類型和樣品)。系統對這些圖像進行訓練，以使得當呈現新激光自動聚焦圖像時，系統可以產生到內表面(且因此到樣品)的距離的估計。這一實施例的益處包含：(a)不需要圖像處理來識別反射的位置和數目，因此減少潛在錯誤；(b)訓練算法可以有效地決定如何相對于輸出z位置估計對位置、強度、形狀和大小的重要性進行加權；以及(c)不同反射的紋理質量可以包含于算法中，這可以添加額外穩定性水平，因為來自每一反射表面的反射通常具有稍微不同的光學質量。

應理解，關于本文中的各種實施例描述的特征可以在任何組合中混合且匹配而不脫離本發明的精神和范圍。在不脫離本發明精神或基本特征的情況下，可以其它特定形式實施本發明。所描述的實施例應視為在所有方面均僅為說明性而非限制性的。因此，本發明的范圍由所附權利要求書而不是由前述描述指示。在權利要求書等效物的含義和范圍內的所有變化均涵蓋在權利要求書的范圍內。