本發明涉及一種遠程操作生物實驗。特別是涉及一種多平臺交互的遠程操作生物實驗系統及控制方法。

背景技術：

生物細胞實驗中常常需要對培養液中的活細胞在不同時間點進行觀察或檢測，例如在0小時、6小時、12小時等等，進行觀察，獲取這些離散時間點下的相關數據進行分析。但是其觀察時間點過于分散，無法全面了解細胞培養過程中的變化；對于有些情況一旦細胞脫離了適宜的培養環境再進行觀察很可能對其狀態造成較大影響，使得觀測到的數據失去意義；無法實現長時間的觀察類似腫瘤細胞遷移等現象。

針對這一問題,近年來,人們研制出了可以在細胞培養的同時進行觀察的生物實驗系統——細胞工作站。目前主流的細胞工作站有兩種，一種是類似美國Essen公司生產的IncuCyteZoom，將成像裝置尺寸縮小放入培養箱中，通過無線網絡傳輸圖像數據到PC端進行觀察和使用配套圖像處理軟件進行分析。其優勢在于可以實現遠程操作，進行數據讀取和分析，無需反復進入細胞實驗室，避免了潛在的污染隱患及人工出入觀測的麻煩。缺點是對網絡帶寬要求高，如果追求傳輸實時效率就會對傳輸圖像的質量產生影響，尤其是圖像壓縮編碼過程中對圖像色彩信息的損壞不可逆，從而影響后續的分析結果，由于數據分析在遠程客戶端完成，對客戶端硬件配置要求高；另一種類似日本Olympus生產的活細胞工作站xcellence，將培養箱尺寸縮小與成像顯微鏡結合在一起進行實時觀察，圖像數據采用有線傳輸至PC端進行觀察和處理。其優勢在于采用有線傳輸方式，圖像傳輸實時效率高、可靠性強，缺點是實驗人員必須在實驗裝置附近操作，如果進行需要長時間實時觀察的實驗，將會增加人力負擔，且實驗人員多次出入細胞實驗室會對無菌環境產生潛在的影響。

即，現有細胞工作站無法滿足遠程終端和本地服務器端同時獲取數據并遠程操作服務器端進行數據處理，使用無線網絡傳輸數據時成像裝置在培養箱中無法用有線與PC相連，導致過于依賴無線傳輸過程的效率和質量，使用有線傳輸時研究人員必須長時間守在實驗裝置旁邊。

技術實現要素：

本發明所要解決的技術問題是，提供一種對適宜培養環境下活細胞遠程實時觀測、控制、數據獲取、數據處理的多平臺交互的遠程操作生物實驗系統及控制方法。

本發明所采用的技術方案是：一種多平臺交互的遠程操作生物實驗系統的控制方法，包括如下步驟：

1)將裝有待觀察的活細胞的培養皿放置在顯微鏡的載物臺上，載物臺密封在培養箱中，打開服務器，并同時打開顯微鏡的相機實時采集細胞視頻圖像；

2)通過客戶端向服務器發送實時視頻請求指令，服務器接到所述指令后將顯微鏡相機采集的實時視頻圖像數據進行壓縮編碼發送到客戶端，客戶端將接收到的視頻圖像數據進行解碼顯示供工作人員實時觀察細胞培養情況；

3)服務器將細胞培養箱中傳感器反饋的細胞培養環境信息發送到客戶端，客戶端將接收到的細胞培養環境信息與標準的環境條件對比后，向服務器發送增加或降低或保持溫度、濕度和二氧化碳濃度參數的指令，服務器接收到指令后控制細胞培養模塊中的控制器去調整細胞培養箱內的環境參數；

4)客戶端根據接收到的視頻圖像數據，向服務器發送光學成像模塊中的載物臺水平位移的指令，服務器接收指令后，向光學成像模塊中的控制器發送相應指令控制載物臺水平位移電機驅動載物臺進行水平位移，使得接收到的細胞視頻圖像位于顯示器中央；

5)客戶端根據接收到的視頻圖像數據，向服務器發送控制光學成像模塊中顯微鏡的物鏡垂直位移的指令，服務器接收指令后，向光學成像模塊中的控制器發送相應指令控制光學成像模塊中垂直位移電機驅動顯微鏡的物鏡進行垂直位移，使細胞位于焦平面上，便于獲取清晰圖像；

6)客戶端向服務器發送拍照指令，服務器接收指令后控制顯微鏡相機進行拍照，獲取細胞圖像并存儲在服務器內；

7)客戶端向服務器發送對細胞圖像進行處理的指令，服務器接收指令后調用服務器端細胞圖像處理程序對獲取的細胞圖像進行處理；

8)客戶端向服務器發送下載未處理的細胞圖像或處理后的細胞圖像指令，服務器接收指令后將客戶端指定的細胞圖像數據發送給客戶端，實現遠程文件下載。

步驟2)所述的壓縮編碼，是采用H.264標準或H.265標準進行實時壓縮編碼。

步驟2)所述的發送到客戶端，是采用RTSP協議或RTMP協議或超文本傳輸協議進行發送。

步驟3)所述的細胞培養環境信息包括：溫度、濕度、二氧化碳濃度。

步驟6)所述的拍照指令還包括設置拍照張數和拍照時間間隔，服務器接收指令后開啟定時功能，定時向顯微鏡相機發送拍照指令，獲取細胞的時間序列圖像。

步驟7)所述的細胞圖像處理程序包括如下步驟：

1)圖像預處理：對圖像進行濾波和圖像增強處理，去除圖像中的部分雜質增強圖像有效信息的顯示；

2)圖像分割：將預處理后圖像中目標區域與背景區分開來；

3)邊緣檢測：獲取目標區域的輪廓；

4)定量特征提取：根據實驗需求獲取圖像目標區域的定量特征信息用于后續分析。

在步驟4)和步驟5)的運行過程中還包括：客戶端根據接收到的圖像信息向服務器端發送修改相機曝光時間指令，調節相機曝光時間，使得獲取的圖像亮度適中。

本發明的一種多平臺交互的遠程操作生物實驗系統及控制方法，實現計算過程在與成像裝置有線連接的服務器端完成，不依賴于客戶端的配置，不必擔心傳輸過程中由于通訊過程導致的數據信息丟失，實現遠程查看實驗過程，完成實驗操作減少研究人員的勞動負擔。本發明具有以下優點：

1)減輕了研究人員的勞動負擔，可以隨時隨地通過移動終端查看實驗情況并進行遠程操作。

2)客戶端遠程查看的視頻圖像僅是一個預覽作用，因此傳輸時可以采用更高的壓縮比增加了傳輸效率。

3)真正用于分析處理的是服務器端的圖像，因此降低了傳輸時對網絡的依賴，降低了對客戶端硬件配置的要求。成功響應后回送給客戶端完成信息。

附圖說明

圖1是本發明一種多平臺交互的遠程操作生物實驗系統的控制方法的流程構成圖；

圖2是應用本發明一種多平臺交互的遠程操作生物實驗系統的控制方法的系統構成圖；

圖3-1是0h時劃痕實驗細胞群；

圖3-2是3h時劃痕實驗細胞群；

圖3-3是6h時劃痕實驗細胞群；

圖3-4是0h時劃痕實驗處理結果；

圖3-5是3h時劃痕實驗處理結果；

圖3-6是6h時劃痕實驗處理結果。

具體實施方式

下面結合實施例和附圖對本發明的一種多平臺交互的遠程操作生物實驗系統的控制方法做出詳細說明。

本發明的一種多平臺交互的遠程操作生物實驗系統的控制方法，包括如下步驟：

1)將裝有待觀察的活細胞的培養皿放置在顯微鏡的載物臺上，載物臺密封在培養箱中，打開服務器，并同時打開顯微鏡的相機實時采集細胞視頻圖像；

2)通過客戶端向服務器發送實時視頻請求指令，服務器接到所述指令后將顯微鏡相機采集的實時視頻圖像數據進行壓縮編碼發送到客戶端，客戶端將接收到的視頻圖像數據進行解碼顯示供工作人員實時觀察細胞培養情況。所述的壓縮編碼，是采用H.264標準或H.265標準進行實時壓縮編碼；所述的發送到客戶端，是采用RTSP協議或RTMP協議或超文本傳輸協議進行發送。

3)服務器將細胞培養箱中傳感器反饋的細胞培養環境信息發送到客戶端，客戶端將接收到的細胞培養環境信息與標準的環境條件對比后，向服務器發送增加或降低或保持溫度、濕度和二氧化碳濃度參數的指令，所述的細胞培養環境信息包括：溫度、濕度、二氧化碳濃度。服務器接收到指令后控制細胞培養模塊中的控制器去調整細胞培養箱內的環境參數；

4)客戶端根據接收到的視頻圖像數據，向服務器發送光學成像模塊中的載物臺水平位移的指令，服務器接收指令后，向光學成像模塊中的控制器發送相應指令控制載物臺水平位移電機驅動載物臺進行水平位移，使得接收到的細胞視頻圖像位于顯示器中央；

5)客戶端根據接收到的視頻圖像數據，向服務器發送控制光學成像模塊中顯微鏡的物鏡垂直位移的指令，服務器接收指令后，向光學成像模塊中的控制器發送相應指令控制光學成像模塊中垂直位移電機驅動顯微鏡的物鏡進行垂直位移，使細胞位于焦平面上，便于獲取清晰圖像；

在步驟4)和步驟5)的運行過程中還包括：客戶端根據接收到的圖像信息向服務器端發送修改相機曝光時間指令，調節相機曝光時間，使得獲取的圖像亮度適中。

6)客戶端向服務器發送拍照指令，服務器接收指令后控制顯微鏡相機進行拍照，獲取細胞圖像并存儲在服務器內；所述的拍照指令還包括設置拍照張數和拍照時間間隔，服務器接收指令后開啟定時功能，定時向顯微鏡相機發送拍照指令，獲取細胞的時間序列圖像。

7)客戶端向服務器發送對細胞圖像進行處理的指令，服務器接收指令后調用服務器端細胞圖像處理程序對獲取的細胞圖像進行處理；所述的細胞圖像處理程序包括如下步驟：

1)圖像預處理：對圖像進行濾波和圖像增強處理，去除圖像中的部分雜質增強圖像有效信息的顯示；

2)圖像分割：將預處理后圖像中目標區域與背景區分開來；

3)邊緣檢測：獲取目標區域的輪廓；

4)定量特征提取：根據實驗需求獲取圖像目標區域的定量特征信息用于后續分析。

8)客戶端向服務器發送下載未處理的細胞圖像或處理后的細胞圖像指令，服務器接收指令后將客戶端指定的細胞圖像數據發送給客戶端，實現遠程文件下載，便于客戶端遠程獲取圖像處理結果或原始數據以進一步處理。

如圖1所示，本發明一種多平臺交互的遠程操作生物實驗系統的控制方法的工作過程是：光學顯微系統中的相機通過數據線與服務器端相連，獲得相機拍攝到的實時視頻。遠程客戶端為智能手機、平板電腦或其他類型終端，客戶端啟動后輸入已經注冊的用戶名和密碼發送給服務器端，請求接入服務器。服務器接收到請求后驗證用戶信息，若密碼錯誤則拒絕接入，并且向客戶端返回密碼錯誤消息，若密碼正確，服務器正確接收到客戶端發送的視頻請求后返回視頻請求同意消息，并開始對相機原始視頻信息進行實時編碼同時使用RTP協議打包發送給客戶端相應網絡端口，客戶端讀取本地端口接收到的視頻編碼流信息后進行解析，從中得到視頻幀編碼信息后送入解碼器進行解碼并顯示；服務器端接收到事件控制請求后回送客戶端同意請求信息，同時監聽客戶端發送過來的事件請求數據，解析數據包后對請求的事件做出響應，這些事件包括修改相機曝光時間、閾值、控制相機拍照、在服務器端進行圖像處理等；服務器端接收到客戶端文件傳輸請求后予以響應，發送相關文件給客戶端，這里的文件主要是指經客戶端控制，服務器端拍攝下的某一時刻下的圖片。實時視頻傳輸時考慮到實時的效率，壓縮比較高，因此圖像信息有一定的損失，如果客戶端想獲取某一時刻的無損原圖時，則發送遠程拍照請求，服務器端成功拍照后反饋給客戶端，之后客戶端可以發送文件下載請求，從服務器端下載無損原圖到客戶端；客戶端也可以請求服務器端拍照后發送圖像處理請求，請求服務器端遠程完成圖像的處理操作。

本發明一種多平臺交互的遠程操作生物實驗系統的控制方法，是用于如圖2所示的系統中。如圖2所示，服務器2端通過數據線與顯微鏡上的相機、顯微鏡電動平臺控制器、準焦螺旋等硬件控制裝置以及培養箱二氧化碳濃度、濕度、氣壓等控制裝置3連接，相機將采集到的圖像傳輸給服務器2顯示；客戶端1可以是臺式計算機或者平板電腦11、智能手機12等移動終端，它們與服務器2處于同一個路由器4下的局域網內，客戶端1可以向服務器2發送各種事件請求指令，服務器2解析請求后確定是否發送實時視頻流、提供文件下載服務或調節培養箱二氧化碳濃度、濕度和氣壓等細胞培養系統參數或調節顯微鏡電動平臺位置、鏡頭焦距等、相機曝光時間等成像系統參數。

圖3-1～圖3-6是本發明在劃痕實驗中觀察到的細胞群遷移情況。其中圖3-1為0h時劃痕實驗細胞群，圖3-2為3h時劃痕實驗細胞群，圖3-3為6h時劃痕實驗細胞群；圖3-4為0h時劃痕實驗處理結果，圖3-5為3h時劃痕實驗處理結果；圖3-6為6h時劃痕實驗處理結果。

實驗時使用移液管尖端在培養皿中將細胞群劃線分離開，使用顯微鏡對劃痕處進行實時觀察，由于需要長時間觀測，我們可以不必守在顯微鏡旁邊，而是使用客戶端隨時查看，并在適當時間點保存圖像(圖3-1～圖3-3)，在客戶端可以選擇讓服務器端對得到的圖像進行處理，得到處理后的圖像(圖3-4～圖3-6)，并得到細胞群間距計算結果。其中0h、3h、6h時細胞群間距分別約為170、144、100(單位像素寬度)，單從這三幅圖像得到的結果會讓人以為0～3h期間細胞群運動緩慢，遷移距離約為170-144＝26個像素寬度，3～6h期間細胞群運動較快，遷移距離約為144-100＝44個像素寬度。然而我們看到的實時視頻中發現其實細胞群被移液器尖端劃開后向兩邊分開的慣性保持了一個相當長的時間，真實情況是0～3h期間細胞群是先朝相反的方向運動后再向中間遷移的，這段時間內細胞遷移的速率可能更快，我們實驗過程中應該通過實時視頻觀察至細胞群向兩邊分開的趨勢徹底停止后再進行拍攝獲得細胞群向中間遷移情況圖，以便進一步對細胞遷移速率以及細胞活性進行估計。且在等待細胞群停止向兩邊分開的時間較長，通常是2個小時以上，這段時間使用遠程觀測會更加便捷。

以上結合附圖對本發明的具體實施方式做了說明，但這些說明不能理解為限制了本發明的范圍，本發明的保護范圍由隨附的權利要求書限定，任何在本發明權利要求基礎上的改動都是本發明的保護范圍。