本技術涉及云計算，尤其涉及一種數據處理方法、系統以及計算設備集群、計算機可讀存儲介質、計算機程序產品。

背景技術：

1、隨著云計算技術的發展，越來越多的用戶選擇將大量數據放在云端存儲，并使用云廠商提供的數據處理系統來操作云端存儲中的數據。對于業務壓力較大的用戶，為提升數據處理系統整體的讀寫并發能力，往往采用多集群的數據處理系統，數據在多集群間共享。如何為多集群的數據處理系統提供低成本、高性能的數據寫入方案成為各大云廠商需要解決的一個重要技術問題。

技術實現思路

1、本技術提供了一種數據處理方法以及對應的數據處理系統、計算設備集群、計算機可讀存儲介質以及計算機程序產品。

2、第一方面，本技術提供了一種數據處理方法。該方法包括：數據處理系統接收第一寫請求，所述數據處理系統包括第一計算集群、第二計算集群和共享存儲，所述共享存儲用于存儲第一數據表的數據，所述第一數據表歸屬于所述第一計算集群，所述第一寫請求用于將第一數據寫入所述第一數據表；所述第二計算集群將歸屬于所述第一數據表的第一數據寫入所述共享存儲；所述第二計算集群將所述第一數據對應的第一元數據發送給所述第一計算集群；所述第一計算集群存儲所述第一數據對應的第一元數據。

3、本技術提供的數據處理方法能夠滿足擴展計算集群支持數據寫入的要求，同時仍由表歸屬的計算集群負責表數據對應的元數據的寫入，不需要部署單獨的元數據管理集群，在降低系統成本的同時不存在元數據管理集群的性能瓶頸問題。

4、一種可能的實施方式中，數據處理方法還包括：

5、所述數據處理系統接收第二寫請求，所述第二寫請求用于將第二數據寫入所述第一數據表；

6、所述第一計算集群將歸屬于所述第一數據表的所述第二數據寫入所述共享存儲；

7、所述第一計算集群存儲所述第二數據對應的元數據。

8、通過上述實施方式，第一計算集群也支持數據寫入操作，能夠提高數據處理系統的寫并發承載能力。

9、一種可能的實施方式中，數據處理方法還包括：

10、所述數據處理系統生成用于響應所述第一寫請求的執行計劃，所述執行計劃包括用于跨集群傳輸元數據的算子；

11、所述第二計算集群將所述第一數據對應的第一元數據發送給所述第一計算集群，包括：

12、所述第二計算集群執行所述執行計劃，以通過所述用于跨集群傳輸元數據的算子將所述第一數據對應的第一元數據發送給所述第一計算集群。

13、一種可能的實施方式中，數據處理方法還包括：確定所述數據處理系統中負載最小的計算集群作為所述第二計算集群。

14、通過上述實施方式，數據處理系統具有靈活的調度能力，能夠根據各個計算集群的負載壓力選擇合適的集群來執行數據寫入操作，從而實現整個數據處理系統的負載均衡，避免單個計算集群的寫入壓力過大。

15、一種可能的實施方式中，所述共享存儲還用于存儲第二數據表的數據，所述第二數據表歸屬于所述第一計算集群，所述第一數據來自所述第二數據表，在所述第二計算集群將歸屬于所述第一數據表的第一數據寫入所述共享存儲之前，數據處理方法還包括：

16、所述第一計算集群將所述第一數據對應的第二元數據發送給所述第二計算集群；

17、所述第二計算集群根據所述第一數據對應的第二元數據，從所述共享存儲中讀取來自所述第二數據表的所述第一數據。

18、一種可能的實施方式中，所述數據處理系統還包括第三計算集群，所述共享存儲還用于存儲第三數據表的數據，所述第三數據表歸屬于所述第三計算集群，所述第一數據來自所述第三數據表，在所述第二計算集群將歸屬于所述第一數據表的第一數據寫入所述共享存儲之前，數據處理方法還包括：

19、所述第三計算集群將所述第一數據對應的第三元數據發送給所述第二計算集群；

20、所述第二計算集群根據所述第一數據對應的第三元數據，從所述共享存儲中讀取來自所述第三數據表的所述第一數據。

21、通過上述實施方式，執行數據寫入操作的計算集群可從表數據歸屬的其它計算集群讀取所述數據。

22、一種可能的實施方式中，數據處理方法還包括：所述第二計算集群將所述第一數據表的索引數據發送給所述第一計算集群；所述第一計算集群存儲所述第一數據表的索引數據。

23、第二方面，本技術提供了一種數據處理系統，該系統包括：集群管理模塊，用于接收第一寫請求，所述第一寫請求用于將第一數據寫入第一數據表；共享存儲，用于存儲所述第一數據表的數據；第一計算集群，所述第一數據表歸屬于所述第一計算集群；第二計算集群，用于將歸屬于所述第一數據表的第一數據寫入所述共享存儲；所述第二計算集群，還用于將所述第一數據對應的第一元數據發送給所述第一計算集群；所述第一計算集群，用于存儲所述第一數據對應的第一元數據。

24、本技術實施例中，集群管理模塊還用于接收第二寫請求，所述第二寫請求用于將第二數據寫入第一數據表；第一計算集群還用于將歸屬于第一數據表的第二數據寫入共享存儲以及存儲第二數據對應的元數據。

25、一種可能的實施例中，集群管理模塊還用于生成用于響應所述第一寫請求的執行計劃，所述執行計劃包括用于跨集群傳輸元數據的算子；第二計算集群還用于將第一數據對應的第一元數據發送給第一計算集群，包括：第二計算集群用于執行所述執行計劃，以通過所述用于跨集群傳輸元數據的算子將所述第一數據對應的第一元數據發送給第一計算集群。

26、一種可能的實施例中，集群管理模塊還用于確定數據處理系統中負載最小的計算集群作為第二計算集群。

27、一種可能的實施例中，共享存儲還用于存儲第二數據表的數據，所述第二數據表歸屬于第一計算集群，所述第一數據來自所述第二數據表；在所述第二計算集群將歸屬于所述第一數據表的第一數據寫入共享存儲之前，第一計算集群還用于將所述第一數據對應的第二元數據發送給第二計算集群；以及第二計算集群還用于根據所述第一數據對應的第二元數據，從共享存儲中讀取來自所述第二數據表的所述第一數據。

28、一種可能的實施例中，數據處理系統還包括第三計算集群；共享存儲還用于存儲第三數據表的數據，所述第三數據表歸屬于所述第三計算集群，所述第一數據來自所述第三數據表；在第二計算集群將歸屬于所述第一數據表的第一數據寫入共享存儲之前，第三計算集群用于將所述第一數據對應的第三元數據發送給第二計算集群；以及第二計算集群還用于根據所述第一數據對應的第三元數據，從共享存儲中讀取來自所述第三數據表的所述第一數據。

29、一種可能的實施例中，第二計算集群還用于將所述第一數據表的索引數據發送給第一計算集群；第一計算集群還用于存儲所述第一數據表的索引數據。

30、第三方面，本技術提供了一種計算設備集群，包括至少一個計算設備，每個計算設備包括處理器和存儲器；該至少一個計算設備的處理器用于執行該至少一個計算設備的存儲器中存儲的指令，以使得該計算設備集群執行如上述第一方面或第一方面中任一種可能的實現方式所提供的數據處理方法。

31、第四方面，本技術提供了一種包含指令的計算機程序產品，當該指令被計算設備集群運行時，使得該計算設備集群執行如上述第一方面或第一方面中任一種可能的實現方式所提供的數據處理方法。

32、第五方面，本技術提供了一種計算機可讀存儲介質，包括計算機程序指令，當該計算機程序指令由計算設備集群執行時，該計算設備集群執行如上述第一方面或第一方面中任一種可能的實現方式所提供的數據處理方法。