本發明涉及數據同步，具體涉及一種分布式數據同步系統、方法及程序產品。

背景技術：

1、在當今數字化時代，分布式系統廣泛應用于各個領域，如金融領域的跨國交易處理、互聯網行業的海量數據存儲與分發、電商領域的訂單與庫存管理等。隨著業務的持續拓展與復雜化，對分布式數據同步的需求愈發迫切。但是，傳統的分布式數據同步系統在及時性、傳輸一致性、擴展性、資源消耗仿麥呢以及靈活性方面存在很多不足。

技術實現思路

1、有鑒于此，本發明提供了一種分布式數據同步系統、方法及程序產品，以解決傳統的分布式數據同步系統在及時性、傳輸一致性、擴展性、資源消耗以及靈活性方面存在的問題。

2、第一方面，本發明提供了一種分布式數據同步系統，該系統包括：元數據管理模塊、日志采集模塊、日志解析模塊、同步策略制定模塊和數據傳輸模塊；

3、元數據管理模塊，用于獲取多個日志元數據，以及將多個日志元數據發送至日志解析模塊；日志解析模塊，用于根據多個日志元數據確定日志解析規則并將日志解析規則發送到日志采集模塊；日志采集模塊，用于采集多個分布式日志信息并利用日志解析規則對多個分布式日志信息進行解析，得到多個目標日志數據，以及將多個目標日志數據發送至同步策略制定模塊；同步策略制定模塊，用于根據多個目標日志數據制定目標同步策略，并將目標同步策略發送至數據傳輸模塊；數據傳輸模塊，用于根據目標同步策略，將多個目標日志數據發送至目標系統。

4、本發明提供的分布式數據同步系統，通過元數據管理模塊獲取多個日志元數據，為后續的數據處理建立了統一的規范和標準。進一步，日志采集模塊能夠處理來自多個分布式源的日志信息，無論是不同類型數據庫產生的變更日志，還是各種應用程序生成的操作日志，亦或是系統層面的運行日志，都可以被納入采集范疇。進一步，日志解析模塊中依據精準的元數據制定解析規則并在日志采集模塊中對采集到的多個分布式日志信息進行解析，能夠確保采集到的分布式日志信息能夠被精確解析，避免了因解析錯誤導致的數據偏差。進一步，通過同步策略制定模塊可以基于解析后的準確目標日志數據來制定同步策略，進一步保障了數據在傳輸過程中的一致性。無論是數據的結構、內容還是更新的順序，都能嚴格按照預定策略在分布式環境下保持統一，有效解決了傳統技術在多節點同步時經常出現的數據不一致問題，使得目標系統接收到的數據完整可靠。因此，通過實施本發明，通過將元數據管理、日志采集、日志解析、同步策略制定以及數據傳輸模塊進行有機整合，極大地提升了數據同步的系統性和協同性。與傳統零散、缺乏整合的同步方式相比，有效避免了各環節脫節、重復勞動以及錯誤累積等問題，確保整個同步過程高效且穩定。

5、在一種可選的實施方式中，元數據管理模塊，包括：元數據定義子模塊和元數據版本管理子模塊；

6、元數據定義子模塊，用于定義日志的數據模型和數據字典并形成多個日志元數據；元數據版本管理子模塊，用于管理目標文件，目標文件用于記錄多個日志元數據的變更信息。

7、本發明提供的分布式數據同步系統，元數據定義子模塊通過構建日志的數據模型與數據字典形成日志元數據，能夠靈活應對多樣化的日志來源與格式。無論是復雜的數據庫變更日志還是格式各異的應用程序日志，都可以基于精準定義的元數據進行統一規范，使得后續的解析、同步操作能夠精準實施，避免因日志格式差異帶來的處理難題，相較于傳統固定格式處理方式，大大增強了系統對不同業務場景下日志數據的兼容性。進一步，通過元數據版本管理子模塊負責管理記錄元數據變更信息的目標文件，一方面，當出現數據同步異常時，可以回溯元數據版本排查是因何種變更引發問題；另一方面，對于新接入的業務模塊或升級的日志格式，能依據版本管理有序過渡，防止因元數據混亂造成系統崩潰，保障了系統穩定持續運行，彌補了傳統技術缺乏元數據有效管控的短板。

8、在一種可選的實施方式中，日志采集模塊，包括：多個日志采集組件和控制子模塊和解析子模塊；

9、控制子模塊，用于通過服務發現機制加載多個日志采集組件，并通過分布式協調服務框架注冊多采集節點；日志采集組件，用于基于多采集節點，監控并采集多個分布式日志信息，并將多個分布式日志信息發送至解析子模塊；解析子模塊，用于利用日志解析規則對多個分布式日志信息進行解析，得到多個目標日志數據。

10、本發明提供的分布式數據同步系統，控制子模塊采用服務發現機制加載多個日志采集組件，使得系統具備極強的擴展性。隨著業務發展，若需要新增針對特殊數據源或新型日志格式的采集功能，只需開發遵循相應接口規范的采集組件，系統就能自動發現并加載，無需對核心架構進行大規模改動，與傳統依賴固定組件配置、難以擴展的模式相比，能夠輕松適應不斷變化的業務環境。進一步，借助分布式協調服務框架注冊多采集節點能夠實現主備切換等功能，確保了日志采集的高可用性。在面對網絡故障、節點硬件損壞等突發狀況時，系統能迅速切換到備用節點繼續采集任務，維持數據的持續流入，徹底解決了傳統單點采集易出現數據中斷、丟失的風險。最后，通過解析子模塊對多個分布式日志信息進行解析并得到對應的多個目標日志數據。

11、在一種可選的實施方式中，同步策略制定模塊，包括：第一確定子模塊、第二確定子模塊、第三確定子模塊和策略制定子模塊；

12、第一確定子模塊，用于根據預設數據要求和多個目標日志數據的數據類型確定同步目標，并將同步目標發送至策略制定子模塊；第二確定子模塊，用于根據多個目標日志數據確定同步方式，并將同步方式發送至策略制定子模塊；第三確定子模塊，用于根據預設業務需求和多個目標日志數據的變更頻率，確定同步頻率，以及將同步頻率發送至策略制定子模塊；策略制定子模塊，用于根據同步目標、同步方式和同步頻率，確定目標同步策略。

13、本發明提供的分布式數據同步系統，第一確定子模塊依據預設數據要求和目標日志數據的數據類型確定同步目標，能夠針對不同業務對數據一致性、實時性的差異化訴求，量身定制同步策略。進一步，第二確定子模塊根據目標日志數據確定同步方式，能夠根據實際數據工況靈活調配，顯著提高數據傳輸效能與系統適應性。進一步，第三確定子模塊結合預設業務需求和目標日志數據的變更頻率確定同步頻率，避免了傳統技術固定頻率同步導致的高峰資源不足、低谷資源閑置問題，實現系統資源的合理配置與高效利用。

14、在一種可選的實施方式中，同步策略制定模塊，還包括：

15、沖突處理子模塊，用于當多個目標日志數據發生沖突，確定優先級和解決規則，并利用優先級和解決規則處理發生的沖突。

16、本發明提供的分布式數據同步系統，當多個目標日志數據發生沖突，無論是因網絡延遲導致不同節點對同一數據的并發更新，還是業務規則變更引發的沖突，通過在沖突處理子模塊中確定優先級和解決規則可以判定有效操作，確保了數據在全局范圍內的一致性，防止了沖突數據進入目標系統造成業務混亂。

17、在一種可選的實施方式中，該系統還包括：

18、第一處理模塊，用于當多個目標日志數據未全部發送至目標系統時，利用預設重試機制控制日志采集模塊采集多個分布式日志信息；第二處理模塊，用于當日志格式更新為原始格式，控制元數據管理模塊獲取新的多個日志元數據。

19、本發明提供的分布式數據同步系統，當部分目標日志數據未全部發送至目標系統時，第一處理模塊利用預設重試機制控制日志采集模塊采集分布式日志信息，通過這種方式確保了數據最終成功傳輸，降低了數據丟失概率，相比傳統缺乏有效重試手段的數據同步，大大增強了傳輸的可靠性與完整性，為網絡抖動、目標系統短暫過載等常見傳輸故障場景提供了有力保障。進一步，當日志格式更新為原始格式，第二處理模塊控制元數據管理模塊獲取新的日志元數據，確保了系統能夠迅速適應日志格式變化，避免了因日志格式不兼容導致的系統停滯，保持了系統的生命力與適應性。

20、在一種可選的實施方式中，該系統還包括：

21、監控與報警模塊，用于對多個目標日志數據的同步過程進行監控并當發現同步失敗或同步延遲時，利用預設報警機制進行報警。

22、本發明提供的分布式數據同步系統，通過監控與報警模塊對多個目標日志數據的同步過程進行監控并在發現同步失敗或同步延遲時利用預設報警機制進行報警，能夠使得運維人員憑借及時警報迅速定位故障點，無論是日志采集環節的卡頓、同步策略執行偏差還是數據傳輸受阻，都能在第一時間介入處理，保障了數據同步的連續性與及時性，改變了傳統技術難以及時察覺同步問題的困境。

23、在一種可選的實施方式中，該系統還包括：測試模塊和優化模塊；

24、測試模塊，用于接收同步策略制定模塊發送的目標同步策略，并對目標同步策略進行測試，得到測試結果以及將測試結果發送至優化模塊；優化模塊，用于根據測試結果優化目標同步策略。

25、本發明提供的分布式數據同步系統，通過測試模塊不斷測試發現同步策略的問題并利用優化模塊針對性優化，使得系統性能不斷提升，始終適配業務發展需求，打破了傳統技術一旦部署難有優化提升的僵局。

26、第二方面，本發明提供了一種分布式數據同步方法，用于上述第一方面或其對應的任一實施方式的分布式數據同步系統；該方法包括：

27、獲取多個日志元數據和多個分布式日志信息；根據多個日志元數據確定日志解析規則；利用日志解析規則對多個分布式日志信息進行解析，得到多個目標日志數據；根據多個目標日志數據制定目標同步策略；根據目標同步策略，將多個目標日志數據發送至目標系統。

28、本發明提供的分布式數據同步方法，通過分布式數據同步系統對分布式數據進行同步傳輸，有效避免了各環節脫節、重復勞動以及錯誤累積等問題，確保整個同步過程高效且穩定。

29、第三方面，本發明提供了一種計算機程序產品，包括計算機指令，計算機指令用于使計算機執行上述第一方面或其對應的任一實施方式的分布式數據同步方法。