本文中公開的主題總體上涉及在無線通信系統中實現數據準備的領域。特別地,本文中公開的主題涉及在無線通信平臺(諸如在應用使能層)中實現數據準備。本說明書在無線通信網絡中定義了:數據準備配置實體;數據準備實體;數據準備配置實體中的方法;以及數據準備實體中的方法。
背景技術:
1、經由網絡數據分析功能(nwdaf)的引入,將分析和人工智能(ai)/機器學習(ml)部署在5g核心網中。考慮支持各種分析類型,這些類型可以使用不同的分析id(例如“ue移動性”、“nf負載”)被區分,這在第三代合作伙伴計劃(3gpp)技術規范ts23.288中被進一步闡述。
2、每個nwdaf可以支持一個或多個分析id,并且可以具有以下作用:ai/ml推理,被稱為nwdaf分析邏輯功能(anlf);ai/ml訓練,被稱為nwdaf模型訓練邏輯功能(mtlf);或這兩者。nwdaf?anlf(或簡稱anlf)和nwdaf?mtlf(或簡稱mtlf)表示被單獨或組合部署的邏輯功能。支持使用ai/ml模型的的特定分析id推理的anlf訂閱對應的mtlf,該mtlf負責訓練被用于相應分析id的相同ai/ml模型。
3、nwdaf中包含的分析id依賴于各種數據輸入源,包括來自5g核心網功能(nf)、應用功能(af)、5g核心存儲庫(例如,網絡存儲庫功能(nrf)、用戶數據管理器(udm)等)的數據、以及操作管理和維護(oam)數據(例如,性能測量(pm)/kpi、配置管理(cm)數據、警報等)。anlf中包含的分析id可以向5g核心nf、af、5g核心存儲庫(例如,udm、用戶數據存儲庫(udr)分析數據存儲庫功能(adrf)或oam管理服務(mns)消費者或管理功能(mf))提供分析輸出結果。mtlf和anlf可以交換ai/ml模型(例如經由序列化、容器化等方式),包括相關模型信息。可選地,可以涉及數據收集協調功能(dccf)和消息傳遞框架適配器功能(mfaf),以向各種數據源分發和從各種數據源收集重復數據。
4、此外,在邊緣/應用側、在應用數據分析使能器服務(3gpp?tr?23.700-36中定義的adaes)處或通常在應用側(垂直應用層(val)服務器或應用)處提供分析(其可以是使能ml的),其中數據可以由多個數據源(包括5gc、oam、mec、val層、用戶設備(ue))收集。在某些部署中,adae服務器可以重新使用用于數據收集協調、遞送和存儲的現有3gpp數據分析框架。
5、數據準備是ml模型生命周期中的必要步驟,并且是準備原始數據以用于進一步處理和分析的過程。關鍵步驟包括收集、清洗并標記原始數據為適合于機器學習(ml)算法的形式,并且然后探索和可視化數據。根據oran(o-ran.wg2.aiml?v01.03),數據準備取決于采用的用例(即,分析類型)和ai/ml模型架構,并且可能具有關于模型性能的影響。
6、如果來自異構數據源的類似數據在暴露給數據消費者之前需要一些準備,則也可以使用數據準備。這可能需要確保數據質量,并且如果數據缺失,則需要主動執行數據恢復機制,以避免數據消費者(例如,其可以是分析功能或優化功能)具有由可能的數據質量問題的一些影響。例如,val服務器或ue可以提供qoe數據;sealdd可以提供qoe數據;并且oam還可以提供kpi監測數據。數據準備可以格式化/處理由不同源接收到的數據,并且可以提供具有需要的數據特性的統一的數據的集合。
技術實現思路
1、在3gpp中采用使能ml的分析時,需要考慮一些數據準備,特別是由于各種數據是從不同類型的源收集的事實,不同類型的源包括ue、網絡功能、管理實體、應用。這樣的數據可以被用于ml模型訓練和/或推理,并且需要確保數據的質量是最優的,以避免模型漂移。
2、然而,目前,在3gpp架構中(考慮sa2和sa6兩者),沒有關于數據準備的考慮,而數據準備是分析的第一步,顯著地影響分析性能。數據準備負責(i)了解數據的特性,即收集關于數據的信息,例如數據類型、范圍等,(ii)確定數據是否遭受質量問題,例如錯誤或缺失值,并且對其進行處理,以及(iii)格式化和標記數據,還出于訓練目的而準備數據集。數據準備可以將來自ue、網絡和應用源的原始數據預處理為可以為ai/ml模型訓練和推理階段兩者而提供的數據格式。原始數據源可以包括以下類型的數據:數字——允許算術運算的真實數據的值;區間——允許排序和減法的值,例如時間窗;序號——允許排序但不允許算術運算的值,例如體驗質量(qos)為低、中、高;布爾值——二進制值,例如0和1;范疇——無法被排序或執行算術運算的有限值的集合,例如ue、mico;文本——自由形式的文本數據,例如名稱或標識符。
3、數據準備可以還需要指導,根據以下項來提供關于如何處理低數據質量的支持:i)對數據特性的分析,ii)使用這樣的數據的ai/ml模型的類型,iii)外部工具或數據源的可用性。這樣的指導可以依賴于由5g?nf、包括第三方的af和其他網絡工具提供的輸入。
4、實現特定的解決方案可以依賴于預配置或“封閉”的機制來處理數據準備,或者可以是供應方特定的。然而,預配置、“封閉”或供應方特定的解決方案可能無法處理未知問題,并且可能引入針對準備數據的開銷,這些數據只能由特定的nwdaf使用,不能與其他供應方共享。數據準備也可以涵蓋兩種類型的nwdaf,即分別是用于訓練的mtlf和用于推理的anlf,它們可以由不同的供應方部署。因此,可能需要協調數據準備的配置,并且如果不存在專用功能,則需要在mtlf和anlf兩者處都存在這種邏輯,從而引入更高的開銷。此外,實現特定的解決方案限制了與其他工具的交互(例如,數字孿生或沙盒)、或與5g?nf、來自第三方的af、和oam(其可以由不同的管理參與者提供)的交互。
5、總之,糟糕和不準確的數據準備可能會降低引入模型漂移的ai/ml的性能,而具有開放控制的數據準備可以基于數據的類型、用于給定分析事件的數據的使用、消費者的類型、數據源簡檔被定制。
6、盡管在dccf/mfaf中引入了當前3gpp架構中的格式化和/或處理的概念,如ts23.288第5a.4條所述,這些概念可以由數據消費者在請求中提供,但格式化和/或處理并不涉及數據準備。格式化確定了何時向消費者發送通知,例如,考慮事件觸發的時間,這一過程與將數據轉換為針對ai/ml模型有用的形狀無關。另一方面,處理指令允許對通知進行匯總,以減少被報告給數據消費者的數據量。處理結果是將來自多個通知的信息匯總到公共報告中。因此,處理還關注數據收集優化,而不是針對ai/ml模型的數據準備使用。
7、附加地,雖然數據準備的概念在itu-t?y.3172(06/2019)中作為預處理器節點或邏輯實體被引入,該預處理器節點或邏輯實體負責清洗數據、聚合數據或執行數據以適當形式所需要的任何其他預處理,以使得ml模型可以使用它。itu-t?y.3172主要討論了ml管道控制,即,如何將預處理器與其他ml相關實體相結合。然而,引入包括具有標準化接口的相應控制的數據準備實體來控制數據準備(即,允許與其他nf、af、oam、工具和第三方的接入和交互)仍然是一個開放的問題。這種數據準備與控制可以在各種分析功能(adaes、nwdaf)之間提供數據共享,并且可以在數據準備面臨數據質量問題時增強解決方案選項。此外,針對當ue是針對實時數據的數據源時的情況,數據準備是挑戰性的任務,這需要智能和基于策略的配置,以確保來自ue的數據收集是足夠的,并且及時地被提供給網絡側,以允許準確的預測。
8、本文中公開了無線通信系統中的針對數據準備過程。上述過程可以由以下項來實現:無線通信系統中的數據準備配置實體;無線通信系統中的數據準備實體;數據準備配置實體中的方法,該數據準備配置實體位于無線通信系統中;以及數據準備實體中的方法,該數據準備實體位于無線通信系統中。
9、提供了一種無線通信系統中的數據準備配置實體,該數據準備配置實體包括:被布置為接收針對應用層數據處理管理的請求的收發器,該請求包括針對管理來自至少一個數據源的原始數據的要求;以及被布置為基于針對應用層數據處理管理的請求來配置數據準備配置的至少一個參數的處理器,該至少一個參數包括用于準備需要的數據的信息。
10、還提供了一種無線通信系統中的數據準備實體,該數據準備實體包括:被布置為接收數據準備配置的收發器,該數據準備配置包括至少一個參數,該至少一個參數包括用于準備需要的數據的信息,該需要的數據是從至少一個數據源所需要的,其中收發器還被布置為從至少一個數據源接收原始數據;被布置為基于數據準備配置來處理原始數據的處理器;并且其中處理器還被布置為控制收發器發送指示原始數據和/或經處理的數據的數據質量問題的報告。
11、還提供了一種數據準備配置實體中的方法,該數據準備配置實體位于無線通信系統中,該方法包括:接收針對應用層數據處理管理的請求,該請求包括針對管理來自至少一個數據源的原始數據的要求;以及基于針對應用層數據處理管理的請求來配置數據準備配置的至少一個參數,該至少一個參數包括用于準備需要的數據的信息。
12、還提供了一種數據準備實體中的方法,該數據準備實體位于無線通信系統中,該方法包括:接收數據準備配置,該數據準備配置包括至少一個參數,該至少一個參數包括用于準備需要的數據的信息,該需要的數據是從至少一個數據源所需要的;從至少一個數據源接收原始數據;基于數據準備配置來處理原始數據;以及發送指示原始數據和/或經處理的數據的數據質量問題的報告。
13、數據準備配置實體可以是無線通信系統的網絡節點,該網絡節點可以包括網絡的擴展概念內的使能層/應用層實體。數據準備配置實體本身也可以是數據準備實體。數據準備實體可以在ue/設備側,即,應用實體。在一些實施例中,數據準備配置實體和數據準備實體可以是新val數據收集管理功能的能力,并且在另外的實施例中,可以被部署為增強型新seal或sealdd服務。