專利名稱：一種非平穩Web流的監控、預測與仿真方法
技術領域：
本發明涉及網絡通信技術領域，特別涉及一種用于非平穩Web流的監控、預測與仿真的方法。
背景技術：
網絡流建模是現代通信中的一個基本問題。它對網絡設計、仿真、監控、行為預測， 及為不同應用提供不同的服務質量都具有重要意義。為此，網絡流模型必須能夠準確描述實際通信流的統計特性與時間動態過程。常用的網絡流建模方法主要從以下三方面刻畫網絡流特性統計特征、結構特征與時間特征。統計模型在基于統計方法的統計模型中，統計分布函數用于描述網絡流的統計特征。這一類方法的主要目的是使用已知的統計分布函數或它們的組合來描述網絡流的統計特性，例如流量分布。這些統計特征被認為是是網絡流形成的基本機制，并影響著網絡流的行為表現。在獲得網絡流的統計特征后，這些統計特征被用于改善鏈路的性能、生成仿真網絡流。 典型的統計分布模型包括基于泊松分布的到達過程模型、基于重尾分布(例如=Pareto 分布和Weibull分布)。泊松模型是一種被廣泛應用在傳統電信網絡，并進行通信流分析的模型。它是一種無記憶模型。在一個泊松過程中，到達率服從以λ為參數的指數分布 P{An^t} = l_e_At。泊松模型的潛在假設條件是(1)到達的事件(例如呼叫、分組)來自于大量相互獨立的源，這些源稱為泊松源；( 泊松源的數量接近無限；C3)流到達模式是隨機的。從而模型可以用一個相同的參數λ來表示統計分布的均值和方差。重尾分布是另外一種典型的方法用于描述網絡流。Pareto分布可以用于描述獨立、同分布的分組互到達時間間隔；Weibull分布則被用于描述網絡流的ON和OFF的長度。基于統計分布的網絡流模型的主要缺陷在于(1)這些模型無法反映網絡流在時間域上的動態變化信息；使用統計分布模型產生的仿真流往往與實際網絡流的差異非常大。而且，沒有一種統計分布模型可以描述不同場景下的不同的網絡流。( 統計模型僅能刻畫網絡流的長期平均特征，無法描述網絡流行為的局部細節，特別是那些小概率事件。結構模型結構模型的目的是重現被觀測網絡流的結構特征，例如自相似性、長相關性。這些模型的參數與網絡流的生成機制及網絡行為相關。最早被發現的網絡流結構特征是突發性及大時間尺度的相關性，隨后自相似性、長相關性被廣泛用于描述網絡流的結構特性。這兩種結構特征是傳統泊松過程及馬爾科夫過程無法描述的，但是卻可以在自相似或分形過程中進行描述。在自相似與長相關提出后，許多不同的結構模型被提出并用于刻畫網絡流的自相似性與長相關性。例如經典的0N/0FF模型、M/G/⑴隊列模型、小波模型、分形布朗運動模型等。然而，這些模型存在的問題是幾乎所有這些模型都只關注自相似特性，而它們所提到的自相似特性又都是由一個單一的參數(Hurst)所決定。實際的網絡流往往具有多種不同的尺度變化，使用一個單一的參數來描述不同尺度下的特性變化并不是一種理想的辦法。例如理論上網絡流存在不同的尺度，其擴張因子可以從0—直到⑴。而現有的結構模型在處理尺度問題時，往往只考慮有限個尺度，無法完整地考慮0到⑴的尺度變化。因此，這些模型只能是簡化地表示網絡流而無法完整描述它。已有的研究表明，目前廣泛使用的、單參數的網絡流結構化模型在大尺時是接近的實際網絡流，但在小尺度時，則需要更多的參數。結構模型另一個缺點是它們無法獲得/描述網絡流的時間特性，因此難以用這些模型描述實際場景中隨時間動態變化的網絡流。時間序列模型時間序列模型是一種通用的方法刻畫網絡流的時間動態過程。這一類方法把網絡流看成時間序列，并通過觀測數據訓練得到時間序列模型參數。確定了參數的模型可以用于網絡性能分析和網絡流的重構。典型的時間序列模型包括自回歸移動平均模型、馬爾科夫族模型(例如馬爾科夫到達率模型、馬爾科夫調制源模型)。最近，隱馬爾科夫模型 (hidden markov model, HMM)也被用于網絡流的建模與分析。主要的應用包括使用HMM 刻畫邊界路由器的網絡流特性、利用HMM描述分組信道的狀態、利用HMM分析分組的互到達時間和分組字節數、利用HMM刻畫網絡流的周期性和隨機行為、使用HMM描述分組間的時間相關性并應用于網絡流的異常檢測。這些時間序列模型的主要問題是(1)它們大多是針對平穩網絡流設計的，平穩隨機過程模型適合傳統的網絡環境，卻不適合非平穩流的場景。現代的網絡環境與十年前大不相同，在電子商務及信息網絡化的驅動下，非平穩網絡流成為現代網絡的一大特點，例如在線播放的體育賽事、在線播放的熱點新聞、商務網站的限時搶購(秒殺)等都會產生非平穩突發流。因此，需要設計適合描述現代非平穩網絡流的模型。( 它們都采用平板形的模型結構。這種模型結構易于實現，但難以真實刻畫實際網絡流的分層特性、多尺度特性。難以同時描述長期時間動態過程以及短期突發性。當網絡流變得復雜時，例如非規則性或具有大尺度的變化，這些模型的性能將大打折扣。這些問題導致現有的大部分時間序列模型在處理實際復雜網絡流時，缺乏靈活性和準確性。提高模型性能的一種方法是增加模型的參數，例如增加HMM的隱狀態數。然而，對于大部分數學模型，參數的數量和計算復雜度并不是線性關系，因此，參數的增加往往會導致復雜度的顯著增加，從而使這些方法難以在實際的應用中使用。此外，簡單地增加模型的參數并不能保證性能的提升，例如在 HMM中，當狀態數增加到一定程度時，會發生“過載”問題，即參數的增加不但沒有改進模型的性能，反而損害了模型的描述能力。另外，實際的非平穩網絡流包含了大概率事件和小概率事件。但是由于常用網絡流模型結構的單一化，這些模型往往無法捕抓到實際網絡流中的小概率事件，而只能描述網絡流的大概率事件。如果利用這樣的網絡流模型進行實時的監控、預測或仿真，會產生比較大誤差。而且，在網絡性能評估時，如果忽略了小概率事件，往往會導致不可估計的損失。 例如在非平穩網絡流中，突發的超高流量是屬于小概率事件，如果一個網絡流模型無法準確刻畫這一特點，在使用該網絡流模型進行新業務測試時必然會忽略非平穩網絡流的突發性超高流量場景，最終導致該新業務無法有效應對實際網絡環境中的突發高流量(諸如 限時搶購、秒殺等電子商務活動)。
可見，統計模型與結構模型并不能全面刻畫實際網絡流的時間特性。而現有的時間序列模型由于采用單一的平板化結構，難以描述實際網絡環境下非平穩Web流的時間過程特性。

發明內容
本發明的目的在于克服現有網絡流模型的不足，使用一種新的結構化模型專門用于描述復雜的非平穩Web流，實現有效的監控、預測與仿真。為了達到上述目的，本發明采用了一下技術方案一種非平穩Web流的監控、預測與仿真方法，包括步驟Sl 根據非平穩Web流到達率大小將非平穩Web流劃分為若干不同的階段， 每一階段由一宏狀態集合表示，每一宏狀態具有子狀態集合，宏狀態過程與子狀態過程構成雙狀態鏈模型；步驟S2 用雙層隱馬爾科夫模型來描述上述的雙狀態鏈模型；步驟S3 根據上述雙層隱馬爾科夫模型對非平穩Web流進行監控、預測和仿真。進一步地，步驟Sl中所述的若干階段為波谷階段、過渡階段、波峰階段。進一步地，步驟Sl中所述的子狀態集合相互不交疊。進一步地，步驟S2中，宏狀態過程是不可見的馬爾科夫過程，而且控制相應的子狀態過程，在給定的宏狀態下，子狀態過程也是不可見的馬爾科夫過程，它控制非平穩Web 流在當前宏狀態下的到達率表現。進一步地，所述的雙隱馬爾科夫過程的輸出是突發網絡流的到達率過程，也是該模型唯一可以觀測到的變量。進一步地，步驟S3中所述的監控是在給定一個非平穩流的到達率序列與模型情況下，推斷出對應的隱狀態過程，以及在給定一個非平穩流的到達率序列與模型情況下，測量該到達率序列相對于模型的最大或然概率。進一步地，步驟S3中所述的預測是根據非平穩流的到達率模型預測下一個非平穩流的到達率序列。進一步地，步驟S3中所述的仿真是根據給定的模型，生成非平穩網絡流。與現有技術相比，本發明基于兩層的隱馬爾科夫模型，該技術不依賴模型參數的增加來改進模型的性能，而是通過調整模型的結構使它更適合描述非平穩Web流。因此，在相同復雜度的情況，該發明技術在描述非平穩網絡流方面具有比現有其它時間序列模型更好的性能。


圖1是雙層隱馬爾科夫模型示意圖；圖2是實現非平穩網絡流仿真的流程圖。
具體實施例方式
下面根據附圖對本發明進行詳細描述。
本發明采用以下技術方案
非平穩Web流的建模方法考慮到網絡流的日變化及其突發性，本發明根據非平穩網絡流的到達率大小把網絡流分為若干個不同的階段，例如波谷階段、過渡階段、波峰階段。非平穩網絡流在任一時刻的到達率都可以歸入這三個階段中的一個。流量階段隨時間的變化構成了 “階段過程”， 它是一個時間序列。因此，網絡流隨時間的長期變化趨勢可以用“階段過程”來表示，也就是“階段過程”刻畫了非平穩網絡流的粗輪廓。不同的“階段”可以視為產生不同類型的非平穩Web流的潛在機制；“階段”之間的跳轉表示非平穩Web流觸發機制發生了變化，例如 從波谷到過渡階段、從過渡階段到波峰階段。每一個階段都具有自己的流量特性，例如在波谷階段，網絡流到達率的波動僅在一個小范圍變化；在過渡階段，到達率可能從小值變化到大值或從大值下降；而在波峰階段，到達率則在比較大的區間內波動。由于在一個給定的階段內，網絡流的波動相對比較穩定，因此可以用不同的平穩隨機過程來描述不同階段內的網絡流變化過程。因此，可以采用下述的兩層隨機過程模型來描述非平穩Web流的時間動態過程。定義宏狀態集合表示非平穩Web流不同的流量階段，例如=MS1表示波谷階段、MS2 表示過渡階段、M&表示波峰階段。每一個宏狀態具有自己的子狀態集合，這些子狀態控制非平穩Web流在該宏狀態出現期間的小尺度波動。假設每一個宏狀態內包含一個子狀態過程，不同宏狀態所包含的子狀態集合相互不交疊。當系統進入一個宏狀態時，將觸發一個新的子狀態過程，這個子狀態過程將控制非平穩Web流在當前宏狀態下的表現，即宏狀態過程與子狀態過程構成了一個雙狀態鏈，這個雙狀態鏈的每一步輸出都對應一個非平穩Web流的到達率。因此，這個雙狀態鏈可以視為生成非平穩Web流到達率過程的觸發機制，但該雙狀態鏈是不可見的，它的參數(包括宏/子狀態轉移概率、子狀態輸出概率)只能通過觀測到的非平穩Web流到達過程來估計。模型的公式化方法對于上述的雙狀態鏈模型，當假設宏狀態鏈與子狀態鏈都是馬爾科夫鏈時，上述用于描述非平穩網絡流的雙狀態鏈模型等價于一個兩層隱馬爾科夫模型來表示(1)宏狀態過程是不可見的馬爾科夫過程，而且控制相應的子狀態過程；(2)在給定的宏狀態下，子狀態過程也是不可見的馬爾科夫過程，它控制非平穩 Web流在當前宏狀態下的到達率表現；(3)這個雙馬爾科夫過程的輸出是突發網絡流的到達率過程，也是該模型唯一可以觀測到的變量。根據本發明的設計目的，對于這個兩層隱馬爾科夫模型，我們關注以下問題(1)給定一個實際的非平穩Web流，如何估計兩層隱馬爾科夫模型的參數；(2)給定一個兩層隱馬爾科夫模型，如何計算觀測到的非平穩網絡流相對于模型的或然概率；(3)給定一個兩層隱馬爾科夫模型，如何生成非平穩Web流的仿真流；本發明使用的符號如表1所示。
權利要求
1.一種非平穩Web流的監控、預測與仿真方法，其特征在于包括步驟Sl 根據非平穩Web流到達率大小將非平穩Web流劃分為若干不同的階段，每一階段由一個宏狀態表示，每一個宏狀態具有子狀態集合，宏狀態過程與子狀態過程構成雙狀態鏈模型；步驟S2 用雙層隱馬爾科夫模型來描述上述的雙狀態鏈模型；步驟S3 根據上述雙層隱馬爾科夫模型對非平穩Web流進行監控、預測和仿真。
2.根據權利要求1所述的非平穩Web流的監控、預測與仿真方法，其特征在于步驟Sl 中所述的若干階段為波谷階段、過渡階段、波峰階段。
3.根據權利要求1所述的非平穩Web流的監控、預測與仿真方法，其特征在于步驟Sl 中所述的子狀態集合相互不交疊。
4.根據權利要求1所述的非平穩Web流的監控、預測與仿真方法，其特征在于步驟 S2中，宏狀態過程是不可見的馬爾科夫過程，而且控制相應的子狀態過程，在給定的宏狀態下，子狀態過程也是不可見的馬爾科夫過程，它控制非平穩Web流在當前宏狀態下的到達率表現。
5.根據權利要求4所述的非平穩Web流的監控、預測與仿真方法，其特征在于所述的雙隱馬爾科夫過程的輸出是突發網絡流的到達率過程，也是該模型唯一可以觀測到的變量。
6.根據權利要求1所述的非平穩Web流的監控、預測與仿真方法，其特征在于步驟S3 中所述的監控是在給定一個非平穩流的到達率序列與模型情況下，推斷出對應的隱狀態過程，以及在給定一個非平穩流的到達率序列與模型情況下，測量該到達率序列相對于模型的最大或然概率。
7.根據權利要求1所述的非平穩Web流的監控、預測與仿真方法，其特征在于步驟S3 中所述的預測是根據非平穩流的到達率模型預測下一個非平穩流的到達率序列。
8.根據權利要求1所述的非平穩Web流的監控、預測與仿真方法，其特征在于步驟S3 中所述的仿真是根據給定的模型，生成非平穩網絡流。
全文摘要
本發明所設計的兩層隱馬爾科夫模型是一種結構化的模型，它克服了現有單步平板結構的時間序列模型的缺點，通過結構化的模型實現對復雜、多層次的非平穩流的描述。在相同參數下，兩層隱馬爾科夫模型描述非平穩流的性能優于現有的其它時間序列模型。基于本發明所設計的方法，可以在真實網絡環境下，在線實現非平穩網絡流的監控與預測，從而改善網絡負載均衡，提升網絡的服務質量與用戶體驗。該方法也可以用來產生非平穩網絡流的仿真流，用于對即將投入運營的網絡服務、設備進行性能測試。
文檔編號H04L12/24GK102571432SQ20121000674
公開日2012年7月11日 申請日期2012年1月10日 優先權日2012年1月10日
發明者謝逸 申請人:中山大學