專利名稱：用于車輛數(shù)據(jù)接收和實時分析的集群分布式系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及車輛數(shù)據(jù)接收和實時分析領(lǐng)域，具體地，涉及一種用于車輛數(shù)據(jù)接收和實時分析的集群分布式系統(tǒng)及方法。
背景技術(shù)：
隨著我國汽車數(shù)量的不斷增加，需要對大量采集的車輛數(shù)據(jù)進行處理，而現(xiàn)有技術(shù)對車輛數(shù)據(jù)的接受和實時分析時仍采用如圖1所示的方法，在每個匯聚點上進行車輛數(shù)據(jù)的各種分析運算。而采用這樣的方式，在數(shù)據(jù)接收和數(shù)據(jù)分析上都是會有很大的延時，而且當一個匯聚點上的接收或者分析模塊宕機后，在匯聚點修復(fù)之前，整個匯聚點下的所有設(shè)備數(shù)據(jù)接受和分析都會中斷，造成數(shù)據(jù)的丟失或者成批量的數(shù)據(jù)長時間無法分析。

發(fā)明內(nèi)容
本發(fā)明的目的在于，針對上述問題，提出一種用于車輛數(shù)據(jù)接收和實時分析的集群分布式系統(tǒng)及方法，以實現(xiàn)防止因一個匯聚點上的接收或者分析模塊宕機后造成的數(shù)據(jù)傳輸中斷，及因中斷造成的數(shù)據(jù)的丟失或者成批量的數(shù)據(jù)長時間無法分析的優(yōu)點。為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是
一種用于車輛數(shù)據(jù)接收和實時分析的集群分布式系統(tǒng)，包括前端設(shè)備、通信服務(wù)器和分析服務(wù)器，
所述前端設(shè)備收集車輛數(shù)據(jù)； 所述通信服務(wù)器接收上述前端設(shè)備采集的車輛數(shù)據(jù)；
所述分析服務(wù)器接收上述由通信服務(wù)器傳輸?shù)那岸嗽O(shè)備采集的車輛數(shù)據(jù)并進行數(shù)據(jù)處理；
所述多個通信服務(wù)器組合為一個接收集群； 所述多個分析服務(wù)器組合為一個分析集群；
上述接收集群和分析集群中設(shè)置有集群管理器和集群服務(wù)器狀態(tài)列表； 上述集群管理器根據(jù)服務(wù)器的工作負載性能數(shù)值，動態(tài)的分配連接地址，在上述通信服務(wù)器和前端設(shè)備間及分析服務(wù)器和通信服務(wù)器間建立通信，并負責整個集群中服務(wù)器的運行和對外的服務(wù)響應(yīng)；
上述集群服務(wù)器狀態(tài)列表保存上述通信服務(wù)器和分析服務(wù)器自身的實時運行狀態(tài)和性能數(shù)值。一種用于車輛數(shù)據(jù)接收和實時分析的集群分布式的方法，包括以下步驟 前端設(shè)備向接收集群提出連接請求；
上述接收集群中的集群管理器接收到上述請求并根據(jù)接收集群內(nèi)集群服務(wù)器狀態(tài)列表中的通信服務(wù)器的實時運行狀態(tài)和性能數(shù)值計算通信服務(wù)器的工作負載性能數(shù)值； 上述接收集群中的集群管理器根據(jù)上述計算的工作負載性能數(shù)值分配連接地址； 上述接收集群中的集群管理器根據(jù)上述分配的連接地址在通信服務(wù)器與前端設(shè)備間建立通信；
上述接收集群中的集群管理器向分析集群提出連接請求；
上述分析集群中的集群管理器接收上述請求，并根據(jù)分析集群內(nèi)集群服務(wù)器狀態(tài)列表中的分析服務(wù)器的實時運行狀態(tài)和性能數(shù)值計算分析服務(wù)器的工作負載性能數(shù)值； 上述分析集群中的集群管理器根據(jù)上述工作負載性能數(shù)值分配連接地址； 上述分析集群中的集群管理器根據(jù)上述分配的連接地址在分析服務(wù)器和通信服務(wù)器間建立通信。根據(jù)本發(fā)明的優(yōu)選實施例，所述接收集群中的集群管理器接收到上述請求并根據(jù)接收集群內(nèi)集群服務(wù)器狀態(tài)列表中的通信服務(wù)器的實時運行狀態(tài)和性能數(shù)值計算通信服務(wù)器的工作負載性能數(shù)值，包括以下步驟
上述集群管理器從集群服務(wù)器狀態(tài)列表中讀取通信服務(wù)器的實時運行狀態(tài)和性能數(shù)
值；
上述集群管理器分析上述通信服務(wù)器的實時運行狀態(tài)和性能數(shù)值判斷上述集群服務(wù)器狀態(tài)列表中通信服務(wù)器的信息是否及時更新；
如通信服務(wù)器的信息沒有及時更新則從新讀取通信服務(wù)器的實時運行狀態(tài)和性能數(shù)
值；
如通信服務(wù)器的信息得到及時更新集群管理器則根據(jù)上述通信服務(wù)器的信息計算通信服務(wù)器的工作負載性能數(shù)值。根據(jù)本發(fā)明的優(yōu)選實施例，所述分析集群中的集群管理器接收上述請求，并根據(jù)分析集群內(nèi)集群服務(wù)器狀態(tài)列表中的分析服務(wù)器的實時運行狀態(tài)和性能數(shù)值計算分析服務(wù)器的工作負載性能數(shù)值，包括以下步驟
上述集群管理器從集群服務(wù)器狀態(tài)列表中讀取分析服務(wù)器的實時運行狀態(tài)和性能數(shù)
值；
上述集群管理器分析上述分析服務(wù)器的實時運行狀態(tài)和性能數(shù)值判斷上述集群服務(wù)器狀態(tài)列表中分析服務(wù)器的信息是否及時更新；
如分析服務(wù)器的信息沒有及時更新則從新讀取分析服務(wù)器的實時運行狀態(tài)和性能數(shù)
值；
如分析服務(wù)器的信息得到及時更新集群管理器則根據(jù)上述分析服務(wù)器的信息計算分析服務(wù)器的工作負載性能數(shù)值。根據(jù)本發(fā)明的優(yōu)選實施例，所述服務(wù)器的工作負載性能數(shù)值的計算公式如下
F (C, M, N, H, L) = (pl*C + p2*M + p3*N + p4*H + p5*L ) / ( pi + p2 + p3 + p4 +
p5)；
其中F值越高，表示該服務(wù)器的工作負載越重；
C表示CPU使用率，M表示內(nèi)存使用率，N表示網(wǎng)絡(luò)帶寬使用率，H表示硬盤緩存使用率，L表示外部設(shè)備的連接比例，F(xiàn)表示工作負載量，Px表示權(quán)重參數(shù)。本發(fā)明的技術(shù)方案通過將通信服務(wù)器和分析服務(wù)器組合成集群，并在集群中設(shè)置集群管理器和集群服務(wù)器狀態(tài)列表，并對服務(wù)器的工作負載性能數(shù)值進行計算，從而動態(tài)的分配連接地址，使前端設(shè)備和通信服務(wù)器和分析服務(wù)器建立動態(tài)通信，從而避免了因一個匯聚點上的接收或者分析模塊宕機后造成的數(shù)據(jù)傳輸中斷，和因中斷造成的數(shù)據(jù)的丟失或者成批量的數(shù)據(jù)長時間無法分析的缺點。本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細描述。


附圖用來提供對本發(fā)明的進一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中
圖1為現(xiàn)有的車輛數(shù)據(jù)的接受和實時分析的結(jié)構(gòu)系統(tǒng)圖2為本發(fā)明所述的用于車輛數(shù)據(jù)接收和實時分析的集群分布式系統(tǒng)的結(jié)構(gòu)系統(tǒng)圖； 圖3為本發(fā)明所述的用于車輛數(shù)據(jù)接收和實時分析的集群分布式的方法的流程圖； 圖4為本發(fā)明計算通信服務(wù)器工作負載性能數(shù)值的流程圖； 圖5為本發(fā)明計算分析服務(wù)器工作負載性能數(shù)值的流程圖。
具體實施例方式以下結(jié)合附圖對本發(fā)明的優(yōu)選實施例進行說明，應(yīng)當理解，此處所描述的優(yōu)選實施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。如圖2所示，本發(fā)明的技術(shù)方案公開的用于車輛數(shù)據(jù)接收和實時分析的集群分布式系統(tǒng)，包括前端設(shè)備收集車輛數(shù)據(jù)；通信服務(wù)器接收前端設(shè)備采集的車輛數(shù)據(jù)；分析服務(wù)器接收由通信服務(wù)器傳輸?shù)那岸嗽O(shè)備采集的車輛數(shù)據(jù)并進行數(shù)據(jù)處理；多個通信服務(wù)器組合為一個接收集群；多個分析服務(wù)器組合為一個分析集群；接收集群和分析集群中設(shè)置有集群管理器和集群服務(wù)器狀態(tài)列表；集群管理器根據(jù)服務(wù)器的工作負載性能數(shù)值，動態(tài)的分配連接地址，在通信服務(wù)器和前端設(shè)備間及分析服務(wù)器和通信服務(wù)器間建立通信，并負責整個集群中服務(wù)器的運行和對外的服務(wù)響應(yīng)；集群服務(wù)器狀態(tài)列表保存通信服務(wù)器和分析服務(wù)器自身的實時運行狀態(tài)和性能數(shù)值。如圖3所示，本發(fā)明的技術(shù)方案公開的于車輛數(shù)據(jù)接收和實時分析的集群分布式的方法，包括以下步驟
步驟101 前端設(shè)備向接收集群提出連接請求；
步驟102 接收集群中的集群管理器接收到請求并根據(jù)接收集群內(nèi)集群服務(wù)器狀態(tài)列表中的通信服務(wù)器的實時運行狀態(tài)和性能數(shù)值計算通信服務(wù)器的工作負載性能數(shù)值； 步驟103 接收集群中的集群管理器根據(jù)計算的工作負載性能數(shù)值分配連接地址； 步驟104 接收集群中的集群管理器根據(jù)分配的連接地址在通信服務(wù)器與前端設(shè)備間建立通信；
步驟105 接收集群中的集群管理器向分析集群提出連接請求； 步驟106 分析集群中的集群管理器接收請求，并根據(jù)分析集群內(nèi)集群服務(wù)器狀態(tài)列表中的分析服務(wù)器的實時運行狀態(tài)和性能數(shù)值計算分析服務(wù)器的工作負載性能數(shù)值； 步驟107 分析集群中的集群管理器根據(jù)工作負載性能數(shù)值分配連接地址； 步驟108 分析集群中的集群管理器根據(jù)分配的連接地址在分析服務(wù)器和通信服務(wù)器間建立通信。如圖4所示，在步驟102中接收集群中的集群管理器接收到請求并根據(jù)接收集群內(nèi)集群服務(wù)器狀態(tài)列表中的通信服務(wù)器的實時運行狀態(tài)和性能數(shù)值計算通信服務(wù)器的工作負載性能數(shù)值，包括以下步驟
步驟201 集群管理器從集群服務(wù)器狀態(tài)列表中讀取通信服務(wù)器的實時運行狀態(tài)和性能數(shù)值；
步驟202 集群管理器分析通信服務(wù)器的實時運行狀態(tài)和性能數(shù)值判斷集群服務(wù)器狀態(tài)列表中通信服務(wù)器的信息是否及時更新；
如通信服務(wù)器的信息沒有及時更新則從新讀取通信服務(wù)器的實時運行狀態(tài)和性能數(shù)值及返回步驟201 ；
步驟203 如通信服務(wù)器的信息得到及時更新集群管理器則根據(jù)通信服務(wù)器的信息計算通信服務(wù)器的工作負載性能數(shù)值。如圖5所示，步驟106中分析集群中的集群管理器接收請求，并根據(jù)分析集群內(nèi)集群服務(wù)器狀態(tài)列表中的分析服務(wù)器的實時運行狀態(tài)和性能數(shù)值計算分析服務(wù)器的工作負載性能數(shù)值，包括以下步驟
步驟301 集群管理器從集群服務(wù)器狀態(tài)列表中讀取分析服務(wù)器的實時運行狀態(tài)和性能數(shù)值；
步驟302 集群管理器分析分析服務(wù)器的實時運行狀態(tài)和性能數(shù)值判斷集群服務(wù)器狀態(tài)列表中分析服務(wù)器的信息是否及時更新；
如分析服務(wù)器的信息沒有及時更新則從新讀取分析服務(wù)器的實時運行狀態(tài)和性能數(shù)值及返回步驟301 ；
步驟303 如分析服務(wù)器的信息得到及時更新集群管理器則根據(jù)分析服務(wù)器的信息計算分析服務(wù)器的工作負載性能數(shù)值。另外，服務(wù)器的工作負載性能數(shù)值的計算公式如下
F (C, M, N, H, L) = (pl*C + p2*M + p3*N + p4*H + p5*L ) / ( pi + p2 + p3 + p4 +
p5)；
其中F值越高，表示該服務(wù)器的工作負載越重；
C表示CPU使用率，M表示內(nèi)存使用率，N表示網(wǎng)絡(luò)帶寬使用率，H表示硬盤緩存使用率，L表示外部設(shè)備的連接比例，F(xiàn)表示工作負載量，表示權(quán)重參數(shù)。其中服務(wù)器的運行狀態(tài)包括CPU使用率，內(nèi)存使用率，網(wǎng)絡(luò)帶寬使用率，硬盤緩存使用率，接收、分析軟件運行狀態(tài)，外部設(shè)備的連接比例。集群管理器通過分析每一臺服務(wù)器的運行性能來動態(tài)的調(diào)配對外設(shè)備的連接和內(nèi)部分析運算。集群內(nèi)部通信采用TCP通信模式。各個節(jié)點服務(wù)器上的客戶端實時把運行數(shù)值傳輸?shù)郊汗芾砥鳌Ｗ詈螅诠ぷ髫撦d性能數(shù)值計算結(jié)果，在一系列的服務(wù)器中挑選出有哪臺服務(wù)器適合作為最新的接入對象，將接入端口分發(fā)給外部設(shè)備，完成外部設(shè)備與集群的對接。接入集群中每一臺服務(wù)器上的接收軟件與分析集群的對接也是如此，由分析集群的集群管理器動態(tài)分派。
分發(fā)過程中挑選工作負載量最低的服務(wù)器作為外部設(shè)備的接入對象，同時，為了防止出現(xiàn)接入請求密度高時無法及時更新的服務(wù)器狀態(tài)的狀況，一旦連接分發(fā)出去之后在狀態(tài)更新之前就不再對外分發(fā)。一、低工作負載節(jié)點挑選過程；
二、從服務(wù)器狀態(tài)列表中取得最低工作負載的服務(wù)器信息；
三、分析該信息是否及時更新，是否已進行分發(fā)；
四、如果不符合條件，重復(fù)步驟一；
五、把服務(wù)器信息發(fā)送至請求方；
六、在服務(wù)器狀態(tài)列表中進行狀態(tài)標注，標志已分發(fā)出去；
七、等到下一個請求。最后應(yīng)說明的是以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明， 盡管參照前述實施例對本發(fā)明進行了詳細的說明，對于本領(lǐng)域的技術(shù)人員來說，其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換。 凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種用于車輛數(shù)據(jù)接收和實時分析的集群分布式系統(tǒng)，包括前端設(shè)備、通信服務(wù)器和分析服務(wù)器，其特征在于，所述前端設(shè)備收集車輛數(shù)據(jù)； 所述通信服務(wù)器接收上述前端設(shè)備采集的車輛數(shù)據(jù)；所述分析服務(wù)器接收上述由通信服務(wù)器傳輸?shù)那岸嗽O(shè)備采集的車輛數(shù)據(jù)并進行數(shù)據(jù)處理；所述多個通信服務(wù)器組合為一個接收集群； 所述多個分析服務(wù)器組合為一個分析集群；上述接收集群和分析集群中設(shè)置有集群管理器和集群服務(wù)器狀態(tài)列表； 上述集群管理器根據(jù)服務(wù)器的工作負載性能數(shù)值，動態(tài)的分配連接地址，在上述通信服務(wù)器和前端設(shè)備間及分析服務(wù)器和通信服務(wù)器間建立通信，并負責整個集群中服務(wù)器的運行和對外的服務(wù)響應(yīng)；上述集群服務(wù)器狀態(tài)列表保存上述通信服務(wù)器和分析服務(wù)器自身的實時運行狀態(tài)和性能數(shù)值。
2.一種利用權(quán)利要求1所述的用于車輛數(shù)據(jù)接收和實時分析的集群分布式系統(tǒng)的方法，其特征在于，包括以下步驟前端設(shè)備向接收集群提出連接請求；上述接收集群中的集群管理器接收到上述請求并根據(jù)接收集群內(nèi)集群服務(wù)器狀態(tài)列表中的通信服務(wù)器的實時運行狀態(tài)和性能數(shù)值計算通信服務(wù)器的工作負載性能數(shù)值； 上述接收集群中的集群管理器根據(jù)上述計算的工作負載性能數(shù)值分配連接地址； 上述接收集群中的集群管理器根據(jù)上述分配的連接地址在通信服務(wù)器與前端設(shè)備間建立通信；上述接收集群中的集群管理器向分析集群提出連接請求；上述分析集群中的集群管理器接收上述請求，并根據(jù)分析集群內(nèi)集群服務(wù)器狀態(tài)列表中的分析服務(wù)器的實時運行狀態(tài)和性能數(shù)值計算分析服務(wù)器的工作負載性能數(shù)值； 上述分析集群中的集群管理器根據(jù)上述工作負載性能數(shù)值分配連接地址； 上述分析集群中的集群管理器根據(jù)上述分配的連接地址在分析服務(wù)器和通信服務(wù)器間建立通信。
3.根據(jù)權(quán)利要求2所述的用于車輛數(shù)據(jù)接收和實時分析的集群分布式的方法，其特征在于，所述接收集群中的集群管理器接收到上述請求并根據(jù)接收集群內(nèi)集群服務(wù)器狀態(tài)列表中的通信服務(wù)器的實時運行狀態(tài)和性能數(shù)值計算通信服務(wù)器的工作負載性能數(shù)值，包括以下步驟上述集群管理器從集群服務(wù)器狀態(tài)列表中讀取通信服務(wù)器的實時運行狀態(tài)和性能數(shù)值；上述集群管理器分析上述通信服務(wù)器的實時運行狀態(tài)和性能數(shù)值判斷上述集群服務(wù)器狀態(tài)列表中通信服務(wù)器的信息是否及時更新；如通信服務(wù)器的信息沒有及時更新則從新讀取通信服務(wù)器的實時運行狀態(tài)和性能數(shù)值；如通信服務(wù)器的信息得到及時更新集群管理器則根據(jù)上述通信服務(wù)器的信息計算通信服務(wù)器的工作負載性能數(shù)值。
4.根據(jù)權(quán)利要求2所述的用于車輛數(shù)據(jù)接收和實時分析的集群分布式的方法，其特征在于，所述分析集群中的集群管理器接收上述請求，并根據(jù)分析集群內(nèi)集群服務(wù)器狀態(tài)列表中的分析服務(wù)器的實時運行狀態(tài)和性能數(shù)值計算分析服務(wù)器的工作負載性能數(shù)值，包括以下步驟上述集群管理器從集群服務(wù)器狀態(tài)列表中讀取分析服務(wù)器的實時運行狀態(tài)和性能數(shù)值；上述集群管理器分析上述分析服務(wù)器的實時運行狀態(tài)和性能數(shù)值判斷上述集群服務(wù)器狀態(tài)列表中分析服務(wù)器的信息是否及時更新；如分析服務(wù)器的信息沒有及時更新則從新讀取分析服務(wù)器的實時運行狀態(tài)和性能數(shù)值；如分析服務(wù)器的信息得到及時更新集群管理器則根據(jù)上述分析服務(wù)器的信息計算分析服務(wù)器的工作負載性能數(shù)值。
5.根據(jù)權(quán)利要求2、3或4所述的用于車輛數(shù)據(jù)接收和實時分析的集群分布式的方法， 其特征在于，所述服務(wù)器的工作負載性能數(shù)值的計算公式如下F (C, M, N, H, L) = (pl*C + p2*M + p3*N + p4*H + p5*L ) / ( pi + p2 + p3 + p4 +p5)；其中F值越高，表示該服務(wù)器的工作負載越重；C表示CPU使用率，M表示內(nèi)存使用率，N表示網(wǎng)絡(luò)帶寬使用率，H表示硬盤緩存使用率，L表示外部設(shè)備的連接比例，F(xiàn)表示工作負載量，Px表示權(quán)重參數(shù)。
全文摘要
本發(fā)明公開了一種用于車輛數(shù)據(jù)接收和實時分析的集群分布式系統(tǒng)及方法，包括前端設(shè)備、通信服務(wù)器和分析服務(wù)器，多個通信服務(wù)器組合為一個接收集群，多個分析服務(wù)器組合為一個分析集群，接收集群和分析集群中設(shè)置有集群管理器和集群服務(wù)器狀態(tài)列表，通過對服務(wù)器的工作負載性能數(shù)值計算，從而有集群管理器動態(tài)的分配連接地址，在前端設(shè)備、通信服務(wù)器和分析服務(wù)器間建立通信。從而達到避免因一個匯聚點上的接收或者分析模塊宕機后造成的數(shù)據(jù)傳輸中斷，和因中斷造成的數(shù)據(jù)的丟失或者成批量的數(shù)據(jù)長時間無法分析的缺點。
文檔編號H04L29/08GK102510403SQ20111036153
公開日2012年6月20日 申請日期2011年11月15日 優(yōu)先權(quán)日2011年11月15日
發(fā)明者包可為 申請人:江蘇大為科技股份有限公司