公務(wù)員期刊網(wǎng) 精選范文 網(wǎng)絡(luò)流量分析的方法范文

    網(wǎng)絡(luò)流量分析的方法精選(九篇)

    前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的網(wǎng)絡(luò)流量分析的方法主題范文,僅供參考,歡迎閱讀并收藏。

    網(wǎng)絡(luò)流量分析的方法

    第1篇:網(wǎng)絡(luò)流量分析的方法范文

    關(guān)鍵詞 流量;分類;檢測(cè);統(tǒng)計(jì);分析

    中圖分類號(hào) TN91 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708(2016)166-00104-01

    近年來寬帶網(wǎng)絡(luò)一直保持高速增長(zhǎng),光纖到桌面已基本實(shí)現(xiàn),但網(wǎng)絡(luò)中巨大的流量會(huì)對(duì)網(wǎng)絡(luò)產(chǎn)生怎樣的影響,這些流量是如何構(gòu)成的,始終是一個(gè)問題。通過對(duì)寬帶流量的分析我們可以知道流量的源頭和目的、知道協(xié)議分布、知道端口情況、知道通信經(jīng)營(yíng)指標(biāo)等、當(dāng)然最重要的還有數(shù)據(jù)的安全性。

    不同的網(wǎng)絡(luò),不同觀察點(diǎn),不同時(shí)間的網(wǎng)絡(luò)流量因網(wǎng)絡(luò)規(guī)模,業(yè)務(wù)種類,用戶構(gòu)成和使用習(xí)慣的不同而不同,甚至受突發(fā)事件的影響,網(wǎng)絡(luò)流量在體量規(guī)模,構(gòu)成成分和比例上都有所不同。一個(gè)好的流量分類分析系統(tǒng),應(yīng)滿足部署位置上的可移植性,流量規(guī)模的可伸縮性,時(shí)間演進(jìn)的自適應(yīng)性。這時(shí)系統(tǒng)不僅需要采用先進(jìn)的分類技術(shù),也需要代表性的訓(xùn)練數(shù)據(jù)集來確定系統(tǒng)運(yùn)行參數(shù)。數(shù)據(jù)集主要采用2種方式:PCAP格式和NETFLOW格式,前者捕獲的是包級(jí)記錄,后者則是關(guān)于流級(jí)得統(tǒng)計(jì)信息記錄。

    寬帶流量的分析和檢測(cè)首先要進(jìn)行流量的采集,這項(xiàng)工作可以通過交換機(jī)或路由器的鏡像端口實(shí)現(xiàn),也可以通過光纜分光的方式實(shí)現(xiàn)。對(duì)捕獲的數(shù)據(jù)進(jìn)行計(jì)算和統(tǒng)計(jì),并把統(tǒng)計(jì)數(shù)據(jù)寫入數(shù)據(jù)庫(kù),定期形成網(wǎng)絡(luò)性能和流量參數(shù)的報(bào)表,用作分析的依據(jù),在形成足夠數(shù)量的報(bào)表數(shù)據(jù)后,可以分析數(shù)據(jù)和系統(tǒng)性能變化的趨勢(shì),判斷網(wǎng)絡(luò)是否存在瓶頸,并依據(jù)經(jīng)驗(yàn),形成經(jīng)驗(yàn)數(shù)據(jù)庫(kù),使網(wǎng)管系統(tǒng)具備學(xué)習(xí)的基礎(chǔ)和能力。在出現(xiàn)告警或異常情況時(shí),可用來分析對(duì)比,判斷是否出現(xiàn)了網(wǎng)絡(luò)的攻擊和入侵,判斷惡意數(shù)據(jù)出現(xiàn)的源頭和特征,足夠數(shù)量的數(shù)據(jù)報(bào)表也可以指導(dǎo)各類應(yīng)急預(yù)案的制定,在出現(xiàn)異常情況時(shí)可按照事先擬定的規(guī)則進(jìn)行處理。

    對(duì)于寬帶流量的分析和分類,系統(tǒng)需要進(jìn)行統(tǒng)計(jì)模型的學(xué)習(xí),統(tǒng)計(jì)模型的學(xué)習(xí)可以分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)方法。所謂的監(jiān)督學(xué)習(xí)是需要使用已經(jīng)標(biāo)注過的數(shù)據(jù)集合作為經(jīng)驗(yàn)知識(shí),對(duì)寬帶流量的參數(shù)和算法進(jìn)行訓(xùn)練;而非監(jiān)督學(xué)習(xí)則不需要使用已經(jīng)標(biāo)注過的數(shù)據(jù)集進(jìn)行訓(xùn)練,只是根據(jù)相關(guān)算法對(duì)寬帶流量集進(jìn)行匯聚。對(duì)數(shù)據(jù)集的訓(xùn)練過程中需要由經(jīng)驗(yàn)豐富的專家參與,并進(jìn)行大量的基礎(chǔ)數(shù)據(jù)分析工作,網(wǎng)絡(luò)經(jīng)驗(yàn)數(shù)據(jù)集是流量分析的重要構(gòu)成因素。在實(shí)際分析過程中,由于寬帶核心網(wǎng)絡(luò)的流量巨大,所以高性能的預(yù)處理路由器和大規(guī)模刀片服務(wù)器必不可少。為了提高分析效率,可以只分析單向流量,并且在預(yù)處理過程中將IP數(shù)據(jù)報(bào)文的載荷去掉。但由于各種網(wǎng)絡(luò)協(xié)議不斷演進(jìn),加密的流量不斷增加,各種新應(yīng)用不斷出現(xiàn),網(wǎng)絡(luò)數(shù)據(jù)集的標(biāo)注也變得越來越困難。

    網(wǎng)絡(luò)流量的分類和分析中對(duì)于標(biāo)準(zhǔn)協(xié)議的分析最為準(zhǔn)確,可根據(jù)TIP/IP協(xié)議簇中標(biāo)準(zhǔn)的服務(wù)端口號(hào)對(duì)流量報(bào)文進(jìn)行匹配,并根據(jù)端口號(hào)的不同將流量對(duì)應(yīng)為不同的應(yīng)用。非標(biāo)準(zhǔn)協(xié)議可以使用DPI(深度包檢測(cè))在應(yīng)用層對(duì)流量進(jìn)行特征字符串的分析匹配,由于不同的應(yīng)用在TCP/UDP的數(shù)據(jù)包中包含特征字符串,因此在掌握的不同網(wǎng)絡(luò)應(yīng)用的特征字符串后,可以將網(wǎng)絡(luò)流量精確的分類和匹配,缺點(diǎn)是需要消耗較多的系統(tǒng)資源。但很多網(wǎng)絡(luò)應(yīng)用的特征字符串難找易變,代表性差及加密度高等問題,也導(dǎo)致誤檢率和檢全率下降。流量分析監(jiān)控和網(wǎng)絡(luò)應(yīng)用的發(fā)展一直是不斷演變的矛盾。

    基于協(xié)議的分類方法需要分析每種協(xié)議的特定的行為特性,標(biāo)準(zhǔn)的通信協(xié)議易于掌握,私有協(xié)議比如P2P或VOIP等基于軟硬件客戶端的應(yīng)用則會(huì)有較多的變化,或進(jìn)行加密使用就會(huì)影響流量分析的效果,甚至無法識(shí)別。有時(shí)同一應(yīng)用軟件的不同版本間也會(huì)出現(xiàn)不同的流量特征,即版本的變化會(huì)造成協(xié)議特征的變化。另外,網(wǎng)絡(luò)中的單向流量、數(shù)據(jù)的時(shí)延、抖動(dòng)都會(huì)對(duì)流量分析的算法產(chǎn)生影響。以上這些因素都是流量分析的難點(diǎn)和痛點(diǎn)。

    運(yùn)營(yíng)商的骨干網(wǎng)絡(luò)逐漸向扁平化發(fā)展,網(wǎng)絡(luò)出口的數(shù)量增加和結(jié)構(gòu)日趨復(fù)雜,及動(dòng)態(tài)路由算法的大量使用,使得網(wǎng)絡(luò)流量在多條鏈路或多個(gè)不同ISP之間動(dòng)態(tài)調(diào)配,導(dǎo)致在某個(gè)觀察點(diǎn)只能得到部分流量,這對(duì)于依賴雙向流量特征的分析方法無法實(shí)施。基于P2P的應(yīng)用目前也在不斷擴(kuò)大,P2P的發(fā)展使得應(yīng)用和傳輸分離,應(yīng)用端點(diǎn)和傳輸分離,打破了原有的B/S或C/S的傳統(tǒng)傳輸模式,多源頭并發(fā)傳輸使得流量特征模糊化,使得數(shù)據(jù)采集的有效性無法保障。還有一些網(wǎng)絡(luò)應(yīng)用為了逃避被檢測(cè)到,常常采用已知協(xié)議的方法,例如FTP、HTTP、POP3等,由于IP地址的區(qū)分,冒用已知協(xié)議并不會(huì)影響正常網(wǎng)絡(luò)通信,但給流量分析帶來很大難度。

    寬帶網(wǎng)絡(luò)流量分析不僅可以使我們可以清楚的知道網(wǎng)絡(luò)流量的內(nèi)容,還可以為網(wǎng)絡(luò)建設(shè)、網(wǎng)絡(luò)優(yōu)化、運(yùn)營(yíng)管理、網(wǎng)絡(luò)安全保障提供依據(jù)和手段。同時(shí),網(wǎng)絡(luò)應(yīng)用在不斷推陳出新,各種私有化的協(xié)議和加密方法不斷出現(xiàn),且由于用戶接入帶寬的不斷提高,核心網(wǎng)流量呈幾何速度增長(zhǎng),這些因素在客觀上也大大增加了網(wǎng)絡(luò)流量分析的難度和成本。現(xiàn)有的網(wǎng)絡(luò)流量分析再次面臨挑戰(zhàn),網(wǎng)絡(luò)流量的分析研究工作需要不斷深入進(jìn)行。

    參考文獻(xiàn)

    [1]Nader F.Mir.計(jì)算機(jī)與通信網(wǎng)絡(luò)[M].潘淑文,等,譯.北京:中國(guó)電力出版社,2010,1.

    [2]余浩,徐明偉.P2P流檢測(cè)技術(shù)研究綜述[J].清華大學(xué)學(xué)報(bào),2009(4):610-620.

    第2篇:網(wǎng)絡(luò)流量分析的方法范文

    【關(guān)鍵詞】 分層網(wǎng)絡(luò) 交換機(jī) 設(shè)計(jì)規(guī)格

    一、前沿

    選擇交換機(jī)硬件時(shí),應(yīng)確定核心層、分布層和接入層分別需要何種交換機(jī)來滿足網(wǎng)絡(luò)帶寬需求,應(yīng)考慮未來的帶寬需。應(yīng)購(gòu)買合適的交換機(jī)硬件來滿足當(dāng)前及未來的帶寬需求。為了更準(zhǔn)確地選擇合適的交換機(jī),要定期執(zhí)行和記錄流量分析。

    二、流量分析

    流量分析是測(cè)量網(wǎng)絡(luò)帶寬使用率并分析相關(guān)數(shù)據(jù)來調(diào)整性能、規(guī)劃容量并作出硬件升級(jí)決策的過程,流量分析是通過流量分析軟件來實(shí)現(xiàn)的。盡管對(duì)網(wǎng)絡(luò)流量并沒有確切的定義,但為了便于理解流量分析,可以理解為網(wǎng)絡(luò)流量是指在一定時(shí)間內(nèi)通過網(wǎng)絡(luò)發(fā)送的數(shù)據(jù)量。所有的網(wǎng)絡(luò)數(shù)據(jù)無論來自何方,無論發(fā)往何處,都是流量的一部分。監(jiān)控網(wǎng)絡(luò)流量的方法有許多種。可以手工監(jiān)控各個(gè)交換機(jī)端口來收集一段時(shí)間內(nèi)的帶寬利用率。在分析流量數(shù)據(jù)時(shí),可能根據(jù)每天特定時(shí)段的流量以及大部分?jǐn)?shù)據(jù)的來源和目的地來確定未來的流量需求。但是,為了獲得準(zhǔn)確地結(jié)果,需要記錄足夠的數(shù)據(jù)。手工記錄流量數(shù)據(jù)是件費(fèi)時(shí)費(fèi)力的機(jī)械活,市面上有一些自動(dòng)化的解決方案。

    三、分析工具

    現(xiàn)在市面上有許多流量分析攻擊可以將流量數(shù)據(jù)自動(dòng)記錄到數(shù)據(jù)庫(kù)中,并執(zhí)行趨勢(shì)分析。在大型網(wǎng)絡(luò)中,采用軟件收集解決方案是唯一有效的流量分析方式。通過軟件收集數(shù)據(jù)時(shí),可以看到在給定的時(shí)間內(nèi)網(wǎng)絡(luò)上每個(gè)接口的運(yùn)行狀況。通過輸出的圖表,可以直觀的發(fā)現(xiàn)流量問題。比用柱狀表示的流量數(shù)據(jù)更容易理解。

    四、用戶群分析

    用戶群分析是確定各類用戶群體及其對(duì)網(wǎng)絡(luò)性能的影響的過程,用戶的分組方式會(huì)影響與端口密度和流量有關(guān)的問題,進(jìn)而影響網(wǎng)絡(luò)交換機(jī)的選擇。

    在典型的辦公樓中,一般根據(jù)終端用戶的職能對(duì)其進(jìn)行分組,這是因?yàn)橄嗤毮苡脩羲柙L問的資源和應(yīng)用程序也大體相同。每個(gè)部門的用戶數(shù)、應(yīng)用程序需求以及需要通過網(wǎng)絡(luò)訪問的可用數(shù)據(jù)資源各有不同。不僅要查看網(wǎng)絡(luò)中指定交換機(jī)上的設(shè)備數(shù)量,還應(yīng)該調(diào)查終端用戶應(yīng)用程序生產(chǎn)的網(wǎng)絡(luò)流量。有些用戶群使用產(chǎn)生大量網(wǎng)絡(luò)流量的應(yīng)用程序,而其他用戶則不然,通過測(cè)量不同用戶群使用的所有應(yīng)用程序所生成的網(wǎng)絡(luò)流量并確定數(shù)據(jù)源的位置,可以確定增加用戶對(duì)該用戶群的影響。

    小企業(yè)中工作組大小的用戶群僅用幾臺(tái)交換機(jī)提供支持,通常連接到服務(wù)器所在的交換機(jī)上。在中型企業(yè)中,用戶群由許多交換機(jī)提供支持。中型企業(yè)用戶群所需的資源可能位于地理上分散的若干區(qū)域中。因此,用戶群的位置會(huì)影響數(shù)據(jù)存儲(chǔ)和服務(wù)器的位置。分析用戶群的應(yīng)用程序使用率的難題之一是使用率并非純粹取決于用戶所在的部門或地理位置。還需要分析應(yīng)用程序穿越多臺(tái)網(wǎng)絡(luò)交換機(jī)所帶來的負(fù)面影響。并據(jù)此確定總體影響。

    五、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)服務(wù)器分析

    在分析網(wǎng)絡(luò)流量時(shí),應(yīng)考慮數(shù)據(jù)存儲(chǔ)和服務(wù)器的位置,以便確定它們對(duì)網(wǎng)絡(luò)流量的影響。數(shù)據(jù)存儲(chǔ)可以是服務(wù)器、存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)、網(wǎng)絡(luò)連接存儲(chǔ)(NAS)、磁帶備份設(shè)備或任何其他存儲(chǔ)大量數(shù)據(jù)的設(shè)備或組件。

    在考慮數(shù)據(jù)存儲(chǔ)和服務(wù)器的流量時(shí),應(yīng)同時(shí)考慮客戶端到服務(wù)器的流量和服務(wù)器到服務(wù)器的流量。通過觀察不同用戶群使用的各種應(yīng)用程序的數(shù)據(jù)路徑,可以找到潛在的瓶頸,確定在哪些地方因?yàn)閹挷蛔銜?huì)影響應(yīng)用程序的性能。為改善性能,可以聚合鏈路來提供帶寬,或者使用能夠處理流量負(fù)載的快速交換機(jī)來取代慢速交換機(jī)。

    六、拓?fù)浣Y(jié)構(gòu)圖

    拓?fù)浣Y(jié)構(gòu)圖是網(wǎng)絡(luò)基礎(chǔ)架構(gòu)的圖形表現(xiàn)形式,拓?fù)浣Y(jié)構(gòu)圖顯示所有的交換機(jī)如何互連,乃至詳細(xì)到哪個(gè)交換機(jī)端口與設(shè)備互連。拓?fù)浣Y(jié)構(gòu)圖以圖形的形式顯示交換機(jī)之間用于提供災(zāi)難恢復(fù)和性能增強(qiáng)的任何冗余路徑或聚合端口,顯示網(wǎng)絡(luò)中交換機(jī)的位置和數(shù)目并標(biāo)出交換機(jī)的配置。通過拓?fù)浣Y(jié)構(gòu)圖,可以直觀地找到網(wǎng)絡(luò)流量的潛在瓶頸,可以抓住流量分析數(shù)據(jù)的要點(diǎn),知道哪些網(wǎng)絡(luò)區(qū)域的改進(jìn)能夠最有效地提高網(wǎng)絡(luò)的整體性能。

    七、結(jié)語

    對(duì)于中小型企業(yè)而言、基于數(shù)據(jù)、語音和視頻的數(shù)字通信至關(guān)重要。因此,正確設(shè)計(jì)局域網(wǎng)是企業(yè)日常運(yùn)營(yíng)的基本需求。作為網(wǎng)絡(luò)技術(shù)人員,必須能夠判斷什么才是設(shè)計(jì)合理的局域網(wǎng),能夠選擇合適的設(shè)備來滿足中小型企業(yè)的網(wǎng)絡(luò)需求。

    參 考 文 獻(xiàn)

    [1] 郭利鋒,王勇,張磊,白焱. AFDX交換機(jī)的隊(duì)列整形調(diào)度研究[J]. 計(jì)算機(jī)工程,2011,(24):58-60

    第3篇:網(wǎng)絡(luò)流量分析的方法范文

    關(guān)鍵詞:新型DPI;網(wǎng)絡(luò)安全態(tài)勢(shì)感知;網(wǎng)絡(luò)流量采集

    經(jīng)濟(jì)飛速發(fā)展的同時(shí),科學(xué)技術(shù)也在不斷地進(jìn)步,網(wǎng)絡(luò)已經(jīng)成為當(dāng)前社會(huì)生產(chǎn)生活中不可或缺的重要組成部分,給人們帶來了極大的便利。與此同時(shí),網(wǎng)絡(luò)系統(tǒng)也遭受著一定的安全威脅,這給人們正常使用網(wǎng)絡(luò)系統(tǒng)帶來了不利影響。尤其是在大數(shù)據(jù)時(shí)代,無論是國(guó)家還是企業(yè)、個(gè)人,在網(wǎng)絡(luò)系統(tǒng)中均存儲(chǔ)著大量重要的信息,網(wǎng)絡(luò)系統(tǒng)一旦出現(xiàn)安全問題將會(huì)造成極大的損失。

    1基本概念

    1.1網(wǎng)絡(luò)安全態(tài)勢(shì)感知

    網(wǎng)絡(luò)安全態(tài)勢(shì)感知是對(duì)網(wǎng)絡(luò)安全各要素進(jìn)行綜合分析后,評(píng)估網(wǎng)絡(luò)安全整體情況,對(duì)其發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè),最終以可視化系統(tǒng)展示給用戶,同時(shí)給出相應(yīng)的統(tǒng)計(jì)報(bào)表和風(fēng)險(xiǎn)應(yīng)對(duì)措施。網(wǎng)絡(luò)安全態(tài)勢(shì)感知包括五個(gè)方面1:(1)網(wǎng)絡(luò)安全要素?cái)?shù)據(jù)采集:借助各種檢測(cè)工具,對(duì)影響網(wǎng)絡(luò)安全性的各類要素進(jìn)行檢測(cè),采集獲取相應(yīng)數(shù)據(jù);(2)網(wǎng)絡(luò)安全要素?cái)?shù)據(jù)理解:對(duì)各種網(wǎng)絡(luò)安全要素?cái)?shù)據(jù)進(jìn)行分析、處理和融合,對(duì)數(shù)據(jù)進(jìn)一步綜合分析,形成網(wǎng)絡(luò)安全整體情況報(bào)告;(3)網(wǎng)絡(luò)安全評(píng)估:對(duì)網(wǎng)絡(luò)安全整體情況報(bào)告中各項(xiàng)數(shù)據(jù)進(jìn)行定性、定量分析,總結(jié)當(dāng)前的安全概況和安全薄弱環(huán)節(jié),針對(duì)安全薄弱環(huán)境提出相應(yīng)的應(yīng)對(duì)措施;(4)網(wǎng)絡(luò)安全態(tài)勢(shì)預(yù)測(cè):通過對(duì)一段時(shí)間的網(wǎng)絡(luò)安全評(píng)估結(jié)果的分析,找出關(guān)鍵影響因素,并預(yù)測(cè)未來這些關(guān)鍵影響因素的發(fā)展趨勢(shì),進(jìn)而預(yù)測(cè)未來的安全態(tài)勢(shì)情況以及可以采取的應(yīng)對(duì)措施。(5)網(wǎng)絡(luò)安全態(tài)勢(shì)感知報(bào)告:對(duì)網(wǎng)絡(luò)安全態(tài)勢(shì)以圖表統(tǒng)計(jì)、報(bào)表等可視化系統(tǒng)展示給用戶。報(bào)告要做到深度和廣度兼?zhèn)洌瑥亩鄬哟巍⒍嘟嵌取⒍嗔6确治鱿到y(tǒng)的安全性并提供應(yīng)對(duì)措施。

    1.2DPI技術(shù)

    DPI(DeepPacketInspection)是一種基于數(shù)據(jù)包的深度檢測(cè)技術(shù),針對(duì)不同的網(wǎng)絡(luò)傳輸協(xié)議(例如HTTP、DNS等)進(jìn)行解析,根據(jù)協(xié)議載荷內(nèi)容,分析對(duì)應(yīng)網(wǎng)絡(luò)行為的技術(shù)。DPI技術(shù)廣泛應(yīng)用于網(wǎng)絡(luò)流量分析的場(chǎng)景,比如網(wǎng)絡(luò)內(nèi)容分析領(lǐng)域等。DPI技術(shù)應(yīng)用于網(wǎng)絡(luò)安全態(tài)勢(shì)感知領(lǐng)域,通過DPI技術(shù)的應(yīng)用識(shí)別能力,將網(wǎng)絡(luò)安全關(guān)注的網(wǎng)絡(luò)攻擊、威脅行為對(duì)應(yīng)的流量進(jìn)行識(shí)別,并形成網(wǎng)絡(luò)安全行為日志,實(shí)現(xiàn)網(wǎng)絡(luò)安全要素?cái)?shù)據(jù)精準(zhǔn)采集。DPI技術(shù)發(fā)展到現(xiàn)在,隨著后端業(yè)務(wù)應(yīng)用的多元化,對(duì)DPI系統(tǒng)的能力也提出了更高的要求。傳統(tǒng)DPI技術(shù)的實(shí)現(xiàn)主要是基于知名協(xié)議的端口、特征字段等作為識(shí)別依據(jù),比如基于HTTP、HTTPS、DNS、SMTP、POP3、FTP、SSH等協(xié)議特征的識(shí)別、基于源IP、目的IP、源端口和目的端口的五元組特征識(shí)別。但是隨著互聯(lián)網(wǎng)應(yīng)用的發(fā)展,越來越多的應(yīng)用采用加密手段和私有協(xié)議進(jìn)行數(shù)據(jù)傳輸,網(wǎng)絡(luò)流量中能夠準(zhǔn)確識(shí)別到應(yīng)用層行為的占比呈現(xiàn)越來越低的趨勢(shì)。在當(dāng)前網(wǎng)絡(luò)應(yīng)用復(fù)雜多變的背景下,很多網(wǎng)絡(luò)攻擊行為具有隱蔽性,比如數(shù)據(jù)傳輸時(shí)采用知名網(wǎng)絡(luò)協(xié)議的端口,但是對(duì)傳輸流量?jī)?nèi)容進(jìn)行定制,傳統(tǒng)DPI很容易根據(jù)端口特征,將流量識(shí)別為知名應(yīng)用,但是實(shí)際上,網(wǎng)絡(luò)攻擊行為卻“瞞天過海”,繞過基于傳統(tǒng)DPI技術(shù)的IDS、防火墻等網(wǎng)絡(luò)安全屏障,在互聯(lián)網(wǎng)上肆意妄為。新型DPI技術(shù)在傳統(tǒng)DPI技術(shù)的基礎(chǔ)上,對(duì)流量的識(shí)別能力更強(qiáng)。基本實(shí)現(xiàn)原理是對(duì)接入的網(wǎng)絡(luò)流量根據(jù)網(wǎng)絡(luò)傳輸協(xié)議、內(nèi)容、流特征等多元化特征融合分析,實(shí)現(xiàn)網(wǎng)絡(luò)流量精準(zhǔn)識(shí)別。其目的是為了給后端的態(tài)勢(shì)感知系統(tǒng)提供準(zhǔn)確的、可控的數(shù)據(jù)來源。新型DPI技術(shù)通過對(duì)流量中傳輸?shù)牟煌瑧?yīng)用的傳輸協(xié)議、應(yīng)用層內(nèi)容、協(xié)議特征、流特征等進(jìn)行多維度的分析和打標(biāo),形成協(xié)議識(shí)別引擎。新型DPI的協(xié)議識(shí)別引擎除了支持標(biāo)準(zhǔn)、知名應(yīng)用協(xié)議的識(shí)別,還可以對(duì)應(yīng)用層進(jìn)行深度識(shí)別。

    2新型DPI技術(shù)在網(wǎng)絡(luò)安全態(tài)勢(shì)感知領(lǐng)域的應(yīng)用

    新型DPI技術(shù)主要應(yīng)用于數(shù)據(jù)采集和數(shù)據(jù)理解環(huán)節(jié)。在網(wǎng)絡(luò)安全要素?cái)?shù)據(jù)采集環(huán)節(jié),應(yīng)用新型DPI技術(shù),可以實(shí)現(xiàn)網(wǎng)絡(luò)流量的精準(zhǔn)采集,避免安全要素?cái)?shù)據(jù)采集不全、漏采或者多采的現(xiàn)象。在網(wǎng)絡(luò)安全要素?cái)?shù)據(jù)理解環(huán)節(jié),在對(duì)數(shù)據(jù)進(jìn)行分析時(shí),需要基于新型DPI技術(shù)的特征知識(shí)庫(kù),提供數(shù)據(jù)標(biāo)準(zhǔn)的說明,幫助態(tài)勢(shì)感知應(yīng)用可以理解這些安全要素?cái)?shù)據(jù)。新型DPI技術(shù)在進(jìn)行網(wǎng)絡(luò)流量分析時(shí)主要有以下步驟,(1)需要對(duì)攻擊威脅的流量特征、協(xié)議特征等進(jìn)行分析,將特征形成知識(shí)庫(kù),協(xié)議識(shí)別引擎加載特征知識(shí)庫(kù)后,對(duì)實(shí)時(shí)流量進(jìn)行打標(biāo),完成流量識(shí)別。這個(gè)步驟需要確保獲取的特征是有效且準(zhǔn)確的,需要基于真實(shí)的數(shù)據(jù)進(jìn)行測(cè)試統(tǒng)計(jì),避免由于特征不準(zhǔn)確誤判或者特征不全面漏判的情況出現(xiàn)。有了特征庫(kù)之后,(2)根據(jù)特征庫(kù),對(duì)流量進(jìn)行過濾、分發(fā),識(shí)別流量中異常流量對(duì)應(yīng)的攻擊威脅行為。這個(gè)步驟仍然要借助于協(xié)議識(shí)別特征知識(shí)庫(kù),在協(xié)議識(shí)別知識(shí)庫(kù)中記錄了網(wǎng)絡(luò)異常流量和攻擊威脅行為的映射關(guān)系,使得系統(tǒng)可以根據(jù)異常流量對(duì)應(yīng)的特征庫(kù)ID,進(jìn)而得出攻擊威脅行為日志。攻擊威脅行為日志包含捕獲時(shí)間、攻擊者IP和端口、被攻擊者IP和端口、攻擊流量特征、攻擊流量的行為類型等必要的字段信息。(3)根據(jù)網(wǎng)絡(luò)流量進(jìn)一步識(shí)別被攻擊的災(zāi)損評(píng)估,同樣是基于協(xié)議識(shí)別知識(shí)庫(kù)中行為特征庫(kù),判斷有哪些災(zāi)損動(dòng)作產(chǎn)生、災(zāi)損波及的數(shù)據(jù)類型、數(shù)據(jù)范圍等。網(wǎng)絡(luò)安全態(tài)勢(shì)感知的分析是基于步驟2產(chǎn)生的攻擊威脅行為日志中記錄的流量、域名、報(bào)文和惡意代碼等多元數(shù)據(jù)入手,對(duì)來自互聯(lián)網(wǎng)探針、終端、云計(jì)算和大數(shù)據(jù)平臺(tái)的威脅數(shù)據(jù)進(jìn)行處理,分析不同類型數(shù)據(jù)中潛藏的異常行為,對(duì)流量、域名、報(bào)文和惡意代碼等安全元素進(jìn)行多層次的檢測(cè)。針對(duì)步驟1的協(xié)議識(shí)別特征庫(kù),可以采用兩種實(shí)現(xiàn)技術(shù):分別是協(xié)議識(shí)別特征庫(kù)技術(shù)和流量“白名單”技術(shù)。

    2.1協(xié)議識(shí)別特征庫(kù)

    在網(wǎng)絡(luò)流量識(shí)別時(shí),協(xié)議識(shí)別特征庫(kù)是非常重要的,形成協(xié)議識(shí)別特征庫(kù)主要有兩種方式。一種是傳統(tǒng)方式,正向流量分析方法。這種方法是基于網(wǎng)絡(luò)攻擊者的視角分析,模擬攻擊者的攻擊行為,進(jìn)而分析模擬網(wǎng)絡(luò)流量中的流量特征,獲取攻擊威脅的流量特征。這種方法準(zhǔn)確度高,但是需要對(duì)逐個(gè)應(yīng)用進(jìn)行模擬和分析,研發(fā)成本高且效率低下,而且隨著互聯(lián)網(wǎng)攻擊行為的層出不窮和不斷升級(jí),這種分析方法往往存在一定的滯后性。第二種方法是近年隨著人工智能技術(shù)的進(jìn)步,逐漸應(yīng)用的智能識(shí)別特征庫(kù)。這種方法可以基于威脅流量的流特征、已有網(wǎng)絡(luò)攻擊、威脅行為特征庫(kù)等,通過AI智能算法來進(jìn)行訓(xùn)練,獲取智能特征庫(kù)。這種方式采用AI智能識(shí)別算法實(shí)現(xiàn),雖然在準(zhǔn)確率方面要低于傳統(tǒng)方式,但是這種方法可以應(yīng)對(duì)互聯(lián)網(wǎng)上層出不窮的新應(yīng)用流量,效率更高。而且隨著特征庫(kù)的積累,算法本身具備更好的進(jìn)化特性,正在逐步替代傳統(tǒng)方式。智能特征庫(kù)不僅僅可以識(shí)別已經(jīng)出現(xiàn)的網(wǎng)絡(luò)攻擊行為,對(duì)于未來可能出現(xiàn)的網(wǎng)絡(luò)攻擊行為,也具備一定的適應(yīng)性,其適應(yīng)性更強(qiáng)。這種方式還有另一個(gè)優(yōu)點(diǎn),通過對(duì)新發(fā)現(xiàn)的網(wǎng)絡(luò)攻擊、威脅行為特征的不斷積累,完成樣本庫(kù)的自動(dòng)化更新,基于自動(dòng)化更新的樣本庫(kù),實(shí)現(xiàn)自動(dòng)化更新的流量智能識(shí)別特征庫(kù),進(jìn)而實(shí)現(xiàn)AI智能識(shí)別算法的自動(dòng)升級(jí)能力。為了確保采集流量精準(zhǔn),新型DPI的協(xié)議識(shí)別特征庫(kù)具備更深度的協(xié)議特征識(shí)別能力,比如對(duì)于http協(xié)議能夠?qū)崿F(xiàn)基于頭部信息特征的識(shí)別,包括Host、Cookie、Useragent、Re-fer、Contet-type、Method等頭部信息,對(duì)于https協(xié)議,也能夠?qū)崿F(xiàn)基于SNI的特征識(shí)別。對(duì)于目前主流應(yīng)用,支持識(shí)別的應(yīng)用類型包括網(wǎng)絡(luò)購(gòu)物、新聞、即時(shí)消息、微博、網(wǎng)絡(luò)游戲、應(yīng)用市場(chǎng)、網(wǎng)絡(luò)視頻、網(wǎng)絡(luò)音頻、網(wǎng)絡(luò)直播、DNS、遠(yuǎn)程控制等,新型DPI的協(xié)議特征識(shí)別庫(kù)更為強(qiáng)大。新型DPI的協(xié)議識(shí)別特征庫(kù)在應(yīng)用時(shí)還可以結(jié)合其他外部知識(shí)庫(kù),使得分析更具目的性。比如通過結(jié)合全球IP地址庫(kù),實(shí)現(xiàn)對(duì)境外流量定APP、特定URL或者特定DNS請(qǐng)求流量的識(shí)別,分析其中可能存在的跨境網(wǎng)絡(luò)攻擊、安全威脅行為等。

    2.2流量“白名單”

    在網(wǎng)絡(luò)流量識(shí)別時(shí)也同時(shí)應(yīng)用“流量白名單”功能,該功能通過對(duì)網(wǎng)絡(luò)訪問流量規(guī)模的統(tǒng)計(jì),對(duì)流量較大的、且已知無害的TOPN的應(yīng)用特征進(jìn)行提取,同時(shí)將這些特征標(biāo)記為“流量白名單”。由于“流量白名單”中的應(yīng)用往往對(duì)應(yīng)較高的網(wǎng)絡(luò)流量規(guī)模,在網(wǎng)絡(luò)流量識(shí)別時(shí),可以優(yōu)先對(duì)流量進(jìn)行“流量白名單”特征比對(duì),比對(duì)成功則直接標(biāo)記為“安全”。使用“流量白名單”技術(shù),可以大大提高識(shí)別效率,將更多的分析和計(jì)算能力留給未知的、可疑的流量。流量白名單通常是域名形式,這就要求新型DPI技術(shù)能夠支持域名類型的流量識(shí)別和過濾。隨著https的廣泛應(yīng)用,也有很多流量較大的白名單網(wǎng)站采用https作為數(shù)據(jù)傳輸協(xié)議,新型DPI技術(shù)也必須能夠支持https證書類型的流量識(shí)別和過濾。流量白名單庫(kù)和協(xié)議識(shí)別特征庫(kù)對(duì)網(wǎng)絡(luò)流量的處理流程參考下圖1:

    3新型DPI技術(shù)中數(shù)據(jù)標(biāo)準(zhǔn)

    安全態(tài)勢(shì)感知系統(tǒng)在發(fā)展中,從各個(gè)廠商獨(dú)立作戰(zhàn),到現(xiàn)在可以接入不同廠商的數(shù)據(jù),實(shí)現(xiàn)多源數(shù)據(jù)的融合作戰(zhàn),離不開新型DPI技術(shù)中的數(shù)據(jù)標(biāo)準(zhǔn)化。為了保證各個(gè)廠商采集到的安全要素?cái)?shù)據(jù)能夠統(tǒng)一接入安全態(tài)勢(shì)感知系統(tǒng),各廠商通過制定行業(yè)數(shù)據(jù)標(biāo)準(zhǔn),一方面行業(yè)內(nèi)部的安全數(shù)據(jù)采集、數(shù)據(jù)理解達(dá)成一致,另一方面安全態(tài)勢(shì)感知系統(tǒng)在和行業(yè)外部系統(tǒng)進(jìn)行數(shù)據(jù)共享時(shí),也能夠提供和接入標(biāo)準(zhǔn)化的數(shù)據(jù)。新型DPI技術(shù)中的數(shù)據(jù)標(biāo)準(zhǔn)包括三個(gè)部分,第一個(gè)部分是控制指令部分,安全態(tài)勢(shì)感知系統(tǒng)發(fā)送控制指令,新型DPI在接收到指令后,對(duì)采集的數(shù)據(jù)范圍進(jìn)行調(diào)整,實(shí)現(xiàn)數(shù)據(jù)采集的可視化、可定制化。同時(shí)不同的廠商基于同一套控制指令,也可以實(shí)現(xiàn)不同廠商設(shè)備之間指令操作的暢通無阻。第二個(gè)部分是安全要素?cái)?shù)據(jù)部分,新型DPI在輸出安全要素?cái)?shù)據(jù)時(shí),基于統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),比如HTTP類型的數(shù)據(jù),統(tǒng)一輸出頭域的URI、Host、Cookie、UserAgent、Refer、Authorization、Via、Proxy-Authorization、X-Forward、X-Requested-With、Content-Dispositon、Content-Language、Content-Type、Method等HTTP常見頭部和頭部關(guān)鍵內(nèi)容。對(duì)于DNS類型的數(shù)據(jù),統(tǒng)一輸出Querys-Name、Querys-Type、Answers-Name、Answers–Type等。通過定義數(shù)據(jù)描述文件,對(duì)輸出字段順序、字段說明進(jìn)行描述。針對(duì)不同的協(xié)議數(shù)據(jù),定義各自的數(shù)據(jù)輸出標(biāo)準(zhǔn)。數(shù)據(jù)輸出標(biāo)準(zhǔn)也可以從業(yè)務(wù)應(yīng)用角度進(jìn)行區(qū)分,比如針對(duì)網(wǎng)絡(luò)攻擊行為1定義該行為采集到安全要素?cái)?shù)據(jù)的輸出標(biāo)準(zhǔn)。第三個(gè)部分是內(nèi)容組織標(biāo)準(zhǔn),也就是需要定義安全要素?cái)?shù)據(jù)以什么形式記錄,如果是以文件形式記錄,標(biāo)準(zhǔn)中就需要約定文件內(nèi)容組織形式、文件命名標(biāo)準(zhǔn)等,以及為了便于文件傳輸,文件的壓縮和加密標(biāo)準(zhǔn)等。安全態(tài)勢(shì)感知系統(tǒng)中安全要素?cái)?shù)據(jù)標(biāo)準(zhǔn)構(gòu)成參考下圖2:新型DPI技術(shù)的數(shù)據(jù)標(biāo)準(zhǔn)為安全態(tài)勢(shì)領(lǐng)域各類網(wǎng)絡(luò)攻擊、異常監(jiān)測(cè)等數(shù)據(jù)融合應(yīng)用提供了基礎(chǔ)支撐,為不同領(lǐng)域廠商之間數(shù)據(jù)互通互聯(lián)、不同系統(tǒng)之間數(shù)據(jù)共享提供便利。

    4新型DPI技術(shù)面臨的挑戰(zhàn)

    目前互聯(lián)網(wǎng)技術(shù)日新月異、各類網(wǎng)絡(luò)應(yīng)用層出不窮的背景下,新型DPI技術(shù)在安全要素采集時(shí),需要從互聯(lián)網(wǎng)流量中,將網(wǎng)絡(luò)攻擊、異常流量識(shí)別出來,這項(xiàng)工作難度越來越大。同時(shí)隨著5G應(yīng)用越來越廣泛,萬物互聯(lián)離我們的生活越來越近,接入網(wǎng)絡(luò)的終端類型也多種多樣,針對(duì)不同類型終端的網(wǎng)絡(luò)攻擊也更為“個(gè)性化”。新型DPI技術(shù)需要從規(guī)模越來越大的互聯(lián)網(wǎng)流量中,將網(wǎng)絡(luò)安全相關(guān)的要素?cái)?shù)據(jù)準(zhǔn)確獲取到仍然有很長(zhǎng)的路要走。基于新型DPI技術(shù),完成網(wǎng)絡(luò)態(tài)勢(shì)感知系統(tǒng)中的安全要素?cái)?shù)據(jù)采集,實(shí)現(xiàn)從網(wǎng)絡(luò)流量到數(shù)據(jù)的轉(zhuǎn)化,這只是網(wǎng)絡(luò)安全態(tài)勢(shì)感知的第一步。網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)還需要基于網(wǎng)絡(luò)安全威脅評(píng)估實(shí)現(xiàn)從數(shù)據(jù)到信息、從信息到網(wǎng)絡(luò)安全威脅情報(bào)的完整轉(zhuǎn)化過程,對(duì)網(wǎng)絡(luò)異常行為、已知攻擊手段、組合攻擊手段、未知漏洞攻擊和未知代碼攻擊等多種類型的網(wǎng)絡(luò)安全威脅數(shù)據(jù)進(jìn)行統(tǒng)計(jì)建模與評(píng)估,網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)才能做到對(duì)攻擊行為、網(wǎng)絡(luò)系統(tǒng)異常等的及時(shí)發(fā)現(xiàn)與檢測(cè),實(shí)現(xiàn)全貌還原攻擊事件、攻擊者意圖,客觀評(píng)估攻擊投入和防護(hù)效能,為威脅溯源提供必要的線索。

    5結(jié)論

    第4篇:網(wǎng)絡(luò)流量分析的方法范文

    【關(guān)鍵詞】BOSS 10086短信業(yè)務(wù)平臺(tái) 業(yè)務(wù)流量 網(wǎng)絡(luò)流量

    1 BOSS系統(tǒng)架構(gòu)概述

    業(yè)務(wù)支撐系統(tǒng)(以下簡(jiǎn)稱為“BOSS系統(tǒng)”)是基于計(jì)算機(jī)技術(shù),融合了計(jì)算機(jī)軟硬件以及移動(dòng)通信的部分特點(diǎn)于一體,用于支撐移動(dòng)通信業(yè)務(wù)運(yùn)營(yíng)和管理的IT系統(tǒng)。隨著移動(dòng)通信業(yè)務(wù)運(yùn)營(yíng)內(nèi)涵的極大豐富和服務(wù)對(duì)象群體外延的不斷擴(kuò)大,BOSS系統(tǒng)無論是業(yè)務(wù)種類、業(yè)務(wù)規(guī)模還是業(yè)務(wù)流程,都變得非常龐大和復(fù)雜。要研究BOSS系統(tǒng)的應(yīng)用業(yè)務(wù)和網(wǎng)絡(luò)流量相關(guān)性,必須首先對(duì)BOSS系統(tǒng)進(jìn)行分類,然后比照網(wǎng)絡(luò)拓?fù)鋱D,按照業(yè)務(wù)邏輯分別對(duì)收斂的采樣點(diǎn)進(jìn)行數(shù)據(jù)流的采集和分析,建立相關(guān)業(yè)務(wù)的數(shù)據(jù)模型,定量及定性分析業(yè)務(wù)邏輯流量和網(wǎng)絡(luò)流量的關(guān)聯(lián)關(guān)系,進(jìn)而推理出相關(guān)業(yè)務(wù)邏輯數(shù)據(jù)流隨著業(yè)務(wù)量的變化對(duì)網(wǎng)絡(luò)資源開銷的影響程度。

    BOSS系統(tǒng)分類方法很多,有按功能域分、按服務(wù)需求分、按安全域分等。BOSS系統(tǒng)的業(yè)務(wù)種類繁多,因而各業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)及性能管理是一項(xiàng)復(fù)雜而富挑戰(zhàn)性的工作,這當(dāng)中包含了多項(xiàng)因素。本文選取一個(gè)典型的業(yè)務(wù)平臺(tái)――10086短信業(yè)務(wù)平臺(tái),對(duì)短信業(yè)務(wù)的業(yè)務(wù)數(shù)據(jù)流和網(wǎng)絡(luò)流量做抽樣性分析,以此作為對(duì)BOSS應(yīng)用系統(tǒng)研究和維護(hù)管理的方法論,進(jìn)而推廣到整個(gè)BOSS系統(tǒng)業(yè)務(wù)維護(hù)和管理系統(tǒng)中。

    210086短信業(yè)務(wù)平臺(tái)架構(gòu)概述

    2.1 BOSS短信業(yè)務(wù)平臺(tái)業(yè)務(wù)概況

    上海移動(dòng)10086短信業(yè)務(wù)平臺(tái)是BOSS系統(tǒng)向移動(dòng)客戶提供基于短信交互方式的資費(fèi)和業(yè)務(wù)查詢、業(yè)務(wù)定制和退定、手機(jī)功能開通和取消、套餐申請(qǐng)和轉(zhuǎn)換、積分兌換和促銷活動(dòng)等個(gè)性化服務(wù)的E渠道之一。

    上海移動(dòng)10086短信業(yè)務(wù)系統(tǒng)是以計(jì)費(fèi)信息中心BOSS系統(tǒng)為核心,利用運(yùn)行維護(hù)中心的行業(yè)網(wǎng)關(guān)平臺(tái),向移動(dòng)客戶提供便捷的端到端服務(wù)的跨平臺(tái)、跨部門的業(yè)務(wù)系統(tǒng)。

    2.2 BOSS短信業(yè)務(wù)平臺(tái)系統(tǒng)概況

    BOSS短信業(yè)務(wù)平臺(tái)計(jì)費(fèi)信息中心側(cè)由兩臺(tái)DELL2650 PC服務(wù)器做短信接口服務(wù)器,一臺(tái)IBM P650_1做短信中間件服務(wù)器,一臺(tái)IBM P650_2做短信數(shù)據(jù)庫(kù)服務(wù)器,此外還有兩臺(tái)BOSS營(yíng)帳數(shù)據(jù)庫(kù)服務(wù)器。

    BOSS短信業(yè)務(wù)平臺(tái)運(yùn)行維護(hù)中心側(cè)由兩臺(tái)HP行業(yè)網(wǎng)關(guān)服務(wù)器做對(duì)應(yīng)。

    計(jì)費(fèi)信息中心側(cè)與運(yùn)行維護(hù)中心側(cè)通過10M城域網(wǎng)經(jīng)由一臺(tái)CISCO3725路由器互連,2M數(shù)據(jù)鏈路做備用。

    BOSS短信業(yè)務(wù)平臺(tái)提供多種短信業(yè)務(wù),明細(xì)列舉如表1所示:

    3 BOSS系統(tǒng)短信業(yè)務(wù)網(wǎng)絡(luò)和服務(wù)器流量捕獲研究

    3.1 業(yè)務(wù)流量和網(wǎng)絡(luò)流量的對(duì)應(yīng)關(guān)系

    為了有效捕獲網(wǎng)絡(luò)流量,研究業(yè)務(wù)流量和網(wǎng)絡(luò)流量的對(duì)應(yīng)關(guān)系,需要采用特定的流量分析設(shè)備,具體包括一臺(tái)NetScout 4端口百兆探針NGenius 9241硬件設(shè)備一臺(tái),和NetScout nGenius Performance Manager軟件一套。

    為收集網(wǎng)絡(luò)流量,在網(wǎng)絡(luò)中放置探針,通過交換機(jī)上的端口鏡像將業(yè)務(wù)流量端口鏡像到探針連接端口,流量經(jīng)過探針處理后再傳送到集中的性能管理服務(wù)器(nGenius Performance Manager,簡(jiǎn)稱PM),用于全局的網(wǎng)絡(luò)分析。

    NetScout設(shè)備能夠自動(dòng)識(shí)別常見網(wǎng)絡(luò)協(xié)議以及應(yīng)用端口,如HTPP、FTP、Telnet等。為有效標(biāo)明短信數(shù)據(jù)流,在詳細(xì)分析數(shù)據(jù)流的基礎(chǔ)上,根據(jù)IP地址以及應(yīng)用端口定義了如下應(yīng)用:

    短信接口到短信中間件Upstream:10.10.169.30 10.10.167.13,TCP port:28500;

    短信中間件到短信接口Downstream:10.10.169.1310.10.167.30,TCP port:28540,28518;

    短信中間件到營(yíng)帳數(shù)據(jù)庫(kù)YZ_DB:10.10.167.1310.9.215.24。

    3.2 小結(jié)

    (1)經(jīng)過大量統(tǒng)計(jì)和運(yùn)算,獲得流量特征值T的對(duì)應(yīng)表和K值,以及流量推算公式:

    F’XX=短信業(yè)務(wù)量*K*T

    其中,XX是任意段的流量預(yù)估。

    如行業(yè)網(wǎng)關(guān)到短信接口的流量=200,000*1754*3.78/小時(shí)=1326M/小時(shí)。

    (2)短信業(yè)務(wù)量每小時(shí)峰值40萬是中間件環(huán)節(jié)處理和吞吐能力的預(yù)警線,因?yàn)榇藭r(shí)短信中間件服務(wù)連接端口流量=短信中間件服務(wù)到短信數(shù)據(jù)庫(kù)的流量+短信中間件服務(wù)到營(yíng)帳數(shù)據(jù)庫(kù)的流量+短信中間件服務(wù)到短信接口機(jī)的流量=47.6Mbps,達(dá)到網(wǎng)絡(luò)連接100M的近50%。對(duì)于網(wǎng)絡(luò)來講,50%的利用率是一個(gè)預(yù)警的尺度,需要考慮采取措施如升級(jí)處理性能和帶寬等。

    4 應(yīng)用拓展

    4.1 網(wǎng)絡(luò)系統(tǒng)維護(hù)

    流量和業(yè)務(wù)量分析模型,可以很好地運(yùn)用到網(wǎng)絡(luò)和主機(jī)系統(tǒng)的日常運(yùn)維中,包括日常系統(tǒng)及業(yè)務(wù)流量監(jiān)控、故障診斷,還可以用于網(wǎng)絡(luò)規(guī)劃的輔助工具。如:

    建立正常工作情況下的流量基線;

    實(shí)時(shí)分析網(wǎng)絡(luò)流量,掌握流量的動(dòng)態(tài)變化;

    監(jiān)控應(yīng)用的響應(yīng)時(shí)間,逐段分析系統(tǒng)延遲的組成;

    確定時(shí)延導(dǎo)致根源,分析究竟是服務(wù)器、應(yīng)用還是網(wǎng)絡(luò)造成的;

    一旦發(fā)覺服務(wù)性能很差(響應(yīng)時(shí)間太長(zhǎng)),可以分析和比較Application Response Time 與Network Response Time,知道響應(yīng)時(shí)間長(zhǎng)是網(wǎng)絡(luò)造成還是Application Server本身造成的;

    掌握網(wǎng)絡(luò)流量與業(yè)務(wù)量的對(duì)應(yīng)關(guān)系,分析業(yè)務(wù)量的增長(zhǎng)趨勢(shì);

    區(qū)分網(wǎng)絡(luò)傳輸時(shí)間與服務(wù)器響應(yīng)時(shí)間等。

    4.2 故障診斷及流量預(yù)測(cè)

    流量和業(yè)務(wù)量分析模型,可以很好地運(yùn)用到日常系統(tǒng)及業(yè)務(wù)流量預(yù)測(cè)、故障診斷,為更好的系統(tǒng)維護(hù)作業(yè)計(jì)劃打好基礎(chǔ)。如:

    對(duì)網(wǎng)絡(luò)誤用、黑客入侵“錯(cuò)誤!未找到引用源”、服務(wù)暫停、超時(shí)響應(yīng)等做出實(shí)時(shí)告警;

    提早獲得流量異常“錯(cuò)誤!未找到引用源”(如病毒爆發(fā))的提示,預(yù)防問題的發(fā)生,并得到導(dǎo)致告警的應(yīng)用、主機(jī)和通信對(duì),了解流量異常的根源;

    根據(jù)總流量、廣播包占用量、包CRC Errors、Multicast包占用量、不同應(yīng)用的時(shí)延設(shè)置門限告警;

    24小時(shí)不停監(jiān)視網(wǎng)絡(luò)異常,并發(fā)出告警,數(shù)據(jù)包捕獲,協(xié)議解碼分析;

    實(shí)時(shí)了解網(wǎng)絡(luò)流量情況,及時(shí)獲得導(dǎo)致告警的根源;

    得到異常占用網(wǎng)絡(luò)的用戶的行為、特征,如黑客入侵;

    基于前期流量,分析未來走勢(shì),對(duì)于可能產(chǎn)生的系統(tǒng)、網(wǎng)絡(luò)瓶頸,提前采取措施,滿足業(yè)務(wù)增長(zhǎng)的需要;

    通過趨勢(shì)分析預(yù)測(cè)過載發(fā)生時(shí)間,有助于規(guī)劃容量以應(yīng)付未來需求。

    5 結(jié)束語

    本文通過抽樣選取10086短信業(yè)務(wù)作為研究的對(duì)象,比照10086短信業(yè)務(wù)的業(yè)務(wù)邏輯和受理流程,采用特定的流量分析設(shè)備,得出業(yè)務(wù)流量同網(wǎng)絡(luò)流量之間存在的對(duì)應(yīng)關(guān)系,進(jìn)而推理出短信業(yè)務(wù)邏輯數(shù)據(jù)流隨著短信業(yè)務(wù)量的變化對(duì)網(wǎng)絡(luò)資源開銷的影響度。流量和業(yè)務(wù)量分析模型可以很好地運(yùn)用到網(wǎng)絡(luò)系統(tǒng)維護(hù)、故障診斷及流量預(yù)測(cè)等方面,并可作為網(wǎng)絡(luò)規(guī)劃的輔助工具,對(duì)3G時(shí)代的到來所帶來的網(wǎng)絡(luò)與業(yè)務(wù)架構(gòu)變化有很好的借鑒意義。

    參考文獻(xiàn)

    [1]Vladimir Naumovich Vapnik. Statistical learning theory [M]. New York: Wiley,1998.

    [2]Juha M Alho. Statistical Demography and Forecasting [M]. NY: Springer Science+Business Media,Inc,2008.

    [3]Peter Hackl. Statistical analysis and forecasting of economic structural change [M]. Springer-Verlag,1989.

    [4]Holger Kantz. Nonlinear time series analysis [M]. Cambridge Press,2003.

    [5]Julien C Sprott. Chaos and time-series analysis [M]. Oxford University Press,2003.

    [6]Zhongjie Xie. Case studies in time series analysis [M]. McGraw-Hill Osbome Media,2009.

    [7]Michael Eugene Orshansky. Statistical models,methods and algorithms for computer-aided design for manufacturing [M]. 2001.

    [8]Yair Wiseman, Song Jiang. Advanced operating systems and kernel applications: techniques and technologies, Hershey [M]. PA: Information Science Reference,2010.

    [9]Jean Bacon. Operating systems: concurrent and distributed software design [M]. Publishing House of Electronics Industry,2003.

    【作者簡(jiǎn)介】

    第5篇:網(wǎng)絡(luò)流量分析的方法范文

    關(guān)鍵詞: 敏感圖像; 快速加密; 圖像注入技術(shù); 網(wǎng)絡(luò)流量

    中圖分類號(hào): TN911.73?34; TP393 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1004?373X(2016)24?0088?04

    Simulation of an image injection technology for sensitive image fast encryption

    LI Yanqun, CHANG Zheng

    (Department of Communication Technology, Shandong University of Technology, Zibo 255049, China)

    Abstract: In order to improve the sensitive image encryption speed, and ensure the secure transmission of the sensitive image, an image injection technology used for sensitive image fast encryption is put forward. The principle diagram of the sensitive image fast encryption is given. The structure of the image injection technology is introduced. The logic control layer can analyze the current network traffic situation by means of the receiving end feedback information received by the TCP layer. The adjustment of packaging size and injection duration of UDP data packets can make the UDP layer inject the encryption sensitive image package safely and quickly. The control process of the network traffic is analyzed in detail. In simulation experiment, a sensitive image involving military was encrypted, and the analysis experiments of packet loss rate and injection image quality were performed successively. The analysis conclusion are as follows: the packet loss rate of this method is lower than that of the biorthogonal transform method, and the image injection result got by this method has higher reliability; the pixel correlation coefficient and encryption time consumption of the method are better than those of the biorthogonal transform method; the gray histogram and original image gray histogram are basically the same, and the image injection quality is better.

    Keywords: sensitive image; fast encryption; image injection technology; network traffic

    0 引 言

    隨著網(wǎng)絡(luò)通信和信息交換的日趨頻繁,怎樣保護(hù)用戶信息,尤其是國(guó)家重要部門的敏感信息在傳輸、存儲(chǔ)和使用過程中不被非法者盜取,成為亟需解決的問題[1]。因此,研究用于敏感圖像快速加密的圖像注入技術(shù)非常有意義,為保障敏感圖像的安全傳輸提供重要技術(shù)支持[2?3],已經(jīng)變成有關(guān)學(xué)者探討的重要話題,受到越來越普遍的關(guān)注[4]。

    現(xiàn)在,相關(guān)圖像注入的研究有很多,相關(guān)研究也取得了一定的成果。文獻(xiàn)[5]將人眼感興趣區(qū)視覺特性與漸進(jìn)傳輸結(jié)合在一起,提出一種基于感興趣區(qū)漸進(jìn)的圖像注入技術(shù)。該技術(shù)依據(jù)小波編碼的特點(diǎn),利用碼流結(jié)構(gòu),在進(jìn)行圖像注入時(shí)先漸進(jìn)注入圖像中的感興趣區(qū),然后注入圖像背景區(qū),該方法保證了感興趣區(qū)的優(yōu)先注入,但注入圖像所需的時(shí)間較長(zhǎng)。文獻(xiàn)[6]設(shè)計(jì)了一種圖像注入系統(tǒng),介紹了圖像傳輸、時(shí)序控制的實(shí)現(xiàn)過程,該系統(tǒng)基本能夠達(dá)到圖像注入速度的要求;但該系統(tǒng)不穩(wěn)定,無法為不同平臺(tái)提供真實(shí)的圖像,適應(yīng)性不高。文獻(xiàn)[7]提出一種復(fù)雜度相對(duì)較低的雙正交變換圖像注入技術(shù),該技術(shù)首先對(duì)圖像進(jìn)行壓縮,在此基礎(chǔ)上通過零樹編碼完成圖像注入,提高了圖像質(zhì)量,但該方法所耗費(fèi)的網(wǎng)絡(luò)能耗較高,而且實(shí)現(xiàn)過程過于復(fù)雜。本文提出一種用于敏感圖像快速加密的圖像注入技術(shù)。給出敏感圖像快速加密的原理圖,介紹了圖像注入技術(shù)的結(jié)構(gòu),詳細(xì)分析了網(wǎng)絡(luò)流量的控制過程。在進(jìn)行仿真實(shí)驗(yàn)時(shí),對(duì)一幅涉及軍事的敏感圖像進(jìn)行加密,依次進(jìn)行了丟包率分析實(shí)驗(yàn)和注入圖像質(zhì)量分析實(shí)驗(yàn),給出分析結(jié)論。

    1 一種用于敏感圖像快速加密的圖像注入技術(shù)

    1.1 敏感圖像快速加密原理

    圖像類信息數(shù)據(jù)量大,同時(shí)臨界數(shù)據(jù)間的相關(guān)性較高,對(duì)其加密具有更高的要求,為了快速實(shí)現(xiàn)敏感圖像的加密,本節(jié)引入圖像注入技術(shù),將發(fā)送端信息直接傳輸至接收端。敏感圖像快速加密的原理圖如圖1所示。

    1.2 圖像注入技術(shù)分析

    1.2.1 加密敏感圖形注入技術(shù)設(shè)計(jì)

    為了安全快速地實(shí)現(xiàn)加密敏感圖像的注入,本節(jié)提出一種TCP和UDP協(xié)議結(jié)合使用的圖像注入技術(shù)。如圖2所示,圖像注入技術(shù)構(gòu)造區(qū)分為以下三層:頂層是邏輯控制層,其重要用在完成加密敏感圖像的分包重組、流量管制和丟包恢復(fù),該層是圖像注入技術(shù)的重點(diǎn);中間層是前向圖像注入層,主要負(fù)責(zé)控制輸送端向接收端輸送大量的圖像數(shù)據(jù),該層主要根據(jù)UDP協(xié)議實(shí)現(xiàn),以保障數(shù)據(jù)包的快速傳輸;底層是后向形狀信息輸送層,主要負(fù)責(zé)管理接收端向發(fā)送端反饋狀態(tài)信息,這層根據(jù)TCP協(xié)議達(dá)成,以保障狀態(tài)信息可靠、準(zhǔn)確的傳輸。邏輯控制層經(jīng)過從TCP層接收到的接收端反饋信息對(duì)目前的網(wǎng)絡(luò)流量狀況進(jìn)行解析,通過調(diào)整UDP數(shù)據(jù)包的打包大小與注入時(shí)間,使UDP層可以安全、快速地注入加密敏感圖像包。根據(jù)上述進(jìn)程,經(jīng)過三層之間有機(jī)協(xié)作就能實(shí)現(xiàn)加密敏感圖像的注入。

    1.2.2 圖像注入過程中的網(wǎng)絡(luò)流量控制

    通過1.2.1節(jié)分析的過程可知,邏輯控制層對(duì)網(wǎng)絡(luò)流量的控制情況對(duì)加密敏感圖像的注入起到了至關(guān)重要的作用。因此,本節(jié)重點(diǎn)對(duì)網(wǎng)絡(luò)流量的控制進(jìn)行分析。加密敏感圖像注入過程中的流量控制是通過發(fā)送端與接收端共同實(shí)現(xiàn)的,下面給出流量控制協(xié)議的數(shù)學(xué)模型。

    流量控制把網(wǎng)絡(luò)劃分為以下三個(gè)情況分別進(jìn)行治理:

    (1) 網(wǎng)絡(luò)狀況差。發(fā)送端不能接收來自接收端的反饋信息,說明當(dāng)前網(wǎng)絡(luò)無法進(jìn)行圖像注入,停止注入加密敏感圖像。

    (2) 網(wǎng)絡(luò)狀況好。這時(shí)圖像注入速度就可以達(dá)到設(shè)置的網(wǎng)絡(luò)可靠帶寬,無需對(duì)網(wǎng)絡(luò)流量實(shí)行調(diào)節(jié)管理,維持注入速度,直到單幀圖像不能完整接收,再次使用調(diào)節(jié)策略。

    (3) 網(wǎng)絡(luò)狀況在上述兩種情況之間。這時(shí)可采用下述過程對(duì)網(wǎng)絡(luò)流量進(jìn)行控制:注入第[n]幀加密敏感圖像時(shí)的平均速度可通過下式求出:

    [Vnαn,βn,μn=0nDSi0nDTi=NCn-1?αn+DSn-1?μn-NFn-1μn+0n-1DSiDTn-1?μnμn-NFn-1-NCn-1?βn+0n-1DTi] (1)

    式中:[αn],[βn],[μn]用于描述注入第[n]幀敏感加密圖像的速度調(diào)整因子,其值可經(jīng)過網(wǎng)絡(luò)數(shù)據(jù)幀幀長(zhǎng)可變長(zhǎng)度設(shè)定;[DSi]和[DTi]分別用來表示注入第[i]幀加密敏感圖像時(shí)的數(shù)據(jù)包大小和數(shù)據(jù)包注入時(shí)間;[NCn]用來表示第[n]幀敏感加密圖像的注入狀況,成功注入則取1,反之取0;[NFn]用于描述第[n]幀加密名圖像中丟失數(shù)據(jù)包的數(shù)量。傳輸?shù)赱n]幀加密敏感圖像的瞬時(shí)速度可通過式(2)求出:

    [Vnαn,βn,μn=DSnDTn =NCn-1×αn+DSn-1?μn-NFn-1μnDTn-1×μnμn-NFn-1-NCn-1?βn] (2)

    式中:[αn]及[βn]是加速因子;[μn]是減速因子,它們的取值關(guān)鍵取決于網(wǎng)絡(luò)的穩(wěn)定水平。瞬時(shí)速度的值主要取決于調(diào)節(jié)因子、丟包情況和前一幀加密敏感圖像注入的速度。在網(wǎng)絡(luò)狀態(tài)較好時(shí),加速因子[αn]和[βn]的取值要讓圖像注入速度平穩(wěn)提高,同時(shí)禁止注入速度到達(dá)網(wǎng)絡(luò)的穩(wěn)定帶寬后產(chǎn)生頻繁震蕩;減速因子[μn]的取值要適合下述要求:當(dāng)網(wǎng)絡(luò)產(chǎn)生瞬間抖動(dòng)使得少量丟包的狀況下需小幅度的減少流量;當(dāng)網(wǎng)絡(luò)產(chǎn)生較大水平的擁塞時(shí)需立即減少流量。最終,讓流量快速地跟隨網(wǎng)絡(luò)帶寬的改變而改變。

    根據(jù)反饋信息,接收端及發(fā)送端一起完成流量管理。當(dāng)接收端完整地接收到一幀圖像時(shí),通過調(diào)整UDP數(shù)據(jù)包的打包大小和注入時(shí)間,讓UDP層可以安全、快速地注入加密敏感圖像包。

    2 用于敏感圖像快速加密的圖像注入技術(shù)仿真

    實(shí)驗(yàn)

    2.1 加密敏感圖像

    在進(jìn)行仿真實(shí)驗(yàn)時(shí),首先對(duì)一幅數(shù)據(jù)是320×240的涉及軍事的敏感圖像進(jìn)行加密,圖像深度是18,幀頻為150 f/s,敏感圖像和加密后圖像如圖3所示。

    2.2 丟包率分析

    為了驗(yàn)證所分析圖像注入技術(shù)的可靠性,將雙正交變換方法作為對(duì)比,將圖像丟包率作為衡量標(biāo)準(zhǔn)進(jìn)行分析。在對(duì)加密的敏感圖像進(jìn)行注入的過程中,為了能夠觀察敏感圖像數(shù)據(jù)包總數(shù),同時(shí)區(qū)別敏感圖像每包數(shù)據(jù),需在每包數(shù)據(jù)之前添加2個(gè)字節(jié)。第一個(gè)字節(jié)代表加密敏感圖像的總包數(shù);第二個(gè)字節(jié)代表每包數(shù)據(jù)的ID號(hào)。將圖像總包數(shù)、每包ID號(hào)和每包圖像數(shù)據(jù)打印出來,從而直觀地分析出每幅圖像的數(shù)據(jù)丟失狀態(tài),打印結(jié)果如圖4所示。

    依據(jù)打印的圖像數(shù)據(jù),通過觀察每包數(shù)據(jù)的ID號(hào)來對(duì)丟包數(shù)量進(jìn)行統(tǒng)計(jì),從而求出該圖像的丟包率。為了避免偶然誤差,分別連續(xù)打印10幅采用本文方法和雙正交變換方法注入的加密敏感圖像數(shù)據(jù),得到的測(cè)試結(jié)果如圖5所示。

    分析圖5可知,采用本文方法的最高丟包率為0.16%左右,而采用雙正交變換方法的最高丟包率為0.72%左右,最低丟包率也在0.1%左右,說明采用本文方法進(jìn)行圖像注入得到的結(jié)果具有較高的可靠性。

    2.3 注入圖像質(zhì)量分析

    為了驗(yàn)證注入圖像的質(zhì)量,本文將相鄰像素相關(guān)系數(shù)作為衡量指標(biāo)進(jìn)行實(shí)驗(yàn)分析,圖像像素相關(guān)系數(shù)越大,說明注入圖像質(zhì)量越高,像素[x,y]相關(guān)系數(shù)的計(jì)算公式如下:

    [Rxy=COVx,yDx?Dy] (3)

    式中,[COVx,y]用于描述[x],[y]之間的協(xié)方差,公式如下:

    [COVx,y=Ex-Exy-Ey] (4)

    式中:[Ex]為[x]的數(shù)學(xué)期望;[Dx]為[x]的方差。

    公式描述如下:

    [Ex=1ni=1nxi] (5)

    [Dx=1ni=1nxi-Ex2] (6)

    為了更加直觀地驗(yàn)證本文方法的有效性,引入敏感圖像加密速度指標(biāo),將其和相關(guān)系數(shù)指標(biāo)共同作為衡量注入圖像質(zhì)量的標(biāo)準(zhǔn)。分別采用本文方法和雙正交變換方法對(duì)如圖6所示的像素關(guān)系進(jìn)行相鄰像素相關(guān)系數(shù)及加密所需時(shí)間進(jìn)行比較,得到的結(jié)果如表1所示。

    由表1可知,本文方法和雙正交變換法從總體上看有顯著的提高,從相鄰像素相關(guān)系數(shù)指標(biāo)進(jìn)行分析,本文方法注入圖像和原始圖像的相似性更高,像素相關(guān)系數(shù)趨近于1,而雙正交變換法注入圖像卻和原始圖像相差較多,像素相關(guān)系數(shù)趨近于0。從加密時(shí)間的角度分析,本文方法的加密耗時(shí)明顯低于雙正交變換法,且一直低于雙正交變換法。因此,采用本文方法進(jìn)行圖像注入的圖像質(zhì)量更改,最終所需的加密時(shí)間更少。為了更加直觀地看出本文方法、雙正交變換方法下注入圖像與原圖的相關(guān)性,給出原圖灰度直方圖和兩種方法下注入圖像的灰度直方圖,如圖7~圖9所示。

    分析圖7~圖9可以看出,本文方法下注入圖像的灰度直方圖和原圖灰度直方圖基本相同,而雙正交變換方法下的注入圖像灰度直方圖與原圖相差較大,說明本文方法的圖像注入性能更高。

    3 結(jié) 論

    在進(jìn)行丟包率分析實(shí)驗(yàn)時(shí),采用本文方法的最高丟包率為0.16%左右,而采用雙正交變換方法的最高丟包率為0.72%左右,最低丟包率也在0.1%左右,說明采用本文方法進(jìn)行圖像注入得到的結(jié)果具有較高的可靠性。在進(jìn)行注入圖像質(zhì)量分析實(shí)驗(yàn)時(shí),從相鄰像素相關(guān)系數(shù)指標(biāo)進(jìn)行分析,本文方法注入圖像和原始圖像的相似性更高,而雙正交變換法注入圖像卻和原始圖像相差較多。從加密時(shí)間的角度分析,本文方法的加密耗時(shí)明顯低于雙正交變換法,且一直低于雙正交變換法。因此,采用本文方法進(jìn)行圖像注入的圖像質(zhì)量更改,最終所需的加密時(shí)間更少。本文方法下注入圖像的灰度直方圖和原圖灰度直方圖基本相同,而雙正交變換方法下的注入圖像灰度直方圖與原圖相差較大,說明本文方法的圖像注入性能更高。

    參考文獻(xiàn)

    [1] 張牧,濮存來.一種新的圖像加密融合算法仿真研究[J].計(jì)算機(jī)仿真,2014,31(4):402?406.

    [2] 張玉明,劉家保.基于復(fù)合混沌及LSB的圖像加密和隱藏技術(shù)[J].重慶工商大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,31(11):50?55.

    [3] 樊博,王延杰,孫宏海.基于PCIe的高速圖像注入式仿真系統(tǒng)[J].計(jì)算機(jī)工程與設(shè)計(jì),2014,35(3):1056?1060.

    [4] 朱薇,楊庚,陳蕾,等.基于混沌的改進(jìn)雙隨機(jī)相位編碼圖像加密算法[J].光學(xué)學(xué)報(bào),2014(6):58?68.

    [5] 張昊,湯心溢,李爭(zhēng),等.基于USB 2.0的紅外數(shù)字圖像注入式仿真器設(shè)計(jì)[J].激光與紅外,2014(3):269?272.

    第6篇:網(wǎng)絡(luò)流量分析的方法范文

    1.1總體架構(gòu)

    層次化保護(hù)控制系統(tǒng)從體系架構(gòu)上劃分為就地層、站域?qū)雍蛷V域?qū)樱鐖D1所示。三層保護(hù)協(xié)調(diào)配合,構(gòu)成以就地層保護(hù)為基礎(chǔ),站域?qū)颖Wo(hù)與廣域?qū)颖Wo(hù)為補(bǔ)充的多維度層次化繼電保護(hù)系統(tǒng)。就地層保護(hù)是面向被保護(hù)對(duì)象分布配置的“貼身防護(hù)”,保護(hù)功能配置遵循現(xiàn)有的繼電保護(hù)相關(guān)規(guī)范,其接入信息僅來自被保護(hù)對(duì)象所在間隔,強(qiáng)調(diào)的是保護(hù)相關(guān)回路簡(jiǎn)潔可靠和保護(hù)的速動(dòng)性。站域保護(hù)控制系統(tǒng)配置單套保護(hù)的冗余保護(hù)、部分公用保護(hù)及相鄰變電站元件后備保護(hù)。它能夠充分利用全站信息,快速、可靠判別故障區(qū)域,加速后備保護(hù)動(dòng)作,并可不經(jīng)就地級(jí)保護(hù)及測(cè)控裝置直接作用于斷路器智能終端。同時(shí),根據(jù)電壓等級(jí)的不同及變電站承擔(dān)任務(wù)的不同,站域保護(hù)也配置一些控制功能,包括備用自投、小電流接地選線、低頻/低壓減負(fù)荷等。此外,站域保護(hù)還作為廣域保護(hù)服務(wù)子站為廣域保護(hù)提供站內(nèi)采樣值和開關(guān)量信息,并接收、轉(zhuǎn)發(fā)廣域保護(hù)主站發(fā)出的控制命令。廣域保護(hù)系統(tǒng)包括繼電保護(hù)和安全自動(dòng)控制兩方面。廣域保護(hù)基于廣域信息實(shí)現(xiàn)廣域后備保護(hù);接收區(qū)域內(nèi)及同步相量測(cè)量單元(PMU)數(shù)據(jù),進(jìn)行安全穩(wěn)定評(píng)估分析;并依據(jù)穩(wěn)態(tài)數(shù)據(jù)進(jìn)行潮流分析、切負(fù)荷策略制定。

    1.2各層次配合關(guān)系

    如圖2所示,當(dāng)電力系統(tǒng)發(fā)生故障時(shí),就地層保護(hù)作為第一時(shí)限保護(hù),保護(hù)的速動(dòng)性好,相關(guān)聯(lián)回路少。就地保護(hù)整組動(dòng)作時(shí)間一般為0~20ms。在就地保護(hù)工作的同時(shí),站域保護(hù)與廣域保護(hù)同時(shí)進(jìn)入程序判別階段,如果故障能夠成功切除,則站域保護(hù)和廣域保護(hù)自動(dòng)返回;若就地保護(hù)未動(dòng)作,站域保護(hù)基于站域信息的判斷實(shí)現(xiàn)故障切除。在時(shí)間配合上,站域保護(hù)處理一般會(huì)增加一定延時(shí)。若站域保護(hù)仍未動(dòng)作,則由廣域保護(hù)實(shí)現(xiàn)故障切除。廣域保護(hù)的跳閘延時(shí)較站域保護(hù)動(dòng)作時(shí)間更長(zhǎng)。根據(jù)國(guó)際大電網(wǎng)會(huì)議(CIGRE)的規(guī)定,廣域控制的時(shí)間限定在0.1~100s的范圍內(nèi)。在極端情況下,如變電站直流消失,站域就地全部失效時(shí),由廣域保護(hù)通過跳其他變電站實(shí)現(xiàn)故障切除。

    2層次化保護(hù)系統(tǒng)通信系統(tǒng)分析

    2.1站域保護(hù)

    站域保護(hù)裝置涉及變電站的多個(gè)間隔信息,如:各間隔的采樣值、GOOSE和對(duì)時(shí)信息等。因此對(duì)過程層通信系統(tǒng)有著較高的要求,包括網(wǎng)絡(luò)流量、網(wǎng)絡(luò)延遲。本文以某220kV典型配置為例進(jìn)行分析。(1)網(wǎng)絡(luò)流量分析根據(jù)文獻(xiàn)[9]所述的計(jì)算方法,對(duì)于采樣值流量,按照20個(gè)模擬量通道,以典型的每周波80點(diǎn)采樣、每幀1個(gè)ASDU進(jìn)行計(jì)算;再加上GOOSE流量最大約為1.2Mb/s,可以計(jì)算出每個(gè)間隔流量可達(dá)到8.33Mbps。220kV側(cè)按9個(gè)間隔、110kV側(cè)13個(gè)間隔、35kV側(cè)3個(gè)間隔,共25個(gè)計(jì)算,可得到總帶寬達(dá)到208.2Mbps。若帶寬占有率不超過40%,過程層交換機(jī)帶寬需達(dá)到520.5M。對(duì)于220kV電壓等級(jí)(含35kV等級(jí)),可以得到帶寬為99.96Mbps,對(duì)于110kV間隔,總帶寬為108.29Mbps,需要多百兆網(wǎng)口或采用千兆網(wǎng)絡(luò)。(2)網(wǎng)絡(luò)時(shí)延分析根據(jù)文獻(xiàn)[10]所述的計(jì)算方法,以圖3所示的交換機(jī)配置方案,間隔交換機(jī)采用百兆光口,主干交換機(jī)采用千兆光口,考慮最極端的情況,站域保護(hù)裝置連接的間隔數(shù)為25個(gè)來計(jì)算網(wǎng)絡(luò)時(shí)延。一個(gè)IEC61850-9-2SV采樣數(shù)據(jù)幀的最好和最壞情況下延時(shí)、抖動(dòng)分別是27.992μs、71.24μs和43μs;一個(gè)GOOSE數(shù)據(jù)幀的最好和最壞情況延時(shí)、抖動(dòng)分別是22.448μs、48.56μs和26μs。文獻(xiàn)[11]規(guī)定微波通道(光纖通道參照?qǐng)?zhí)行)傳輸主保護(hù)信息時(shí)傳輸時(shí)延應(yīng)不大于5ms。對(duì)于保護(hù)裝置來講,這樣的延時(shí)和抖動(dòng)在可接受的范圍內(nèi)。因此,從網(wǎng)絡(luò)流量分析和網(wǎng)絡(luò)時(shí)延分析兩方面確定:對(duì)于一個(gè)典型的220kV的變電站,站域保護(hù)按全站配置或按照電壓等級(jí)配置均可;但對(duì)于電壓等級(jí)較高或者間隔較多的變電站來說,可采用按電壓等級(jí)配置站域保護(hù)的方式,以保證充分的網(wǎng)絡(luò)帶寬。且在兩種情況下,百兆口都難以滿足數(shù)據(jù)傳輸?shù)囊螅鶓?yīng)采用千兆口以滿足全站數(shù)據(jù)采集的需求。同時(shí),由于就地保護(hù)已經(jīng)備有主后備功能完善的保護(hù),因此站域保護(hù)只需單配即可。

    2.2廣域保護(hù)

    廣域保護(hù)裝置涉及多個(gè)變電站的信息,如:參與廣域差動(dòng)的各間隔的采樣值、GOOSE和對(duì)時(shí)信息等。因此對(duì)廣域通信系統(tǒng)有著更高的要求。按照本文的層次化保護(hù)系統(tǒng)方案,廣域保護(hù)通過站域保護(hù)間接接收采樣值信息,且站域保護(hù)將站內(nèi)數(shù)據(jù)打包以24點(diǎn)上送到廣域網(wǎng)絡(luò)。本文仍然從網(wǎng)絡(luò)流量與網(wǎng)絡(luò)延遲兩方面進(jìn)行分析。它們與廣域保護(hù)監(jiān)管范圍大小直接相關(guān)。本文以圖4所示的區(qū)域范圍為例進(jìn)行分析。(1)網(wǎng)絡(luò)流量分析廣域保護(hù)實(shí)現(xiàn)基于差動(dòng)原理和方向比較原理的站與站之間的后備保護(hù)。因此,它只需要接入差動(dòng)區(qū)域內(nèi)各個(gè)變電站與其他變電站相連間隔的信息形成廣域保護(hù)的信息來源。接入廣域網(wǎng)絡(luò)的間隔數(shù)量=220kV站A3個(gè)間隔+220kV站B6個(gè)間隔+110kV站A1個(gè)間隔+110kV站B2個(gè)間隔+110kV站C1個(gè)間隔+110kV站D2個(gè)間隔+110kV站E2個(gè)間隔+110kV站F1個(gè)間隔=18個(gè)。按上節(jié)描述的計(jì)算方法,每個(gè)間隔的采樣值流量S=223字節(jié)×8bit/字節(jié)×50周波/s×24幀/周波=2.14Mbps。GOOSE流量最大約為1.2Mb/s。每個(gè)間隔的總流量為3.34Mbps。按照18個(gè)間隔計(jì)算,廣域網(wǎng)絡(luò)的總流量可達(dá)到60.12Mbps。(2)網(wǎng)絡(luò)時(shí)延分析由于站域保護(hù)送出的數(shù)據(jù)已根據(jù)廣域時(shí)鐘系統(tǒng)的時(shí)間將采樣信息打上時(shí)間標(biāo)簽,然后通過廣域通信網(wǎng)絡(luò)轉(zhuǎn)發(fā)至廣域保護(hù)系統(tǒng)。因此,在計(jì)算網(wǎng)絡(luò)時(shí)延時(shí)只需要計(jì)算從站域保護(hù)裝置—廣域保護(hù)裝置之間的網(wǎng)絡(luò)時(shí)延。此時(shí),以平均傳輸100km,經(jīng)過一級(jí)交換機(jī)設(shè)備計(jì)算。同樣按照參考文獻(xiàn)[10]所述的計(jì)算方法,可得網(wǎng)絡(luò)延遲,計(jì)算結(jié)果滿足廣域保護(hù)對(duì)延時(shí)的技術(shù)要求。綜上所述,從網(wǎng)絡(luò)流量分析和網(wǎng)絡(luò)時(shí)延分析兩方面確定:按照每個(gè)間隔3.34Mbps流量分析,廣域保護(hù)宜采用千兆網(wǎng)絡(luò)。同時(shí),由于廣域保護(hù)控制系統(tǒng)的網(wǎng)絡(luò)時(shí)延主要體現(xiàn)在各變電站信息的遠(yuǎn)距離傳輸上,在選擇廣域保護(hù)控制系統(tǒng)的配置地點(diǎn)時(shí)應(yīng)考慮全局物理距離最近的變電站或調(diào)控中心。

    3網(wǎng)絡(luò)報(bào)文時(shí)延可測(cè)技術(shù)及應(yīng)用

    站域保護(hù)、廣域保護(hù)需要采集多個(gè)間隔甚至整個(gè)變電站模擬量和相關(guān)開關(guān)量信息,宜采用網(wǎng)采網(wǎng)跳的實(shí)現(xiàn)方案。常見的同步解決方案是,跨間隔保護(hù)依賴于統(tǒng)一的外部時(shí)鐘來保證采樣數(shù)據(jù)的同步性,當(dāng)失去外部時(shí)鐘時(shí),跨間隔保護(hù)將退出運(yùn)行甚至誤動(dòng),這也是網(wǎng)采方案被質(zhì)疑的重要原因。根據(jù)交換機(jī)的存儲(chǔ)轉(zhuǎn)發(fā)特性,報(bào)文進(jìn)入交換網(wǎng)絡(luò)由交換機(jī)根據(jù)資源情況進(jìn)行隨機(jī)交換,交換路徑隨時(shí)可能發(fā)生變化,物理資源的競(jìng)爭(zhēng)增加了報(bào)文在交換網(wǎng)絡(luò)中時(shí)延的不確定性,難以滿足同步的要求。如果交換機(jī)可以測(cè)量傳輸延時(shí)并將此延時(shí)發(fā)送給保護(hù)裝置,保護(hù)裝置再基于該延時(shí)通過軟件重新采樣來實(shí)現(xiàn)各路模擬量的同步,就可以實(shí)現(xiàn)保護(hù)裝置不依賴于對(duì)時(shí)實(shí)現(xiàn)裝置同步的目標(biāo)。

    3.1交換延時(shí)的計(jì)算方法

    本文提出一種傳輸延時(shí)可測(cè)的技術(shù),可準(zhǔn)確獲得交換機(jī)的延時(shí),并寫入SV報(bào)文,站域保護(hù)、廣域保護(hù)可進(jìn)行讀取并補(bǔ)償。以圖3所示的間隔1的數(shù)據(jù)到達(dá)站域保護(hù)為例說明該技術(shù)的具體實(shí)現(xiàn)方式,如圖5所示。交換機(jī)擁有硬件接收時(shí)間戳記錄模塊、硬件發(fā)送時(shí)間戳記錄模塊和駐留時(shí)間計(jì)算模塊,用于記錄報(bào)文接收和發(fā)送時(shí)的時(shí)間點(diǎn)和報(bào)文在當(dāng)前交換機(jī)的駐留時(shí)間。當(dāng)間隔1的報(bào)文第一比特進(jìn)入間隔交換機(jī)1的P1端口時(shí),交換機(jī)的硬件接收時(shí)間戳記錄模塊記錄下此時(shí)的時(shí)間t1,然后硬件發(fā)送時(shí)間戳記錄模塊記錄下此比特離開間隔交換機(jī)1的P2端口時(shí)的時(shí)間t2,駐留時(shí)間計(jì)算模塊求得此時(shí)的駐留時(shí)間t1=t2-t1,并寫入該報(bào)文中;同理,可得到該報(bào)文在過程層主干交換機(jī)中的駐留時(shí)間t2=t4-t3,并將其與在間隔交換機(jī)1中的駐留時(shí)間t1疊加得到當(dāng)前報(bào)文總傳輸時(shí)延t=t1+t2。此時(shí)終端的保護(hù)裝置可解析報(bào)文,從而得到網(wǎng)絡(luò)總時(shí)延,并根據(jù)此時(shí)延計(jì)算出采樣報(bào)文的原始時(shí)刻,然后通過重采樣進(jìn)行同步。多級(jí)交換機(jī)級(jí)聯(lián)情況如上述步驟依次疊加報(bào)文在新交換機(jī)的駐留時(shí)間值并轉(zhuǎn)發(fā),直到報(bào)文到達(dá)保護(hù)或測(cè)控裝置。

    3.2交換延時(shí)的標(biāo)記位置

    智能變電站采樣值報(bào)文采用以太網(wǎng)幀格式承載,交換延時(shí)的標(biāo)記位置有兩種方案,如圖6所示。(1)采樣值報(bào)文的保留字段(方案1)根據(jù)最新的第二版IEC61850協(xié)議規(guī)定,在報(bào)文中,SV和GOOSE報(bào)文以太網(wǎng)幀格式有4個(gè)字節(jié)的保留字段,分別為Reserved1和Reserved2,其中保留位1(Reserved1)0字節(jié)的第8個(gè)比特已經(jīng)被定義,本方案使用了其余31個(gè)保留位之中的30個(gè),因此可在不影響規(guī)范中定義的功能的基礎(chǔ)上,使用該保留字段存儲(chǔ)報(bào)文網(wǎng)絡(luò)傳輸時(shí)延數(shù)值。存儲(chǔ)方法是將t值轉(zhuǎn)換為二進(jìn)制數(shù)值,由最低位向最高位依次寫入傳輸時(shí)延數(shù)值,如圖7所示。該方案所存儲(chǔ)的延時(shí)數(shù)值位置相對(duì)固定,交換機(jī)無需對(duì)整幀報(bào)文解碼,資源開銷小,不影響交換機(jī)的性能指標(biāo),但未來可能會(huì)與IEC62351標(biāo)準(zhǔn)的使用產(chǎn)生沖突。(2)通道延時(shí)的品質(zhì)位(方案2)如圖6所示,在報(bào)文中SavPdu中有4個(gè)字節(jié)的通道延遲品質(zhì)位。本方案將延時(shí)值報(bào)文按照相同的方式寫入報(bào)文中。但由于采樣值不固定,導(dǎo)致延時(shí)數(shù)值的位置不固定,交換機(jī)需要對(duì)每個(gè)報(bào)文解碼,資源開銷大,但可通過改善交換機(jī)的性能來滿足對(duì)時(shí)精度10μs的要求。本文推薦方案2,它具有更好的靈活性,且不會(huì)與IEC62351標(biāo)準(zhǔn)的使用產(chǎn)生沖突。

    4結(jié)語

    第7篇:網(wǎng)絡(luò)流量分析的方法范文

    系統(tǒng)各部分功能①流量采集儀:安裝在專用PC服務(wù)器上,通過端口鏡像的方式采集分析網(wǎng)絡(luò)流量,自動(dòng)發(fā)現(xiàn)IP子網(wǎng)和主機(jī)設(shè)備,并將主機(jī)上網(wǎng)日志保存到數(shù)據(jù)庫(kù),將實(shí)時(shí)流量監(jiān)控?cái)?shù)據(jù)發(fā)送到應(yīng)用服務(wù)器;②數(shù)據(jù)庫(kù)服務(wù)器:接收流量采集儀發(fā)來的所需存儲(chǔ)的數(shù)據(jù)信息,并將信息存入數(shù)據(jù)庫(kù)中,同時(shí)提供給監(jiān)控終端所需的流量日志、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和網(wǎng)絡(luò)行為記錄等歷史數(shù)據(jù)信息;③應(yīng)用服務(wù)器:接收流量采集儀發(fā)來的流量監(jiān)控信息,并將信息分發(fā)給監(jiān)控終端,如果采用分布式結(jié)構(gòu),該服務(wù)器還要將各個(gè)流量采集儀所測(cè)得的各項(xiàng)流量指標(biāo)匯聚成宏觀的指標(biāo),并以直觀的方式顯示;④監(jiān)控終端:監(jiān)控終端安裝在各個(gè)工作站上,訪問數(shù)據(jù)庫(kù)服務(wù)器,對(duì)流量日志進(jìn)行查詢,并從應(yīng)用服務(wù)器實(shí)時(shí)讀取監(jiān)控?cái)?shù)據(jù),并依據(jù)所得數(shù)據(jù)繪制成各種圖形。

    高速網(wǎng)絡(luò)管理系統(tǒng)中的關(guān)鍵技術(shù)

    高速流采集技術(shù)在大規(guī)模流量環(huán)境中,基于軟件(主要是基于Libpcap抓包工具)的測(cè)量方案一直被認(rèn)為是效率不高的一種方案,基于PC服務(wù)器和抓包軟件的流量分析系統(tǒng)存在嚴(yán)重的性能問題,比如丟包嚴(yán)重、分析不及時(shí)、誤報(bào)漏報(bào)等問題。因此,又采取一些特殊方式來提高效率,最直接的方式,也是國(guó)內(nèi)外研究成果最多的方式,就是采用基于硬件的流量分析設(shè)備。但是,由于硬件設(shè)備大多基于微系統(tǒng)/嵌入式系統(tǒng),在緩存、總線、CPU計(jì)算能力方面均遠(yuǎn)遠(yuǎn)低于普通PC服務(wù)器,因此無法完成一些高級(jí)分析功能,只能完成一些相對(duì)固定的協(xié)議分析、流量統(tǒng)計(jì)功能。這些限制導(dǎo)致基于硬件的測(cè)量系統(tǒng)功能非常有限,而難以擴(kuò)展和進(jìn)行二次開發(fā)。針對(duì)上述問題,提出并開發(fā)完成了一種新的流量測(cè)量工具TMTK(TrafficMeasurementToolKit)[9],該程序基于Windows操作系統(tǒng)內(nèi)核,使用PC服務(wù)器的純軟件架構(gòu)來實(shí)現(xiàn)Gbps級(jí)的高速流量采集和實(shí)時(shí)處理。其主要實(shí)現(xiàn)原理如下圖2所示。TMTK能夠從如下方面提升流量測(cè)量系統(tǒng)的性能:①內(nèi)部采用了拷貝技術(shù),節(jié)省了內(nèi)存拷貝帶來的開銷;②數(shù)據(jù)幀不再被傳遞到應(yīng)用程序,系統(tǒng)不再頻繁地在核心態(tài)和用戶態(tài)之間切換;③取消timestamp功能可提高抓包效率;④對(duì)網(wǎng)絡(luò)幀的實(shí)時(shí)分析功能全部在核心態(tài)完成,不再受操作系統(tǒng)進(jìn)程調(diào)度的約束,其性能非常穩(wěn)定。為了驗(yàn)證設(shè)計(jì)性能,將同一套流量分析代碼分別加入不同的編譯工程,分別以“TMK+管理器”方式和“Libpcap+應(yīng)用程序”方式編譯,在900Mbps峰值的網(wǎng)絡(luò)流量環(huán)境下同時(shí)運(yùn)行并進(jìn)行對(duì)比觀測(cè),同時(shí)部署流量生成工具,生成測(cè)試流量以驗(yàn)證丟包率。用于試驗(yàn)的硬件平臺(tái)為GCPU的PC服務(wù)器,內(nèi)存為2G,操作系統(tǒng)為WindowsXPProfessional,開發(fā)編譯工具為VC6.0。經(jīng)過連續(xù)測(cè)試,高速流分類技術(shù)對(duì)實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的動(dòng)態(tài)管理,即IP子網(wǎng)的自動(dòng)發(fā)現(xiàn),主機(jī)的自動(dòng)識(shí)別,流量統(tǒng)計(jì),均需要以流分類算法為基礎(chǔ)。該算法的目的是對(duì)網(wǎng)絡(luò)包進(jìn)行分類、整理,并進(jìn)一步分析網(wǎng)絡(luò),同時(shí),流量分類問題是被動(dòng)模式網(wǎng)絡(luò)測(cè)量和分析的基礎(chǔ)。在測(cè)量系統(tǒng)中,為了實(shí)現(xiàn)分析和協(xié)議解釋功能,往往需要對(duì)單個(gè)TCP連接進(jìn)行狀態(tài)跟蹤,這就需要為每個(gè)TCP連接建立跟蹤數(shù)據(jù)結(jié)構(gòu),為了實(shí)現(xiàn)快速查找和定位,目前通常采取的技術(shù)手段是哈希鏈表。文章提出了“回溯式二階段統(tǒng)計(jì)”方法[9]。其主要數(shù)據(jù)結(jié)構(gòu)。所有TCP連接仍以HASH鏈表的方式建立協(xié)議跟蹤數(shù)據(jù)結(jié)構(gòu),在多規(guī)則集合并的基礎(chǔ)上,為所有流量分類表建立一個(gè)公用的中間階段統(tǒng)計(jì)表T,每個(gè)TCP連接都可以通過分類ID,回溯到統(tǒng)計(jì)表T中的某個(gè)單元,修改其統(tǒng)計(jì)數(shù)據(jù),這樣,對(duì)每個(gè)數(shù)據(jù)包,都可以O(shè)(1)的時(shí)間開銷來完成初步的流量指標(biāo)統(tǒng)計(jì)。統(tǒng)計(jì)表各單元存放的臨時(shí)統(tǒng)計(jì)結(jié)果,又可以被回溯到流量分類表中,根據(jù)需要被再次統(tǒng)計(jì),從而成為不同流量分類的匯總統(tǒng)計(jì)結(jié)果。回溯式二階段統(tǒng)計(jì)方法的空間復(fù)雜度僅為O(M*K),其中M為統(tǒng)計(jì)指標(biāo)數(shù)量,K為流分類規(guī)則集合并后的子域數(shù)量;時(shí)間復(fù)雜度也較低,第一階段為O(1),第二階段為O(M*K),適合于被動(dòng)測(cè)量環(huán)境。高速流跟蹤技術(shù)針對(duì)網(wǎng)絡(luò)流量的跟蹤問題,提出一種基于動(dòng)態(tài)Hash樹的流量跟蹤算法DHT(DynamicHashTree)[10]。根據(jù)IP流的本地特性,網(wǎng)絡(luò)流量可視為由“本地網(wǎng)絡(luò)流量”和“遠(yuǎn)程網(wǎng)絡(luò)流量”組成,事實(shí)上絕大部分網(wǎng)絡(luò)流量其實(shí)是由少部分“本地網(wǎng)絡(luò)”上的主機(jī)產(chǎn)生的。DHT算法利用以上特性,首先按照雙方IP子網(wǎng)的不同,建立靜態(tài)的“根Hash表”(簡(jiǎn)稱RH)以統(tǒng)計(jì)各個(gè)子網(wǎng)間的流量;然后依據(jù)網(wǎng)絡(luò)會(huì)話的長(zhǎng)時(shí)穩(wěn)定性,學(xué)習(xí)實(shí)際環(huán)境流量,為一些活動(dòng)頻繁、網(wǎng)絡(luò)會(huì)話數(shù)較多的本地子網(wǎng)生成動(dòng)態(tài)的子Hash表(簡(jiǎn)稱CH),形成一個(gè)具有明顯本地化特征的動(dòng)態(tài)Hash樹,避免某個(gè)RH表目對(duì)應(yīng)的沖突鏈表IC過長(zhǎng)。DHT算法通過以下4個(gè)步驟來完成:①建立RH:首先建立靜態(tài)的RH,大小為1K,Hash值為雙方IP地址中某些位累加的結(jié)果(根據(jù)實(shí)際情況不同,可以調(diào)整位的選擇窗口,取第14-23位用于大致標(biāo)識(shí)兩個(gè)IP子網(wǎng)之間的流量)。根Hash函數(shù)定義為:F(SA,DA)=((SA>>8)&0x03FF+(DA>>8)&0x03FF)&0x03FF所有網(wǎng)絡(luò)會(huì)話都可以通過一次Hash運(yùn)算,被定位到RH內(nèi)的某個(gè)表目,并在表目對(duì)應(yīng)的會(huì)話鏈表中保持一個(gè)node。每個(gè)RH表目中包含三個(gè)字段:沖突數(shù)量(簡(jiǎn)稱IN)、指向下級(jí)Hash表CH的指針(PCH)、指向沖突鏈表的指針(PIC)、指針描述符;②RH學(xué)習(xí):一旦RH被建立后,就可以在實(shí)際環(huán)境中進(jìn)行學(xué)習(xí),學(xué)習(xí)目的是為各個(gè)表目填寫沖突數(shù)量字段IN。根據(jù)在一段時(shí)間內(nèi)某個(gè)表目中新增的網(wǎng)絡(luò)會(huì)話數(shù)量(aps),來估算正常狀態(tài)下各個(gè)RH表目所應(yīng)有的沖突數(shù)量。計(jì)算公式為:IN=aps×pat其中aps定義為每秒命中某個(gè)RH表目的新網(wǎng)絡(luò)會(huì)話,pat為經(jīng)過統(tǒng)計(jì)學(xué)習(xí)得到的網(wǎng)絡(luò)會(huì)話平均持續(xù)時(shí)間長(zhǎng)度,以秒為單位。經(jīng)過試驗(yàn)證明,RH學(xué)習(xí)時(shí)間越長(zhǎng),得到的aps值越趨于穩(wěn)定,而pat值在經(jīng)過一個(gè)穩(wěn)定期后會(huì)緩慢增長(zhǎng)。得到的IN值表示該RH表目應(yīng)該能夠維護(hù)的平均并發(fā)會(huì)話數(shù)量,當(dāng)某個(gè)RH表目的IN值較大,則說明該表目是“高沖突點(diǎn)”,將會(huì)持續(xù)產(chǎn)生大量并發(fā)網(wǎng)絡(luò)會(huì)話,應(yīng)該參考IN值為其建立相應(yīng)的子Hash表CH;反之,則說明該表目利用頻度不高,可以直接掛接沖突鏈表,而不必為其建立CH;③建立CH:當(dāng)RH通過一段時(shí)間的學(xué)習(xí),絕大部分表目的IN值趨于穩(wěn)定的時(shí)候,就可以為IN值比較大的表目建立CH。考慮到網(wǎng)絡(luò)上存在大量的長(zhǎng)時(shí)會(huì)話和半關(guān)閉會(huì)話,一個(gè)RH表目對(duì)應(yīng)的CH,其大小應(yīng)該大于該表目所記載的IN值。CH采用雙方端口與IP地址低位混合的結(jié)果作為Hash值,Hash函數(shù)定義為:F(SA,DA,SP,DP)=(SA&0x00FF×DA&0X00FF+SP&0x00FF×DP&0x00FF)&(length)其中l(wèi)ength值就是CH的大小,由本CH對(duì)應(yīng)RH表目的IN值乘以調(diào)整因子而來:length=IN×adjust根據(jù)環(huán)境的不同,adjust有所變化,經(jīng)過在Cernet網(wǎng)上的反復(fù)試驗(yàn),adjust取值為4-5比較合適;④建立與維護(hù)IC:通過以上3個(gè)步驟,由RH和CH構(gòu)成的Hash樹已經(jīng)能夠在較大程度上減少Hash沖突,但Hash沖突仍然存在,解決方式仍然是沖突鏈表IC。實(shí)驗(yàn)表明,DHT算法的空間復(fù)雜度和時(shí)間復(fù)雜度均優(yōu)于Hash鏈表算法,由于Hash樹的構(gòu)造符合網(wǎng)絡(luò)實(shí)際環(huán)境,因此在網(wǎng)絡(luò)并發(fā)會(huì)話數(shù)量較高的情況下,可以減少IC鏈表檢索開銷。在骨干網(wǎng)絡(luò)環(huán)境下,丟包率很低,其綜合效率是傳統(tǒng)算法的數(shù)倍。

    系統(tǒng)部署及應(yīng)用結(jié)果

    系統(tǒng)在電信運(yùn)營(yíng)管理中心得到正式應(yīng)用,電信IDC中心的部署按照方式,增加一個(gè)流量采集儀,系統(tǒng)通過對(duì)網(wǎng)絡(luò)流量的分布式測(cè)量,了解和挖掘網(wǎng)絡(luò)中的流量流向情況、網(wǎng)絡(luò)應(yīng)用情況、用戶分布、安全態(tài)勢(shì)、性能狀況等,為網(wǎng)絡(luò)管理提供多層次的基礎(chǔ)數(shù)據(jù),從而實(shí)現(xiàn)網(wǎng)絡(luò)的精細(xì)化運(yùn)營(yíng)。

    第8篇:網(wǎng)絡(luò)流量分析的方法范文

    價(jià)格........................待定

    網(wǎng)址 /ft_service/

    設(shè)計(jì)參數(shù)

    Flow分析:50,000 session/s

    Flow 轉(zhuǎn)發(fā):1,000,000 session/s

    最大檢測(cè)tcp會(huì)話數(shù):≥1,000,000

    ip碎片重組:≥500,000

    對(duì)于作為整體網(wǎng)絡(luò)骨干的干線網(wǎng)而言,整個(gè)管理層面更為關(guān)注的不是單個(gè)簡(jiǎn)單攻擊,而是那些針對(duì)性很強(qiáng)的、旨在破壞網(wǎng)絡(luò)骨干和整體業(yè)務(wù)運(yùn)營(yíng)的異常網(wǎng)絡(luò)行為。各種異常流量行為對(duì)網(wǎng)絡(luò)骨干的充斥,極大地增加了網(wǎng)絡(luò)資源的壓力,過多消耗了網(wǎng)絡(luò)資源,在很大程度上影響到正常業(yè)務(wù)的運(yùn)行。嚴(yán)重時(shí),這些異常網(wǎng)絡(luò)行為會(huì)造成網(wǎng)絡(luò)癱瘓以及正常業(yè)務(wù)的中斷。

    現(xiàn)有的防火墻、入侵檢測(cè)、協(xié)議分析器等安全設(shè)備都無法很好地解決骨干網(wǎng)絡(luò)的異常流量監(jiān)測(cè)與響應(yīng)問題。這些現(xiàn)有的安全設(shè)備一方面不能有效地檢測(cè)和處理異常流量和攻擊,另一方面對(duì)于在網(wǎng)內(nèi)傳播的異常流量和攻擊也不能快速準(zhǔn)確定位。如何智能化解決這個(gè)問題,成為骨干網(wǎng)絡(luò)安全的基礎(chǔ)。

    東軟軟件公司推出的NetEye異常流量分析與響應(yīng)系統(tǒng)(NTARS)即是針對(duì)這類需求而推出的針對(duì)性解決方案,可以協(xié)助管理員有效解決骨干網(wǎng)絡(luò)中急需解決的安全問題:DoS/DDoS攻擊、蠕蟲與病毒、垃圾郵件、漏洞隱患、網(wǎng)絡(luò)濫用等。

    NetEye Ntars主要用于骨干網(wǎng)絡(luò)的監(jiān)控檢測(cè)和分析,通過對(duì)骨干網(wǎng)絡(luò)流量信息和系統(tǒng)信息的收集,采用多種方法進(jìn)行分析、檢測(cè),實(shí)時(shí)監(jiān)控、檢測(cè)骨干網(wǎng)絡(luò)中DoS/DDoS攻擊、蠕蟲病毒、垃圾郵件及其他網(wǎng)絡(luò)異常事件,提取異常特征,并啟動(dòng)報(bào)警和響應(yīng)系統(tǒng)進(jìn)行過濾、阻斷和防御。

    同時(shí),面向管理員提供流量分布、流量排名、攻擊來源和目標(biāo)、應(yīng)用層服務(wù)等各類關(guān)于骨干網(wǎng)絡(luò)運(yùn)行狀況的統(tǒng)計(jì)分析數(shù)據(jù),從而幫助管理員更好地監(jiān)控和掌握骨干網(wǎng)絡(luò)的使用情況。

    第9篇:網(wǎng)絡(luò)流量分析的方法范文

    1.1數(shù)據(jù)流的概念

    MonikaRauchHenzinger等人提出了數(shù)據(jù)流的概念。數(shù)據(jù)流是指按指定的順序只能被一次讀取的、連續(xù)的、無界的、隨時(shí)間變化的數(shù)據(jù)項(xiàng)序列,用戶無法任意訪問很久以前的歷史數(shù)據(jù),也無法訪問當(dāng)前時(shí)刻以后的數(shù)據(jù)。數(shù)據(jù)項(xiàng)可以是關(guān)系元組,也可以是對(duì)象實(shí)例。數(shù)據(jù)流形式化描述如下:DS=t1,t2,t3,...,ti,{}...,其中ti為i時(shí)刻的數(shù)據(jù)項(xiàng),t為元組S的時(shí)間戳。與傳統(tǒng)的靜態(tài)數(shù)據(jù)相比,數(shù)據(jù)流具有以下特征:1)無限性:數(shù)據(jù)流常常是無界或者近似無界,隨著時(shí)間的推移,數(shù)據(jù)元素不斷產(chǎn)生直至數(shù)據(jù)流結(jié)束。2)廣域性:數(shù)據(jù)元素屬性(維)的取值范圍非常大,并且可以取的值也非常多,如網(wǎng)絡(luò)節(jié)點(diǎn)、地域、手機(jī)號(hào)碼等。3)動(dòng)態(tài)性:數(shù)據(jù)流中的數(shù)據(jù)實(shí)時(shí)、連續(xù)、有序到達(dá),整個(gè)數(shù)據(jù)集呈現(xiàn)動(dòng)態(tài)特征。4)實(shí)效性:數(shù)據(jù)一旦被處理,可能被丟棄或歸檔,無法實(shí)現(xiàn)多次處理,無法對(duì)數(shù)據(jù)任意訪問。

    1.2數(shù)據(jù)流模型

    基于數(shù)據(jù)流的網(wǎng)絡(luò)異常行為檢測(cè),從流的角度,就是研究網(wǎng)絡(luò)節(jié)點(diǎn)之間的通訊模式,研究數(shù)據(jù)流征值的分布規(guī)律,不同的檢測(cè)方法需要構(gòu)建不同的檢測(cè)模型,不同的數(shù)據(jù)流模型采用的算法不同。目前在數(shù)據(jù)流研究領(lǐng)域存在多種數(shù)據(jù)流模型,按照處理時(shí)所選取的時(shí)序范圍劃分,主要有滑動(dòng)窗口模型、界標(biāo)窗口模型和快照模型三種。滑動(dòng)窗口模型:數(shù)據(jù)流上的滑動(dòng)窗口是指數(shù)據(jù)流上設(shè)定的區(qū)間,滑動(dòng)窗口的大小可以由窗口所包含的數(shù)據(jù)項(xiàng)的數(shù)量定義,也可以由時(shí)間區(qū)間定義,隨著數(shù)據(jù)的不斷到達(dá),窗口內(nèi)的數(shù)據(jù)不斷變換,新的數(shù)據(jù)不斷代替舊的數(shù)據(jù)。假設(shè)數(shù)據(jù)流按照時(shí)間戳的先后次序進(jìn)入滑動(dòng)窗口。用戶可以對(duì)數(shù)據(jù)執(zhí)行插入、刪除操作,滑動(dòng)窗口模型適用于僅對(duì)最近時(shí)間段的數(shù)據(jù)處理的情況。界標(biāo)窗口模型:建立在滑動(dòng)窗口模型之上[1],處理的范圍為一個(gè)已知的時(shí)間點(diǎn)到當(dāng)前時(shí)刻所包含的n個(gè)數(shù)據(jù),其中0<n≤N,n可以根據(jù)查詢的要求而變化,僅僅允許對(duì)數(shù)據(jù)執(zhí)行插入操作。快照模型:操作限制在兩個(gè)預(yù)定義的時(shí)間戳之間[2],表示為{as,…,ae},其效率取決于時(shí)間戳以及數(shù)據(jù)量的大小,比較適合勻速到達(dá)的數(shù)據(jù)流。

    2概要數(shù)據(jù)技術(shù)

    為了有效處理數(shù)據(jù)流,需要建立遠(yuǎn)小于數(shù)據(jù)集的數(shù)據(jù)結(jié)構(gòu),從而在有限的內(nèi)存中對(duì)數(shù)據(jù)進(jìn)行處理,應(yīng)用概要數(shù)據(jù)技術(shù)可以生成比當(dāng)前數(shù)據(jù)流小得多的數(shù)據(jù)結(jié)構(gòu)(概要數(shù)據(jù)結(jié)構(gòu)),一般情況下,概要數(shù)據(jù)結(jié)構(gòu)在大多的應(yīng)用領(lǐng)域可以滿足實(shí)際需要,常用的概要數(shù)據(jù)技術(shù)有抽樣、Hash方法、直方圖和小波。

    2.1抽樣

    抽樣從整個(gè)數(shù)據(jù)集中抽取小部分?jǐn)?shù)據(jù)來表征整個(gè)數(shù)據(jù)集,可以根據(jù)小數(shù)據(jù)集得到對(duì)總體數(shù)據(jù)的近似結(jié)果,是界標(biāo)窗口模型和滑動(dòng)窗口模型常用的概要數(shù)據(jù)技術(shù)。根據(jù)各個(gè)數(shù)據(jù)項(xiàng)被選中的概率是否一樣,抽樣方法可以分為均勻抽樣和偏移抽樣。伯努利和水庫(kù)抽樣是兩種經(jīng)典均勻抽樣設(shè)計(jì),伯努利抽樣用概率q∈(0,1]包含到達(dá)的數(shù)據(jù)元素,用概率1-q排除其他數(shù)據(jù)元素,取樣過程簡(jiǎn)單、時(shí)間成本低。水庫(kù)抽樣中數(shù)據(jù)流中的數(shù)據(jù)以K/n的概率被選中,其中K為樣本集的大小,n是當(dāng)前到達(dá)的元素序號(hào),且n>K,水庫(kù)抽樣適用于界標(biāo)窗口模型,但對(duì)過期數(shù)據(jù)不能有效刪除,不適用于滑動(dòng)窗口模型。鏈?zhǔn)匠闃邮且环N改進(jìn)的水庫(kù)抽樣,能夠獲得整個(gè)滑動(dòng)窗口上的一個(gè)樣本集,利用多個(gè)數(shù)據(jù)元組的“鏈”來處理過期數(shù)據(jù)。

    2.2Hash方法

    Hash方法基于降維技術(shù),對(duì)到達(dá)的數(shù)據(jù)項(xiàng)在一組隨機(jī)向量上做投影,可以適用于多種數(shù)據(jù)流模型。Alon等人采用多組相互獨(dú)立的投影,取所有估值的中值作為最終估值,降低了誤差。

    2.3直方圖

    直方圖根據(jù)大數(shù)據(jù)集的分布將數(shù)據(jù)劃為多個(gè)連續(xù)的桶,每個(gè)桶都有一個(gè)數(shù)字代表其特征,因此直方圖能夠反映大數(shù)據(jù)集中數(shù)據(jù)值的分布情況,簡(jiǎn)潔地表達(dá)大數(shù)據(jù)集的輪廓。根據(jù)桶內(nèi)數(shù)據(jù)的分布情況,直方圖一般可分為等寬、變寬等類型。等寬直方圖中各個(gè)桶中包含的數(shù)據(jù)量較平均,能較好地模擬數(shù)據(jù)集,但是當(dāng)某些數(shù)據(jù)項(xiàng)所占比例較大時(shí),等寬直方圖則表示不夠準(zhǔn)確,此時(shí)可以采用壓縮直方圖,壓縮直方圖單獨(dú)為活躍的元素創(chuàng)建桶,其他元素仍用等寬法。指數(shù)直方圖按照數(shù)據(jù)到達(dá)的次序構(gòu)建桶,桶的數(shù)量按照不同的級(jí)別呈指數(shù)方式遞增,用于生成基于滑動(dòng)窗口模型下的概要數(shù)據(jù),但是指數(shù)直方圖只能處理滑動(dòng)窗口中具有一元值和時(shí)間戳的數(shù)據(jù)。

    2.4小波

    小波分析把輸入的原始模擬信號(hào),變換成一系列的小波參數(shù),這些小波參數(shù)保留了原始數(shù)據(jù)的大部分特征,根據(jù)內(nèi)存空間的大小選取頂端的n個(gè)高能量參數(shù)即可近似地還原原始數(shù)據(jù)信息。

    3網(wǎng)絡(luò)異常行為檢測(cè)

    網(wǎng)絡(luò)異常行為檢測(cè)目前主要有兩種途徑:網(wǎng)絡(luò)流量分析和網(wǎng)絡(luò)協(xié)議分析[3]。網(wǎng)絡(luò)流量分析檢測(cè)網(wǎng)絡(luò)異常的一般步驟是:采集流量信息、分析流量信息;建立正常行為流量模型;檢測(cè)網(wǎng)絡(luò)流量,發(fā)現(xiàn)異常行為。網(wǎng)絡(luò)協(xié)議分析檢測(cè)網(wǎng)絡(luò)異常的一般步驟是:分解網(wǎng)絡(luò)協(xié)議,提取特征參數(shù),依據(jù)特征參數(shù),檢測(cè)異常行為。網(wǎng)絡(luò)異常行為檢測(cè)的過程分為三個(gè)階段:數(shù)據(jù)預(yù)處理、概要信息提取、網(wǎng)絡(luò)異常模式發(fā)現(xiàn)。數(shù)據(jù)預(yù)處理的目標(biāo)是提高網(wǎng)絡(luò)數(shù)據(jù)流的質(zhì)量。網(wǎng)絡(luò)檢測(cè)中采集的數(shù)據(jù)可能含有噪聲、不完整或者不一致,必須對(duì)原始數(shù)據(jù)進(jìn)行清洗,更正或刪除錯(cuò)誤的、不一致的數(shù)據(jù),糾正無效的、缺失的數(shù)據(jù),規(guī)范數(shù)據(jù)格式,選取具有代表性的屬性,并對(duì)有關(guān)屬性進(jìn)行合并和離散化處理。常見的網(wǎng)絡(luò)用戶行為發(fā)現(xiàn)模式有統(tǒng)計(jì)分析、分類、聚類等。統(tǒng)計(jì)分析一般通過分析會(huì)話文件,根據(jù)頁面瀏覽時(shí)間、導(dǎo)航路徑等,獲取不同的統(tǒng)計(jì)信息,如頻度、中值、均值等。統(tǒng)計(jì)分析方法可以實(shí)現(xiàn)對(duì)未知異常的檢測(cè),但是誤報(bào)率高;分類是將一個(gè)數(shù)據(jù)項(xiàng)映射到預(yù)先給定的幾個(gè)類別中的某一個(gè),利用歷史數(shù)據(jù)推導(dǎo)到給定數(shù)據(jù)的推廣描述,應(yīng)用較為廣泛,主要包括神經(jīng)網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)、決策樹等分類算法;聚類是將數(shù)據(jù)集分組成多個(gè)簇,同一簇中的數(shù)據(jù)相似度較高,不同簇中的數(shù)據(jù)差別較大,聚類廣泛應(yīng)用在模式識(shí)別、趨勢(shì)分析、相似搜索等領(lǐng)域。

    4校園網(wǎng)絡(luò)異常行為檢測(cè)

    4.1校園網(wǎng)面臨的威脅

    TCP/IP協(xié)議和網(wǎng)絡(luò)物理鏈路帶來的不安全是網(wǎng)絡(luò)常見網(wǎng)絡(luò)威脅,校園網(wǎng)除了面臨這些威脅外,還受到特殊的安全威脅———用戶濫用網(wǎng)絡(luò)資源[4],如無節(jié)制通過BT、迅雷進(jìn)行游戲、在線觀看視頻以及下載資源,導(dǎo)致網(wǎng)絡(luò)帶寬被部分人占用,不僅影響了他人的網(wǎng)速,而且造成網(wǎng)絡(luò)資源的浪費(fèi)。濫用網(wǎng)絡(luò)資源將會(huì)表現(xiàn)出接收或者發(fā)送大量的數(shù)據(jù)包、對(duì)特定的IP地址請(qǐng)求的連接次數(shù)較多、對(duì)特定的IP地址發(fā)出有規(guī)律的連接請(qǐng)求等特征。因此,檢測(cè)校園網(wǎng)濫用網(wǎng)絡(luò)等異常行為,可以通過檢測(cè)網(wǎng)絡(luò)流量以及連接頻率來實(shí)現(xiàn)。

    4.2網(wǎng)絡(luò)數(shù)據(jù)采集

    數(shù)據(jù)采集一般使用采樣技術(shù),通常基于時(shí)間或者基于數(shù)據(jù)包采集,網(wǎng)絡(luò)數(shù)據(jù)采集主要有基于sniffer流量、基于硬件探針、基于SNMP的流量以及基于Netflow的流量四種方法[5]。基于SNMP的流量采集方法部署簡(jiǎn)單,采集程序定時(shí)取出路由器內(nèi)存中的IPAccounting記錄,并清空相應(yīng)的內(nèi)存記錄,這影響到路由器的性能,取得的數(shù)據(jù)只包含口層的數(shù)據(jù),沒有MAC地址信息,無法獲取細(xì)節(jié)的變化;基于Net-flow的流量采集方法配置簡(jiǎn)單,可以獲得比SNMP更詳細(xì)的數(shù)據(jù)流信息,但是路由器或者交換機(jī)由于Net-flow功能的開啟,性能受到影響,會(huì)損失一些數(shù)據(jù)流的細(xì)節(jié)信息;基于sniffer流量和硬件探針的采集方法可以獲取較全面的數(shù)據(jù)流信息,但是采用硬件探針需要增加硬件成本,本文采用基于sniffer的流量采集方式。基于sniffer的采集有基于原始套節(jié)字的數(shù)據(jù)包和Winpcap開發(fā)包兩種方式,本文的數(shù)據(jù)采集使用Winpcap開發(fā)包。為了保證檢測(cè)數(shù)據(jù)的準(zhǔn)確性和有效性,避免采集數(shù)據(jù)環(huán)節(jié)造成的漏檢,采用一種隨機(jī)可變時(shí)長(zhǎng)的數(shù)據(jù)采集策略[5]。數(shù)據(jù)采集周期為時(shí)間間隔T,數(shù)據(jù)采集時(shí)長(zhǎng)為t,其中0≤t≤T,隨機(jī)確定t在T中的位置,避免由固定的采集時(shí)間造成的異常漏檢,若發(fā)現(xiàn)了用戶異常行為,則增大t,若增大t之后,未發(fā)現(xiàn)異常行為,則減少t,直至到指定的初始值為止。校園網(wǎng)中的數(shù)據(jù)很多,但能夠反映網(wǎng)絡(luò)用戶行為的數(shù)據(jù)才是有價(jià)值的。目前的校園網(wǎng)絡(luò)一般都把用戶的IP地址與MAC地址捆綁,當(dāng)用戶上網(wǎng)時(shí),憑借MAC地址與IP地址的對(duì)應(yīng)關(guān)系即找到該用戶的信息。檢測(cè)網(wǎng)絡(luò)異常行為主要通過檢測(cè)源IP的網(wǎng)絡(luò)流量、連接到同一目的IP的流量以及同一源IP、目的IP的連接頻率是否正常,考慮到校園網(wǎng)網(wǎng)絡(luò)異常網(wǎng)絡(luò)的實(shí)際情況,選取源IP地址、目標(biāo)IP地址、網(wǎng)絡(luò)連接流量、連接開始時(shí)間和連接結(jié)束時(shí)間源IP地址連接頻率、目標(biāo)IP地址連接頻率作為網(wǎng)絡(luò)行為的特征值,其中源IP地址連接頻率、目標(biāo)IP地址連接頻率是屬于構(gòu)造屬性,其他屬于原始屬性。

    4.3網(wǎng)絡(luò)數(shù)據(jù)預(yù)處理

    實(shí)際網(wǎng)絡(luò)中的數(shù)據(jù)流并不是一致的、完整的,它具有突發(fā)性,這樣的數(shù)據(jù)不宜直接用于后續(xù)處理,必須要進(jìn)行預(yù)處理。數(shù)據(jù)預(yù)處理主要包括網(wǎng)絡(luò)行為屬性的選取和屬性值的合并以及離散化。根據(jù)校園網(wǎng)絡(luò)異常行為檢測(cè)的目標(biāo),采用K-means聚類算法填充缺失值。4.4概要信息獲取本文采用混合指數(shù)直方圖獲取概要數(shù)據(jù)信息。其中每一個(gè)指數(shù)直方圖被進(jìn)一步劃分為基于時(shí)間的桶,這樣每個(gè)指數(shù)直方圖不僅與時(shí)間范圍聯(lián)系,而且與數(shù)據(jù)值的范圍也有聯(lián)系。對(duì)任意時(shí)刻到達(dá)的數(shù)據(jù)流增設(shè)權(quán)值wi,愈早到達(dá)的數(shù)據(jù)流wi愈大,而愈遲到達(dá)的數(shù)據(jù)流wi愈小;同時(shí)為每個(gè)活動(dòng)直方圖增設(shè)平 均時(shí)間戳TAi和平均權(quán)值wAi。

    (1)混合直方圖初始化。選擇初始滑動(dòng)窗口內(nèi)的數(shù)據(jù),應(yīng)用數(shù)據(jù)模型聚類并放在不同的桶內(nèi),每一個(gè)桶建立一個(gè)指數(shù)直方圖,桶內(nèi)的數(shù)據(jù)按照時(shí)間戳和權(quán)值分類,每一個(gè)初始直方圖都是活動(dòng)的。

    (2)更新混合指數(shù)直方圖。①當(dāng)新的數(shù)據(jù)到達(dá)時(shí),更新所有的活動(dòng)直方圖,并查看、判斷桶是否過期。②計(jì)算機(jī)活動(dòng)直方圖在數(shù)值范圍內(nèi)的數(shù)據(jù)項(xiàng)的個(gè)數(shù),根據(jù)是否達(dá)到滑動(dòng)窗口長(zhǎng)度的極大值,若到達(dá),則挑選合適的活動(dòng)直方圖并處理,構(gòu)建新的活動(dòng)直方圖;若未到達(dá),則將鄰接的活動(dòng)直方圖合并整理,構(gòu)建新的活動(dòng)直方圖。其中判斷桶是否過期并進(jìn)行刪除更新的策略如下:①?zèng)]有達(dá)到滑動(dòng)窗口長(zhǎng)度的極大值。計(jì)算每個(gè)活動(dòng)窗口的平均時(shí)間戳TAi和平均權(quán)值wAi,比較所有直方圖的平均時(shí)間戳TAi和平均權(quán)值wAi,若存在平均權(quán)值wAi最大且平均時(shí)間戳TAi最小的桶則認(rèn)為過期,刪除該桶;若不存在,則認(rèn)為平均權(quán)值wAi最大的桶過期,刪除該桶。②達(dá)到滑動(dòng)窗口長(zhǎng)度的極大值。認(rèn)為平均時(shí)間戳TAi最小的桶則過期,刪除該桶。

    5結(jié)語

    主站蜘蛛池模板: 成人浮力影院免费看| 成人午夜精品无码区久久| 久久亚洲国产成人精品性色 | 窝窝午夜看片成人精品| 久久亚洲精品成人无码网站| 欧美成人免费网站| 成人免费草草视频| 免费在线观看成人| 成人性生交大片免费看好| 国产成人精品A视频一区| 91精品欧美成人| 午夜成人免费视频| 成人AAA片一区国产精品| 国产成人在线观看免费网站| 欧美成人免费全部| 亚洲精品成人网久久久久久| 成人国产精品视频频| 亚洲av成人精品网站在线播放| 国产精品成人久久久久久久| 欧美成人精品大片免费流量| 国产69久久精品成人看| 成人小视频在线观看免费| 久久久久99精品成人片试看| 国产成人AV一区二区三区无码| 成人年无码av片在线观看| 久久久久亚洲AV成人无码| 国产成人精品一区二三区在线观看 | 国产精品成人va在线观看| 久久久www成人免费精品| 国产成人免费永久播放视频平台| 成人口工漫画网站免费| 成人黄色免费网站| 欧美成人免费香蕉| 成人欧美一区二区三区在线| 精品无码成人片一区二区| 久久久久成人精品无码| 亚洲国产成人久久精品影视| 国产亚洲欧美成人久久片| 免费国产成人午夜电影| 亚洲AV无码成人精品区狼人影院| 四虎精品成人免费观看|