前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的數據化運營方案主題范文,僅供參考,歡迎閱讀并收藏。
【關鍵字】 互聯網 大數據 系統建設一、背景
隨著互聯網、移動互聯網、數碼設備、物聯網等技術的發展,全球數據生產正在高速增長,信息已成為企業的戰略資產,企業越來越需要長期保存各種數據,以進行用戶行為分析、市場研究等,服務企業發展。目前,“去管道化”成為電信運營商提得最多和思考最多的問題,業內認為大數據是運營商“去管道化”最有可能的實現形式之一,運營商發展大數據具有其他行業無可比擬的優勢,主要體現在:運營商掌握數據充分全面;通信網絡數據提供的可持續性;運營商對數據可以有效利用。
在此背景下,本文將對電信運營商大數據應用系統建設方案進行探討,為省級電信運營商部署大數據平臺提供借鑒。
二、大數據應用系統功能架構
大數據系統目標架構,主要由五大核心平臺構成,如下圖所示:
采集分發平臺:解決異構數據源之間數據交互,滿足各種數據源之間數據統一采集和統一數據分發,提升數據實時和準實時海量數據采集分發能力;
實時分析平臺:實現實時寬表數據整合,提供實時報表,提供統一實時查詢;
離線分析平臺:Hadoop平臺解決海量結構化數據和非結構化數據快速批處理效率、海量數據存儲能力;傳統ODS、EDW、數據集市采用MySQL平臺;
大數據運營監控平臺:解決大數據運營監控,調度,開發,運營維護問題處理和運營分析平臺;
大數據數據服務平臺:滿足快速對外提供統一數據服務共享平臺。
三、大數據應用系統數據庫建設
對于大數據平臺數據庫,建議采用傳統關系型數據庫+Hadoop的混搭方式進行建設,主要基于以下考慮:1、對于傳統結構化業務數據,采用關系型數據庫已非常成熟,新建平臺延續采用關系型數據庫處理傳統數據,避免大量改動。2、對于非結構化數據,則采用Hadopp架構進行處理,解決以下問題:海量數據儲存成本高;數據批量處理能力不足;計算和存儲擴展能力受限;流式數據處理能力缺失;缺乏非結構化數據的處理能力。
四、大數據應用系統數據采集方案
電信運營商大數據平臺數據主要來源為兩種:來自IT系統的結構化數據和來自網絡的非結構化數據。
4.1結構化數據采集
數據來源主要包括來自CRM系統的客戶/用戶資料、產品/銷售品、產品訂購、業務辦理等,來自計費系統的賬單、詳單、余額、繳費、欠費等,來自結算系統的結算清單、過往記錄等,來自客服系統的咨詢投訴、外呼等,來自網廳的電子訂購、業務辦理、電子渠道咨詢/投訴等,來自ITV的點播記錄、節目庫等,來自增值業務平臺的訂購與退訂等。
對于上述結構化數據,目前主要通過ODS系統進行采集,大數據平臺直接與ODS系統做接口即可獲得,不需直接從系統采集,大大提升了數據采集的效率。
4.2非結構化數據采集
非結構化數據視圖如下圖所示:
1)固網DPI部署方案
以某電信省公司為例,其 IP城域網覆蓋所有地州,2015年底預計達到3000G出口鏈路,其中省會城域網出口1200G。
現網在IP城域網出口部署一套DPI系統,具備280G帶寬的監控能力(上下行),主要功能模塊為多終端私接監控、 全協議分析。存在問題如下:覆蓋能力不足:覆蓋城域網規模9%,不具備對單地市出口的完整監控能力。功能缺乏:無法實現終端識別、網站識別、應用識別等功能。
本期可采用如下方案:
方案一:全覆蓋部署
在城域網出口部署,實現全覆蓋,共3000G。
方案二:兩地州及省會兩區縣輪詢方式部署
地州輪詢:采集設備部署位置為163骨干機房,容量配置為同時覆蓋兩個地州共620G。
省會區縣輪詢:采集設備部署位置為省會CR機房,容量配置為同時覆蓋兩個縣區共680G。
方案三:一地州及省會一區縣輪詢方式部署
地州輪詢:采集設備部署位置為163骨干機房,容量配置為同時覆蓋一個地州共310G。
省會區縣輪詢:采集設備部署位置為省會CR機房,容量配置為同時覆蓋一個縣區340G。
輪詢方式說明:建議輪詢周期不短于一個月,以免頻繁輪詢影響大數據分析系統的數據可用性和精準度。
以上三種方案主要區別在于覆蓋范圍,以及相應的投資,在投資充分的情況下,建議采用方案一,對城域網出口進行全覆蓋部署,在投資緊張的情況下,建議采用方案三,對一地州及省會一區縣通過輪詢方式部署,后期根據投資情況再逐步擴大覆蓋范圍。
2)分組域DPI部署方案
新建分組域DPI,分為采集部分和處理部分,對3G、4G、AAA等數據進行采集,通過DPI解析后的數據,同步給大數據平臺及其他相關平臺使用。
3)七號信令監測系統改造方案
改造現有七號信令監測系統,提供對手機的信令采集,通過A口提供以下數據:所有采集區域內手機主叫的數據;所有采集區域內不處于關機或者占線的手機被呼的數據(不包含占線、關機被呼的數據,信令中不包含此數據);所有采集區域內手機的短信數據;所有采集區域內手機的位置更新數據。
參觀過2007年中國國際通信設備技術展覽會的人可能都會察覺到,無論是設備廠商還是運營商,大多屏蔽掉了那些枯燥、復雜的技術和設備,而將真正貼近人們生活和工作的業務應用及解決方案作為了展示的重點,這種改變在數據通信領域顯得尤為突出。
應用為王加劇競爭
在本屆展會上,那些枯燥的高科技、冰冷的設備逐漸淡出人們的視線,“應用為王”成為了數據通信領域的主旋律。
中國電信將“號碼百事通”、“商務領航”、“互聯星空”、“我的e家”四大增值業務作為了宣傳重點,而為了顯示自己在設備之外的競爭力,設備廠商也向人們展示了大量基于IP的數據通信產品及解決方案;這些直接針對最終用戶而非運營商的產品和解決方案,不禁讓人深切地感覺到,“運營商需要什么,設備廠商就做什么”的時代真地已經成為了歷史,“運營商的客戶需要什么,設備廠商就做什么”的時代正在悄然來臨。
此外,從本屆展會上中國電信展示的針對政府的“數字城管”、針對公安系統的“平安城市”、針對保險行業的“遠程定損”以及針對家庭用戶的IPTV等定位于不同用戶的業務中,我們不難看出,正在向綜合信息服務商轉型的運營商將更加注重市場的細分;而廠商向人們展示的統一通信、IPTV、視頻監控、數字家庭等更有針對性的產品和方案,則讓我們有充分的理由相信,廠商早已經意識到了這一點。
當然,“應用為王”時代的來臨也意味著,數據通信廠商間的競爭已經從單純的技術、設備領域延伸到了應用領域,IC與IT融合的趨勢將更加顯著。本屆展會上我們看到了更多IT廠商的身影,就是最好的證明。
全IP、融合、移動趨勢顯著
盡管在本屆展會上,運營商、設備廠商都不約而同地將應用作為了宣傳的重點,但無論是從那些吸引眼球的解決方案,還是只能充當配角的設備身上,我們可以明顯地感受到,正如人們預料的那樣,數據通信正在向著“IP化”、“融合化”、“移動化”的方向演進。就像華為在本屆通信展上的主題“移動、全IP、融合”一樣。
為了滿足種類日益豐富的應用對城域以太網帶寬和穩定性的要求,廠商在設備上可謂下足了功夫,阿爾卡特朗訊、北電、華為、中興通訊、烽火等廠商都在展會上展示了各自最新的以太網路由和交換產品,這些基于MPLS和PBT技術的城域以太網設備除了能夠提供更高交換和路由能力、更豐富的接口外,還提供了更高級別的QoS保障、更快速的保護導換功能,保證了城域以太網的可擴展性、可靠性和穩定性。
【關鍵詞】 物聯網 云計算 大數據 數據共享 云桌面
一、引言
隨著環境信息化建設的逐步深入,各級環保部門產生的數據量急劇增加。數據產生的范圍也逐步擴大,涵蓋環??茖W研究、環保行政執法、環境監測分析、環?;A設施建設、生態保護以及其它環保行政主管部門。大多數數據都以最原始的形態存在,不利于數據信息互通和共享,造成大大小小的信息“孤島”。而大數據是需要新處理模式才能具有更強的決策力,洞察發展力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據技術的戰略意義不在于掌握龐大的數據信息,而在于對這些含有意義的數據進行專業化處理,并轉化為具有決策功能的信息。本文研究的重點是利用物聯網、云計算、大數據技術對這些數據進行有效融合,搭建環保大數據信息共享管理平臺,為環境管理提供決策支持。
二、平臺的定位
針對環保系統各業務之間缺乏聯系,系統內部數據管理及信息共享困難等問題,環保大數據信息共享管理平臺作為一個科學、完整、統一的信息共享平臺,打破環保行業各系統之間的信息孤島,促進信息的互聯互通,實現環保信息與業務的共享,從而提高環境保護行業的綜合決策能力和公共服務能力。
該平臺綜合應用“物聯網、云計算、大數據管理”等先進技術,為環保行業用戶提供新型數據管理平臺,為大數據運營提供新的合作模式,主要實現功能如下:
(1)多源、異構數據采集。通過RFID技術、傳感器等物聯網底層傳感技術,實時采集污染源、生態等信息;
(2)海量數據處理。包括海量異構數據的融合轉換、數據云存儲、數據實時分析及環保數據挖掘等;
(3)云桌面安全管理。引入云桌面從根本上保障數據存儲安全,作為數據運營的基礎。
三、平臺設計理念
環保大數據信息共享管理平臺擁有行業領先的設計理念,圍繞環保行業大數據的“感知、管理、存儲、展現、應用”等五個層面的需求,提出了針對性的整體創新技術方案。
四、平臺系統架構
環保大數據信息共享管理平臺架構由數據采集、數據存儲、應用展示三大系統模塊構成如圖1。
(1)分布式采集系統:基于“桌面云”技術,統一各類數據的邏輯模型,建立統一的物聯網數據采集系統;
(2)環境數據中心匯聚存儲管理平臺:通過數據格式的轉換,統一建模,構建異構信息的集中存儲管理平臺;
(3)環境數據應用展示平臺:實現儀器設備及環境監測信息的統一展現、以及運營管理系統;
(4)云計算和存儲中心:基于IaaS虛擬化技術,為環保數據信息共享管理平臺提供彈承載系統。
五、平臺核心功能架構
圍繞環保行業大數據的“感知、管理、存儲、展現、應用”,提出了整體創新技術方案如圖2。
5.1數據感知層
為解決當前儀器設備分散、品牌各異的難題,構建物聯網的環境數據采集體系,統一采集規范,建立統一數據采集平臺,針對各類型設備開發接口,管理接入各類型的物聯網設備,實時異構信息的統一采集;
5.2數據管理層
考慮到傳統利用PC服務器連接儀器設備采集數據的方式易發生數據外泄的狀況,基于桌面云的環境數據安全管理,采用桌面云主機連接儀器,保證采集數據存儲在服務器上、無法拷貝,從最根本上解決數據安全問題,保證數據的產業價值;
5.3數據存儲層
環保數據具有復雜性和動態性,涉及多部門/地區/領域,需要處理大量的數據,基于環境專題數據建設“IaaS-PaaSSaaS”三種層次的多元化云服務,彈性架構設計,為應用數據平臺提供彈承載體系;
5.4數據展現層
當前不同品牌、型號的儀器設備所產生的實驗數據不能集中管理、集中查詢且人工收集管理耗時耗力,對多源異構的海量數據進行數據轉換、主題建模、分析展現,可保證所有監測站的環境數據可以統一匯聚、處理和展現;
5.5數據應用層
傳統環評業務采用人工報送檢測形式,由各站點自行負責,管理松散,沒有運營機制,空置率相當高,導致豐富數據資源無法產生經營效益。為強化環境數據、儀器設備運營共享管理,在運營管理模塊加入了數據運營和計費功能,讓環境檢測工作流程化,將原有手動化的檢測流程改造為業務開通運營流程,數據不僅可以流轉起來,還可作為資產參與運營,實現閑散設備的自我造血,自我運轉。
六、結束語
本方案適用于環保行業IT支撐系統數據整合,無論是為了降低數據存儲成本,提高數據共享效率,還是為了探索大數據技術引入,或是實現支撐系統各域的數據融合,都可參考本方案架構進行搭建。
參 考 文 獻
[1] 彭慶. 基于大數據技術的數據共享平臺方案研究[J]. 電信技術,2014(10):22-25.
在不久前舉辦的以“創新ICT,助力融合醫療”為主題的華為融合醫療論壇上,華為正式了《華為醫療行業白皮書》,對當前醫療行業信息化現狀進行了深入剖析,“融合醫療”也成了與會者津津樂道的一個主要話題。
新應用亟待融合基礎設施
有分析師指出,我國醫療信息化的重心正在發生改變,逐漸由原來的以部門為核心構建IT系統轉變為以醫生、護士的工作為核心構建IT系統。從醫院的角度來看,以病患的需求為核心,建立跨學科的醫療服務平臺日益流行。
論壇上幾位知名醫生都對記者表示,利用信息技術支持并促進醫療業務的開展是必然趨勢。比如,有醫生希望早日從移動醫療中受益:醫生使用平板電腦查房,病人通過平板電腦點餐,將大大提高醫護人員的工作效率,改善病人的體驗。北京大學第一醫院就已經基于華為的解決方案實現了有線與無線網絡的融合,并構建了無線查房系統,從而有效地提升了醫護人員的工作效率。
醫療業務、手段和工具的融合,也需要有融合的基礎設施來支撐。華為在ICT融合解決方案領域一直走在業界前列。華為企業業務BG醫療行業解決方案首席架構師溫長城表示,華為希望將其創新的ICT融合解決方案更好地用于融合醫療服務,助力國內數字醫療以及區域醫療建設。事實上,華為在這方面已經取得了顯著進展,比如福建龍巖人民醫院基于華為的云計算技術構建了醫療云,將原有業務進行整合,實現了無PC辦公,不僅將醫護人員的工作效率提高了一倍,而且大大降低了整體擁有成本。
溫長城分析說:“從技術的角度講,醫療信息化的很多解決方案與華為擅長的運營商領域的信息化解決方案有相通之處。華為將多年來在運營商領域積累的技術和實踐經驗運用于醫療領域,可達到事半功倍的效果。我們進軍醫療行業信息化領域,急需解決的問題是了解醫療行業用戶的真實需求,將融合的ICT技術更好地用于醫療行業?!?/p>
在醫療行業,華為最值得驕傲的資本是融合解決方案,包括服務器、存儲、網絡以及云操作系統等。華為可以針對醫療行業不同用戶的需求提供有針對性的解決方案,包括醫療云數據中心解決方案、容災解決方案、有線無線相結合的融合網絡解決方案等。“融合的實質就是互聯互通,保障數據的自由流動。華為的基礎設施解決方案就是圍繞信息融合展開的。”溫長城表示,“華為可以為醫療用戶提供端到端的基礎設施解決方案。”
云計算、大數據剛開始
在醫療行業,云計算和大數據也是關注的焦點。記者從采訪中了解到,大多數醫院的數據總量在10TB以下,而現在常見的大數據應用是PB級的。而且目前很多醫院尚處于數據整合階段,沒有精力或能力去做大數據分析?!澳壳搬t療行業的大數據應用主要集中在區域醫療領域?!睖亻L城說,“醫療行業正在逐步推動大數據應用,尤其在區域醫療領域,大數據有其現實需求,如醫政管理?!?/p>
有人說大數據與云計算是一體兩面。現在許多醫院已經進行了服務器虛擬化,這是否意味著這些醫院的一只腳已經邁進了云計算的大門?
據思科統計,2015年全球有163億網設備。思科預測,2020年全球將有263億網設備。提高安全性以保護在聯網設備上運行的內容和數據,已成為移動運營商在全面迎接5G過程中肩負的新任務。移動運營商需要在整個移動網絡上部署安全解決方案。
在逐步向5G、虛擬化和云技術轉型的過程中,移動網絡面臨的潛在攻擊和威脅數量也在日益增多。為有效抵御現有的和潛在的威脅,移動運營商需要采取整體性方案來實現可靠的安全性。
近日,在巴塞羅那舉辦的世界移動通信大會上,思科推出了面向移動運營商的安全架構。這是一個全面的以防范安全威脅為目的的解決方案組合,可為整個網絡、終端(設備)和云提供多層保護。這一架構的新要素包括:
第一,網絡安全。為幫助運營商保護移動回程、避免對核心網絡的攻擊,思科推出了新一代高度可擴展的物理和虛擬安全網關(SecGW)解決方案,由Firepower 9300和Firepower 4100系列防火墻設備、ASR 900系列路由器和ASAv提供支持。
第二,設備安全。思科的設備安全解決方案讓企業和運營商能夠擴展可見性和設備級保護,為企業提供最強大的移動設備平臺。思科和三星將通過三星Knox、思科AnyConnect和思科Stealthwatch解決方案,向企業客戶提供終端可視性與數據智能。
第三,云安全?,F在,運營商可通過自身管理的云或思科管理的云環境,為客戶提供全新的托管安全服務,從而創造新的收入流。
近日,思科宣布推出全新的云交付安全平臺“Cisco Umbrella for Service Providers”,致力于幫助運營商滿足客戶的關鍵需求,同時增加創收機會。
思科還宣布將CiscoUmbrella安全服務與思科演進分組核心(EPC)集成在一起,可在Cisco Ultra Services Platform或Cisco ASR 5500系列路由器上運行,為移動設備帶來更安全的互聯網體驗。
眾多移動運營商和設備制造商正在部署這些安全解決方案組合,包括德國電信、三星、沃達豐和記澳大利亞公司等。通過部署這些解決方案,他們將更加信心十足地邁向5G時代。
德國電信安全業務主管德克?柏科侯芬(Dirk Backhofen)表示:“我們非常高興能與思科共享同一個愿景,并堅信包括我們在內的眾多運營商可以充分利用Cisco Umbrella for Service Providers這樣的云交付安全平臺,提供新的創收服務,為客戶帶來安全可靠的互聯網體驗。我們期待與思科緊密協作,通過Cisco Umbrella為我們的企業客戶不斷提供創新的安全服務?!?/p>
三星電子移動通信業務部首席技術官李仁宗(Injong Rhee)表示:“借助思科這一全新平臺,我們正在打造安卓手機端安全軟件領域的里程碑。攜手思科,我們將為客戶提供最佳的安全技術和富有洞察力的數據分析,幫助他們有效保護敏感信息和關鍵業務應用。”
思科安全業務工程高級副總裁吉?里滕豪斯(Gee Rittenhouse)表示:“安全是移動運營商的重要業務支撐,能夠幫助他們充滿信心地進行網絡轉型、加速虛擬化,并為邁向5G時代鋪平道路?!?/p>
思科致力于幫助客戶建立強大的安全體系,獲得更豐富的洞察,提供更可靠的保護,做出更快速的響應,以消除安全漏洞,在避免增加風險的同時,全面把握網絡擴展帶來的全新機遇。”
一份來自權威機構的調研報告顯示,到2015年,全球移動數據流量將比2010年上升26倍,達到每月6.3 EB (exabyte),每年75 EB (exabyte)的量級,后者相當于190億張DVD或者536萬億條短信的數據量。而運營商首先要能支撐這樣的數據流量,才能保證業務順利開展??梢姡苿訑祿髁考ぴ觯瑢⒆屵\營商面臨前所未有的挑戰。
移動數據流量風暴來臨
該調查報告預測,2010年到2015年期間,移動數據流量的年度復合增長率將達到92%,而這種增長主要來源于兩大全球性的趨勢:平板電腦和智能電話等移動設備持續普及和移動視頻應用的普及。
依據該研究機構的預測,到2015年,全球將有超過87%的移動網絡流量由智能手機、筆記本電腦以及其他便攜設備產生。連接到移動網絡的平板電腦,在2015年,將能產生每月248 PB (petabyte)的移動網絡流量,甚至會高于2010年全球移動網絡的總流量。
而移動視頻流量將成為移動網絡中的流量大戶。據該機構預測,移動視頻流量在2015年將占總移動數據流量的66%,將會比2010年增長35倍。對此,思科環球服務供應商務部副總裁Suraj Shetty也曾表示,2010年全球移動數據流量比2009年上升了2.6倍,連續第三年創造了近三倍的增幅,移動網絡的優勢已經越來越明顯。而涉及視頻應用的新移動產品不斷推陳出新,更是推動移動數據流量顯著增長的主要因素。
兼顧成本與性能的MOVE
移動數據流量高速增長的壓力已經擺在了眼前,但對運營商而言,如何以合理的運營成本獲得網絡性能的彈性增長才是他們所關心的問題。而近期,思科在移動通信大會上的旨在解決移動數據流量高增長問題的全新解決方案――MOVE(Monetization、Optimization、Videoscape Experience)似乎為解決這一問題提供了一些新鮮的思路。
這款被稱為 MOVE的產品是一個橫跨整個移動網絡的方案,它囊括了從客戶端到網絡,再到云端的整個鏈路,包含了思科的移動Videoscape平臺,思科電信運營商 Wi-Fi方案以及思科適應性智能路由(Cisco Adaptive Intelligent Routing ,AIR)。
在MOVE中,Videoscape的作用非常突出,思科采用了很多創新技術,用以保障移動視頻服務的體驗。比如通過思科ASR5000和思科統一計算系統平臺的新技術,思科移動Videoscape綜合平臺能確保移動運營商為其客戶傳輸加強型的移動視頻體驗。同時,借助Videoscape綜合平臺下的內容分發網絡(CDN)功能,還能夠確保這些平臺將移動網絡與更大的視頻傳輸網絡相連接。在保證性能的同時,MOVE也充分考慮到運營成本的問題,利用Videoscape 媒體套件功能,運營商還能提供高效率、低成本的內容管理。
思科電信運營商 Wi-Fi方案是一個端到端的解決方案,它結合了思科下一代熱點技術。通過這一平臺,運營商可以打造一系列新的服務和移動體驗。通過集合全新的Cisco Aironet 1550系列戶外無線接入點及Cisco CleanAir技術,電信運營商還可以提供更低成本的服務和高安全的覆蓋,即使在戶外運動場地和交通通道內,也能支持用戶下載大量的移動視頻。
關鍵詞: 大數據;電信網絡;精簡架構;數據即服務
Abstract: In this paper, we discuss a number of domestic and international big-data telecommunications architectures and propose our own lean big-data architecture. This new architecture combines the practical application scenarios of operators, and the universal large platform is abandoned. There are two directions in big-data development: improving business efficiency and providing data as a service (DaaS). Capturing, managing, and mining core data of a telecom operator is the basis for service implementation. Rapid deployment and application of big data is the final target. A balance also needs to be struck between in efficiency, cost and time when deploying a big-data architecture.
Key words: big data; telecommunications network; lean architecture; data as a service
中圖分類號:TN915.03; TP393.03 文獻標志碼:A 文章編號:1009-6868 (2013) 04-0039-003
1 電信運營商建設大數據
思路及關鍵技術
運營商的網絡和用戶是運營商的核心資產,而其中流動的數據(包括用戶配置基礎數據、網絡信令數據、網管/日志數據、用戶位置數據、終端信息)是運營商的核心數據資產。對于運營商來說,最有價值的數據來自基礎電信網絡本身,對于基礎管道數據的挖掘和分析是運營商大數據挖掘的最重要方向。抓取、管理和挖掘這些數據是運營商的當務之急[1-2]。運營商基于核心數據的大數據應用可從兩個方面入手:
(1)通過大數據應用提升自身運營效率。比較典型的應用包括:信令多維分析、網絡綜合管理及分析、業務和運營支撐系統(BOSS)經營綜合分析、精準營銷等。
(2)通過數據即服務(DAAS)拓展新的服務內容,提供對外服務。包括個體及群體的位置信息以及用戶行為分析等,對于第三方公司(比如零售業或者咨詢公司、政府等)都是非常有價值的信息。運營商可以基于這些數據提供對外DAAS服務,拓展市場空間。
為了構建電信運營的大數據應用,從技術能力的角度可以分為數據收集與存儲、信息檢索匯聚、知識發現以及智慧4個層面。電信大數據技術層面如圖1所示。自下而上數據挖掘深度增加,難度加大,對于系統的智能需求提升。其中關鍵的技術包括抽取轉換裝載(ETL)、并行計算框架、分布式數據庫、分布式文件系統和數據挖掘、機器學習等。
面對海量的大數據,如何有效進行數據處理是需要解決的迫切問題,分布式并行處理是有效手段。傳統關系型數據庫多采用共享磁盤(Sharing-disk)架構,當數據量達到一定程度,將面臨處理的“瓶頸”以及擴展的困難,同時成本也偏高。當前有效的做法是采用分布式文件系統/分布式數據庫結合做分布并行處理。目前基于開源的Hadoop平臺是業界采用較廣泛的一個實現方案。Hadoop[3]的核心思想是基于Hadoop分布式文件系統(HDFS)存儲文件或者基于HBase數據庫(也是基于HDFS),使用分布式并行計算框架MapReduce來并行執行分發Map操作以及Reduce歸約操作。在Hadoop的計算模型中,計算節點與存儲節點合一。存儲數據的普通PC服務器可以執行MapReduce的任務。而在Sharing-disk模型中,存儲節點與計算節點是分離的,存儲的數據需要傳送到計算節點做計算。Hadoop計算模型適合離線批處理的場景,比如Log日志分析、文檔統計分析等。它是關系型數據庫管理系統(RDBMS)的有益補充。
在私有技術上實現分布式存儲和并行處理,在調用接口上與Hadoop兼容,這是一個可行的技術方案。這種方案可以避免上述Hadoop的缺點,同時在性能上做更多的優化。有效的手段包括增加數據本地性(Data Locality)特性,在多次迭代的計算過程減少數據在不同節點之間的傳送;使用索引和緩存加快數據的處理速度。結合存儲和計算硬件進行調優也是有效的手段,可以使用數據的分層存儲,將數據分布在內存、固態硬盤(SSD)、硬盤等不同介質上[4],使得與計算資源達到很好的平衡。
面對海量數據實時性的要求,比較有效的方式是采用復雜事件處理(CEP)[5]。實時流處理采用事件觸發機制,對于輸入的事件在內存中及時處理。同時對于多個事件能合成一個事件[6]。實時流處理需要支持規則以滿足靈活的事件處理要求。實時流處理可以使用分布式內存數據庫、消息總線等機制來實現快速實時響應。目前商用的CEP產品有不少,但是在功能、性能以及適用范圍上有較大差異,選擇成熟度高以及合適的產品是關鍵。
針對大數據中大量的半結構化或者非結構數據,NoSQL數據庫應運而生。NoSQL數據庫放棄關系模型,弱化事務,支持海量存儲、高可擴展性、高可用及高并發需求。NoSQL數據庫在特定應用場景下有很高的優勢,是傳統數據庫的有效補充。按照數據模型,NoSQL主要有四大類:鍵-值(Key-Value)型、列存儲型、文檔型、圖型,它們對應不同的應用場景。比如Key-Value型適合簡單鍵-值對的高效查詢,而圖型適合社交關系的存儲和高效查詢。
針對大數據挖掘分析、搜索以及機器自適應學習等技術在企業系統中逐步應用。相關的算法種類很多,當前需求較多的是分布式挖掘和分布式搜索。
由于數據類型以及數據處理方式的改變,傳統ETL已經不適用。運營商需要根據應用場景做不同的規劃。目前來說,由于運營商應用系統差別較大,尚未有一種統一的處理模式。比較可行的一種方法是依據數據的功用以及特性做分層處理,比如大量的數據源首先做初篩,初篩完之后有部分數據進入數據倉庫或者RDBMS或者其他應用。初篩可以使用Hadoop或者CEP或者定制的方式來完成。
針對運營商的不同應用場景,需要采用不同的技術或者技術組合。比如用戶實時詳單查詢,數據量巨大,但是它的數據類型簡單,數據以讀為主,不需要復雜的Join操作,數據的分布性好。相比傳統的RDBMS,使用Hadoop可以大大提升查詢性能,降低處理成本。更多的應用可能需要多種技術的組合。比如信令采集及多維分析,信令數據特別是分組域(PS)信令數據量大且實時性要求高,有效解決海量數據處理與實時性要求是它的關鍵,需要CEP與Hadoop的組合。在當前階段,不同的技術成熟度不一,由于業界大數據應用進展較快,我們認為當前針對不同應用的精簡方案是最合適的,也就是依據應用場景,挑選最合適的組件做組合,摒棄通用化的大平臺。
2 中興通訊大數據實踐
中興通訊依托在云計算等領域的長期積累,針對大數據形成了一套完整的技術體系架構。ZTE大數據技術體系架構如圖2所示。架構依據運營商的不同的應用需求,注重采用組件搭建的方式,形成端到端的精簡方案。下面以兩個具體的案例進行說明。
(1)用戶實時位置信息服務系統
該系統實時采集蜂窩網絡用戶的動態位置信息,并通過規范接口提供DAAS服務。實際工程中,當期接入的用戶數達兩千多萬,每天用戶位置更新數據可達40多億條,高峰期更新達到每秒幾十萬次。除了采集的位置,還可以結合其他數據源比如用戶年齡等屬性做分析,以應用編程接口(API)開放給上層應用。此外該系統需要有良好的可擴展性,后續可以接入其他區域的數據源。另外這套系統需要有良好的性價比,成本可控,時間可控。依據這些需求,我們在成熟的組件K-V NoSQL 數據庫的基礎上搭建了系統。用戶實時位置信息服務系統如圖3所示。
用戶實時位置信息服務系統是一個典型的精簡方案,它基于分布式Key-Value NoSQL數據庫的分布式緩存(DCache),組裝了對位置流事件實時處理的系統。DCache既是消息總線,也是內存數據庫,能很好地滿足實時性的要求。同時DCache基于x86刀片服務器,采用分布式架構,系統的擴展性很好,成本較低。該系統性能優越,穩定可靠,取得良好的效果。
(2)信令監測多維分析系統
隨著運營商數據業務快速增長,運營商對于網絡質量提升、網絡運營效率有著更大的壓力。通過采集網絡Gn接口、Mc接口信令并加以處理分析,可以獲得網絡運行的完整視圖,基于信令的相關專題分析,比如網絡質量分析、流量效率分析、多網協同分析、客戶投訴及服務分析等對于運營商網絡運營有極大的價值。
信令監測多維分析的難點在于信令流量大且數據量大,比如某運營商省公司Gn接口峰值流量可以達到4 Gb/s,每天信令數據可達1 TB。需要采集信令并做多種分析以服務于不同的部門。
信令監測多維分析系統采用分層的架構,便于數據共享及和應用的擴展。信令監測多維分析系統如圖4所示。使用實時流處理滿足實時性高的數據分析要求,對于會話或事務詳單(XDR)初步處理完的數據采用傳統RDBMS存儲供后續分析查詢使用。對于數據量龐大的XDR采用Hadoop HBase存儲并查詢,原始信令采用分布式文件系統存放在本地。
在這個方案中,數據根據它的使用特性采用不同的方式存儲和處理,突破RDBMS處理“瓶頸”和擴展性的“瓶頸”,達到了很好的效果。在測試中,4節點PC服務器可以全部承擔某運營商省公司PS域XDR的存儲,入庫性能可達50 Mb/s,針對上百億條記錄查詢,可以在10 s內返回。取得了很好的實踐效果。
3 結束語
電信運營商面臨大數據發展的機遇,都在積極推動大數據的試點和商用。在當前大數據技術快速發展的形勢下,根據需求和應用場景搭建精簡方案,可以幫助運營商在當前激烈競爭環境中快速獲得競爭優勢,在效率、成本和時間上取得最佳平衡。
參考文獻
[1] Cisco Systems. Cisco visual networking index global mobile data traffic forecast update, 2011 - 2016 [EB/OL]. [2013-03-25]. http://.
[2] MANYIKA J, CHUI M, BROWN B, et al. Big data: The next frontier for innovation, competition, and productivity [R]. McKinsey Global Institute, 2011.
[3] WHITE T. Hadoop權威指南 [M]. 2版. 周敏奇, 王曉玲, 金澈清, 譯. 北京:清華大學出版社, 2011.
[4] SNIA. 2012 SNIA Sprint Tutorials-NextGen Infrastructure for Big Data [EB/OL]. [2013-02-15]. http://
[5] NEUMEYER L, ROBBINS B, NAIR A, et al. S4: Distributed stream computing platform [C]//Proceedings of the IEEE International Conference on Data Mining Workshops (ICDMW’10), Dec 14-17,2010, Sydney, Australia .Los Alamitos, CA, USA: IEEE Computer Society, 2010:170-177.
[6] SHARON G, ETZION O. Event-processing network model and implementation [J]. IBM Systems Journal, 2008,47(2):321-334.
作者簡介
對話嘉賓:上海證券通信有限公司運營保障部經理史永良、艾默生網絡能源有限公司國有銀行拓展部總經理張華山、索克曼溯高美電氣集團大中華區首席代表佟光華、HDS華東華中區技術總監陳駿、Avocent華東區經理毛空云。
主持人:在當前的經濟形勢下,建設下一代金融數據中心,從用戶層面來看,你更注重哪些因素?相比以往,有哪些更加深入的思考?
史永良:證券行業的技術部門盈利不一定要通過財務報表體現,但盈利能力的確是可以衡量的。比如,技術部門要提供怎樣的處理能力,使證券企業能實現500萬個客戶的管理能力,每天成交1000萬筆處理能力,這些都可以折算成實際利潤,這個能力對于公司是可預期、可盈利的,這樣就把成本部門變成盈利部門。
證券行業以前存在的IT問題是,越是股市低迷,越要縮減成本,IT投入也要縮減;股市火爆、行情好的時候,處理能力不夠了,那時就不顧一切地添置設備,只要能快速滿足業務需求就行,采購根本不考慮性價比。這兩年證券行業開始明白了,行情不好、盈利能力下降的時候,反而是做基礎建設投入的大好時機。經濟總是要發展的,股市的牛市、熊市總是循環往復的,基礎打好,有了盈利能力就具備了獲得利潤的基礎。
交易所給我們的任務第一是確保運營安全;第二是提高服務水平;第三是適度盈利。我們一直致力于追蹤新技術發展,考慮用成熟產品、先進產品,目的就是要安全。大集中做完以后,證券公司的業務發展有很大靈活性,但IT發展的靈活性有限,這是急需處理的問題。
主持人:盡管對綠色的呼聲很高,但只有不到10%的企業真正在數據中心運用了能源管理技術,這個原因是怎么造成的?你們對金融數據中心用戶有什么建議?
佟光華:數據中心現在面臨最大的問題就是散熱問題,數據中心在投資運營方面最大的問題是電費,電費牽涉到最大的部分是空調費用,然而怎么降低空調費用?我從UPS設備廠商的角度來看,解決辦法第一是完全用高效能產品,讓輸入電力得到最好的應用,輸出得到最高的效率。第二是占地面積要小,任何一個產品,設備擺在那里,就占了可用面積甚至營業面積。第三是能源儲存問題,電池占多大的空間,維持運轉產生的熱能是多少,需要多少空調費用制冷?UPS在設備發展上也是這樣。
張華山:艾默生主要做機房設備,包括UPS空調配件監控,提供一體化解決方案。從節能角度來說,艾默生具備完整的節能解決方案,如空調節能、UPS柔性解決方案,提供綠色數據中心機房建設的一整套思路。整體來說,艾默生產品已經在國內80%的重要金融數據中心里應用,包括工行、中行、建行、農行、深交所、上交所以及深圳證券交易公司。
主持人:提高利用率,資源高度虛擬化是未來金融數據中心的發展方向。數據中心的數據量、業務量逐漸增大,如何應對管理效率方面提出的更高要求?
毛空云:我們提供了可視可見的節能方案,可在集中平臺上看到所有服務器的狀態和控制,并且提供了綠色能源解決方案,可在機房規劃設計過程中就避免單個機柜用電負載過大,分布不均勻。我們提供集中化的遠程管理控制方案,使IT管理人員在遠端就能做到“在現場”管理。
陳駿:我們提供存放數據的載體,設備本身要節能。我們新一代設備的外觀朝著奇特的形態發展,但更加容易散熱,前后通風。應對數據大集中,我們不是重新建一套系統,而是采用虛擬化技術把原有設備整合起來,以提供更高的效率。
主持人:從國際趨勢及自身經驗來看,各位認為國內金融數據中心應該關注哪些重點?
張華山:新一代的數據中心主要新在哪里?一個是綠色節能,另一個是柔性擴展。柔性解決方案核心是機房要考慮到未來的擴容、維護和便利性。這一方面艾默生無論是UPS架構還是配電、整個系統的智能化監控方面都有很多理念。
佟光華:數據中心的首要任務是安全,這是無法取代的。第二個任務是綠色效益,就是高效能數據中心。我們要順應大潮流,提供高效能產品,在最小化面積的同時取代落后的電池解決方案。
關鍵詞:地市局;虛擬;運營監控
作者簡介:趙卓(1982-),男,浙江溫州人,溫州電力局,工程師;譚書平(1981-),男,湖南芷江人,溫州電力局,工程師。(浙江
溫州 325000)
中圖分類號:F272 文獻標識碼:A 文章編號:1007-0079(2013)23-0176-03
一、需求分析
1.企業經營管理需求
國家電網公司“三集五大”部署方案中提出要建設總部和省公司運營監控中心,實現對公司主要經營活動和管理績效的實時在線監測。作為地區局而言,雖然沒有運營監控中心這個實體機構存在,但同樣需要這種功能滿足領導層對企業主要經營活動的實時監控需求。企業領導層需要從提升管理的角度,抓住跨部門協作的關鍵領域,橫向貫通主要核心業務領域的信息流,從而使管理層能夠透視公司信息運行狀況并發現問題。通過可視化數據挖掘實現對眾多底層信息系統數據可視化,提高決策水平,提升安全管理、經營績效、營銷服務、電網運行、人力資源等管理效能。
2.企業信息化需求
國家電網公司信息化SG186工程建設順利竣工以來已建成的底層信息系統數目眾多,但這些系統與產品分散建設,缺乏統一規劃與精細管理,不具備集中展示效果且可視化效果較差。目前迫切需要對底層系統進行數據集成、多角度的展現,把原本分散在各個底層系統的業務指標信息統一展示,實現企業同業對標、經營績效等信息可視化、各業務部門關鍵信息可視化、流程可視化、場景可視化、經營成果可視化。
二、工作目標與建設內容
1.工作目標
溫州電力局虛擬運營監控中心遵照省公司“三集五大”體系建設的總體安排,利用浙江公司“五大”建設成果,結合溫州電力局實際情況開展建設。根據國網公司信息規劃對信息運行的“平臺集中、應用融合、決策智能、安全實用”相關要求,實現地區局達到“可靠性更高、業務內涵更廣、響應速度更快、服務質量更優”的信息運行特征。以用戶體驗及功能、數據組織的合理性、操作的順暢性、界面的直觀可視性等方面為建設重點。
虛擬運營監控中心設計思路是:充分利用各階段成果和現有信息化基礎,以實現地縣全面監測、綜合分析、協調控制為目標,遵循標準化建設原則,構建“職責明確”的組織體系和“協同高效”的工作機制,確保為省運營監控中心提供更充分的服務、確保為企業領導層和基層單位提供更充分的服務。①
2.建設內容
溫州局虛擬運營監控中心建設將充分利用浙江電力公司“SG186”工程建設成果,結合溫州局實際情況開展建設,最大程度體現溫州電力局自身的經營發展需要,建成集經營業務全方位監測、分析、預警、追溯及流程監控為一體的綜合性平臺。
全面檢測:根據局領導層的關注內容,提取在用信息系統的各類重點指標數據并集中展示,實現對企業主要經營活動、核心資源等在線監測。同時針對不同需求場景展現全局運營成果和經濟運營狀況。
運營分析:在實現監測功能的同時,對監測的運營管理數據開展實時匯總分析,從各專業或各基層單位等不同的緯度進行綜合績效評分,及時判斷運營狀態與發展趨勢,為領導層提供決策依據。
預警追溯:根據運營管理數據的分析結果,確定各指標數據的閥值界限,對各類運營管理異動、問題和風險用圖形化的方式直觀預警。同時根據業務需求實現指標溯源分析,通過指標結果數據逐層追溯到憑證、訂單級別的明細數據。
流程監控:監控關鍵業務全過程管理,實時掌握處理流程中的關鍵節點及各項業務流程的執行情況,從而發現潛在的問題,同時對企業年度重點工作任務或重點項目進度進行及時監督和督辦。
三、技術支持系統建設
1.技術方案
溫州電力局虛擬運營監控中心項目定位是省公司運營監控中心技術支持系統在溫州局及縣局的延伸,將嚴格遵照省公司運營監控中心系統的開發要求,在省公司運營監控中心系統框架下充分利用省公司現有的BW數據中心和開放數據平臺所形成的數據倉庫資源,結合溫州電力局實際需求進行建設,本地目前不考慮設置服務器。
考慮到省公司數據倉庫數據量龐大,地市局訪問不方便且速度較慢,同時地市局對數據倉庫中自身相關的數據存在旺盛的應用需求,具體表現為對數據粒度更加精細、需求更加靈活多變、可操作性更強。因此地市局迫切需要省公司為其搭建更符合本地特色的“數據集市”平臺。該平臺作為省級數據倉庫的子集,在保障與省級經營分析系統數據一致性的同時可集中進行有針對性、及時、靈活、細化的數據分析,大大促進地市分公司進行精細化經營,也使省公司運營監控系統的功能得到進一步的延伸和完善,②同時使地市局信息人員能夠參與到應用層面的工作中。
數據源層:是原始數據層,分為省級部署系統(包括ERP、營銷、PMS等系統)和溫州自建系統(包括PI系統等)。
數據存儲層:分為省級和溫州市級兩個數據存儲。省級數據存儲基于省公司成熟的數據中心系統架構,數據倉庫層存儲明細數據,提供溯源分析的詳細數據存儲;數據集市層存儲面向應用主題分析的業務指標,提供指標的管理、定義和業務邏輯等功能。溫州虛擬監控主要存儲面向溫州自建系統的個性化數據。
應用設計層:應用SAP公司提供的BOE平臺,具有一整套報表開發設計解決方案,主要是水晶易表;結合FLEX組件的靈活開發,兩者共同設計組成具有可視化的動態的報表展現界面。
分析展現層:基于省公司綜合分析展現平臺,實現統一訪問入口和單點登錄,提供在線的指標監控、預警、分析和輔助決策。主要包括財務指標預警、生產指標監控、電網運行指標預警和指標管理等應用功能。
2.建設情況
溫州局虛擬運營監控中心按照主題及業務分為8大板塊,分別為主頁、資產經營、電網運行、優質服務、同業對標、綜合計劃、計劃與預算及重點項目。這一舉措實現了同一平臺各業務指標的展現,橫向貫穿了企業的建設、生產、銷售、運營等各個領域。
目前系統已接入指標總數量183個,其中財務68個、發策17個、人資10個、運檢29個、物資18個、基建15個、營銷26個。
(1)資產經營板塊主要通過資產、收入、成本、投資、利潤等展現,將企業擁有的一切資源資本化,讓每一項資產都能在企業有序的組織下成為為企業的經營目標而“戰斗”的“列兵”,發揮其應有的作用。
(2)優質服務板塊主要通過電費管理、電能計算、客戶服務、綜合管理四個維度對企業在完善服務理念、提高服務質量、規范服務操作、科學簡化服務流程等方面進行客觀的展現,便于相關人員及時發現存在的問題。
(3)同業對標(業績部分)主要涵蓋電網堅強、資產優良、服務優質及業績優秀,通過橫向與兄弟公司的比對直觀展現企業短板,促使企業進一步提升。目前該板塊展現設計已經完成,數據接入需要在省公司完成之后才能進行。
(4)綜合計劃作為對企業未來較長時間內資源和需求之間平衡的概括性設想,全業務指標數據的接入與預警,為企業的發展、領導的決策提供參考。
(5)基建、技改、配網、營銷、科技、大修項目全過程管理,通過項目計劃、開工、完工等重要節點展現企業項目建設情況。
(6)實現溫州自建系統PI系統實時數據(15分鐘)的接入與展示,全天96個節點監控電網運行狀態,為提前預測、分析電網負荷提供可靠參考。
四、組織機制設計
為保障省運營監測(控)中心各項業務有效開展,構建以省運營監測(控)中心為主、與各業務部門配合支持、覆蓋省地縣三級組織機構的運營監測(控)業務管理體系。組織體系見圖1。
地市局虛擬運營監控中心是一個以信息系統為支撐,各業務部門成員組成的非正式序列機構,它為領導層及業務部門提供專業決策所需的綜合輔助分析支持和相關分析報表,為企業管理水平提升提供支撐。③
地市局虛擬運營監控中心與國網、省公司兩級運營檢測(控)中心在具體業務對象、監測與分析深度、廣度和細度各有側重:
具體業務對象方面,地區局虛擬運營監控中心側重于領導層及重要業務部門為基本業務對象;監測與分析方面,省公司層面對本單位重要業務流程和主要指標進行細致、具體的監測;地區局層面對本單位關鍵業務流程和重點指標進行細致、具體監測,開展綜合分析。
地市局各業務部門負責保障業務數據的完整性、及時性和準確性;通過虛擬運營監控中心配合省公司建立指標分析模型;根據虛擬運營監控中心提供的系統預警或異動信息,通過本專業的角度進行分析,制訂消除計劃。
地市局信通公司作為業務部門與省公司數據中心的牽頭聯系部門,負責業務數據抽取相關事務,參與省公司數據中心地市局和縣局部分數據集市建設。
五、機制設計
通過內部協作機制保證省、地、縣三級組織機構運營監控業務有序開展,使省運營監測(控)中心業務覆蓋面更廣,企業運營信息獲取更全面,同時也為地市縣基層單位提供更多的服務。具體內部協作流程圖見圖2。
省運營監測(控)中心定期的分析報告及監測周報通過地市局虛擬運營監控中心落實到地市局各業務部門及各縣局單位。
地市局虛擬運營監控中心定期由牽頭部門召開全局運營情況分析會,形成《××電力局每周要情》和《××電力局月度運營分析報告》,報送省運營監測(控)中心和局領導,同時抄送相關業務部門和所涉縣局?!睹恐芤椤泛汀对露冗\營分析報告》的主要內容包括本單位核心業務情況、發現異常和問題數量、類型以及異動等問題消除情況。
六、結語
溫州電力局虛擬運營監控中心將原本分散的各系統業務指標在同一平臺集中展示和動態預警,實現了關鍵信息、業務流程、經營成果的全過程可視化,為我局決策層和管理層提供了跨專業、跨部門、集監測、分析及預警功能于一身、掌控企業重要運營情況的綜合信息監測平臺,并為運營監測工作的有效開展奠定了基礎。下一步溫州電力局將積極適應五大體系發展要求,緊緊圍繞省公司建設省、市、縣一體化運營監控系統建設方案和工作進度,不斷創新實踐,確保圓滿完成各類工作任務。
注釋:
①王小平,張成志,趙昀飛.虛擬化技術在企業的應用[J].電腦知識與技術,2010,(28).
②石家亮.基于虛擬化技術的數據中心解決方案[J].電腦知識與技術,2010,(21).
③孫澤鋒.云計算在電網企業的應用與信息安全[A].中國通信學會信息通信網絡技術委員會2011年年會論文集(上冊)[C].2011.
參考文獻:
[1]張文盛.虛擬化服務器的應用研究[J].辦公自動化,2010,(8).
[2]譚文輝.利用VMware實現數據中心服務器虛擬化[J].艦船電子工程,2008,(6).
[3]周鐵成.虛擬化技術在數據中心架構中的應用研究[J].現代計算機(專業版),2009,(4).
[4]成旻.基于虛擬化技術的呼叫中心構建與實現[D].北京:北京郵電大學,2011.
[5]劉承科.服務器虛擬化技術在寧波電力的應用研究[J].電力信息化,2011,(8).