前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的簡述云計算的關鍵技術主題范文,僅供參考,歡迎閱讀并收藏。
關鍵詞:云計算;數字圖書館;應用
數字圖書館在經歷了互聯網時代、WEB時代、網格時代、WEB2.0時代后,正在悄然走進云計算時代。云計算技術以其強大的功能已在全世界的一些商業領域得到了初步的應用,也引起了圖書館界的廣泛關注。在不久的將來,會有越來越多的圖書館試水云計算,通過云計算來提升圖書館網絡信息管理與服務的水平,云計算將在數字圖書館中得到大規模的普及。
1 云計算的內涵
云計算指的是一種全新的計算模式,它依靠的不是個人電腦,也不是獨立的服務器,而是一種用戶無需關心其內部結構的“云”。云計算集成了所有的信息資源,并由系統軟件對其進行管理,用戶不用關注信息資源的安全性與可靠性等問題。在云計算的基本結構中,主體部分是由服務器集群構成的云,為了實現其計算能力的最大化,通常會使用虛擬化、集群化等技術。狹義的云計算是指信息技術基礎設施的交付和使用模式,指用戶通過互聯網以按需、易擴展的方式獲得所需的資源;廣義的云計算是指服務的交付和使用模式,指用戶通過互聯網以按需、易擴展的方式獲得所需的服務。這種服務可以是信息技術和應用軟件、互聯網相關的,也可以是任意其他的服務,它具有超大規模、虛擬化、可靠安全等優勢。
云計算的特點主要表現在:(1)強大的計算能力。云計算為網絡應用提供了強大的計算能力,完成普通計算難以達到的各種業務要求。(2)可靠的數據存儲。云計算提供了可靠的數據存儲中心,數據可以自動同步傳遞,并可通過Web在所有的設備上使用,避免了用戶將數據存放在個人電腦上而出現的數據丟失或感染病毒等問題。(3)方便、快捷的云服務。云計算時代,用戶不需要安裝和升級電腦上的各種應用軟件,只需要具有網絡瀏覽器就可以方便、快捷地使用云計算提供的各種服務。(4)經濟效益。云計算服務提供商的存儲成本、帶寬成本、計算處理成本等加起來也只有機構自身運營數據中心成本的幾分之一,這將有助于一些機構以比較低廉的架構成本進行運作。
2 基于云計算的數字圖書館功能優勢
2.1 技術優勢。對數字圖書館的所有成員館可以提供統一的訪問方式和一致基礎設施服務。這種統一的資源服務訪問方式,不僅能夠充分利用數字圖書館中現有的服務器資源、網絡資源、存儲資源,減少數字圖書館中的資源閑置問題,同時也避免了數字圖書館中各種硬件資源的重復購置。在這種統一的資源服務訪問方式下,數字圖書館不僅可以直接通過數字圖書館主服務器來請求資源的調用,而不用管數字圖書館主服務器是如何去分發自己的請求,以及調配哪一個虛擬服務器所對應的物理服務器來處理自己的請求;也可以在知道內部塊服務器訪問接口的情況下,直接指定要訪問的虛擬服務器所對應的物理服務器來處理自己的請求。
2.2 硬件建設優勢。與傳統的數字圖書館硬件建設相比,基于云計算的數字圖書館硬件建設具有一些優勢。如對硬件的性能要求低,傳統的數字圖書館硬件建設需要性能完備且價格昂貴的硬件設備不同,基于云計算的數字圖書館利用多個廉價服務器集群來實現強大的數據處理和計算功能。雖然使用廉價的服務器集群,部分服務器可能出現故障,但云計算集群服務所支持的冗余性,也就是同一個服務請求可以在某個虛擬服務器上失效的情況下轉發給其他正常工作的虛擬服務器進行處理,保證了數字圖書館云計算服務的高可用性。
2.3 資源整合優勢。整合最豐富的數字圖書資源,實現資源的高度共享,是云計算時代數字圖書館的重要特征。在云計算技術對數字圖書館的有利支持下,可以更好、更充分地發揮互聯網的自身優勢,最大限度的實現資源聚合。進入云計算時代,數字圖書館不但可以聚合全國各地的數字圖書資源,甚至可以將全世界范圍內的數字圖書資源都聚合到云端的存儲服務器中,供讀者查閱、使用。數字圖書館這些功能的實現,既依賴于云處理技術和互聯網技術的不斷進步,也展示了云計算時代信息處理和交流協作方面的優勢。云計算環境下的數字圖書館幾乎完全消除信息孤島,不斷完善數字圖書館資源整合,真正實現信息資源共享。
2.4 用戶服務優勢。云計算時代的數字圖書館服務更加關心用戶需求,致力于為讀者提供更加全面和更加優質的服務。提供數字圖書資源的過程中,一方面是數字圖書館將大大提高資源的共享效率,另一方面數字圖書館將隨讀者個人需求的不同將繼續向更加個性化、自由化、多元化的方向發展。讀者上數字圖書館平臺可能不是為了閱覽或者不僅僅是為了獲取圖書資料,讀者可能是為了進行交流或者使用數字圖書館的其他方面功能,所以“讀者”稱為客戶或用戶更合適。云計算環境下的數字圖書館不僅在功能上有很大的擴展,而且可以為用戶提供更加快速、便捷、優質的服務。用戶只要接入“云”端,就可以不受時間和空間的限制進行自我學習,從而滿足用戶的個性化需求。
3 云計算在數字圖書館中的應用
3.1 基于云存儲的數字圖書館服務。基于云計算的數字圖書館以云存儲為核心,圖書館所有的信息資源都將存放于“云”上,由“云”來管理和調度這些海量數據,用戶通過網絡接入并動態部署虛擬硬件提供的存儲和計算能力。云計算通過分布式存儲實現對圖書館海量數據的存儲,冗余存儲的方式保證存儲數據的可靠性,與之相關的虛擬技術使得整合后的圖書館海量數據更加統一有序,最終實現對數字圖書館資源的完全整合。
云計算技術最大限度的降低了服務器的出錯概率,確保了海量數據存儲系統的可靠性和數據安全性。其次,基于云計算的圖書館海量數據存儲方式提高了信息資源的更新速度,只要“云”中的圖書館修改和添加新的信息資源,用戶就能在第一時間內獲取。此外,云計算的出現使圖書館存儲系統的擴展能力得到大大的提高,“云”提供的近乎無限的空間和計算能力。而且,云計算模式的出現大大降低了海量數據存儲系統建設和維護成本,可以通過少量的費用讓圖書館獲得“云”中上百萬臺服務器提供的服務。
3.2 基于云計算的圖書館自動化。云計算環境下,圖書館自動化系統應用的各項功能已進行細化拆分,系統提供商按照標準協議提供功能包,圖書館用戶可按本館需求選擇理想的功能包,不同廠家的功能包數據標準統一、相互暢通。圖書館用戶可按照自身的需求將這些功能包整合為一個具有本館特色的自動化系統。對于計算機能力強的圖書館,可以采用云計算環境下的各種Open API,直接讀取互聯網上的特色數據:如利用Google maps提供圖書館各館分布的地圖、根據豆瓣網中的圖書評論考察圖書質量、在Amazon網上書店的直接訂購圖書資料等。云計算時代的數字圖書館自動化系統,將圖書館的館藏資源與全球的其他相關數字資源整合,拓展了圖書館的讀者服務形式和內容,構建成更加貼近讀者服務的數字圖書館。
3.3 基于云服務的數字圖書館設施整合與建設。通過云服務,對現有資源的整合,將數字圖書館分散的數據資源、IT資源進行物理集中,形成了規模化的數據中心、虛擬服務器等基礎設施。尤其對于數圖書館聯盟,通過規劃、管理以標準化等措施,把分散在子圖書館的數據源進行遷移、整合、集中,建立基于云計算的數據中心。在數據集中過程中不斷實施數據和業務的整合,使大多數圖書館的數據中心基本完成自身的標準化,既使原先信息服務得到擴展又將開發新項目的部署和實施。解決原先聯盟館數據業務分散時期的資源雜亂無序的問題。數字圖書館通過不斷的標準化體系建設,將形成統一的信息平臺、統一的基礎數據、統一的信息服務規范,這樣數字圖書館的資源和服務進行了整合和統一,將其演進到“云”上使消滅信息孤島成為可能。
4 結語
云計算的發展使得云計算開始深入各個行業,并給各個行業帶來了巨大的發展空間和商業空間,也使得各個行業向著網絡化方向迅速發展。云計算下的數字圖書館為行業提供了全新的潛在市場,將云計算技術充分應用到數字圖書館中對數字圖書館的產業發展產生深遠影響,相信云計算的應用必將成為圖書館行業的里程碑。
參考文獻
關鍵詞:電子文件云計算關鍵技術
云計算的應用將導致支撐電子文件管理實現的技術框架發生本質上的轉變。目前,國內外學者在云計算對電子文件管理的影響和所帶來的新問題等方面進行了一定研究①,但缺少對云環境下電子文件管理關鍵技術的系統研究。本文重點探討整合應用這些技術的通用框架、關鍵技術、實現原則和建議方案,為云環境下電子文件管理系統的構建提供技術基礎和實施依據。
1 云端電子文件管理系統的技術框架
云環境下的電子文件管理系統不僅需要實現SaaS層次上的資源虛擬化,而且還應根據電子文件的特殊性,對其他云服務提供商提供的平臺層和設施層的云服務進行選擇、配置和優化使用。私有云的成功實踐和成熟推廣會進一步推動云環境下的電子文件管理的研究、應用與發展,并進一步帶動相關管理部門和人員認識水平的提升,最終將逐漸會被混合云或公共云替代。
基于云計算的技術框架和電子文件管理的系統建設和應用需求,采用分層方法設計云環境下電子文件管理系統的技術框架是實現電子文件管理的首要任務,圖1呈現了電子文件管理系統的技術框架
1.1固件/硬件層主要包含硬件服務器和交換機等物理基礎設施,為軟件內核層提供硬件的操作、管理和更新服務;軟件內核層負責管理固件/硬件層的物理硬件設備,通常由操作系統內核、虛擬機監控器、集群中間件等工具和技術來實現。
1.2非結構化數據的分布式存儲。電子文件通常是以非結構化或半結構化數據方式存在,云計算環境中非結構化大數據的存儲通常采用分布式文件管理技術如Google的GFS、Hadoop的HDFS等。非結構化大數據的存儲過程中,一般按照實現配置好的大小(默認為64MB)進行分塊,并對每個分塊進行唯一索引后存儲在不同的數據塊服務器上,所有數據塊服務器由主服務器統一管理,力求控制流和數據流的分離。在云環境下,電子文件特別是大數據對象的文件將被存放到分布式的非結構化文件系統中,由文件系統統一管理。
1.3結構化數據對象的分布式存儲。云環境下結構化數據的存儲技術有Google的Bigtable、Amazon的RDS、Hadoop的HBase等技術,與傳統關系數據庫不同的是,云環境下的結構化數據模型一般由一個行關鍵字、列關鍵字和時間戳進行索引,其數據訪問需要數據鎖服務。云環境下的結構化數據的分布式存儲一般采用主服務器和子表服務器進行分工管理,其中主服務器負責新子表的分配、子表服務器的監控和負載均衡等問題。在云環境下,電子文件的元數據一般存儲在分布式結構化表中,由分布式結構化數據管理系統統一管理。
1.4分布式數據處理。與傳統電子文件管理系統不同的是,云環境下的電子文件管理系統中將會采用以MapReduce為代表的分布式數據處理技術來處理電子文件,需要對目前的電子文件管理系統中普遍采用的數據處理算法和技術實現工具進行改進或重新設計。
1.5電子文件管理基礎服務。該層為電子文件管理業務層提供一些共性的基礎和核心功能,包括電子文件封裝、電子憑證管理、完整性校驗、分布式存取、電子文件監控和電子文件的溯源。
1.6電子文件管理業務服務。電子文件管理業務服務主要包括信息捕獲、安全與監控、保管與處置、檢索與再現、系統管理、非電子文件管理,負責實現電子文件管理業務服務的虛擬化,形成電子文件管理的工具資源池。電子文件管理用戶可以通過系統提供的接口,包括人機交互界面(如Web界面)和程序編程接口(如Web服務、API等),以租用的方式享用電子文件管理基礎服務的各項功能。
除了上述組成部分之外,云環境下電子文件管理還需要系統管理、安全保障、容錯機制和服務質量等技術,它們貫穿于云環境下的電子文件管理系統的所有層次,需要統一設計和研發。
2 云端電子文件管理的關鍵技術
圖1所示的云環境下的電子文件管理的通用技術框架的應用需要如下關鍵技術的突破:
2.1電子文件的對象建模技術
電子文件的對象建模是電子文件管理系統的關鍵步驟之一。在不同的電子文件管理標準中,對電子文件的封裝要求有所不同。如何構建SIP ( Submission Information Package,提交信息包)、AIP ( Archival Information Package,存檔信息包)、DIP (Dissemination InformationPackage,信息包)的信息模型以及如何實現這些不同信息包之間的相互轉換是云端電子文件管理中需要解決的技術問題。此外,電子文件對象建模技術還需要考慮云計算環境本身的技術特殊性,如多副本管理、大文件分塊管理、分布式處理等特征。因此,電子文件對象的建模與封裝是云環境下的電子文件管理系統實現過程中需要解決的關鍵技術之一。
2.2海量異構電子文件的分布式存取技術
海量異構電子文件的分布式存取是云端電子文件管理系統與傳統電子文件管理系統的區別之一。以Google文件系統為例,主要技術特點是采用中心服務器模式,不緩存數據,在用戶態下實現和只提供專用接口。目前的電子文件管理中采用的數據處理技術不能直接應用于云環境下的分布式數據處理任務中。云環境下的電子文件管理需要進行大文件的分塊、MapReduce、多副本管理、結點動態加入、用戶態下實現等特殊操作。因此,面向海量異構電子文件的分布式存取技術是云端電子文件管理的重要課題之一。
2.3電子文件及其元數據的溯源技術
云計算技術本身的特殊性為電子文件及其元數據的溯源提供了良好的技術保障。云環境下電子文件回溯可分為兩類:結構化數據表的溯源和非結構化數據的溯源。以Bigtable為例,其數據模型由行、列、時間戳組成。與傳統數據庫不同的是,Bigtable中采用了關鍵字排序、列簇(ColumnFamily)存儲和時間戳,可以很容易在不同版本之間回溯。此外,云計算環境中的非結構化數據的存儲中采用了多副本技術,也較好地支持文件實體對象的溯源。但是,云計算中的這些技術并不能完全支持電子文件及其元數據的回溯操作,如證據保留和憑證生成等。因此,憑證性回溯技術是云端電子文件管理中需要突破的重要技術。
3 云端電子文件管理的實現方案
圖1所示的云環境下的電子文件管理通用技術框架和上述關鍵技術的實現需要以下基本原則和實現方法。
3.1實現原則
基于以上分析,可以歸納出,云環境下電子文件管理系統的構建需要遵從以下基本原則:
3.1.1底層技術的簡單性與上層應用的復雜性之間的平衡原則。簡單實用性是云計算服務模式的重要特征。其簡單實用性主要體現在兩個層面,一是在云計算的設計思想中,云計算的實現并不追求新技術的創造,而更加重視現有技術的重組;另一個是云計算的實現技術上,云計算一般采用簡單實用的實現技術,不主張實現技術的復雜化。以Amazon提出的SDB(SimpleDB)為例,這種技術不需要實現定義模式信息,其屬性的修改添加以追加形式實現,操作類型簡單(不支持像連接、排序等復雜操作)。然而,底層的簡單實用往往會增加上層應用的復雜度。因此,在云環境下的電子文件管理系統的設計和實現中,不僅要考慮底層技術的簡單實用原則,而且還注重避免上層應用的復雜性,力求在二者之間達到平衡。
3.1.2經濟性與穩定性之間的平衡。經濟性也是云技術的重要特征之一,云計算的經濟性體現云端和終端的經濟性。云端的經濟性體現在云端部署在成本相對較低的服務器硬件之上,不追求服務器集機群的實時更新換代。在計算能力和存儲能力相等的情況下,搭建一個云端服務器集群的成本要低于購買一臺超級計算機作為服務器的成本;終端的經濟性體現在云計算對終端的要求較低,用戶可以使用瘦終端就可以調用功能強大的云服務,不需要購買昂貴的軟硬件設備和進行繁瑣的軟硬件管理與維護工作②。因此,云環境下的電子文件管理系統的設計應遵循經濟性原則,可直接部署在配置較低的普通服務器硬件上,而且應支持多種類型的終端設備。但是,經濟性原則往往帶來穩定性問題,尤其是容錯處理問題。經濟性帶來的容錯處理是云計算的重要難題之一,涉及云計算中的Master服務器、Sever服務器、數據管理服務器等每個組成部分。因此,在經濟性和穩定性之間的平衡是云環境下電子文件管理的重要指導原則之一。
3.1.3靈活性與安全性的統一。靈活性(或彈性)作為云計算的重要特征,涉及節點動態管理、故障動態監測、動態故障恢復、多副本管理、動態租約管理和彈組合。顯然,靈活性給電子文件管理系統的技術實現帶來了較大程度的方便性。但是,靈活性也給電子文件的一致性、可靠性和保密性提出了更復雜的管理要求。因此,保證靈活性與安全性之間的平衡是云環境下的電子文件管理系統的IT實現的重要指導原則之一。
3.1.4針對性和可持續性的統一。針對性強調的是電子文件管理系統與其他業務應用系統的區別性,主要強調電子文件管理系統遵循相關的功能要求標準的符合程度。當前國內外關于與電子文件管理系統的功能要求標準有ISO15489、DoD5015.02、Moreq2、ICA、《電子文件歸檔與管理規范GB/T18894-2002》、《電子文件管理系統通用功能要求》等。因此,云環境下的電子文件管理系統的實現中必須遵循這些原則和要求,具備較強的針對性或專業性。同時,針對性的實現也要支持和遵循可持續性。云環境下的電子文件管理系統的實現并不要求一步到位,應統一規劃,分步驟實現,重視部門協同和資源共享。因此,針對性和可持續性的統一是云環境下的電子文件管理系統的研發中必須遵循的原則之一。
3.2實現方法
云計算環境中的電子文件管理系統的實現技術方案有多種,可以分為兩大類,即商業解決方案和開源解決方案。考慮到電子文件管理需求的特殊性及未來應用的可擴展性,建議采用開源解決方案。目前,主流的開源方案有Hadoop、Eucalyptus、Nimbus和Sectorand Sphere。其中,Hadoop和Eucalyptus分別模仿了兩個主流的商業解決方案,即Google和Amazon的云技術。綜合考慮實現技術的成熟度、普及程度、內部技術的公開性和未來發展趨勢,建議在云環境下的電子文件管理中采用基于Hadoop的開源解決方案。
在云環境下的電子文件管理系統的開發中應采用基于Hadoop的編程模式或類似于Hadoop的編程模式。Hadoop是Apache開源組織提供的一種具有高可靠性、高可擴展性的分布式計算機框架,包括Hadoop Common、Avro、Vhukwa、HBase、HDFS、Hive、MapReduce、Pig和ZooKeeper等編程技術③。其中,Hadoop HDFS、MapReduce、HBase、ZooKeeper、Pig分別對應Google的GFS、MapReduce、Bigtable、Chubby和Sawzall。因此,在圖1所示的通用技術框架中,可以分別使用Hadoop HDFS、HBase、MapReduce和ZooKeeper技術實現非結構化數據的存儲、結構化數據的存儲、分布式處理和鎖服務。
4 結語
以云計算為中心的新型信息生態環境為電子文件管理提供了新的計算模式和技術實現方案。在這種生態環境下,云端電子文件管理系統的初期建設往往定位于SaaS層的私有云。隨著關鍵技術和典型應用的成熟與發展,電子文件管理將逐漸采用混合云或公共云技術,并將滲透至云計算的不同層次。為此,本文將云端電子文件管理系統的通用技術劃分為七個層次,探討所需的四項關鍵技術,并提出了研發電子文件管理系統的基本原則和實現方案。因此,本文研究對于云環境下的電子文件管理系統的研發活動具有重要的指導意義。在未來的工作中,我們將重點進行實證分析,并進一步完善本文研究成果。
本文是北京市科技計劃課題《基于異構系統的電子檔案憑證性保障核心技術開發與應用》(項目編號Z111100075011001)、國家自然科學基金項目“語義Web環境下的大規模協同知識處理模型研究”(項目編號71103020)和國家社科基金重大項目《云計算環境下的信息資源集成與服務研究》(項目編號:12&ZD220)的成果之一。
參考文獻:
薛四新,黃萃.云計算環境下電子文件管理研究綜述[J].北京檔案,2011(09):25-27.
朝樂門,張勇,邢春曉.云端信息資源管理研究[J].情報資料工作,2010(4):44-49.
關鍵詞:云計算;網絡體系;計算機;數據中心
[中圖分類號]TP3 [文獻標識碼]A [文章編號]1009-9646(2012)8-0047-02
云計算把分布在不同地方、設備上的海量信息和大量處理器資源融合在一起,組成一個超級系統池,通過互相協同為外部提供各種各樣的服務,它是基于Internet的超級化計算方法和模式,其特點在于通過基于互聯網的多級協同模式,具有比單臺計算機更強、更快的運算能力,組成集群的分布式計算機并不要求性能很強,但在數據處理中心的統一管理下,按客戶的不同需求分配資源,在處理能力上可以起到超級計算機的作用;數據中心統一管理數據,負責分配資源、均衡負載、部署安全控制軟件,由大量計算機構成的超級資源池承擔復雜、繁重的計算任務,能夠滿足各種應用對計算能力、存儲空間和其他服務的需求,它通過互聯網將數據中心的各種資源打包后對外提供服務。云計算在網絡體系構建中的關鍵技術與應用主要具有以下特征:
一、網絡拓撲結構
從降低成本方面考慮,利用低造價交換機及商業級服務器來構建數據中心可以大大減少成本支出。另外,鑒于現在的PC機和服務器都具有至少兩個網絡端口,充分利用這些端口可以大大提高拓撲內節點的連通性以獲得更大的網絡吞吐量,這樣的構建方案具有更好的性價比。
數據中心網絡拓撲構是整個網絡由同一型號的可編程交換機組成,中間的服務器將網絡分割成兩個對稱的Fat—Tree結構的特殊變體,每個這樣的Fat—Tree結構包含核心層、匯聚層和接入層3個層次,使用這樣結構的好處是可以保證每臺服務器的任意網絡端口都可以同時以網絡硬件接口所允許的最大帶寬進行通信而不受網絡通信帶寬瓶頸的制約。
網絡能夠容納的服務器數量取決于構建網絡所使用的交換機的端口數k,網絡中的服務器被分成k組,每組包含(k/2)2臺服務器,網絡被服務器分成上下兩個部分,每部分的接入層和匯聚層對應每組都有k/2臺交換機,每個接入層的交換機分別連接k/2臺服務器,剩下的端口分別連接上層的交換機.核心層有(k/2)2臺交換機,每臺交換機的第i個網絡端口連接到第i組的匯聚層的某臺交換機,這樣每個匯聚層的交換機都有k/2條鏈路與核心層的各個交換機相連接.使用具有忌個端口的交換機組建的網絡可以容納K3/4臺服務器,我們提出的這種結構適用于任意端口數的交換機,如采用常見的48換機,那么按照本文提出的方法構建的數據中心網絡可以包含27648臺服務器,足夠支持企業構建自己的私有云平臺。
這種網絡拓撲構建方式有以下4個優點:(1)雖然相較于傳統樹形結構使用了更多的交換機,但是由于無需在核心層和匯聚層采用造價昂貴的高端高性能交換機,因此減少了總體構建成本;(2)對于網絡中任意的兩臺服務器之間都存在多條等長度的路徑可供選擇;(3)充分利用了服務器的兩個網絡端口,提高了網絡的連通性和吞吐量;(4)在提出的網絡結構中不存在像傳統樹形結構中的單點故障,因此容錯性得到了加強。
二、對虛擬機遷移的支持體系
借鑒應用于Internet骨干網絡交換機上的網絡虛擬化技術,并使駐留在主機上的與可編程交換機的控制軟件實時地交換網絡運行時參數,以達到動態調整各虛擬網絡帶寬的分配及控制管理參數的目的,這樣的協同工作機制使得不同的虛擬網絡運行不同的網絡層路由協議成為可能,這將能夠保證運行于不同虛擬網絡上的應用服務對于QoS的個性化需求。[4]
2.5層的另一個重要功能就是實現虛擬機的迅速遷移,設計2.5層的映射功能,通過將虛擬地址和實際地址進行一次映射以隔離上層應用使用的網絡地址和底層網絡進行交換時使用的物理地址之間的聯系.不同的是文獻E83映射的是服務地址和位置信息地址,我們可將每臺主機上駐留的為每個虛擬網絡創建一個映射表,用來記錄網絡內的虛擬機IP地址與物理主機MAC地址的對應關系.之間可以實時通信,通過類似路由發現的分布式通信機制,周期性更新運行于各臺服務器上的虛擬主機與硬件網絡地址的對應關系。
在某個服務器上建立新的虛擬主機時,會記錄新的虛擬IP地址與物理主機MAC地址的對應關系并在該虛擬網絡內進行廣播,這樣各個上對應該虛擬網的映射表都將被更新.當虛擬機間通信時,請求通信的主機發送的ARP探測包將直接被捕獲,檢索本機上的映射表,如果有匹配項將直接返回對應的MAC地址,如果沒有,將負責進行廣播以獲得正確的MAC地址.當出現服務器故障時,虛擬主機遷移到其他服務器上之后,服務器上的將會在網絡中主動廣播遷移后虛擬主機地址與服務器端口的對應關系從而加快虛擬機遷移后的恢復時間。
三、結束語
云計算的服務共享模式體現了以人為本和集約高效的發展理念,為信息技術更好的服務于人的生產生活提供了新的途徑.盡管這一模式的運作還在不斷的成熟之中,但是其發展方向是樂觀的,云計算正如它美麗的名字一樣,正在不斷的將新的驚喜呈現在世人面前.而其服務共享模式也將與社會整體發展的人本取向一道共同促進人的生產與生活。
[1]陳全,鄧倩妮.云計算及其關鍵技術[J].計算機應用,2009,29(9):2562-2567.
關鍵詞:云計算技術;檔案館;建設
1 什么是云計算技術
云計算是基于互聯網的相關服務的增加、使用和交付模式,通常涉及通過互聯網來提供動態易擴展且經常是虛似化的資源。云是網絡、互聯網的一種比喻說法。狹義云計算指IT基礎設施的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需資源;廣義云計算指服務的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需服務。這種服務可以是IT和軟件、互聯網相關,也可是其他服務。通俗的說云計算就是一種能將廣泛頒布上在眾多計算機中的數據和信息進行全面整合和高效利用的技術。
2 將云計算技術應用到數字檔案館建設中來的意義
1、使服務更加的方便、快捷。通過云計算技術,我們可以實現全市、全省乃至全國的檔案資源共享體系。在這個體系中首先我們可以調動網絡中所有的計算能力,使得網絡內的若干普通計算機、服務器相聯合達到可以比擬超級計算機的計算速度,從而提高檢索的速度、減少響應速度。其次我們可以共享各地所有檔案館的檔案資源,使得我們查詢的信息更詳盡,也方便了需要尋求服務的群眾,免去了他們為查詢系列信息所需的東奔西走,提高為人民服務的質量。
2、確保數據安全。現在檔案館的數據都集中在本館內的服務器上,而一旦服務器出現故障,檔案館將無法提供正常的服務,更嚴重可能導致數據的丟失。在云計算模式中,“云”中有上若干臺服務器,因此即使“云”中的某臺服務器出現故障,“云”中的服務器也可以在極短時間中,快速將某臺服務器中的數據完全拷貝到別的服務器上,并啟動新的服務器來提供服務,從而使檔案館真正實現無間斷的安全服務。
3、節約投入經費、增加資金使用效率。通過云計算技術,我們可以改變原來粗放型的資金投入,通過頂層設計我們可以統一需求、統一規劃、統一投入。一改原有的紛紛上馬、遍地開花、各自為政的歷史,使有限的經費投入用到刀刃上,用到檔案資源建設中去。
4、提高服務品質、拓展服務面。通過云計算技術和我們建立的共享體系,我們可以建立若干門類的專門檔案,通過整合再分類使我們的服務更加精細化。為更多的需要服務的單位和個人提供更準確、更詳盡的服務。
3 將云計算技術應用到數字檔案館建設中來的障礙和挑戰
云計算技術的出現對于現代檔案館來說有著跨時代的意義,他改變了傳統的檔案館以收集保管為主,簡單被動地對外提供查詢利用服務為輔的格局。使檔案館轉型為保管和利用并重的新型檔案館。但我們不可以否認云計算技術和檔案館的結合還存在著諸多問題。
1、數字檔案館建設各有差異。云計算技術和數字檔案館要產生出一加一大于二的效果是建立在各地數字檔案館建設已完成的基礎上的。所以數字檔案館建設得如何就決定了云計算技術和其融合能產生出多大的成果。但目前看來不容樂觀,甚至可以說目前看來數字檔案館建設的各有差異已成為了制約云計算技術與數字檔案館融合最大的瓶頸。因為目前存在兩個問題。一是各地建成的數字檔案館之間的接口、端口不能兼容,導致相互之間無法調閱。二是各地對實體檔案進行的數字化加工成品格式不盡相同,有的地方是JPG的、有的地方是PDF的,有的地方全文識別過了、有的地方沒有,等等諸多問題。當然不可否認出現這些問題有其一定的客觀因素,比如統一的標準出臺得比較晚、由于地域差異各地財力投入各有不同等等。但面對現在這種可以說是多做多錯,早做多錯的尷尬局面,破解他以迫在眉睫。
2、人才隊伍建設滯后。云計算技術目前是一個比較前沿的計算機技術,而我們檔案部門缺少一支信息技術和檔案業務并重的專業隊伍,人才隊伍建設也迫在眉睫。
3、安全保密工作不容忽視。檔案資源不同于其他,檔案資源有其一定的保密性。云計算技術的應用對檔案安全工作提出了更高的要求,對于網絡建設和在傳輸過程中的防泄漏工作是我們必須著重研究的課題。
4 應對策略
云計算技g和數字檔案館的結合已是大勢所趨,作為新時代的檔案人,我們應該迎難而上,面對困難我想我們應該從以下幾個方面來解決。
1、從思想上克服畏難情緒。思想上的畏難是行動中的攔路虎,我們不能一看到有困難就放棄,我們要勇于突破困難,解決困難。我們不能一看到有泄密的風險就抱著多一事不如少一事的態度,我們要以激昂的斗志一步一個腳印地走下去并確保安全工作萬無一失。
2、進一步加強數字檔案館的建設工作。目前數字檔案館建設方面的各類規范性文件、建設標準已陸續出臺,作為上級檔案行政部門,應該加強對基層檔案部門在數字檔案館建設工作中的指導和督促。作為基層檔案部門我們應該立足長遠,已經建成的地區要對照標準積極修改,未建成的地區要嚴格對照標準,積極穩妥地推進。上下齊心為大檔案的建設、為云計算技術和數字檔案館的結合鋪平道路。
3、進一步加強人才隊伍建設。人才隊伍的建設是提高軟實力的具體表現。為適應新形勢、新要求,首先作為我們檔案人我們要加強學習,只有學習才能適應新的要求。其次作為檔案上級部門我們應該加強對基層檔案館工作人員的培訓。第三我們需要拿出一定的崗位專門招錄一批專業人員來充實我們的隊伍。
隨著網絡技術的急速發展,云計算已經成為目前技術發展的主旋律,云計算作為一種新型的資源,加強利用可以大大的提高對數據的處理和存儲的安全性,并將其應用于分布存儲的技術之中,可以極大的提高分布存儲的高效性和實用性。本文將從在云計算環境下分布存儲技術的現狀開始,對云計算環境下的分布存儲技術的結構以及關鍵技術進行具體分析。
【關鍵詞】云計算 分布存儲 關鍵技術
在如今信息技術與科學技術不斷發展的大環境下,云計算作為一種新型的應用手段,在全球的范圍內都在發揮著至關重要的作用,但正是因為云計算的數據存儲量非常的大,會經常出現數據上的各種問題,這樣就在很大程度上影響和阻礙了云計算的使用及推廣,因此對云計算環境下的分布存儲的關鍵技術進行分析具有極大的現實意義。
1云計算環境下分布存儲技術的結構
確保云計算正常運行的核心基礎便是數據中心了,主要是包含軟件與硬件兩個部分。在云計算的環境之下,軟件主要是指在數據中心中提供的服務和所需要安裝的程序;硬件則是指數據中心的基礎設施,主要包含了計算機的設備與支撐系統。云計算中如果想有可靠的數據和高效的存儲都與數據中心的節點結構密不可分,因此,通過對數據中心的路由轉發功能的節點類型的不同進行分類,大抵可以將云計算環境下的分布存儲技術的結構分為三大類。
1.1 服務器為核心的結構
以服務器為核心的這種結構是利用網線將每個服務器中安裝的多個網卡進行相互連接的結構。這種結構中,服務器即需要對數據進行處理和存儲,還要將數據包的轉發功能完全負責。這種以服務器為核心的結構相對來說在線路的連接以及結構的組成方面較為簡單,不存在交換機這種硬件設備,可以很好的使服務器與底層的網絡進行交互,便于開發高效實用的路由算法。但是此種結構也存在著一定的弊端,比如鏈路稍有冗余,服務器中占用的計算資源較大,服務器的負載壓力加大從而導致服務器的整體計算效率大大降低,這樣,便會帶來成本增加以及性能損失等問題。
1.2 交換機為核心的結構
傳統的數據存儲都是通過交換機進行的,因此在云計算的環境尚未盛行之前,諸多的用戶都是采用交換機作為彼此數據存儲的中心,也就是說用戶是將網絡體系與數據中心聯系在一起,而二者的紐帶便是交換機。這種以交換機作為核心結構的存儲技術,主要是采用的樹形結構,主要包含的是聚合層、邊緣層和核心層三個部分。樹形結構的特點主要是簡單的操作方法、連接較為容易、擴展性強等。而這種以交換機為核心的結構也存在著一定的弊端,比如有限的存儲容量、較落后的存儲技術等,但是在數據存儲過程中,能夠將操作的靈活性和存儲的高效率等方面進行優化處理,將會有很大的提升空間。
1.3 服務器與交換機相結合的結構
正是由于單一的以服務器為核心的結構或者是單一的以交換機為核心的結構都或多或少的存在諸多的弊端,因此可以將兩者結合起來,成為混合的結構模式,揚長避短。這種混合的結構模式的優點主要可以從網絡結構方面、路由費用方面、可擴展性方面以及構建成本方面有所體現。在網絡結構方面混合的結構可以同時采用由交換機和服務器提供數據的路由轉發的功能,使網絡結構更加的自由和靈活;在可擴展性方面來看,這種混合結構是受每個服務器安裝的網卡數目限制的,數據中心的節點規模也是有限的;成本構建方面則是因為混合結構同時能夠結合交換機結構和服務器結構的優點,會使的具備同樣性能的條件下降低所需的成本。
2 數據容錯技術
在分布式存儲的研究領域一項關鍵技術便是數據容錯技術,良好的容錯技術對于提高系統的可用性和可靠性以及數據的訪問效率等都能大大的提高。數據的容錯技術往往是通過增加數據冗余來實現,因為冗余的數據能夠確保當數據失效或丟失之后查找的到,正是因為出現了太多的數據冗余,也同時加大了存儲資源的消耗,那么,如何既能保證容錯的同時還能夠降低成本來提高存儲資源的利用率,目前,最為常用的便是糾刪碼容錯技術以及復制容錯技術。
2.1 糾刪碼容錯技術
糾刪碼容錯技術是一類基于信道傳輸的編碼技術,當多個數據塊丟失可以容忍,并將其引入到分布式存儲的領域,糾刪碼容錯技術可以減少存儲的空間,基于編碼的這種容錯技術可以利用多個數據對象進行編碼,生成編碼的數據對象,出現巨大的存儲可以實現對完全復制數據的降低,但是卻在下載數據量的方面大于失效的數據大小,但是這種糾刪碼的容錯技術卻有著計算的開銷大、修復的成本好的弊端。
2.2 復制容錯技術
復制容錯技術是指在一個數據對象中創建出多個相同的模塊,將其分布到不同的存儲節點之中,即使當某個數據對象失效之后,仍然可以利用其它有效的數據模塊來獲得相同的數據。復制容錯技術主要包括兩個方面,即:數據復制策略以及數據組織結構。復制容錯技術的優點主要是方面實現、簡單直觀、讀取效率高,在目前的云計算環境中深受用戶的喜愛,并且得到了廣泛的應用,但同時也存在一定問題,就是因為每個數據對象都需要建立一定的數據模塊,所以對于存儲空間有著較高的要求。
3 節能技術
在云計算的環境下,數據存儲是重要的部分,但是同時存儲系統的消耗占據到了數據中心的40%以上,所以一定要考慮節能技術,主要從軟件節能和硬件節能兩個方面入手。軟件節能技術主要是指確保系統性能的基礎上,降低存儲數據中心的能耗,包括節點管理和數據管理;硬件節能技術主要有兩個方面,一是從數據中心進行考慮,將高性能和高能耗的硬件設備被低性能和低能耗的設備所替換,另一種是從計算機整體部件考慮,采用新型體系結構,實現計算機數據存儲能耗的降低。
4 結束語
總之,在這樣科學技術不斷發展的今天,云計算已經作為一種新型的計算模式正在全世界的范圍內改變著真個數據存儲的環境,云計算可以將龐大的數據節點與網絡設備有效的進行連接,從而形成一個或一些大規模的數據中心,為用戶提供基本服務來滿足不同的需求。但是盡管云計算存儲數據的規模很大,但是也存在著數據失效等問題,本文則對云計算環境下的數據存儲的技術進行分析,希望能夠有一定的現實意義。
參考文獻
[1]王意潔,孫偉東等.云計算環境下的分布存儲關鍵技術[J].軟件學報,2012(04).
[2]宋國平,邱陽.云計算環境下的分布存儲關鍵技術[J].吉林廣播電視大學學報,2014(09).
【關鍵詞】生態圖書館;云計算;構建
素質教育,是近年來基礎教育改革的重要目標,是將當代中小學生培養成為能夠適應時展的高素質人才。圖書館在社會教育中充當著舉足輕重的作用,某些功能是家庭教育和學校教育所無法替代的。然而,與高校圖書館的火熱朝天的場面相對比的是,中小學圖書館建設一直處于緩慢甚至是停滯階段。
一、中國農村中小學圖書館發展現狀
(一)農村中小學硬件條件落后
1.館藏數量少,館藏結構不合理。農村中小學圖書館的館藏書目有一部分是來自于學生、老師、家長和社會的捐助,圖書資源結構雜亂無章,版本信息混亂無序。
2.基礎設施落后,場館面積不足。正是因為館藏資源數量少,資金缺乏,有些學校將圖書館設立在陰暗的無人教室,終日無人問津,更加不用說再開設圖書閱覽室。
(二)農村中小學軟件條件的落后
1.思想理念落后。不管從教育行政部門、校長領導還是普通教師和家長,在多年應試教育的影響下,始終認為學生在學校的成績才是決定其今后人生方向的關鍵。筆者在瀏覽全區所有中小學官網后發現,沒有一所學校設有圖書館專欄,甚至以“圖書館”為關鍵詞搜索官網,也只能在少數學校中搜索到零星的幾條關于開展圖書活動的信息。
2.管理制度不健全,執行力的缺失。在許多學校里,圖書館管理、借閱等制度始終處于學校制度的底層,規章制度形同虛設,僅作為學校制度一部分而僵硬的存在。
二、借助云平臺構建生態圖書館
(一)云計算和云圖書館
云計算是一種按使用量付費的模式,這種模式提供可用的、便捷的、按需的網絡訪問,進入可配置的計算資源共享池(資源包括網絡,服務器,存儲,應用軟件,服務)。
云圖書館平臺可定義為構建于互聯網上,并向讀者提供服務的虛擬圖書館;也可以說是基于云計算技術和理念,為各類圖書館構建安全、高效、穩定、經濟的圖書館基礎設施和服務,為用戶提供高效率、低成本、高可用的個性化圖書館云服務。1
(二)生態圖書館
隨著生態文明的不斷推進,生態的概念也越來越深入人心,越來越多的圖書管理學者把生態學的引入圖書學和文獻學中,構成了具有生態學特征的圖書館學。綠色圖書館的構建成為當時和現時圖書館建設的主要指導思想,綠色圖書館以:低碳、無污染、原生態為主要特征,以可持續發展作為最終目的,從圖書館外部環境和內部組織入手進行綠色構建。
(三)云上生態圖書館的構建
云圖書館的構建是一個復雜而又龐大的系統工程,它將涉及到數據資源、網絡存儲基礎設施、擁有計算能力的計算機、管理平臺、開展活動的應用等各方面。具體主要分為四個層級:
這對于資金和技術條件有限的廣大農村中小學來看,顯然是“天方夜譚”的事情。云圖書館的構建是一個龐大的工程,根本不可能由一個單獨的個體―某一所學校獨立完成。并且我們不免想提出一個問題:
云圖書館的建立和共享,是否意味著生態圖書館的建立呢?
云圖書館的建立確實極大的使得圖書館資源能夠跨越時空的距離,以最快速、有效的方式達到資源的共享。但是,其本質還是在于需求者這是借助云平臺進行資源的搜索和借用。實質上,還是一種由圖書館向讀者進行的單相輸出,只不過是借助云平臺整合了整個地區的館藏資源,包括紙質書刊和電子書刊。將圖書館館藏資源空前擴大,正是因為館藏資源的空前龐大,導致了我們的云圖書管理員在面對龐大的館藏資源時,顯得手足無措。無法去控制和管理館藏資源的質量。從而,進一步增加了讀者選擇和甄別的難度,因此云圖書館的建立并不是有百利而無一害。
那么到底農村中小學該如何通過云平臺彌補館藏數量過少而又不增加圖書館經費的問題呢?
(一)建立由讀者組成的數據中心
云服務平臺簡而言之,是一個數據中心,而農村中小學恰恰缺少的是這個數據中心的建立。在資金缺少的情況下,意味著農村中小學無法靠自身建立一個健全的資源共享池,因為農村中小學的圖書閱讀始終是以紙質為主,因此建立紙質圖書資源中心才是中小學發展的有效機制。
因此,在我看來,農村中小學在資金短缺的條件下,應該靈活運用云平臺,將云平臺構建為一個虛擬的中心、交換平臺。類似于目前流行的O2O,但又不完全等同于O2O。
(二)建立面向讀者的云服務模式
提高云服務平臺的定制化服務水平,是加強和建立生態圖書館的基礎,也是開展和保障讀者個性化閱讀的重要條件。
建立健全圖書推介機制
在云上的生態圖書館里面,每個人都是一座移動的圖書館。那么要實現個性化閱讀的同時,也應當加強個性化圖書館的確立。簡而言之,是每個圖書館能夠為自己“造勢”、“打品牌”,讓讀者能夠在云上發現你和關注你。那么如何實現呢?
引入圖書評分制度,包括對圖書內容的評價、圖書價值的評價、圖書推介者“廣告”水平的評價......多方面綜合評價機制。以形成一個良性的的循環,不要讓循環變的緩慢甚至是停止。
云上生態圖書館的構建,其目的不是想要混淆圖書館和讀者之間的界限,而是讓讀者能夠與圖書館形成一個良性的循環:每個圖書館都是讀者,每個讀者都能成為圖書館。這樣不僅能夠喚起農村中小學生的自我效能和價值感,也是挽救農村中小學圖書館的頹勢,幫助其重獲新生。
關鍵詞:計算機技術;工程造價;利用
中圖分類號: TU723 文獻標識碼: A
一、引言
近年來,隨著計算機應用于工程造價管理,預算員都能熟練使用計算機編制預(結)算、工程標底和進行技術經技指標的統計分析,而且能通過網絡進行信息、價格咨詢。現在,從錄入工程量清單到輸出預結算書的時間大大縮短,提高了勞動效率。而且預結算結果的表現形式可以多樣化,可以從不同的角度進行造價的分析和組合,以滿足不同部門、單位對造價結果形式的要求。以下從幾方面談談我的體會。
一、工程預算軟件還需改善
當前的工程造價管理工作使用電子計算機主要是用于計算工程量、套價、編制預算和結算工作,現在普遍使用的軟件有:
(一)工程量計算軟件:目前通常使用的軟件一般是作圖,要求預算人員在精確識圖的基礎上輸入結構的各部分平面圖,并且錄入詳細的尺寸數據,由系統自動計算工程量,非常精確。如在繪圖的同時選定了工程作法的話,那么系統還會自動生成預算書,省去了套定額的過程。但是,輸入圖紙的工程量仍然很大,并且一些結構不規則的建筑物或是工業上的構筑物就難用這種方法。這是它的局限性。還有一些方法是與建筑設計的CAD制圖想結合,由設計者生成的CAD文件在CAD環境下作模式識別,抽取各種構件的特征參數,再加高度方向的一些參數形成三維立體圖象,再配合人工智能技術加以識別計算,以得到各部分的工程量,這種方法較有前途,但還遠遠未能真正代替人工識別,所以近幾年內用作圖法計算工程量的軟件還是占主導地位。
(二)鋼筋計算軟件:在建筑工程特別是大型工業建筑工程中,鋼筋量的計算是最龐大而復雜的工作。這類軟件目前主要采用直接輸入、表格法、平面標識法。要求工作人員根據圖紙選取構件相應配筋方式并輸入鋼筋數據,如直徑、間距、級別等。系統會自動計算鋼筋用量,并且給出各類型鋼筋的形狀和數量,也可以輸出匯總量而不要詳細的下料形式,對于較規則的框架、框架結構的梁、板、柱等來說,該類軟件均可解決問題,結果準確。但一些非標準的結構或工業構筑物、大型設備基礎等使用起來很不方便,只能采用手工抽筋的方法來計算。因此這類軟件在適用范圍上還有待于進一步的開展。
(三)工程預(結)算軟件的應用。它的主要功能是套定額單價、取費、計取價差。目前,有幾種版本經過多年的發展已比較成熟,已廣泛推廣應用。它一般由四個系統組成:消耗定額管理子系統、預算價格管理子系統、計價管理子系統、取費管理子系統。軟件開發商為了適應不同地區的材料預算價,設置了各地方的價格庫以滿足不同地區在使用時特殊需要。同一套軟件在不同的地區,只要選用相應的價格庫就可以使用而不必重新購買軟件。軟件功能也正從單一套價、出預算書向多方擴展:一是向上擴展,增加工程管理功能,可以把一個工程分為若干部分分別處理,也可以把分別編制的一個工程的幾個部分合為一個整體計算輸出,這就給預(結)算的管理帶來極大的便利;二是功能進一步細化,加強了計算結果的瞪眼系多樣性輸出。比如可以把費用反算到各子目中去,以適應施工單位在按國際慣例用綜合單價法招標報價時使用,三是預算方式的改變,可把申報方的預算文件、工程量自動計算文件、鋼筋計算文件直接用軟盤恢復到自己的計算機中,在自己的計算機上直接審查修改,并且匯總輸出時可以顯示詳細的增減帳條目,以供雙方檢查確認。這可減少子目錄時間,提高勞動效率,減輕勞動強度。據實調整材料的指導價格,可事先按不同的價格時期安裝到計算機中,選用時只要點取相應價格時期即可全部以按不同時期占的全重來加權平均,免去了市場價輸入操作過程,也避免了手工錄入時可能出現的誤差。
(四)技術經濟指標積累與分析系統:預算編出后,常要進行各種技術經濟指標的分析工作,以便衡量工程的經濟效果,和給控制工程造價起信息作用,尤其是在快速報價時它的準確與否對報價起關鍵作用,用技術指標也可以對預結算的準確性做初步的評估,施工圖預算完成后可以從造價指標中得到幫助,從資料中找出類似工程并將其指標與施工圖預算指標進行分析對比,從中發現施工圖預算的各項指標是否合理,有無偏差,必要時進行復核,提高預結算的準確度。所以技術經濟分析系統是預算編制工作中的一個重要軟件,目前,這一軟件系統正在發展中
二、在概預算工作中發展應用網絡技術
以上預算軟件只是預算編制和管理的軟件,還是停留在高度集中計劃經濟時期的做法里,市場經濟下,概預算要反映當前活的市場價格,這就要求預算員既要掌握當前新的施工組織和施工技術的勞動力,材料、機械消耗情況和費用情況。這些信息資料是分散在各種資源市場和各自企業內部的各個部門里的。如何把這些信息掌握到計算機里來,活化單價生成,預算編制,快速報價等工作,成了當前工程造價管理工作應用電子計算機技術中的一重要課題。現在,國外已經在應用電子計算機網絡技術解決這一問題。我國的工程造價管理部門應急起直追,否則,我們將無立足之地。現將網絡技術的情況簡介于下:
(一)網絡技術也就是一種聯網技術,將各網站連結起來,信息共享。Internet網是目前全球范圍內最大的信息資源網,人們通過Internet網可以進行方便而快捷的信息獲取和,進行遠程的技術交流和業務洽談。過去,企業信息管理系統通常采用局域網,它比以前手工匯總計算、統計分析、文件查詢傳遞的傳統方式有了很大提高,節約了大量的時間和勞動力,減輕了工作人員的勞動強度,這是一場革命。Internet網是企業管理系統新的發展契機,它革命性地解決了傳統MIS開發中不可避免的缺陷,打破了信息共享的障礙,實現了大范圍的協作。同時以其圖文并茂、使用方便、訪問快捷的特點,形成了新一代管理系統的框架。
目前可以通過直接上網和撥號上網接入Internet網,通過Internet網可與全國乃至全世界各地的工程造價管理部門及各兄弟單位取得聯系,以電子郵件、文件傳輸的形式進行技術交流,信息互換。這不但在時間、資金和人力上非常經濟合算,也是現代企業管理的一個重要標志。隨著中國加入WTO組織,在造價管理工作中運用計算機(網絡)技術也是與國際接軌的必然要求。中國“入世”后工程造價領域必將受到沖擊,國內的造價管理機構和管理人員的在外國咨詢機構進入中國以后將面臨更激烈的競爭和挑戰,這就要求我們現在著手進行造價管理工作的現代化改造,而計算機網絡技術的運用就是其中很重要的一環。
(二)內部網絡的建立,要把與造價管理相關的部門計算機聯成一個網絡,也就等于一個整體。將一個建設項目從開始的可行性研究,立項,投資概算,圖紙設計,施工合同的鑒定,到造價文件的審查、結算等相關的信息數據都輸入計算機中。管理人員只要在任何一臺客戶機上均可查詢相關的資料數據。這就大大方便了造價管理工作者。
三、結語
綜上所述,可以看出電子計算機和網絡技術對工程造價管理工作的深遠影響,既可以運用造價管理軟件編審造價文件,又可通過信息網獲取信息。我們的工程造價事業需要發展這項技術,使我們的造價工作為發展經濟作出貢獻。
參考文獻
[1]王玉煥.淺析建筑工程造價中計算機的應用[J].科技致富向導,2010(9).
云計算是一種在互聯網時代中應運而生的新興的網絡技術,具有高效率、高容量、動態處理的特點,在社會的商業領域和科研領域表現出了其相當高的應用價值。將云計算應用于數據挖掘平臺的構架之中后,將能在很大程度上為現代社會中越來越海量的數據挖掘提供一個高效率的技術平臺。本文將結合云計算和數據挖掘的基本概念和現代意義,對數據挖掘的平臺構架和相應的關鍵技術做出簡要的分析探討。
【關鍵詞】云計算 數據挖掘 關鍵技術探討
1 云計算和數據挖掘
1.1 云計算
云計算是并行計算和分布計算以及網格計算的發展,是一種在海量數據大規模的集合中能動態處理各種服務器數據資源的一類計算平臺,在電子商務、商業金融、科研開發等領域能得到廣泛的應用。它具有大規模、虛擬化、高效率、通用性、廉價等特點,能針對不同的用戶的不同需求,動態透明地提供其所需的虛擬化計算和資源儲存,并能及時動態回收當前用戶暫不利用的數據資源以提供給其他用戶,而其廉價、通用的特點,使得一般用戶實現大規模的數據操作成為可能。目前來說,云計算的平臺已得到良好的發展,日益成熟,基于云計算的應用已經可以相當方便的部署和操作其數據資源。
1.2 數據挖掘
數據挖掘技術是現代知識發現領域的一個重要技術,它是指一個從隨機的大量而不完整的模糊的實際數據中提取其中某些隱含著的具有潛在價值的實用知識與信息的過程。其具體技術有特征化、聚類、關聯和預測分析等等,涉及到的高級技術領域有統計學、機器學習、模式識別、人工智能等方面。
2 基于云計算的數據挖掘平臺構架
網絡云的發展給數據挖掘提出了新的問題和時代的挑戰,同時,也為數據挖掘提供了新的計算平臺和發展機遇。基于云計算的數據挖掘系統平臺的發現,解決了傳統的數據挖掘技術出現的時代滯慢、效率較低、功能落后、成本高昂等問題。云計算是一種商業計算模式,是網格計算與并行計算及分布式計算在一定程度上的商業實現,其動態、可伸縮的計算能力使得進行高效的海量數據挖掘的目標不再遙遠。同時,云計算SaaS 功能日益被理解和標準化,使得基于云計算SaaS 化的數據挖掘有了理論和技術的指導,并具有了企業化與大眾化的發展趨勢。
2.1 數據挖掘平臺構架
建立在關系型數據庫之上的傳統的數據挖掘技術構架在現時代數據急劇膨脹和分析需求漸增的發展下已經難以應付社會的數據處理問題。而云計算的分布式存儲與計算形式則接受了當代的數據挖掘難題,促成了適應時代的云計算數據挖掘平臺構架的形成。其包含了面向組件的設計理念和分層設計的思想方法。其構架自下向上總共分為3 層,分別為底層的云計算支撐平臺層、中間的數據挖掘能力層和上層的數據挖掘云服務層。
2.2 基于云計算的數據挖掘平臺構架各層意義
云計算支撐平臺層:顧名思義,該平臺層是云計算數據挖掘平臺的基礎處理平臺,其主要具有的功能是對分布式文件存儲與數據庫提供資源存儲,以及實行對數據的有關處理和計算功能。
數據挖掘能力層:該平臺結構層主要是提供挖掘的基礎能力,是數據挖掘的核心支撐平臺,并對數據挖掘云服務層提供能力支撐。該平臺層包含了算法數據并行處理、調度引起和服務管理的框架,該平臺層可以提供系統內部的數據挖掘處理和推薦算法庫,亦支持第三方的數據挖掘算法工具的進入。
數據挖掘云服務層:數據挖掘云服務層的主要功能是對外提供數據挖掘操作的云服務,同時也能提供基于結構化查詢的語言語句訪問,提供相關的解析引擎,以便于自動調用云服務。對外數據挖掘云服務能力封裝的接口形式多樣,包含了基于簡單對象訪問協議下的Web service、XML、HTTP以及本地應用程序的編程接口等多種形式。另外,在必要的時候,云服務層的各個業務系統可以進行數據挖掘云服務的調用和組裝。
3 基于云計算的數據挖掘平臺構架的關鍵技術探討
基于云計算的數據挖掘平臺構架的形成,離不開現代先進的科技技術,其中幾項關鍵的技術應用將在這里進行簡要的闡述:
3.1 云計算技術
3.1.1 分布式儲存技術
通過采用分布式存儲的方式來存儲數據,是云計算技術保證數據處理高可靠性和經濟性的重要保證。用可靠的軟件來彌補硬件的不足,是分布式存儲技術提供廉價而又海量的數據挖掘支持的重要途徑。
3.1.2 虛擬化技術
在云計算的環境下,數據挖掘能實現對大量的可用的虛擬化技術的應用、整合,發展出一套全面虛擬化的運行戰略。云計算和虛擬化的共同組合,使數據挖掘實現了跨系統下的資源調度,將海量的來源數據進行IT資源匯合,動態地實現對用戶的虛擬化資源的供給,從而以高效率、海量動態的特點完成服務任務。
3.1.3 并行云計算技術
并行云計算技術是一種對于高效執行數據挖掘計算任務極其重要的技術,并且它對云計算的某些技術細節做出了封裝,例如任務并行、任務調度、任務容錯和系統容錯以及數據分布等。該功能代替了用戶對這些細節的考慮,使得研發效率得到了提高。
3.2 數據匯集調度中心
數據匯集調度中心的功能主要是完成對不同類型的數據進行匯集。它實現了對接入該云計算數據挖掘平臺的業務數據收集匯合,能夠解決與不同數據的相關規約問題,并能支持多樣的源數據格式。
3.3 服務調度與管理技術
對于基于云計算的數據挖掘平臺,為了使不同業務系統能夠使用本計算平臺,必須要提供相應的服務調度與管理功能。服務調度解決云服務下的并行互斥以及隔離等問題,以保證安全、可靠的平臺的云服務。服務管理功能要實現統一的服務注冊與服務暴露功能,并且支持接入第三方的數據挖掘,以更好地擴展平臺的服務能力。
4 結束語
在時代的需求下,云計算技術的出現是并行計算技術、網絡技術和軟件技術不斷發展的必然產物。現代社會,云計算已經體現了其在商業、電子和科研開發的高價值。基于云計算的數據挖掘平臺,由于其強可靠性、高擴展性、高經濟性、海量處理數據等優點,會成為新一代數據挖掘技術上未來長期的技術平臺。
參考文獻
[1]紀俊.一種基于云計算的數據挖掘平臺架構設計與實現[D].青島:青島大學,2009.
[2]何清.基于云計算的海量數據挖掘[C/OL]//第二屆中國云計算大會,2010.
[3]CHANG F.DEAN J.ributed storage system for structured data,2008(02).
1.智慧城市的概念與內涵
1.1智慧城市的概念
智慧城市是把新一代信息技術充分運用在城市的各行各業之中的基于知識社會下一代創新(創新2.0)的城市信息化高級形態。智慧城市是基于互聯網、云計算等新一代信息技術以及大數據、社交網絡、Fab Lab、Living Lab、綜合集成法等工具和方法的創新應用。智慧城市實現全面透徹的感知、寬帶泛在的互聯、智能融合的應用以及以用戶創新、開放創新、大眾創新、協同創新為特征的可持續創新。
1.2智慧城市的內涵
1.2.1 更透徹的感知,更全面的互聯互通
智慧城市基于無處不在的智能傳感器,實現對城市物理空間的全面、綜合的感知,動態的獲取城市的各種信息,對城市核心系統進行實施感測,實現“無所不在的連接”。
1.2.2 更深入的整合,更協同的運作
通過城市“三網”融合,再加上物聯網和基于云計算平臺的多元異構數據(多參考系、多語義、多尺度、多時相等)的整合,構建智慧城市的信息基礎設施。1.2.3 更多樣的服務,更積極的創新
智慧城市所構建的服務,是一種新的提供服務的體系結構,對所感知到的海量數據能夠進行不同深度的處理、挖掘與延伸,為人們提供不同種類、不同層次、不同要求的低成本、高效率的智慧化服務。同時智慧城市給了政府、企業、個人更多的創新的機會,鼓勵在智慧城市提體系內尋找新的經濟增長點,為社會進步、經濟發展、文明前進提供不息動力。
2.智慧城市實現的關鍵技術
2.1物聯網技術
物聯網的網絡架構可以分為三層:感知層、網絡層和應用層,如圖1所示。感知層對物理世界感知、識別并控制。網絡層實現信息的傳遞。應用層在對信息計算和處理的基礎上實現在各行業的應用。
圖1
2.2云計算
2.2.1云計算的定義
現今,廣為接受的是美國國家標準與技術研究院(NIST)定義:云計算是一種按使用量付費的模式,這種模式提供可用的、便捷的、按需的網絡訪問, 進入可配置的計算資源共享池(資源包括網絡,服務器,存儲,應用軟件,服務),這些資源能夠被快速提供,只需投入很少的管理工作,或與服務供應商進行很少的交互。
2.2.2云計算的特點
云計算是通過使計算分布在大量的分布式計算機上,而非本地計算機或遠程服務器中,企業數據中心的運行將與互聯網更相似。這使得企業能夠將資源切換到需要的應用上,根據需求訪問計算機和存儲系統。特點如下:(1) 超大規模(2) 虛擬化(3) 高可靠性(4) 通用性(5) 高可擴展性(6) 按需服務(7) 極其廉價2.3物聯網與云計算的關系
目前物聯網的發展存在“信息孤島”現象,其在各個行業、各個小地域的應用互相隔離,不能形成城市范圍的一體化協作平臺。究其原因除,社會經濟層次上的困難外,主要是標準化程度較低,缺乏統一的中間件接口,以及各部門、各行業應用融合所帶來的海量信息存儲和計算的壓力,而云計算技術為后者提供了很好的解決方案。
3.智慧城市建設應用體系
3.1智慧公共服務體系:建設智慧公共服務和城市管理系統。通過加強就業、醫療、文化、安居等專業性應用系統建設,通過提升城市建設和管理的規范化、精準化和智能化水平,有效促進城市公共資源在全市范圍共享,積極推動城市人流、物流、信息流、資金流的協調高效運行,在提升城市運行效率和公共服務水平的同時,推動城市發展轉型升級。
3.2智慧城市綜合體:采用視覺采集和識別、各類傳感器、無線定位系統、RFID、條碼識別、視覺標簽等頂尖技術,構建智能視覺物聯網,對城市綜合體的要素進行智能感知、自動數據采集,涵蓋城市綜合體當中的商業、辦公、居住、旅店、展覽、餐飲、會議、文娛和交通、燈光照明、信息通信和顯示等方方面面,將采集的數據可視化和規范化,讓管理者能進行可視化城市綜合體管理。國內公司也在“智慧地球”啟示下提出架構體系,如“智慧城市4+1體系”(圖2),已在城市綜合體智能化天津智慧和平區等智能化項目中得到應用。
圖2
3.3智慧政務城市綜合管理運營平臺:此類項目已有實際案例,天津市和平區的“智慧和平城市綜合管理運營平臺”包括指揮中心、計算機網絡機房、智能監控系統、和平區街道圖書館和數字化公共服務網絡系統四個部分內容,其中指揮中心系統囊括政府智慧大腦六大中樞系統,分別為公安應急系統,公共服務系統,社會管理系統,城市管理系統,經濟分析系統,輿情分析系統。
3.4智慧安居服務體系。開展智慧社區安居的調研試點工作,在部分居民小區為先行試點區域,充分考慮公共區、商務區、居住區的不同需求,融合應用物聯網、互聯網、移動通信等各種信息技術,發展社區政務、智慧家居系統、智慧樓宇管理、智慧社區服務、社區遠程監控、安全管理、智慧商務辦公等智慧應用系統,使居民生活“智能化發展”。
3.5智慧教育文化服務體系:積極推進智慧教育文化體系建設。建設完善我市教育城域網和校園網工程,推動智慧教育事業發展,重點建設教育綜合信息網、網絡學校、數字化課件、教學資源庫、虛擬圖書館、教學綜合管理系統、遠程教育系統等資源共享數據庫及共享應用平臺系統。
3.6智慧服務應用。組織實施部分智慧服務業試點項目,通過示范帶動,推進傳統服務企業經營、管理和服務模式創新,加快向現代智慧服務產業轉型。
智慧貿易:支持企業通過自建網站或第三方電子商務平臺,開展網上詢價、網上采購、網上營銷,網上支付等電子商務活動。積極推動商貿服務業、旅游會展業、中介服務業等現代服務業領域運用電子商務手段,創新服務方式,提高服務層次。
建設智慧服務業示范推廣基地。積極通過信息化深入應用,改造傳統服務業經營、管理和服務模式,加快向智能化現代服務業轉型。
4.智慧城市建設面臨的挑戰及未來展望
伴隨網絡帝國的崛起、移動技術的融合發展以及創新的民主化進程,知識社會環境下的智慧城市是繼數字城市之后信息化城市發展的高級形態。智慧城市建設需要技術和金融的創新,需要有統一的標準和完善的法規,更需要政府的引導和市場的主導。但是發展智慧城市要防止一哄而起,急于求成,炒作概念。希望我們智慧城市的建設能夠健康可持續的發展。我們相信我們通過城市的智慧的發展,我們一定會迎來一個幸福城市、智慧城市、綠色城市和和諧城市的時代。
然而,智慧城市建設必然會改變城市人的生活和生產方式。21世紀的“智慧城市”,能夠充分運用信息和通信技術手段感測、分析、整合城市運行核心系統的各項關鍵信息,從而對于包括民生、環保、公共安全、城市服務、工商業活動在內的各種需求做出智能的響應,為人類創造更美好的城市生活。
參考文獻