前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的數據挖掘論文主題范文,僅供參考,歡迎閱讀并收藏。
1.1GPUGPU之所以在某些應用中較CPU能夠獲得更高的性能,主要是因為GPU和CPU在硬件結構設計上存在很大差異。如圖1所示[10],GPU將大量的晶體管用作ALU計算單元,從而適應密集且可并行的圖像渲染計算處理需要。相對GPU而言,CPU卻是將更多的晶體管用作復雜的控制單元和緩存等非計算功能,并以此來提高少量執行單元的執行效率。此外,存儲帶寬是另一個重要問題。存儲器到處理器的帶寬已經成為許多應用程序的瓶頸。目前GPU的芯片帶寬是CPU芯片帶寬的6倍左右。
1.2CPU/GPU協同并行計算在諸多適用于高性能計算的體系結構中,采用通用多核CPU與定制加速協處理器相結合的異構體系結構成為構造千萬億次計算機系統的一種可行途徑。而在眾多異構混合平臺中,基于CPU/GPU異構協同的計算平臺具有很大的發展潛力。在協同并行計算時,CPU和GPU應各取所長,即CPU承擔程序控制,而密集計算交由GPU完成。另外,除管理和調度GPU計算任務外,CPU也應當承擔一部分科學計算任務[12]。新型異構混合體系結構對大規模并行算法研究提出了新的挑戰,迫切需要深入研究與該體系結構相適應的并行算法。事實上,目前基于GPU加速的數據挖掘算法實現都有CPU參與協同計算,只是討論的重點多集中在為適應GPU而進行的并行化設計上。實踐中,需要找出密集計算部分并將其遷移到GPU中執行,剩余部分仍然由CPU來完成。
1.3CUDA為了加速GPU通用計算的發展,NVIDIA公司在2007年推出統一計算設備架構(ComputeUnifiedDeviceArchitecture,CUDA)[10,13]。CUDA編程模型將CPU作為主機,GPU作為協處理器,兩者協同工作,各司其職。CPU負責進行邏輯性強的事務處理和串行計算,GPU則專注于執行高度線程化的并行處理任務。CUDA采用單指令多線程(SIMT)執行模式,而內核函數(kernel)執行GPU上的并行計算任務,是整個程序中一個可以被并行執行的步驟。CUDA計算流程通常包含CPU到GPU數據傳遞、內核函數執行、GPU到CPU數據傳遞三個步驟。CUDA不需要借助于圖形學API,并采用了比較容易掌握的類C/C++語言進行開發,為開發人員有效利用GPU的強大性能提供了條件。CUDA被廣泛應用于石油勘探、天文計算、流體力學模擬、分子動力學仿真、生物計算和圖像處理等領域,在很多應用中獲得了幾倍、幾十倍,乃至上百倍的加速比[13]。
1.4并行編程語言和模型過去幾十年里,人們相繼提出了很多并行編程語言和模型,其中使用最廣泛的是為可擴展的集群計算設計的消息傳遞接口(MessagePassingInterface,MPI)和為共享存儲器的多處理器系統設計的OpenMP[14]。OpenMP最初是為CPU執行而設計的。OpenACC[15]是計算機廠商為異構計算系統提出的一種新編程模型,其主要優勢是為抽象掉許多并行編程細節提供了編譯自動化和運行時系統支持。這使得應用程序在不同廠商的計算機和同一廠商不同時代的產品中保持兼容性。然而,學習OpenACC需要理解所有相關的并行編程細節。在MPI編程模型中,集群中的計算節點之間相互不共享存儲器;節點之間的數據共享與交互都通過顯式傳遞消息的方式實現。MPI成功應用于高性能科學計算(HPC)領域?,F在很多HPC集群采用的是異構的CPU/GPU節點。在集群層次上,開發人員使用MPI進行編程,但在節點層次上,CUDA是非常高效的編程接口。由于計算節點之間缺乏共享存儲器機制,要把應用程序移植到MPI中需要做大量針對性分析和分解工作。包括蘋果公司在內的幾大公司在2009年共同開發了一套標準編程接口,稱之為OpenCL[16]。與CUDA類似,OpenCL編程模型定義了語言擴展和運行時API,使程序員可以在大規模并行處理中進行并行管理和數據傳遞。與CUDA相比,OpenCL更多地依賴API,而不是語言的擴展,這允許廠商快速調整現有編譯器和工具來處理OpenCL程序。OpenCL和CUDA在關鍵概念和特性上有諸多相似之處,因此CUDA程序員可以很快掌握OpenCL。
1.5MATLAB因提供豐富的庫函數庫以及諸多其他研究者貢獻和共享的函數庫,MATLAB是研究人員實現算法的常用平臺。通過封裝的數據容器(GPUArrays)和函數,MATLAB允許沒有底層CUDA編程能力的研究人員可以較容易獲得GPU計算能力,因此MATLAB較OpenCL更容易上手。截止準備本文時,2014版本的MATLAB提供了226個內置的GPU版本的庫函數。對于有CUDA編程經驗的人員,MATLAB允許直接集成CUDA內核進MATLAB應用。本文第四節的實驗亦基于MATLAB實現。
1.6JACKET引擎JACKET[17]是一個由AccelerEyes公司開發專門用于以MATLAB為基礎的基于GPU的計算引擎,其最新版本已經包含了高層的接口,完全屏蔽了底層硬件的復雜性,并支持所有支持CUDA的GPU計算,降低了進行CUDA開發的門檻。JACKET是MATLAB代碼在GPU上運行的插件。JACKET允許標準的MATLAB代碼能夠在任何支持CUDA的GPU上運行,這使得廣大的MATLAB及C/C++用戶可以直接使用GPU強大的計算能力進行相關應用領域的快速原型開發。JACKET包含了一套運行于MATLAB環境中優化并行計算的基礎函數庫。并且支持MATLAB數據類型,可將任何存儲于MATLABCPU內存中的變量數據轉換為GPU上的數據類型,對以往的MATLAB程序來說,只需更改數據類型,就能遷移到GPU上運行。本文的第四節的實驗亦基于JACKET在MATLAB上實現。
2相關工作綜述
2.1基于CPU的數據挖掘算法實現數據挖掘算法的研究一直很活躍,許多成熟和經典的算法已經實現在諸多研究或商用軟件包/平臺,例如開源的Weka[18]和KNIME,以及商用的IBM公司的PASWModeler(即之前SPSS公司的Clementine®)。這些軟件默認都是單機版本,可運行在普通PC或高性能服務器上,基于CPU的計算能力。為了適應目前大規模的計算,出現了基于Google公司提出的MapReduce[19]計算框架實現的開源數據挖掘平臺Mahout[20]。相關的研究起源于斯坦福大學AndrewNg研究組2006年的經典論著[21]。由于現有的算法需要先找到可“遷移”到MapReduce的方式,因此目前Mahout平臺上僅有幾個能支持分布式部署的數據挖掘算法,包括用于分類的樸素貝葉斯、隨機森林,用于聚類的k-Means,基于項目的協同過濾等。目前Mahout仍然是基于CPU的計算能力。
2.2聚類算法聚類是數據挖掘中用來發現數據分布和隱含模式的一種無監督學習,每個訓練元組的類標號是未知的,并且要學習的個數或集合也可能事先不知道。對于給定的數據集,聚類算法按照一定的度量,將數據對象分組為多個簇,使得在同一個簇中的對象之間具有較高的相似度,而不同簇中的對象差別很大[22-23]。k-Means算法是經典的基于距離/劃分的聚類分析算法,也是應用得最廣泛的算法之一,采用距離作為相似性的評價指標,即認為兩個對象距離越近,其相似度就越大。k-Means算法的流程如下[24]:輸入:簇的數目k和包含n個對象數據集D。輸出:k個簇的集合。方法:1)從D中任意選擇k個對象作為初始簇中心。計算每個數據對象到各簇中心的歐氏距離,將每個數據對象分配到最相似的簇中。2)重新計算每個簇中對象的均值。3)循環執行步驟2-3兩個步驟,直到各個簇內對象不再變化。上述算法步驟2屬于計算密度最大的部分,且具備并行化的條件。計算各個數據對象到各簇中心的歐氏距離和將數據對象分配到最近的簇的時候,數據對象之間都是相互獨立的,不需要進行交換,且沒有先后順序,后計算的對象不需要等待前一次計算的結果,僅在完成全部分配過程之后,才需要進行一次數據匯總。所以文獻[25]的作者們使用GPU并行優化了一維數據的k-Means算法的步驟2,并使用帶緩存機制的常數存儲器保存中心點數據,能獲得更好的讀取效率。文獻中還展示了實驗結果,在8600GT上取得了14倍左右的加速效果。DBSCAN屬于基于密度的聚類算法中最常被引用的,G-DBSCAN是它的一個GPU加速版本[26]。文獻[26]的實驗顯示較DBSCAN可以實現高達112倍的加速。BIRCH是經典的基于層次的聚類算法,文獻[27]中基于CUDA實現的GPU加速版本在實驗中獲得了高達154倍的加速。
2.3分類算法分類是數據挖掘中應用領域極其廣泛的重要技術之一,至今已經提出很多算法。分類算法[28]是一種監督學習,通過對已知類別訓練集的分析,從中發現分類規則,以此預測新數據的類別。分類算法是將一個未知樣本分到幾個已存在類的過程,主要包含兩個步驟:首先,根據類標號已知的訓練數據集,訓練并構建一個模型,用于描述預定的數據類集或概念集;其次,使用所獲得的模型對新的數據進行分類。近年來,許多研究已經轉向實現基于GPU加速分類算法,包括k-NN(k近鄰)分類算法[29],支持向量機分類算法[30],貝葉斯分類算法[31-32]等。kNN算法[33]是數據挖掘中應用最廣泛的一種分類算法,簡單易實現。它是一種典型的基于實例的學習法,將待判定的檢驗元組與所有的訓練元組進行比較,挑選與其最相似的k個訓練數據,基于相應的標簽和一定的選舉規則來決定其標簽。在ShenshenLiang等人的文章[34]指出,由于kNN算法是一種惰性學習法,對于每個待分類的樣本,它都需要計算其與訓練樣本庫中所有樣本的距離,然后通過排序,才能得到與待分類樣本最相鄰的k個鄰居。那么當遇到大規模數據并且是高維樣本時,kNN算法的時間復雜度和空間復雜度將會很高,造成執行效率低下,無法勝任大數據分析任務。所以加速距離的計算是提高kNN算法的核心問題。因為每個待分類的樣本都可以獨立地進行kNN分類,前后之間沒有計算順序上的相關性,因此可以采用GPU并行運算方法解決kNN算法串行復雜度高的問題。將計算測試集和訓練集中點與點之間的距離和排序一步采用GPU并行化完成,其余如判斷類標號一步難以在GPU上高效實現,由CPU完成。文獻[34]通過GPU并行化實現kNN算法,讓kNN算法時間復雜度大幅度減少,從而說明GPU對kNN算法的加速效果是非常明顯的。
2.4關聯分析算法關聯規則挖掘是數據挖掘中較成熟和重要的研究方法,旨在挖掘事務數據庫頻繁出現的項集。因此,挖掘關聯規則的問題可以歸結為挖掘頻繁項集[35]。關聯分析算法首先找出所有的頻繁項集,然后根據最小支持度和最小置信度從頻繁項集中產生強關聯規則。Apriori算法[36]是最有影響力的挖掘布爾關聯規則頻繁項目集的經典算法。Apriori算法使用逐層搜索的迭代方法產生頻繁項目集,即利用k頻繁項集來產生(k+1)項集,是一種基于生成候選項集的關聯規則挖掘方法。在劉瑩等人的文章[37]中指出,產生候選項和計算支持度,占據Apriori的大部分計算量。產生候選項的任務是連接兩個頻繁項集,而這個任務在不同線程之間是獨立的,所以這個過程適合在GPU上被并行化。通過掃描交易數據庫,計算支持度程序記錄一個候選項集出現的次數。由于每個候選項集的計數與其他項集的計數相對獨立,同樣適合于多線程并行。所以文獻[37]的作者們在實現Apriori時使用GPU并行化了產生候選項和計算支持度這兩個過程,取得了顯著的加速效果。文獻[38]是目前發現的對于在GPU上實現頻繁項集挖掘最全面細致的研究。他們使用的是早期的CUDA平臺,采用了bitmap和trie兩種數據結構來實現GPU的挖掘算法,并且根據不同數據集和支持度進行了算法性能的對比,均相對于CPU版本的算法獲得的一定的加速比。
2.5時序分析由于越來越多的數據都與時間有著密切的關系,時序數據作為數據挖掘研究的重要分支之一,越來越受到人們的重視。其研究的目的主要包括以下兩個方面:一是學習待觀察過程過去的行為特征;二是預測未來該過程的可能狀態或表現。時序數據挖掘主要包含以下幾個主要任務:數據預處理,時序數據表示,分割,相似度度量,分類,聚類等。這些任務中很多都涉及到相當大的計算量。由于問題規模的不斷擴大,并且對于實時性能的要求,時序數據挖掘的任務就必須要求充分地提高計算速度或者通過優化減少計算量。時序數據的表示有時候會采取特征來表示,這就涉及到了特征提取問題,當特征數量龐大的時候就需要進行維數約簡,主要的方法有奇異值分解法,離散小波變換。這些計算都涉及到很大的時間復雜度,為了減少計算的時間消耗,SheetalLahabar等人使用GPU加速SVD的計算,獲得了60多倍的加速效果[39]。動態時間彎曲(DynamicTimeWarping,DTW)起初被應用于文本數據匹配和視覺模式識別的研究領域,是一種相似性度量算法。研究表明這種基于非線性彎曲技術的算法可以獲得很高的識別、匹配精度。Berndt和Clifford提出了將DTW的概念引入小型時間序列分析領域,在初步的實驗中取得了較好的結果[40]。隨著問題規模的擴大,對于DTW的計算成為了時序數據挖掘的首先要處理的問題。在DTW中,搜索需要找出與訓練數據最近距離的樣本,這就需要搜索與每個訓練樣本的距離,這就可以很好的利用GPU進行并行化處理。DorukSart等人在對DTW加速的處理中,獲得了兩個數量級的加速效果[41]。而對于分類和聚類任務的加速,上面已經提到,這里不再累贅。
2.6深度學習深度學習雖然隸屬機器學習,但鑒于機器學習和數據挖掘領域的緊密聯系,深度學習必定將在數據挖掘領域獲得越來越多的應用。從2006年Hinton和他的學生Salakhutdinov在《科學》上發表的文章[42]開始,深度學習在學術界持續升溫。深度學習的實質是通過構建具有很多隱層的機器學習模型和海量的訓練數據,來學習更有用的特征,從而最終提升分類預測的準確性[43]。如何在工程上利用大規模的并行計算平臺來實現海量數據訓練,是各個機構從事深度學習技術研發首先要解決的問題。傳統的大數據平臺如Hadoop,由于數據處理延遲太高而不適合需要頻繁迭代的深度學習。神經網絡一般基于大量相似的神經元,故本質上可以高度并行化訓練;通過映射到GPU,可以實現比單純依賴CPU顯著地提升。谷歌搭建的DistBelief是一個采用普通服務器的深度學習并行計算平臺,采用異步算法,由很多計算單元獨立更新同一個參數服務器的模型參數,實現了隨機梯度下降算法的并行化,加快了模型訓練速度。百度的多GPU并行計算平臺克服了傳統SGD訓練不能并行的技術難題,神經網絡的訓練已經可以在海量語料上并行展開。NVIDIA在2014年9月推出了深度學習GPU加速庫cuDNN,可以方便地嵌入高層級機器學習框架中使用,例如Caffe[45]。cuDNN支持NVIDIA的全系列GPU,包括低端的TegraK1和高端的TeslaK40,并承諾可向上支持未來的GPU。
2.7小結并行化能帶來多少倍的加速取決于算法中可并行化的部分。例如,如果可并行部分的時間占整個應用程序執行時間的20%,那么即使將并行部分加速100倍,總執行時間也只能減少19.8%,整個應用程序的加速只有1.247倍;即使無限加速也只能減少約20%的執行時間,總加速不會超過1.25倍。對于一個數據挖掘(學習和預測)算法進行GPU加速實現,首先要思考是否存在可并行執行的部分,之后再結合GPU的架構特點進行針對性實現優化。然而,由于數據挖掘算法普遍是數據密集型計算,而GPU片內存儲容量有限,如何降低與內存交換數據集是一個要解決的關鍵問題。通過以上相關工作的分析,可以發現數據挖掘算法在GPU上的加速具有數據獨立,可并行化共同特征。本文提出數據挖掘算法在GPU上加速實現的一種解決思路:在大數據下,分析算法的性能瓶頸,從而確定算法中耗時大,時間復雜度高的部分,將此部分在GPU上執行,不耗時部分在CPU上串行執行,以達到加速效果。為了更充分利用GPU的并行計算的體系結構,可深入分析耗時大的部分,將具有數據獨立,可并行化的部分在GPU上并行執行,達到更進一步的加速效果。
3實踐和分析:協同過濾推薦
當前主要的協同過濾推薦算法有兩類:基于用戶(r-based)和基于項目(item-based)的協同過濾推薦算法。基于項目的協同過濾推薦算法[46-50]認為,項目間的評分具有相似性,可以通過用戶對目標項目的若干相似項目的評分來估計該項目的分值。基于用戶的協同過濾推薦算法認為,如果用戶對一些項目的評分比較相似,那么他們對其他項目的評分也比較相似。本文根據以上總結的算法特征圍繞兩種經典協同過濾算法的實現,通過大規模數據的實驗來驗證GPU相對于傳統CPU的優勢。
3.1算法實現
3.1.1基于CPU實現協同過濾推薦的兩類經典算法本文基于MATLAB實現CPU版本的基于用戶和基于項目的兩種經典協同過濾推薦算法。實現的步驟:1)數據表示:收集用戶的評分數據,并進行數據清理、轉換,最終形成一個mn的用戶-項目評分矩陣R,m和n分別代表矩陣中的用戶數和項目數,矩陣中的元素代表用戶對項目的評分值。2)最近鄰居搜索:主要完成對目標用戶/項目的最近鄰居的查找。通過計算目標用戶/項目與其他用戶/項目之間的相似度,算出與目標用戶/項目最相似的最近鄰居集。該過程分兩步完成:首先采用協同過濾推薦算法中運用較多的度量方法“Pearson相關系數”計算用戶/項目之間的相似度得到相應的相似度矩陣,其次是采用最近鄰方法找到目標用戶/項目的最近的K個鄰居,這些鄰居是由與目標相似度最高的一些用戶/項目組成的。3)產生推薦:根據之前計算好的用戶/項目之間的相似度,并使用相應的預測評分函數對用戶未打分的項目進行預測,得到預測評分矩陣,然后選擇預測評分最高的Top-n項推薦給目標用戶。4)性能評估:本研究擬采用平均絕對誤差MAE作為評價推薦系統預測質量的評價標準。MAE可以直觀地對預測質量進行度量,是最常用的一種方法。MAE通過計算預測的用戶評分與實際評分之間的偏差度量預測的準確性;MAE越小,預測質量越高。
3.1.2基于GPU實現協同過濾推薦的兩類經典算法在大數據下,協同過濾算法中主要的時間消耗在于相似度計算模塊,占了整個算法的大部分時間,且每個用戶/項目之間的相似度可以被獨立計算,不依靠其他用戶/項目,具備并行化的條件,所以在以下的實驗中,將相似度計算模塊在GPU上執行,其他部分在CPU上執行,進而提高整個算法的執行效率。使用MATLAB編程技術和JACKET編程技術在GPU上分別實現基于用戶和基于項目的兩種經典協同過濾推薦算法。實現步驟如下:1)數據表示:收集用戶的評分數據,并進行數據清理、轉換,最終形成用戶-項目評分矩陣。2)將收集的數據從CPU傳輸至GPU。3)對傳輸到GPU上的數據執行GPU操作,調用相關函數庫,采用公式(1)和(2)分別計算并獲取用戶/項目間的相似度矩陣。4)將GPU計算結果返回CPU中以便后續操作。5)采用公式(3)和(4)在CPU上分別獲取兩種經典算法的評分預測矩陣。6)選擇預測評分最高的Top-n項推薦給目標用戶。7)采用公式(5)求兩種經典算法的平均絕對誤差MAE。
3.2實驗結果與分析
3.2.1實驗環境本實驗所用的CPU是IntelXeonE52687W,核心數量是八核,主頻率是3.1GHz,內存大小是32GB;所使用的GPU是NVIDIAQuadroK4000,顯存容量是3GB,顯存帶寬是134GB/s核心頻率是811MHz,流處理器數是768個。使用Windows764位操作系統,編程環境使用最新的CUDA。
3.2.2實驗數據本實驗使用目前比較常用的MovieLens[56]數據集作為測試數據,該數據集從MovieLens網站采集而來,由美國Minnesota大學的GroupLens研究小組提供,數據集1包含943個用戶對1682部電影約10萬的評分數據,數據集2包含6040個用戶對3952部電影約100萬的評分數據,其中每個用戶至少對20部電影進行了評分。評分的范圍是1~5,1表示“很差”,5表示“很好”。實驗需要將每個數據集劃分為一個訓練集和一個測試集,每次隨機選出其中80%的評分數據用作訓練集,另20%用作測試集。
3.2.3實驗結果與分析本文采用加速比來比較算法的CPU實現和GPU實現的運行效率。計算加速比的方法如式(6)所示:在公式中,TimeCPU表示算法在CPU上的平均運行時間,TimeGPU表示算法在GPU上的平均運行時間。所有實驗中均取最近鄰居數為20,且各實驗結果均為5次獨立測試的平均值。圖2是關于兩個算法核心步驟的加速效果,而圖3則展示了算法整體加速效果??梢钥闯觯?)整體加速效果取決于核心步驟的加速效果,(2)GPU版本的算法在性能上較CPU版本有較顯著地優勢,且面對大數據集的加速效果更為明顯。例如在基于100萬條數據集時,Item-based的整體算法的加速比達到了14倍左右,而面對10萬條數據集時,加速比不到8倍。這可以解釋為GPU的多核優勢在面對大數據集時被更為充分地得到釋放;(3)算法對r-based和Item-based兩種算法的加速比相近。圖4是關于算法預測效果的評估,可以看出基于GPU加速的兩類經典協同過濾算法與基于CPU的兩類經典協同過濾算法在預測效果上相近。如果結合圖2和圖3,可獲得結論-能夠基于GPU獲得得可觀的計算加速而不犧牲應用效果。
3.3小結
本文通過使用JACKET加快開發過程。目前國內還缺少對JACKET的了解和應用,JACKET的出現為科學領域進行大規模計算仿真提供了新的研究方法,并使得研究人員可以在熟悉的MATLAB平臺上實現相關算法。
4結束語
在電子商務進行應用的數據挖掘技術的實現過程大致要劃分為三個不同的階段:第一部分對需要挖掘的數據信息的準備階段,第二部分對數據信息的挖掘階段,第三部分的主要任務是對數據挖掘的結果進行解釋與評價.
1.1數據信息的準備準備部分又可以分成數據的選取、數據信息的預處理.對數據進行選取的主要目的就是對操作對象進行確定,即是對目標數據進行確定,所謂的目標數據是在經過對用戶的需要進行細致分析之后,對最有可能得到有利用價值的信息的那些從數據庫中抽取出來的數據.獲取到這些數據以后需要進行預處理,主要包含數據的去噪、計算缺值數據的推導、數據類型的轉換,數據類型轉換舉個例子來說比如把連續型數據轉化成離散數據,以方便進行符號的歸納.
1.2挖掘過程數據信息的挖掘階段是在上一步的基礎之上,即在目標數據已經確定,并且已經完成了初始化的基礎之上,需要確定數據挖掘的目的與挖掘的類型.在對挖掘任務的目標確定之后,要根據數據挖掘的知識類型選取合適的數據挖掘方法,最終完成數據挖掘具體操作即采用特定的數據挖掘方法從數據倉庫中抽取所需的挖掘目標.
1.3挖掘結果的解釋和評價數據挖掘的結果的解釋和評價是在完成數據挖掘階段之后對發現的知識,進行評估,對于冗余或者無關的知識要進行刪除;對于獲得的知識不符合用戶的要求的要進行重新的挖掘.與此同時,因為數據挖掘需要面臨用戶,所以,在得到目標知識以后還需要對所挖掘的知識附加相關解釋,來用一種便于用戶理解的方式供用戶使用.綜上所述,整個數據信息的挖掘在實際情況下是一個不斷地循環與反復的過程,所以要對所挖掘出來的知識不斷求精和深化,最終要獲得用戶所需要的結果.
2電子商務中數據挖掘的特點
由于電子商務自身的某些獨特的特點,同其他的應用于普通商業領域中的數據挖掘相比,應用于電子商務的數據挖掘具有如下幾個特點:(1)應用于電子商務的數據挖掘的最終目的主要表現在企業與客戶之間的關系管理方面,電子商務利用因特網的技術能夠使企業和客戶之間的關系處理變得更加方便.所以,其主要的功能是怎樣使企業采用這些頻繁的交流信息,快速的掌握客戶的趨向、改善與客戶交流情況或者獲取交流方向等;(2)電子商務本身就是一個信息化程度比較高的系統,其自身累積的數據信息會存放在電子商務數據庫內,用戶可以比較便捷地得到這些信息,所以對于電子商務的數據挖掘的數據信息的準備階段的相關工作就變得相對容易;(3)電子商務領域的數據挖掘的主要目標一般是使電子商務系統得到有效的改進.例如為客戶提供個性化頁面、把用戶比較感興趣的信息展現在網站首頁或得到哪一些商品比較受到客戶的歡迎等.
3電子商務中的數據挖掘運用
首先要講的是關聯規則在電子商務中的運用,利用比較通俗的語言來講,從一個事件的發生與否方面進行解釋,所謂的關聯規則法在大量的事件發生或者不發生的條件下,對這些事件中的任意兩個或者多個事件提取出來,通過一定的統計分析算法,最終確定兩個或者多個事件的發生與否是否存在著某種關系,而這種可能存在的管理,我們稱之為關聯規則.列舉一個有趣的故事,就是在一個超市里面,店家把小孩的尿布同啤酒放到了一起,來供購買者進行購買,結果是二者的銷量都提升了一倍,其實這就是因為二者之間有著某種潛在聯系,店家通過數據挖掘的方法發現的這個規則,并對這一關聯規則進行了實際的運用,從中得到了益處.同樣在電子商務中通過數據挖掘得到關聯規則,有著類似的意義.其次在電子商務中數據挖掘聚類分析方法的應用.在大量數據倉庫中,數據與數據之間,往往會有某些性質的類型相似,同樣也會有某些性質或者特點相異,我們把這些性質或者特點稱為觀察指標,聚類分析就是對于某一個特點指標而言,把指標相差不多的數據劃分為同一個類型,若相差較大則要劃分為不同的類型、這種操作的主要意義就是將具有某種特定的相似特性的客戶或者數據分成一個類.在電子商務活動中,這一方法的應用主要集中在市場細分的工作之中.分類分析系統的建立以生物的遺傳算法為基礎,屬于其中的自學習的一種,它一般會包含三個子系統,第一個是以串規則為基礎的并行生成子系統、第二個是規則評價子系統.第三個是遺傳算法子系統.分類分析可以說是電子商務中運用到數據挖掘最多的一種挖掘方式.主要原因就是在于其能夠形成一種預測模型能夠對一些營銷方式或者其他的一些商業措施做出正確的預測.
4數據挖掘在電子商務中的應用
更高效的利用企業現有資源以及開發新資源是當代企業發展的關鍵.電子商務通過采用數據挖掘的技術,能夠更加及時和正確的獲得企業當前所有資源的具體使用情況,而且通過數據挖掘的技術可以分析以往的各種企業數據,比如說企業財務數據、企業庫存數據或者企業交易數據,能夠較為及時的發現企業資源過度消耗的主要問題所在,或者能夠得到各種商務活動的投入與產出的比例,來為企業領導進行經營決策提供有力的根據[6].另外在企業的經營過程中,人們不斷推崇“以客戶為中心”的經營理念,在這一趨勢下,如何正確快速的分析和了解客戶的需求已成為企業提高自身市場競爭力的一大課題.通過把數據挖掘應用到電子商務之中,能夠使企業最準確的分析客戶資源并最有效的利用企業客戶資源,通過對已有客戶行為進行相關性分析,可以形成潛在客戶資源的預測模型.除此之外在企業經營過程中,利用數據挖掘可以解決另外一個嚴重影響了商業正常秩序的重要問題.即當前時區商務活動中的地下的信用狀況問題,這一問題的嚴重程度已經引起了人們的廣泛關注.在電子商務經營過程中,因為網上詐騙公司或者企業財務的現象屢見不鮮,信用危機已經成為影響其快速正常發展的一個重要因素.而通過在電子商務中采用數據挖掘技術實現對企業經營活動的跟蹤,在此基礎上實現企業的資產評估、利潤收益分析以及發展潛力預測分析等,為電子商務在經營過程中提供了完善的安全保障體系,同時利用數據挖掘實現企業網上全程監控.另外通過實現基于數據挖掘的信用評估模型,可以在很大程度上進行防范或者化解信用風險,從而提高企業的信用度以及應對風險能力.
5結束語
1.1數據挖掘技術概述
發現的是用戶感興趣的知識;發現的知識應當能夠被接受、理解和運用。也就是發現全部相對的知識,是具有特定前提與條件,面向既定領域的,同時還容易被用戶接受。數據挖掘屬于一種新型的商業信息處理技術,其特點為抽取、轉化、分析商業數據庫中的大規模業務數據,從中獲得有價值的商業數據。簡單來說,其實數據挖掘是一種對數據進行深入分析的方法。因此,可以描述數據挖掘為:根據企業設定的工作目標,探索與分析企業大量數據,充分揭示隱藏的、未知的規律性,并且將其轉變為科學的方法。數據挖掘發現的最常見知識包括:
1.1.1廣義知識體現相同事物共同性質的知識,是指類別特點的概括描述知識。按照數據的微觀特點對其表征的、具有普遍性的、極高概念層次的知識積極發現,是對數據的高度精煉與抽象。發現廣義知識的方法與技術有很多,例如數據立方體和歸約等。
1.1.2關聯知識體現一個事件與其他事件之間形成的關聯知識。假如兩項或者更多項之間形成關聯,則其中一項的屬性數值就能夠借助其他屬性數值實行預測。
1.1.3分類知識體現相同事物共同特點的屬性知識與不同事物之間差異特點知識。
1.2數據挖掘過程
1.2.1明確業務對象對業務問題清楚定義,了解數據挖掘的第一步是數據挖掘目的。挖掘結果是無法預測的,但是研究的問題是可預見的,僅為了數據挖掘而數據挖掘一般會體現出盲目性,通常也不會獲得成功?;谟脩籼卣鞯碾娮由虅諗祿诰蜓芯縿⒎遥ɑ葜萆藤Q旅游高級職業技術學校,廣東惠州516025)摘要:隨著互聯網的出現,全球范圍內電子商務正在迅速普及與發展,在這樣的環境下,電子商務數據挖掘技術應運而生。電子商務數據挖掘技術是近幾年來數據挖掘領域中的研究熱點,基于用戶特征的電子商務數據挖掘技術研究將會解決大量現實問題,為企業確定目標市場、完善決策、獲得最大競爭優勢,其應用前景廣闊,促使電子商務企業更具有競爭力。主要分析了電子商務內容、數據挖掘技術和過程、用戶細分理論,以及基于用戶特征的電子商務數據挖掘。
1.2.2數據準備第一選擇數據:是按照用戶的挖掘目標,對全部業務內外部數據信息積極搜索,從數據源中獲取和挖掘有關數據。第二預處理數據:加工選取的數據,具體對數據的完整性和一致性積極檢查,并且處理數據中的噪音,找出計算機丟失的數據,清除重復記錄,轉化數據類型等。假如數據倉庫是數據挖掘的對象,則在產生數據庫過程中已經形成了數據預處理。
1.2.3變換數據轉換數據為一個分析模型。這一分析模型是相對于挖掘算法構建的。構建一個與挖掘算法適合的分析模型是數據挖掘獲得成功的重點??梢岳猛队皵祿斓南嚓P操作對數據維度有效降低,進一步減少數據挖掘過程中數據量,提升挖掘算法效率。
1.2.4挖掘數據挖掘獲得的經濟轉化的數據。除了對選擇科學挖掘算法積極完善之外,其余全部工作都自行完成。整體挖掘過程都是相互的,也就是用戶對某些挖掘參數能夠積極控制。
1.2.5評價挖掘結果這個過程劃分為兩個步驟:表達結果和評價結果。第一表達結果:用戶能夠理解數據挖掘得到的模式,可以通過可視化數據促使用戶對挖掘結果積極理解。第二評價結果:用戶與機器對數據挖掘獲得的模式有效評價,對冗余或者無關的模式及時刪除。假如用戶不滿意挖掘模式,可以重新挑選數據和挖掘算法對挖掘過程科學執行,直到獲得用戶滿意為止。
2用戶細分理論
用戶細分是指按照不同用戶的屬性劃分用戶集合。目前學術界和企業界一般接受的是基于用戶價值的細分理論,其不僅包含了用戶為企業貢獻歷史利潤,還包含未來利潤,也就是在未來用戶為企業可能帶來的利潤總和?;谟脩魞r值的細分理論選擇客戶當前價值與客戶潛在價值兩個因素評價用戶。用戶當前價值是指截止到目前用戶對企業貢獻的總體價值;用戶潛在價值是指未來用戶可能為企業創造的價值總和。每個因素還能夠劃分為兩個高低檔次,進一步產生一個二維的矩陣,把用戶劃分為4組,價值用戶、次價值用戶、潛在價值用戶、低價值用戶。企業在推廣過程中根據不同用戶應當形成對應的方法,投入不同的資源。很明顯對于企業來說價值用戶最重要,被認為是企業的玉質用戶;其次是次價值用戶,被認為是金質用戶,雖然數量有限,卻為企業創造了絕大部分的利潤;其他則是低價值用戶,對企業來說價值最小,成為鉛質用戶,另外一類則是潛在價值用戶。雖然這兩類用戶擁有較多的數量,但是為企業創造的價值有限,甚至很小。需要我們注意的是潛在價值用戶利用再造用戶關系,將來極有可能變成價值用戶。從長期分析,潛在價值用戶可以是企業的隱形財富,是企業獲得利潤的基礎。將采用數據挖掘方法對這4類用戶特點有效挖掘。
3電子商務數據挖掘分析
3.1設計問卷
研究的關鍵是電子商務用戶特征的數據挖掘,具體包含了價值用戶特征、次價值用戶特征、潛在價值用戶特征,對電子商務用戶的認知度、用戶的需求度分析。問卷內容包括3部分:其一是為被調查者介紹電子商務的概念與背景;其二是具體調查被調查對象的個人信息,包含了性別、年齡、學歷、感情情況、職業、工作、生活地點、收入、上網購物經歷;其三是問卷主要部分,是對用戶對電子商務的了解、需求、使用情況的指標設計。
3.2調查方式
本次調查的問卷主體是電腦上網的人群,采用隨機抽象的方式進行網上訪問。一方面采用大眾聊天工具,利用電子郵件和留言的方式發放問卷,另一方面在大眾論壇上邀請其填寫問卷。
3.3數據挖掘和結果
(1)選擇數據挖掘的算法利用Clementine數據挖掘軟件,采用C5.O算法挖掘預處理之后數據。
(2)用戶數據分析
1)電子商務用戶認知度分析按照調查問卷的問題“您知道電子商務嗎?”得到對電子商務用戶認知情況的統計,十分了解20.4%,了解30.1%,聽過但不了解具體使用方法40.3%,從未聽過8.9%。很多人僅聽過電子商務,但是并不清楚具體的功能與應用方法,甚至有一小部分人沒有聽過電子商務。對調查問卷問題“您聽過電子商務的渠道是什么?”,大部分用戶是利用網了解電子商務的,占40.2%;僅有76人是利用紙質報刊雜志上知道電子商務的并且對其進行應用;這也表明相較于網絡宣傳紙質媒體推廣電子商務的方法缺乏有效性。
2)電子商務用戶需求用戶希求具體是指使用產品服務人員對應用產品或服務形成的需求或者期望。按照問題“假如你曾經使用電子商務,你覺得其用途怎樣,假如沒有使用過,你覺得其對自己有用嗎?”得到了認為需要和十分需要的數據,覺得電子商務有用的用戶為40.7%,不清楚是否對自己有用的用戶為56.7%,認為不需要的僅有2.4%。
3)電子商務用戶應用意愿應用意愿是指消費者對某一產品服務進行應用或者購買的一種心理欲望。按照問題“假如可以滿足你所關心的因素,未來你會繼續應用電子商務嗎?”獲得的數據可知,在滿足各種因素時,將來一年之內會應用電子商務的用戶為78.2%,一定不會應用電子商務的用戶為1.4%。表明用戶形成了較為強烈的應用電子商務欲望,電子商務發展前景很好?;谟脩籼卣鞯碾娮由虅諗祿芯?,電子商務企業通過這一結果能夠更好地實行營銷和推廣,對潛在用戶積極定位,提高用戶體驗,積極挖掘用戶價值。分析為企業準確營銷和推廣企業提供了一個有效的借鑒。
4結語
1.1數據挖掘產生的背景
進入新時代后,計算機技術取得了巨大的成就,人們獲取信息和儲存數據的方式更加快捷和便利。所需要搜集的數據日漸增多,由此一來,使得數據和信息量以幾何倍數增長,各式各樣的信息,難以進行統一;真假信息混為一體,且信息安全無法保證。而如何有效的利用這大量數據背后隱藏的重要信息,是人們關注的焦點,隨著計算機數據挖掘技術的發展這些問題都迎面而解。
1.2數據挖掘的發展過程
此過程分為5個階段,第一,業務理解,業務理解指的是站在業務的角度去理解項目的最終目標和需求,它是將項目的目標和需求轉化為一個問題的定義,再制定一個初步計劃來主義實現這些目標。第二,數據理解,指的是全面調查數據挖掘所需要的數據,并收集再熟悉,鑒別數據的質量問題,產生對數據的洞察力,形成對數據中隱藏內容的假象。第三,數據準備,數據準備階段包括,數據清洗、數據選擇、數據轉換等。第四,建立模型。在此階段,對于不同的建模技術進行選擇和應用,并且認真校對他們的參數直到達到最優值為止。最后就是實施,由相關人員進行實施操作。數據挖掘融合了多個學科,包含數據庫系統、統計學、機器學習、可視化、算法等等。
2數據挖掘的功能
數據挖掘是從大量的數據中提取或“挖掘”知識的過程。就針對功能這方面,可以完成以下五種功能:
2.1分類
將收集到的數據,根據它們的屬性進行分類定義,并建立組別。
2.2推算估計
根據估計對象的變量相關的其他變量,并利用已有的數據來推算它的未來值。
2.3預測
根據對象的特點,推算估計它的過去觀察值,來預測它的未來值。
2.4關聯分析
把所有的相關對象根據某種特點分為與之相關的類,再將它們放一起。
2.5聚類分析
將不同成分組成的總體分割成若干個其性質相同的群。
3網絡優化的概述
3.1網絡優化定義
網絡優化指的是利用各種硬軟件技術來達到網絡性能最優平衡點的目的。而硬件方面是指對系統進行合理分析后,其中在性能和價格方面給出最優解。另外,軟件方面指的是為取得最高性能負載對其進行參數的設置。網絡優化也等同于SEO。
3.2網絡優化的目標
其目標分為兩部分,其一,針對網絡運行當中存在的問題,包括信號不好、語音質量差、網絡擁堵、數據業務方面性能差等,網絡優化都能很好的解決,使之網絡處于最佳運行狀態;其二,為適應社會的要求和發展的需要,有效的優化資源配置,來使網絡資源得到合理的調配和運用,從而發揮設備的最大潛能,實現投資效益的最大化。移動通信網始終處于一個變化的狀態,各種各樣的因素都會影響到當前的性能運行狀態未達到最初的設計要求。所以需要網絡優化來對其進行不間斷調整以便適應各種變化。由此可見,網絡優化并非一項短期的工程,而是需要在摸索中積累經驗,才能解決各種各樣的網絡問題。
3.3網絡優化的意義
在原有網絡的基礎上,不再擴大規模及投資的前提下,可使網絡的投資效益顯著提高,以及網絡運行的質量、服務質量、網絡的容量均有一定程度的提高,這些都是網絡優化存在的意義。
4數據挖掘在網絡優化中的應用
4.1數據挖掘在站點選擇中的應用
移動通信網絡運營商首先會對不同技術體系的鏈路進行預算工作,計算出不同地區各個站點的覆蓋半徑,從而得出所要設置的站點個數。其次,由工程師通過專業的分析選擇有利的站點,因為站點位置的選擇決定著網絡的質量。如果沒有數據挖掘技術,那么在選擇站點個數及位置的時候,僅僅取決于人為因素。但是如果我們將數據挖掘應用到站點選擇當中,這樣得出多種更加有效的方案,大大的減少人力、物力和財力。
4.2數據挖掘在話務預測中的應用
1.1數據準備數據準備過程有三個主要步驟,分別是數據選取、數據預處理以及數據變換。不管是哪一個行業的檢測系統,其所檢測得到的數據都具有多樣性與復雜性以及海量行的特點,正是這些造成人們分析數據的困難。所以想要解決問題,首先就要先確定挖掘目標,這樣在檢測數據庫與歷史數據庫中才能夠獲得相對應的數據,并且進行預處理與變化和歸化等。不過如果挖掘出來的數據質量不高會影響最終結果,所以提高挖掘質量,就要花費大量時間與精力去進行,大部分這個挖掘過程需要耗費整個過程的百分之八十以上。
1.2數據挖掘這個過程是不斷反復與重復的過程,在這個過程中可以不斷發現一些潛藏的知識與信息,可以利用決策樹或者規則學習等多種方法來進行分析統計。
1.3結果分析和評估在不斷檢測數據的情況下,得到的數據也在不斷發生變化,大量數據下需要不斷的分析與建模,這樣才能不斷發現新設備的運行過程與故障,從而保證在較短時間內獲得故障診斷結果。
2數據挖掘的常用技術
數據挖掘技術算法的好快直接影響到所發現信息質量的好壞,目前對該技術的研究方向也集中在算法與應用方面,常用的技術主要有以下幾點:
2.1粗糙集理論這項研究數據的不確定性的數學工具由波蘭科學家第一次提出,并且在經過二十年的不斷發展中已經廣泛應用到人工智能的各分支中,不管是在模式識別還是機械學習等方面都帶來了成功。成功應用主要還在于存在的幾點優點:其一該理論不用事先給出額外信息,可以減掉冗余信息的輸入,減輕數據的復雜度與輸入時間。其二算法簡單,更方便人們操作。雖然優點明顯,但是缺點也存在,在對實際發生問題的處理過程中,抗干擾的能力十分差,有可能會直接影響故障分類。
2.2決策樹技術決策樹算法是一種外形像樹的預測模型結構,樹的節點表述所屬類別,非終端節點表示問題屬性。根據數據不同取值來進行分類,建立樹的分叉,從而形成決策樹。決策樹的規則是可直觀容易理解的,這一點是與神經元網絡存在的最大不同點,由于算法直觀所以分類不需要很多時間,所以十分適用于記錄故障分類和分析預測。
2.3人工神經元網絡技術這是目前數據挖掘技術使用最多也是最廣泛的一項技術,該項技術主要是模仿人的神經系統來建立數據庫的,從而分析數據庫中的數據并進行預測與分類。與上述技術不同的是,神經元網絡技術在機械故障十分復雜的情況下還能夠得到較為準確的預測技術,因此可以處理一些連續變量的問題,但對于高維變量數據則不適合,主要原因在于其最大的特點是不透明性,不能夠就是分析結果是怎樣產生的,以及產生結果的推算過程,所以神經元網絡技術比較適合于較為復雜數據的分析,比如聚類模式。典型三層前饋神經網絡結構如圖1所示。
2.4遺傳算法這種算法來自于生物進化理論,其使用的適者生存觀點,也救贖常把一些任務看成一項可以搜索的問題,進行遺傳算法搜索,從而得到最優解。遺傳算法可以解決很多數據類型的問題,還能夠同時處理不同類型的數據,但計算的時候由于使用的參數過多,不少編碼問題十分困難,計算量也十分大。
3數據挖掘技術在工業優化中的應用
工業優化也分類型,根據不同的優化類型的不同要求,要采取不同的挖掘技術來實現找出問題解決的辦法。一些需要解決的優化目標比較容易獲得評價或者說需要優化的問題是比較容易表達的這些情況下,通常使用遺傳算法進行全局搜索,這樣比較方便。比如工業配方、工藝工序組成等。粗糙集方法可以用于需要學習目標值與其相關變量間的定量關系,利用技術來挖掘數據庫中的目標數據間的關聯規律,當然也可以利用神經網絡技術來找尋目標值與數據間的模糊關系。想要確定優化目標邊界,可以采用隧道映射方法。通過假定各變量目標需要優化的邊界在二維空間中體現出來的是一個凸出來的多面體來包圍顯示的。定量預測的一個十分好的方法就是非線性回歸預測,可以先利用模式識別方法來收集數據,建立數據結構,再根據相關數據確定非線性回歸的方程式,最后再進行非線性回歸,不過這樣做會存在一個明顯缺點就是要在進行非線性回歸預測之前要主觀確定方式公式。向外推廣尋找更優化的方式在工業應用上更為有效,可以采用多種方法配合使用,形成一種比較適用于各種數據結構外推尋優的數據處理過程。
4數據挖掘技術在設備故障診斷中的實現步驟
4.1基本原理數據挖掘技術主要是利用歷史數據里的設備運行記錄來對現在機械設備出現故障的原因進行診斷,分析其原因并找出解決方法,并對未來可能出現的故障做出預測。機械設備故障的根本性質就是模式識別,所以對其診斷的過程也就是模式獲得并匹配的過程。
4.2故障診斷的數據挖掘方法建模對機械設備故障診斷,首先要做的就是要收集與本設備相關的大量數據,不僅要有機械正常運行工作時的數據,更要有機械出現問題時產生的數據,一般現場的監控系統都存有歷史數據與故障數據,而且現在的檢測系統十分先進,出現故障的時候已經對此進行分類,這樣數據收集的時候更加方便。進一步完成各項數據的獲取并建立完整的數據庫。而數據挖掘技術的目標就是要從這些雜亂無章的大量數據中找出潛藏在里面的相關規律與信息,并且提取信息特征。一般故障類型的劃分,可以根據概率統計來進行,這也是現在剛出現的一種新方法。目前故障模式識別理論中比較成熟的理論是關聯規則理論,這是一種利用數據間相互關聯關系來達到分類的最終目的。根據相關之間的關聯關系劃分出類別,并對新數據進行歸納,分析故障類別,這樣更快速的找到故障原因并進行解決。數據挖掘系統總體設計策略如圖2所示。
5結束語
數據挖掘技術是當前數據分析和處理領域一項十分重要的技術,具體而言數據挖掘技術可以看成是信息技術不斷發展和演進的結果,是在人們對于數據庫技術不斷發展和創新的基礎上發展而來的。在初期階段,商業數據往往只是簡單的進行存儲,然后有了對相關數據的查詢功能,再繼續發展為對相關數據的即時遍歷。數據挖掘技術使得數據查詢已經不僅僅局限于數據本身,同時還可以通過相關的算法和技術發現數據之間潛在的關聯性,從而在很大程度上增加了數據利用的深度和層次。隨著當前大數據時代的到來以及高性能計算機和數據挖掘算法的成熟,數據挖掘技術開始在商業領域進行應用,并且取得了快速的發展。在目前的醫院信息管理系統中已經積累了大量的數據信息,因此如何實現對這一部分信息的深層次數據挖掘是至關重要的,這也將直接決定著醫院將來的發展和命運。在醫院信息管理系統中應用數據挖掘技術可以在更深層次上對醫院的管理數據進行分析,從而可以為醫院從業人員的相關決策、管理以及研究提供更加有力的技術支持。因此數據挖掘技術在醫院信息管理系統中的應用具有十分重要的意義。在目前的數據挖掘技術中,其關鍵技術是數據的預處理。當需要進行分析的數據庫包含大量的噪聲或者存在數據不一致性時,數據預處理就顯得更加有必要。根據對相關數據挖掘過程的統計顯示,超過一半的時間用于進行數據預處理,而真正用于數據信息挖掘的時間則僅占到10%左右。目前的數據預處理技術主要分析對數據的清洗、集成、轉換以及消減等。另一關鍵技術是匿名化以及轉換技術,這主要是由于在目前的醫院信息管理中涉及到病人的隱私問題,因此在進行數據處理的同時需要對患者的相關記錄進行匿名化處理,以更好的保護患者的個人隱私。
2基于數據挖掘技術的醫院信息管理系統
2.1基于數據挖掘技術的醫院信息管理系統
關聯規則是目前進行數據挖掘的重要手段,在醫院信息管理系統中引入關聯規則可以進一步發現數據之間的相互關聯,并且在對病人的相關數據的分析和進一步挖掘過程中,嘗試分析患者年齡與醫療費用之間潛在的關聯,并且進一步通過這種關聯關系加強對醫院資源的合理優化配置,實現對不同年齡段患者的醫療費用的有效控制,進而實現醫院效益的最大化。具體而言,將關聯數據集合記為D{=t1,t2,...tn},tk={i1,i2,im..ip},tk為數據庫中的事務,im為數據庫中的項。在數據集合D中,其包含的集X的項數為集的支持數,將其記為σx,支持度為suppor(tX),則有suppor(tX)=σx/|D|×100%。假設X和Y為數據庫集合D中的項集,則有:假如XY,則有X項的支持度大于Y項的支持度,同時假如X是非頻繁項,則此時Y項也是非頻繁;則假如Y項是頻繁的,則X項也是頻繁的。在數據挖掘的關聯規則中有兩個至關重要的概念,即支持度與置信度。通常而言,支持度只要用于衡量采用的關聯規則的可信度,而置信度則用于表示在生成數據集中關聯規則的統計角色。在實際的應用過程中,假如support(XY)大于支持集,并且置信度大于最小置信度,此時XY可以稱之為強規則,否則將其稱之為弱規則。在數據挖掘的過程中,尋找強規則是整個數據挖掘過程的關鍵。在強規則XY所對應的項集中,必定存在著頻集。基于關聯規則的數據挖掘模型如圖1所示,其中主要包括數據集D、關聯規則搜索算法、數據挖掘結果R以及用戶與數據挖掘之間的交互,對相關的數據挖掘結果信息結果進行合理的評價。在實際的關聯規則數據挖掘過程中還需要考慮到以下兩個方面的問題:其一,盡量減少I/O操作的次數,這主要是由于數據挖掘過程中的數據量是非常大的,因此頻繁的進行I/O操作將會對數據挖掘的效率產生很大的影響,其根本的方法就是減少對于數據庫集的掃描頻率和次數;其二,避免候選集中項的數量過大,這主要是由于過多的項數將會使得存儲空間被大量占用,從而對數據挖掘的效率產生影響。
2.2基于數據挖掘技術的醫院信息管理系統的實現
數據準備階段。在研究過程中采用某醫院信息管理系統中的口腔潰瘍數據進行挖掘分析,其中數據準備階段主要包括集成、清洗以及轉換三個階段。具體而言,數據集成主要是將不同的患者數據表格及其費用數據整合到一起,并且對這些原始數據進行集成,將其集成到統一的數據表格中,其中主要包含患者的性別、年齡以及編號等信息。數據清洗指的是對原始數據進行進一步的處理,其目的是去除原始數據中的噪聲以及不相關信息、補充遺漏數據、去除白噪聲等,并且根據實際情況完成對原始數據的轉換。同時,由于醫院信息數據存在著其特殊性,醫院的數據往往產生于不同的場所,因此其產生的過程較為復雜,這就極易導致數據產生的過程中出現遺失或者出現數據錯誤的情況,因此數據清洗階段對于醫院數據挖掘工作是至關重要的,同時為了更好的保證數據清洗階段的準確性可以實行專業醫護人員監督的模式,此種模式可以有效的降低數據清洗過程中的差錯。數據轉換是針對數據的不同特征對數據進行有效的轉換,其中主要的手段包括對數據的規格化處理、數據信息歸納、旋轉等。結合實際的醫院信息管理系統數據挖掘案例,可以對年齡數據信息進分段編號處理,以更好的提高數據挖掘的效率。同時,在數據轉換的過程中還可以將一些沒有意義的數據進行刪減,以更好的保證數據挖掘的效率,同時還可以降低數據挖掘的誤差。
3結束語
要了解Web數據挖掘技術,首先就必須要了解數據挖掘技術。數據挖掘是指從大量不完全的、有噪聲的、模糊的、隨機的數據中,提取隱含在其中的、有用的信息和知識的過程。它的表現形式為概念(Concepts)、規則(Rules)、模式(Patterns)等形式。數據挖掘技術是人們長期對數據庫技術進行研究和開發的結果。起初各種商業數據是存儲在計算機的數據庫中的,然后發展到可對數據庫進行查詢和訪問,進而發展到對數據庫的即時遍歷。數據挖掘技術是人們長期對數據庫技術進行研究和開發的結果。起初各種商業數據是存儲在計算機的數據庫中的,然后發展到可對數據庫進行查詢和訪問,進而發展到對數據庫的即時遍歷。Web數據挖掘是一種綜合的技術,它主要是使用數據挖掘技術在互聯網挖掘各種有用的、有趣的、隱藏起來的信息或者是有用的模式。與傳統的數據挖掘相比,Web數據挖掘所挖掘的信息更加的海量,這些信息具有異構和分布廣的特點。對于服務器上的日志與用戶信息的挖掘仍然屬于傳統的數據挖掘。Web數據挖掘由于Web的邏輯結構其所挖掘到的模式有可能是關于Web內容的,也有可能是關于Web結構的。同時有些數據挖掘技術也不能直接運用到Web數據挖掘中。Web數據挖掘的研究范圍十分廣泛,它的研究主要包括了數據庫技術、信息獲取技術、統計學、神經網絡等。Web數據挖掘根據所處理的對象可以分為三類:Web文檔的內容挖掘、Web文檔的結構挖掘、Web使用的挖掘。Web文檔的內容挖掘指的是從Web文檔及對其的描述內容中獲取到有用的信息,即是對Web上大量的各種文檔集合的內容進行處理,例如摘要、分類、聚類、關聯分析等。同時內容挖掘還可以對各種多媒體信息進行挖掘。Web上的內容摘要是用簡潔的語言和方式對文檔的內容進行描述和解釋,讓用戶在不用瀏覽全文的情況下就可以對全文的內容和文章寫作的目的有一個總體的了解。文章寫作的目的有一個總體的了解。而Web內容挖掘的這種方式非常有用,例如應用到檢索結果的顯示中。Web分類則指的是根據已經確定好的類別,為每一個獲得的Web文檔確定一個大類。聚類則是指的在沒有確定類別之前,將相似度高的文檔歸為一類。關聯分析指的是從文檔集合中找出不同語詞之間的具有的關系。Web文檔的結構挖掘指的是從互聯網的整體結構和網頁之間的相互鏈接以及網頁本身的結構中獲取有用的信息和知識。目前為止針對結構的挖掘主要還是鏈式結構模式。對于Web結構的挖掘主要源于對引文的分析,引文分析的主要內容就是通過對網頁的鏈接數和被連接數以及對象的分析來建立一個鏈接結構模式,這種模式可以用來對網頁進行歸類,同時還可以獲取網頁之間的相似度和關聯度等信息。Web使用的挖掘一般情況下指的是對Web日志的挖掘。其挖掘的對象是用戶與互聯網交互過程中所抽取出來的各種信息,例如訪問記錄、用戶名、用戶注冊信息以及用戶所進行的操作等。在這一方面的研究已經比較成熟,同時也有很多較為成熟的產品例如NETPERCERPION公司的Netpercerptions,Accrue公司的AccrueInsight和AccrueHitList等都是技術較為成熟的產品。
二、Web數據挖掘技術的工作流程
Web數據挖掘技術的主要工作流程可以分為以下幾個步驟:第一步,確立目標樣本,這一步是用戶選取目標文本,以此來作為提取用戶的特征信息;第二步,提取特征信息,這一步就是根據第一步得到的目標樣本的詞頻分布,從現有的統計詞典中獲取所要挖掘的目標的特征向量,并計算出其相應的權值;第三步,從網絡上獲取信息,這一步是利用通過搜索引擎站點選擇采集站點,然后通過Robot程序采集靜態的Web頁面,最后再獲取這些被訪問站點的網絡數據庫中的動態信息,然后生成WWW資源庫索引;第四步,進行信息特征匹配,通過提取源信息的特征向量,去和目標樣本的特征向量進行匹配,最后將符合閾值條件的信息返回個用戶。
三、Web數據挖掘技術在高校數字圖書館中的應用
高校數字圖書館為師生主要提供以下功能:查找圖書、期刊論文、會議文獻等數字資源;圖書借閱、歸還等服務;圖書信息、管理制度;導航到圖書光盤、視頻資源等數據庫系統。師生時常登錄到網站中查找其需要的信息,根據師生所學專業、研究方向不同,關注目標也不同。通常這類師生會到常用的圖書館網站上,查找自己所需要的特定領域的資源;瀏覽一下有哪些內容發生變化,是否有新知識增加,而且所有改變常常是用戶所關注的內容;另外,當目標網頁所在的位置有所改變或這個網站的組織結構、層次關系有所變動時,所有這些問題只要稍加改動,容易使用戶難以找到所需內容。本課題采用Web挖掘技術與搜索技術相結合。首先允許用戶對感興趣的內容進行定制,構造數據挖掘的先驗知識,然后通過構造瀏覽器插件,捕獲用戶在瀏覽器上的行為數據,采用Web數據挖掘的方法,深入分析用戶的瀏覽行為數據,獲得用戶的信息資料集,最終為用戶提供不同的個性化服務頁面,并提供用戶對站內信息進行搜索功能,同時可以滿足師生對于圖書館資源進行查找訪問的需求,實現高校圖書館網站資源真正意義上的個性化服務。
1、為開發網絡信息資源提供了工具
數字圖書館需要的是一種可以有效的將信息進行組織管理,同時還能夠對信息進行深層的加工管理,提供多層次的、智能化的信息服務和全方位的知識服務,提供經過加工、分析綜合等處理的高附加值的信息產品和知識產品的工具。目前許多高校數字圖書館的查詢手段還只局限于一些基本的數據操作,對數據只能進行初步的加工,不具有從這些數據中歸納出所隱含的有用信息的功能,也使得這些信息不為人知,從而得不到更好的使用,這些都是對網絡信息資源的一種浪費。而通過Web數據挖掘技術科研有效的解決這一問題。這種技術可以用于挖掘文檔的隱含的有用的內容,或者可以在其他工具搜索的基礎上進一步進行處理,得到更為有用和精確的信息。通過Web數據挖掘技術科研對數字圖書關注中的信息進行更加有效地整合。
2、為以用戶為中心的服務提供幫助
通過瀏覽器訪問數字圖書館后,可被記載下來的數據有兩類,一類是用戶信息,另一類是用戶訪問記錄。其中用戶信息包括了用戶名,用戶訪問IP地址,用戶的職業、年齡、愛好等。用戶名師用戶登錄圖書館時輸入,用戶訪問IP地址通過程序獲得,其他的信息都是用戶在注冊時所填寫的,訪問記錄則是在用戶登錄時所記錄的,也是由程序獲得。對這些用戶信息進行分析可以更加有效的了解用戶的需求通過分析服務器中用戶請求失敗的數據,結合聚集算法,可以發現信息資源的缺漏,從而指導對信息資源采集的改進,讓高校數字圖書館的信息資源體系建設的更加合理。對數字圖書館系統的在線調查、留言簿、薦書條等的數據進行收集整理,并使之轉化為標準的結構化數據庫,然后在通過數據挖掘,皆可以發現用戶所感興趣的模式,同時還可以預先發現用戶群體興趣的變遷,調整館藏方向,提前做好信息資源的采集計劃。通過Web數據挖掘,可以對用戶的信息需求和行為規律進行總結,從而為優化網絡站點的結構提供參考,還可以適當各種資源的配置更加的合理,讓用戶可以用更少的時間找到自己所需要的資源。例如可以通過路徑分析模式采掘捕捉確定用戶頻繁瀏覽訪問的路徑,調整站點結構,并在適當處加上廣告或薦書條。
3、Web數據挖掘技術在圖書館采訪工作中的應用
在圖書館的工作中有一步十分的重要,這就是采訪工作,采訪工作的做的好壞程度會直接的對圖書館的服務質量產生影響。通常情況圖書館的工作人員會根據圖書館的性質、服務對象及其任務來決定采訪的內容。但是這種采訪局限性很大,很多時候會受采訪人員的主觀意識的影響,同時這種方式也會顯得死板不靈活。很多時候會出現應該購進的文獻沒有買,不應該買的文獻卻買了很多等與讀者的需求不符的現象。這些現象的產生都是因為缺乏對讀者需求的了解和分析。要解決這些問題就必須對讀者的需求進行全面的了解和分析,而Web數據挖掘則為解決該問題提供了一種較好的方法。通過對各種日志文件和采訪時獲得的數據進行分析,可以很清楚的得到讀者需要的是什么樣的書籍、不需要的又是什么樣的書籍,從而為采購提供各種科學合理的分析報告和預測報告。根據對分析還能幫組圖書館管理人員確定各種所需書籍的比例,從而確定哪些文獻應該及時的進行補充,哪些文獻應該進行剔除,對館藏機構進行優化,真正的為高校里的師生提供所需要的文獻和資料。
4、使用Web數據挖掘技術提供個性化服務
傳統的信息檢索工具在友好型、可理解性、交互性方面都存在著很大的缺陷。通常情況下都只是將各種查詢結果毫無邏輯的簡單的進行羅列,用戶很難從其中獲取自己需要的信息,通過數據挖掘,可以對圖書館網站上的在線調查、留言簿、讀者調查表等數據進行收集整理,對不需要的冗余信息進行剔除。通過分析可以獲知用戶所喜好的瀏覽模式是哪種,他們常訪問的網站的路徑是什么,他們對圖書館中的那些資源比較有興趣。然后再根據用戶的普遍需求與每個人的個性需求,建立起相應的規則,從而幫助網站設計人員對網站進行設計和優化,使得這些信息檢索變得更加的個性化、智能化,并根據每個用戶的偏好等特征將檢索到的信息排列處理,使得讀者可以用最快的速度獲得想要檢索的文獻信息。通過Web數據挖掘技術可以對用戶的特征信息進行總結,將那些從沒有發出過信息的潛在用戶進行歸類,同時還可以免費的為他們提供各種他們所感興趣的信息和資料,把這些潛在的用戶轉變為正式的用戶使用Web數據挖掘可以對用戶的檢索日志進行分析,從而得知用戶所感興趣的內容、他們的研究方向,并根據這些內容為用戶指定個性化服務的內容,為用戶提供各種他們所感興趣的各種信息。
(1)計算機網絡病毒種類的多樣性。計算機網絡病毒的設計和開發沒有太大難度,簡單的幾個程序編寫指令就可以開發設計出各種各樣的網絡病毒,尤其是對于一些技術水平比較高的程序編寫員來講,很容易就可以完成計算機網絡病毒程序的編寫和修改,而且網絡病毒的種類增長和繁殖速度特別快。
(2)計算機網絡病毒傳播形式的多樣性。計算機網絡和網絡病毒相互之間存在著很緊密的聯系,網絡電子郵件、網絡系統漏洞以及不良網頁都是網絡病毒進行傳播的重要途徑,進而對計算機網絡系統造成蓄意破壞。計算機網絡系統的傳播形式有很多種,網絡病毒在網絡系統漏洞中的傳播就是常見的一種病毒傳播方式,計算機網絡病毒程序通過對Internet遠程主機系統的搜索和掃描,利用系統漏洞到達控制對方計算機的控制。同時也有一種病毒通過對文件夾的搜索掃描,進行病毒復制,以到達入侵網絡系統的目的。
(3)計算機網絡病毒的針對性。在計算機網絡技術發展初期,計算機網絡病毒主要目標就是干擾網絡技術人員的程序編寫,隨著計算機技術的快速發展,計算機網絡病毒的開發技術和功能作用也發生了很多變化,如今,計算機網絡病毒的設計和開發已經開始商業化,針對性地對計算機網絡系統實施破壞,如通過盜用網銀賬號和密碼等方式以達到非法獲取利益的目的。
2數據挖掘技術簡析
數據挖掘技術是通過對所處一定范圍之內的所有數據進行數據收集、數據分類以及數據歸類,進而來判斷是否存在某種潛在的關系和數據規律,主要環節有3個,準備數據;尋找數據存在的規律;表現數據規律。數據挖掘模式設置好之后,技術系統中的挖掘引擎就會以數據庫中的要求為依據,對準備好的數據進行數據分析和數據歸類,找出各個數據之間存在的關系和相應的數據規律,以便成為之后數據分析的有利依據,數據挖掘技術是比較全面的挖掘技術和數據應用技術,工作過程比較繁雜,工作操作步驟較多,其中存在很大部分的準備環節和規劃工作,數據挖掘技術的重點工作是對數據的預處理階段,對數據的預處理階段是數據挖掘技術的基礎,是后期進行數據分析的必要條件。
3以數據挖掘技術為基礎的計算機網絡病毒防御分析
3.1數據挖掘技術的構成分析
數據挖掘技術在計算機網絡病毒防御中的應用過程比較復雜,步驟繁多,為了便于日常操作應用,掌握每個環節的基本特征,可以對預處理模塊、決策模塊、數據收集模塊、數據挖掘模塊以及規則庫模塊進行分模塊分析研究。
(1)數據預處理模塊分析。簡化數據挖掘技術中數據挖掘和數據分析之間的處理操作可以通過數據預處理模塊來實現,利用數據預處理模塊可以整體上提高數據挖掘效果,提高數據辨識度和準確度。在完成數據收集后需要把數據導入到預處理模塊,實現數據的分析歸類和數據變換,通過這樣額方式把數據轉換成可以被系統識別和處理的數據內容。以目標IP地址、源IP地址、端口信息等這些據數據包當中所包括的信息內容為依據,實施數據集合、數據歸納、數據處理等流程。
(2)決策模塊分析。在數據挖掘技術中的決策功能模塊中,通過對數據的挖掘從而對數據庫進行構建,然后對數據進行匹配,同時數據庫還要和規則庫密切聯系起來。如果數據庫有與規則庫存在高度聯系的信息出現,證明在決策模塊里有病毒特征存在,很可能會感染到計算機病毒。如果是結果數據庫的數據信息和規則庫的數據不能相互匹配,那也就是說該數據包中存在有帶有新型特征病的毒帶,也就是出現了新型的規則類,這樣的情況下就需要把該帶有新型特征的病毒導入到系統的規則庫當中,規則庫的一種較新型的規則類別也就形成了。
(3)數據收集模塊分析。實現數據挖掘的基本要求是提供充分的數據信息,只有通過數據收集才能實現數據收集模塊的功能。數據收集模塊通過對計算機網絡中數據包的抓取和收集來實現數據信息,數據信息被收集后就會具有一定的數據結構和比較重要的功能信息。
(4)數據挖掘模塊分析。數據挖掘技術的一個最關鍵部分就是數據挖掘模塊。數據挖掘模塊中的事件庫和數據挖掘算法是數據挖掘模塊的關鍵部分。數據挖掘對相關數據的收集構成了事件庫,通過對事件庫中數據的分類和數據整理,進而可以獲取較為準確的數據結構。
(5)規則庫模塊分析。規則庫模塊是數據挖掘技術的一個重要組成部分,可以幫助優化數據挖掘信息庫,給系統提供需要的病毒分析數據。如果有網絡病毒在計算機系統中出現,規則庫模塊就可以進行數據分析和數據識別,以及實現數據挖掘。在數據挖掘的過程中,網絡病毒屬性會被挖掘過程中獲取的規則集調整和改變,并且把這個記錄繼續使用在數據挖掘中,這項記錄可以幫助計算機系統對一些潛在的網絡病毒進行分析,進而起到防御病毒的作用。
3.2以數據挖掘技術為基礎的網絡病毒防御系統
(1)數據挖掘技術中的關聯規則分析。數據挖掘技術的關聯規則就是指在同一類別的數據中有可以被發現的知識存在,通過對兩個或者超過兩個的變量進行取值,如果發現數據具有一定規律的話說明這些數據和數據之間存在著某種關聯性。因果關聯、及時序關聯以及簡單關聯是存在數據挖掘技術中的幾種主要關聯關系。要找到數據庫中的關聯網,就需要進行關聯分析,然后結合數據和數據之間的關聯性進行數據挖掘,進而得到數據和數據存在的關聯規則。
(2)數據挖掘技術中的聚類分析。根據數據的不同特點和類別,對所獲取的數據進行分解,把它們分成多個不同的組別,各組數據之間在特征上都存在不同程度的相似之處,而且每組數據同時又存在著各種不同特征。系統對所有數據進行聚類之后,就可以發現并識別出整個系統數據分布的疏密情況,這樣不僅可以呈現出組與組之間數據存在的聯系,同時也可以對全局的分布模式有所體現。
檔案管理對象的數量隨著社會的發展而不斷增加,僅僅通過傳統的管理方式已不能高效管理檔案,這就需要充分利用計算機網絡技術。在檔案管理系統中應用計算機數據挖掘技術可以確保檔案信息的安全性,提高管理檔案的效率,還能優化檔案數據的檢索。總之,基于大數據的計算機數據挖掘技術對完善檔案管理系統發揮著十分重要的作用。
2基于大數據的計算機數據挖掘技術概述
基于大數據的計算機數據挖掘技術是當代新開發的一種數據處理技術,它可以從大數據中挑選出人們需要的數據。計算機數據挖掘是一個循環往復的過程,如果沒有取得預期的效果,計算機數據挖掘信息處理系統就會返回上一層重新工作,直到完成目標任務為止,這種對目標的細化過程可以滿足檔案數據檢索的需要。
3基于大數據的計算機挖掘技術在檔案管理系統中的作用
3.1提高檔案信息的安全性。無論是文字檔案、圖片檔案還是其他形式的檔案,都是一種寶貴的資料。越是意義重大的檔案,檔案管理人員就越要想方設法將其保存起來。檔案的價值隨著其保存時間的不斷推移而增加,價值越高的檔案,被使用的頻率就越高,但是如果使用過于頻繁的話,就會縮短檔案資料的壽命,加大保存難度。除此之外,有的檔案信息是保密的,在應用時如果監管不力就會導致機密泄露。由以上可見,檔案的保存與使用儼然已互為對立面了。將計算機挖掘技術應用到檔案管理中則對檔案資料的完整性毫無影響,并且還可以提高檔案信息的安全性。3.2提高檔案信息管理的效率。在檔案管理工作中應用計算機數據挖掘技術,可以極大改變傳統檔案管理模式低效率的弊端。使用計算機數據挖掘技術,大大提高了工作人員處理檔案信息的速度,同樣的工作使用的時間極大減少。鑒定檔案是檔案管理工作中的重要組成部分,傳統的鑒定方式是由管理人員根據自己的經驗進行主觀鑒定,有時會存在有價值的檔案丟失的現象。應用計算機數據挖掘技術,檔案管理人員就可以利用計算機系統分析檔案使用和保存的情況,促進了檔案鑒定工作的發展。3.3提高了檔案信息的使用效率。大部分檔案信息具有一定的機密性,所以檔案的借閱并不是向全社會公開的,而是有范圍限制的,但是由于檔案管理人員和借閱者對檔案信息不熟悉,導致雙方的溝通存在一定的問題,在借閱者提出申請之后,檔案管理人員會將檔案資料調出來,有時調出來的資料不是借閱者所需要的,還得重新調閱,類似的過程就嚴重浪費了雙方的時間。應用計算機數據挖掘技術可以促進檔案管理人員和借閱者之間的交流,讓檔案管理者明確借閱者需要的具體檔案信息,從而形成專門的檔案提供渠道,這就大大提高了檔案信息的使用效率。3.4增強檔案信息的服務性。加密檔案信息會嚴重縮小它的適用范圍,受當代信息化的影響,很多檔案信息自身會出現一些問題,并且只能為一小部分人服務。將計算機數據挖掘技術應用到檔案信息管理中,可以具體分析檔案的使用情況,通過研究發現未來使用檔案信息的人群,在此基礎上提高檔案信息的服務性。
4基于大數據的計算機數據挖掘技術在檔案管理中的實際應用
4.1在檔案分類管理中的應用。檔案管理的基礎工作就是將檔案進行分類。傳統的分類方法既費時又費力,工作效率極低。計算機數據挖掘技術中有一種決策樹算法,它可以在最短的時間內按照一定的規則將不同屬性的檔案信息進行分類和整理,大大提高了檔案分類工作的效率。計算機數據挖掘技術在檔案分類工作中的具體流程是:從大量不同種類的數據集中選擇一些數據組合成訓練集,然后應用到沒有進行分類的檔案管理中,這樣可以幫助管理者根據借閱者對檔案信息的需求來對檔案進行分類,同時還可以根據借閱者的需求為其推薦其他檔案信息。通過這些針對性強的數據分析,可以極大縮短借閱者獲取檔案信息的時間,檔案數據的利用價值就能充分發揮出來。4.2在檔案收集管理中的應用。計算機數據挖掘技術可以根據數據庫內部的數據信息描述來構建一個相應的數據模型,然后比較計算機數據樣本和數據模型之間的差異,如果這二者互相吻合,就需要檔案管理人員使用測試樣本模型來對檔案信息進行分類處理。計算機數據挖掘技術需要全面分析檔案數據信息庫中的數據,建立一個對已知數據有詳細描述的概念模型,并與測試樣本進行對比,如果一個模型測試通過,就證明這個模型可以應用在檔案收集管理中。
5結語
綜上所述,在科技技術不斷進步的時代背景下,在檔案信息管理中應用基于大數據的計算機數據挖掘技術已成為一種必然趨勢,它可以極大提高檔案信息管理的工作效率,促進檔案管理的高效發展。除了在檔案信息存儲和利用上確?;镜男畔⒉樵兎胀?,還需要應用計算機數據挖掘技術整合檔案信息,建立眾多檔案管理服務數據之間的關聯,這樣才能為檔案信息管理提供更好的服務。
作者:陳皓穎 單位:昆明理工大學津橋學院
參考文獻
[1]高燕飛,陳俊杰.試析計算機數據挖掘技術在檔案信息管理系統中的運用[J].內蒙古師范大學學報:哲學社會科學版,2012(4):44-46.
[2]曾雪峰.計算機數據挖掘技術開發及其在檔案信息管理中的運用研究[J].科技創新與應用,2016(9):285.
[3]李國強,曹巧蓮,辛正宇,等.淺談數據處理的新技術———數據挖掘[J].科技創新與生產力,2010(6).
[4]周碧珍.淺析計算機數據挖掘技術在檔案信息管理系統中的應用[J].黑龍江科技信息,2009(1).