神經網絡常用算法精選(九篇)
前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡常用算法主題范文，僅供參考，歡迎閱讀并收藏。
第1篇：神經網絡常用算法范文
【關鍵詞】人工神經網絡 路徑規劃 移動機器人
1 引言
在移動機器人導航技術應用過程中，路徑規劃是一種必不可少的算法，路徑規劃要求機器人可以自己判定障礙物，以便自主決定路徑，能夠避開障礙物，自主路徑規劃可以自動的要求移動機器人能夠安全實現智能化移動的標志，通常而言，機器人選擇的路徑包括很多個，因此，在路徑最短、使用時間最短、消耗的能量最少等預定的準則下，能夠選擇一條最優化的路徑，成為許多計算機學者研究的熱點和難點。
2 背景知識
神經網絡模擬生物進化思維，具有獨特的結構神經元反饋機制，其具有分布式信息存儲、自適應學習、并行計算和容錯能力較強的特點，以其獨特的結構和信息處理方法，在自動化控制、組合優化領域得到了廣泛的應用，尤其是大規模網絡數據分析和態勢預測中，神經網絡能夠建立一個良好的分類學習模型，并且在學習過程中優化每一層的神經元和神經元連接的每一個節點。1993年，Banta等將神經網絡應用于移動機器人路徑規劃過程中，近年來，得到了廣泛的研究和發展，morcaso等人構建利用一個能夠實現自組織的神經網絡實現機器人導航的功能，并且可以通過傳感器訓練網絡，取得更好的發展，確定系統的最佳路徑。神經網絡拓撲結構模型可以分為：
2.1 前向網絡
網絡中各個神經元接受前一級的輸入，并輸出到下一級，網絡中沒有反饋，可以用一個有向無環路圖表示。這種網絡實現信號從輸入空間到輸出空間的變換，它的信息處理能力來自于簡單非線性函數的多次復合。網絡結構簡單，易于實現。反傳網絡是一種典型的前向網絡。
2.2 反饋網絡
網絡內神經元間有反饋，可以用一個無向的完備圖表示。這種神經網絡的信息處理是狀態的變換，可以用動力學系統理論處理。系統的穩定性與聯想記憶功能有密切關系。Hopfield網絡、波耳茲曼機均屬于這種類型。
3 基于人工神經網絡的移動機器人路徑規劃算法
神經網絡解決移動機器人路徑規劃的思路是：使用神經網絡算法能夠描述機器人移動環境的各種約束，計算碰撞函數，該算法能夠將迭代路徑點集作為碰撞能量函數和距離函數的和當做算法需要優化的目標函數，通過求解優化函數，能夠確定點集，實現路徑最優規劃。神經網絡算法在移動機器人路徑規劃過程中的算法如下：
（1）神將網絡算法能夠初始化神經網絡中的所有神經元為零，確定目標點位置的神經元活性值，并且能夠神經網絡每層的神經元連接將神經元的值傳播到出發點；
（2）動態優化神經網絡，根據神經網絡的目標節點和障礙物的具置信息，在神經網絡拓撲結構中的映射中產生神經元的外部輸入；
（3）確定目標值附件的神經元活性值，并且使用局部側的各個神經元之間，連接整個神經網絡，并且在各個神經元中進行傳播。
（4）利用爬山法搜索當前鄰域內活性值最大的神經元，如果鄰域內的神經元活性值都不大于當前神經元的活性值，則機器人保持在原處不動；否則下一個位置的神經元為鄰域內具有最大活性值的神經元。
（5）如果機器人到達目標點則路徑規劃過程結束，否則轉步驟（2）。
4 基于人工神經網絡的移動機器人路徑規劃技術展望
未來時間內，人工神經在機器人路徑規劃過程中的應用主要發展方向包括以下幾個方面：
4.1 與信息論相融合，確定神經網絡的最優化化目標解
在神經網絡應用過程中，由于經驗值較為難以確定，因此在神經網絡的應用過程中，將神經網絡看做是一個貝葉斯網絡，根據貝葉斯網絡含有的信息熵，確定神經網絡的目標函數的最優解，以便更好的判斷機器人移動的最佳路徑。
4.2 與遺傳算法想結合，確定全局最優解
將神經網絡和遺傳算法結合起來，其可以將機器人的移動環境設置為一個二維的環境，障礙物的數目、位置和形狀是任意的，路徑規劃可以由二維工作空間一系列的基本點構成，神經網絡決定機器人的運動控制規則，利用相關的神經元的傳感器作用獲未知環境的情況，將障礙信息和目標點之間的距離作為神經網絡的輸入信息，使用遺傳算法完成神經網絡的權值訓練，神經網絡的輸出作為移動機器人的運動作用力，實現一個可以在未知環境中進行的機器人運動路徑規劃。
4.3 與蟻群算法相結合，降低搜索空間，提高路徑規劃準確性
為了提高神經網絡的搜索準確性和提高效率，可以將蟻群算法與神經網絡相互結合，蟻群算法的路徑規劃方法首先采用柵格法對機器人工作環境進行建模，然后將機器人出發點作為蟻巢位置，路徑規劃最終目標點作為蟻群食物源，通過螞蟻間相互協作找到一條避開障礙物的最優機器人移動路徑。
5 結語
隨著移動機器人技術的發展，路徑規劃作為最重要的一個組成部分，其得到了許多的應用和發展，其在導航過程中，也引入了許多先進的算法，比如神經網絡，更加優化了移動的路徑。未來時間內，隨著神經網絡技術的改進，可以引入遺傳算法、信息論、蟻群算法等，將這些算法優勢結合，將會是路徑規劃更加準確和精確。
參考文獻
[1]朱大奇,顏明重,滕蓉. 移動機器人路徑規劃技術綜述[J].控制與決策,2010,25(7): 961-967.
[2]劉毅.移動機器人路徑規劃中的仿真研究[J].計算機仿真,2011,28(6): 227-230.
[3]熊開封,張華.基于改進型 FNN 的移動機器人未知環境路徑規劃[J].制造業自動化,2013,35(22): 1-4.
[4]柳長安,鄢小虎,劉春陽.基于改進蟻群算法的移動機器人動態路徑規劃方法[J].電子學報,2011,39(5).
[5]范浩鋒,劉俊.基于 BP 神經網絡的紅外目標識別技術[J].計算機與數字工程,2013,41(4): 559-560.
第2篇：神經網絡常用算法范文
關鍵詞：交通事件自動檢測 BP神經網絡 Matlab仿真
1.前言
隨著高速公路車流量的越來越大，交通事件頻繁發生，給高速公路管理者帶來了諸多困擾，而且給國家和社會也帶來了不必要的損失[1]。
本文在國內外學者研究的基礎上提出了基于BP神經網絡的高速公路交通事件自動檢測算法。將上下游車道占有率、流量、大型車所占比例作為BP神經網絡的輸入，建立了神經網絡模型。本算法可為高速公路事件檢測系統的建立提供理論基礎，對提高高速公路利用率和安全性有重要意義。
2.交通事件自動檢測原理分析
正常情況下，高速公路上的交通流符合“連續車流”的規律[2]。當T時刻發生交通事件后，由于道路通行能力的突然下降導致事發點上游出現交通擁擠，流量和車速下降，占有率上升；T+1時刻下游車道流量下降，車速上升，占有率下降；同時研究發現由于不同類型的車輛換車道行駛需要的時間和道路空間不同，上、下游車道中車型比例也有所變化。因此，交通事件自動檢測的原理是通過分析高速公路上不同位置、不同時刻的交通參數變化來識別事件和非事件模式。
3.交通事件檢測的模型構建
本研究采用三層神經網絡結構，模型結構圖如圖1所示。
輸入層：輸入層有6個神經元節點代表交通流變化的交通參數。包括T時刻上游和T+1時刻下游的占有率、流量及大型車所占比例。
隱含層：對于隱含層神經元節點數目nh的確定，有下列經驗公式[3]：
其中ni為輸入層節點數，no為輸出層節點數，本研究中ni=6，no=1，所以隱含層神經元節點數nh =13。
輸出層：選擇一個輸出神經元節點作為輸出，按照有無事件發生，以輸出節點為1表示有事件發生，輸出節點為0表示無事件發生。
4.事件檢測算法的Matlab實現與評估
4.1.數據預處理
本次研究采用陜西西安繞城高速上車檢器采集的1000組交通數據。其中500組用來訓練網絡，包括輸入數據（交通參數）和目標數據（事件狀態）。另外500組作為神經網絡測試數據。在訓練BP神經網絡之前先利用premnmx函數對數據進行歸一化處理，即 [pn，minp，maxp，tn，mint，maxt]=premnmx（p，t）。
4.2神經網絡創建和初始化
利用newff函數創建一個新的神經網絡：
net=newff（minmax（pn），[13，1]，{'tansig'，'purelin'}，'traingdx'， 'learngdm'）；
利用minmax函數設定輸入向量pn的元素的取值范圍；在訓練BP網絡之前，必須對網絡的連接權值和閾值進行初始化。
4.3.BP神經網絡訓練
將神經網絡的參數設置為每50次顯示訓練迭代過程；學習速率為0.05；動量因子為0.9；
網絡訓練次數為1500；訓練目標精度為1e-002；網絡最大失敗次數為5次。
調用train函數利用traingdx算法訓練BP網絡：net=train（net，pn，tn）； BP網絡訓練效果如圖2所示，由圖可見，經過852次訓練，經過交通數據訓練的網絡能快速收斂，效果良好。
4.4.BP神經網絡仿真與測試
訓練結束后，用剩下的500組數據作為測試樣本對網絡進行測試，用tramnmx 函數對其進行歸一化處理。然后運用sim函數對BP網絡進行仿真，仿真結果須用postmnmx函數進行反歸一，這時的輸出數據才是真正的交通事件檢測結果，將小于0.5的事件狀態輸出為0，即無事件發生，大于0.5的事件狀態輸出為1，即有事件發生，計算檢測誤差并輸出圖形。結果如圖3所示，由圖可見檢測結果和訓練結果能很好的擬合。
4.5.AID算法評估
交通事件自動檢測算法最常用的性能評估指標有檢測率、誤報率和平均檢測時間 [4]。本文對經典加州算法和BP神經網絡算法通過仿真
5.結語
本文采用BP神經網絡算法來對高速公路交通事件進行檢測。算法中將上下游大型車比例作為一個輸入是個創新點。運用BP神經網絡算法建立交通檢測模型，避免了傳統算法因人為建立的模型與實際情況不符而導致檢測不準確的情況。通過Matlab仿真與測試證明本算法檢測交通事件性能較好。
參考文獻：
[1]靳引利，朱春平.高速公路信息設施的特性分析[J].中國水運.2007-10，（10）
[2]潘若禹.基于數據融合的高速公路交通異常事件檢測的研究[D].西安：長安大學.2006
第3篇：神經網絡常用算法范文
[關鍵詞] 神經網絡； GPS高程模型； 訓練樣本
1 引言
BP神經網絡算法是一種反向傳播學習算法，把學習的結果反饋到中間層次的隱單元，改變它們的權系矩陣，從而達到預期的學習目的，它是一種自適應的映射方法，沒做假設，能減少模型誤差，它是迄今為止應用最廣泛的神經網絡。
2 BP神經網絡算法
（3）BP算法的流程如圖2-2所示。
3 GPS水準精度評定標準
⑴ 內符合精度
4 實例應用
本算例使用的數據是某礦區D級GPS高程控制網數據，共布設了36個GPS控制點，并實施了四等水準。采用三層式神經網絡，隱含層確定由于沒有固定的方法，根據經驗，一般在5-7個為最好，本試驗分別采用5個隱含層，6個隱含層和7個隱含層對數據進行訓練，
（1）方案一 采用5個隱含層，樣本集的訓練精度目標為1mm，分別訓練5000次，7000次，10000次，檢核點的精度分布情況見表4-1、表4-2。
（2）方案二采用6個隱含層，樣本集的訓練精度目標為1mm，分別訓練5000次，7000次，10000次，檢核點的精度分布情況見表4-3、表4-4。
（3）方案三 采用7個隱含層，樣本集的訓練精度目標為1mm，分別訓練5000次，7000次，10000次，檢核點的精度分布情況見表4-5、表4-6。
5 結論
（1）BP網絡法用于求高程異常是一種可行的方法，并且有較高的精度。
（2）在同一樣本集進行訓練時，訓練的次數越多，相應的外符合精度越高，但達到一定的訓練次數時，訓練的外符合精度反倒不好。
（3）在不同樣本集中，樣本集越多，網絡的智力越高，對工作集的擬合效果越好，外符合精度相應也越高。
[參考文獻]
[1] 孔祥元，梅是義.控制測量學[M].武漢：武漢大學出版社，2004
[2] 聞新，周露，李翔.MATLAB神經網路仿真與應用[M].北京：科學出版社，2003.
[3] 韓力群.人工神經網絡教程[M].北京：北京郵電大學出版社2006.
[4] 閻平凡，張長水.人工神經網絡與模擬進化計算[M].北京：清華大學出版社，2005.
[5] 匡翠林.高精度GPS水準算法研究及其應用[D].中南大學，2004
[8] 楊永平，馮立清，蘭孝奇；神經網絡法在GPS高程擬合中的應用[J].三晉測繪，2004（1）：11-15
第4篇：神經網絡常用算法范文
關鍵詞：神經網絡 計算機安全 入侵檢測
中圖分類號：TP393.08 文獻標識碼：A 文章編號：1674-098X（2012）12（c）-00-01
自從1960年Widrow等提出自適應線形神經元用于信號處理中的自適應濾波、預測和模型識別以來，神經網絡技術便被用來解決現實生活中的問題。而在McCulloch等基于模仿人腦結構和功能建立起一種人工智能的信息處理系統后，人工神經網絡在土木工程、農業、經濟管理及企業管理等不同領域中被廣泛應用[1-2]。該文介紹了神經網絡的概念及特點，并分析神經網絡在計算機安全尤其是在網絡入侵檢測中的應用。
1 神經網絡的概念及特點
1.1 神經網絡的概念
神經網絡是一個并行、分布處理結構，是由神經元及稱為聯接的無向訊號通道互連而成。人工神經網絡（Artificial Neural Network，ANN）指的則是模仿生理神經網絡的結構和功能而設計的一種信息處理系統，即由多個非常簡單的處理單元彼此按某種方式相互連接而形成的信息處理網絡[3]。
1.2 神經網絡的特點
在人工神經網絡中，由于網絡中的每一個單元都是獨立的信息處理單元，因此其計算可獨立進行，而整個網絡系統卻是并行計算的。這不同于傳統的計算機的串行運算。由于神經網絡是一個大規模互聯的復雜網絡系統，因而是大規模的并行處理，這在一定程度上提高了系統的處理速度，同時也為實時處理提供了重要條件。人工神經網絡與人腦類似，具有學習的功能。通常只要給出所需的數據、實例，由網絡去學習，而學習獲得的知識都分布儲存在整個網絡的用權系數表示的連接線上。不同網絡因學習方法及內容不同，可得到不同的功能和不同的應用。因而有可能解決傳統人工智能目前最感困難的機器學習中知識獲取、知識表示等問題。此外神經網絡還對于輸入數據的失真具有相當的彈性。
1.3 常用的神經網絡算法
常用的神經網絡算法包括ARTMAP模型、ART模型、概率模型PNN、模糊模型ART、模糊多層感知器、Kohonen特征映射網絡、反饋多層感知器模型等[4-5]。其中，ART模型和Kohonen特征映射網絡、模糊模型ART屬于無監督訓練算法，而反饋多層感知器模型是受限反饋，ARTMAP模型、ART模型屬于反饋的網絡拓撲
結構。
2 神經網絡在網絡入侵檢測中的應用
2.1 神經網絡應用于網絡入侵檢測的優勢
由于神經網絡對于數據訓練獲得預測能力的過程是通過完全抽象計算實現的，而不強調對于數據分布的假設前提，因此在建立神經網絡模型過程中沒有必要向神經網絡解釋知識的具體細節。同時，神經網絡在網絡入侵檢測中，可以通過數據運算而形成異常的判別值，這樣可以對于當前是否受到攻擊行為影響做出判斷，從而實現對檢測對象是否存在異常情況的檢測[6-8]。
2.2 神經網絡在網絡入侵檢測中的應用
神經網絡在網絡安全尤其是入侵檢測方面已有了相當的研究[9]。有研究者將組織聚類神經網絡應用于計算機安全研究中，其采用了自適應諧振學習法進行數據的前期訓練，對于無顯著意義的平均誤差減少時，采用遺傳算法繼續在前期基礎上進行數據數據以得到最佳的權值。國內也在神經網絡應用于網絡入侵檢測上做了大量工作。王勇等研究者在參考MIT Lincoln有關網絡入侵檢測方法基礎上，提出了基于Linux主機的網絡入侵檢測方案，實現了對于多種網絡攻擊的特征進行抽取及檢測的目的[10]。
神經網絡在網絡入侵檢測中有廣泛的應用空間[11-12]，今后應該擴大訓練數據的數量和范圍，并擴大操作系統的研究空間，通過模擬真實的計算機網絡環境，將神經網絡技術真正應用于計算機安全尤其是入侵檢測工作中。
參考文獻
[1] 李季，蒲彪.人工神經網絡在食品微生物發酵中的應用[J].食品研究與開發，2009，30（4）：171-174.
[2] 李聰超，周鐵軍.人工神經網絡在農業中的應用[J].農業網絡信息，2008（1）：35-38.
[3] 李麗霞，張敏，郜艷暉，等.人工神經網絡在醫學研究中的應用[J].數理醫藥學雜志，2009，22（1）：80-82.
[4] 高雋.人工神經網絡原理及仿真實例[M].北京：機械工業出版社，2003：44-73.
[5] 楊行峻，鄭君里.人工神經網絡與盲信號處理[M].北京：清華大學出版社，2003：23-105.
[6] 程麗麗.基于模糊神經網絡的入侵檢測設計模型[D].哈爾濱：哈爾濱理工大學，2005.
[7] 周開利，康耀紅.神經網絡模型及其MATLAB仿真程序設計[M].北京：清華大學出版社，2005.
[8] 李家春，李之堂.神經模糊入侵檢測系統的研究[J].計算機工程與應用，2001，23（17）：37-39，
[9] 王勇，楊輝華.一種基于進化神經網絡的入侵檢測實驗系統[J].華東理工大學學報（自然科學版），2005（6）：362-366
[10] 喬瑞.基于優化自組織聚類神經網絡的入侵檢測方法研究[J].計算機與現代化，2005（1）：77-79.
第5篇：神經網絡常用算法范文
關鍵詞:BP神經網絡;成本估算;武器裝備
一、我國常用的軍品成本估算方法
針對武器系統的成本估算，國內外常用的一般方法有四種：參數估算法、工程估算法、類推估算法和專家判斷估算法。
1.參數估算法，又稱經驗公式法。這種方法實際上是使武器系統的費用與武器系統的特點或重要參數之間建立起費用估算關系。而這些費用變量都有一個數學值范圍，并不只是一個值。它的函數形式就是成本估算關系式。簡言之，它是利用類似系統的歷史費用數據去推導新型武器系統的費用。
2.工程估算法，又可稱之為單價法或直接法。它的主要做法是根據工作分解結構在對各個獨立部分和系統零部件的料、工、費進行詳細估算的基礎上，再將各單項估算值綜合為總的成本費用。所以，該方法有時又被稱為“自下而上”的成本估算法。
3.類推估算法實際上是將擬議中的產品、裝備、系統功能與以前的某個系統的可比部分或類似部分進行直接比較。這種方法既可用于直接與具有同樣操作或工作特性的類似系統進行比較，也可將被估系統直接與具有許多相同費用特性的不同系統進行比較。
4.專家判斷法類似于專家推測法。它要求估算者擁有關于系統或系統部件的綜合知識。在經驗數據不足或沒有足夠統計資料的情況下，往往需要用這種方法。
除以上常用的4種方法之外，目前討論的比較多的方法還包括以下3種：
1.灰色系統方法。通過對主導因素建立GM（1,1）模型，對關聯因素建立GM（1,N）模型，最后得到系統的狀態方程模型，按狀態模型對系統進行預測。通常采用GM（1,1）和GM（1,N）相結合的方式。大致步驟為：一是確定系統的主導因素和關聯因素；二是建立GM模型群，對主導因素建立GM（1,1）模型，其余因素建立GM（1,N）模型，組成線性方程組；三是根據GM模型組得出狀態方程矩陣求解狀態方程。灰色系統能夠適應樣本數較少的情況。如孫本海（2002）在他的碩士論文中使用灰色系統理論中的殘差模型和改進的G-N迭代法構建了炮兵武器裝備費用的參數模型。郭繼周等人（2004）用灰色系統理論進行費用預測的方法，建立了GM(1，1)模型及GM(1，1)預測模型。陳尚東等人（2008）針對地空導彈維修費用數據量有限規律性不同的特點，選用灰色理論進行維修保障費用預測：首先，簡要分析了GM(1，1)模型，討論了維修費用數據的處理；然后，以某新型地空導彈武器系統為例，具體探討了灰色預測模型的應用，并對比分析了老信息灰色預測、新信息灰色預測和新陳代謝預測模型的精度。
2.模糊綜合評價方法。模糊綜合評價方法（FCE）是一種應用非常廣泛和有效的模糊數學方法。它應用模糊數學的有關方法和理論，通過建立隸屬度函數，考慮不可量化因素的影響，進行綜合分析和評價。如郭建華等人（2004）利用模糊綜合評價模型對武器裝備項目的研制費用進行了估算。
3.人工神經網絡（ArtificialNeuralNetwork,ANN）方法。目前采用較多的是BP(BackPropagation)神經網絡預測模型法，具體步驟：一是選取學習樣本，對權值進行初始化；二是訓練學習樣本；三是用測試樣本進行數據仿真。可以證明，對于任何一個在閉區間內的連續函數都可以用帶一個隱層的3層BP網絡來逼近。如劉銘等人（2000）提出了一種基于BP神經網絡的防空導彈采購費估算模型，并對典型的防空導彈采購費進行了估算。劉國利等人（2003）根據導彈武器系統研制的特點，分析并確定了影響導彈武器系統研制費用的主要因素，提出了基于人工神經網絡的費用預測模型。
軍品的費用估算是一項持續性的工作，貫穿于軍品研制的全過程，隨著研制工作的進展，采用的估算方法應越來越詳細、精確。以上介紹的7種方法各有各的特點，在不同的條件下都具有特定的使用價值，具體對比情況見表1。
二、ANN方法和BP網絡的優點
神經網絡的建模能力也是由參數決定的，但它有別于回歸分析方法，它只限制所包含多項式的整體個數，不限制它們的階數，即在參數一定的情況下，可以通過學習（即各分量的競爭）來合理選擇任意階數的項。這體現了神經網絡的非線性特性，因而在總體上其精度由于傳統的回歸分析方法。
運用神經網絡方法建模的另一個原因是，在實踐中，我們雖然可能擁有已研制軍品的相關費用數據，但這些信息常常是不完整的，而且往往含有傷殘結構及錯誤成分，且具有不確定性，這些問題給以往的處理方式造成很大的困難。而神經網絡可以通過不斷地學習，從典型型號研制相關費用數據中學會處理這些問題，且能補全不完整的信息，并根據已學會的知識和經驗對復雜問題做出合理的判斷，以做出有效的預測和估計。
運用神經網絡方法建模的一般過程包括確定系統需求描述、選擇神經網絡模型（包括神經網絡結構、訓練方法等）、數據預處理、確定神經網絡的可執行代碼、訓練和測試等過程，具體情況見圖1。
這里需要特別說明的是神經網絡模型的選擇問題。目前，在數于種網絡結構、上百種訓練學習算法中，應用最廣泛、技術最成熟的是多層前向式網絡結構，應用誤差反向傳播算法（ErrorBackPropagationLearningAlgorithm），簡稱為BP網絡。這主要歸結于基于BP算法的多層感知器具有以下一些重要能力。
1.非線性映射能力。BP網絡學習能學習和存儲大量輸入-輸出模式映射關系，而無須事先了解這種映射關系的數學方程。
2.泛化能力。BP網絡訓練后將所提取的樣本對中的非線性映射關系存儲在權值矩陣中，在其后的工作階段，當向網絡輸入訓練時未曾見過的非樣本數據時，網絡也能完成有輸入空間向輸出空間的正確映射。
3.容錯能力。BP網絡允許輸入樣本中帶有較大的誤差甚至個別錯誤。因為對權矩陣的調整過程也是從大量的樣本對中提取統計特性的過程，反映正確規律的只是來自全體樣本，個別樣本中的誤差不能左右對權矩陣的調整。
三、某型號無人機成本估算的BP模型
1.確定樣本集。為了驗證前文所說的BP神經網絡在成本估算中的準確性，本文選擇了八中型號的無人機來進行模擬運算。具體的數據見下表（表2）。
由表2可知，本文選擇了與最后的整機價格有主要關系的6個性能指標，分別是導航定位精度、飛行高度、控制半徑、最大平飛速度、續航時間和任務載荷。這六個性能指標是作為BP神經網絡模型的輸入項（in）存在的，而最后一項整機價格則是作為模型的輸出項（out）。需要說明的是，根據前文的思路，本部分使用BP神經網絡估算的應該是軍品的成本，而不是軍品的整機價格。在表5中之所以使用整機價格，主要是因為表中的價格是按照目前的軍品定價模式計算出來的，即只要在整機價格的基礎上除以（1+5%）就是飛機的成本。根據神經網絡和本文研究的特點，此處使用整機價格并不影響最終結論的正確性。另外，為了保證結果的真實性，表中的整機價格在軍方審價完成之后，承制方與軍方最終的成交價格。還需要說明的是，有兩個因素可能會影響本案例研究的精確性：一是為了搞好保密工作，本表格提供的數據是經過了脫密處理的。二是本文樣本的數量不大，只有用來供神經網絡學習的樣本只有6個（前面6個型號），用來測試的只有2個（最后的2個型號），這必然會影響結果的精度。但是只要誤差在本文認為的可接受的范圍內（≤20%），本文就認為研究結果有效。
2.確定網絡結構和算法。本案例的BP神經網絡結構如圖2。
由上圖可知，該BP神經網絡的結構由6個性能指標構成輸入層，輸出層只有一個節點即整機價格。中間的隱層包含7個神經元節點。
本文采用的是MATLAB的BP神經網絡工具箱中的Trainlm函數建立的模型，它采用的是L-M算法。
3.數據標準化、訓練和測試。本文采用的MATLAB版本是MATLAB7.70(R2008b)，該版本的功能比較強大，對數據的要求不像以前的那么嚴格（以前版本的MATLAB要求節點輸入和輸出值的大小在[0，1]），所以筆者在并不需要對數據進行標準化。這樣不僅能夠減少模型的計算量，而且還有利于提高最終結果的精確度。
4.結果。根據前文構建的軍品成本估算BP模型，以及上文確定的算法和過程，在經過了5次迭代后得到結果見表3。
由上面的結果可知，對高速無人機1和高速無人機2測試的誤差都在20%以內，是在前文限定的范圍內，因而筆者認為這個結果是可以接受的。并且，測試結果表明目前的定價還是略高于計算值。
四、存在的問題
在將BP神經網絡模型應用于無人機的過程中，筆者認為以下幾個方面的問題是比較難把握的。
1.輸入層節點個數的控制。就本案例來說，輸入層有6個節點，也就是6個性能指標。正如前文所言，選擇的這6個性能指標是因為它們與最后的整機價格有主要關系。這個判斷主要是根據專家的判斷和實際的做法得出來的，所以其中的主觀性很大。如果選擇的尺度或標準稍微有所變化，那么指標的個數就會發生變化。而且我們如果要判斷到底需要幾個指標才能達到最好的預測效果。
2.隱層節點數的控制。這里包括兩個問題：一是包括幾個隱層？二是隱層中包括幾個節點。一般來說一個隱層的BP神經網絡就能很好的學習和測試，就筆者看到的文獻而言，也主要是一個隱層。關于隱層中節點的個數，沒有具體的規則，只能根據結果調整，這就對研究者使用MATLAB進行BP神經網絡建模的經驗和技術提出了挑戰。
第6篇：神經網絡常用算法范文
關鍵詞：BP神經網絡 BP算法改進 脫機手寫漢字識別 誤差函數
中圖分類號：TP183 文獻標識碼：A 文章編號：1674-098X（2014）01（b）-0047-01
漢字識別有兩種，一種是印刷體漢字，因比較規范，容易識別；第二種是手寫漢字，分聯機手寫和脫機手寫兩類，前者準確率較高，后者則偏低，是當前的研究重點。作為模式識別的重要組成部分，漢字識別技術應用廣泛，但由于涉及圖像處理、人工智能、計算機、數字信號處理等多種技術，加上漢字的復雜繁多，使得漢字識別存在著很大困難，如尤其是相似字，使得識別更為困難，如“裸”和“”、“壺”和“”、“禪”和“”等，極易出現錯誤。
1 神經網絡和BP神經網絡
1.1 神經網絡
神經網絡是在現代神經科研成果的基礎上提出并發展起來的，通過對生物大腦神經的模擬建立的一種信息處理系統，由許多簡單元件連接構成，具有非線性和容錯性，從能力特征來講，具有自適應和自組織性。其優勢主要體現在：能夠模仿人腦進行聯想記憶；對存儲的信息進行分類識別；能夠自動總結歸納經驗。在長期的實踐發展中，神經網絡技術不斷完善，在語音處理、機器人研究、模式識別等諸多領域都有廣泛應用。
1.2 BP神經網絡
用于文字識別的神經網絡模型有很多，BP神經網絡是其中較為常用的一種，該網絡模型是以BP算法（即反向傳播算法）為基礎的，除了函數逼近功能，還具有良好的機器學習能力。
BP神經網絡屬于多層前向網絡，能夠進行反向傳遞、修正誤差，通過結構和權值將頗為復雜的非線性映射關系表達出來。多由輸入層、輸出層以及隱含層組成，每層都有若干神經元，前向網絡是指其計算過程呈單向型，即由輸入層到中間層，再到輸出層。
BP算法有兩個階段，一是正向傳播，二是反向傳播，在第一個階段，將信號輸進系統的輸入層，由其內部神經元進行處理，主要是加權求和、激勵函數等，而后傳遞到中間層（即隱含層），在經過內部逐層處理，傳到輸出層，將實際的輸出值和預期值相比，若超過了規定的誤差范圍，就開始反向傳播，把誤差值從輸出層輸入，向中間層和輸入層傳遞，求得每層內各單元的誤差，將相應的權值進行修改，經不斷的調整，直至誤差值符合要求。
2 BP網絡神經在小字符集漢字識別中的實際應用
2.1 缺陷
（1）站在數學的角度看，BP網絡神經所使用的梯度下降法屬于非線性優化算法的一種，以至于局部極小值大的問題很難得到解決，在實際計算中，BP算法能夠將網絡權值進行收斂，但收斂值為局部極小解的可能性較大，是否是全局的最小解則沒有可靠的保證。若解決的問題比較復雜，很容易致使誤差函數陷入局部的極小區域。
（3）中間層的結點
在確定訓練集之后，輸入層和輸出層的結點數目也相應的確定下來，然而中間層及選取層內結點時，缺乏足夠的理論作指導，中間層的結點數直接影響著網絡的學習效率和復雜程度，因此，在選取中間層變得結點時，也應做一定的改進，積極建立相關的指導理論。
3 結語
針對脫機手寫漢字識別技術存在的難度，可運用BP神經網絡技術，而實際應用中，收斂速度過慢以及局部最小點問題對BP神經網絡技術影響較大，為此，需從初始權值的選取、激勵函數、誤差函數等方面對其算法加以改進，以達到提升脫機手寫漢字識別速度和精確度的目的。
參考文獻
第7篇：神經網絡常用算法范文
關鍵詞：脫機手寫藏文識別；GABP神經網絡；特征提取
中圖分類號：TP317.2 文獻標識碼：A 文章編號：16727800（2013）009007902
基金項目：青海省普通高等學校研究生創新項目
作者簡介：梁會方（1987-），女，青海師范大學計算機學院碩士研究生，研究方向為藏文信息處理。
0引言
模式識別在各個領域中的應用非常多，從這些應用中可以看到它們的共性，即一個模式識別系統通常包括原始數據的獲取和預處理、特征提取與選擇、分類或聚類、后處理4個主要部分。其中藏文識別需要解決的關鍵問題是模式分類，其理論基礎是模式識別技術，其中最常用的方法是統計模式識別方法和結構模式識別方法。近年來也有很多人將隱馬爾科夫模型用于手寫識別領域，取得了良好的效果。本文主要介紹統計模式識別、結構模式識別以及使用較多的隱馬爾科夫模型和人工神經網絡模型。
1模式識別
1.1統計模式識別
統計模式識別是依據統計的原理來建立分類器，其分類器設計方法主要有貝葉斯決策理論和判別函數。貝葉斯決策理論基本思想為：在類條件概率密度和先驗概率已知或者可以估計的條件下，利用貝葉斯公式比較樣本屬于兩類的后驗概率，然后將類別決策為后驗概率大的一類，從而使總體錯誤率最小。常見的一種貝葉斯決策為最小錯誤率貝葉斯決策[1]，其決策規律如下：
如果P（w＼-1|x）>P（w＼-2|x），則x∈w＼-1；反之，則x∈w＼-2。
通過貝葉斯公式 ，后驗概率的比較可以轉化為類條件概率密度的比較，離散情況下也是類條件概率的比較，而這種條件概率或條件密度則反映了在各類模型下觀察到當前樣本的可能性或似然度，因此可以定義兩類之間的似然比或對數似然比進行決策。
該方法的主要優點是抗干擾能力強，且易于實現，但是應用中的主要缺點是細分能力較弱，區分相似字的能力較差。
1.2結構模式識別
藏文文字結構復雜，但同時具有相當的規律性，這種文字都含有豐富的結構信息，因此可以獲取這些組字的規律以及藏文字符信息的結構特征作為識別的依據。結構模式識別[2]的主要思想就是文字圖像劃分為很多基本組合，然后利用一些相似性度量準則確定出這些組合之間的關系，以及這些字符圖像模式和一些典型模式之間利用一些相似性度量準則確定的相似程度。
1.3隱馬爾科夫模型
HMM模型[3]是將特征值和一個狀態轉移模型聯系起來，它是一個雙重隨機過程，其中狀態轉移過程是不可觀察即隱藏的馬爾科夫模型，而可觀察事件的隨機過程是隱藏狀態轉換過程的隨機函數。HMM有3個基本問題及常用算法：①評估問題：前后向遞推算法；②解碼問題：Viterbi算法；③學習問題：BaumWelch算法。
HMM模型可以用一種特定的神經網絡模型來模擬[4]，該模型收斂性較差，易陷入局部極值。
1.4人工神經網絡模型
神經系統是由大量神經細胞構成的復雜網絡，是一個由大量簡單的處理單元組成的高度復雜的大規模非線性自適應系統。神經網絡是一個高度并行的分布處理結構，它是非線性的，具有自組織和自學習的能力。神經網絡與傳統的模式識別不同，能夠直接輸入數據并進行學習，用樣本訓練網絡并實現識別。它是非參數的識別方法，不需要傳統方法中的建模、參數估計以及參數校驗、重新建模等復雜過程。
在字符識別領域常用的網絡模型有：BP網絡、RBF網絡、自組織網絡、Hopfield網絡、SVM網絡等。
BP網絡是一種多層前饋網絡[5]，是一種依靠反饋值來不斷調整節點之間的連接權值而構建的一種網絡模型。它由輸入層、隱藏層、輸出層相互連接構成，其結構如圖1所示。
網絡的學習訓練過程由信號的正向傳播與誤差的反向傳播組成，其中正向傳播是把輸入樣本從輸入層輸入，經各隱層處理后傳向輸出層，若輸出層的實際輸出和期望輸出不符，則轉入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳，并將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號即作為修正各單元權值的依據。各層權值調整過程是周而復始地進行，直到網絡輸出的誤差減少到可以接受的程度。
2遺傳算法改進的BP網絡
藏文字符識別是中國多文種信息處理系統的重要組成部分，脫機手寫藏文識別在很多領域有廣闊的使用前景。在現有漢字以及數字識別方法的基礎上，提出了很多預處理和模式識別的方法，大大提高了手寫藏文的識別精度。為了提高脫機手寫藏文識別精度，本文將GABP神經網絡應用于脫機手寫藏文識別分析中，識別過程分為兩步：訓練階段、識別階段。在訓練階段，提取訓練樣本集的特征，建立網絡模型，以輸入為目標，保存網絡的連接權值和閾值以及字符特征；在識別階段，將待識別的藏文特征送入網絡運行，待網絡運行到平衡狀態，將輸出結果與數字特征庫的值進行比較，識別出藏文字符。
BP網絡是目前應用最多的神經網絡，這主要是因為BP算法[6]有較強的非線性映射能力、泛化能力以及容錯能力。但是它本身存在大量的問題，突出表現在：BP算法的學習速度很慢，需要較長的訓練時間；網絡訓練失敗的可能性較大，易陷入局部極小點，逼近局部極小值[5]。為了改善這些缺點，通常會改變隱層數量，隱藏層一般根據具體情況制定，但是增加隱藏層的層數和隱藏層神經元個數不一定總能夠提高網絡精度和表達能力。而遺傳算法的基本作用對象是多個可行解的集合，而非單個可行解。它同時處理多個個體，同時對搜索空間中的多個解進行評估，使得遺傳算法具有較好的全局搜索性能，減少了陷于局部最優解的可能性，同時，它本身具有良好的并行性。所以用遺傳算法學習神經網絡的權重及拓撲結構[6]，對神經網絡進行改進，提高了神經網絡的精度，同時也提高了遺傳算法的局部搜索能力。在模式分類應用中進行數據預處理，利用遺傳算法進行特征提取，其后用神經網絡進行分類。GABP混合學習算法結構如圖2所示，采用GA優化BP網絡權值。
①BP網絡參數初始化；
②按BP網絡的權值和閾值連接隨機產生染色體；
③計算染色體的適應值以及迭代次數，如果達到要求，則結束GA算法，產生最佳個體，如果沒有達到，進行下一步；
④按適應度進行選擇、交叉和變異操作，產生新的染色體，重復上一步；
⑤將產生的最好個體依次映射到BP網絡中對應的權值和閾值，并將此作為BP網絡的初始值；
⑥利用BP網絡，判斷誤差是否達到預定要求，達到就結束，如果沒有，則BP網絡反向傳播，返回上一步。
3結語
本文分析了文字識別的常用方法及其優缺點，著重分析了手寫藏文識別征提取和分類器設計兩個關鍵技術，并對藏文識別研究領域今后的研究方向和發展前景提出了一些看法。在原BP網絡的基礎上改進GABP神經網絡，可以提高其學習速度，加快收斂速度，相比而言識別精度較高、訓練時間較短，且具有較強的魯棒性。由于神經網絡和遺傳算法已經發展得比較成熟，將兩者結合的方法用于藏文識別，具有很大的實用價值，同時將GABP神經網絡用于藏文識別，有助于神經網絡用于藏文識別的可能性和有效性。
參考文獻：
[1]張學工.模式識別[M].北京：清華大學出版社，2010.
[2]吳剛，德熙嘉措，黃鶴鳴.印刷體藏文識別技術[C].第十屆全國少數民族語言文字信息處理學術研討會論文集，2005.
[3]劉衛，李和成.基于局部保持投影與隱馬爾可夫模型的維文字符識別[J].計算機應用，2012，32（8）.
[4]梁弼，王維蘭，錢建軍.基于HMM的分類器在聯機手寫藏文識別中的應用[J].微電子學與計算機，2009，26（4）.
第8篇：神經網絡常用算法范文
為了提高光伏發電預測的精度，在傳統BP神經網絡預測模型的基礎上，利用相似日算法和馬爾科夫鏈理論對預測模型進行改進。其方法以得到的相似日數據作為預測模型的輸入量，通過BP神經網絡進行訓練，得到初步的預測值，然后根據馬爾科夫鏈模型得到的誤差狀態轉移概率矩陣對預測誤差進行修正，根據修正后的誤差得到新的預測值。最后通過與傳統算法得到的預測結果進行誤差對比分析，結果表明，改進算法的預測精度高于傳統算法，驗證了該模型的有效性。
關鍵詞:
光伏發電;相似日算法;BP神經網絡;馬爾科夫鏈
隨著能源和環境問題的日益突顯，光伏太陽能作為一種重要的清潔可再生能源發電形式，越來越受到世界各國的關注［1-2］。由于受到環境和氣象因素的影響，光伏發電功率具有一定的波動性和隨機性，因此，影響電力系統的安全、穩定運行。對光伏發電系統發電量進行預測研究，可以預先得到發電量曲線，協調調度部門安排常規機組出力，并可以根據預測結果進行光伏出力平滑控制，從而減小大規模光伏系統的接入對電網造成的影響［3-5］。光伏發電量預測分為直接預測和間接預測兩種［6-7］。目前多采用歷史氣象和發電數據進行預測的直接法(統計法)，其中基于神經網絡的光伏預測方法研究較為普遍［8-9］。其中文獻［8］提出了一種結合歷史數據和天氣預報信息的BP神經網絡預測模型。文獻［9］對不同的天氣狀況做出了劃分，利用不同的天氣狀況子模型進行預測。由于相同的天氣類型條件下光伏發電功率有著很好的相似性，文獻［10］提出了相似日的選取方法。在傳統BP神經網絡的基礎上，采用相似日算法篩選出與預測日特征更為相似的歷史數據作為模型輸入，提高了預測結果的精度。考慮到光伏發電受到環境因素的影響會產生較大波動，為了進一步減小預測誤差，在文獻［10］的基礎上，本文提出一種基于馬爾科夫鏈修正的預測模型，利用本模型適應性強的特點，通過其狀態轉移概率矩陣對基于相似日算法的BP神經網絡的誤差修正，得到新的預測值，從而提高預測的準確性。
1相似日算法
1．1不同日類型的光伏出力影響光伏發電的因素有很多，其中最主要的是太陽輻照度和溫度。太陽輻照度越大，光伏發電功率也越大。溫度對光伏發電的影響體現在隨著溫度的變化太陽能電池的性能也跟著變化，從而影響光伏發電功率的變化。日類型可以分為晴天、多云、雨天三類。同一季節的不同日類型某光伏電站的發電量如圖1～3所示。從圖1～3可以看出，不同的天氣類型對光伏電站效率有很大影響。
1．2相似度計算日相似度是指兩日中各個氣象因素的相似程度。其中氣象差異主要體現在太陽輻照度、最高溫度、平均溫度、最低溫度、降雨量等氣象因素。在日相似度高的兩天光伏電站的輸出功率曲線有很好的相似性［11］。因此，根據相似日的歷史氣象和發電數據，通過BP神經網絡預測模型可以比傳統的方法更好預測出待預測日的光伏功率輸出。由于氣象部門提供的信息中缺乏太陽輻照強度，可以采用天氣類型反映太陽輻照度，并根據Chen提出的方法對天氣類型進行分級量化［12］。通過分析選取太陽輻照度(天氣類型量化值)、最高溫度、最低溫度作為光伏陣列輸出功率的主要氣象因素。然后通過灰色關聯分析法利用氣象因素構成日特征向量計算相似度因子，選取相似度高的歷史日作為BP神經網絡預測模型的輸入樣本。
2基于相似日算法的BP神經網絡
2．1BP神經網絡BP神經網絡是一種單向傳播的多層前向網絡，由于其具有很強的非線性映射能力、自適應能力和實用性而被廣泛應用。BP神經網絡包含輸入、隱含和輸出三層網絡結構如圖4所示。網絡的上、下層之間是全連接，而各層的神經元之間彼此沒有連接。wij是輸入層與隱含層節點與節點間連接的權值，wjk是隱含層和輸出層神經元節點與節點間連接的權值，隱含層和輸出層的輸入分別為輸入層和隱含層節點的輸出的加權和。一般選取常用的S型函數作為傳遞函數來限制各個節點的輸出。若采用某一固定樣本的輸入XP和輸出dPk對網絡進行訓練。
2．2基于相似日的BP神經網絡預測模型文獻［8］所采用的BP神經網絡模型的輸入量采用的是預測日前一天的發電數據，本文在相似日算法基礎上，使用相似日數據和預測日氣象特征量作為輸入層節點的輸入量從而提高訓練的效果。輸入層節點對應輸入變量，選取相似日6:00到19:00的14個時間序列的發電量，以及相似日和預測日的氣溫和日類型共18個量。
3馬爾科夫鏈誤差修正模型
3．1馬爾科夫模型馬爾科夫鏈預測是通過初始狀態概率向量和狀態概率轉移矩陣預測變量在將來某時刻所處狀態的預測方法，馬爾科夫過程是其理論基礎。馬爾科夫過程是隨機時間序列動態變化的一個過程。
3．2基于馬爾科夫鏈修正的預測算法流程通過相似日算法選取的相似日作為BP神經網絡的輸入量，從而優化了傳統BP神經模型訓練樣本，然后通過神經網絡訓練得到基于相似日的BP神經網絡預測值。根據此預測值利用馬爾科夫鏈模型對預測誤差進行修正，通過狀態轉移矩陣得到修正誤差，然后利用修正誤差得到修正后的光伏發電預測量。改進預測模型算法流程如圖6所示。
4實例分析
根據上述改進預測模型，以某地光伏發電站的歷史氣象數據和發電數據進行仿真計算。為了驗證算法的可行性，以2013年7月11日的預測數據和實際數據為例分析。采用傳統BP神經網絡，基于相似日算法的BP神經網絡和本文改進模型的實測和相對誤差結果對比如表1和圖7所示。
5結論
第9篇：神經網絡常用算法范文
關鍵詞：RBF神經網絡；數據挖掘；遺傳算法
中圖分類號：TP18 文獻標識碼：A 文章編號：1009-3044（2016）07-0151-03
Research on Data Mining Method Based on RBF Neural Network
CAO Jia-jie， YANG Meng， XU Xin-yu
（Beijing Satellite Manufacturing Plant， Beijing 100000， China）
Abstract： The rapid development of Internet technology and database technology is widely used at the same time， human through information technology to collect data is more and more strong， and how to from a lot of data mining valuable information and knowledge has become particularly urgent. In order to solve the above problems， data mining technology arises at the historic moment. It is found that the data mining the data for the nonlinear， messy and the presence of noise data， neural network is by virtue of the degree of fault tolerance， distributed storage， parallel processing， adaptive and robust feature is widely used to deal with some of the data mining problems. Accordingly， in this case， the author first introduces the data mining and RBF neural network of the relevant theoretical knowledge， and then focus on the RBF neural network based on the data mining method for peer reference.
Key words： RBF neural network； data mining； genetic algorithm
數據挖掘是從大量數據中挖掘有價值的信息和知識，以便為管理決策和戰略部署提供數據支撐。數據挖掘作為信息技術發展的結果，其應用前景相當廣泛。數據庫技術主要研究數據的組織、存儲、獲取和處理，而信息技術主要經歷以下發展歷程：數據的簡單收集和數據庫的初期建設數據的存儲與檢索、數據庫的事務處理數據的分析與理解，此時便出現數據挖掘技術。基于上述研究背景，下文首先分別介紹數據挖掘與RBF神經網絡的相關理論知識，并在此基礎上，討論基于RBF神經網絡的數據挖掘方法，目的是為了研究數據挖掘所用到的分類算法。關于神經網絡，作為一種人工智能技術，其一方面可以省去繁瑣的數學建模和數學推理，另一方面在處理含噪聲的非線性數據時表現出無與倫比的優越性。
1 數據挖掘
數據挖掘是非平凡的數據處理過程，即識別數據集中具有潛在價值、新穎有效且最終可被理解的模式，其中潛在價值指的是挖掘出的知識具有實際效用；新穎是指識別出的模式新穎；有效是指識別出的模式在一定程度上是正確的；最終可被理解是指識別出的數據可被用戶理解。圖1所示為數據挖掘的工作流程。
如圖1所示，數據挖掘主要經歷數據準備、模式提取、結果解釋與評估等階段，其中數據準備的步驟為：數據清洗數據選取數據預處理數據表示；數據提取階段又稱數據挖掘階段，其實現步驟為：確定數據挖掘的目標或任務選取適宜的數據挖掘工具或算法進行數據挖掘操作；結果解釋與評估階段主要對所識別的數據進行評估、篩除。一般來講，數據挖掘質量主要與以下影響因素有關：數據挖掘技術的可靠性與有效性；目標數據的數量與質量。總之，數據挖掘是一個反復反饋的過程，而可視化貫穿在數據挖掘的全過程。
數據挖掘的方法一般分為統計型、機械學習型兩大類，而較為常用的算法包括遺傳算法、神經網絡等。遺傳算法是一種以生物進化理論為基礎的優化空間搜尋法，其在數據挖掘中，通常以搜索問題的形式來表述具體的任務，并通過選擇、交叉、變異遺傳等操作尋得最優解。神經網絡是一種與人類大腦重復學習類似的方法，即通過學習和訓練一些事先給出的樣本，產生與樣品有所區別的特征和模式，其中樣本集應具有代表性。研究表明，神經網絡具有準確預測復雜的問題、有效處理存在噪聲的數據等優點。神經網絡一般分為自組織、反饋式和前饋式神經網絡，目前正被廣泛應用于商業領域。
2 RBF神經網絡
RBF網絡結構是一種由輸入層、隱含層和輸出層組成的三層前向網絡，其中輸入層包含信號源結點；隱含層主要由節點數目描述的具體問題而定；輸出層主要響應輸入模式的具體作用。圖2所示為RBF神經網絡的拓撲結構模型。
如圖2所示，RBF網絡由輸入層向隱含層變換的過程具有非線性的特征，而由隱含層向輸入層變化的過程具有線性的特征。據此可知，RBF神經網絡是一種基于前饋網絡的拓撲結構。研究發現，RBF神經網絡拓撲結構會對自身的性能產生影響，而以下因素又會對RBF網絡拓撲結構產生影響：RBF的隱節點數目、中心矢量、徑向基函數寬度和隱含層與輸出層的權值矩陣。
RBF網絡具有較強的非線性逼近性能。得益于此，其目前主要用來實現非線性系統的建模與數據挖掘、貝葉斯規則和連續輸入/出數據對的映射建模。與其他前向神經網絡相比，RBF神經網絡具有以下優點：
1）RBF神經網絡能逼近任意非線性映射，也能處理系統內部的規律性問題。就無噪聲數據而言，RBF神經網絡模型的預測精度高且擬合能力強；而就存在噪聲的數據來講，RBF神經網絡模型的預測誤差和擬合誤差均偏低，且收斂速度相當快。得益于此，RBF神經網絡在時序建模和分析中的應用十分廣泛。
2）RBF神經網絡的拓撲結構加快了學習速度和規避了局部極小的問題。RBF神經網絡采用核函數，特別是高斯函數的使用使得核函數的優點更為突出：表示簡單、光滑性好和解釋性好等。
3）RBF神經網絡的可解釋性好。目前，以下理論均可用于RBF網絡參數和拓撲結構的解釋中：RBF網絡能夠對輸入層轉向輸出層進行映射；核回歸能夠逼近存在噪聲的函數噪聲數據插值能夠逼近輸入缺少函數；規則化可以通過在一般化與精確匹配中尋求平衡；貝葉斯規則可以根據前概率計算出后概率。
3 基于RBF神經網絡的分類數據挖掘
關于RBF神經網絡的研究，其主要表現在以下兩個方面： RBF網絡結構模型； RBF神經網絡學習算法。
3.1 RBF網絡結構模型
在實際應用中，RBF模型的應用范圍更廣，其核函數使用的是高斯函數。但研究發現，在上述結構模型中，訓練算法的優劣會對模型的應用效果和RBF網絡性能的高低產生決定作用。鑒于此，研究人員提出一些具有新特點和新性能的網絡模型，具體包括：
1）高斯型核函數一般化。當隱含層RBF采用以下高斯條函數時，將大大改善RBFN的綜合性能：[Φ?x）=exp-（x-cj?T（x-cj）]/2σ2j]。對于普通高斯函數，其擁有半徑相同的變量軸和超球面狀的函數曲面。但與此相比，高斯條核函數擁有超橢球面狀的函數曲面和半徑不同的變量軸，因此它具有更強的樣本點逼近能力和更大的網絡訓練工作量。
2）WNN（小波神經網絡）。WNN是一種基于小波函數的函數連接型網絡，因此在一定程度上應被看作RBFN的推廣形式。WNN的激活函數為小波函數，具體以仿射變換的方式創建網絡參數與小波變換之間的聯系，因此所表現出的特點與RBFN有所差異。此外，WNN具有極佳的時頻特征，因此被廣泛應用于圖像處理和模式識別等領域。
3）RBPNN（徑向基概率神經網絡）。RBPNN作為RBFNN與PNN綜合發展的結果，其學習收斂速度比RBFN更快，同時也將模式之間的交錯影響考慮其中。關于RBPNN，其結構主要由2個隱含層、1個輸入層、2個輸出層組成，其中第一個隱含層為非線處理層，具體包括隱中心矢量，此乃網絡結構優化的核心對象；在輸出層得出輸入樣本概率密度的估算值，可降低計算的復雜度。
4）GRNN（廣義回歸網絡）。GRNN使用的也是高斯型徑向基函數，一般被看作RBFN的變換形式。GRNN的結構主要由模式層、輸入層、加和層、輸出層組成，其中核函數所包含的平滑因子需采用優化或經驗方法來選定。
3.2 RBF神經網絡學習算法
在RBF網絡設計中，最為核心的問題是如何合理確定中心點的位置、數目和訓練網絡權值。通常情況下，中心點的確定與權值的訓練既可分開實現，又可同時進行。鑒于此，RBF網絡可以采用以下兩類學習算法：
3.2.1 靜態學習算法
靜態學習算法是一種離線學習算法，即在離線設計RBF網絡時，中心點的確定與權值的訓練分開進行。
1）隨機確定RBF中心點，即隨機從訓練數據集中選取RBF中心點。當RBF選取以下高斯函數：[G（X-Cj2=exp（-m/d2maxX-Cj）j=1，2，...，m]，其中，[Cj]――RBF的中心點；[m]――中心數；[dmax]――相鄰中心點最大的間隔距離，因此高斯徑向基函數的寬度[σ=dmax/2m]。利用上述算法，可以避免RBF的形狀出現過平或過陡兩種極端現象。如此一來，便可通過計算線性方程組的方式來確定輸出層與隱含層的連接權值。
2）自組織學習確定RBF中心點。混合學習過程主要包括自組織學習階段、監督學習階段，其中自組織學習階段的任務是采用聚類算法來估計隱含層RBF的中心點；監督學習階段主要通過對輸出層線性權重進行估計來設計網絡，具體采用最小二乘法。輸出層節點的LMS算法與隱含層節點的K-均值聚類同時進行，以加速學習過程。
3）有監督學習確定RBF中心點，即通過有監督學習解得RBF的中心點和自有參數，具體使用牛頓法或梯度下降法等。如果使用梯度下降法，則應從參數空間的某一有效區域開始進行搜索，即先利用RBF網絡得到高斯分類算法，再以分類結果為搜索點，以免學習程收斂至局部極小。
3.2.2 動態學習算法
動態學習算法是一種在線學習算法，其主要在在線數據挖掘環境中使用。由于在在線數據挖掘環境中，通常不會全部給定訓練樣本，因此如果隱含層中心點與單元數目的確定采用靜態學習算法，則解算結果不一定最優，而在線學習算法支持動態刪除或加入隱含層節點，且隱含層中心點的確定和權值的訓練同時進行，因此可以動態構造網絡。
1）以分組優化策略為基礎的在線學習法。訓練神經網絡是約束優化的過程，則需對特定的神經網絡類型進行深入探討。以下內容為在線隱含層單元的確定策略：當輸入的訓練樣本同時滿足以下條件時，則為之分配相應的隱含層但愿你：網絡輸出誤差比誤差的設定閥值大；輸入樣本與隱層中心點之間的距離比距離的設計閥值大。如果在RBF神經網絡在線訓練方式中引入分組優化策略，則網絡輸出與網絡權值之間存在線性關系，同時與隱含層單元的寬度、中心點之間存在非線性關系，表明盡量采取不同的優化方法來處理兩部分的參數。
2）最近鄰聚類算法。最近鄰居類算法作為動態自適應聚類學習算法，由其聚類得出的RBF網絡不僅最優，且支持在線學習。最近鄰聚類算法的實現過程為：
① 設定高斯函數寬度為r，定義矢量A（l）存放輸出矢量的總和，定義計數器B（l）統計樣本數量，其中類別數目為l。
② 對于數據對[（x1，y1）]，于[x1]上創建1個聚類中心，并令[x1=c1]，[y1=A（1）]，[B（1）=1]，那么在RBF網絡中便僅存在1個中心為[c1]的隱含層單元，且隱含層單元與輸出層的權矢量[w1=A（1）/B（1）]。
③ 對于數據對[（x2，y2）]，解得[x2]與[c1]之間的距離[x2-c1]。假設[x2-c1≤r]，那么[x2]的最近鄰聚類為[c1]，假設[A（1）=y1+y2]，[B（1）=B（1）+1]，[w1=A（1）/B（1）]；假設[x2-c1>r]，那么以[x2]為新的聚類中心，同時假設[c2=x2]，[A（2）=y2]，[B（2）=1]。根據上述要求創建的RBF網絡，再在其中加入一個隱含層單元，其與輸出層之間的權矢量[w2=A（2）/B（2）]。
④ 假設第k個數據對[（xk，yk）（k=3，4，...，n）]的聚類中心數為M，相應的中心點為[c1，c2，...，cm]，則由此創建的RBF網絡中便存在M個隱含層單元。據此，解得[xk]與M個聚類中心的間距為[xk-ci，i=1，2，...，M]，假設兩者的減小間距為[xk-ci]，那么[xk]的最近鄰聚類為[ci]。根據第一、二數據對的計算步驟，解得當[xk-ci>r]時，第M個隱含層單元與輸出層之間的權矢量[wM=A（M）/B（M）]；當[xk-ci≤r]時，隱含層單元與輸出層之間的權矢量[wi=A（i）/B（i），i=1，2，...，M]。研究發現，動態自適應RBF網絡的難易程度由r所決定，即聚類數目與r呈負相關，即r越小，聚類數目越多，則計算量越大和精度越高，反之亦然。總之，最近鄰聚類法具有性能優點、計算量小河學習時間短等優點，不僅可以通過確定隱含層來建立RBF神經網絡，還可以在動態輸入模式在線學習中得到有效應用。
綜上，RBF網絡是一種具有最佳擬合和全局逼近性能的前向型神經網絡，其無疑具有廣闊的應用前景，但在實際應用中，應當考慮到局部極小問題的存在，進而保障其應用效果。
參考文獻：
[1] 儲兵，吳陳，楊習貝，等.基于RBF神經網絡與粗糙集的數據挖掘算法[J].計算機技術與發展，2013，23（7）：87-91.
[2] 宮曉曼，滕榮華.基于神經網絡的數據挖掘在煤礦選煤中的應用[J].煤炭技術，2013（9）：127-128.
[3] 魏文軒.改進型RBF神經網絡在股票市場預測中的應用[J].統計與決策，2013（15）：70-72.
[4] 曹東方，王玉恒.數據挖掘在員工考評管理信息系統中的應用[J].河北工業科技，2012，29（5）：323-326.
[5] 姚應水，葉明全.RBF神經網絡與logistic回歸模型的對比研究[J].中國衛生統計，2011，28（4）：397-399.
[6] 張會敏，葉明全，羅永錢等.基于RBF神經網絡的老年癡呆癥智能診斷研究[J].中國數字醫學，2015（6）：38-41.
[7] 習勤，米帥軍.指標篩選技術在神經網絡數據挖掘模型中的應用[J].統計與決策，2011（10）：163-165.
[8] 林濤，葛玉敏，安玳寧等.基于 RBF 神經網絡的鋼構件質量追溯系統研究[J].計算技術與自動化，2015（1）：20-24.
