神經網絡算法的優點精選(九篇)
前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡算法的優點主題范文，僅供參考，歡迎閱讀并收藏。
第1篇：神經網絡算法的優點范文
一、引言
工程項目建設前期，詳細的項目信息尚未明確，工程造價具有較大模糊性。由于人工神經網絡具有準確性高、非線性處理能力強等優點，已被許多學者應用到工程估算領域。但傳統的BP神經網絡收斂速度慢、易陷入局部極小，而采用遺傳神經網絡建立的工程估算模型，則可以利用遺傳算法全局快速尋優的優勢，有效解決上述問題。
二、模型介紹
1、 BP神經網絡
人工神經網絡是人工智能研究的一種方法，具有較強的非線性映射能力。其拓撲結構具有多層感知器結構，包括輸入、輸出層和若干個隱層。網絡輸入信息先通過輸入層節點，向前傳播到隱層節點，經過計算節點的激活函數后，將各個計算節點的輸出信息傳播到輸出節點，最后得到最終輸出結果。
所謂BP算法，即反向誤差傳遞法，主要分為向前傳播階段和向后傳播階段。在向前傳播階段中，信息從輸入層經過逐層的變換，傳送到輸出層。而后向傳播階段即根據期望輸出計算反向誤差，對權值進行修正，如果誤差小于給定值或迭代次數超過設定值結束學習。BP神經網絡具有優化計算能力，它可以在已知的約束條件下，尋找一組參數組合，使該組合確定的目標函數達到最小。但BP神經網路尋優的過程受初始點的選擇影響，初始點如果靠近局部最優點而非全局最優點，就無法得到正確的結果，這也是其無法得到全局最優解的一個原因[1]。
2 、遺傳算法
遺傳算法（GA）是借鑒生物界自然選擇和群體進化機制形成的一種全局尋優算法。在GA中， 將問題空間中的決策變量通過一定編碼方法表示成遺傳空間的一個個體，它是一個基因型串結構數據;同時，將目標函數值轉換成適應值，用以評價個體的優劣，并作為遺傳操作的依據。遺傳操作主要包括三個算子：選擇、交叉和變異。選擇算子用來實施適者生存的原則，即把當前群體中的個體按與適應值成比例的概率復制到新的群體中， 構成池;交叉算子是從池中的個體隨機配對， 然后將兩兩配對的個體按特定方式相互交換部分基因;變異是對個體的某些基因值按某一較小概率進行改變。從產生新個體的能力方面來說， 交叉算子是產生新個體的主要方法， 它決定了GA的全局搜索能力，而變異算子只是產生新個體的輔助方法， 但也必不可少， 因為它決定了GA的局部搜索能力。交叉和變異相配合，共同完成對搜索空間的全局和局部搜索[2]。
3 遺傳神經算法
考慮到GA的全局搜索能力，采用GA對BP神經網絡的初始權值和閾值進行優化。算法基本步驟如下[3]：
1）設定種群規模。隨機生成設定規模的個體的初始種群，給定一個數據選定范圍， 采用線性插值函數生成種群中個體的一個實數向量作為GA的一個染色體;
2）確定個體的評價函數。給定一個BP神經網絡進化參數，將步驟（1）中得到的染色體對BP 神經網絡權值和閾值進行賦值，輸入訓練樣本進行神經網絡訓練，達到設定的精度得到網絡訓練輸出值，以訓練誤差平方和作為種群中個體的適應值;
3）選擇操作?；谶m應值比例的選擇策略對每一代種群中的染色體進行選擇，選擇概率為適應值與所有適應值之和的比值;
4）交叉操作。對群體進行隨機配對，并隨機設置交叉點位置，相互交換配對染色體之間的部分基因;
5）變異操作。隨機產生變異點位置，依照某一概率將變異點的原有基因值取反;
6）將GA得到的最優個體分解為BP神經網絡的權值和閾值，BP 神經網絡預測模型經訓練后， 輸出預測值。
三、應用實例
為驗證本算法在工程估算領域的有效性，特選取上海市建筑建材業市場管理總站的十個建筑項目的工程特征信息及造價指標進行分析。工程特征選取的是影響造價指標的七個關鍵因素，造價指標選取單方造價。具體數據如下表。
表一工程特征及造價指標表
地點
結構類型
建筑面積（m2）
建筑高度（m）
抗震烈度
建設年份
單方造價（元/m2）
1
1
7141
22.3
7
2009
4988.4
3
2
8580
39.2
6
2010
3115.3
2
2
2748
16.3
7
2010
2385.4
3
2
7675
22.8
7
2011
2750.5
1
1
18070
51.0
7
2007
2880.5
2
2
30489
53.7
7
2008
3773.0
1
1
65697
99.6
7
2008
2934.2
1
3
49900
76.7
7
2009
7396.4
3
1
51428
65.1
7
2010
3014.6
1
3
110577
208.0
7
2010
8124.8
其中地點分三類：內環（1）、外環（2）、外環外（3）;結構類型分三類：框剪（1）、框架（2）、鋼框架-鋼筋混凝土核心筒（3）。
10個項目樣本中選7個作為學習樣本，3個作為預測檢驗樣本。采用Matlab軟件分別構建一般神經網絡和遺傳神經網絡模型，測試樣本進行預測的結果如下：
表2 造價指標預測結果與誤差分析
檢驗樣本
實際值
BP神經網絡
遺傳神經網絡
預測值
相對誤差%
預測值
相對誤差%
1
7396.4
8563.5
15.8
7920.0
7.1
2
3014.6
3353.2
11.2
3289.6
9.1
3
8124.8
7146.6
-12.0
7561.7
-7.0
平均相對誤差
13.0%
7.7%
通過實驗結果可以發現一般神經網絡和遺傳神經網絡兩個模型均能滿足項目估算階段20%的準確率要求，但相較而言，遺傳神經網絡模型預測精度要高于一般神經網絡模型。此外，通過對比收斂過程（收斂過程圖略）發現，后者收斂速度更快。因此遺傳神經網絡無論從全局搜索能力和收斂速度上都優于BP神經網絡，更能滿足工程估算指標預測的實際需要。
四、結論
針對BP神經網絡在局部極小缺陷和收斂速度慢的問題，采用遺傳算法進行改進，通過GA優化神經網絡權值和閾值，實現BP神經網絡的全局快速尋優，彌補了神經網絡固有的缺陷。經兩模型預測結果進行對比，驗證了遺傳神經網絡具有更好的非線性擬合能力和更準確的預測能力。
參考文獻：
[1]任謝楠.基于遺傳算法的BP神經網絡的優化研究及MATLAB仿真[D].天津師范大學，2014.
第2篇：神經網絡算法的優點范文
關鍵詞: 人工神經網絡BP算法改進BP算法倒立擺小車
1.引言
倒立擺系統是時變的、非線性、多變量和自然不穩定系統,在控制過程中,它能有效地反映可鎮定性、魯棒性、隨動性和跟蹤等許多控制中的關鍵問題,是檢驗各種控制理論的理想模型。人工神經網絡BP算法,在多變量輸入情況下具有精度高、實現快、算法簡單、魯棒性好等優點,從而滿足了系統的要求[1]。
2.人工神經網絡BP算法簡介
人工神經網絡(ANN)由于具有信息的分布存儲、并行處理和自學習能力等優點,在信息處理、模式識別、智能控制等領域得到了越來越廣泛的應用。近年來,已有多種ANN模型被提出研究,80%―90%的人工神經網絡模型是采用BP網絡或其改進形式,它是前向網絡的核心部分,體現了網絡最精華的部分[2]。標準的BP網絡是根據Widrow―Hoff規則,采用梯度下降算法,主要由信息信號的正向傳播和誤差信號的反向傳播兩部分組成。
但BP網絡存在需較長的訓練時間、收斂于局部極小值等缺點,為此人們對BP算法進行了許多改進。改進主要有兩類:一類采用啟發式技術,如附加動量法、自適應學習率法;另一類是采用數字優化技術,如共軛梯度法、擬牛頓法、Levenberg―Marquardt(LM)法[3]。由于LM算法收斂速度最快,精度較高,且經過大量仿真實驗分析比較,LM效果最好,故我們采用LM法對網絡進行訓練。
LM優化方法權重和閾值更新公式[4]為:
其中J為誤差對權值微分的雅可比矩陣,e為誤差向量,μ為一個標量。依賴于μ的幅值,該方法光滑地在兩種極端情況之間變化,即牛頓法(當μ0)和著名的最陡下降法(當μ∞)。
3.神經網絡控制器設計
3.1訓練樣本的選取
BP神經網絡在未經任何訓練的情況下,不能作為系統控制器使用。在實際仿真過程中,我們選擇極點配置控制為BP網絡的教師進行學習,經過試探訓練,樣本數為2000時結果較為合理,此時樣本數據能夠反映系統的基本特征,可以得到預期的仿真結果。極點配置-2+5i-2-5i-5+4i-5-4i;A=[0 1 0 0;0-0.0883167 0.629317 0;0 0 0 1;0-0.235655 27.8285 0];B=[0 0.883167 0 2.35655]’;C=[1 0 0 0;0 1 0 0;0 0 1 0;0 0 0 1];D=[0 0 0 0]’;p=[-2+5i-2-5i-5+4i-5-4i]; K=acker(A,B,p)。
3.2 BP網絡結構
BP網絡設計時,增加層數主要可以進一步降低誤差,提高精度,但卻使網絡復雜化。而增加隱含層的神經元數也可提高誤差精度,且訓練效果更易觀察和調整。為了使誤差盡可能小,我們要合理選擇初始權重和偏置,如果太大就容易陷入飽和區,導致停頓,一般應選為均勻分布的小數,介于(-1,1)。
根據需要,在網絡初始化時,BP采用0.5*Rands函數初始化權值,權值初始值選在(-0.5,0.5),選取訓練目標誤差為0.0001,訓練次數上限為5000次。通過多次仿真實驗性能比較,選取[4 9 1]的單隱層神經網絡結構,隱含層、輸出層分別采用Tansig、Purelin函數,仿真實驗表明變學習率訓練算法訓練時間長,5000次還不能達到所要求的精度,且系統容易發散,控制倒立擺效果不好,采用改進的LM訓練算法對網絡進行學習訓練可以得到較好的控制效果且訓練時間短。在實際仿真過程中,BP網絡經過53次訓練即達到了訓練目標。
4.BP網絡訓練結果
圖1分別給出了倒立擺小車位移、擺角和控制力的BP算法與極點配置算法仿真曲線對比圖,仿真結果表明:相較極點配置,BP算法精度高、實現快、魯棒性好,倒立擺小車在BP算法下只需2.5s左右就可以達到所設定精度的穩定效果,且超調量很小,滿足了系統的要求。
5.結論
通過對人工神經網絡BP算法的分析,筆者進行了倒立擺小車改進BP算法的控制系統仿真實驗。仿真表明該改進BP算法收斂性好、計算量小,尤其在非線性和魯棒控制等領域具有良好的應用前景。BP神經網絡從理論上可以逼近任意非線性函數,所以它特別適合控制像倒立擺這樣的嚴重非線性、多變量系統。
參考文獻:
[1]于秀芬,段海濱,龔華軍.基于人工神經網絡BP算法的倒立擺控制研究[J].測控技術,2003,22(3):41-44.
[2]張志華,朱章森,李儒兵.幾種修正的自適應神經網絡學習算法及其應用[J].地球科學,1998,23(2):179-182.
[3]蘇高利,鄧芳萍.論基于Matlab語言的BP神經網絡的改進算法[J].科技通報,2003,19(2):130-135.
第3篇：神經網絡算法的優點范文
只有清楚地了解電梯控制系統的運行原理才能夠及時準確的診斷出電梯故障原因，因此清楚的了解電梯運行原理,每一個電梯維修人員必須要做到。電梯運行過程總體上可分為以下幾個階段：第一、登記層外召喚信號和登記內選指令階段；第二、電梯門關閉或者電梯按照系統指令停運階段；第三、啟動階段；第四、在到達信號記錄的樓層前進行減速制動；第五、平層開門階段。在整個過程中電梯需要從外界接收信號并處理，然后完成相應的指令或者輸出信號，由此可以將電梯看作是一個完整的獨立的系統，只需要外界給予相應的信號就可以自動的做出動作。電梯系統內部復雜的構件緊密的結合在一起，正是如此才使得電梯系統故障具有了復雜性、層次性、相關性以及不確定性的特點。
二、神經網絡技術基本原理
生物學上的神經是由一個個簡單的神經元相互連接進而形成了復雜的龐大的神經系統，同理，神經網絡就是由大量簡單的處理單元相互連接形成的復雜的智能系統。單獨的處理單元類似于一個神經元，是一個可以接受不同信息但是只輸出一種信息的結構單位。神經網絡系統與生物學神經系統相似的是具有自我修改能力，它可以同時接收大量的數據并進行統一的分析處理，進而輸出相應的處理結果。這就使得神經網絡系統具有了高度容錯性、高度并行性、自我修改性、學習性以及高度復雜性，也正是由于這些特性才使的利用神經網絡技術能夠及時準確的查明電梯故障原因并得出故障解決方案。電梯故障診斷中應用的神經網絡模型分為三個層次：輸入層、接收外部信號或者是電梯自我檢測信息（如載重信息）；隱含層、對接收到了大量數據進行相應的分析處理；輸出層、將記錄著動作命令的數據傳送出來。在電梯出現故障時，首先可以通過神經網絡模型快速確定故障發生在哪一層達到節約時間的目的。但是神經網絡也會因為收斂速度過于慢、訓練強度太大或者是選擇的網絡模型不好等問題導致診斷結果受到影響。
三、神經網絡模型在電梯故障診斷中的應用分類
神經網絡模型已經成為了如今電梯故障診斷中應用最廣泛的技術模型，相比于傳統方式它具有診斷速度快、故障原因命中率高的優點，因此引起了各方面專業人士的強烈關注，并在他們的不懈努力下得到了發展與創新。它跨越多個專業領域、通過對各種復雜的高難度工作的不斷的發展與改進出現了越來越多的應用模型，下面主要介紹了當前應用最普遍的BP網絡模型，并且簡單的引入并介紹了近年來新興的模糊神經網絡模型和遺傳小波神經網絡模型。
（一）BP網絡模型
BP神經網絡作為神經網絡應用最廣泛的一種，它多應用的誤差反向傳播算法使其在模式識別、診斷故障、圖像識別以及管理系統方面具有相對先進性。基于BP網絡的電梯故障診斷技術就是通過學習故障信息、診斷經驗并不斷訓練，并將所學到的知識利用各層次之間節點上的權值從而表達出來。BP網絡系統的主要診斷步驟主要可以分為三步。第一步：對輸入輸出的數據進行歸一化處理，將數據映射到特定的區間。第二步：建立BP網絡模型，訓練BP網絡模型。第三：通過已經訓練好的網絡模型對原來的樣本進行全面的檢測。算法步驟：a、在一定的取值范圍內對數據進行初始化；b、確定輸入值數值大小，計算出預期輸出量；c、用實際輸出的值減去上一步得到的數值；d、將上一步得到的誤差分配到隱含層，從而計算出隱含層的誤差；e、修正輸出層的權值和閾值，修正隱含層的權值；f、修正隱含層的閾值，修正隱含層和輸入層的權值。
（二）遺傳小波神經網絡模型
遺傳算法運用了生物界的優勝劣汰、適者生存的思想對復雜問題進行優化，適用于復雜的故障，起到了優化簡化問題的作用。對局部數據進行詳細的分析是小波法最大的特點，所以它被譽為“數字顯微鏡”。遺傳算法小波神經網絡就是運用小波進行分解的方法分解模擬故障信號，將得到的數據進行歸一化，將歸一化后的數值輸入到神經網絡模型中。它融合了神經網絡、小波分析和遺傳算法三者所有的優點?；谶z傳小波神經網絡的電梯故障診斷的一般步驟為：測試節點信號采樣、小波分解、故障特征量提取、歸一化得到訓練樣本集、遺傳算法優化、得到故障類型。遺傳小波神經網絡模型在故障原因復雜、數據信息量巨大的電梯系統的應用中能夠發揮更大的作用。
（三）模糊神經網絡模型
模糊神經網絡模型就是創新性的將神經網絡與模糊理論結合到一起。它采用了廣義的方向推理和廣義的前向推理兩種推理方式。與其它兩種模型不同的是，它的語言邏輯、判斷依據和結論都是模糊的。但是它的數據處理能力還有自我學習能力并沒有因此而變差，反而更加豐富了它的定性知識的內容。在處理實際問題的過程中，首先要建立所有可能發生的故障的完整集合，其次將所有的故障發生原因歸入到同一個集合中去，最后就是建立故障和原因的關系矩陣。分別叫做模糊故障集、模糊原因集、模糊關系矩陣。相較于BP網絡模型，這種模型更加的簡單易行，充分發揮了神經網絡和模糊邏輯的優點，不會因為故障原因過于復雜而失去診斷的準確性，在原本豐富定性知識和強大數據處理能力的基礎上具有了很大的自我訓練能力。
四、結語
第4篇：神經網絡算法的優點范文
關鍵詞：人工神經網絡；前饋神經網絡；遞歸神經網絡
中圖分類號： TP183 文獻標識碼： A 文章編號： 1673-1069（2017）06-165-2
1 緒論
人工神經網絡（Artificial Neural Network， ANN）是由大量處理單元互聯組成的非線性、自適應信息處理系統。它是在現代神經科學研究成果的基礎上提出的，試圖通過模擬大腦神經網絡處理、記憶信息的方式進行信息處理。ANN通過模仿人類大腦的結構和功能，并借鑒生物神經科學的研究成果，實現對信息的處理，是一種新興的交叉學科，不但推動了智能化計算的應用和發展，同時也為信息科學和神經生物學的研究方法帶來革命性的變化，現已成功應用于腦科學，認知科學，模式識別，智能控制，計算機科學等多個領域。
在實際應用中，人工神經網絡的選取通常包括適當的神經網絡模型，合理的網絡結構及快速有效的網絡參數訓練算法[1]。而針對某一特定網絡模型，ANN的研究主要集中在結構的調整和訓練算法的改進兩個方面。所謂神經網絡訓練，也就是網絡參數的學習和調整，是一個反復調節節點之間權值和閾值的過程，其學習可以分成三類，即有監督學習（Supervised learning），無監督學習（Unsupervised learning）和強化學習（Reinforcement learning），本文基于有監督和無監督學習進行分類，分別分析了前饋神經網絡的特點及研究現狀、遞歸神經網絡的特點及研究現狀。
2 前饋神經網絡
2.1 前饋神經網絡的特點
前饋神經網絡的主要種類包括：感知器，線性神經網絡，BP網絡，徑向基網絡（RBF）等。其訓練算法主要采用梯度下降法（Gradient descent），包括：誤差反向傳播算法（Back Propagation， BP），改進的BP算法，Levenberg-Marquardt法（LM）等。前饋神經網絡具有學習簡單，收斂較快等優點，因此在實際應用中，一般選取三層或以上的網絡結構，神經網絡的任意逼近定理指出，訓練合適的多層前饋神經網絡能夠以任意精度逼近任意連續函數[2]。當網絡結構已知的情況下，訓練前饋神經網絡的本質就是確定最優權值和閾值的方法，前饋神經網絡的訓練方式一般采用網絡理想輸出和實際輸出的誤差作為權值調整信號，解空間一般是多峰函數，由于訓練過程中很容易陷入局部極小，因此網絡的訓練目標就是求解一組最優的權值，使誤差達到最小。
傳統的誤差反向傳播算法由于為網絡的訓練提供了簡單而有效的實現途徑，目前已成為研究和應用最廣泛的有監督學習算法。但BP算法存在許多問題，例如在多層網絡中收斂較慢且容易陷入局部極小，而且不能對多個網絡進行同時訓練[3]。改進的BP算法有多種形式，主要有通過附加動量和學習率的引入改進BP網絡的自適應能力等方法，附加動量方法雖然在一定程度上改善了易陷入局部極小的問題，仍然存在收斂速度較慢的問題。調整學習率方法通過將學習率限制在一定范圍內自動調整，雖然能夠提高網絡收斂速率，但對權值的改變和影響并不大，仍然導致誤差較大問題。LM法具有訓練時間段，收斂速度快的優點，但由于LM法需要計算誤差的Jacobian矩陣，這是一個復雜的高維運算問題，需要占用大量系統存儲空間，同時，LM也存在易陷入局部極小的問題[4、5]。
2.2 前饋神經網絡的研究現狀
在傳統的神經網絡訓練過程中，預估校正法或者經驗選擇是最常被使用的網絡結構選取方式[6]。在訓練和優化網絡權值和閾值過程中，訓練算法在上述分析中已知，存在著容易陷入局部最優并且難以跳出的缺點，因此誤差函數要求必須是連續可求導的函怠R虼耍這些權值訓練方法常和進化算法等全局搜索算法相結合。使用全局搜索算法的全局搜索能力幫助網絡跳出局部極小。在編碼時采用實數編碼，克服二進制編碼受到編碼串長度和精度的限制。例如，Sexton等人用一種改進的遺傳算法優化前饋神經網路權值，結果表明改進的算法使網路訓練精度得到顯著提高[3]。Abbass通過將傳統BP算法和差分進化算法相結合，提出了一種的新的權值訓練方法并用于乳腺癌的預測實驗，取得較好結果[7]。Iionen等人使用差分進化算法對前饋網絡的權值進行訓練和優化，將優化結果與其他幾種基于梯度下降的網絡訓練方法比較，結果表明該方法具有較好的精度[8]。更多研究成果表明，將DE、PSO應用于網絡權值在線訓練和優化具有明顯優勢，這些改進方法也成功應用在了醫學和工程技術等領域[9、10]。
此外，多種優化算法相結合也被證明是有效的。例如，在文獻[11]中，作者提出了一種DE和LM相結合的神經網絡快速訓練方法。Liu等人提出一種粒子群算法（Particle Swarm Optimization， PSO）和共軛梯度算法相結合的混合算法，并將其應用于神經網絡的權值優化[12]。在優化過程中，首先確定網絡結構，然后使用PSO的全局搜索能力獲得最后權值組合，最后使用傳統方法進行權值微調，取得較好結果。在文獻[13]中，作者采用相反方式將基本PSO和傳統BP算法相結合使用，首先用BP算法對網絡權值進行計算，然后使用PSO對網絡結構固定的權值進行優化和改進。有學者提出一種具有控制參數自適應選擇能力的差分進化算法，用于訓練前饋網絡，并將該方法用于奇偶分類實驗中，將實驗結果與幾種其他方法進行比較得知，提出的方法具有更好的準確性。Epitropakis等人在訓練離散Pi-Sigma神經網絡實驗中，采用一種分布式離散差分進化算法和分布式離散PSO算法相結合的方式。該離散網絡仍然是一種多層前饋網絡，在輸出層，通過將神經元求積的方式獲得輸出，作者認為這種整數權值的離散方式更適合用于硬件實現[14]。在離散化權值方面，Bao等人的工作表明，通過采用一種可重建的動態差分進化算法，可以有效用于訓練固定結構的網絡權值。
在不同領域中，任務往往各不相同，因此針對不同的動態系統，不同類型的遞歸網絡的也相繼被提出并得到研究，使之成為人工智能界的研究熱點之一。因其具有獨特的優化能力，聯想記憶功能，遞歸神經網絡已引起AI界極大的研究和關注，并成功應用于多種模式識別問題，例如圖像處理，聲音辨識，信號處理等。
4 結論
本章分析和研究了神經網絡的兩種主要類型，前饋型和遞歸型，并對其特點進行了分析。前饋網絡的主要特點是計算簡單，運算方便，缺點是耗時較長，容易陷入局部極小；遞歸網絡的特點是具有動力學特性和聯想記憶特性，但使用時需要注意穩定性和收斂性，且對初始狀態具有高度敏感特性。針對兩類神經網絡的特點，可通過多種優化相結合的方法解決收斂較慢且容易陷入局部極小問題，應用參數學習訓練算法和網絡結構優化算法對遞歸網絡進行適當的調整，以應用于具體問題。
參 考 文 獻
[1] N. Garcia-Pedrajas， C. Hervas-Martinez， J. Munoz-Perez. COVNET： a cooperative coevolutionary model for evolving artificial neural networks [J]. IEEE Transaction on Neural Networks， 2003， 14（3）： 575-596.
[2] K. Hornick， M. Stinchcombe， H. White. Multilayer feedforward networks are universal approximators [J]. Neural Networks， 1989， 2： 359-366.
[3] R.S. Sexton， R.S. Sriram， H. Etheridge. Improving decision effectiveness of artificial neural networks： a modified genetic algorithm approach [J]. Decis Sci， 2003， 34（3）：421-442.
[4] 商琳， 王金根， 姚望舒，等. 一N基于多進化神經網絡的分類方法[J]. 軟件學報， 2005， 16（9）： 1577-1583.
[5] S.U. Ahmed， M. Shahjahan， K. Murase. Injecting chaos in feedforward neural networks [J]. Neural Process Lett， 2011， 34（1）： 87-100.
[6] Serkan Kiranyaz， Turker Ince， Alper Yildirim， et al. Evolutionary artificial neural networks by multi-dimensional particle swarm optimization [J]. Neural Networks， 2009， 22： 1448-1462.
[7] H.A. Abbass. An evolutionary artificial neural networks approach for breast cancer diagnosis [J]. Artificial Intelligence in Medicine， 2002 ， 25 （3） ： 265-281.
[8] J. Iionen， J.K. Kamarainen， J. Lampinen. Differential Evolution Training Algorithm for Feed-forward Neural Networks [J]. Neural Processing Letters， 2003， 17（1） ： 93-105.
[9] D.M. George， P.P. Vassilis， N.V. Michael. Neural network-based colonoscopic diagnosis using on-line learning and differential evolution [J]. Applied Soft Computing， 2004， （4） ： 369-379.
[10] B. Liu， L. Wang， Y.H. Jin， et al. Designing neural networks using hybrid particle swarm optimization [C]. Lecture Notes in Computer Science. Berlin ： Springer ， 2005 ： 391-397.
[11] 王剛， 高陽， 夏潔. 基于差異進化算法的人工神經網絡快速訓練研究 [J]. 管理學報， 2005， 2 （4） ： 450-454.
[12] L. B. Liu， Y. J. Wang， D. Huang. Designing neural networks using PSO-based memetic algorithm [C]. in： Proceedings of the Fourth International Symposium on Neural Networks （ISNN’07）， 2007， pp. 219-224.
第5篇：神經網絡算法的優點范文
[關鍵詞] 小生境遺傳算法 神經網絡 股票 預測
一、引言
股票和股票市場對國家企業的經濟發展起到了積極的作用，如可以為投資者開拓投資渠道，增強投資的流動性和靈活性等。但股票價格的形成機制是頗為復雜的，股票價格既受到多種因素，諸如:政治，經濟，市場因素的影響，亦受技術和投資者行為因素的影響，個別因素的波動作用都可能會影響到股票價格的劇烈波動。因此，股票價格和各影響因素之間很難直接建立明確的函數關系表達式。針對這一情況，將可有效處理非線性問題的神經網絡引入到股票價格的預測中來，但神經網絡收斂慢,易陷入局部極小點，出現振蕩，魯棒性差。所以有的學者用遺傳算法(GA)來優化神經網絡，這種神經網絡可能獲得個別的甚至局部的最優解,即GA早熟現象。本文引進能較有效地保持種群多樣性的小生境遺傳算法(NGA),采用NGA優化與用GA優化的BP網絡權值進行對比,證實了NGA的判別準確性和尋優能力。
二、小生境遺傳算法優化的神經網絡
1.BP神經網絡
反向傳播(BP)算法又稱為誤差逆傳播校正方法，它是1974年P.Werbos(哈佛大學)提出的。BP算法用來訓練多層前饋神經網絡,屬于監督學習算法。BP網絡具有結構清晰，易實現，計算功能強大等特點。因而是目前最常見，使用最廣泛的一種神經網絡。但是在實際應用中，傳統的BP算法存在以下問題:收斂速度慢;若加快收斂速度易產生振蕩；存在局部極小和平臺問題;泛化能力差;隱節點數和初始值的選取缺乏理論指導;未考慮樣本選擇對系統學習的影響等。所以很多學者提出許多改進的方法，用小生境遺傳算法優化神經網絡權值的神經網絡來預測股票價格。
2.小生境遺傳算法
小生境遺傳算法(Iche Genetical Gorihm)的基本思想是:首先比較任意兩個個體間的距離與給定值的大小，若該距離小于給定值，則比較其適應值大小。對適應值較小的個體施加一個較強的懲罰，極大地降低其適應值。也就是說，在距離L內將只有一個優良個體，從而既維護了群體的多樣性，又使得各個體之間保持一定的距離，并使得個體能夠在整個約束空間中分散開來。
3.神經網絡連接權的優化
用小生境遺傳算法可以優化神經網絡連接權，神經網絡結構，學習規則等，這里我們對神經網絡的連接權進行優化，具體步驟如下：
（1）隨機產生一組權值分布，采用某種編碼方案對該組中的每個權值(或閾值)進行編碼，進而構造出一個碼串(每個碼串代表網絡的一種權值分布)，在網絡結構和學習規則已確定的前提下,該碼串就對應一個權值和閾值取特定值的一個神經網絡。
（2)對所產生的神經網絡計算它的誤差函數，從而確定其適應度函數值，誤差越大,則適應度越小。
（3)選擇若干適應度函數值最大的個體,直接遺傳給下一代。
（4)利用交叉和變異等遺傳操作算子對當前一代群體進行處理，產生下一代群體。
（5)重復（2）（3）（4），使初始確定的一組權值分布得到不斷地進化,直到訓練目標得到滿足為止。
這種由小生境遺傳算法訓練神經網絡的方法也可以稱做混和訓練法。將基于小生境遺傳算法的遺傳進化方法和基于梯度下降的反傳訓練相結合,這種訓練方法吸取兩種方法的各自特點，所以收斂速度快。
三、股票價格預測仿真
根據經驗選取輸入預測日前四天開盤價、收盤價歸一化后做為作為輸入量，輸出為第五天收盤價歸一化數值。所以，本文采用神經網絡結構為(8,5,1),即網絡的輸入層6個節點,隱含層9個節點,輸出層1個節點。本文選擇了“XDG 新梅（600732）”從2006年3月14日到2006年7月1日數據進行了仿真。利用MATLAB6.5編程，取70組訓練樣本和30組測試樣本。如圖（1）表示用遺傳算法和小生境遺傳算法對神經網絡的權值進行優化時，誤差曲線變化;從圖中可以看出，小生境遺傳算法收斂速度要快;圖（2）表示股票預測值和實際值比較，從圖中可以看出，遺傳算法和小生境遺傳算法對神經網絡的權值的模型進行股票價格的預測，都能預測出股票走向趨勢，但是，后者的預測精度顯然要比前者高。
四、結束語
股票市場的不確定因素太多，股票的價格更是多種因素影響的集合體，是典型的非線性動力學問題。股票價格的中長期準確預測很難。本文建立了用小生境遺傳算來優化神經網絡模型來預測股票價格，結果表明，這種方法比單用遺傳算法優化的神經網絡收斂速度快，預測精度高。對于股票價格預測具有較好的應用價值。
參考文獻:
[1]龍建成李小平:基于神經網絡的股票市場趨勢預測[J].西安電子科技大學學報(自然科學版.2005.3（32）:460-463
[2]王波張鳳玲:神經網絡與時間序列模型在股票預測中的比較[J].第27卷第6期武漢理工大學學報?信息與管理工程版.2005.9（27）:69-72
[3]張立明:工神經網絡的模型及其應用[M].上海:復旦大學出版社,1995.35-76
第6篇：神經網絡算法的優點范文
關鍵詞：分類識別；模式識別；圖像分類
中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2014）32-7731-03
1 概述
圖像分類識別根據圖像的不同特征對圖像進行分類，有相同特征的對象歸為一類。圖像分類識別方法隨著數學算法的不斷進步而不斷發展。目前，圖像分類識別的主要方法主要有六種：模糊集識別、統計識別、神經網絡識別、結構識別、模版匹配和支持向量機。這幾種方法各有優缺點，根據具體情況來具體分析和應用，也可以多種方法相結合使用。
圖像分類識別系統包括幾個步奏[1]，如圖 1所示，一是獲取原圖像的信息，二是對圖像預處理，三是圖像分割，四是圖像特征提取，五是圖像分類識別。
1） 統計識別法
統計識別的理論基礎是數學的決策理論，在決策理論基礎上建立統計識別模型，統計識別模型對要分類的圖像進行統計分析，統計出圖像的各類特征，找出準確反映圖像類別的特征，最后進行分類。其主要的技術有聚類分析法、統計法、KNN等。但是，統計識別法不能識別圖像空間相互關系（即結構關系）。如要分類圖像的結構特征是主要特征，用統計識別就不能識別圖像。
在進行分類時需要大量圖像樣本，先統計圖像樣本特征，設定圖像識別的一系列參數（即統計學習）。
統計識別法流程如圖2[1]，輸入的圖像信息是原始圖片；圖像處理是對樣本圖像濾波、分割和特征提??；最后是圖像分類，輸出結果。
2） 結構識別法
結構識別法即是句法識別，是對統計識別法不能識別圖像結構特征的補充，因為統計算法不能統計圖像的結構信息，只能統計圖像的數字特征。結構識別法用符號表現圖像的特征。結構識別采用的結構是層次結構，把復雜圖像分解成單子圖像，而子圖像又可以分解為更簡單的子模式，一直分解下去，直到分解為最簡單的子模式，即模式基元。通過對模式基元的識別，進而識別子模式，最終識別該復雜的模式。結構識別法流程如圖3所示。
3） 神經網絡法
神經網絡法是通過我們學習的神經網絡算法對圖像進行分類。神經網絡方法與統計識別方法在很多方面是有聯系的，都利用樣本數據完成圖像的分類識別，并且在有的算法上還可以看作是一定的等價關系。神經網絡算法的結構由一個輸入層、若干個中間隱含層和一個輸出層組成。神經網絡法通過學習，能夠從原始圖像的復雜數據中找到相識的圖像特征，對圖像進行正確的分類。神經網絡法克服了統計識別算法過程中的復雜性，以及模型選擇的一些困難，是一種非線性建模過程，不需要分清圖像中存在的非線性關系，給圖像分類帶來的極大方便。
神經網絡算法有不同的網絡結構，所以構造神經網絡時首先要選擇合適的網絡結構。神經網法圖像分類時首先要輸入圖像的文理特征和結構特征等一系類參數；中間經過圖像的預處理和特征提取，最后輸出的是圖像類別。神經網絡分類識別的流程圖如圖4所示。
4） 模糊集識別法
模糊集識別法在模式識別、醫學圖像識別，車牌識別等方面的應用比較廣泛。在圖像分類時，有一些圖像的特征不是很明顯，不能準確的確定圖像屬于哪一類別時，模糊集識別法能很好地解決這一問題。先模糊地對圖像進行判別，這時圖像可能屬于兩個或多個類別，等到再找到另外的特征時再進行精確的判別。模糊數學是模糊集識別法的理論基礎，模糊數學在判別事物時一般不是準確的去判斷這事物到底屬于什么，而是用不太精確的方式來判別事物，用更適合人的思維方式去判別。
模糊集識別法是在模式識別方法的基礎上采用模糊邏輯的方法。在圖像分類時，采用模糊理論對圖像特征模糊化和模糊分類。
模糊集識別法根據一定的模糊化規則將圖像的紋理或形狀等特征分成多個模糊變量，雖然每個模糊變量不能準確的判別圖像，只能判斷原圖像的一部分特征，但是這能更進一步地判別圖像。我們用先前判別出的部分特征去替代原來的特征再進行圖像判別，這樣我們又能精確的判別圖像類別。雖然模糊集識別法識別時圖像的特征變多了，但是卻使得判別更加，也使分類器設計趨于簡單。
5） 支持向量機
支持向量機（SVM）是一種新的人工智能學習算法，現在已經成為模式識別領域新的研究熱點[3] 。支持向量機有學習效率高、抗噪聲性能強和推廣性好等優點。支持向量機是在原先統計學習理論的基礎上，解決傳統統計學習理論不能解決的一些問題（如神經網絡結構選擇問題，局部極小點問題等）而形成的一種新的學習方法。在圖像識別時，支持向量機將圖像特征向量映射到一個更高維的空間，在新的空間中重新建立一個最大圖想參數閾值。首先判斷圖像的大類別，在閾值的兩邊再建立重新建立新的閾值，再進行分類，對圖像不斷判別。最后相差最大的就是圖像屬于不同類別。
6） 模板匹配法
模板匹配法是對要識別的圖像做出一個典型的標準模板，作為將要判別其他圖像的標準，然后將要分類的圖像與標準模板相比較，從而判斷出圖像屬于哪一類別。其實模版匹配法是一種比較算法，將要識別的圖像與標準模版放在一個分類器中做相關運算，根據我們學習的相關運算知識可以知道，如果兩個信號出現自相關，就表示出現了主峰值（即閾值），這就表示模版圖像和要識別的圖像匹配，將這個閾值作為分類器的一個判決規則，即可實現圖像的匹配。所以模版匹配法的首要任務就是先進行模版的創建，如果創建的模板很正確精確，那么我們在匹配的時候也會更加的精確。
模版匹配法的流程圖如圖5所示。
3 圖像分類識別算法的優缺點
統計識別法的優點是以數學上的決策理論為基礎的，能夠比較快的建立出統計識別模型。通過建立出的模型，對圖像進行大量的統計分析，能夠準確的判斷出圖像的類別，并且統計出的特征都是數字特征，對計算機的性能要求較小。缺點是統計識別法不能統計圖像在空間上的相互關系（即結構關系）。如果圖像的結構特征為主要特征時，用統計方法不能進行準確的判別。
結構識別法：對統計識別識別方法的補充，統計識別法不能統計圖像的結構信息，統計方法一般統計出來的圖像特征都是以數值表示，結構識別法描述圖像的特征時則是用符號來表示。
神經網絡法優點是神經網絡非線性擬合能力很好，可以映射圖像的非線性關系；而且神經網絡的學習能力強，也方便計算機實現；神經網絡還具有很強的非線性映射能力，記憶能力以及自我學習能力。神經網絡法的缺點是不能解釋自己的推理過程和推理依據；神經網絡需要大量的模板數據，并且個模板特征數據要近似相等，當數據不充分或各類別差別很大的時候，神經網絡的識別就不太準確；神經網絡的輸入也是圖像的數字特征，不能表示識別圖像的結構關系，和統計識別法一樣，當結構特征為主要特征時，圖象的識別就不準確。
模糊集識別法的優點是模糊識別法雖表現為圖像的不確定分類，但是隨著更高可靠性的特征能使圖像分類越來越準確；采用多級分類，能為下級分類提供分類信息。缺點是模糊識別不能準確確定圖像的類別，如果不能找到跟準確的特征，圖像的分類將不準確。
支持向量機（SVM）優點：1.對模板樣本要求低，如果模板數量少，得到的分類結果是在現有模板信息下的最優解；2.支持向量機通過非線性變換將圖像的特征轉換到高維的特征空間，然后在高維空間構造線性函數替代原圖像的非線性關系，更利于計算機去判別。缺點： SVM是通過二次規劃來求解特征向量，里面涉及到m階矩陣運算，對計算機要求高，并且運算時間長。
模版匹配法的優點是如果模板做的比較準確，匹配不正確的概率就會很小，并且模板不匹配的情況也很少。缺點是因為圖像上的每一個點都要進行匹配計算，對計算機配置要求高，并且對噪聲比較敏感，如果識別時有很大的噪聲，將不利于圖像的識別。
4 總結
本文深入分析了統計法、句法識別法、神經網絡法、模糊集識別法、支持向量機法和模版匹配法等幾種主要圖像分類識別方法，并對各種分類識別方法的優勢與缺陷做了深入的總結。通過分析各類圖像分類識別方法，明確各類識別方法的優勢與缺陷，為圖像分類識別方法的具體應用奠定基礎。
參考文獻：
[1] ?？?基于特征提取及神經網絡的圖像分類識別與目標跟蹤[D].西安：西安電子科技大學，2008.
第7篇：神經網絡算法的優點范文
關鍵詞PID控制；BP神經網絡；遺傳算法；參數優化
1引言
由于常規PID控制具有魯棒性好，結構簡單等優點，在工業控制中得到了廣泛的應用。PID控制的基本思想是將P（偏差的比例），I（偏差的積分）和D（偏差的微分）進線性組合構成控制器，對被控對象進行控制。所以系統控制的優劣取決于這三個參數。但是常規PID控制參數往往不能進行在線調整，難以適應對象的變化，另外對高階或者多變量的強耦合過程，由于整定條件的限制，以及對象的動態特性隨著環境等的變化而變化，PID參數也很難達到最優的狀態。
神經網絡具有自組織、自學習等優點，提出了利用BP神經網絡的學習方法，對控制器參數進行在線調整，以滿足控制要求。由于BP神經網絡學習過程較慢，可能導致局部極小點[2]。本文提出了改進的BP算法，將遺傳算法和BP算法結合對網絡閾值和權值進行優化，避免權值和閾值陷入局部極小點。
2加熱爐的PID控制
加熱爐控制系統如圖1所示，控制規律常采用PID控制規律。
圖1加熱爐控制系統簡圖
若加熱爐具有的數學模型為：
則PID控制過程箭圖可以用圖2表示。
其中，
采用經典參數整定方法——臨界比例度對上述閉環系統進行參數整定，確定PID控制器中Kp=2.259，Ki=0.869，Kd=0.276。參考輸入為單位階躍信號，仿真曲線如圖3所示。
圖2PID控制系統
圖3Z—N整定的控制曲線
仿真曲線表明，通過Z—N方法整定的參數控制效果不佳，加上PID參數不易實現在線調整，所以該方法不宜用于加熱爐的在線控制。
3基于遺傳算法改進的BP神經網絡PID控制器參數優化整定
對于加熱爐控制系統設計的神經網絡自整定PID控制，它不依賴對象的模型知識，在網絡結構確定之后，其控制功能能否達到要求完全取決于學習算法。
3.1遺傳算法改進的BP算法實現
一般BP網絡結構如圖4所示，其算法步驟為：
（1）輸入訓練樣本，按網絡結構得到輸出；
（2）將實際輸出與希望輸出比較，得到誤差，根據誤差調節閾值和權值。重復兩個步驟，直到誤差滿足要求為止；
研究表明，采用上述BP算法逐步調整權值和閾值，可能導致學習過程收殮速度慢，訓練時間過長，又易陷入局部極小點而得不到最佳的權值和閾值分布。為了加快學習速率，已經有了一些優化BP算法[3]，采用動態學習因子和慣性因子。這些方法在加快網絡收殮速度方面比較顯著，能較好地避免網絡陷入局部極小。遺傳算法不要求目標函數具有連續性，而且可以對復雜的多峰的，非線性及不可微的函數實現全局尋優，因此容易得到全局最優解或性能很好的次優解。將遺傳算法和BP算法相結合可以具有尋優的全局性和精確性。算法過程為：
（1）對權值和閾值編碼生成初始種群，由于是多參數優化問題，采用多參數映射編碼；
（2）計算適應度值；
（3）如果不滿足遺傳算法停止條件，則對當代種群進行交叉、選擇和變異產生新的個體，轉(2)；否則，轉（4）；
（4）對遺傳算法找到的較好的解空間，采用BP算法在這些小的解空間中搜索出最優解。
3.2PID參數優化
由圖5可知，神經網絡根據系統的運行狀態，通過在線調整PID的三個參數Kp，Ki，Kd，以達到某種性能指標的最優化。
圖5BP網絡整定PID參數原理圖
經典增量式PID的控制算法：
算法步驟：
(1)確定網絡結構，采用3—4—3的結構，輸入分別為e(k)，e(k)-e(k-1)，e(k)-2e(k-1)+e(k-2)。輸出為Kp，Ki，Kd。
(2)選擇初始種群N=60，交叉概率Pc=0.08，權值，閾值的范圍和初始化。選取目標函數為（偏差絕對值積分）：，適應度函數為：
(3)采樣得到rin（k）和yout（k），計算該時刻的誤差。
(4)對網絡進行學習，在線調整權值，閾值，計算神經網絡的各層輸入，輸出，得到三個可調參數Kp，Ki，Kd。計算系統輸出。
(5)計算適應度若不滿足要求，轉入第（3）步。
(6)找到最優的Kp，Ki，Kd，對系統仿真。
圖6BP網絡整定的控制曲線
仿真結果顯示，用BP神經網絡整定的PID控制系統比經典的Z—N（臨界比例度）法有更快的響應特性，良好的動態特性和比較強的魯棒性。
4結束語
由于神經網絡具有自組織、自學習等優點，本文提出的優化的BP神經網絡相結合的方法對控制器參數進行尋優，可根據對象的變化情況對控制器參數的在線調整，滿足控制對象的動態特性隨著環境變化而變化的要求。達到好的控制效果。遺傳算法與BP網絡的結合彌補了BP網絡學習過程收斂速度慢，可能陷入局部級小的不足。
參考文獻
[1]王樹青等編著.工業過程控制工程[M].北京：化學工業出版社，2002
[2]李士勇著.模糊控制、神經控制和智能控制論[M].哈爾濱：哈爾并工業大學出版社，1996
[3]胡志軍，王建國，王鴻斌.基于優化BP神經網絡的PID控制研究與仿真[J].微電子學與計算機2006，23(12)：138—140
[4]張文修著.遺傳算法的數學基礎[M].西安：西安交通大學出版社，2003
第8篇：神經網絡算法的優點范文
人工神經網絡（Aartificial Neural Network，下簡稱ANN）是模擬生物神經元的結構而提出的一種信息處理方法。早在1943年，已由心理學家Warren S.Mcculloch和數學家Walth H.Pitts提出神經元數學模型，后被冷落了一段時間，80年代又迅猛興起［1］。ANN之所以受到人們的普遍關注，是由于它具有本質的非線形特征、并行處理能力、強魯棒性以及自組織自學習的能力。其中研究得最為成熟的是誤差的反傳模型算法（BP算法，Back Propagation），它的網絡結構及算法直觀、簡單，在工業領域中應用較多。
經訓練的ANN適用于利用分析振動數據對機器進行監控和故障檢測，預測某些部件的疲勞壽命［2］。非線形神經網絡補償和魯棒控制綜合方法的應用（其魯棒控制利用了變結構控制或滑動?？刂疲趯崟r工業控制執行程序中較為有效［3］。人工神經網絡（ANN）和模糊邏輯（Fuzzy Logic）的綜合，實現了電動機故障檢測的啟發式推理。對非線形問題，可通過ANN的BP算法學習正常運行例子調整內部權值來準確求解［4］。
因此，對于電力系統這個存在著大量非線性的復雜大系統來講，ANN理論在電力系統中的應用具有很大的潛力，目前已涉及到如暫態，動穩分析，負荷預報，機組最優組合，警報處理與故障診斷，配電網線損計算，發電規劃，經濟運行及電力系統控制等方面［5］。
本文介紹了一種基于人工神經網絡（ANN）理論的保護原理。
1、人工神經網絡理論概述
BP算法是一種監控學習技巧，它通過比較輸出單元的真實輸出和希望值之間的差別，調整網絡路徑的權值，以使下一次在相同的輸入下，網絡的輸出接近于希望值。
在神經網絡投運前，就應用大量的數據，包括正常運行的、不正常運行的，作為其訓練內容，以一定的輸入和期望的輸出通過BP算法去不斷修改網絡的權值。在投運后，還可根據現場的特定情況進行現場學習，以擴充ANN內存知識量。從算法原理看，并行處理能力和非線性功能是BP算法的一大優點。
2、神經網絡型繼電保護
神經網絡理論的保護裝置，可判別更復雜的模式，其因果關系是更復雜的、非線性的、模糊的、動態的和非平穩隨機的。它是神經網絡（ANN）與專家系統（ES）融為一體的神經網絡專家系統，其中，ANN是數值的、聯想的、自組織的、仿生的方式，ES是認知的和啟發式的。
文獻［1］認為全波數據窗建立的神經網絡在準確性方面優于利用半波數據窗建立的神經網絡，因此保護應選用全波數據窗。
ANN保護裝置出廠后，還可以在投運單位如網調、省調實驗室內進行學習，學習內容針對該省的保護的特別要求進行（如反措）。到現場，還可根據該站的干擾情況進行反誤動、反拒動學習，特別是一些常出現波形間斷的變電站內的高頻保護。
3、結論
本文基于現代控制技術提出了人工神經網絡理論的保護構想。神經網絡軟件的反應速度比純數字計算軟件快幾十倍以上，這樣，在相同的動作時間下，可以大大提高保護運算次數，以實現在時間上即次數上提高冗余度。
一套完整的ANN保護是需要有很多輸入量的，如果對某套保護來說，區內、區外故障時其輸入信號幾乎相同，則很難以此作為訓練樣本訓練保護，而每套保護都增多輸入量，必然會使保護、二次接線復雜化。變電站綜合自動化也許是解決該問題的一個較好方法，各套保護通過總線聯網，交換信息，充分利用ANN的并行處理功能，每套保護均對其它線路信息進行加工，以此綜合得出動作判據。每套保護可把每次錄得的數據文件，加上對其動作正確性與否的判斷，作為本身的訓練內容，因為即使有時人工分析也不能區分哪些數據特征能使保護不正確動作，特別是高頻模擬量。
神經網絡的硬件芯片現在仍很昂貴，但技術成熟時，應利用硬件實現現在的軟件功能。另外，神經網絡的并行處理和信息分布存儲機制還不十分清楚，如何選擇的網絡結構還沒有充分的理論依據。所有這些都有待于對神經網絡基本理論進行深入的研究，以形成完善的理論體系，創造出更適合于實際應用的新型網絡及學習算法［5］。
參考文獻
1、陳炳華。采用模式識別（智能型）的保護裝置的設想。中國電機工程學會第五屆全國繼電保護學術會議，［會址不詳］，1993
2、Robert E.Uhrig.Application of Artificial Neural Networks in Industrial Technology.IEEE Trans，1994，10（3）。（1）：371～377
3、Lee T H，Wang Q C，Tan W K.A Framework for Robust Neural Network-Based Control of Nonlinear Servomechannisms.IEEE Trans，1993，3（2）。（3）：190～197
第9篇：神經網絡算法的優點范文
關鍵詞:BP神經網絡 MATLAB仿真
中圖分類號:TP39文獻標識碼:A 文章編號:1007-3973(2010)06-061-02
1 BP神經網絡概述
BP(Back Propagation)網絡是1986年由Rumelhart和McCelland為首的科學家小組提出,是一種按誤差逆傳播算法訓練的多層前饋網絡,是目前應用最廣泛的神經網絡模型之一。它的學習規則是使用最速下降法,通過反向傳播來不斷調整網絡的權值和閾值,使網絡的誤差平方和最小。BP一般為多層神經網絡,其模型拓撲結構一般包括輸入層(input)、隱層(hide layer)和輸出層(output layer)。如圖1所示:
2BP網絡的學習算法
(1)最速下降BP算法(steepest descent backpropagation,SDBP)
如圖2所示的BP神經網絡,設k為迭代次數,則每一次權值和閾值的修正案下式進行:
式中:w(t)為第k次迭代各層之間的連接權向量或閾值向量。x(k)= 為第k次迭代的神經網絡輸出誤差對個權值或閾值的梯度向量。負號代表梯度的反方向,即梯度的最速下降方向。 為學習速率,在訓練時事一常數。在MATLAB神經網絡工具箱中,其默認值為0.01,可以通過改變訓練參數進行設置。為第k次迭代的網絡輸出的總誤差性能函數,在MATLAB神經網絡工具箱中,BP網絡誤差性能函數的默認值為均誤差MSE(mean square error):
根據(2.2)式,可以求出第k次迭代的總誤差曲面的梯度x(k)= ,分別代入式(2.1)中,就可以逐次修正其權值和閾值,并使總的誤差向減小的方向變化,最終求出所要求的誤差性能。
(2)沖量BP算法(momentum backpropagation,MOBP)
因為反向傳播算法的應用廣泛,所以已經開發出了很多反向傳播算法的變體。其中最常見得事在梯度下降算法的基礎上修改公式(2.1)的權值更新法則,即引入沖量因子,并且0≤
標準BP算法實質上是一種簡單的最速下降靜態尋優方法,在修正W(K)時,只按照第K步的負梯度方向進行修正,而沒有考慮到以前積累的經驗,即以前時刻的梯度方向,從而常常使學習過程發生振蕩,收斂緩慢。動量法權值調整算法的具體做法是:將上一次權值調整量的一部分迭加到按本次誤差計算所得的權值調整量上,作為本次的實際權值調整量,即公式(2.3)所示:是沖量系數,通常0≤
(3)學習率可變的BP算法(variable learnling rate backpropagation,VLBP)
標準BP算法收斂速度緩慢的一個重要原因是學習率選擇不當,學習率選得太小,收斂慢;反之,則有可能修正的過頭,導致振蕩甚至發散。因此可以采用圖3所示的自適應方法調整學習率。
自適應調整學習率的梯度下降算法,在訓練的過程中,力求使算法穩定,而同時又使學習的不長盡量地大,學習率則是根據局部誤差曲面作出相應的調整。學習率則是通過乘上一個相應的增量因子來調整學習率的大小。即公式(2.5)所示:
其中:為使步長增加的增量因子,為使步長減小的增量因子; 為學習率。
3 建立BP神經網絡預測模型
BP預測模型的設計主要有輸入層、隱含層、輸出層及各層的個數和層與層之間的傳輸函數。
(1)網絡層數
BP有一個輸入層和一個輸出層,但可以包含多個隱含層。但理論的上已證明,在不限制隱含層節點的情況下,只有一個隱含層的BP就可以實現任意非線性映射。
(2)輸入層和輸出層的節點數
輸入層是BP的第一層,它的節點數由輸入的信號的維數決定,這里輸入層的個數為3;輸出層的節點數取決于BP的具體應用有關,這里輸出節點為1。
(3)隱含層的節點數
隱含層節點數的選擇往往是根據前人設計所得的經驗和自己的進行的實驗來確定的。根據前人經驗,可以參考以下公式設計:
其中:n為隱含層節點數;m為輸入節點數;t為輸出節點數;a為1~10之間的常數。根據本文要預測的數據及輸入和輸出節點的個數,則取隱含層個數為10。
(4)傳輸函數
BP神經網絡中的傳輸函數通常采用S(sigmoid)型函數:
如果BP神經網絡的最后一層是Sigmoid函數,那么整個網絡的輸出就會限制在0~1之間的連續;而如果選的是Pureline函數,那么整個網絡輸出可以取任意值。因此函數選取分別為sigmoid和pureline函數。
4 BP神經網絡預測的MATLAB仿真實驗
(1)樣本數據的預處理
本文的樣本數據來源于中國歷年國內生產總值統計表,為了讓樣本數據在同一數量級上,首先對BP輸入和輸出數據進行預處理:將原樣本數據乘上,同時將樣本數據分為訓練樣本集和測試樣本集,1991~1999年我國的三大產業的各總值的處理結果作為訓練樣本集,即1991~1998年訓練樣本作為訓練輸入;1999年訓練樣本數據作為輸出訓練輸出;1992~2000年我國的三大產業的各總值的處理結果作為測試樣本集,即1992~1999年的測試樣本作為測試輸入,2000年測試樣本數據作為測試輸出。
(2)確定傳輸函數
根據本文的數據,如第3節所述,本文選取S函數(tansig)和線性函數(purelin)。
(3)設定BP的最大學習迭代次數為5000次。
(4)設定BP的學習精度為0.001;BP的學習率為0.1。
(5)創建BP結構如圖4所示;訓練BP的結果圖5所示:
正如圖5所示的數據與本文所示設計的網絡模型相符,且如圖5所示當BP神經網絡學習迭代到99次時,就打到了學習精度0.000997788,其學習速度比較快。
(6)測試BP神經網絡
通過MATLAB對測試樣本數據進行仿真,與實際的2000年我國三大產業的各生產總值比較(見表1),說明BP神經網絡預測模型是可行的。、
5總結
總之,在人工神經網絡的實際應用中,BP神經網絡廣泛應用于函數逼近、模式識別/分類、數據壓縮等。通過本文可以體現出MATLAB語言在編程的高效、簡潔和靈活。雖然BP在預測方面有很多的優點,但其還有一定的局限性,還需要進一步的改進。
參考文獻:
[1]周開利,康耀紅.神經網絡模型及其MATLAB仿真程序設計[M].北京:清華大學出版社,2005.7.
[2]張德豐等.MATLAB神經網絡應用設計[M].北京:機械工業出版社,2009.1.
[3][美]米歇爾(Mitchell,T.M.)著;曾華軍等譯[M].北京:機械工業出版社,2003.1.
