神經網絡的訓練算法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡的訓練算法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經網絡的訓練算法范文

關鍵詞：矩陣式紅外熱電堆；RBF神經網絡；慣性權重因子；粒子群算法

DOI：10.16640/ki.37-1222/t.2017.04.220

1 引言

常用的人體入侵檢測方法有視頻監測、超聲波、機電檢測、紅外檢測等，而它的準確性和可靠性對人的生命財產安全起確定性的作用。本文采用的是Melexis（邁來芯）的一套矩陣式紅外熱電堆溫度采集裝置，其中傳感器MLX90621是一款采用16*4像素的紅外陣列傳感器，可以檢測出一副畫面中64個點的溫度，可以提供的視角范圍是，配合電機，它的檢測范圍可以達到，因此它每一幀可以測得的溫度數據有個。相比于傳統的檢測方法，雖然它的檢測像素低，但是在后面的算法計算中，它的計算量會降低，它的優勢在于成本低、體積小易于隱蔽，而且不易受環境因素的影響，比如黑夜、電磁干擾等。在人體識別部分，本文采用的是改進RBF神經網絡算法，RBF神經網絡是一種采用局部接受域來執行函數映射的人工神經網絡[1]。而如何確定RBF神經網絡的隱層基函數的個數、中心向量以及寬度是訓練RBF神經網絡的關鍵所在。假如設定的隱層基函數的個數偏多會造成訓練和測試的時間加長，不僅容易產生過擬合[2]，而且還會造成網絡的泛化能力下降。相反，設定偏少的話會造成神經網絡的收斂誤差變大。一般采用K-mean聚類算法來確定徑向基函數的個數和中心向量，但其依賴初始中心的選擇，只能獲得局部最優解[3]。

粒子群算法（PSO）是基于群體智能的優化算法，通過粒子間的合作與競爭的群體智能理論的優化搜索，它可以記憶所有粒子都共享的迄今為止問題的最優解[4]。PSO的優勢在于簡單且易于實現。但基本PSO的缺點在于其參數是相對固定的，會導致在優化某些函數時，造成精度差、收斂速度慢等。因此本文針對基本PSO的缺點，提出了結合慣性權重模型，將適應度擇優選取引入基本PSO算法的方法進行改進。RBF神經網絡首先采用最近鄰聚類算法來確定隱層基函數的個數，中心向量即為聚類的的均值。同時將改進的粒子群優化算法來優化最近鄰聚類算法的聚類半徑，從而確定出RBF神經網絡最優的隱層基函數和中心向量，使其不用依靠初始中心的選擇，減少了現有算法中人為因素的影響，從而有效地提高了RBF神經網絡的精度和收斂速度。獨立訓練特定的RBF網絡并合成其預測結果，可以有效得提高神經網絡表達對象的準確性[5，6]。將改進PSO優化RBF神經網絡的方法應用于人體入侵檢測識別中，通過實測數據驗證，準確率相對基本RBF神經網絡有了顯著的提高。

2 RBF神經網絡設計

2.1 RBF基本原理

RBF 神經網絡，即徑向基神經網絡，是前饋神經網絡的一種，具有三層結構，如圖 1 所示。它的基本思想是用RBF作為隱單元的“基”構成隱含層空間，將輸入矢量直接（即不需要通過權鏈接）映射到隱空間，當RBF神經網絡的中心確定之后，映射關系也就隨之確定了。隱含層的作用是把向量從低維映射到高維，這樣低維線性不可分的情況到高維就線性可分了，隱含層空間到輸出空間的映射關系是線性的。

（1）假設已經有個聚類中心，分別為：，分別計算與它們之間的距離，。

（2），即到中心的歐式距離最小。

（3）比較與的大小，如果，則就會被設定為一個新的聚類中心，如果，則按照更新，。

（4）重新選取下一個輸入的樣本數據，返回1）。

（5）所有的輸入數據取完則結束。

從上面的算法步驟來看，可以得出，隱層基函數的中心的確定，最主要的因素是聚類半徑，若過大，會造成基函數的中心個數較少的情況，從而導致網絡的收斂誤差偏大，反之則會造成基函數的中心個數較多的情況，從而導致網絡的泛化能力下降。因此本文在最近鄰聚類算法中選取合適的聚類半徑時，采用改進的粒子群算法，最后可以確定出最優的RBF神經網絡的隱層基函數的中心向量。

3 粒子群優化算法

3.1 基本粒子群優化算法

粒子群優化算法（PSO）是由Kennedy和 Eberhart于1995年提出的一種通過模仿鳥類群體捕食行為研究的群體智能算法[7]。粒子群優化算法的基本思想是通過群體中個體之間的協作和信息共享來尋找最優解[8]。它的優勢在于簡單容易實現并且沒有許多參數的調節[9]，目前已被廣泛應用于函數優化、神經網絡訓練、模糊系統控制以及其他遺傳算法的應用領域。在由 m 個粒子組成的粒子群中，每個搜索空間中的潛在的解由粒子的位置來確定，新的個體在取值時主要由粒子的當前速度、粒子群中的最優個體以及當前粒子的歷史最優解3個因素來決定，其中粒子的當前速度控制著搜索的步長，算法的全局以及全局搜索能力由其決定，對PSO的收斂速度和質量有著重要的影響；后兩者則主要用于控制搜索的方向，反映了可利用的梯度信息[10]。粒子根據如下三條原則來更新自身狀態：（1）保持自身慣性；（2）按自身的最優位置來改變狀；（3）按群體的最優位置來改變狀態。

算法描述：在一個 n維的搜索空間中，是由m個粒子組成的粒子群，其中，為第個粒子的位置為，為速度。其中，為個體極值，為種群的全局極值。接下去粒子會根據公式（6）不斷更新自己的速度，根據公式（7）不斷更新自己的位置。

3.2 慣性權重因子的引入及其改進

為改善粒子群算法的搜索性能，以及基本PSO參數固定優化某些函數時精度較差的問題，Shi和Eberhart對基本PSO算法進行了改進，在粒子的速度進化方程中引入慣性權重[11]。一般地，較大的權重有利于提高算法的全局開發能力，而較小的權重則能增強算法的局部搜索能力[12]。因此慣性權重因子對當前速度的大小起決定性因素，提升PSO性能的關鍵一環是慣性權重因子和調整策略的合理設置[13，14]。將代入公式（6）可得：

上式中，和分別代表第個粒子和最優粒子在第次迭代時相應的函數值。的計算是用來判斷目標函數的平整度[16]。由圖2可以看出，在迭代時變化越明顯，表明目標函數越不平整，相反則表示越平整。通過跟隨的變化而變化，以此來實現的動態變化。

4 基于改進PSO算法的RBF神經網絡訓練

前面提到RBF神經網絡基函數個數和中心向量難以獲取最優的缺點，本文將改進PSO算法應用到RBF神經網絡的訓練學習中，有效地提高了RBF神經網絡的精度和收斂速度，大大地增強了網絡的泛化能力。粒子群算法的神經網絡訓練過程如圖3所示。具體的優化步驟如下：

1）首先對樣本進行歸一化處理。

2）初始化。由參數，，組成粒子群，然后隨機賦上初始值，并根據這些S機值來初始化粒子群的位置和速度。

3）計算適應度值。根據得到的RBF神經網絡輸入輸出值，應用公式：

來計算粒子群的適應度值，以此來確定和。其中和分別為訓練樣本數和輸出神經元個數，、分別為第個樣本的第個分量的輸出值和期望輸出值。

4）根據公式（8）更新粒子的位置和速度，得到新的粒子群。

5）判斷優化目標是否滿足終止條件，若滿足，則結束算法；否則返回到（3）。

5 實驗驗證及結果分析

本文在對上述改進PSO算法訓練的RBF神經網絡算法進行尋優測試后發現，改進后的RBF神經網絡算法在尋找最優值時，收斂速度和精度上都優于基本RBF神經網絡算法，且大大提高了網絡的泛化能力。然后將改進后的RBF神經網絡運用到實際的人體識別檢測中來進行驗證。在實驗中，通過MLX90621紅外陣列傳感器配合電機采集一個空間在不同情況下的溫度數據作為實驗數據，每一幀有16X36個溫度數據，共測得297組數據用于訓練。下面附上其中一張實測數據結果驗證圖（見圖4）：

圖中坐標軸中顯示的溫度數據就是實測的空間溫度數據，綠色區域為熱源干擾物，紅色區域為目標。根據采集獲得的溫度數據將其分為最高溫度、最低溫度、平均溫度三類，在正常情況下，由于人體的正常溫度存在一個絕對范圍，因此結合這個絕對范圍并將分割處理后的圖像一起作為訓練的特征值對改進PSO算法訓練的RBF神經網絡進行訓練，實現了對人體目標的檢測，然后利用訓練好的RBF神經網絡直接對新的溫度數據進行分類，檢測并判斷每一幀是否有人。

下面分別采集無人無干擾和無人有熱源干擾的兩種情況下的空間溫度數據，用這兩組數據作為訓練樣本對基本RBF神經網絡和改進PSO算法訓練的RBF神經網絡進行訓練，訓練結果如表1所示：

從訓練結果來看，改進后的RBF神經網絡算法的訓練效果有了很大的提高，無論在無人無干擾還是無人有熱源干擾的數據中，測得的無人的準確率都高于基本RBF神經網絡。最后用測得的有人有熱源干擾的空間溫度數據用來進行結果驗證，驗證結果如表2所示：

重新在一個空間中測得99組有人有干擾的溫度數進行結果驗證，在基本PSO的基礎上引入慣性權重因子，對基本RBF神經網絡的訓練效果有明顯的提升，改進PSO算法訓練的RBF神經網絡算法測得有人的準確率明顯高于基本RBF神經網絡。

6 結論

對人體識別算法進行了研究，最終確定使用RBF神經網絡作為研究對象，并使用最近鄰聚類算法來確定RBF神經網絡的中心向量，成功地消除了操作時人為因素的參與。本文通過引入動態慣性權重因子對基本PSO算法進行改進，將改進PSO算法訓練的RBF神經網絡與基本RBF神經網絡進行對比，對比訓練的過程及結果可以得出，改進后的RBF神經網絡在訓練效果上有了很大的提升，精度、收斂速度以及穩定性都優于基本RBF神經網絡。最后將改進后的RBF神經網絡應用到人體入侵檢測識別中，經過實測數據驗證，雖然改進PSO算法訓練的RBF神經網絡在排除干擾的問題上提升不是非常明顯，但是識別的準確率有了很大的提高，說明改進后的RBF神經網絡更加適用于低精度且計算量少的人體入侵檢測識別中。

參考文獻：

[1]SimonHaykin.Neural Networks：A comprehensive Foundation，SecondEdition[M]. U.S：Prentive Hall，1988.

[2]段其昌.一種改進PSO優化RBF神經網絡的新方法[J]計算機仿真，2009，26（12）：126-129.

[3]Y Moddy and C J Darken. Fast learning in network of locally tuned processing unites [C] .Neural Computation，1989（01）：281-294.

[4]Kennedy J and R C Eberhart. Particle swarm optimization[C]. Conf.Neural Networks.1995.1942-1948.

[5]王桂洋，張亞庭.基于APSO優化算法的 GCHP 系統神經網絡預測控制[J].計算機測量與控制，2014，22（01）：106-108.

[6]譚子平.基于白適應權值神經網絡的 PID 參數優化[J].計算機光盤軟件與應用，2014，17（07）：97-98.

[7]皮倩瑛，葉洪濤.一種動態調節慣性權重的粒子群算法[J].廣西科技大學學報，2016，27（03）：26-31.

[8]胡珀，婁淵勝.改進粒子群優化算法在服務組合中的應用[J].計算機工程，2011，37（17）：130-133.

[9]任圓圓，劉培玉，薛素芝.一種新的自適應動態文化粒子群優化算法[J]. 計算機應用研究，2013（30）11：3240-3243.

[10]于海鵬，翟紅生.基于混合策略的自適應粒子群優化算法[J].計算機工程與設計，2014，35（07）：2552-2556.

[11]Shi Y，Eberhart R C.A Modified Particle Swarm Op-timizer[C]/ / Proceedings of the IEEE Congress onEvolutionary Computation.Now York： IEEE，1998：303-308.

[12]羅金炎.粒子群優化算法慣性權重的一種動態調整策略[J]沈陽化工大大學學報，2013（04）：371-375.

[13]De Silva I J，Rider IM J，Romero R，et al.Transmission network expansion planning with security constraints[J].IEEE Proc Gener Transm Distrib，2005，152（6）：828-836.

[14]左浩，李雯.混沌粒子群與模糊聚類在圖像分割中的應用[J].計算機工程與應用，2012，48（02）：194-196.

[15]田雨波.混合神經網絡技術[M].北京：科學出版社，2009.

第2篇：神經網絡的訓練算法范文

關鍵詞：交通事件自動檢測 BP神經網絡 Matlab仿真

1.前言

隨著高速公路車流量的越來越大，交通事件頻繁發生，給高速公路管理者帶來了諸多困擾，而且給國家和社會也帶來了不必要的損失[1]。

本文在國內外學者研究的基礎上提出了基于BP神經網絡的高速公路交通事件自動檢測算法。將上下游車道占有率、流量、大型車所占比例作為BP神經網絡的輸入，建立了神經網絡模型。本算法可為高速公路事件檢測系統的建立提供理論基礎，對提高高速公路利用率和安全性有重要意義。

2.交通事件自動檢測原理分析

正常情況下，高速公路上的交通流符合“連續車流”的規律[2]。當T時刻發生交通事件后，由于道路通行能力的突然下降導致事發點上游出現交通擁擠，流量和車速下降，占有率上升；T+1時刻下游車道流量下降，車速上升，占有率下降；同時研究發現由于不同類型的車輛換車道行駛需要的時間和道路空間不同，上、下游車道中車型比例也有所變化。因此，交通事件自動檢測的原理是通過分析高速公路上不同位置、不同時刻的交通參數變化來識別事件和非事件模式。

3.交通事件檢測的模型構建

本研究采用三層神經網絡結構，模型結構圖如圖1所示。

輸入層：輸入層有6個神經元節點代表交通流變化的交通參數。包括T時刻上游和T+1時刻下游的占有率、流量及大型車所占比例。

隱含層：對于隱含層神經元節點數目nh的確定，有下列經驗公式[3]：

其中ni為輸入層節點數，no為輸出層節點數，本研究中ni=6，no=1，所以隱含層神經元節點數nh =13。

輸出層：選擇一個輸出神經元節點作為輸出，按照有無事件發生，以輸出節點為1表示有事件發生，輸出節點為0表示無事件發生。

4.事件檢測算法的Matlab實現與評估

4.1.數據預處理

本次研究采用陜西西安繞城高速上車檢器采集的1000組交通數據。其中500組用來訓練網絡，包括輸入數據（交通參數）和目標數據（事件狀態）。另外500組作為神經網絡測試數據。在訓練BP神經網絡之前先利用premnmx函數對數據進行歸一化處理，即 [pn，minp，maxp，tn，mint，maxt]=premnmx（p，t）。

4.2神經網絡創建和初始化

利用newff函數創建一個新的神經網絡：

net=newff（minmax（pn），[13，1]，{'tansig'，'purelin'}，'traingdx'， 'learngdm'）；

利用minmax函數設定輸入向量pn的元素的取值范圍；在訓練BP網絡之前，必須對網絡的連接權值和閾值進行初始化。

4.3.BP神經網絡訓練

將神經網絡的參數設置為每50次顯示訓練迭代過程；學習速率為0.05；動量因子為0.9；

網絡訓練次數為1500；訓練目標精度為1e-002；網絡最大失敗次數為5次。

調用train函數利用traingdx算法訓練BP網絡：net=train（net，pn，tn）； BP網絡訓練效果如圖2所示，由圖可見，經過852次訓練，經過交通數據訓練的網絡能快速收斂，效果良好。

4.4.BP神經網絡仿真與測試

訓練結束后，用剩下的500組數據作為測試樣本對網絡進行測試，用tramnmx 函數對其進行歸一化處理。然后運用sim函數對BP網絡進行仿真，仿真結果須用postmnmx函數進行反歸一，這時的輸出數據才是真正的交通事件檢測結果，將小于0.5的事件狀態輸出為0，即無事件發生，大于0.5的事件狀態輸出為1，即有事件發生，計算檢測誤差并輸出圖形。結果如圖3所示，由圖可見檢測結果和訓練結果能很好的擬合。

4.5.AID算法評估

交通事件自動檢測算法最常用的性能評估指標有檢測率、誤報率和平均檢測時間 [4]。本文對經典加州算法和BP神經網絡算法通過仿真

5.結語

本文采用BP神經網絡算法來對高速公路交通事件進行檢測。算法中將上下游大型車比例作為一個輸入是個創新點。運用BP神經網絡算法建立交通檢測模型，避免了傳統算法因人為建立的模型與實際情況不符而導致檢測不準確的情況。通過Matlab仿真與測試證明本算法檢測交通事件性能較好。

參考文獻：

[1]靳引利，朱春平.高速公路信息設施的特性分析[J].中國水運.2007-10，（10）

[2]潘若禹.基于數據融合的高速公路交通異常事件檢測的研究[D].西安：長安大學.2006

第3篇：神經網絡的訓練算法范文

關鍵詞：短期負荷預測；神經網絡；遺傳算法

作者簡介：黃國棟（1976-），男，廣東陽江人，廣東電網湛江供電局，工程師。（廣東 湛江 524005）

中圖分類號：TM714 文獻標識碼：A 文章編號：1007-0079（2014）06-0261-02

電力短期負荷預測是對未來一周以內（通常為一周或一天）的負荷進行預測。短期負荷預測在電網運行實時控制和發電規劃中具有重要地位，短期負荷的預測結果是調度中心制定發電計劃、電力系統運行安全評估、電力企業日常經營管理的重要依據。[1]在當前電力系統市場化形勢下，提高負荷預測精度對于電力系統的經濟運行、合理制定機組檢修計劃和進行電力需求管理等具有重要意義。

一、電力系統負荷變化的特點及預測方法

電力系統負荷變化受到很多因素的影響。一方面，負荷變化存在由未知不確定因素引起的隨機波動；另一方面，具有周期變化的規律性，這也使得負荷曲線具有相似性；同時，由于受天氣、節假日等特殊情況的影響，負荷變化又會體現出差異性。[2]整體上講，負荷曲線是與很多因素相關而且難以用數學公式表達的非線性函數。

相對于早期的統計技術法和專家系統法，神經網絡的優點在于它不依靠專家經驗，只利用觀察到的數據，可以在訓練過程中通過學習來逼近任意的非線性輸入/輸出關系，因此，將神經網絡方法應用于電力負荷預測有著明顯的優勢。但是，神經網絡存在兩個主要問題：收斂速度慢和容易陷入局部極小點。因此，本文采用遺傳算法優化人工神經網絡，建立電力短期負荷預測模型，并將結合廣東省某城市的電力負荷的實際情況對預測方法進行探討和研究。

二、人工神經網絡模型

BP（Back Propagation）神經網絡是一種按誤差逆傳播算法訓練的多層前饋網絡，神經網絡模型中的所有神經元按照功能一般分成三層（輸入層、隱含層和輸出層），各層順次連接。[3]其三層模型拓撲結構如圖1所示。

BP算法的學習過程分為正向傳播過程和反向傳播過程兩個階段。

1.正向傳播過程

輸入信息從輸入層經隱含層逐層計算各單元的實際輸出值，各神經元的狀態只對下一層神經元的狀態產生影響。設BP網絡的輸入層有n1個節點，隱含層有n2個節點，輸出層有n3個節點，輸入為xi，輸入層與隱含層之間的權值為wki，隱含層與輸出層之間的權值為wjk；隱含層的閾值為bk，輸出層的閾值為bj；隱含層的傳遞函數為f1（·），輸出層的傳遞函數為f2（·）。則隱含層節點輸出zk和輸出層節點輸出yj分別為：

k=1，2，……n2

（1）

j=1，2，……n3

（2）

2.反相傳播過程

若網絡實際輸出值與期望值之差，即誤差超出允許值，則逆向逐層修正連接權值。設BP網絡有P個輸入樣本，采用平方型誤差函數，于是得到全局誤差為：

（3）

式中：為第p個樣本的實際輸出，為期望輸出。

采用累計誤差BP算法依次調整輸出層權值wjk和隱含層權值wki誤差使全局誤差變小，即：

（4）

（5）

式中：η為學習率。

如此往復不斷調整權值，直到使網絡的誤差滿足要求。

三、遺傳算法

1.遺傳算法的基本原理

遺傳算法（Genetic Algorithms，簡稱GA）是一種高度并行、自適應全局優化搜索方法。[4]它借鑒自然界遺傳和選擇機理，首先初始化一個種群，然后按照某種指標在每一代選取較優個體，利用遺傳算子（選擇、交叉和變異）對這些個體進行組合，產生新一代個體，重復此過程，直到滿足優化準則為止。遺傳算法是基于對生物遺傳和進化過程的計算機模擬，它能使各種人工系統具有良好的自適應能力和優化能力。目前，遺傳算法已經廣泛應用于規劃設計、組合優化、自適應控制、經濟運行、模式識別、人工智能、分子生物學、故障診斷以及計算機技術等領域，并取得了很好的效果。

2.遺傳算法的實現過程

（1）將問題的解以編碼形式表示出來，并隨機生成若干個體，即初始群體。

（2）譯碼，計算目標函數得出個體適應度值，判斷是否滿足停止條件。

（3）根據個體適應度值的高低，應用選擇、交叉和突變算子進行遺傳操作，產生下一代群體。

（4）返回步驟（2），反復執行，直到滿足停止條件。最后，搜索到最優個體，即問題的最優解。[5]

3.遺傳算法優化BP網絡權值、閾值

由于遺傳算法是以最大值作為優化目標，為適應神經網絡算法的要求，將適應度函數取反，即變為以最小值為優化目標。遺傳算法優化BP神經網絡算法的步驟：

（1）構建BP網絡，確定遺傳算法個體長度。

（2）生成初始種群，確定種群規模。對遺傳算法個體進行編碼，編碼由神經網絡的輸入層與隱含層的連接權值、隱含層閾值、隱含層與輸出層的連接權值和輸出層閾值四部分組成。

（3）根據個體得到BP網絡的權值和閾值，應用訓練數據訓練，得到網絡的輸出。計算實際輸出與期望輸出的誤差，并依據此誤差計算個體適應度值。

（4）根據個體的適應度進行選優操作，選擇若干適應度強的個體直接進入下一代，適應度差的個體被淘汰。

（5）進行交叉、變異操作，生成下一代群體，然后返回步驟（3），直到得到最優解。

四、實例分析

本試驗分別采用單一神經網絡預測法、遺傳算法和神經網絡的組合預測法，分別對廣東省某城市某一日的時負荷進行預測與分析。以該市2010年6月2日～21日和2010年6月3日～22日（只選取工作日）的整點負荷訓練樣本集，根據6月23日各整點的時負荷數據和24日各整點的溫度與天氣，預測6月24日的時負荷。

1.數據預處理

根據神經網絡的建模原理，訓練樣本的準確性對于模型的預測準確性至關重要。由于系統故障、線路停電檢修、通信錯誤等原因，歷史負荷數據中經常存在一些不良數據。這些不良數據具有很強的隨機性，會對網絡的預測精度和預測速度產生嚴重影響。因此，在建立電力短期負荷預測模型前，先對訓練用的數據樣本進行預處理。應用格拉布斯準則判別是否有不良數據，如果有要直接消除并以相應的插值代替，從而提高數據的準確度和可信度。經計算，本實例的樣本數據正常，符合實際情況。

數據歸一化方法是神經網絡預測前對數據常做的一種處理方法。數據歸一化處理把所有的數據都轉化為[0，1]之間的數，其目的是取消數據間數量級差別，避免因為輸入/輸出數據數量級差別較大而造成網絡預測誤差較大。最后需要進行反歸一化，得到最終預測結果。[6]數據歸一化的方法主要有最大最小值法和平均數方差法。本文采用最大最小值法。

2.確定BP神經網絡結構

考慮到該城市位于中國南端，緯度較低，影響電力負荷最主要的因素是溫度等天氣情況。采集預測日前一天每小時的負荷數據和預測日當天各小時的溫度值（取平均值）、氣象類型（晴、陰、雨）作為預測條件。由此確定BP神經網絡模型的輸入節點數為3；輸出節點數為1；隱含層節點數取8。為方便計算，將氣象類型數字化、歸一化處理，溫度值和負荷數據歸一化處理。本文采用分散式建模方法，即為一天的24小時各建立一個模型，共建立24個。分散式建模方法相對于集中建模方法（24小時用一個模型），雖然模型多，但是預測準確度高。每個整點的時負荷采用相應的BP神經網絡模型進行預測。建模工具選用matlab7.0。[7]

3.遺傳算法優化神經網絡

以整點負荷、溫度數據和氣象數據作為網絡的訓練樣本集，應用遺傳算法對基于單一神經網絡建立的各個模型（每小時各建一個模型，共24個）進行優化，得到每個模型近似最優權值和閾值。應用優化的權值和閾值對BP神經網絡進行訓練，并保存訓練好的網絡。最后，應用訓練好的網絡對各整點時負荷進行預測。

表1 2010年6月24日負荷預測值與誤差

時間 實際值 BP神經網絡

方法預測 誤差/% 遺傳算法神經網絡方法預測 誤差/%

0：00 404.743 412.375 1.886 397.470 -1.797

1：00 382.280 376.397 -1.539 382.009 -0.071

2：00 359.937 369.208 2.576 352.735 -2.001

3：00 355.508 352.308 -0.900 357.115 0.452

4：00 347.836 341.504 -1.820 346.528 -0.376

5：00 347.545 342.354 -1.494 346.586 -0.276

6：00 354.184 356.650 0.696 360.655 1.827

7：00 364.504 363.920 -0.160 360.123 -1.202

8：00 395.881 392.358 -0.890 390.042 -1.475

9：00 462.394 471.572 1.985 464.239 0.399

10：00 500.344 502.904 0.512 494.610 -1.146

11：00 514.415 515.950 0.298 513.479 -0.182

12：00 477.935 489.898 2.503 485.792 1.644

13：00 479.680 473.516 -1.285 472.638 -1.468

14：00 470.148 477.403 1.543 462.066 -1.719

15：00 482.950 490.302 1.522 474.556 -1.738

16：00 487.295 483.800 -0.717 486.028 -0.260

17：00 501.225 503.265 0.407 505.465 0.846

18：00 470.361 462.391 -1.694 466.165 -0.892

19：00 455.995 443.791 -2.676 463.788 1.709

20：00 493.266 494.178 0.185 494.682 0.287

21：00 489.909 498.115 1.675 486.195 -0.758

22：00 474.146 486.493 2.604 480.348 1.308

23：00 446.201 436.293 -2.221 441.855 -0.974

單一神經網絡方法和遺傳算法優化神經網絡方法得出的預測結果見表1和圖3。從圖3中3條曲線對比可以看出，應用遺傳算法優化神經網絡預測模型得到的預測結果比單一神經網絡的更接近實際負荷曲線。單一神經網絡預測的負荷最大誤差為-2.676%，平均誤差1.408%，而用基于遺傳算法優化神經網絡預測的負荷最大誤差為-2.001%，平均誤差為1.034%，精度顯然大于單一神經網絡。

五、結論

本文利用遺傳算法優化了BP神經網絡結構，并且應用此模型對實際電力短期負荷進行了預測試驗分析。實證證明，遺傳算法的全局優化搜索能力有效彌補了BP神經網絡容易陷入局部極小值的缺陷，在此基礎上建立的預測模型的可靠性、準確性都有所增強，證明了基于遺傳算法優化的神經網絡的短期負荷預測方法是可行的。

參考文獻：

[1]牛東曉，曹樹華，趙磊，等.電力負荷預測技術及其應用[M].北京：中國電力出版社，2002.

[2]陳金賽，張新波.基于改進BP人工神經網絡的電力負荷預測[J].杭州電子科技大學學報，2011，34（4）：173-176.

[3]田景文，高美娟.人工神經網絡算法研究及應用[M].北京：北京理工大學出版社，2006.

[4]王小平，曹立明.遺傳算法[M].西安：西安交通大學出版社，

2002.

[5]李玲純，田麗.基于遺傳算法和BP神經網絡的短期電力負荷預測[J].安徽工程科技學院學報，2009，24（3）：57-60.

第4篇：神經網絡的訓練算法范文

【關鍵詞】神經網絡；配電網；線損

一、引言

線損是電能在傳輸過程中各個環節的損失，是供電量和售電量之間的差值。在電能的傳輸過程中造成部分電能的浪費，因此研究人員在不斷的探究新的降低線損的方法。將BP神經網絡算法應用到配電網的綜合降損中，為配電網降損研究做出了貢獻。

二、BP神經網絡算法

BP神經網絡包括輸入層、隱含層和輸出層，按照誤差逆向傳播的方式訓練多層前饋網絡。BP神經網絡的學習過程是信息的前向傳播和信息誤差的反向傳播兩項內容。在信息前向傳播的過程中輸入層傳播到隱含層，信息由隱含層處理后再傳播到輸出層，這是信息逐層更新的過程。

BP神經網絡算法是通過調整權重來實現使網絡輸出值逼近期望值的目的，BP神經網絡算法學習過程為：1.將各權重值和閥值設為最小正數；給定網絡一組輸入向量和目標輸出向量；2.根據輸入向量計算實際輸出向量，即，將此輸出值送到下一層作為輸入；3.權重的調整是通過權重調整公式來實現；式中為增益相，為輸出誤差。在應用BP神經網絡解決問題前，除了了解它的學習過程外，還需要對其進行訓練，步驟如下：

1.對相應的數據進行初始化：期望誤差最小值：err_goal；最大循環次數：max_epoch；權值修正學習速率：lr，取0.01-0.6

2.完成一個訓練樣本的學習后，將下一個學習樣本提供給網絡，以此類推完成全部的樣本訓練。

3.從學習樣本中選取一組輸入和目標樣本數據，然后再計算輸出向量，網絡全局誤差小于設定期望誤差為止，訓練結束。

三、配電網綜合降損

將BP神經網絡算法應用到配電網的綜合降損中。以某地區一條10KV配電線路為例說明，此配電線路的拓撲結構如圖1所示，標號1-13為負荷母線，Sl-S12為母線之間的聯絡開關，兩座變電站由A、B表示。選取l號負荷母線2013年12月前十天的負荷數據為訓練數據，數據如表1所示。

表1 1號負荷母線12月前十天負荷數據

（一）負荷預測

采用BP神經網絡實現負荷預測的過程為：以當天負荷段對應的負荷點12個分量的數據為配電網的輸入向量，且輸出向量同樣為第二天12個分量的負荷數據，這樣就實現了為下一天負荷的預測。

用1號到9號的數據進行網絡訓練，訓練函數設置為：net.trainParam.epochs=500；%訓練次數設為500次；net.trainParam.goal=0.001；%訓練目標設為0.001；L.P.lr=0.05；%學習速率設為0.05；Net=train（net，P，T）；%P為輸入向量，1到5號的負荷數據；%T為輸出向量，6到10號的負荷數據。訓練結果為：TRAINLM，Epoch0/500，MSE3.7989/0.001，Gradient1081.63/1e-010 TRAINLM，Epoch5/500，MSE0.000463846/0.001，Gradient7.38793/1e-010 TRAINLM，Performance goal met.

由此可見通過訓練之后，預測數據和實測數據誤差為0.001，且基本無偏差，可很好的滿足實際應用需求

圖2某地區10KV配電網線路

（二）配網重構

根據負荷等級將圖1配電網線路中的13條母線分為7類，則有713種負荷模式，從713種負荷模式中選取4000個，以其中3000個數據作為訓練集合，應用BP神經網絡算法對配電網進行學習訓練，另外1000個數據為測試集合，經過46次訓練后可達到誤差要求，訓練結果為：

TRAINBFG-srchbac.Epoch0/500，MSE21.616/0.02，Gradient236.65/1e-006

TRAINBFG-srchbac.Epoch25/500，MSE0.026354/0.02，Gradient0.150609/1e-006

TRAINBFG-srchbac.Epoch46/500，MSE0.0199597/0.02，Gradient0.0677733/1e-006

TRAINBFG， Performance goal met.

以13條母線的某一時刻負荷的實測數據為依據，通過負荷預測網絡的預測得到下一時刻的負荷預測數據，并通過配電網重構在預測時刻采用將圖1中開關S6斷開的模式運行則配電網線損為586.21kW，若采用將開關S7斷開的模式運行則線損為628.18kW，可見通過配電網重構后線損降低了41.97kW，降低了約6.7%，提高了配電網的輸電效率。

四、結論

通過對BP神經網絡算法的簡單介紹和學習、訓練過程的分析，將BP神經網絡算法應用到配電網的綜合降損中，分別從負荷預測、配網重構兩個方面說明了BP神經網絡算法在配電網綜合降損可取的較為良好的降損效果。

參考文獻：

[1]顧勇.農村10kV電網節能降損技術措施分析[J].電源技術應用2012 （11）.

[2]趙傳輝.基于神經網絡的配電網綜合節能降損技術[D].濟南：山東大學，2011.

作者簡介：

第5篇：神經網絡的訓練算法范文

關鍵詞： 諧波； 間諧波； 全相位快速傅里葉變換； 人工神經網絡； 虛擬儀器

中圖分類號： TN711?34； TM417 文獻標識碼： A 文章編號： 1004?373X（2017）01?0125?04

Abstract： On the basis of analyzing the available harmonic detection methods， the harmonic and interharmonic detection method based on all?phase fast Fourier transform and artificial neural network is studied. A new harmonic detection method based on all?phase fast Fourier transform and BP neural network is proposed to solve the problem of low harmonic detection precision. And a harmonic detection method based on all?phase fast Fourier transform and adaptive neural network is used to further improve the accuracy of harmonic detection. A harmonic detection software based on all?phase fast Fourier transform and adaptive neural network was designed on virtual instrument software development platform LabWindows/CVI. The software can realize the detection of harmonic amplitude and phase and calculation of total harmonic distortion， and give an alarm when the total harmonic distortion is out of limit.

Keywords： harmonic； interharmonic； all?phase fast Fourier transform； artificial neural network； virtual instrument

在理想情況下，電力系統的電能應該是具有單一頻率、單一波形和若干電壓等級的正弦電壓信號。但是實際生產生活中由于一些原因，電網中的電能很難保持理想的波形，實際的波形總是存在偏差和形變，這種波形畸變稱為諧波畸變[1]。造成諧波畸變的原因是電網中存在大量的電力系統諧波。隨著諧波污染問題愈加嚴重，其產生的危害也越來越廣泛。因此，諧波檢測問題具有十分重要的研究價值和意義[2]。

1 基于全相位快速傅里葉變換和BP神經網絡

的諧波檢測

1.1 諧波相角檢測

全相位快速傅里葉變換具有相位不變性。利用該性質對電網電壓信號的采樣值進行全相位快速傅里葉變換譜分析，獲得高精度的諧波相位值[3]。其步驟如下：

（1） 采集電網信號，獲取個采樣值。

（2） 對采樣數據進行全相位快速傅里葉變換譜分析，獲得幅值譜和相位譜。

（3） 全相位快速傅里葉變換所得的幅值譜受到柵欄效應的影響無法獲得準確的諧波信號幅值，但是幅值譜在諧波相應的頻率附近會出現峰值譜線，通過讀取該峰值譜線對應的相位值即可得到精確的諧波相位[4]。

1.2 基于BP神經網絡的諧波幅值檢測

選擇BP神經網絡作為諧波幅值的檢測方法。基于BP神經網絡的諧波幅值檢測分為以下步驟：

（1） 構建諧波檢測BP神經網絡結構

傳統的BP神經網絡諧波檢測網絡由輸入層、隱含層、輸出層構成[5]。本文構建的網絡僅含有一個隱含層。由于傳統結構的BP神經網絡輸出層各神經元共用同一個隱含層，相互之間影響比較嚴重，存在諧波幅值檢測精度不高的問題。因此本文采用改進的BP神經網絡結構，輸入層、輸出層設置不變，僅使輸出層的每一個神經元分別都對應一個隱含層，解決了各待測諧波相互影響的問題，提高了諧波檢測的精度。

（2） 確定諧波檢測BP神經網絡學習算法

設電網中電壓信號為一周期性非正弦信，對做一個周期內的等時間間隔采樣。采樣數據作為神經網絡的輸入。隱含層的輸出為。輸出層為分別對應三次諧波和五次諧波幅值[6]。由于各次諧波具有相同的學習算法，在此僅以三次諧波為例，介紹其學習算法。三次諧波的隱含層和輸出層的輸出為：

（3） 選取諧波檢測神經網絡訓練樣本

在實際檢測時以檢測奇次諧波中次數較低的諧波為主。本文諧波檢測前通過濾除基波和更高次的諧波，選取由三次諧波和五次諧波組成的諧波電流為例說明訓練樣本的選取過程[7]。諧波電壓可以表示為：

（4） 學習樣本選取完成后，按照BP神經網絡的訓練過程訓練神經網絡。待訓練結束，獲取神經網絡各個連接權值，從而固定BP神經網絡結構和連接權值，完成對諧波幅值的記憶。其后只需要采集電網信號作為同相位條件下的BP神經網絡的輸入，即可從網絡輸出獲取信號中所含的各次諧波幅值。

1.3 諧波檢測仿真實驗

本仿真只對某個相位條件下的BP神經網絡對三次和五次諧波的幅值進行仿真驗證。在三次諧波的相位為30°，五次諧波的相位為60°的條件下采用訓練樣本選取方法，獲取676組訓練樣本，離線訓練諧波檢測BP神經網絡。仿真程序流程如圖1所示。

訓練完成后，選擇多組相位同為30°和60°未訓練的樣本仿真驗證諧波幅值檢測的精度。通過實驗可以看出，BP神經網絡諧波幅值檢測方法結果比插值FFT具有更高的精度。通過增加訓練樣本個數可進一步提高神經網絡諧波幅值檢測的精度。

2 基于全相位快速傅里葉變換和自適應神經網

絡諧波檢測

2.1 檢測步驟

基于全相位快速傅里葉變換和自適應神經網絡的諧波檢測方法的具體步驟如下：

（1） 采集訓練樣本。設定采樣頻率和采樣時間，采集電網電壓信號，為全相位快速傅里葉變換提供分析數據，為自適應人工神經網絡提供訓練樣本。

（2） 確定諧波初相位。將電網信號采樣數據經過全相位快速傅里葉變換分析，在分析結果的幅值譜中找出峰值譜線，并由峰值譜線對應的相位值獲取各諧波的高精度相位。

（3） 初始化諧波幅值檢測神經網絡。利用諧波相位檢測結果設置神經網絡參考輸入向量中的各次諧波相位值。

（4） 計算誤差讀取一次訓練樣本，根據采樣時間計算神經元輸出與此刻的電網信號采樣值做差，進而計算誤差函數和性能指標。

（5） 根據誤差調整神經網絡權值。

以最小均方差法（LMS）作為諧波幅值檢測自適應神經網絡的學習算法，則權值調整公式，即諧波幅值調整公式為：

（6） 判斷是否等于訓練樣本總數如果是，再判斷是否達到最大訓練次數。若達到最大訓練次數則結束訓練轉至下一步。若未達到，則需計算并判斷是否達到性能指標要求，達標則轉至下一步，不達標則返回步驟（4）再次執行。如果否，返回步驟（4）繼續執行。

（7） 訓練結束。根據所得神經網絡權值獲得各次諧波幅值。

2.2 諧波檢測仿真

取511個電網信號采樣點經過apFFT分析后，可以看出該諧波相位檢測具有很高的精度。利用apFFT分析結果初始化神經網絡，并取50組訓練樣本訓練神經網絡，可以看出性能指標函數的值在訓練次數足夠大的情況下可以達到，在經過10次以內的訓練后基波和諧波檢測值趨于穩定。由實驗數據可以看出本文采用的方法極大地提高了諧波幅值的檢測精度。

3 基于全相位快速傅里葉變換和增強型自適應

神經網絡的間諧波檢測

3.1 增強型自適應神經網絡間諧波檢測模型

諧波檢測中在基波頻率已知的情況下，由于諧波頻率為基波頻率的整數倍，因而諧波頻率無需檢測。但是對于間諧波檢測，由于間諧波頻率為基波頻率的非整數倍，無法通過基波頻率獲知間諧波頻率，因此在間諧波檢測時，需要將間諧波的頻率也作為檢測項[8]。為此，將應用于間諧波檢測的自適應神經網絡結構設計成如圖3所示的形式。

3.2 諧波檢測步驟

基于全相位快速傅里葉變換和增強型自適應神經網絡的間諧波檢測步驟如下：

（1） 信號采集和apFFT分析。將電網信號濾除已測量的基波、諧波信號后得到由間諧波構成的信號，采樣并經apFFT算法分析后，得到幅值譜和相位譜。

（2） 神經網絡結構的確定和初始化。由于神經網絡中間層神經元的個數等于間諧波個數，因此通過apFFT幅值譜峰值譜線的個數確定神經元個數。分別確定間諧波頻率和幅值的學習率和動量因子。設定神經網絡的最大訓練次數，開始人工神經網絡的訓練。

（3） 計算誤差。讀取一次訓練樣本，根據式（11）計算神經網絡實際輸出，并與此刻的采樣值做差，進而計算誤差函數和性能指標。

（5） 判斷是否等于訓練樣本總數如果是，再判斷是否達到最大訓練次數。若達到最大訓練次數則結束訓練轉至下一步。若未達到，則需計算并判斷是否達到性能指標要求，達標則轉至下一步，不達標則返回步驟（3）再次執行。如果否，返回步驟（3）繼續執行。

（6） 學習結束。學習結束后，通過激勵函數的角頻率獲取間諧波頻率，通過神經網絡權值得到間諧波幅值。

3.3 間諧波檢測仿真

設基波頻率為50 Hz，采樣頻率為2 560 Hz，采集511個點。利用apFFT的分析結果初始化神經網絡。設置間諧波幅值調整的學習因子=0.01，設置動量因子=0.3，隨后開始訓練神經網絡。從實驗數據可得，網絡經過70次左右的在線訓練后基本收斂。經過70次訓練后幅值誤差都達到了以下，頻率誤差達到了以下。通過對原始間諧波疊加信號波形和檢測得到的間諧波組合信號波形進行對比可知，基于全相位快速傅里葉變換和增強型自適應神經網絡的間諧波檢測方法具有更高的檢測精度。

4 LabWindows/CVI諧波檢測軟件實現

4.1 諧波檢測系統設計方案

針對電力系統中存在C波問題，利用LabWindows/CVI和計算機設計虛擬諧波檢測儀器。主要實現的功能是分析數據采集卡采集的電網電壓數據，利用apFFT和自適應線性神經網絡算法獲取高精度的諧波電壓幅值和諧波初相位，并通過計算機顯示出檢測結果。利用檢測結果計算總諧波畸變率，當畸變率超過標準值時給出警報。首先獲取電網電壓采樣信號，進而將采樣信號經過全相位快速傅里葉變換分析得到基波和各次諧波信號的高精度相位值，通過獲得的相位值設置自適應神經網絡激勵函數中的諧波相位值，隨后利用采樣數據在線訓練神經網絡獲得基波和各次諧波的幅值。

4.2 諧波檢測系統軟件設計過程

基于LabWindows/CVI的諧波檢測軟件設計過程可分為以下步驟：

（1） 啟動LabWindows/CVI編程環境，創建諧波檢測軟件工程。

（2） 在用戶界面編程窗口，根據諧波檢測的功能要求設計虛擬儀器用戶面板。在面板上添加相應控件，控件分布設計完成后，需要對控件屬性及其對應的回調函數進行設置，使得點擊或使用這些控件時能夠得到有效的響應。

（3） 用戶界面設計并保存完成后，LabWindows/CVI自動生成程序代碼的主體框架，并通過菜單欄CodeGenerateMain Function生成main函數和各個控件對應的回調函數框架程序。

（4） 在各個控件對應的回調函數內編寫實現其功能的程序代碼，例如本文在主面板開始檢測按鈕對應的回調函數內部編寫apFFT和神經網絡諧波檢測算法的代碼，以實現諧波檢測功能。

（5） 完成代碼編寫、調試和運行程序。

4.3 檢測軟件實驗測試

本文通過讀取兩組離線測量數據對諧波檢測功能進行實驗檢測。通過第一組數據的檢測結果可以看出諧波幅值較基波幅值低很多，且奇次諧波的幅值較偶次諧波幅值高。通過apFFT采樣數據分析的結果中，測量信號波形和基波波形的對比可以看出諧波對基波波形的影響較小。實驗結果表明該軟件具有很好的諧波檢測精度。

通過第二組數據的檢測結果看出諧波總畸變率超出設定值（4%），諧波畸變率告警燈變為紅色，同時告警對話框彈出。諧波檢測的結果同時在表格和柱形圖中顯示。將測量信號、諧波疊加信號和基波信號的波形進行對比，諧波對電網電壓的波形影響仍然很有限，保證了電網中負載的用電安全。此次諧波檢測的檢測結果，檢測精度仍然較高。

5 結 論

本文主要對基于全相位快速傅里葉變換和神經網絡的諧波、間諧波檢測方法進行了研究。針對現有成熟的諧波檢測算法檢測精度不高的問題，提出了基于全相位快速傅里葉變換和BP神經網絡的諧波檢測算法；為了進一步提高諧波檢測精度，減小對訓練樣本的依賴，擴大諧波檢測算法的適用范圍，提出了基于全相位快速傅里葉變換和自適應神經網絡的諧波檢測算法；針對電力系統間諧波檢測問題，通過調整自適應神經網絡結構，提出了基于全相位快速傅里葉變換和增強型自適應神經網絡的諧波檢測算法；利用虛擬儀器開發平臺LabWindows/CVI設計了基于全相位快速傅里葉變換和自適應神經網絡的諧波檢測軟件，最后利用兩組數據驗證了軟件功能。

參考文獻

[1] 肖雁鴻，毛筱.電力系統諧波測量方法綜述[J].電網技術，2002，26（6）：61?64.

[2] 聶晶晶，許曉芳，夏安邦，等.電能質量監測及管理系統[J].電力系統自動化設備，2005，25（10）：75?77.

[3] 王子績，孟鑫，張彥兵，等.基于瞬時無功功率理論的新型諧波檢測算法[J].電測與儀表，2012，49（4）：9?13.

[4] 劉桂英，粟時平.利用小波傅里葉變換的諧波與間諧波檢測[J].高電壓技術，2007，33（6）：184?188.

[5] 危韌勇，李志勇.基于人工神經元網絡的電力系統諧波測量方法[J].電網技術，1999，23（12）：20?23.

[6] 王凱亮，曾江，王克英.一種基于BP神經網絡的諧波檢測方案[J].電力系統保護與控制，2013（17）：44?48.

[7] 付光杰，曲玉辰，郭靜.RBF神經網j在諧波檢測中的應用[J].大慶石油學院學報，2005，29（6）：76?79.

第6篇：神經網絡的訓練算法范文

    花生仁的外衣完整性檢測是一種模式識別。根據影響花生仁外衣完整性的顏色特征參數,對花生仁外衣完整性進行識別。在神經網絡運用領域里,算法的確定無法用一個完全標準,主要是靠經驗來選擇的。基于以上原因,花生仁外衣完整性檢測神經網絡的設計算法選擇BP算法[9],該算法能實現輸入與輸出之間的非線性映射,對于樣本數量有限的情況也同樣適用。一個典型的BP網絡結構如圖3所示。BP神經網絡通常具有多個隱含層。本文中,隱層神經元采用Sigmoid型傳遞函數,輸出層采用logsig型傳遞函數。花生仁的外衣完整性檢測是一種模式識別。根據影響花生仁外衣完整性的顏色特征參數,對花生仁外衣完整性進行識別。在神經網絡運用領域里算法的確定無法用一個完全標準的算法確定,主要是靠經驗來選擇的。基于以上原因,花生仁外衣完整性檢測神經網絡的設計算法選擇BP算法。一個典型的BP網絡結構(如圖3所示)通常具有一個或多個隱層。其中,隱層神經元通常采用Sigmoid型傳遞函數,而輸出層神經元則采用logsig型傳遞函數。

    BP識別系統是以BP神經網絡分類器[10]為核心的系統,系統設計如圖4所示。BP神經網絡分類器由一個BP網絡訓練子系統生成得到,圖像由CCD攝像頭獲得后,由圖像采集卡數字化輸入計算機,提取特征區域獲得顏色特征參數,這些參數輸入BP網絡即可得到分類結果。影響花生完整性的顏色特征參數為H,I和S,因此輸入層節點數等于3;網絡的輸出有兩種情況,即完好與破損,因此輸出層有2個節點;對應于完整和破損這兩種判斷結果,分別用2位二進制編碼為10和01。隱含層的節點數的確定非常重要,數目過少,網絡將不能建立正確的判斷界,使網絡訓練不出來或不能識別以前沒有的樣本,且容錯性差;而節點數目過多,學習時間長,使網絡的泛化能力降低。本文通過多次反復訓練網絡,確定隱含層節點數目為40。本研究采用Matlab軟件及其神經網絡工具箱來實現網絡建模。在神經網絡工具箱中,對神經網絡的名稱、類型、結構和訓練函數等參數進行設置,如表1所示。

    建立了BP神經網絡并對網絡進行初始化后,就可對網絡進行訓練了。將訓練步數設為500步,將訓練目標誤差goal參數設置為0.01,結果如圖5所示。圖5中,橫坐標表示本網絡的預置訓練步數,縱向坐標表示本網絡的預置訓練誤差,水平橫線表示期望的目標誤差,誤差變化曲線如圖5所示。由圖5可知,當網絡訓練到170步時,網絡誤差已經達到期望的目標值0.01,訓練即可停止。

    本文采用BP神經網絡與計算機視覺技術相結合的手段,建立了一個花生外衣完整性判別系統。實驗證明,判別準確率達到87.1%。此系統很容易推廣在其他農產品的檢測中,只需要改變輸入和輸出樣本數據,重新訓練一下BP網絡,即可投入使用。因此,將BP神經網絡運用到農產品的品質檢測過程中,具有巨大的潛力和廣闊的應用前景。但必須指出的是,此方法高效可行,整個訓練過程只用了6s,且本研究建立在靜態實驗環境下,生產效率依然很低。如果要將此實驗結果運用生產實際,必須設計出配套的硬件分級設備,這將是后續研究的重點。

第7篇：神經網絡的訓練算法范文

【關鍵詞】氣體識別;自組織神經網絡

1.引言

氣體識別在環境保護、化工控制、家用報警、食品保鮮、溫室環境控制、航空航天等領域有著廣泛的應用。應用氣體傳感器進行多組份氣體的定性定量研究，可以極大的降低測量成本，減小測量周期，并可實現在線的實時測量。但由于當前氣體傳感器普遍存在著交叉敏感和選擇性差等缺點，使用單一傳感器很難實現多組份氣體的檢測分析。為解決以上問題，一方面可以采用新材料、新工藝來改善傳感器本身的性能;另一方面可以將現有的氣體傳感器構成陣列，并與自組織神經網絡技術相結合。本文采用后者的原理，即通過多個敏感程度不同的氣體傳感器組成傳感器陣列，結合神經網絡模式識別算法進行氣體識別分析。

人工神經網絡（Artificial Neuron Networks，ANN）人工神經網絡（Artificial Neutral Networks，ANN）是一個由大量簡單處理單元廣泛連

接而成的復合網絡系統。神經元結構是受到生物神經元的啟發而得來的。目前應用的神經網絡類型有很多，其中應用最廣的是BP神經網絡，神經網絡需要學習的過程，即利用外部條件作用于神經網絡，使其能重新對外界做出反應。將氣體傳感器陣列與采用BP算法進行訓練的人工神經網絡模式識別技術相結合形成的氣體識別系統，是利用傳感器陣列對混合氣體的高維響應模式來實現對混合氣體的定量檢測。其中傳感器陣列的選取、傳感器信號的預處理方法、BP神經網絡的結構和參數以及測量環境是影響系統性能的可能因素。

2.人工嗅覺系統

人工嗅覺系統是一種化學分析系統，它由一個具有部分專一性的電子化學傳感器陣列和一個合適的模式識別系統組成。由于人工嗅覺系統主要模仿的是生物的嗅覺系統，所以人工嗅覺系統也可被稱為“電子鼻”或者電子嗅覺系統。

2.1 電子鼻簡介

電子鼻這個術語開始出現于二十世紀八十年代晚期，當時它被用于1987年的一個學術會議。較為科學的電子鼻的概念出現于1994年英國Warwick大學的J.W.Gardner發表的文章中，并且J.W.Gardner綜述了世界各國人工嗅覺系統的發展概況。

電子鼻模仿人的鼻子的功能，以電訊號的方式予以表達，可以工作在惡劣或有毒的環境下，在食品、化工、環保、醫療診斷、檢驗等方面有很重要的應用，其關鍵技術就是氣體傳感器陣列。

2.2 人工嗅覺系統的原理及基本組成部分

人工嗅覺系統主要是受生物的嗅覺系統啟發和影響，以下是該系統中的關鍵因素：

（1）對微量、痕量氣體分子瞬時敏感的監測器，以得到與氣體化學成分相對應的信號;

（2）對檢測到的信號進行識別與分類的數據處理器，將有用的信號與噪聲加以分離;

（3）將測量數據轉換為感官評定指標的智能解釋器，得到合理的感官結果。

2.3 氣體傳感器

氣體傳感器是一種將氣體的成分、濃度等信息轉換為可以被人員、儀器儀表、計算機等利用的信息的裝置。

2.3.1 半導體氣體傳感器

半導體氣體傳感器在氣體傳感器中約占60%，根據其機理分為電導型和非電導型，電導型中又分為表面型和容積控制性。

2.3.2 表面敏感型傳感器元件

表面敏感型傳感器元件SnO2-Pd、ZnO-PT、AgO、Pt-SnO2，可檢測氣體為CO、NO2和氟利昂等，傳感材料Pt-SnO2的氣體傳感器可檢測氣體為可燃性氣體如H2、CO、CH4等。

2.3.3 容積控制型傳感材料

容積控制型傳感材料有TiO2、CoO-MgO-SnO2等，其半導體氣體傳感器可檢測氣體為液化石油氣、酒精和燃燒爐氣尾氣等。

3.神經網絡

人工神經網絡（Artificial Neuron Networks，ANN）是近年來人工智能的一個重要科學分支。二十世紀五十年代末人工神經網絡系統開始作為人工智能的一種重要計算工具逐漸受到重視。進入二十世紀八十年代后期，人工神經網絡的研究進入了一個新的。主要原因是：一方面經過幾十年迅速發展起來的以邏輯符號處理為主的人工智能理論和馮-諾依曼計算機在處理諸如視覺、聽覺、形象思維和聯想記憶等智能信息問題時遇到挫折;另一方面，具有并行分布處理模式的人工神經網絡本身的研究取得了巨大的進展。

神經網絡具有一些不同于其它計算方法的性質和特點以及它自身是基于人類大腦結構和功能而建立起來的，因此具有很多和人類智能類似的特點。首先，神經網絡將信息存儲在大量的神經元中，具有內在的知識索引功能。信息在網絡中使用兩種方式被保留：一種是神經元之間的連接，另一種是連接權重因子。其次，人工神經網絡具有對周圍環境自學習、自適應功能，也可用于處理帶噪聲的、不完整的數據集。在人工神經網絡中，輸入與輸出的關系不是由單獨的神經元直接負責的，相反是與神經元的輸入輸出有關。最后，人工神經網絡模擬人類的學習過程。人類大多數的學習和求解過程都是采用嘗試法，而人工神經網絡可以以相同的方式運行。

神經元（neuron）即神經網絡中的基本處理單元，也就是節點。一般節點由輸入與輸出、權重因子、內部閥值和函數形式四部分組成。

圖1 神經元模型

圖1給出了一個基本的神經元模型，它具有R個輸入，每個輸入都通過一個適當的權值wli和下一層相連，網絡輸出可表示為：

式中，n為該神經元（序號l）的總輸入;

f（n）為神經元輸入輸出關系的函數，稱為作用函數、響應函數或傳遞函數。

人工神經網絡的拓撲結構是指它的處理單元是如何相互連接的，主要由輸入層、隱含層和輸出層組成。每一節點的輸出被送到下一層的所有節點。通過將這些處理單元組成層，將其相互連接起來，并對連接進行加權，從而形成神經網絡的拓撲結構，將若干個人工神經元作為有向圖的節點，可連接成人工神經網絡。其中每一層對于人工神經網絡的成功都非常關鍵。可以將人工神經網絡輸入層、隱含層和輸出層看成為一個通過輸入層的所有節點輸入特定信息的黑箱。人工神經網絡通過節點之間的相互連接關系來處理這些信息，最后從輸出層的節點給出最終結果。

4.誤差反向傳播網絡（BP網絡）

1985年，以Rumelhart和McClelland為首提出了至今仍廣泛接受和使用的誤差反向傳播學習算法。按照這一算法進行訓練的多層神經網絡被直接稱為BP神經網絡。BP網絡是一種多層前饋型神經網絡，其神經元的傳遞函數是S型函數，輸出量為0到1之間的連續量，它可以實現從輸入到輸出的任意非線性映射。其權值的調整采用反饋傳播學習算法。

目前，在人工神經網絡的實際應用中，絕大部分的神經網絡模型都采用BP網絡及其變化形式。BP網絡主要用于以下四方面：

（1）函數逼近：用輸入矢量和相應的輸出矢量訓練一個網絡以逼近一個函數;

（2）模式識別：用一個特定的輸出矢量將它與輸入矢量聯系起來;

（3）分類：把輸入矢量所定義的合適方式進行分類;

（4）數據壓縮：減少輸出矢量維數以便于傳輸和存儲。

對于神經網絡算法，使用基于誤差反向傳遞的神經網絡算法設第p個模式XP=（X1P，X1P，…XNP，）T，p=1，2，…，N（N為模式個數），將其視為BP網絡的輸入，yip為其實際輸出，隱含層和輸出層各單元的激活函數采用sigmoid函數，即：

一般基于BP的神經網絡算法具體步驟如下：

Step1、構造網絡，初始化網絡的權矩陣，設置學習因子，動態因子，跌代次數和允許誤差;

Step2、從一個網絡開始，提供訓練模式;

Step3、開始訓練第k個網絡;

Step4、前向傳播過程，對所有訓練模式，計算網絡的實際輸出并與目標輸出相比較，如果誤差超過運行誤差，則進行下一步，否則訓練第k+1個網絡;

Step5、反向傳播過程：計算隱含層和輸出層各單元的誤差精度，修正權值和閥值：

式中，為學習效率;

di為教師信號或希望輸出;

為實際輸出yi與希望輸出di之差，其中yi和xj是取1或0的離散值。

Step6、繼續訓練第k個網絡。

BP網絡的訓練函數有traingd、traingdm、traingdx、trainrp、traincgf、traincgp等。由于BP網絡的簡單性，在人工嗅覺系統的模式識別部分占有很大的比例，許多以前和現在的一些成熟人工嗅覺系統的產品仍然使用BP神經網絡進行模式識別。

BP網絡的學習是通過求解一個優化問題完成的，從數學的角度看，它是通過函數逼近擬合曲面（線）的想法，并且將其轉化為一個非線性優化問題而求解。BP網絡是對簡單的非線性函數進行復合，經過多次復合后，則可以實現復雜的函數，但存在BP學習算法收斂速度慢、不完備性和隱節點數只能憑經驗選取。

由于存在上述問題，科學家們從利用線性的自適應步長加速BP算法和增加動量項來去除收斂過程中的局部最小點。模擬退火（Simulated Annealing，簡稱SA）思想是由Metopolis等人提出的，它可以很好的避免局部最小點的出現，把它用在優化中是由Kirkpatrick等人提出的。組合優化問題的解空間中的每一個點都代表一個解。不同的解有著不同的目標函數值。優化過程就是在解空間中尋找目標函數的最小解。

SA算法的特點是通用性強、可達到全局最小。傳統的啟發式搜索算法如快速下降法，每次都是向改進解的方向搜索，往往只能找到一個局部最優解，而不是全局最優解。而SA算法在系統朝能量減少這個總趨勢的過程中，允許解的搜索以一定的概率向較差的方向走，以避開局部最小，而最終穩定到全局能量最小的狀態。

5.利用自組織神經網絡進行氣體識別

將被測氣體按所需測量精度和濃度范圍按成份分成不同的濃度等級，采用標準氣體配置這些等級的不同成份氣體的所有組合作為標準模態來訓練神經網絡。通過識別某一未知氣體樣本的模式，即可以得到未知氣體的成份濃度。例如，選用N種互相參比配制混合氣體樣本。根據傳感器的靈敏范圍，將配制的氣體濃度限制在a1到am以內，濃度變化間隔為l。這樣每種氣體有m種濃度模式，共計可得到mN個樣本。采用這些樣本作為原始數據訓練自組織神經網絡，就可以實現在這一濃度范圍內的最大誤差為l的氣體定量測量。

第8篇：神經網絡的訓練算法范文

關鍵詞 遺傳算法 BP神經網絡 模擬電路 故障診斷

中圖分類號：TP183 文獻標識碼：A

0 引言

自20世紀60年代以來，模擬電路故障診斷研究取得了很大的成績，但由于模擬電路的輸入輸出關系及測試方法都比較復雜，而且模擬電路的元件有容差性，從而使得模擬電路故障診斷進展比較緩慢。①②目前，BP神經網絡廣泛應用于模擬電路的故障診斷中。雖然BP算法具有精確性，卻存在容易陷入局部極小值，造成收斂速度慢等問題。遺傳算法有較強的宏觀搜索能力，還可以克服BP神經網絡容易陷入局部極小值的問題，本文將二者結合而給出一種新的算法：遺傳神經算法，從而達到理想的診斷效果。

1 BP神經網絡的模擬電路故障診斷方法

1.1 模擬電路故障診斷原理

模擬電路故障的模式識別診斷原理是先對模擬電路故障數據進行采集，再通過一定的算法對電路故障進行分類，以達到電路故障定位的目的。主要包括電路測試，特征提取和故障診斷三個階段，用圖1所示來表示模擬電路的故障診斷過程。

圖1 模擬電路故障診斷框圖

模擬電路故障診斷是一種模式識別問題，電路故障與模擬元器件存在非線性問題，輸入和輸出間的關系復雜并且難以用精確的數學模型刻畫，由于模擬電路的非線性，導致傳統故障分類方法無法識別其非線性，故障診斷率低。

1.2 BP神經網絡算法

1986年Rumelhart和McClelland等科學家提出了BP神經網絡，是一種按誤差反傳算法訓練的多層前向網絡，③是當前使用最廣泛的神經網絡模型，無需事前知道輸入和輸出之間的映射關系，能夠進行自學習，BP神經網絡結構如圖2所示。

圖2 BP神經網絡的結構圖

2 遺傳算法優化神經網絡

遺傳算法（Genetic Algorithm，GA）是以自然選擇和生物進化為基礎，將生物進化過程中適者生存規則與群體內部染色體的隨機信息交換機制相結合的高效全局尋優搜索算法。④⑤⑥遺傳算法不是從一個點而是從多個點開始搜索，這樣就可以避免搜索過程在局部最優解處收斂，從而有可能從解的空間尋優得到全局最優解。該算法是通過適應度函數來尋優的，不要求目標函數的連續性、可微性。本文將遺傳算法和神經網絡算法結合起來用于模擬電路故障診斷中。

2.1 編碼

二進制編碼被傳統的GA所采用，雖然二進制編碼簡單和通用，編碼、解碼操作簡單易行，但是二進制編碼對處理復雜問題而言，自變量較多，而且編碼長度較長，從而導致染色體的長度非常長進而使搜索空間增大，進化速度很慢，降低了搜索效率。本文采用實數編碼的GA，對二進制編碼加以改進，縮短了編碼長度，提升了處理復雜的決策變量約束條件能力，提高了運算的精度和高度，也縮小了搜索空間，提高了搜索效率。

2.2 計算適應度

采用訓練樣本對種群中的個體所代表的神經網絡進行網絡訓練，計算每個個體所代表網絡的學習誤差，從而確定適應度的值，誤差與適應度成反相關。訓練誤差為：

= [（ ）] （1）

定義式中，表示訓練樣本個數，表示輸出單元個數，為第個樣本時第個輸出單元，為第個樣本時第個期望單元。計算初始種群中每一個個體的適應度值，我們把個體適應度函數定義為：

（） = （2）

式中，對于輸入樣本集： = （，，…），輸出樣本集為： = （，，…）。

2.3 選擇

通常的選擇算子有很多，建立在對個體的適應度進行評價的基礎上，根據優勝劣汰原則本文采用確定式采樣選擇方法，具體操作步驟如下：

①計算適應度的期望值：

= （3）

②計算群體中每個個體在下一代生存的期望生存數：

= （4）

③對進行取整運算得到[]，則可以確定出下一代群體中的[]個個體；對的小數部分進行降序排列，順序排在前[]個加入到下一代群體中，后面的就淘汰掉了。這樣下一代群體中的個個體就確定了。

2.4 交叉

單點交叉或多點交叉在二進制的編碼中常被采用，雖然單點交叉或多點交叉操作簡單，但是不利于產生新的優良的個體。在實數編碼中，采用算術交叉的方法，對個體進行線性組合而產生新的個體。隨機從第一代個體中選擇兩個個體、作為交叉的父本，通過線性組合而產生出兩個新的子代、，它們由（5）、（6）式確定。

= + （） （5）

= （） + （6）

其中為一個0～1之間的隨機數。

2.5 變異

為了使遺傳算法維持種群的多樣性，就必須采用變異算子。這樣不但可以增加局部所搜能力，而且能防止出現過早成熟，針對實數編碼遺傳算法，本文采用非均勻變異算法。設群體中的一個個體為 = （，，…，…），假定在變異點處的基因值取值范圍為[]，則新的基因值由（7）式確定：

（7）

其中，表示一個0～1范圍內的隨機數，HU（代表或）表示[0，]內符合非均勻分布的一個隨機數，本文定義HU如（8）式：

HU = ·（） （8）

其中，為種群的最大進化代數，為0～1內符合均勻概率分布的一個隨機數，為系統固有的參數。不斷重復計算適應度、選擇、交換及變異操作產生新的群體，使得權值和閾值得到不斷修正，直到總的迭代次數或是誤差達到預設訓練標準。其流程圖如圖3所示。

圖3 診斷流程圖

圖4 心電放大圖

3 電路診斷仿真實例

3.1 模擬電路

以心電放大電路為例來驗證本文提出的對BP神經網絡算法改進的有效性。電路如圖4所示，其中電阻R1～R12，其電阻允許容差范圍為5%，電容C1～C2，其電容容差范圍為10%，運放采用LF411，單位正弦激勵為輸入，頻率為100Hz。在仿真過程中，根據靈敏度分析得出R8，R9，C1最易受容差影響，所以我們僅考慮三種故障R8負偏50%，R12正偏50%，C1正偏50%，共三種單軟故障。

3.2 遺傳算法優化BP神經網絡模型參數設定

建立BP神經網絡為三層網絡模型，神經網絡輸入層和隱層函數為tansig，神經網絡輸出層函數取logsig。參數設定輸入層單元數r = 15，根據經驗規律得出隱層單位數h = 2*r+1即h = 31，輸出層單元數為電路故障的種類即q = 3，神經網絡的初始學習速率為0.1，遺傳算法染色體的編碼長度為l = r*h + q*h + h + q即l = 592，初始種群大小設為40，迭代次數為50，評判誤差為0.01。

圖5 改進的BP神經網絡訓練誤差曲線圖

圖6 傳統的BP神經網絡訓練誤差曲線圖

3.3 訓練和測試結果分析

BP算法的訓練目標為error_goal = 0.01，學習速率為lr = 0.1，經過GA優化后的權值和閾值賦給BP網絡作為初始值，經過訓練達到要求，訓練過程如圖5所示。

同樣建立傳統的BP神經網路，其參數設定跟用遺傳算法優化的BP神經網絡參數一樣。在相同的預測誤差下，其訓練過程如圖6所示。通過圖5和圖6，觀察分析可得：在相同的預測誤差下，優化的BP神經網路算法的迭代次數要少，而且其全局搜索能力強，不易陷入局部極值。

經過網絡訓練后，分別隨機選取的測試數據進行測試分析，測試結果、期望輸出以及診斷誤差分別如表1和表2所示。

表1 改進的BP神經網絡測試數據表

表2 傳統的BP神經網絡測試數據表

4 結論

本文采用GA優化BP神經網絡的權值和閾值，能使BP網絡在較小的范圍發揮高精度的搜索優勢，而不必靠經驗和試驗來確定這些參數，從而提高故障診斷的精度和速度；同時，克服BP算法陷入局部最小點、收斂速度慢等問題，結合這兩方面的優點，遺傳算法優化的BP網絡用于模擬電路故障診斷是有效且實用的，為模擬電路故障診斷智能化提供了方法。

注釋

① 譚陽紅，何怡剛.模擬電路故障診斷技術的發展[J].測控技術，2003（7）：1-3.

② 何怡剛.非線性容差模擬電阻電路故障診斷的神經網絡方法[J].固體電子學研究與進展，2002.22（3）：297-299.

③ 虞和濟，陳.基于神經網絡的智能診斷[M].北京：冶金工業出版社，2000.

④ 范睿，李國斌.基于實數編碼遺傳算法的混合神經網絡[J].計算機仿真，2006.23（1）.

第9篇：神經網絡的訓練算法范文

【關鍵詞】介損值;BP算法;人工神經網絡

1.引言

當前的電容型電氣設備絕緣在線監測與診斷還停留在一個簡單處理數據的層次上，如果能夠結合先進的數學工具進行分析，將有助于提高監測與診斷的應用水平。模糊數學、專家系統、神經網絡、灰關聯分析等理論在電氣設備的絕緣監測與診斷方面已經有了廣泛的應用，并提供較完備的知識與信息，提高了絕緣監測與診斷的準確性。

大量停電試驗和專門試驗的介損值結果統計分析表明，介損值會對溫度的變化較為敏感，環境的濕度對介損值也會有影響。在分析了各種因素影響介損值的基礎上，文獻[6]提出了基于人工神經網絡的電容型電氣設備的絕緣狀況的預測方法。人工神經網絡方法能夠根據大量的故障機理研究以及經驗性的直覺知識歸納出典型樣本，通過對神經網絡內部的競爭達到問題的求解，從本質上模擬專家的直覺。在此基礎上本文提出了基于人工神經網絡的電容型電氣設備的介損值的預測方法，以BP神經網絡作為主要的研究方法。BP網絡的預測結果的準確與否取決于學習樣本的優劣，本文根據實際情況選取了神經網絡的學習樣本并進行了仿真，結果表明該預測方法的誤差滿足工程誤差的要求，基于人工神經網絡的介質損耗值的預測方法是可行的、正確的和有效的。

2.基于BP神經網絡預測方法的確定

人工神經網絡的模型有數十種，可分為三大類：前向網絡、反饋網絡和自適應網絡。但在人工神經網絡的實際應用中，絕大部分的神經網絡模型都采用BP網絡及其變化形式。BP（Back Propagation）網絡是一種多層前饋型神經網絡，其神經元的傳遞函數是S型函數，輸出量為0到1之間的連續量，它可以實現從輸入到輸出的任意非線性映射。BP神經網絡的主要優點：

（1）BP神經網絡具有分布式信息存儲能力;

（2）BP神經網絡的容錯性和大規模并行處理能力;

（3）BP神經網絡具有自學習、自組織和自適應能力;

（4）BP神經網絡是大量神經元的集體行為，表現出一般復雜非線性系統的特性;

（5）BP神經網絡可以處理一些環境信息十分復雜、知識背景不清楚和推理規則不明確的問題。

基于以上優點，本文選用BP神經網絡作為主要研究方法。

3.BP算法基本思想和網絡的基本結構

BP神經網絡是一個多層前饋神經網絡，包括了輸入層、隱層和輸出層。這種網絡在輸入層和輸出層之間至少有一個隱含層，每一個神經元結點都與其后一層的結點相連接，但是沒有后層結點向前層結點的反饋連接。BP網絡具有結構簡單、可靠性強的優點，能夠滿足工業應用的需要，而且有關網絡的機理和算法的研究都很豐富，是眾多網絡中最為成熟，應用最為廣泛的一種，是復雜系統建模的優秀工具。

BP算法的基本思想：當一對學習樣本提供給網絡后，神經元的激活值從輸入層經隱層向輸出層傳播，在輸出層的各神經元獲得網絡的輸入響應。接下來，按照減少目標輸出與實際誤差的方向，從輸出層經過各隱層逐層修正各連接權值，最后回到輸出層，這種算法為“誤差逆傳播算法”。隨著這種誤差逆的傳播修正不斷進行，網絡對輸入模式響應的正確率也不斷升高。

三層前饋網絡中，輸入向量為X=（x1，x2， ……，xi，……，xn）T;隱層輸出向量為Y=（y1，y2，……，yj，……，ym）;輸出層輸出向量為O=（o1，o2，……，ok，……，ol）T;期望輸出向量為d=（d1，d2，……，dk，……，dl）T。輸入層到隱層之間的權值矩陣用V表示，V=（v1，v2，……，vj，vm），其中列向量Vj為隱層第j個神經元對應的權向量;隱層到輸出層之間的權值矩陣用W表示，W=（W1，W2，……，Wk，……，Wl），其中列向量Wk為輸出層第k個神經元對應的權向量。如圖3-1所示。

對輸出層，有

Ok=f（netk） k=1，2，…，l （1）

netk= k=1，2，…，l （2）

對于隱層，有

yj=f（netj） j=1，2，…，m （3）

netj= j=1，2，…，m （4）

以上兩式中，轉移函數f（x）均為單極性（或雙極性）sigmoid函數，f（x）具有連續、可導的特點。式（3.1）到式（3.4）共同構成了三層前饋網的數學模型。

圖1 三層BP網絡

三層前饋網絡的BP學習算法權值調整計算公式為：

（5）

（6）

其中：

（7）

對于一般多層前饋網，設共有h個隱層，按前向順序各隱層節點數分別記為m1，m2，…，mh，各隱層輸出分別記為y1，y2，…，yh，各層權值矩陣分別記為W1，W2，…，Wh，Wh+1，則各層權值調整計算公式為：

輸出層：

j=0，1，…，mh;k=1，2，… （8）

第h隱層：

i=0，1，…，mh-1;j=1，2，…，mh （9）

按以上規律逐層類推.則第一隱層權值調整計算公式：

p=0，1，…，n;j=1，2，…，m1 （10）

容易看出，BP學習算法中，各層權值調整公式形式上都是一樣的，均由3個因素決定，即：學習率η、本層輸出的誤差信號δ以及本層輸入信號Y（或X）。

4.基于MATLAB的BP神經網絡的實現

4.1 網絡的輸入層和輸出層設計

大量停電試驗和專門試驗的介損結果統計分析表明，電容型設備的介質損耗值的大小與環境等外界因素之間有著密切的關系。基于此，本文提出了基于環境等外界因素影響分析電容型設備絕緣狀況的BP神經網絡模型，其示意圖如圖2所示。

圖2 神經網絡模型示意圖

為了更好的體現輸入和輸出變量的相應關系，輸入層神經元應盡可能多采集與輸出量相關性大的信息。本文以某一時刻設備的電壓、電流、電容、環境溫度、濕度和介質損耗值所為網絡的輸入參數，所以網絡輸入層的神經元有6個。輸出層只有一個即預測時刻的介質損耗值，則輸出層只有一個神經元。

為了統一量綱和防止因凈輸入的絕對值過大而使神經元輸出飽和，繼而使權值調整進入誤差曲面的平坦區。BP神經網絡的訓練樣本在輸入網絡之前要進行必要的歸一化，也就是通過變換處理將網絡的輸入、輸出數據限制在[0，1]或[-l，1]區間內。歸一化方法有很多種形式，本文采用如下公式來進行樣本數據的歸一化：

令P為網絡的輸入向量，t為網絡的目標向量，p_test、t_test為網絡的測試樣本向量，利用MATLAB歸一化的代碼為：

歸一化后的輸入向量P

for i=1：6

P（i，：）=（p（i，：）-min（p（i，：）））/（max （p（i，：））-min（p（i，：）））;

end

歸一化后的輸入向量A

for i=1

T（i，：）=（t（i，：）-min（t（i，：）））/（max（t（i，：））-min（t（i，：）））;

end

測試樣本向量p_test和t-test的歸一化同輸入向量p和目標向量t的歸一化，歸一化后的向量為P_test和T_test。

4.2 隱層神經元數的選擇

在設計多層前饋網時，一般先考慮設一個隱層.當一個隱層的隱節點數很多仍不能改善網絡性能時，才考慮再增加一個隱層。由于本系統是一個比較小型的網絡，且各結點采用S型函數進行處理，故采用單隱層。

隱層的神經元數目選擇是一個非常復雜的問題，往往需要根據設計者的經驗和多次試驗來確定。隱單元的數目與問題的要求、輸入/輸出單元的數目都有直接的聯系。隱單元數目太多和會導致學習的時間過長、誤差不一定最佳，也會導致容錯性差、不能識別以前沒有看到的樣本。選擇最佳隱單元數的參考公式：

（1）

其中，k為樣本數，n1為隱單元數，n為輸入單元數。

（2）

其中，m為輸出神經元數，n為輸入神經元數，a為[1，10]之間的常數。

（3）

其中，n為輸入單元數。

由于單隱層BP網絡的非線性映射能力比較強，本文采用了單隱層的神經網絡，而中間層神經元個數需通過實驗來確定，輸入層神經元個數有6個，中間層神經元的個數選擇3個值，分別為13、15和20，并分別檢查網絡性能。通過實際的迭代訓練，設置多種不同的隱節點情況，用同一樣本集進行訓練，比較迭代訓練實驗的結果，從中確定網絡誤差最小時對應的神經元個數。

MATLAB代碼為：

隱層單元個數向量

a=[13 15 20];

for i=1：3

net=newff（threshold，[a（i），1]，{‘tansig’， ‘logsig’}，‘traindx’）;

net.trainparam.epochs=1000;

net.trainparam.goal=0.01;

init函數用于將網絡初始化

net=init（net）;

net=train（net，P，T）;

Y（i，：）=sim（net，P_test）;

end

figure;

繪制誤差曲線

中間神經元個數為13

polt（1：6，Y（1，：）-T_test）;

hold on;

中間神經元個數為15

polt（1：6，Y（2，：）-T_test）;

hold on;

中間神經元個數為20

polt（1：6，Y（3，：）-T_test）;

hold off;

通過3種情況下的誤差比較發現，中間層神經元個數為13、20時網絡的誤差比較大，當隱層節點數為15時，網絡誤差較小，收斂速度較快能得到最理想的輸出，網絡的預測性能最好。

通過上述分析，可以確定本文設計的神經網絡結構為6-15-1，網絡中間層的神經元傳遞函數，采用S型正切函數tansig，輸出層神經元傳遞函數采用S型對數函數logsig。這是因為函數的輸出位于區間[0，1]中，正好滿足網絡輸出的要求。

圖3 預測誤差對比曲線

本文所要解決的問題是根據環境等外界因素對設備的絕緣狀況進行預測，對網絡的訓練速度和穩定性有較高的要求，因此選擇traingdx函數作為訓練函數，該函數結合了動量梯度下降算法和自適應學習速率梯度下降算法。

該算法的基本過程為：首先計算出網絡的輸出誤差，然后在每次訓練結束之后，利用此時的學習率計算出網絡的權值和閾值，并且計算出網絡此時的輸出誤差。如果此時的輸出誤差與前一時刻的輸出誤差的比值大于預先定義的參數max_perf_inc，那么就減小學習率（通過乘以系數lr_dec來實現），反之，就增加學習率（通過乘以系數lr_inc來實現）。再重新計算網絡的權值和閾值以及輸出誤差，直到前后輸出誤差的比值小于參數max_perf_inc為止。

4.3 網絡學習速率和動量系數的選擇

學習速率大小的選擇，直接影響訓練時間，當學習速率的選擇不當，特別在嚴重時，將導致網絡完全不能訓練，這是因為1986年Rumelhart等人在證明BP訓練算法收斂中，假設了無限小的權重調節速率。實際上這是不可能的，因為這表示需要無限的訓練時間，所以，實際上必須選一個有限的學習速率大小，即η的值取0.01到1。一般來說要根據實驗或經驗來確定，還沒有一個理論指導。若η選得太小，收斂可能很慢：若η選得太大，可能出現麻痹現象。為了避免這種現象，通常會選擇減少η，但又會增加網絡的訓練時間。動量項可以加快BP算法的學習速度，但選項的時候應當注意避免學習時產生振蕩。

因此，本文在確定網絡的學習速率和動量系數的時候，采用不同的值的組合，利用55組訓練數據進行了若干次網絡的迭代訓練。本文根據比較結果確定學習速率為0.1，動量系數為0.7作為網絡訓練時的參數。

5.基于BP神經網絡介損值的預測應用

本文所建立的BP網絡是基于MATLAB中的GUI建立。圖形用戶界面GUI （Graphical User Interfaces）是神經網絡的工具箱提供的人機交互界面，它引導工程人員一步步的建立和訓練網絡，避免了代碼的編寫過程。借助圖形用戶界面GUI，可比直接利用工具箱函數更快捷和方便的完成神經網絡的設計與分析。

利用BP神經網絡理論和經過以上訓練得到的網絡參數，利用Matlab軟件提供的GUI構造出了基于環境等外界因素影響分析設備絕緣狀況的BP神經網絡模型。表1列出了本文研究中建立的BP網絡的各個參數和函數。

網絡所用的訓練數據和測試數據均出自于某110KV變電站主變套管的在線監測的數據]，本文采用其中的55組典型數據，其中50組數據用于網絡訓練（訓練次數為1000次，訓練目標為0.01），5組數據用于仿真預測，利用仿真函數獲得網絡的輸出，網絡的預測結果及誤差見表2，可見預測值與實際監測值之間的誤差非常小，能滿足實際要求。

表1 基于BP神經網絡的電容型設備絕緣診斷模型參數

名稱 參數

輸入層節點數 6

隱含層節點數 15

輸出層節點數 1

訓練函數 traingdx

學習函數 learngdm

學習速率 0.1

動量系數 0.7

表2 外界環境相同時介損值的實際值與預測值的對比

序號 電壓 電流 電容 溫度 濕度 實 際

介損值 預 測

介損值 誤差

1 119 7.047 326.479 18 50 0.003906 0.004025 0.000119

2 119 7.057 327.545 17 52 0.000440 0.004386 0.000014

3 118 7.022 328.078 17 55 0.003946 0.004108 0.000162

4 119 7.059 327.035 16 55 0.004471 0.004512 0.000041

5 119 7.069 327.406 17 59 0.003249 0.003178 0.000071

6.結束語

本章通過對BP網絡模型和學習算法的研究，深入分析了BP網絡在函數預測方面的優點，確定了用BP網絡來實現對容性設備介質損耗值的預測，得到的結論如下：

（1）通過對BP網絡結構的研究，將三層前向神經網絡結構進行了改進，適應了本文對介質損耗值的預測要求。

（2）BP網絡的預測結果的準確與否取決于學習樣本的優劣，本文根據實際情況選取了神經網絡的學習樣本并進行了仿真，結果表明該預測方法的誤差滿足工程誤差的要求，及基于人工神經網絡的介質損耗值的預測方法是可行的、正確的和有效的。

（3）數據預測具有一定的精度，但是還存在誤差，需選擇相關大的、較合理的輸入向量，還可以對網絡的結構和算法選擇方面進行改進，選擇更合適的訓練函數使其收斂速度更快，誤差更小。

參考文獻

[1]張寒，文習山，丁輝.用人工神經網絡預測基于泄漏電流、氣象因素的絕緣子等值附鹽密度預測[J].高壓電器，2003，39（6）：31-35.

[2]韓力群.人工神經網絡理論、設計及應用[M].北京：化學工業出版社，2002.

[3]閆志忠.BP神經網絡模型的改進及其應用研究[D].長春：吉林大學，2003.

[4]聞新.MATLAB神經網絡仿真與應用[M].北京：科學出版社，2000.

[5]許東，吳崢.基于MATLAB6.X的系統分析與設計-神經網絡（第二版）[M].西安：西安電子科技大學出版社，2002.

[6]叢爽.面向MATLAB工具箱的神經網絡理論與應用[M].合肥：中國科技大學出版社，1998