神經(jīng)網(wǎng)絡(luò)前向傳播算法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)前向傳播算法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)前向傳播算法范文

【關(guān)鍵詞】神經(jīng)網(wǎng)絡(luò)；配電網(wǎng)；線損

一、引言

線損是電能在傳輸過程中各個環(huán)節(jié)的損失，是供電量和售電量之間的差值。在電能的傳輸過程中造成部分電能的浪費，因此研究人員在不斷的探究新的降低線損的方法。將BP神經(jīng)網(wǎng)絡(luò)算法應(yīng)用到配電網(wǎng)的綜合降損中，為配電網(wǎng)降損研究做出了貢獻(xiàn)。

二、BP神經(jīng)網(wǎng)絡(luò)算法

BP神經(jīng)網(wǎng)絡(luò)包括輸入層、隱含層和輸出層，按照誤差逆向傳播的方式訓(xùn)練多層前饋網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程是信息的前向傳播和信息誤差的反向傳播兩項內(nèi)容。在信息前向傳播的過程中輸入層傳播到隱含層，信息由隱含層處理后再傳播到輸出層，這是信息逐層更新的過程。

BP神經(jīng)網(wǎng)絡(luò)算法是通過調(diào)整權(quán)重來實現(xiàn)使網(wǎng)絡(luò)輸出值逼近期望值的目的，BP神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)過程為：1.將各權(quán)重值和閥值設(shè)為最小正數(shù)；給定網(wǎng)絡(luò)一組輸入向量和目標(biāo)輸出向量；2.根據(jù)輸入向量計算實際輸出向量，即，將此輸出值送到下一層作為輸入；3.權(quán)重的調(diào)整是通過權(quán)重調(diào)整公式來實現(xiàn)；式中為增益相，為輸出誤差。在應(yīng)用BP神經(jīng)網(wǎng)絡(luò)解決問題前，除了了解它的學(xué)習(xí)過程外，還需要對其進(jìn)行訓(xùn)練，步驟如下：

1.對相應(yīng)的數(shù)據(jù)進(jìn)行初始化：期望誤差最小值：err_goal；最大循環(huán)次數(shù)：max_epoch；權(quán)值修正學(xué)習(xí)速率：lr，取0.01-0.6

2.完成一個訓(xùn)練樣本的學(xué)習(xí)后，將下一個學(xué)習(xí)樣本提供給網(wǎng)絡(luò)，以此類推完成全部的樣本訓(xùn)練。

3.從學(xué)習(xí)樣本中選取一組輸入和目標(biāo)樣本數(shù)據(jù)，然后再計算輸出向量，網(wǎng)絡(luò)全局誤差小于設(shè)定期望誤差為止，訓(xùn)練結(jié)束。

三、配電網(wǎng)綜合降損

將BP神經(jīng)網(wǎng)絡(luò)算法應(yīng)用到配電網(wǎng)的綜合降損中。以某地區(qū)一條10KV配電線路為例說明，此配電線路的拓?fù)浣Y(jié)構(gòu)如圖1所示，標(biāo)號1-13為負(fù)荷母線，Sl-S12為母線之間的聯(lián)絡(luò)開關(guān)，兩座變電站由A、B表示。選取l號負(fù)荷母線2013年12月前十天的負(fù)荷數(shù)據(jù)為訓(xùn)練數(shù)據(jù)，數(shù)據(jù)如表1所示。

表1 1號負(fù)荷母線12月前十天負(fù)荷數(shù)據(jù)

（一）負(fù)荷預(yù)測

采用BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)負(fù)荷預(yù)測的過程為：以當(dāng)天負(fù)荷段對應(yīng)的負(fù)荷點12個分量的數(shù)據(jù)為配電網(wǎng)的輸入向量，且輸出向量同樣為第二天12個分量的負(fù)荷數(shù)據(jù)，這樣就實現(xiàn)了為下一天負(fù)荷的預(yù)測。

用1號到9號的數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練函數(shù)設(shè)置為：net.trainParam.epochs=500；%訓(xùn)練次數(shù)設(shè)為500次；net.trainParam.goal=0.001；%訓(xùn)練目標(biāo)設(shè)為0.001；L.P.lr=0.05；%學(xué)習(xí)速率設(shè)為0.05；Net=train（net，P，T）；%P為輸入向量，1到5號的負(fù)荷數(shù)據(jù)；%T為輸出向量，6到10號的負(fù)荷數(shù)據(jù)。訓(xùn)練結(jié)果為：TRAINLM，Epoch0/500，MSE3.7989/0.001，Gradient1081.63/1e-010 TRAINLM，Epoch5/500，MSE0.000463846/0.001，Gradient7.38793/1e-010 TRAINLM，Performance goal met.

由此可見通過訓(xùn)練之后，預(yù)測數(shù)據(jù)和實測數(shù)據(jù)誤差為0.001，且基本無偏差，可很好的滿足實際應(yīng)用需求

圖2某地區(qū)10KV配電網(wǎng)線路

（二）配網(wǎng)重構(gòu)

根據(jù)負(fù)荷等級將圖1配電網(wǎng)線路中的13條母線分為7類，則有713種負(fù)荷模式，從713種負(fù)荷模式中選取4000個，以其中3000個數(shù)據(jù)作為訓(xùn)練集合，應(yīng)用BP神經(jīng)網(wǎng)絡(luò)算法對配電網(wǎng)進(jìn)行學(xué)習(xí)訓(xùn)練，另外1000個數(shù)據(jù)為測試集合，經(jīng)過46次訓(xùn)練后可達(dá)到誤差要求，訓(xùn)練結(jié)果為：

TRAINBFG-srchbac.Epoch0/500，MSE21.616/0.02，Gradient236.65/1e-006

TRAINBFG-srchbac.Epoch25/500，MSE0.026354/0.02，Gradient0.150609/1e-006

TRAINBFG-srchbac.Epoch46/500，MSE0.0199597/0.02，Gradient0.0677733/1e-006

TRAINBFG， Performance goal met.

以13條母線的某一時刻負(fù)荷的實測數(shù)據(jù)為依據(jù)，通過負(fù)荷預(yù)測網(wǎng)絡(luò)的預(yù)測得到下一時刻的負(fù)荷預(yù)測數(shù)據(jù)，并通過配電網(wǎng)重構(gòu)在預(yù)測時刻采用將圖1中開關(guān)S6斷開的模式運行則配電網(wǎng)線損為586.21kW，若采用將開關(guān)S7斷開的模式運行則線損為628.18kW，可見通過配電網(wǎng)重構(gòu)后線損降低了41.97kW，降低了約6.7%，提高了配電網(wǎng)的輸電效率。

四、結(jié)論

通過對BP神經(jīng)網(wǎng)絡(luò)算法的簡單介紹和學(xué)習(xí)、訓(xùn)練過程的分析，將BP神經(jīng)網(wǎng)絡(luò)算法應(yīng)用到配電網(wǎng)的綜合降損中，分別從負(fù)荷預(yù)測、配網(wǎng)重構(gòu)兩個方面說明了BP神經(jīng)網(wǎng)絡(luò)算法在配電網(wǎng)綜合降損可取的較為良好的降損效果。

參考文獻(xiàn)：

[1]顧勇.農(nóng)村10kV電網(wǎng)節(jié)能降損技術(shù)措施分析[J].電源技術(shù)應(yīng)用2012 （11）.

[2]趙傳輝.基于神經(jīng)網(wǎng)絡(luò)的配電網(wǎng)綜合節(jié)能降損技術(shù)[D].濟南：山東大學(xué)，2011.

作者簡介：

第2篇：神經(jīng)網(wǎng)絡(luò)前向傳播算法范文

關(guān)鍵詞:室內(nèi)定位;RSS; BP神經(jīng)網(wǎng)絡(luò);IEEE 802.11b

中圖分類號:TN911.23 文獻(xiàn)標(biāo)識碼:A

1 引 言

目前,室內(nèi)定位算法主要有以下幾種｡

1)Time of arrival(TOA)

TOA定位的基本原理是通過測量節(jié)點間電波傳播的時間來確定節(jié)點的位置｡

TOA算法要求參加定位的各個基站在時間上實現(xiàn)嚴(yán)格同步｡在室內(nèi)環(huán)境中,由于已知點到待測點的距離通常不遠(yuǎn),無線電波的傳播速度太快,且存在嚴(yán)重的多徑干擾,因此無法利用無線電波進(jìn)行測距｡目前,基于TOA的室內(nèi)定位技術(shù)通常是利用超聲波傳播速度較慢的特點(在20攝氏度時超聲波的傳播速度為343.38m/s),來測量出已知點和待測點間的距離,進(jìn)而求出待測點的位置[1]｡

2)GPS L1 Re-radiating

GPS(Global Positioning System)是70年代初由美國開發(fā)的衛(wèi)星導(dǎo)航定位系統(tǒng),本質(zhì)上它也是一個基于TOA的定位系統(tǒng)｡

GPS L1 Re-radiating是將GPS在L1頻段上的信號,通過戶外天線接收后,增益放大為室內(nèi)可接收信號,進(jìn)而基于GPS實現(xiàn)室內(nèi)定位｡

3)Received signal strength,RSS

RSS定位的基本原理是利用移動裝置偵測所接收到的無線電波信號強弱,然后根據(jù)經(jīng)驗?zāi)Ｐ突騌SS隨距離衰減的模型來推斷節(jié)點間的距離,進(jìn)而實現(xiàn)定位[2]｡

該技術(shù)主要使用無線網(wǎng)絡(luò)本身的無線電信號來定位,不需額外添加硬件,是一種低功率､廉價的定位技術(shù)[3]｡

基于信號強度的室內(nèi)定位方法分為經(jīng)驗?zāi)Ｐ头ê托盘査p模型法｡

(1)經(jīng)驗?zāi)Ｐ头?/p>

在經(jīng)驗?zāi)Ｐ头ㄖ?將RSSI數(shù)據(jù)轉(zhuǎn)換為位置信息的方法主要有判定法和概率法兩種｡

(2)信號衰減模型法

信號衰減模型法則無需實地測量位置和RSSI,而是依據(jù)信號強度和距離的特定關(guān)系,結(jié)合三角測量法,根據(jù)來自三個(或以上)AP的RSSI來計算出待測點的位置｡

基于TOA的定位模型在開放的室外環(huán)境中非常有效,但在室內(nèi)環(huán)境卻存在一些問題｡使用超聲波雖可克服無線電波傳輸速度快的問題,但需構(gòu)建專門的超聲波系統(tǒng)｡GPS也主要是針對戶外目標(biāo)設(shè)計的定位系統(tǒng),應(yīng)用于室內(nèi)存在定位精度不高等問題｡基于RSS的定位模型中,經(jīng)驗法需進(jìn)行大量的實地測量,同時無法保護(hù)定位用戶的隱私;而信號衰減法在室內(nèi)受NLOS(非視距傳播)等因素影響,也使得定位精度較低｡

因此,本文提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型并借助MATLAB 7.0加以實現(xiàn)｡采用該方法進(jìn)行室內(nèi)定位,不需要WLAN以外的其他資源｡由于不需要知道定位節(jié)點和建筑物的詳細(xì)特性,用戶的隱私將隨之得到完全的保護(hù)｡

2 基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型

BP神經(jīng)網(wǎng)絡(luò)通常是指基于誤差反向傳播算法(Backpropagation)的多層前向神經(jīng)網(wǎng)絡(luò),目前,該算法已成為應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[4]｡

BP神經(jīng)網(wǎng)絡(luò)采用的是并行網(wǎng)絡(luò)結(jié)構(gòu),包括輸入層､隱含層和輸出層,經(jīng)作用函數(shù)后,再把隱節(jié)點的輸出信號傳遞到輸出節(jié)點,最后給出輸出結(jié)果｡該算法的學(xué)習(xí)過程由信息的前向傳播和誤差的反向傳播組成｡在前向傳播的過程中,輸入信息從輸入層經(jīng)隱含層逐層處理,并傳向輸出層｡第一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)｡如果在輸出層得不到期望的輸出結(jié)果,則轉(zhuǎn)入反向傳播,將誤差信號(目標(biāo)值與網(wǎng)絡(luò)輸出之差)沿原來的連接通道返回,通過修改各層神經(jīng)元權(quán)值,使得誤差均方最小｡神經(jīng)網(wǎng)絡(luò)理論已經(jīng)證明BP神經(jīng)網(wǎng)絡(luò)具有強大的非線性映射能力和泛化功能,任一連續(xù)函數(shù)或映射均可采用三層網(wǎng)絡(luò)加以實現(xiàn)｡

計算技術(shù)與自動化2007年6月第26卷第2期李 瑛等:一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型2.1 樣本數(shù)據(jù)的采集和處理

輸入向量為待測點收到的來自至少三個不同位置AP的RSSI值,輸出向量為待測點的坐標(biāo)值(X,Y)｡

樣本采集在一個10mX10m的室內(nèi)場地中進(jìn)行｡使用3個來自SMC公司的AP和1臺配置了ORiNOCO PC CARD的筆記本電腦｡AP及無線網(wǎng)卡符合并工作在IEEE 802.11b標(biāo)準(zhǔn)下｡筆記本電腦所使用的操作系統(tǒng)為RedHat Linux 9.0｡樣本均勻分布在6mx6m的中心區(qū)域中｡

2.2 網(wǎng)絡(luò)結(jié)構(gòu)的確定

Kolmogorov定理已經(jīng)證明[5],任意一連續(xù)函數(shù)可由一個三層BP 網(wǎng)絡(luò)來實現(xiàn)｡雖然研究表明三層以上的BP網(wǎng)絡(luò)可以減少隱含層節(jié)點數(shù),提高計算效率,但在缺乏理論指導(dǎo)的BP網(wǎng)絡(luò)設(shè)計中這樣做容易使問題趨向復(fù)雜化｡因此選擇三層BP神經(jīng)網(wǎng)絡(luò),即只有1個隱含層的BP神經(jīng)網(wǎng)絡(luò)｡

該網(wǎng)絡(luò)輸入層的節(jié)點數(shù)由輸入向量的維數(shù)決定,輸入向量的維數(shù)是3,所以輸入層節(jié)點數(shù)確定為3個｡輸出層節(jié)點數(shù)由輸出向量的維數(shù)決定,這里輸出節(jié)點數(shù)為2 ｡

隱含層節(jié)點數(shù)的選擇在BP網(wǎng)絡(luò)設(shè)計中是一個難點,目前還沒有理論上的指導(dǎo)｡過多的網(wǎng)絡(luò)節(jié)點會增加訓(xùn)練網(wǎng)絡(luò)的時間,也會使網(wǎng)絡(luò)的泛化能力減弱,網(wǎng)絡(luò)的預(yù)測能力下降｡然而網(wǎng)絡(luò)節(jié)點過少則不能反映后續(xù)值與前驅(qū)值的相關(guān)關(guān)系,建模不充分｡經(jīng)反復(fù)試驗,將隱含層節(jié)點數(shù)定為30,這樣形成了一個3-30-2結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò),如圖1所示｡

2.3 學(xué)習(xí)算法的選擇

基本BP 算法采用梯度下降法使得誤差均方(mse)趨向最小,直至達(dá)到誤差要求｡但在實際應(yīng)用中,存在收斂速度慢､局部極值等缺點｡Matlab 7.0神經(jīng)網(wǎng)絡(luò)工具箱中提供了十多種快速學(xué)習(xí)算法,一類是采用啟發(fā)式學(xué)習(xí)方法,如引入動量因子的traingdm 算法､變速率學(xué)習(xí)算法traingda ､“彈性”學(xué)習(xí)算法trainrp等;另一類采用數(shù)值優(yōu)化方法,如共軛梯度學(xué)習(xí)算法traincgf 等｡本研究選擇traincgf 算法｡該算法在不增加算法復(fù)雜性的前提下,可以提高收斂速度,并且可沿共扼方向達(dá)到全局最小點,較好地解決了經(jīng)典BP算法所存在的收斂速度慢和可能出現(xiàn)局部最優(yōu)解的問題｡

2.4 BP神經(jīng)網(wǎng)絡(luò)的初始化､訓(xùn)練與仿真

1)建立網(wǎng)絡(luò)

net==newff(P3,[30,2],{′tansig′,′purelin′},′traincgf′)

newff()為建立BP 神經(jīng)網(wǎng)絡(luò)的函數(shù);P3為6維矩陣,表示3維輸入向量中每維輸入的最小值和最大值之間的范圍｡[30,2]表示隱層節(jié)點數(shù)是30,輸出層節(jié)點數(shù)是2,{′tansig′,′purelin′}表示隱含層中的神經(jīng)元采用tansig轉(zhuǎn)換函數(shù),輸出層采用purelin函數(shù),′traincgf′表示選擇的學(xué)習(xí)算法｡

2)權(quán)重和閾值初始化

net==init(net)

給各連接權(quán)重LW{1,1}､LW{2,1}及閾值b{1}､b{2}賦予(-1,+1)間的隨機值｡

3)訓(xùn)練

[net,tr]=train(net,P,T)

P為輸入向量,T為目標(biāo)向量,根據(jù)網(wǎng)絡(luò)學(xué)習(xí)誤差逆?zhèn)鬟f算法,利用阻尼最小二乘算法迭代,由前一次訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重及閾值訓(xùn)練得到新的網(wǎng)絡(luò)權(quán)重及閾值｡

為了使生成的BP網(wǎng)絡(luò)對輸入向量有一定的容錯能力,最好的方法是既使用理想的信號又使用帶有噪聲的信號對網(wǎng)絡(luò)進(jìn)行訓(xùn)練｡具體做法是先用理想的輸入信號對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,直到起平方和誤差足夠小;然后,使用20組理想信號和帶有噪聲的信號對網(wǎng)絡(luò)進(jìn)行訓(xùn)練｡經(jīng)過上述訓(xùn)練后,網(wǎng)絡(luò)對無誤差的信號也可能會采用對付帶有噪聲信號的辦法,這樣會導(dǎo)致很大的代價,因此,需要采用理想的向量對網(wǎng)絡(luò)再次訓(xùn)練,以保證網(wǎng)絡(luò)能對理想信號作出最好的反應(yīng)｡

使用函數(shù)traincgf對網(wǎng)絡(luò)進(jìn)行訓(xùn)練時,當(dāng)網(wǎng)絡(luò)平方和誤差小于3時停止網(wǎng)絡(luò)的訓(xùn)練｡訓(xùn)練過程中的誤差變化情況如圖2所示｡

根據(jù)訓(xùn)練后的網(wǎng)絡(luò)及輸入向量進(jìn)行仿真輸出｡

3 實驗結(jié)果及分析

利用訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了36次定位,并統(tǒng)計了36次定位的平均誤差,結(jié)果如圖3所示｡

與利用信號衰減模型定位相比(如圖4所示),利用BP神經(jīng)網(wǎng)絡(luò)定位具有更高的統(tǒng)計精度｡

與信號衰減模型相比,雖然BP神經(jīng)網(wǎng)絡(luò)的模型解釋直觀性略有不足,但卻可獲得更精確的定位結(jié)果｡

利用BP神經(jīng)網(wǎng)絡(luò),雖然可解決傳統(tǒng)處理方法所不能處理的非線性映射問題,但在實際應(yīng)用中,對如何選擇和確定一個合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)沒有確切的理論指導(dǎo),只能通過試驗―調(diào)整―再試驗的過程來確定一個合適的網(wǎng)絡(luò)結(jié)構(gòu)｡同時,BP神經(jīng)網(wǎng)絡(luò)的隱含層作用機理和隱含層節(jié)點個數(shù)的選擇是BP神經(jīng)網(wǎng)絡(luò)的難點問題｡隱含層的節(jié)點個數(shù)的選擇需反復(fù)進(jìn)行試驗,當(dāng)多次輸出結(jié)果在一定誤差范圍內(nèi)時才可確定｡

4 結(jié)束語

本文提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型,并在基于IEEE 802.11b標(biāo)準(zhǔn)的WLAN環(huán)境中對此模型進(jìn)行了測試｡一個基于信號衰減模型的定位算法也在同樣的環(huán)境中進(jìn)行了測試｡對比結(jié)果表明,利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行室內(nèi)定位能取得更好的定位精度｡

第3篇：神經(jīng)網(wǎng)絡(luò)前向傳播算法范文

【關(guān)鍵詞】短期負(fù)荷預(yù)測；BP神經(jīng)網(wǎng)絡(luò)；模擬退火算法

0 引言

電力的短期負(fù)荷預(yù)測是電力系統(tǒng)的一項重要工作，是實現(xiàn)供電可靠、經(jīng)濟管理的基礎(chǔ)。由于電力負(fù)荷受到很多因素的影響，負(fù)荷預(yù)測方法發(fā)展至今，雖然已經(jīng)積累了很多經(jīng)驗，但是還沒有一種可靠的模型實用于不同地區(qū)。本文針對某市電力負(fù)荷的特點，提出了模擬退火B(yǎng)P神經(jīng)網(wǎng)絡(luò)電力短期負(fù)荷預(yù)測模型。經(jīng)驗證，該模型在實現(xiàn)負(fù)荷預(yù)測方面的可行性。

1 BP神網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)理論的研究始于1890年美國著名心理學(xué)家W.James關(guān)于人腦結(jié)構(gòu)與功能的研究，至今已提出過許多網(wǎng)絡(luò)模型，其中用于預(yù)測的網(wǎng)絡(luò)主要是BP神經(jīng)網(wǎng)絡(luò)。這是因為BP神經(jīng)網(wǎng)絡(luò)主要有以下特點：（1）較強的非線性映射能力；（2）很好的泛化能力；（3）很強的容錯能力和學(xué)習(xí)能力。

D.E. Ru melhart和J.L. Mc Cella nd及其研究小組于1986年研究并設(shè)計出來BP神經(jīng)網(wǎng)絡(luò)（Back-propagationN eutralN etwork）是一種基于誤差反向傳播（BP算法）的多層前向神經(jīng)網(wǎng)絡(luò)，采用有導(dǎo)師的訓(xùn)練方式。BP算法的學(xué)習(xí)過程包括信號的正向傳播與誤差的反向傳播兩個過程。三層BP網(wǎng)絡(luò)是一種應(yīng)用很普遍的神經(jīng)網(wǎng)絡(luò)，它包括輸入層、隱層和輸出層，如圖1所示，輸入層神經(jīng)元的個數(shù)為輸入信號的維數(shù)，隱含節(jié)點的個數(shù)視具體情況而定，輸出層神經(jīng)元的個數(shù)為輸出信號的維數(shù)。BP網(wǎng)絡(luò)的工作流程見圖2所示。

圖1 BP神經(jīng)網(wǎng)絡(luò)

誤差的反向傳播是BP網(wǎng)絡(luò)的一大特點，但是，該網(wǎng)絡(luò)也存在以下一些主要缺陷：（1）訓(xùn)練次數(shù)太多，效率較低；（2）易于陷入局部極小而不能實現(xiàn)全局最優(yōu)。針對這些缺點，本文利用模擬退火算法對BP網(wǎng)絡(luò)進(jìn)行改進(jìn)。

2 模擬退火算法

1953年Metropolis等提出的模擬退火算法 （Simulated Annealing，簡稱SA）能夠近似求解具有NP復(fù)雜性的問題，可以避免陷入局部極小的問題。模擬退火算法主要包括狀態(tài)產(chǎn)生函數(shù)、狀態(tài)接受函數(shù)、溫度更新函數(shù)、內(nèi)循環(huán)終止準(zhǔn)則和外循環(huán)終止準(zhǔn)則。

其工作過程如圖3所示。

圖2 BP網(wǎng)絡(luò)的工作過程

圖3 模擬退火算法的流程圖

3 神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測模型

本文設(shè)計的預(yù)測模型中BP神經(jīng)網(wǎng)絡(luò)的輸入層共有8個輸入端，分別用來輸入待測日前四天對應(yīng)時刻的負(fù)荷，以及天氣因素中的最低溫度、最高溫度、降雨量和日期類型；因為本模型的輸出為對應(yīng)時刻的負(fù)荷，故輸出層只有一個輸出端；隱含節(jié)點的最佳個數(shù)現(xiàn)在沒有一個具體的方法或者公式來確定，通過實驗，本文最終取9個隱含節(jié)點。該模型工作流程見圖4所示。

4 驗證

本文利用該模型及單一的BP神經(jīng)網(wǎng)絡(luò)模型來預(yù)測某市的負(fù)荷。由于預(yù)測過程中所用的數(shù)據(jù)性質(zhì)不同，大小差別很大，因此在使用之前，需要對數(shù)據(jù)進(jìn)行歸一化處理，對預(yù)測結(jié)果需要進(jìn)行還原。本文所用的轉(zhuǎn)移函數(shù)均為單極性Sigmoid函數(shù)。利用歷史數(shù)據(jù)，進(jìn)行預(yù)測，預(yù)測結(jié)果見圖5所示。預(yù)測誤差分布見圖6所示。

圖4 預(yù)測模型工作流程

圖5 預(yù)測結(jié)果

圖6 預(yù)測誤差

通過以上預(yù)測結(jié)果可知，利用該模型在預(yù)測結(jié)果的準(zhǔn)確性方面，比單一BP神經(jīng)網(wǎng)絡(luò)具有很大的優(yōu)勢，同時也驗證了該模型的可行性。

5 結(jié)論

針對單一的BP神經(jīng)網(wǎng)絡(luò)的缺點，本文利用模擬退火算法來優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，經(jīng)驗證，該方法是可行的。

【參考文獻(xiàn)】

[1]朱興統(tǒng).基于SA-LSSVM的電力短期負(fù)荷預(yù)測[J].科學(xué)技術(shù)與工程，2012，12（24）：6171-6173.

[2]師彪，李郁俠，于新花，等.基于改進(jìn)粒子群模糊神經(jīng)網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測[J].系統(tǒng)工程理論與實踐，2010，30（1）：157-166.

[3]李慧，王來運.基于混沌蟻群算法的電力短期負(fù)荷預(yù)測[J].北京信息科技大學(xué)學(xué)報，2011，26（4）：40-43.

第4篇：神經(jīng)網(wǎng)絡(luò)前向傳播算法范文

關(guān)鍵詞： Matlab； 串聯(lián)BP； 多函數(shù)擬合； 自定義網(wǎng)絡(luò)

中圖分類號： TN911?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2013）22?0014?03

0 引 言

BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland提出的，它是一種誤差按反向傳播的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP神經(jīng)網(wǎng)絡(luò)具有非常強的非線性映射能力，能以任意精度逼近任意連續(xù)函數(shù)，因此在人工智能的許多領(lǐng)域都得到了廣泛的應(yīng)用，如函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮等領(lǐng)域[1?2]。由于目前一個神經(jīng)網(wǎng)絡(luò)只能同時對一個函數(shù)進(jìn)行擬合，針對此本文提出了一直串聯(lián)BP網(wǎng)絡(luò)同時實現(xiàn)兩個函數(shù)的擬合。

1 BP網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)算法

BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最廣泛的拓?fù)浣Y(jié)構(gòu)。BP模型是一種多層前向網(wǎng)絡(luò)，這里采用的是三層BP神經(jīng)網(wǎng)絡(luò)模型，它由輸入層、隱層和輸出層組成，其結(jié)構(gòu)如圖1所示，分別為：

（1）輸入層節(jié)點，其輸出等于[xi]（[i]=1，2，…，n），將控制變量值傳輸?shù)诫[含層；

（2）隱層節(jié)點[j]，其輸入[hj]，輸出[oj] 分別為：

[hj=i=1nwjxi-θj=i=1n+1wjxi]

[oj=f（hj）]

（3）輸出節(jié)點[k]，其輸入[hk]，輸出[ok] 分別為：

[hk=j=1m+1wjkoj]

[ok=f（hk）]

式中：[k]=1，2，…，[l]；[f]為傳輸函數(shù)。

BP算法分兩步進(jìn)行，即正向傳播和反向傳播[3]。

（1）正向傳播

輸入的樣本從輸入層經(jīng)過隱單元逐層進(jìn)行處理，通過所有的隱層之后，在傳向輸出層。在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過程。

（2）反向傳播

反向傳播時，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號趨向最小[4]。

2 BP網(wǎng)絡(luò)的串聯(lián)模型

神經(jīng)網(wǎng)絡(luò)串聯(lián)即由兩個或兩個以上的神經(jīng)網(wǎng)絡(luò)串聯(lián)所組成的新型網(wǎng)絡(luò)模型，用于串聯(lián)的各神經(jīng)網(wǎng)絡(luò)稱為子神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)串聯(lián)模型中的各子神經(jīng)網(wǎng)絡(luò)首尾相連，如圖2所示。

假設(shè)總的神經(jīng)網(wǎng)絡(luò)由k個子神經(jīng)網(wǎng)絡(luò)串聯(lián)而成，即第一個神經(jīng)網(wǎng)絡(luò)的輸出作為第二個神經(jīng)網(wǎng)絡(luò)的輸入，第二個神經(jīng)網(wǎng)絡(luò)的輸出做為第三個神經(jīng)網(wǎng)絡(luò)的輸入，以此類推下去。每一個子神經(jīng)網(wǎng)絡(luò)均由同類型的神經(jīng)網(wǎng)絡(luò)構(gòu)成，在本文中，每一個子網(wǎng)絡(luò)都采用最常用的BP神經(jīng)網(wǎng)絡(luò)，其子網(wǎng)絡(luò)的構(gòu)建都遵循現(xiàn)有的BP網(wǎng)絡(luò)的構(gòu)建形式，其基本的子網(wǎng)絡(luò)結(jié)構(gòu)采用三層模式，一個輸入層，一個隱含層和一個輸出層[5?6]。

通過Matlab神經(jīng)網(wǎng)絡(luò)工具箱的自定義的方法來實現(xiàn)兩個子BP網(wǎng)絡(luò)的串聯(lián)。

部分程序如下所示：

net=network；

net.numinputs=2；

net.numlayers=6；

net.biasConnect=[1；1；1；1；1；1]；

net.inputConnect=[1 0；0 0；0 0；0 1；0 0；0 0]；

net.layerConnect=[ 0 0 0 0 0 0；1 0 0 0 0 0 ；0 1 0 0 0 0；

0 0 1 0 0 0 ；0 0 0 1 0 0；0 0 0 0 1 0]；

net.outputConnect=[ 0 0 1 0 0 1]；

網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖3所示，其中每個子網(wǎng)絡(luò)的隱含層節(jié)點為20個，傳遞函數(shù)為tansig，輸出層采用線性函數(shù)[7]。

3 實驗測試與分析

運用本串聯(lián)BP網(wǎng)絡(luò)在Matlab 2011的環(huán)境中同時對兩個目標(biāo)函數(shù)進(jìn)行擬合。其目標(biāo)函數(shù)為：

目標(biāo)函數(shù)1：

[y=sin x]

目標(biāo)函數(shù)2：

[y=x（1-16x2）e-x]

訓(xùn)練樣本輸入的設(shè)置：輸入樣本p={p1’，p1’}其中p1=[-1：0.05：1]，目標(biāo)向量T={t1’；t2’}，其中t1= sin（3*pi*p1），t2= p1.*（1-1/6*p1.^2）.*exp（-p1）。并加入噪聲t3=sin（3*pi*p1）+0.15*randn（size（p1））；t4=t2+0.15*randn（size（p1））；T={[t3]’；[t4]’}；對其進(jìn)行訓(xùn)練仿真[8?10]。

網(wǎng)絡(luò)的輸出y包含了兩個待擬合函數(shù)的擬合后的數(shù)據(jù)通過下面操作：

y1=cell2mat（y）；

y2=y1’；

a=y2（1：1：41）；

b=y2（42：1：82）；

得到各自的擬合數(shù)據(jù)。

仿真結(jié)果如圖4～圖6所示。

由圖4、圖5仿真擬合曲線與待擬合函數(shù)曲線的比較可以看出此串聯(lián)網(wǎng)絡(luò)在通過加噪聲的訓(xùn)練樣本訓(xùn)練后能夠很好的對兩個待擬合函數(shù)進(jìn)行擬合。由圖6知在經(jīng)過342次訓(xùn)練后其誤差達(dá)到了0.000 978。可見，通過此串聯(lián)BP神經(jīng)網(wǎng)絡(luò)準(zhǔn)確地擬合了待擬合函數(shù)曲線。

4 結(jié) 語

通過以上敘述可以看出本文設(shè)計的串聯(lián)神經(jīng)網(wǎng)絡(luò)能夠和好地對函數(shù)曲線進(jìn)行擬合，為同時實現(xiàn)多函數(shù)曲線的擬合提供了新的方法。

參考文獻(xiàn)

[1] 張雨濃，蔡炳煌.人工神經(jīng)網(wǎng)絡(luò)研究進(jìn)展及過程[M].北京：電子工業(yè)出版社，2010.

[2] 蔣正金，汪曉東，端木春江.采用BP神經(jīng)網(wǎng)絡(luò)擬合光纖位移傳感器特性曲線[J].微型機與應(yīng)用，2012，31（4）：67?69.

[3] 郭軍.BP神經(jīng)網(wǎng)絡(luò)算法研究[D].武漢：華中科技大學(xué)，2005.

[4] 賈麗會，張修如.BP算法分析與改進(jìn)[J].計算機技術(shù)與發(fā)展，2006，16（10）：102?107.

[5] 劉華，高大啟.RBF_LBF 串聯(lián)神經(jīng)網(wǎng)絡(luò)的分類應(yīng)用及其學(xué)習(xí)算法[J].計算機應(yīng)用，2004，24（10）：100?104.

[6] 鄧秋香.神經(jīng)網(wǎng)絡(luò)串并聯(lián)學(xué)習(xí)算法在B超圖像識別中的應(yīng)用[D].武漢：武漢理工大學(xué)，2008.

[7] 張德豐.Matlab神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計[M].北京：機械工業(yè)出版社，2012.

[8] 陳小宇，喬翠蘭，汪瑞祥，等.基于BP算法神經(jīng)網(wǎng)絡(luò)的物理實驗曲線擬合[J].物理實驗，2002，22（9）：10?13.

[9] 李潔.BP網(wǎng)絡(luò)的算法及在Matlab上的程序仿真[J].西安航空技術(shù)高等專科學(xué)校學(xué)報，2009，27（1）：42?43.

第5篇：神經(jīng)網(wǎng)絡(luò)前向傳播算法范文

經(jīng)過長期不懈努力，科學(xué)家認(rèn)為可以從仿制人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能出發(fā)，研究人類智能活動和認(rèn)識現(xiàn)象。然而，客觀現(xiàn)實世界是紛繁復(fù)雜的，非線性情況隨處可見，人腦神經(jīng)系統(tǒng)更是如此。為了更好地認(rèn)識客觀世界，我們必須對非線性科學(xué)進(jìn)行研究。人工神經(jīng)網(wǎng)絡(luò)作為一種非線性的、與大腦智能相似的網(wǎng)絡(luò)模型，就這樣應(yīng)運而生了。因此，首先對人工神經(jīng)網(wǎng)絡(luò)進(jìn)行了概述；而后重點描述BP網(wǎng)絡(luò)模型，對其基于彈性BP算法的BP網(wǎng)絡(luò)設(shè)計與實現(xiàn)；最后，對網(wǎng)絡(luò)的訓(xùn)練和測試進(jìn)行了簡單的分析。

關(guān)鍵詞：

人工神經(jīng)網(wǎng)絡(luò)；數(shù)學(xué)模型；策略

神經(jīng)系統(tǒng)，是人體器官的一種較為復(fù)雜的系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)是對人腦的神經(jīng)結(jié)構(gòu)與機制進(jìn)行模擬，是一種區(qū)別于符號推理以及邏輯思維的人工智能技術(shù)。人工神經(jīng)網(wǎng)絡(luò)是基于現(xiàn)代神經(jīng)生物學(xué)和認(rèn)知科學(xué)對人類信息處理研究成果的基礎(chǔ)上研發(fā)的，用來模擬生物神經(jīng)系統(tǒng)對真實世界的物體來做出反應(yīng)。除此之外，它還屬于一種大規(guī)模自適應(yīng)的非線性動力學(xué)系統(tǒng)，具備非常強的聯(lián)想記憶和自主學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)具有非線性映射、模式識別、函數(shù)逼近、聚類分析、數(shù)據(jù)壓縮以及優(yōu)化設(shè)計的功能，并且在穩(wěn)定性、收斂性等方面都有良好的性質(zhì)，被廣泛應(yīng)用于信息處理、模式識別、計算機視覺、優(yōu)化計算、智能控制等各個領(lǐng)域中。

一、人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)，可以稱之為神經(jīng)網(wǎng)絡(luò)或者鏈接模型，是屬于一種對人腦或者自然神經(jīng)網(wǎng)絡(luò)的若干個基本特性進(jìn)行抽象和模擬的網(wǎng)絡(luò)?，F(xiàn)階段人工神經(jīng)網(wǎng)絡(luò)的研究成果基礎(chǔ)是對大腦的模擬研究，是為了模擬大腦當(dāng)中的某些機理與機制，實現(xiàn)某個方面的功能而進(jìn)行專項研究的。人工神經(jīng)網(wǎng)絡(luò)具有可以充分逼近任意復(fù)雜的非線性關(guān)系，對于定量或者定性的信息會采用并行分布的處理方式，使其可以大量并且快速進(jìn)行運算、適應(yīng)不確定的系統(tǒng)和對定量以及定性信息進(jìn)行同一時間的處理。人工神經(jīng)網(wǎng)絡(luò)的優(yōu)越性表現(xiàn)在三方面，具有自主學(xué)習(xí)的能力，具有聯(lián)想存儲的能力，具有高速尋找并且尋找優(yōu)化方式的能力。對人工神經(jīng)網(wǎng)絡(luò)的研究，可以分為理論研究和應(yīng)用研究兩個方面的研究。在理論研究中，可以利用神經(jīng)生理與認(rèn)知科學(xué)對人類的思維以及智能機理進(jìn)行相關(guān)研究，還可以利用人腦神經(jīng)的基礎(chǔ)理論研究成果，用數(shù)理方法對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行更加完善、更加優(yōu)越的探索。在應(yīng)用研究方面，神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)對軟件的模擬和對硬件的科學(xué)研究。而且，神經(jīng)網(wǎng)絡(luò)在各個領(lǐng)域中也都得到了廣泛的研究，例如模式識別、信號處理、知識工程、專家系統(tǒng)、優(yōu)化組合以及機器人控制等領(lǐng)域。

現(xiàn)行的數(shù)理知識是建立在集合論的基礎(chǔ)上的，隨著數(shù)學(xué)階段的發(fā)展，對于人類系統(tǒng)的行為，或者對于人類復(fù)雜系統(tǒng)，比如航天系統(tǒng)、人腦系統(tǒng)以及社會系統(tǒng)等方面，其中的參數(shù)和變量有很多，各種因素也是相互交錯的，因此，系統(tǒng)是相當(dāng)復(fù)雜的，相對的模糊性也會顯得非常明顯。就認(rèn)識方面來講，可以用模糊性這個詞語來概括概念外延的不確定性。因此，模糊數(shù)學(xué)的概念應(yīng)運而生，主要的研究內(nèi)容包括三個方面。首先，可以對模糊數(shù)學(xué)的理論進(jìn)行精確研究，其中包含著與精確數(shù)學(xué)以及隨機數(shù)學(xué)的關(guān)系；其次，還需要研究模糊語言學(xué)和模糊邏輯，人類的自然語言都是具有模糊性的，人們經(jīng)常會接收到迷糊語言和模糊的信息，并且可以對其做出正確的判斷和辨別。因此，為了可以使得自然語言和計算機語言的直接對話，就必須把人類的自然語言和思維的過程提煉成為數(shù)學(xué)模型來對計算機進(jìn)行指令，這樣就可以建立模糊數(shù)學(xué)的模型樣本，通過運用此種方式，建立的就是模糊數(shù)學(xué)的模型，也是運用數(shù)學(xué)方法的關(guān)鍵之所在。最后，研究模糊數(shù)學(xué)的應(yīng)用，模糊數(shù)學(xué)的研究對象通常是以不確定的事物為主的。模糊的集合通常都是通過數(shù)學(xué)來適用描述的復(fù)雜的事物，將研究的對象數(shù)學(xué)化，將其中的不確定性很好地和抽象的數(shù)學(xué)溝通起來，達(dá)到形象生動直觀的效果。

二、BP網(wǎng)絡(luò)模型

1.BP網(wǎng)概述BP算法，是由PallWerbas博士在1974年首次提出的，即為誤差逆?zhèn)鞑W(xué)習(xí)算法，而對于此算法完整的提出是在1986年由Rumelhart和McCelland為首的科學(xué)家小組提出來的。后來，人們把BP算法在進(jìn)行訓(xùn)練之前的前饋型的神經(jīng)網(wǎng)絡(luò)稱之為BP網(wǎng)絡(luò)，逐漸以其簡潔、實用和高度的非線性映射能力成為流行的網(wǎng)絡(luò)模型，在信號處理、模式識別、系統(tǒng)辨識以及數(shù)據(jù)壓縮中都有廣泛的應(yīng)用。在人工神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用過程當(dāng)中，大部分的模型會采用BP網(wǎng)絡(luò)或者它所擁有的變化形式，屬于前向網(wǎng)絡(luò)中的基礎(chǔ)核心部分，屬于人工神經(jīng)網(wǎng)絡(luò)中的精華部分。2.BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)BP網(wǎng)絡(luò)屬于一種前向型神經(jīng)網(wǎng)絡(luò)，其中的神經(jīng)網(wǎng)絡(luò)具有三層或者三層以上，可以對上下層之間的神經(jīng)元進(jìn)行全部的連接，也就是說下層的每一個神經(jīng)元可以和上層的每一個神經(jīng)元實現(xiàn)連接，但是在同層之間的神經(jīng)元是沒有辦法相連的。3.BP網(wǎng)絡(luò)的工作原理以及過程對于BP網(wǎng)絡(luò)的學(xué)習(xí)可以有兩個階段。首先，需要學(xué)習(xí)信號的正向傳播過程。當(dāng)一對學(xué)習(xí)的模式進(jìn)行網(wǎng)絡(luò)提供之后，神經(jīng)元的激活值就會從輸入層當(dāng)中的各隱含層向輸出層中進(jìn)行傳播，并且在輸出層的各個神經(jīng)元內(nèi)會相應(yīng)地輸入響應(yīng)值。其次，是對正方向的傳播過程進(jìn)行誤差的修正，如果在輸出層中的輸出值和預(yù)期的有偏差，就會對實際輸入與期望輸出之間的誤差進(jìn)行逐層遞歸的計算，計算方向會按照減小期望輸出和實際輸出之間的誤差方向。對輸出層之間的各個隱含層進(jìn)行每一層的連接權(quán)進(jìn)行逐層的修正，最后再回到輸入層，這個循環(huán)的過程就稱之為“誤差逆?zhèn)鞑W(xué)習(xí)算法”?，F(xiàn)階段，這種誤差傳播的修正方式在不斷地進(jìn)行創(chuàng)新修正，網(wǎng)絡(luò)對應(yīng)的輸入模式相應(yīng)的正確率也會隨著算法的不斷發(fā)展得到相對應(yīng)地提高。4.算法流程BP的算法流程如圖2。

三、基于彈性BP算法的BP網(wǎng)設(shè)計與實現(xiàn)

1.BP網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計在1989年，RobertHecht-Nielson證明了在任何一個閉區(qū)間當(dāng)中的一個連續(xù)的函數(shù)都可以用一個隱含層的BP網(wǎng)絡(luò)來進(jìn)行逼近，這就導(dǎo)致了用一個3層的BP網(wǎng)絡(luò)可以完成任意的從N到M維的映射。輸入層節(jié)點的點數(shù)是根據(jù)樣本的輸入特征項來決定的，而輸出的節(jié)點數(shù)是根據(jù)樣本的期望輸出項來決定的。在隱層節(jié)點當(dāng)中，由于隱層節(jié)點的數(shù)目過多，平均的收斂速度就會變慢并且速度是極其不穩(wěn)定的，這樣就會增加初始權(quán)值的敏感度，網(wǎng)絡(luò)的泛化能力也會隨之降低，在對隱層節(jié)點數(shù)進(jìn)行計算的時候。其中，h代表的是隱層節(jié)點數(shù)，nin代表的是輸入層的節(jié)點數(shù)，則nout則代表的是輸出層的節(jié)點數(shù)。當(dāng)因為網(wǎng)絡(luò)發(fā)生誤差產(chǎn)生下降的時候，也就是E（網(wǎng)絡(luò)誤差）下降的速度非常緩慢的時候，這個時候網(wǎng)絡(luò)的收斂水平還需要進(jìn)一步提高的時候，就會增加一個隱層節(jié)點。如果遇到相反的情況，則就會減少一個相應(yīng)的節(jié)點。對于BP網(wǎng)絡(luò)的優(yōu)化，主要包括以下幾個步驟。首先，利用彈性BP算法來對網(wǎng)絡(luò)的權(quán)值和偏差進(jìn)行修正，利用此種算法，在很大程度上避免了使得學(xué)習(xí)（是學(xué)習(xí)）陷入局部狹小的現(xiàn)象，這樣可以加快學(xué)習(xí)收斂的速度；其次，對于隱含的節(jié)點數(shù)可以進(jìn)行隨意的設(shè)定；而后，在對隱含層和輸出層的激活函數(shù)之間可以在給定的5種暢通的函數(shù)當(dāng)中進(jìn)行隨意的選擇，最后就需要對輸入向量的歸一化了。

四、網(wǎng)絡(luò)的訓(xùn)練與測試

1.訓(xùn)練樣本的聲場以及網(wǎng)絡(luò)的構(gòu)造如果采用100個樣本對來進(jìn)行聲場訓(xùn)練樣本對，這里的樣本數(shù)據(jù)采用LINSPACE（X1，X2，N）的函數(shù)生成。在本文當(dāng)中，BP網(wǎng)絡(luò)有三層構(gòu)造。在這三層構(gòu)造當(dāng)中，第一層采用tansig激活函數(shù)；第二層采用logsig激活函數(shù)，在第三層則需要采用purline激活函數(shù)來進(jìn)行。在網(wǎng)絡(luò)訓(xùn)練當(dāng)中需要用Matlab神經(jīng)網(wǎng)絡(luò)工具箱當(dāng)中的L-M法的trainlm這個函數(shù)來進(jìn)行計算。2.網(wǎng)絡(luò)學(xué)習(xí)以及等級的評價通過MATLAB的神經(jīng)網(wǎng)絡(luò)工具箱上建立的模型，需要將學(xué)3.網(wǎng)絡(luò)測試成效從評價的結(jié)果上來看，運用人工神經(jīng)網(wǎng)絡(luò)的評價方法最大限度地減少了人為因素的影響，在這其中可以在很大程度上減少因為傳統(tǒng)方式而在設(shè)計權(quán)重過程當(dāng)中的不確定性，通過這種方式來對評價的對象進(jìn)行自動評價。同時，BP的神經(jīng)網(wǎng)絡(luò)這種評估方式本身也具有一定的局限性，例如對網(wǎng)絡(luò)當(dāng)中的隱層節(jié)點個數(shù)難以確定，在學(xué)習(xí)訓(xùn)練的過程當(dāng)中最容易陷入局部最優(yōu)的問題，在很大程度上會影響評價結(jié)果的精準(zhǔn)性。

五、結(jié)束語

運用人工神經(jīng)網(wǎng)絡(luò)方式有效解決多源、多類型以及多屬性地址處理和分析問題，在很大程度上突破了統(tǒng)計數(shù)學(xué)模型對預(yù)測的約束力和限制力。應(yīng)用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行復(fù)雜的地址信息的非線性整合處理，可以精準(zhǔn)的對各類資料進(jìn)行綜合分析和歸類。

參考文獻(xiàn)：

[1]李傳杰.基于模糊數(shù)學(xué)及神經(jīng)網(wǎng)絡(luò)的心理評估模型[D].山東大學(xué)，2008

[2]徐振東.人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型建立及成礦預(yù)測BP網(wǎng)絡(luò)的實現(xiàn)[D].吉林大學(xué)，2004

[3]鄧麗瓊，朱俊.基于BP神經(jīng)網(wǎng)絡(luò)的教師課堂教學(xué)評價模型[J].國土資源高等職業(yè)教育研究，2013

第6篇：神經(jīng)網(wǎng)絡(luò)前向傳播算法范文

關(guān)鍵詞：期貨經(jīng)紀(jì)公司 綜合實力 主成分分析 聚類分析

人工神經(jīng)網(wǎng)絡(luò)（ANN）是大腦及其活動的一個理論化的數(shù)學(xué)模型，由大量的處理單元（神經(jīng)元）互連而成的，是神經(jīng)元聯(lián)結(jié)形式的數(shù)學(xué)抽象，是一個大規(guī)模的非線性自適應(yīng)模型。人工神經(jīng)網(wǎng)絡(luò)具有高速的運算能力，很強的自學(xué)習(xí)能力、自適應(yīng)能力和非線性映射能力以及良好的容錯性，因而它在模式識別、圖像處理、信號及信息處理、系統(tǒng)優(yōu)化和智能控制等許多領(lǐng)域得到了廣泛的應(yīng)用。

人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法可以分為：局部搜索算法，包括誤差反傳（BP）算法、牛頓法和共軛梯度法等；線性化算法；隨機優(yōu)化算法，包括遺傳算法（GA）、演化算法（EA）、模擬退火算法（SA）等。

蟻群算法是一種基于模擬螞蟻群行為的隨機搜索優(yōu)化算法。雖然單個螞蟻的能力非常有限，但多個螞蟻構(gòu)成的群體具有找到蟻穴與食物之間最短路徑的能力，這種能力是靠其在所經(jīng)過的路徑上留下的一種揮發(fā)性分泌物（pheromone）來實現(xiàn)的。螞蟻個體間通過這種信息的交流尋求通向食物的最短路徑。已有相關(guān)計算實例表明該算法具有良好的收斂速度，且在得到的最優(yōu)解更接近理論的最優(yōu)解。

本文嘗試將蟻群算法引入到前向神經(jīng)網(wǎng)絡(luò)的優(yōu)化訓(xùn)練中來，建立了基于該算法的前向神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，編制了基于C++語言的優(yōu)化計算程序，并針對多個實例與多個算法進(jìn)行了比較分析。

前向神經(jīng)網(wǎng)絡(luò)模型

前向人工神經(jīng)網(wǎng)絡(luò)具有數(shù)層相連的處理單元，連接可從一層中的每個神經(jīng)元到下一層的所有神經(jīng)元，且網(wǎng)絡(luò)中不存在反饋環(huán)，是常用的一種人工神經(jīng)網(wǎng)絡(luò)模型。在本文中只考慮三層前向網(wǎng)絡(luò)，且輸出層為線性層，隱層神經(jīng)元的非線性作用函數(shù)（激活函數(shù)）為雙曲線正切函數(shù)：

其中輸入層神經(jīng)元把輸入網(wǎng)絡(luò)的數(shù)據(jù)不做任何處理直接作為該神經(jīng)元的輸出。設(shè)輸入層神經(jīng)元的輸出為(x1,x2,Λ,xn)，隱層神經(jīng)元的輸入為(s1,s2,Λ,sh)，隱層神經(jīng)元的輸出為(z1,z2,Λ,zh)，輸出層神經(jīng)元的輸出為(y1,y2,Λ,ym)，則網(wǎng)絡(luò)的輸入-輸出為：

其中{wij}為輸入層-隱層的連接權(quán)值，{wi0}隱層神經(jīng)元的閾值，{vki}為隱層-輸出層的連接權(quán)值，{vk0}為輸出層神經(jīng)元的閾值。網(wǎng)絡(luò)的輸入-輸出映射也可簡寫為：

1≤k≤m (5)

前向神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本集為

A={Xi,Tii=1,2,A,n)}

（其中Xi∈Rn，為第i組訓(xùn)練數(shù)據(jù)的輸入，Ti∈Rm為與第i組訓(xùn)練數(shù)據(jù)的輸入對應(yīng)的期望輸出，Tki為輸出層第k個神經(jīng)元的期望輸出），設(shè)第i組訓(xùn)練數(shù)據(jù)的輸入的實際輸出為Yi∈Rm，Yki為輸出層第k個神經(jīng)元的實際輸出，則基于該訓(xùn)練樣本集的誤差函數(shù)為

該函數(shù)是一個具有多個極小點的非線性函數(shù)，則對該前向神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程為調(diào)整各個神經(jīng)元之間的連接權(quán)值和閥值{wij},{wi0},{vki},{vk0}，直至誤差函數(shù)E達(dá)到最小。

誤差反向傳播算法（BP算法）是一種梯度下降算法，具有概念清楚、計算簡單的特點，但是它收斂緩慢，且極易陷入局部極小，且對于較大的搜索空間，多峰值和不可微函數(shù)也不能搜索到全局極小。為此人們提出了很多改進(jìn)的學(xué)習(xí)算法，其中最簡單且容易實現(xiàn)的是加入動量項的變學(xué)習(xí)率BP算法，這種算法一般都比較有效，但是收斂速度還是比較慢，仍是局部搜索算法，從本質(zhì)上仍然擺脫不了陷入局部極小的可能。為了擺脫局部極小，人們已經(jīng)嘗試將可用于非線性優(yōu)化的遺傳算法、演化算法以及模擬退火算法等進(jìn)行前向人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

蟻群算法

蟻群算法簡介

螞蟻在路徑上前進(jìn)時會根據(jù)前邊走過的螞蟻所留下的分泌物選擇其要走的路徑。其選擇一條路徑的概率與該路徑上分泌物的強度成正比。因此，由大量螞蟻組成的群體的集體行為實際上構(gòu)成一種學(xué)習(xí)信息的正反饋現(xiàn)象：某一條路徑走過的螞蟻越多，后面的螞蟻選擇該路徑的可能性就越大。螞蟻的個體間通過這種信息的交流尋求通向食物的最短路徑。蟻群算法就是根據(jù)這一特點，通過模仿螞蟻的行為，從而實現(xiàn)尋優(yōu)。這種優(yōu)化過程的本質(zhì)在于：

選擇機制：分泌物越多的路徑，被選擇的概率越大。

更新機制：路徑上面的分泌物會隨螞蟻的經(jīng)過而增長，而且同時也隨時間的推移逐漸揮發(fā)消失。

協(xié)調(diào)機制：螞蟻間實際上是通過分泌物來互相通信、協(xié)同工作的。

蟻群算法正是充分利用了選擇、更新和協(xié)調(diào)的優(yōu)化機制，即通過個體之間的信息交流與相互協(xié)作最終找到最優(yōu)解，使它具有很強的發(fā)現(xiàn)較優(yōu)解的能力。

蟻群算法具體實現(xiàn)

蟻群算法求解連續(xù)空間上的優(yōu)化問題 以求解非線形規(guī)劃問題為例。考慮如下的非線性規(guī)劃問題：minF(x1,x2,Λ,xn)，使得，ai1x1+ai2x2+Λ+ainxn≥bi，i=1,2,Λ,r。這里F為任一非線形函數(shù)，約束條件構(gòu)成Rn上的一個凸包?？梢允褂貌坏仁阶儞Q的方法求得包含這個凸包的最小的n維立方體。設(shè)該立方體為

設(shè)系統(tǒng)中有m只螞蟻，我們將解的n個分量看成n個頂點，第i個頂點代表第i個分量，在第i個頂點到第i+1個頂點之間有ki條連線，代表第i個分量的取值可能在ki個不同的子區(qū)間。我們記其中第j條連線上在t時刻的信息量為τij(t)。每只螞蟻要從第1個頂點出發(fā)，按照一定的策略選擇某一條連線到達(dá)第2個頂點，再從第2個頂點出發(fā)，…，在到達(dá)第n個頂點后，在kn條連線中選取某一條連線到達(dá)終點。每個螞蟻所走過的路徑代表一個解的初始方案，它指出解的每一個分量所在的子區(qū)間。用pijk(t)表示在t時刻螞蟻k由城市i轉(zhuǎn)移到城市j的概率，則（式(7)）

為了確定解的具體值，可在各個子區(qū)間已有的取值中保存若干個適應(yīng)度較好的解的相應(yīng)分量作為候選組，為了加快收斂速度，參考具有變異特征的蟻群算法提出的具有變異特征的蟻群算法，使用遺傳操作在候選組中確定新解的相應(yīng)分量的值。首先可隨機在候選組中選擇兩個值，然后對他們實行交叉變換、變異變換，以得到新值作為解的相應(yīng)分量。該候選組中的值在動態(tài)的更新，一旦有一個更好的解的分量在該子區(qū)間中，就用這個值替換其中的較差者。

在m只螞蟻得到m個解后，要對它們進(jìn)行評估，本人使用Lagrange函數(shù)作為評估解的優(yōu)劣的適應(yīng)度函數(shù)，否則要對每個解進(jìn)行合法性檢查并去除其中的不合法解。然后要根據(jù)適應(yīng)度函數(shù)值更新各條邊上的信息量。要根據(jù)下式對各路徑上的信息量作更新：

Δτijk表示螞蟻k在本次循環(huán)中在城市i和j之間留下的信息量。

重復(fù)這樣的迭代過程，直至滿足停止條件。

候選組里的遺傳操作 若候選組里的候選值的個數(shù)gi=0，即候選組里沒有候選值，此時則產(chǎn)生一個[li+(j-1)×length,min(ui,li+j×length]間的隨即數(shù)作為解分量的值wij,vij，跳過選擇、交叉、變異等遺傳操作。

若gi=1，即候選組里只有一個候選值wik,vik，則跳過交叉、選擇等操作，直接對這個候選值wik,vik進(jìn)行變異操作。

若gi=2，即候選組里有兩個候選值，則跳過選擇操作，直接對這兩個候選值進(jìn)行交叉、變異等操作。

否則，選擇兩個分量后進(jìn)行交叉、變異操作。

在選擇操作中，根據(jù)候選組里各候選值的適應(yīng)度的大小，用“賭輪”的方法選取兩個值。設(shè)第j個值所在解的適應(yīng)度為fj，則它被選中的概率為

在交叉操作中，設(shè)所選擇的兩個值為wij(1),vij(1)和wij(2),vij(2)，其適應(yīng)度分別為f1，f2，且f1＞f2，我們以概率Pcross進(jìn)行交叉操作。隨機產(chǎn)生p∈[0,1]，若p＞Pcross，則進(jìn)行交叉操作。取隨機數(shù)r∈[0,1]，交叉結(jié)果值

在所有螞蟻都得到解以后，修改邊條上的信息量按式(8)和式(9)相應(yīng)地更新各子區(qū)間上的信息量。但對Δτijk的更新應(yīng)按下式進(jìn)行：

其中W為一個常數(shù)，fk為螞蟻k的解的適應(yīng)度。

前向神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程

基于上述的定義，用蟻群算法訓(xùn)練具有三層前向神經(jīng)網(wǎng)絡(luò)，可按以下步驟進(jìn)行：

輸入相關(guān)參數(shù)：輸入最大迭代次數(shù)number，每次迭代選取的適應(yīng)度最好的解的個數(shù)num，每個分量的ki個子區(qū)間中信息量最大的子區(qū)間被選種的概率q0（其余子區(qū)間被選中概率為（1-q0））。

初始化：通過神經(jīng)網(wǎng)絡(luò)在控制變量可行域內(nèi)隨機產(chǎn)成m只螞蟻，即產(chǎn)生m組{wij},{wi0},{vki},{vk0}，且各個分量均為[-1,1]區(qū)間內(nèi)的隨機數(shù)。

迭代過程：對于n個分量，分別對m個螞蟻進(jìn)行循環(huán)更新相應(yīng)的信息量τij(t)，對候選組中的分量進(jìn)行遺傳操作，計算新解的適應(yīng)度，對各邊的信息量進(jìn)行修改，根據(jù)適應(yīng)度的優(yōu)劣增刪候選組中的值。判斷是否滿足結(jié)束條件，若不滿足則繼續(xù)迭代。

第（3）步的具體算法如下：

while not結(jié)束條件（如最大迭代次數(shù)） do

{for i=1 to n do (對n個分量循環(huán))

{for k=1 to m do (對m個螞蟻循環(huán))

{根據(jù)q0和概率pijk(t)確定第i個分量的值在第j個子區(qū)間；

局部更新第j個子區(qū)間的信息量τij(t)；

在第j個子區(qū)間候選組里通過遺傳操作生成第i個分量值；}

計算新解的適應(yīng)度函數(shù)值；}

修改個條邊上的信息量；

取適應(yīng)度最好的num個解將其各分量直接插入相應(yīng)的子區(qū)間的候選組中，并淘汰候選組中的較差者。}

上述過程中根據(jù)下列公式選取第i個分量的值所在的子區(qū)間號j：

由于算法中以q0的概率選擇ki個子區(qū)間中信息量最大的子區(qū)間，因此信息量最大的那個子區(qū)間常常被選中，這就使得新一代解的該分量值集中在這個子區(qū)間，容易發(fā)生停滯現(xiàn)象。為了避免這種現(xiàn)象，在上述過程中對所選的子區(qū)間的信息量進(jìn)行局部更新，對被選中的子區(qū)間立即適當(dāng)?shù)販p少其信息量，使其他螞蟻選中該子區(qū)間的概率降低。設(shè)第k個個體的第i個分量選中第j個子區(qū)間，則按下式局部更新子區(qū)間j的信息量：

這樣，更新后的信息量是原來的信息量和有關(guān)第i個分量各子區(qū)間的最小信息量的凸組合。當(dāng)信息量最大的子區(qū)間被多次選中之后，信息量減少到ki個子區(qū)間的信息量的平均水平，從而螞蟻選擇其他子區(qū)間的概率增加，增加了所建立解的多樣性，同時也有效減少了停滯現(xiàn)象的發(fā)生。

實驗結(jié)果

為了評價蟻群算法的性能，筆者做了大量的計算機模擬試驗，在此給出了兩個函數(shù)COS(X)和SIN(X)函數(shù)的實驗結(jié)果，選擇螞蟻群規(guī)模m＝20；每次迭代選取的適應(yīng)度最好的解的個數(shù)num=10；每個分量的ki個子區(qū)間中信息量最大的子區(qū)間被選中的概率q0=0.8；前向神經(jīng)網(wǎng)絡(luò)的輸入層有1個神經(jīng)元，隱層有10個神經(jīng)元，輸出層有1個神經(jīng)元，多個方法SIN(X)函數(shù)的試驗結(jié)果列于表1，多個方法COS(X)函數(shù)的試驗結(jié)果列于表2。

結(jié)論

本文給出了基于蟻群算法的三層前向神經(jīng)網(wǎng)絡(luò)的訓(xùn)練模型，并建立了一種新的網(wǎng)絡(luò)訓(xùn)練算法。從試驗結(jié)果分析，與演化算法、模擬退火算法、加動量項的BP算法相比，蟻群算法具有較快的收斂速度，能夠達(dá)到較小的均方誤差值，因此，此方法收斂過程有比較明顯的優(yōu)勢和穩(wěn)定性。

網(wǎng)絡(luò)訓(xùn)練算法。從試驗結(jié)果分析，與演化算法、模擬退火算法、加動量項的BP算法相比，蟻群算法具有較快的收斂速度，能夠達(dá)到較小的均方誤差值，因此，此方法收斂過程有比較明顯的優(yōu)勢。

參考文獻(xiàn)：

1.褚蕾蕾，周夢等.計算智能的數(shù)學(xué)基礎(chǔ)[Z].科學(xué)出版社，2002

2.呂崗，陳小平，趙鶴鳴.一種優(yōu)化多層前向網(wǎng)絡(luò)的IA-BP混合算法[J].計算機工程與應(yīng)用，2003.27

3.王建群，盧志華.三層前向人工神經(jīng)網(wǎng)絡(luò)全局最優(yōu)逼近[J].數(shù)學(xué)的實踐與認(rèn)識，2003.7

4.陳陵，沈潔，秦玲.蟻群算法求解連續(xù)空間優(yōu)化問題的一種方法.軟件學(xué)報，2002

5.Dorigo, M., Luca, M. A study of some properties of Ant-Q. Technical Report, TR/IRIDIA/1996-4, IRIDIA, University Libre de Bruxelles,1996

6.Gambardella, L.M., Dorigo, M. Ant-Q: a reinforcement learning approach to the traveling salesman problem. In: Prieditis, A., Russell, S., eds. Proceedings of the 12th International Conference on Machine Learning. Tahoe, CA: Morgan Kaufmann, 1995

7.Sheng, Jie, Chen, Ling. A new approach to solving nonlinear programming. Journal of System Science and System Engineering, 2002

8.Wu, Qing-hong, Zhang, Ji-hui, Xu, Xin-he, An ant colony algorithm with mutation features. Jurnal of Computer Research & Development, 1999

作者簡介：

王晶（1980-），女，河北保定人，碩士研究生，主要研究領(lǐng)域為人工智能與數(shù)據(jù)處理。

張國立（1959-），男，吉林榆樹人，教授，主要研究領(lǐng)域為智能計算理論、方法及其在電力市場中的應(yīng)用。

第7篇：神經(jīng)網(wǎng)絡(luò)前向傳播算法范文

關(guān)鍵詞： BP神經(jīng)網(wǎng)絡(luò)；價格預(yù)測；歸一化處理

期貨市場是一個不穩(wěn)定的、非線性動態(tài)變化的復(fù)雜系統(tǒng)。市場上期貨合約價格的變動受金融、經(jīng)濟、政治及投資者心理等眾多因素的影響，其過程具有非線性、混沌性、長期記憶性等特點。傳統(tǒng)的經(jīng)濟模型大部分是線性模型，具有一定的局限性.而人工神經(jīng)網(wǎng)絡(luò)則能很好地解決這個問題。

一、BP神經(jīng)網(wǎng)絡(luò)原理與過程

BP神經(jīng)網(wǎng)絡(luò)（反向傳播網(wǎng)絡(luò)Back Propagation）是一種多層前饋型神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的激活函數(shù)是sigmoid函數(shù)，一般為log sigmoid 函數(shù)和tan sigoid 函數(shù)，函數(shù)的圖形是S 型的，其值域是為0到1的連續(xù)區(qū)間。它是嚴(yán)格遞增函數(shù)，在線性和非線之間有著較好的平衡性。

1.數(shù)據(jù)歸一化處理

數(shù)據(jù)歸一化方法是神經(jīng)網(wǎng)絡(luò)預(yù)測前對數(shù)據(jù)常做的一種處理方法。數(shù)據(jù)歸一化處理把所有數(shù)據(jù)都使其落在[0，1]或[-1，1]之間，其目的是取消各維數(shù)據(jù)間數(shù)量級差別。避免因為輸入輸出數(shù)據(jù)數(shù)量級差別較大而造成網(wǎng)絡(luò)預(yù)測誤差較大。數(shù)據(jù)歸一化的方法主要有以下兩種。

（1）平均數(shù)方差法，其公式如下：

2.BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程

BP網(wǎng)絡(luò)的學(xué)習(xí)過程由信號的正向傳播和誤差的反向傳播兩個過程組成。其基本原理是：網(wǎng)絡(luò)先根據(jù)輸出層的誤差來調(diào)整輸出層和隱含層的權(quán)值和閾值，再將部分誤差分配置隱含層，然后根據(jù)誤差來調(diào)整隱含層和輸入層之間的權(quán)值和閾值，并不斷地重復(fù)上述過程，直到網(wǎng)絡(luò)的輸出與目標(biāo)之間的誤差趨于最小，達(dá)到規(guī)定的要求。

一般地，BP網(wǎng)絡(luò)的學(xué)習(xí)算法描述為如下步驟。

（1）初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)，如設(shè)置網(wǎng)絡(luò)初始權(quán)矩陣，給出學(xué)習(xí)速率和神經(jīng)元激活函數(shù)等。

（2）提供訓(xùn)練模式，訓(xùn)練網(wǎng)絡(luò)，直到滿足學(xué)習(xí)要求。

（3）前向傳播過程：對給定訓(xùn)練模式輸入，計算網(wǎng)絡(luò)的輸出模式，并與期望模式比較，若有誤差，若執(zhí)行步驟（4），否則，返回步驟（2）。

（4）反向傳播過程：計算同一層單元的誤差，修正權(quán)值和閾值，返回步驟（2）。

二、玉米期貨價格預(yù)測分析

美國是世界上玉米生產(chǎn)大國和消費大國，良好的現(xiàn)貨基礎(chǔ)為美國玉米期貨市場的發(fā)展提供了優(yōu)越條件。其中，以CBOT為代表的美國玉米期貨市場同現(xiàn)貨市場有效接軌，不僅在美國內(nèi)玉米生產(chǎn)流通領(lǐng)域發(fā)揮了重要作用，而且在世界玉米市場上也影響巨大。

發(fā)現(xiàn)價格作為期貨市場的基本功能之一，CBOT作為全球最大的玉米期貨交易市場，其玉米期貨價格的國際影響力是非常巨大的。目前，在國際玉米市場上，玉米貿(mào)易價格的形成和交易活動是以CBOT的玉米期貨價格為中心展開的，該價格是國際玉米貿(mào)易中簽約雙方需要考慮的最重要的依據(jù)之一。美國已經(jīng)通過芝加哥玉米期貨市場取得國際玉米貿(mào)易的定價權(quán)，在國際玉米市場中發(fā)揮著主導(dǎo)作用，并且能夠?qū)Ρ緡推渌麌矣衩桩a(chǎn)業(yè)的發(fā)展產(chǎn)生深刻影響。

本文研究所采取的樣本來自WIND資訊金融終端，以2008年07月-2015年10月的CBOT的玉米期貨為研究對象。共計100組樣本數(shù)據(jù)，將其中92組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。8組作為分析樣本。本文從影響全球玉米的供需平衡的角度出發(fā)，從期初庫存、產(chǎn)量、進(jìn)口、飼料消費、國內(nèi)消費總計、出口、期末庫存、總供給、貿(mào)易量共九個因素進(jìn)行分析研究，對玉米期貨的價格進(jìn)行預(yù)測。利用MATLAB軟件訓(xùn)練生成BP神經(jīng)網(wǎng)絡(luò)并進(jìn)行預(yù)測，將隱含層神經(jīng)元設(shè)為20個，訓(xùn)練次數(shù)為100次，訓(xùn)練精度為0.00005。最后得到結(jié)果見表1。

從表1中可以看出，通過BP神經(jīng)網(wǎng)絡(luò)計算得出的預(yù)測值與實際值絕對誤差相對較小，這說明通過BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型產(chǎn)生的預(yù)測結(jié)果的精確度較高。具有較強的實用性。但是由于玉米期貨除了受到供需因素的影響外，同時還受金融、經(jīng)濟、政治及投資者心理等眾多因素的影響。所以本文的結(jié)果還帶有一定的局限性。若把上述因素考慮進(jìn)去，其精確度可能進(jìn)一步提高。

三、結(jié)語

本文采用BP神經(jīng)網(wǎng)絡(luò)對美國玉米期貨的價格進(jìn)行了研究。使用了多因素BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型，對玉米期貨的價格進(jìn)行預(yù)測，得到了擬合度在較高的預(yù)測值。這說明BP神經(jīng)網(wǎng)絡(luò)方法可以對玉米期貨價格走勢進(jìn)行有效預(yù)測。通過預(yù)測，可以對投資者的投資行為進(jìn)行指導(dǎo)，從而達(dá)到規(guī)避風(fēng)險而獲取較好的經(jīng)濟利益。

參考文獻(xiàn)：

第8篇：神經(jīng)網(wǎng)絡(luò)前向傳播算法范文

關(guān)鍵詞：語音識別；神經(jīng)網(wǎng)絡(luò)；遺傳算法；遺傳神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP183文獻(xiàn)標(biāo)識碼：A文章編號：1009-3044(2008)22-774-03

Research of Speech Recognition Based on Genetic Neural Network

ZHAO Feng

(Computer School of Wuhan University,Wuhan 430081,China)

Abstract:This Paper mainly studies the application of the BP neural network in the research of speech recognition. BP neural network can get higher identification precision, but its training speed is very low. a new recognizing algorithm based on BP algorithm by combining with the good effect method in ANN which named genetic algorithm(GA) was proposed and used to improve the BP neural network . Experiment results show that the training speed can be accelerated by the method and the recognition performance is also promoted.

Key words: speech recognition; neural network; genetic algorithm; genetic neural network

1 引言

語音識別SR(Speech Recognition)是指讓機器聽懂人說的話，即在各種情況下，準(zhǔn)確地識別出語音的內(nèi)容，從而根據(jù)其信息，執(zhí)行人的各種意圖[1]?，F(xiàn)代語音識別技術(shù)以神經(jīng)網(wǎng)絡(luò)為主要發(fā)展趨勢，進(jìn)入20世紀(jì)90年代以來，神經(jīng)網(wǎng)絡(luò)已經(jīng)成為語音識別的一條重要途徑。由于神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，故具有自組織性、自適應(yīng)性和連續(xù)學(xué)習(xí)能力等特點，特別適合于解決像語音識別這類模擬人的認(rèn)知過程和智能處理能力，難以用算法來描述而又有大量樣本可供學(xué)習(xí)的問題[2]。

人工神經(jīng)網(wǎng)絡(luò)(ANN)是采用大量的簡單處理單元廣泛連接起來構(gòu)成的一種復(fù)雜信息處理網(wǎng)絡(luò)。網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)是應(yīng)用一系列輸入矢量，通過已確定的算法逐步調(diào)整網(wǎng)絡(luò)的權(quán)值，最終達(dá)到期望的目標(biāo)。BP神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)中前向神經(jīng)網(wǎng)絡(luò)的核心部分，BP算法的學(xué)習(xí)過程由信號的正向傳播和誤差的反向傳播組成。隨著誤差逆?zhèn)鞑バ拚牟粩噙M(jìn)行，網(wǎng)絡(luò)對輸入模式響應(yīng)的正確率不斷上升。然而BP算法是一種梯度下降算法，梯度下降存在多極值問題，且BP網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練速度慢，容易陷入局部最小或振蕩。因此，參數(shù)的選擇非常重要。為克服標(biāo)準(zhǔn)BP算法存在的各種缺點，本文研究用BP算法結(jié)合人工智能領(lǐng)域較為有效的方法――遺傳(GA)算法來訓(xùn)練網(wǎng)絡(luò)進(jìn)行語音識別，仿真實驗表明，GABP算法使BP網(wǎng)絡(luò)在收斂速度上有了很大提高，尤其是克服了容易陷入局部最小值的缺點，基于GABP的語音識別系統(tǒng)的最高識別率和平均識別率都有了很大的提高。

2 語音識別的基本原理

大部分基于神經(jīng)網(wǎng)絡(luò)的語音識別系統(tǒng)實現(xiàn)識別功能都要經(jīng)過從特征參數(shù)提取到應(yīng)用識別算法進(jìn)行識別的過程，該過程如下圖1所示：

■

圖1 語音識別系統(tǒng)原理框圖

該文主要面向孤立數(shù)字識別系統(tǒng)作一些改進(jìn)研究，其基本識別過程也符合上圖1描述：輸入的語音信號首先進(jìn)行預(yù)處理，包括抗混疊濾波、聲音的預(yù)加重、加窗分癥處理與端點檢測等。預(yù)加重的目的是在于濾出低頻干擾，尤其是50Hz或60Hz的工頻干擾，將對于語音識別更為有用的高頻部分的頻譜進(jìn)行提升，以便于語音參數(shù)分析。

預(yù)加重濾波器傳遞函數(shù)為： H(Z)=1-0.9375Z-1（1）

若S(n)為預(yù)加重前語音信號，則經(jīng)過預(yù)加重濾波器后得到的信號■(n)為：

■(n)= S(n)-0.9375 S(n-1)（2）

該文主要完成孤立數(shù)字識別，所要求識別的字?jǐn)?shù)不多，對環(huán)境的噪聲的適應(yīng)能力的要求也并不高，因此采用了目前比較流行的雙門限端點檢測算法，借助于語音信號短時平均能量和短時過零率來判定語音有效范圍的開始和結(jié)束。

語音信號經(jīng)過預(yù)處理后，接下來很重要的一環(huán)就是進(jìn)行特征提取，常用的特征包括短時平均能量和幅度、短時平均過零率、線性預(yù)測系數(shù)(LPC)、短時傅里葉變換和Mel頻率倒譜系數(shù)(MFCC)。語音特征參數(shù)的時間序列構(gòu)成了語音的模式，將其與通過應(yīng)用一系列已知信號訓(xùn)練提取的參考模式逐一進(jìn)行比較，獲得最佳匹配的參考模式便是識別結(jié)果。本文中對于預(yù)處理的每個有效語音信號段，都要提取其12個一階MFCC系數(shù)，提取過程為：用漢明窗將語音切割成長短一致的語音幀，對每幀語音進(jìn)行正反傅里葉變換，經(jīng)對數(shù)和離散余弦變換后取前12個數(shù)作為MFCC系數(shù)來描述每一個幀。最后將每個語音信號對應(yīng)的MFCC系數(shù)序列用K-means聚類算法進(jìn)行聚類，分為4個聚類，使得每個語音信號都得到相應(yīng)的12個4維一階MFCC系數(shù)，即可作為語音的特征參數(shù)成為神經(jīng)網(wǎng)絡(luò)的輸入信號。

3 語音識別中的BP網(wǎng)絡(luò)構(gòu)造

語音識別中的BP網(wǎng)絡(luò)構(gòu)造主要包括輸入層、隱層、輸出層、初始權(quán)值、學(xué)習(xí)速率與期望誤差的選取幾個方面的問題。

1) 網(wǎng)絡(luò)層數(shù)：理論上，在不限制隱層節(jié)點數(shù)的情況下，兩層（只有一個隱層）的BP網(wǎng)絡(luò)可以實現(xiàn)任意非線性映射。當(dāng)模式樣本很多時，減小網(wǎng)絡(luò)規(guī)模，增加一個隱層是必要的，但BP網(wǎng)絡(luò)隱層數(shù)一般不超過兩層。本文所要求識別的模式樣本不多，因此一個隱層已經(jīng)足夠。

2) 輸入層節(jié)點數(shù)：在BP網(wǎng)絡(luò)語音識別系統(tǒng)中，輸入層節(jié)點數(shù)與選取的語音信號特征參數(shù)的維度和階數(shù)有關(guān)。本文中每個語音信號都得到相應(yīng)的12個4維一階MFCC系數(shù)，故輸入層的節(jié)點數(shù)為12×4=48。

3) 輸出層節(jié)點數(shù)：輸出層的節(jié)點數(shù)取決于輸出數(shù)據(jù)的類型和表示該類型所需的數(shù)據(jù)大小。當(dāng)BP網(wǎng)絡(luò)用于語音識別時，以二進(jìn)制形式來表示不同的識別結(jié)果，則輸出層的節(jié)點數(shù)可根據(jù)訓(xùn)練模板的語音數(shù)來確定。本文設(shè)定輸出節(jié)點數(shù)為10，分別對應(yīng)于0~9這10個數(shù)字。

4） 隱層節(jié)點數(shù)：通過采用一個隱層，增加其神經(jīng)元數(shù)的方法來達(dá)到網(wǎng)絡(luò)訓(xùn)練精度的提高，這在結(jié)構(gòu)上，要比增加更多的隱層簡單的多。但究竟選取多少個隱層節(jié)點才合適？在理論上并沒有個明確的規(guī)定。在具體設(shè)計時，比較實際的做法是通過對不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對比，然后適當(dāng)?shù)募由弦稽c余量[4]。一般可利用下面式子決定：

n1=■+a（3）

其中n1為隱層節(jié)數(shù)；m為輸入節(jié)點數(shù)；n為輸出節(jié)點數(shù)；a為取1~10的常數(shù)。本實驗中輸入節(jié)點數(shù)為48，輸出節(jié)點數(shù)為10，a選取為常數(shù)4，因此隱層節(jié)點數(shù)n1=12。

5） 初始權(quán)值：由于系統(tǒng)是非線性的，初始值對于學(xué)習(xí)是否達(dá)到局部最小、是否能收斂以及訓(xùn)練時間的長短關(guān)系很大。一般總是希望經(jīng)過初始加權(quán)后的每個神經(jīng)元的輸出值都接近于零。所以，一般取初始值在(-1,1)之間的隨機數(shù)。

6） 學(xué)習(xí)速率與期望誤差的選?。簩W(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。小的學(xué)習(xí)速率雖然會導(dǎo)致收斂速度慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小值。所以，一般情況下，學(xué)習(xí)速率的選取范圍在0.01~0.8之間。期望誤差0.000001。

解決了上述幾個方面的問題后，本文采用三層結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)，如圖2所示：輸入層各節(jié)點將輸入信號經(jīng)權(quán)重藕合到隱層的每個節(jié)點，隱層各節(jié)點對來自前一層的信號加權(quán)，經(jīng)激發(fā)函數(shù)轉(zhuǎn)換后再藕合到輸出層。

4 基于遺傳神經(jīng)網(wǎng)絡(luò)的語音識別

本文研究引用遺傳算法對網(wǎng)絡(luò)的初始連接權(quán)值進(jìn)行優(yōu)化處理，用BP算法完成給定精度的學(xué)習(xí)。

4.1 個體編碼方案

編碼對于網(wǎng)絡(luò)進(jìn)化過程的性能和效率影響很大，因此，編碼技術(shù)是連接權(quán)值進(jìn)化過程中學(xué)解決的首要問題和關(guān)鍵步驟。本文中考慮到BP網(wǎng)絡(luò)的節(jié)點數(shù)和結(jié)構(gòu)已經(jīng)固定，可以采用實數(shù)編碼方案，將網(wǎng)絡(luò)的權(quán)值和各節(jié)點的閥值依此排列得到一個向量。

假設(shè)一個具有m個節(jié)點的n層BP網(wǎng)絡(luò)，如果第i個節(jié)點對應(yīng)的權(quán)值分別為vi(vi[-1,+1])，則一個個體用實數(shù)向量表示為X=(v1,v2,…vm)。

4.2 適應(yīng)度函數(shù)的選擇

一個網(wǎng)絡(luò)連接權(quán)值優(yōu)劣的標(biāo)準(zhǔn)，是根據(jù)網(wǎng)絡(luò)對一組輸入得到的實際輸出與期望輸出之間的誤差大小來制定的。BP網(wǎng)絡(luò)中誤差平分和小，則表示該網(wǎng)絡(luò)性能比較好。本文中適應(yīng)度函數(shù)為：

f(x)=■（4）

其中，E為神經(jīng)網(wǎng)絡(luò)的輸出誤差，即：

■（5）

其中n為學(xué)習(xí)樣本總數(shù)，yk,■k為第k個個體的期望輸出和實際輸出向量。

4.3 進(jìn)化參數(shù)

連接權(quán)的進(jìn)化過程中所涉及到的主要進(jìn)化參數(shù)有：種群規(guī)模、交叉率、變異率和進(jìn)化代數(shù)等等。交叉是最主要的進(jìn)化操作，交叉率是指各代中交叉產(chǎn)生的后代數(shù)與種群規(guī)模之比。常用的交叉率取值范圍為0.6~1.0。變異率是指種群中變異的基因數(shù)占總基因數(shù)的比例，其值控制了新基因引入的比例。常用變異率的數(shù)量級范圍為0.1~0.001。 種群規(guī)模是連接權(quán)進(jìn)化過程首先需要確定的參數(shù)，是算法會否陷入局部解的主要影響因素。綜合考慮BP網(wǎng)絡(luò)的初始連接權(quán)值和交叉率、變異率的選擇，這里選擇種群規(guī)模為50。

5 仿真實驗結(jié)果

仿真實驗為針對非特定人的孤立數(shù)字詞語音識別。語音數(shù)據(jù)由二男二女（0到9共10個數(shù)字的普通話發(fā)音）通過PC話筒輸入，每個音每人發(fā)20遍，共計1000次發(fā)音，其中以每人每個音的前10次作訓(xùn)練樣本，后10次作測試樣本，錄音環(huán)境為安靜實驗室，采樣頻率為11.025kHz。

經(jīng)過反復(fù)實驗，不斷改善實驗環(huán)境，基于演化神經(jīng)網(wǎng)絡(luò)的識別得到了相對較高的識別率。對實驗結(jié)果分析可知，結(jié)合了GA算法的BP網(wǎng)絡(luò)通過GA全局搜索得到一個權(quán)值最優(yōu)解，只迭代了151次便使得誤差值為0.000001 ，而普通BP算法要迭代517才能勉強達(dá)到期望誤差，由此可知，結(jié)合了GA算法的BP網(wǎng)絡(luò)避免了局部極小，減低了學(xué)習(xí)速率，提高了收斂速度。

表1 基于遺傳神經(jīng)網(wǎng)絡(luò)與普通BP網(wǎng)絡(luò)語音識別系統(tǒng)對比表

■

通過表1對比可知，基于演化神經(jīng)網(wǎng)絡(luò)識別算法的語音識別系統(tǒng)無論是在訓(xùn)練時的收斂速度還是在最后的識別率上，都要優(yōu)于普通的BP網(wǎng)絡(luò)語音識別系統(tǒng)。

6 結(jié)論

語音信號處理和神經(jīng)網(wǎng)絡(luò)均是目前研究的熱點，文章主要針對語音識別的特點，結(jié)合人工智能領(lǐng)域兩種比較有效的方法――BP網(wǎng)絡(luò)和GA算法，構(gòu)建了一種基于遺傳神經(jīng)網(wǎng)絡(luò)的語音識別算法。仿真實驗結(jié)果表明，該算法避免了傳統(tǒng)BP算法容易陷入局部極小的缺點，減低了訓(xùn)練時間，有效的提高了系統(tǒng)識別率。

參考文獻(xiàn)：

[1] 趙力.語音信號處理[M].北京：機械工業(yè)出版社,2003.

[2] 蔡蓮紅,黃德智,蔡銳.現(xiàn)代語音技術(shù)基礎(chǔ)于應(yīng)用[M].北京：清華大學(xué)出版社,2003.

[3] 易克初.語音信號處理[M].北京：國防工業(yè)出版社,2000.

[4] 孫寧,孫勁光,孫宇.基于神經(jīng)網(wǎng)絡(luò)的語音識別技術(shù)研究[J].計算機與數(shù)字工程,2005,34(3):58-61.

[5] 何英.Matlab擴展編程[M].北京：清華大學(xué)出版社,2002.

第9篇：神經(jīng)網(wǎng)絡(luò)前向傳播算法范文

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；預(yù)測模型；METLAB仿真實驗

中圖分類號：F27

文獻(xiàn)標(biāo)識碼：A

文章編號：16723198（2015）23006701

1 引言

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡寫為ANNs）是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。20世紀(jì)80年代，美國物理學(xué)家J.J.Hopfield建立全互連神經(jīng)網(wǎng)絡(luò)模型，以及Rumelhart，McClelland等學(xué)者提出反向傳播（Back Propagation，簡稱BP）學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)的研究才獲得了飛速發(fā)展，目前，對人工神經(jīng)網(wǎng)絡(luò)理論的應(yīng)用已滲透到多個領(lǐng)域，如在智能控制、模式識別、自適應(yīng)濾波和信號處理、傳感技術(shù)和機器人、非線性優(yōu)化、知識處理、生物醫(yī)學(xué)工程、金融預(yù)測和管理等方面都取得了令人鼓舞的成果。

本文在前人研究的基礎(chǔ)之上，通過搜集相關(guān)的數(shù)據(jù)，建立BP神經(jīng)網(wǎng)絡(luò)模型并通過MATLAB仿真實驗得出預(yù)測的結(jié)果對于鄭州市政府和市民在進(jìn)行房地產(chǎn)管理和購房上面提供了一定的參考和決策依據(jù)，從這方面來說本文具有一定的現(xiàn)實意義。

2 基于動量BP算法的神經(jīng)網(wǎng)絡(luò)模型構(gòu)建

2.1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在人工神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中，80%-90%的人工神經(jīng)網(wǎng)絡(luò)模型都是用的BP神經(jīng)網(wǎng)絡(luò)（圖1）或者是它的變形形式，它也被稱為是前向網(wǎng)絡(luò)的核心部分。

2.2 房價預(yù)測模型構(gòu)建

經(jīng)濟因素，主要是國家、地區(qū)或城市的經(jīng)濟發(fā)展水平、經(jīng)濟增長狀況、產(chǎn)業(yè)結(jié)構(gòu)、就業(yè)情況、居民收入水平、投資水平、財政收支、金融狀況。這些因素會影響房地產(chǎn)市場的總體供求，特別是影響需求；社會因素，包括人口、家庭、城市化狀況等。其中，人口因素包括人口的數(shù)量、密度、結(jié)構(gòu)（如文化結(jié)構(gòu)、職業(yè)結(jié)構(gòu)、收入水平結(jié)構(gòu)等）；影響房價的因素還有很多，比如房地產(chǎn)自身及其周邊環(huán)境狀態(tài)，建筑物的外觀、設(shè)備配置狀況等。但在建立BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的時候，這些因素不容易被量化，無法納入模型的訓(xùn)練樣本中。在本文的模型構(gòu)建中，選取5個（地區(qū)GDP、人均可支配收入、常住人口數(shù)、房產(chǎn)開發(fā)投資、居民CPI）與房價密切相關(guān)的因素作為模型的輸入變量。

本文使用動力BP算法計算出2015年的數(shù)據(jù)，即根據(jù)2004和2005年的數(shù)據(jù)預(yù)測2006年的數(shù)據(jù)，以此類推來預(yù)測2015年的數(shù)據(jù)。

3 實證分析

為了提高算法訓(xùn)練速度和靈敏性，現(xiàn)將數(shù)據(jù)進(jìn)行歸一化處理。利用MATLAB軟件建立BP網(wǎng)絡(luò)，輸入

樣本數(shù)據(jù)，初始化Epochs值和精度值，設(shè)置最大迭代

次數(shù)和誤差，并設(shè)置動量因子mc、學(xué)習(xí)率。應(yīng)用sim函數(shù)進(jìn)行仿真，最后對結(jié)果進(jìn)行反歸一化。

由上圖可以看出，網(wǎng)絡(luò)在經(jīng)過8次訓(xùn)練之后，誤差低于0.1，迭代進(jìn)行到12次之后，誤差達(dá)到預(yù)期的目的，網(wǎng)絡(luò)停止訓(xùn)練。利用編好的程序，預(yù)測2012和2013年的房價，由于2012和2013年的房價已經(jīng)公布，因此可以將預(yù)測得到的值與實際值進(jìn)行比較，得到表2。

通過比較可知，2013、2014年對房價預(yù)測的誤差在訓(xùn)練要求的范圍內(nèi)，通過MATLAB軟件進(jìn)行預(yù)測得到2015年的房價為10068元/平方米。

4 結(jié)論及展望

（1）通過以上結(jié)果可以看出，利用動量BP算法進(jìn)行房價的預(yù)測是有良好效果的。

（2）文中只選取了對房價影響較為重要的5個因素作為輸入變量，在以后的研究中，可以考慮把較為重要的其他因素考慮進(jìn)去，看看考慮多方面因素是否能夠提高BP神經(jīng)網(wǎng)絡(luò)對房價預(yù)測的精準(zhǔn)度。

參考文獻(xiàn)

[1]TsungJung Hsieh，HsiaoFen Hsiao，WeiChang Yeh.Forecasting stock markets using wavelet transforms and recurrent neural networks：An integrated system based on artificial bee colony algorithm[J].Applied Soft Computing，2011，（11）.

[2]Pan Zhili，Huang Zhongmin，Wang Na，etal.Prediction of shelf life for quickfrozen dumping based on BP neural network and effective accumulated temperature theory[J].Transactions of the Chinese Society of Agricultural Engineering，2012.

[3]Melike Bildirici.Improving forecasts of GARCH family models with the artificial neural networks：An application to the daily returns in Istanbul Stock Exchang[J]. Expert Systems with Applications，2009.

[4]Chunqiao Mi，Jianyu Yang，Shaoming Li，etal.Prediction of accumulated temperature in vegetation period using artificial neural network[J].Mathematical and Computer Modelling，2010.

[5]朱英.改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型及其應(yīng)用[J].武漢理工大學(xué)學(xué)報（交通科學(xué)與工程版），2012.

[6]柳冬，王雯B，謝海濱等.我國房地產(chǎn)價格影響要素分析與趨勢預(yù)測[J].管理評論，2010.