神經網絡的前向傳播精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡的前向傳播主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經網絡的前向傳播范文

關鍵詞：神經網絡技術，ANNBP網絡算法

 

1、人工神經網絡概述

人工神經網絡是模擬生物神經信息處理方法的新型計算機系統，它可以模擬人腦的一些基本特征，（如自適應性，自組織性和容錯性），是一個并行、分布處理結構,它由處理單元及其稱為聯接的無向信號通道互連而成。

人工神經網絡力圖模仿生物神經系統，通過接受外部輸入的刺激，不斷獲得并積累知識，進而具有一定的判斷預測能力。盡管神經網絡模型的種類很多，但基本模式都是由大量簡單的計算單元（又稱為節點或神經元）廣泛相互連接而構成的一種并行分布處理網絡。。基于神經信息傳輸的原理，各個節點通過可變的權值彼此相連接，每個節點對N個加權的輸入求和，當求和值超過某個閾值時，節點呈“興奮”狀態，有信號輸出。節點的特征由其閾值、非線性函數的類型所決定，而整個神經網絡則由網絡拓撲、節點特征以及對其進行訓練所使用的規則所決定。

2、多層前向網絡

神經網絡按拓撲結構分為前饋型網絡和反饋型網絡。前饋型網絡在結構上采用的是其信息只能從前一層到它下面一層的單元，在網絡運算過程中不存在任何反饋。從學習觀點看，前饋網絡是一種強有力的學習系統，其結構簡單,易于編程；從系統觀點看，前饋網絡是非線性映射，通過簡單非線性處理單元的復合映射可獲得復雜的非線性處理能力，因此具有較強的分類能力和模式識別能力。

反向傳播（BP）網絡是典型的前饋型網絡，結構上它屬于多層前向網絡,它的結構如圖1所示。它分為輸入層、隱含層和輸出層，層與層之間多采用全互連方式，同一層之間不存在相互連接。網絡中每一層權值都可通過學習來調節,且網絡的基本處理單元（輸入單元除外）為非線性輸入、輸出關系，處理單元的輸入、輸出值可連續變化。由于BP網絡可在多個連續的輸入和一個或多個連續的輸出之間建立非線性映射這一特性，它常被用于智能預測。

多層前向網絡是使用最廣泛的一種網絡結構，它可很好的解決XOR等經典的非線性問題，比起單層的感知器有很大的優越性，尤其80年代中期，Rumelhart和Mcclelland最先提出了多層前饋網絡的反向傳播學習算法，簡稱BP算法，它的效率很高，是目前應用最為普遍的訓練算法，這使得多層前饋網絡應用更加廣泛。應該指出，我們常說的BP網絡，嚴格說是基于BP算法的多層前向網絡。

圖 1 BP網絡結構圖

4、 BP網絡算法

BP網絡算法的思想是把一組樣本的I/O問題變為一個非線性優化問題，使用了優化中最普通的梯度下降法,用迭代運算求解權對應于學習記憶問題，加入隱含層節點使優化問題的可調參數增加，從而可得到更精確的解。BP網絡模型設計的最大特點是網絡權值是通過使用網絡模型輸出值與已知的樣本值之間的誤差平方和達到期望值而不斷調整出來的，并且確定BP神經網絡評價模型時涉及隱含層節點數、轉移函數、學習參數和網絡模型的最后選定等問題。下面簡單介紹一下基本BP算法相關數學描述：

(1)梯度下降算法

(2)S(Sigmoid)型函數

BP網絡的激活函數經常使用的是Sigmoid對數或正切激活函數和線性函數。對數S型函數 f(x)=1/(1+exp(-x)), Sigmoid 函數具有非線性放大功能，它可以把輸入從負無窮大到正無窮大的信號，變換成-1到1之間的輸出，對較大的輸入信號，放大系數較小，而較小的輸入，放大系數較大，所以采用S型激活函數可以去逼近非線性的輸入/輸出關系。

(3)BP算法

BP網絡學習是典型的有導師學習，其學習算法是對簡單的學習規則的推廣和發展。BP網絡實現了多層網絡學習的設想，其學習過程包括正向傳播和反向傳播兩部分。。

在正向傳播過程中，給定網絡的一個輸入模式時，輸入信息從輸入層經過隱含層逐層處理，并傳向輸出層，每一層神經元的狀態只影響下一層神經元的狀態，由輸出層單元產生一個輸出模式，這是一個逐層狀態更新過程，稱為前向傳播。。如果輸出響應與期望輸出的模式誤差值不滿足要求，那么就轉入誤差反向傳播，將誤差值沿連接通路逐層傳送并修正各層連接權值。對于給定的一組樣本，不斷用一個個訓練模式進行學習，重復前向傳播和誤差反向傳播過程，當各個訓練模式都滿足要求時，BP網絡訓練完畢。

其中的激發函數我們采用S型函數， 即f(x)=1/(1+exp(-x))。BP算法描述如下：

（2）提供訓練樣本：輸入矢量Xk ,k=1,2,..n 和期望輸出tk, k=1,2,…,m；對每個輸入樣本進行（3）到（5）的迭代。

（3）計算網絡的實際輸出okj 。

（4）分別計算輸出層和隱含層的訓練誤差

其中(4-2)為輸出層的誤差值, (4-3)為隱含層的誤差值。

（5）修正權值和閾值

（6）判斷實際誤差指標是否滿足規定誤差的要求,滿足則到(7)。

（7）結束 。

BP算法是人工神經網絡中最為重要的網絡之一, 也是迄今為止應用最為廣泛的網絡算法, 實踐證明這種基于誤差反傳遞算法可以解決許多實際問題, 但其算法自身也存在著局部極小點、算法的收斂速度慢等缺陷，需要我們在今后的研究中不斷完善改進。

第2篇：神經網絡的前向傳播范文

關鍵詞：logistic回歸 BP神經網絡 上市公司 信用風險

在經濟全球化的趨勢下，信用將成為主要的交易方式，金融危機的爆發更是顯示出信用風險管理和信用風險分類的重要性。從20世紀60年代至70年代的統計學方法，20世紀80年代的專家系統到90年代的神經網絡，各種信用風險評級方法層出不窮。在我國，信用風險的度量和管理較為落后，金融機構沒有完善有效的評級方法和體系，目前所應用的方法主要是粗略的定性方法，如綜合利用宏觀經濟與行業風險、所有權及治理結構、信用風險及其管理、市場風險及其管理、資金來源/流動性、盈利能力等進行“加權”加分，信用風險的度量模式顯得比較單一，所以對于信用風險分類方法是學術界和實務界必須解決的課題之一。

一、文獻綜述

（一）國外文獻Logistic模型最早是由Martin （1977）用來預測公司的破產及違約概率。他從1970年至1977年間大約5700家美聯儲成員銀行中界定出58家困境銀行，并從25個財務指標中選取總資產凈利潤率等8 個財務比率，用來預測公司的破產及違約概率，建立了Logistic回歸模型，根據銀行、投資者的風險偏好設定風險警界線，以此對分析對象進行風險定位和決策。同時還將Z-Score模型，ZETA模型和Logistic模型的預測能力進行了比較，結果發現Logistic回歸模型優于Z- Score模型和ZETA模型。Madalla （1983） 則采用Logistic模型區別違約與非違約貸款申請人，其研究結果表明，當違約概率p>0.551時是風險貸款；當p

（二）國內文獻 在國內的研究文獻中，齊治平（2002）從我國滬、深兩交易所選取164 家上市公司，然后隨機分成兩組，運用線性判別模型、Logistic 回歸模型以及含有二次項和交叉項的Logistic 模型對數據樣本提前兩年進行預測。結果發現，含有二次項和交叉項的Logistic模型對前一年數據的預測準確率最高。吳世農（2003）使用剖面分析、單變量分析、線性概率模型（LPM）、Fisher二類線性判定、Logistic模型等統計方法對財務困境公司進行預測研究，其中Logistic模型對前一年數據的預測準確率達到93.53%，Fisher判別分析法和LPM的準確率都為89.93%。龐素琳（2003）利用多層感知器分別對我國2000年106家上市公司進行信用評級，信用評價準確率高達98.11%。本文即是從上市公司的財務指標入手，通過logistic回歸分析和BP神經網絡，構建衡量企業信用狀況的模型，并通過實證研究考察模型的適用性，對比兩者信用風險分類的準確度。

二、研究設計

（一）樣本選取和數據來源本研究選取滬深兩市A股市場上2005年至2007年三年中部分被進行特別處理的118家ST公司和126家非ST公司，數據主要來源于CSMAR深圳國泰安信息技術有限公司提供的財務指標數據，將118家ST公司的財務數據和126家非ST公司的財務數據劃分為訓練樣本和測試樣本。樣本集選取如（表1）所示。

（二）變量選取本文采取的財務數據在參考了已有文獻以及考慮到實際數據可得性的基礎上，選取了能夠反映短期還款能力，長期還款能力，盈利能力和營運能力4方面共12個財務指標。指標變量名稱及自變量符號具體見表。因變量為0-1變量，信用級別高的設置為1，信用級別低的設置為0。在做logistic回歸的時候會進一步運用向后篩選法剔除方差貢獻率不大的指標變量。具體如（表2）所示。

（三）模型設定

（1）Logistic回歸模型：

（2）多層次前向神經網絡。本文所應用的是一種稱為前向網絡的特殊神經網絡結構。本研究應用Rumehhart于1986年提出的如下函數：Ii=wijxj+?準，xi=fi=其中，Ii為神經元i的層輸入，xi為神經元的輸出，wij為神經元間的連接權，?準為神經元i的偏置。每一條連接弧都被賦予一定的數值來表示連接弧的連接強度，正的權值表示影響的增加，負的權值表示影響的減弱。在前向網絡中，神經元間前向連接，同層神經元互不連接，信息只能向著一個方向傳播。前向網絡的連接模式是用權值向量W來表示的。在網絡中，權值向量決定著網絡如何對環境中的任意輸入作出反應典型的學習算法是搜索權值以找到最適合給定樣本的權值。在本研究中應用的是多層前向網絡的BP算法，其主要作用是知識獲取和推理，采用有導師學習的訓練形式，提供輸入矢量集的同時提供輸出矢量集，通過反向傳播學習算法，調整網絡的連接權值，以使網絡輸出在最小均方差意義下，盡量向期望輸出接近，通過修改各層神經元的連接權值，使誤差減小，然后轉入正向傳播過程，反復循環，直至誤差小于給定的值為止。本文建立的BP神經網絡圖（見圖1）。本文建立財務困境神經網絡預警模型主要考慮以下兩方面的問題：一是確定網絡結構；二是學習參數的調整。首先考慮網絡結構的確定。網絡結構主要包括連接方式、網絡層次數和各層結點數。網絡的連接方式代表了網絡的拓撲結構，Lippmann（1987）證明在一定條件下，一個三層的BP神經網絡可以用任意精度去逼近任意映射關系，而且經過實驗發現，與一個隱層相比，用兩個隱層的網絡訓練并無助于提高預測的準確。因此在本研究中采用單隱層的BP網絡。各隱含層節點數的選擇并無確定的法則，只能結合實驗并根據一些經驗法則：隱層節點數不能是各層中節點數最少的，也不是最多的；較好的隱層節點數介于輸入節點和輸出節點數之和的50%~75%之間；隱層節點數的理論上限由其訓練樣本數據所限定。

三、實證結果分析

（一）logistic模型的參數估計及結果常規的線性判別模型計算得到的Z值只是個抽象的概念，無法從經濟學上進行解釋，Logistic回歸分析解決了這個問題，其前提假設符合經濟現實和金融數據的分布規律，殘差項小要求服從止態分布。本文運用SPSS自帶的Wald向后逐步選擇法篩選變量，提高模型的判別性能，從全變量模型開始，逐步提出對殘差平方和貢獻最小的變量，具體的回歸結果見（表2）。以2005年為例，根據SPSS計算結果中的參數表，估計Logistics模型的判別方程，（表3）反映了最大似然迭代記錄（顯示最后的迭代過程），（表4）反映了參數估計結果。步驟9是經過9步變量篩選后最后保留在模型中的變量。從各個系數的Wald值及伴隨概率p來看，最終選定的5個指標變量具有最高的解釋能力。綜上，2005年公司分類的logistic模型為：p=。從（表5）步驟1及步驟9的分類結果看出，剔除不顯著變量之后，分類準確率并未大幅下降，可以認為最終的模型能通過檢驗。（表6）顯示了最終的Logistic模型參數估計結果。（表7）顯示了模型分類準確率。

（二）BP神經網絡的參數估計及結果首先對輸入輸出樣本進行數據處理，消除影響預測結果的噪聲，神經網絡輸入的變量要求規范在［-1，1］（若使用tanh函數）或［0，1］（若使用logistic函數）之間。本文對輸入數據進行標準化處理，采用以下方法：X=。X為規范后的變量，x為每個變量的實際值，x1為每個變量的最小值，x2為每個變量的最大值。Matlab中相應的函數為［output_X，PS］=mapminmax（X，output_min，outpt_max）由于實際財務困境評價往往非常復雜，企業財務狀況的好壞與財務比率的關系常常是非線性的，而神經網絡作為一種非線形建模過程，并不依賴判別模型的假設，能找出輸入與輸出的內在聯系，因此本文決定嘗試使用神經網絡技術進行信用狀況的分類研究，分為訓練集和測試集兩組對神經網絡進行訓練，過程如下：第一，輸入層和輸出層神經元數目的確定。第一層為輸入層，采用判別分析得出的模型變量為輸入變量，共有12個結點，每個結點代表相應的財務比率。第三層為輸出層，用一個結點表示，訓練導師值為0代表信用級別“差”的公司，1代表信用級別“好”的公司。第二，隱含層數和隱結點個數的確定。本文選擇單隱層的前饋BP網絡；通過學習逐步增加隱神經元數，訓練反復調整。最后定為10個隱結點。第三，用訓練集的數據訓練這個神經網絡，使不同的輸入向量得到相應的輸出值，當誤差降到一個指定的范圍內時，神經網絡所持有的那組權數值就是網絡通過自學習得到的權數值，即完成了神經網絡的自學習過程。第四，輸入待評價的樣本（本文直接在輸入矩陣中劃分為訓練），讓訓練好的神經網絡輸出企業財務狀況的標志（0或1），即實現神經網絡的模式分類。神經網絡的初始權重由Matlab隨機產生的。訓練算法采用專用于模式分類的trainscg方法，各種訓練參數見（表8）。由此看出，算法逐步收斂，最終達到誤差標準見（表9）。

（三）兩種模型比較分析 本文對Logistic和BP神經網絡分別對我國上市公司的信用狀況給予兩類模式的評級，最終發現，Logistic和BP神經網絡在我國市場上的分類效果相當（見表10）。主流觀點認為，人工神經網絡具有良好的模式識別能力，可以克服統計等方法的限制，因為它具有良好的容錯能力，對數據的分布要求不嚴格，具備處理資料遺漏或是錯誤的能力。最為可貴的一點是人工神經網絡具有學習能力，可以隨時依據新準備的數據資料進行自我學習、訓練、調整其內部的儲存權重參數以應對多變的企業運作環境。但是本文得出的結果是：傳統的Logistic方法和神經網絡方法的分類效果相當。現代人工智能方法并未表現出理論上的優勢。可能的原因是：網絡不穩定，訓練樣本的仿真準確率很高，但對測試樣本的仿真準確率會降低；解釋性差，網絡最終確定后，每個神經元的權值和閾值雖然已知，但不能很好地分析各個指標對結果的影響程度，對現實問題中的經營管理也就不能起到很好的借鑒作用；網絡的輸入個數與隱層節點個數的確定沒有理論指導，只能通過經驗確定。

四、結論

本文選取2005年至2007年部分被進行特別處理的118家ST公司和126家非ST公司，以其財務指標為樣本，進行Logistic回歸和BP神經網絡分類，對這兩種信用風險評判模型在中國市場做了實證研究。結果發現：兩種模型均適用于中國上市公司兩模式分類（ST和非ST公司），而BP神經網絡在我國市場上并未體現其分類的優勢，分類準確度和Logistic相當。即使如此，本文證實了Logistic和BP神經網絡模型對于我國上市公司的評級還是有效的，能夠為投資者的科學決策提供建設性的指導意見，使投資者理智地回避風險和獲取收益。同時，該判別模型也有利于準確評價一個企業的信用狀況，從而為銀行等放貸機構提供決策依據。

參考文獻：

［1］吳世農、盧賢義：《我國上市公司財務困境的預測模型研究》，《經濟研究》2001年第6期。

［2］齊治平、余妙志：《Logistic模型在上市公司財務狀況評價中的應用》，《東北財經大學學報》2002年第1期。

［3］龐素琳、王燕鳴、羅育中：《多層感知器信用評價模型及預警研究》，《數學實踐與認識》2003年第9期。

第3篇：神經網絡的前向傳播范文

（一）BrainCell

神經網絡基本原理本文主要應用了BrainCell神經網絡軟件來實現B2B電子商務供應鏈協同績效評價模型的計算與分析。BrainCell神經網絡采用誤差反向傳播學習算法，算法從兩個方面（信號的前向傳播和誤差的反向傳播）反復進行迭代學習。其基本原理是輸入層各神經元在接收外接的信息后，傳遞給隱含層的神經元，根據減少目標輸出與實際輸出誤差的方向，從輸入層經過隱含層逐層修正各連接的權值，直到將誤差調整到能夠接受的程度，這不僅是各層權值不斷修正的過程，也是學習訓練神經網絡的過程，若學習樣本的計算輸出提前達到預期的結果，則訓練過程結束，否則將學習到預先設定的學習次數為止，最后由輸出層輸出信息處理的結果，如上圖所示。

（二）BrainCell神經網絡實現步驟

1.網絡層數的確定根據Kolmogrov理論可知，含有一個隱含層的三層神經網絡可以以任意精度逼近一個從輸入到輸出的映射關系。因此，在BrainCell神經網絡中采用含有單隱層的三層神經網絡。2.網絡節點的確定輸入層節點的多少與評價指標個數是相對應的。因此，根據構建好的B2B電子商務供應鏈協同績效評價指標體系，可以將一級指標與二級指標進行合并，作為輸入層的節點數，其指標數如表1所示，因此輸入層節點數為19個。輸出層節點則為1個，在此以B2B電子商務供應鏈協同績效等級結果作為輸出值。3.網絡訓練本文采用的訓練函數為trainscg，將網絡訓練的精度設置為10-4并初始化權值和閾值后，從15個樣本中選取12個作為訓練樣本進行批處理訓練，開啟網絡進行學習訓練。其具體步驟如下。假設訓練樣例是形式（a，b），其中a為輸入向量，b為輸出值。N為輸入節點數，M為輸出層節點數。從單位i到單位j的輸入表示aij，單位i到單位j的權值表示Wij。（1）創建具有N個輸入單位，M個輸出單位的BrainCell神經網絡。（2）用隨機數（0或1）初始化某些數字變量網絡權值Wij。（3）對于第k個訓練樣例（a，b），把輸入跟著網絡前向傳播，并計算網絡中每個單元x的輸出Qx，使誤差沿著反向傳播。（4）對于每個輸出單元u，計算它的誤差項。（5）對于每個隱含單元h，計算它的誤差項。（6）利用誤差項更新調整每個網絡權值。（7）重復（3）到（6），直到完成指定的迭代次數或者是其誤差值達到可接受的范圍。4.網絡檢驗將剩下的3個驗證樣本數據輸入到訓練好的網絡中，將其訓練結果與實際結果相比較，檢驗BrainCell神經網絡得到的輸入與輸出間的關系是否正確，從而反映出該績效評價體系的準確性和可靠性。

二、實證研究與分析

（一）確定績效評價等級

由于各個企業供應鏈自身發展的情況不同，各具特點，其形式、結構各異，因此如何劃分績效評價等級，如何更好地反映績效評價等級至關重要。本文以績效考核成績最好為1，最低為0為臨界值，由高到低劃分5個等級，并通過績效等級系數來體現，見表2所示。

（二）指標數據獲取和處理

本文以天貓商城中某珠寶飾品有限責任公司為例，該公司有比較穩定的供應商，且與多家企業都有長期合作關系。根據公司的實際管理情況，整理出該公司供應鏈協同管理的績效指標評價體系研究的基礎數據，應用BrainCell軟件對這些基本數據進行計算。為使各指標在整個系統中具有可比性，本文利用效應系數將指標在閉區間[0，1]上進行同趨勢化無量綱化和定性指標定量化處理。結果表明，該公司的供應鏈整體績效基本良好，其績效評價等級系數主要都集中在[0.5,0.8]這部分區間內，與該公司所處供應鏈實際情況相符。該公司運作情況基本令人滿意。

三、結語及展望

第4篇：神經網絡的前向傳播范文

關鍵詞：風電功率 多種群遺傳算法 單種群遺傳算法 神經網絡 優化

引言

近年來，風能作為一種新型的可再生能源，被應用到電力系統中，在解決能源問題的同時，又對電網的穩定安全運行帶來了巨大的挑戰。本文基于BP神經網絡，提出了用單種群遺傳算法和多種群遺傳算法優化的組合預測方法。對歷史數據建立模型，對未來短期風電功率分別用上述三種方法進行預測，并對結果進行比較。

1、BP神經網絡

（1）BP算法的基本思想。BP神經網絡是一種多層前饋神將網絡，利用信號前向傳遞，誤差反向傳播的思想來進行網絡學習。在前向傳播中，將輸入信號，從輸入層經隱含層層層處理，直至輸出層。利用輸出層輸出結果與預期輸出之間的差異，反向傳播，調整網絡權值和閾值，從而使網絡預測輸出不斷逼近期望輸出。

（2）輸入層與輸出層神經元個數的確定。輸入層神經元的個數與輸入變量的維數相等，輸出層神經元的個數與預期輸出的維數相等。

（3）隱含層神經元個數的確定。BP神經網絡的隱含層節點數對于BP神經網絡的預測精度有較大的影響：節點數太少，網絡不能很好地學習，需要增加訓練次數，訓練的精度也受到影響；節點數太多，訓練時間增加，網絡容易過擬和，泛化性能差。

（4）節點傳遞函數的確定。常用的轉移函數有線性傳遞函數、指數S型、對數S型等，在網絡的結構和權值、閾值相同的情況下，轉移函數對BP神經網絡預測誤差具有較大的影響。一般隱含層節點轉移函數選用對數或指數S型函數，輸出層節點轉移函數選用正切或線性傳遞函數。

（5）輸入數據的預處理。為了提高神經網絡訓練速度和提高收斂性，一般情況下要對輸入數據進行歸一化處理，本文采用最大最小法。

2、單種群遺傳算法

（1）遺傳算法概述。遺傳算法（GA）是一種進化算法，基本思想是“物競天擇，適者生存”的演化法則。把待解決的實際問題抽象，將其中參數編碼為染色體，利用迭代的方式進行選擇，交叉以及變異等運算從而交換種群中染色體的信息，最終生成符合優化目標的染色體。

（2）編碼。將原始問題的解空間的數據映射到遺傳空間的基因型串結構，其數據的不同組合構成了原始問題的不痛的解。本文采用二進制編碼法。

（3）適應度函數。適應度函數表征染色體的適應度，其值越大表明該染色體越適應環境，越有可能為下一代提供其遺傳信息。本文采用期望輸出與實際輸出的均方差作為適應度函數值。

（4）選擇、交叉、變異算子。選擇算子的主要目的是從種群中選出優良的個體，使其有機會作為父代為下一代提供遺傳信息。選擇的機制為適應度大的個體被選中的概率大。交叉算子實現了父代間的信息交換，是遺傳算法的主要操作。變異算子體現了實際問題中的參數變化，從而使算法跳出局部最優，達到或接近全局最優。

3、多種群遺傳算法

（1）單種群遺傳算法的不足。單種群遺傳算法在優化時不依賴于梯度，具有很強的魯棒性和全局搜索能力，被廣泛應用到機器學習，模式識別，數學規劃等領域。但會出現早熟問題。

（2）多種群遺傳算法概述。為了克服遺傳算法的未成熟問題，學者們提出了自適應的交叉和變異，并得出了一些益的結論。但由于影響遺傳算法未成熟問題的因素很多，一般方法仍有一定的局限性，為此本文采用多種群遺傳算法代替遺傳算法，并引入移民算子和人工選擇算子，進行多種群的并行搜索。

（3）移民算子與人工選擇算子。各個種群之間通過移民算子進行聯系，實現多種群的協同進化；最優解的獲取是多種群協同精華的結果。通過人工選擇算子保存各個種群每個進化代中的最優個體，并作為判斷算法收斂的依據。

4、單種群與多種群遺傳算法優化BP神經網絡

在神經網絡的結構相同的情況下，每次運行神經網絡進行預測和有可能會得出不同的結果，即網絡初始權值與閾值對網絡預測結果有很大的影響。本文使用遺傳算法優化BP神經網絡初始權值與閾值，從而確定最佳的初始權值與閾值，提高預測的準確度。算法流程如圖所示。

5、算例分析

根據《國家能源局關于印發風電場電功率預測預報管理暫行辦法》，風電場功率預測預報考核指標，利用2011年電工杯數學建模競賽A題的數據進行驗證。分別利用BP神經網絡、單種群遺傳算法優化的神經網絡、多種群遺傳算法優化的神經網絡進行編程，預測結果如表1所示

預測結果顯示，使用BP神經網絡進行預測的結果已經達到了比較高的精確度，但單種群遺傳算法優化的神經網絡和多種群遺傳算法優化的神經網絡將預測精度進一步提高，其中多種群遺傳算法優化的神經網絡的預測效果最佳。

6、結論

本文提出基于遺傳算法優化的神經網絡預測模型，充分挖掘歷史數據，采用多種群協調進化，提高網絡預測精度與泛化性能，同時提高網絡穩定性。實例證明多種群遺傳算法優化的神經網絡預測模型比單一種群遺傳算法優化的神經網絡預測模型具有更好的預測效果，為風電功率預測提供了一種新的思路。具有很好的應用前景。

參考文獻：

[1]王素霞.國內外風力發電的情況及發展趨勢[J].電力技術經濟，2007，19（1）：29-31.

[2]時慶華，高山，陳昊.2種風電功率預測模型的比較[J].能源技術經濟.2011，23（6）：31-35

[3]洪翠，林維明，溫不瀛.風電場風速及風電功率預測方法研究綜述[J].電網與清潔能源，2011，27（1）：20-66.

第5篇：神經網絡的前向傳播范文

關鍵詞：高速公路；隧道施工系統；安全評價；模糊理論；神經網絡

0引言

近年來，隨著國家高速公路迅猛發展，隧道建設數量也越來越多，規模也越來越大。在隧道施工過程中，由于圍巖地質條件的多樣性和復雜性，其施工事故發生率比其他巖土工程高且嚴重，給隧道工程施工人員身心帶來嚴重的危害，社會影響惡劣，有悖于國家建設和諧社會的宗旨。這就要求用科學的方法對隧道施工生產系統進行安全分析與評估，預測事故發生的可能性[1]。

在傳統的公路隧道施工生產系統安全評價中，經常使用的安全評價方法主要以定性安全評價方法為主，如專家論證法、安全檢查表法及作業條件危險性評價法等[2,3]。近年來，在公路隧道施工生產系統安全評價中，引人了模糊綜合評價的方法，取得了較好的決策效果[4]。但是，該方法缺乏對環境變化的自學習能力，對權值不能進行動態調整[5],而神經網絡具有非線性逼近能力,具有自學習、自適應和并行分布處理能力，但其對不確定性知識的表達能力較差，因此，模糊控制與神經網絡結合就可以優勢互補，各取所長[6]，在這方面已經出現了一些研究成果[7～11]。為此，本文把人工神經網絡理論與模糊綜合評價理論相融合，研究建立了一種模糊神經網絡評價模型，對公路隧道施工的安全管理水平進行評價。

1模糊神經網絡

1.1基本結構原理

模糊神經網絡是由與人腦神經細胞相似的基本計算單元即神經元通過大規模并行、相互連接而成的網絡系統，訓練完的網絡系統具有處理評估不確定性的能力，也具有記憶聯想的能力，可以成為解決評估問題的有效工具，對未知對象作出較為客觀正確的評估。

根據評估問題的要求，本文采用具有多輸人單元和五輸出單元的三層前饋神經網絡，其中包括神經網絡和模糊集合兩方面的內容。

1.2神經網絡

為了模擬人腦結構和功能的基本特性，前饋神經網絡由許多非線性神經元組成，并行分布，多層連接。Robert Hecht一Nielson于1989年證明了對于任何在閉區間內的一個連續函數都可以用一個隱層的BP網絡來逼近[12]，因而一個三層的BP網絡完全可以完成任意的輸人層到輸出層的變換。因此，本文研究的公路隧道施工系統安全評價模糊神經網絡采用三層BP神經網絡結構。輸人層有 個神經元，輸人向量 ， ，輸人層神經元 的輸出是輸人向量的各分分量 。隱層有個神經元 ， ，若輸人層神經元 與隱層神經元 之間的連接權值為 ，且隱層神經元 的閾值為 ，則隱層神經元 的輸出為

(l)

式中 是神經元的激勵函數，一般選取單調遞增的有界非線性函數，這里選用Sigmoid函數：

(2)

由此，隱層神經元的輸出為：

(3)

同理可得輸出層神經元的輸出為：

(4)

1.3學習算法

本網絡采用BP學習算法，它是一種有教師的學習算法，其學習過程由信號的正向傳播和誤差的反向傳播組成。基本原理是：設輸人學習樣本為 個，即輸人矢量 ，已知其對應的期望輸出矢量(教師信號)為 ，正向傳播過程將學習樣本輸人模式 從輸人層經隱含單元層逐層處理，并傳向輸出層，得到實際的輸出矢量 ，如果在輸出層不能得到期望輸出 ，則轉人反向傳播，將 與 的誤差信號通過隱層向輸入層逐層反傳，并將誤差分攤給各層的所有單元，從而調整各神經元之間的連接權值，這種信號正向傳播與誤差反向傳播得各層權值調整過程是周而復始地進行的，直到網絡輸出的誤差減少到可接受的程度，或進行到預先設定的學習次數為止。

網絡的具體學習算法的計算模型如下：

對某一學習樣本 ，誤差函數為

（5）

式中： 、 分別為該樣本的輸出期望值和實際值。

對于所有學習樣本 ，網絡的總誤差為

（6）

網絡學習算法實際上就是求誤差函數的極小值。利用非線性規劃中的梯度下降法(最速下降法)，使權值沿著誤差函數的負梯度方向改變。

隱層與輸出層之間的權值(及閾值) 的更新量 可表示為

（7）

式中： 為學習率，可取 。

將式（6）和（4）代入式（7），并利用復合函數求導的連鎖規則，得

（8）

式中： 為迭代次數， 為誤差信號

（9）

類似的，輸入層與隱層之間的權值（及閾值）修正為

（10）

同理可得

式中 為誤差信號

（11）

為了改善收斂性，提高網絡的訓練速度，避免訓練過程發生振蕩，對BP算法進行改進，在權值調整公式中增加一動量項，即從前一次權值調整量中取出一部分迭加到本次權值調整量中，即：

（12）

（13）

式中 為動量因子，一般有 。

1.4模糊集合

評估指標集由表征一類評估決策問題的若干性能指標組成。由于指標的量化含有不確定性，故用模糊方法加以處理[13]。評估指標的模糊集合 可表示為

（14）

式中： 是評估指標， 是相應指標的評價滿意度， 。

評估指標集用其滿意度表示，取值在[0，1]之間，作為模糊神經網絡系統中神經網絡的輸人向量，這正好符合神經網絡對輸人向量特征化的要求。實踐表明，經過對輸人向量的特征化處理，可大大減少網絡的學習時間，加速網絡訓練的收斂。

2隧道施工系統安全評價模糊神經網絡

2.1指標體系與神經網絡劃分

實踐證明，一個好的隧道施工系統安全評價方法應滿足以下要求：評價指標能全面準確地反映出隧道施工系統的狀況與技術質量特征；評價模式簡單明了，可操作性強，易掌握；評價結論能反映隧道施工系統的合理性、經濟性及安全可靠性；評價中所采用的數據易于獲取，數據處理工作量小；頂層輸出即為系統的專家評估，而每層各評估項目的子系統都可以用子結構表示。

每個子結構具有輸人輸出關系可表達為

（15）

其中 是子系統的輸出， 是子系統的輸人矢量， 為相應的專家(加權)知識。

評估專家系統中各子系統的評估由各自的模糊神經網絡來完成。

這種對評估系統的結構分解和組合具有如下特點：

（1）每個子系統可以采用較少的神經元來實現神經網絡的自學習和知識推理，這樣既減少了學習樣本數、提高了樣本訓練速度，又能夠獨立完成某一推理任務。

（2）分解的各子系統具有相對獨立性，便于系統的修改、擴展和子系統的刪除，從而具有良好的維護性。

（3）子系統的評估項目即為節點，在系統進行評估推理時產生的評估表示式可以很好地解釋評估系統的推理過程，避免了神經網絡權值難以理解所致的推理過程難以理解的弱點。

2.2網絡的設計

評估問題是前向處理問題，所以選用如前所述的前向型模糊神經網絡來實現。

（1）輸人層

輸人層是對模糊信息進行預處理的網層，主要用于對來自輸人單元的輸人值進行規范化處理，輸出由系統模糊變量基本狀態的隸屬函數所確定的標準化的值，以便使其適應后面的處理。根據評價指標體系，對應20個指標構建BP網絡的輸入層為20個節點，將指標轉換為相應指數后作為樣本進入網絡進行計算。

（2）隱層(模糊推理層)

該層是前向型模糊神經網絡的核心，用以執行模糊關系的映射，將指標狀態輸入與評估結果輸出聯系起來。采用試探法選取模型的隱含層神經元數，即首先給定一個較小的隱含層神經元數，代入模型觀察其收斂情況，然后逐漸增大，直至網絡穩定收斂。通過計算該模型的隱含層神經元數為28個。

（3）輸出層

輸出層是求解模糊神經網絡的結果，也是最后的評估結果。我們把評價因素論域中的每一因素分成5個評價等級，即

={安全（ ），較安全（ ），安全性一般（ ），較不安全（ ），不安全（ ）}

對應這5個等級，確定輸出層為5個節點。這樣就構建了一個“20―28―5”的3層BP網絡作為評價體系的網絡模型。

2.3模糊神經網絡訓練

網絡設計好后,須對其進行訓練，使網絡具有再現專家評估的知識和經驗的能力。樣本數據來自我省已經建成的高速公路隧道施工的現場數據庫，從中選取30組，其中20組數據作為訓練樣本，余下的10組作為測試樣本。實際網絡訓練表明，當訓練步數為12875時，達到了目標要求的允差，獲得模糊神經網絡各節點的權值和閾值，網絡訓練學習成功。根據最大隸屬度原則進行比較，與期望結果相符，其準確率為100%。這說明所建立的隧道施工系統安全評價模糊神經網絡模型及訓練結果可靠。

3 工程應用實例

利用所訓練好的模糊神經網絡模型，對江西省正在施工的某高速公路A3合同段3座隧道（北晨亭隧道、洪家坂隧道和窯坑隧道）施工系統進行安全評價測定，評價出系統的安全狀況與3座隧道施工實際情況完全相符。同時，實際系統的評價結果又可作為新的學習樣本輸入網絡模型，實現歷史經驗和新知識相結合,在發展過程中動態地評價系統的安全狀態。

4 結論

（1）本文對模糊理論與神經網絡融合技術進行了研究，建立了一種公路隧道施工系統安全模糊神經網絡評價模型，利用歷史樣本數據進行學習訓練和測試，并對工程實例進行了評價。結果顯示，該評價方法可行，評價精度滿足工程應用要求,為公路隧道施工安全評價探索了一種新的評價方法。

（2）運用模糊神經網絡知識存儲和自適應性特征，通過適當補充學習樣本，可以實現歷史經驗與新知識完美結合，在發展過程中動態地評價公路隧道施工系統的安全狀態，可及時評估出施工系統的安全狀況，盡早發現安全隱患。

參考文獻：

[1]徐德蜀.安全科學與工程導論[M].北京:化學工業出版社,2005.

[2]劉鐵民,張興凱,劉功智.安全評價方法應用指南[M].北京:化學工業出版社,2005.

[3]田建,李志強,張斌.交通建設工程安全評價技術現狀及趨勢研究[J].中國安全科學學報,2008,18(6):171-176.

[4]張鴻,劉優平,黎劍華等.基于模糊理論的隧道施工安全預警模型研究及應用[J].中國安全科學學報,2009.19(4):5-10.

[5]劉輝,王海寧,呂志飛.模糊神經網絡技術在礦山安全評價中的適應性研究[J].中國安全生產科學技術,2005,1(3):54-59.

[6]張吉禮.模糊-神經網絡控制原理與工程應用[M].哈爾濱:哈爾濱工業大學出版社,2004.

[7]葛淑杰,李彥峰,姜天文等.基于模糊神經網絡的煤礦安全評價綜合評判[J].黑龍江科技學院學報,2007,17(4):321-325.

[8]鄭恒,汪佩蘭.模糊神經網絡在火工品生產系統安全評價中的應用[J].安全與環境學報,2004,4:159-162.

[9田軍.基于模糊神經網絡的隧道圍巖分級系統[J].湖南交通科技,2007,34(4):104-107.

[10]郭宇航,王保國.兩類新型神經網絡及其在安全評價中的應用[J].中國安全科學學報,2008,18(7):28-33.

[11]宋瑞,鄧寶.神經元網絡在安全評價中的應用[J].中國安全科學學報,2005,15(3):78-81.

[12]韓力群.人工神經網絡理論、設計及應用[M].北京:化學工業出版社,2007.

[13]楊綸標,高英儀.模糊數學原理及應用[M].廣州:華南理工大學,2005.

第6篇：神經網絡的前向傳播范文

關鍵詞：渦輪增壓系統；故障診斷；BP神經網絡；RBF神經網絡；Elman神經網絡

中圖分類號：U472 文獻標識碼：A

在現代生產過程中，柴油機作為常見的機械設備之一，廣泛應用于動力發電、工程機械等各種領域，其動力性和可靠性的好壞直接影響著整個系統的工作狀況。因此，對柴油機進行故障診斷和狀態監測，及時發現并排除故障，對增加柴油機工作狀態下的安全性與可靠性，減少經濟損失，避免事故發生具有重大的意義。傳統的柴油機故障診斷與處理方法包括油法、振動噪聲法等，但都是以定期保養和事后維修為主，這些方法缺乏事故預見能力、成本高、效率低[1]。隨著計算機技術、信號分析處理技術、人工智能的迅猛發展，柴油機故障診斷技術的水平也在不斷地提高。以非線性并行分布處理為主的神經網絡為柴油機故障診斷技術的研究開辟了新的途徑[2]。經過對柴油機的故障資料進行分析，柴油機的渦輪增壓系統發生的故障較多，本文只研究柴油機渦輪增壓系統故障的診斷，利用MATLAB神經網絡工具箱，分別基于BP、RBF和Elman網絡進行柴油機的故障診斷，并對三種網絡方法診斷結果的可靠性和適用性進行比較和分析。

1 渦輪增壓系統的故障分析

根據對柴油機工作過程的分析和實際運行經驗，可以確定渦輪增壓系統的出現的工作故障的原因和部位主要有：增壓器效率下降、空冷器傳熱惡化、透平保護格柵阻塞、透平通流部分、空氣濾清器阻塞、空冷器空氣測流阻塞增大和廢熱鍋爐流阻增大。其中后三項故障可以直接由部件特性參數診斷得出，系統的工作狀況和前四項故障原因作為網絡輸出變量由建立的神經網絡進行故障診斷，確定柴油機渦輪增壓系統是否處于安全運行中。柴油機渦輪增壓系統工作狀況下可以得到的征兆變量包括排氣總管溫度、掃氣箱壓力、平均燃燒最大爆發壓力、掃排氣道壓損系數、增壓器轉速、壓氣機出口溫度、掃氣箱溫度、空冷器壓損系數、濾網壓損系數、廢氣鍋爐壓損系數和柴油機工作負荷參數，共11項可以作為網絡的輸入變量。

根據某型號柴油機技術規范要求，可以得到柴油機無故障時的數據，如下所示[3,4]。

氣缸排氣溫度： 30K

掃氣箱壓力： 0.06MPa

最大爆發壓力： 1MPa

濾網壓損系數： 0.1

增壓器轉速： 1500r/min

空冷器壓損系數： 0.1

廢氣鍋爐壓損系數： 0.1

掃排氣道壓損系數： 0.06

壓氣機出口溫度： 30K

掃氣箱溫度： 40K

其中，由于濾網壓損系數、空冷器壓損系數和廢氣鍋爐壓損系數可以作為部件特性系數，直接進行診斷，所以，排氣總管溫度、掃氣箱壓力、最大爆發壓力、增壓器轉速、掃排氣道壓損系數、壓氣機出口溫度、掃氣箱溫度和柴油機負荷作為網絡的輸入變量。由神經網絡診斷出的數據參數上下偏差超過以上數據時，則認為柴油機有故障。

2 神經網絡模型

2.1 BP神經網絡

BP學習算法的基本原理是梯度最快速下降法，通過梯度搜索使網絡的實際輸出值和期望輸出值的誤差均方值為最小。BP神經網絡是誤差反向傳播算法的學習過程，如圖1所示，輸入層各神經元負責接收來自外界的輸入信息，并傳遞給中間層各神經元；中間層是內部信息處理層，負責信息變換，根據信息變化能力的需求；傳遞到輸出層各神經元的信息，完成學習的正向傳播處理過程，由輸出層向外界輸出信息處理[5,6]。

圖1 BP神經網絡結構

2.2 RBF神經網絡

RBF神經網絡屬于前向神經網絡類型，如圖2所示。第一層為輸入層，由信號源結點組成；第二層是隱含層，隱含層中神經元的變換函數是非線性函數，傳遞函數為radbas；第三層為輸出層，傳遞函數為線性函數purelin,對輸入模式作出響應[7]。

RBF神經網絡的基本原理是前饋式神經網絡，它具有最佳逼近性能和全局最優特性，并且結構簡單，訓練速度快，在模式識別、非線性函數逼近等領域的神經網絡模型方面應用廣泛[8]。

2.3 Elman神經網絡

Elman神經網絡是一個具有局部記憶單元和反饋連接的局部前向回歸網絡，主要結構是前饋連接，包括輸入層、隱含層、承接層和輸出層，其中承接層從隱含層接收反饋信號，用來記憶隱含層神經元的輸出值，經過延遲和存儲，在輸入到隱含層中，這樣對歷史數據具有敏感性，增強了網絡的動態信息處理能力[9]。

圖2 RBF網絡結構

3 網絡設計

3.1 樣本數據選取與處理

確定正確的訓練樣本集是神經網絡能夠準確故障診斷的一個關鍵環節，柴油機渦輪增壓系統的每一種故障都對應著一個樣本，樣本的目標值取0,0.5和1來表示診斷出故障的嚴重程度。確定訓練樣本，分別取滿負荷運行、90%負荷運行、70%負荷運行和半負荷運行四種狀況下的數據集，現抽取其中的9組數據作為訓練樣本，3組數據作為測試樣本。由于原始數據幅值不同，甚至相差很大，直接在網絡中使用學習速率會變得很慢，無法反應出小的測量值變化，所以要先將訓練樣本進行歸一化處理，處理后的數據對于網絡更容易訓練和學習[10]。歸一化函數如下所示：

Xi =(xi-A)/B

式中：Xi表示歸一化后的測試數據，xi表示原始的測試數據，A表示相應的無故障情況下的基準值，B表示最大偏差值的絕對值。

3.2 建立網絡并故障診斷

3.2.1 BP神經網絡

根據試湊法，選取隱含層節點數為12，第一層傳遞函數使用tansig函數，第二層傳遞函數使用logsig函數，訓練函數為trainlm函數，訓練次數3000，訓練目標0.01，學習速率為0.1。

net=newff(minmax(P),[12,5],{'tansig','logsig'},'trainlm');

net.trainParam.epochs=1000;

net.trainParam.goal=0.01;

LP.lr=0.1;

net=train(net,P,T);

如圖3所示, 經過32次訓練后，網絡的性能達到了要求。

圖3 BP網絡訓練結果

利用訓練好的BP網絡對測試樣本進行測試，測試代碼為yi=sim(net,pi) i=0,1,2測試結果為：y1=0.0000 0.9999 0.0000 0.0036 0.0000;y2=0.21050.0000 0.5245 0.0000 0.0059y3=0.0000 0.0014 0.0000 1.0000 0.0000測試結果表明，經過訓練后，網絡可以滿足柴油機渦輪系統故障診斷的要求。

3.2.2 RBF神經網絡

由于樣本數目比較小，將徑向基分布常數設定為1.2，由此，利用MATLAB創建一個RBF神經網絡如下：spread=1.2;net=newrbe(P,T,spread);經過訓練后，對策是樣本進行測試，測試結果如下：y1 = 0.0000 1.0550 -0.189 -0.0758 0.0147;y2 =0.0000 -0.0018 0.5196 0.0055 -0.0087;y3 = 0.0000 0.0202 -0.0111 0.9804 0.0028測試結果表明，網絡成功診斷出了所有故障。

3.2.3 Elman神經網絡

創建單隱層的Elman神經網絡，最影響函數性能的是隱含層節點數，通過考慮網絡的速度與性能，將隱含層節點數定為15，創建網絡如下所示：net=newelm(minmax(P),[15,5],{'tansig','logsig'})net.trainParam.epochs=500;net.trainParam.goal=0.01;net=train(net,P,T);

如圖4所示，經過訓練和對數據測試后，結果如下所示：y1 = 0.0232 0.8539 0.0050 0.2311 0.0021;y2 = 0.0112 0.0291 0.4829 0.0468 0.0447;y3 = 0.0129 0.2031 0.0146 0.7644 0.0204

圖4 Elman神經網絡訓練結果

測試結果雖然誤差較大，但可以測試樣本的故障診斷結果。

4 結語

(1)采用神經網絡建立故障診斷模型，能夠客觀的反映柴油機是否故障及嚴重情況，三種網絡均能夠滿足故障診斷的要求；(2) BP網絡具有很強的非線性映射能力，在柴油機故障診斷中應用很成功，但由于BP網絡是前向的神經網絡，所以收斂速度比較慢，而且有可能收斂到局部極小點；RBF神經網絡收斂速度快，當函數的擴展速度spread越大，函數擬合就越平滑，如果數值過大，會使傳遞函數的作用擴大到全局，喪失了局部收斂的優勢，所以在網絡設計中需要嘗試確定最優解；Elman網絡的訓練誤差曲線比BP網絡要平滑，收斂速度很快，能準確的識別所有故障類型，但相對于BP網絡和RBF網絡，Elman網絡的識別誤差更大，但并沒有影響所建立模型的應用。(3) 由于樣本量比較小，對于和訓練數據相差很大的數據，所建立的網絡可能無法正確診斷。在實際應用中要采用大容量的訓練樣本，并對樣本數據進行分析和檢查，如利用小波方法處理非正常的高峰值波動數值等[11]。

參考文獻

[1]張蕾. 融合技術在柴油機故障診斷中的應用[J]. 小型內燃機與摩托車，2002，31（3）：33-36.

[2]汪云，張幽彤.神經網絡在電控柴油機實時的故障診斷[J].汽車工藝與材料，2001，（1）：38-40.

[3]馬旭凱，谷立臣，李世龍. 基于SOM神經網絡的柴油機故障診斷[J]. 機械制造與研究，726-731.81-83.

[4]丁艷君，吳占松．鍋爐煙氣排放檢測軟件傳感器[N]. 清華大學學報（自然科學版），2002，42（12）：1636-1638.

[5]李玉峰，劉玫.基于動量BP網絡的柴油機故障診斷[J].控制工程，2007.

[6]傅薈璇，趙紅等.MATLAB神經網絡應用設計 [M].北京：機械工業出版社，2010.

[7]朱大奇，史慧．人工神經網絡原理及應用[M]. 北京：科學出版社，2006.

[8]Luce H，Govind R．Neural network pattern recognizor for detection of failure modes in the SSME[J].AIAA90-1893.

第7篇：神經網絡的前向傳播范文

[關鍵詞] 船舶供應商 評價體系 遺傳算法 神經網絡

選擇合適的供應商直接關系到船舶企業降低成本、提高企業競爭力。現有的平價方法在確定指標權重時存在主觀隨意性，評價結果缺乏客觀與公正。BP神經網絡具有容錯性、自適應性等特點，解決了評價過程中指標權重隨意性和人為因素。本文構建了BP神經網絡的船舶供應商評價模型，并針對BP神經網絡收斂速度慢的缺點，采用遺傳算法對構建的BP神經網絡模型進行優化，從而構建評價船舶供應商遺傳神經網絡模型。

一、船舶供應商評價指標體系的構建

原材料供應商和船舶配套企業的產品質量性能以及管理水平等都會對船舶企業的正常運行帶來重大影響，直接關系到企業的盈利能力。因此，構建科學的合理的供應商評價體系，是船舶制造企業綜合評價供應商的依據。

周期長、成本高等特點決定了船舶是一種特殊的產品，需要結合船舶自身的特點來構建船舶供應商評價指標體系。綜合學者的研究成果與船舶公司實際狀況，本文認為應該從質量、成本、交貨、柔性、財務與信譽狀況以及服務與管理水平6個方面構建船舶供應商的評價指標體系。

二、基于遺傳神經網絡的船舶供應商評價模型

1.BP神經網絡在船舶供應商評價中的應用

BP神經網絡模型是一個分層型網絡，具有輸入層、中間層和輸出層。供應商評價指標由輸入層到輸出層的傳遞是一個前向傳播的過程，若輸出結果與期望結果的誤差超過允許范圍，則誤差反向傳播，并根據各層誤差的大小來調節權值,尋找最佳權集，實現正確輸出。基于BP神經網絡的船舶供應商評價模型結構及學習原理如圖2所示。

2.基于遺傳算法改進的BP神經網絡模型

BP算法是沿梯度下降(平方誤差函數)來指導搜索的，學習過程收斂速度慢，易陷入局部極小點。而遺傳算法對于全局搜索具有較強的魯棒性和較高的效率，克服了BP網絡的局限性。將遺傳算法與BP網絡相結合,可以達到全局尋優和快速高效的目的。

遺傳算法改進BP神經網絡模型的步驟是:（1)確定網絡參數；（2）設定的種群規模N，產生初始種群;（3)求N組網絡權系數,得到具有相同結構的N個網絡;（4)求N組網絡權值對應的N個網絡輸出;（5）網絡性能評價;（6)若不滿足評價條件，由對染色體進行遺傳選擇、變異和交叉操作，產生新的染色體，直到滿足評價函數;（7)選擇一個最優染色體作為網絡權重，進行網絡的訓練和評價。其工作流程如圖3所示。

三、應用仿真算例

以中船公司的25家供應商數據為基礎，采用matlab7.0編程，建立三層遺傳神經網絡模型。

將前15家供應商作為訓練集，訓練該網絡；其余10家供應商作為測試集，模擬待評價的對象。設置誤差精度為0.00001。首先用遺傳算法，經過450次優化，得到全局最優的網絡權值。然后以前15家供應商的二級評價指標為樣本，經過BP神經網絡4700次訓練，得出對應的6個一級評價指標的訓練樣本;再以所得出的輸出值為樣本，經過BP神經網絡4450次訓練,訓練出最終的遺傳神經網絡模型，并用于綜合評價工作。輸入后10家供應商二級評價指標值，得到其一級評價指標的輸出值,以該輸出值為輸入，計算出10家供應商的綜合評價結果。見表。

四、結束語

基于遺傳神經網絡的船舶供應商評價模型借助BP神經網絡的容錯性和自適應自學習能力克服了傳統評價方法在指標權重賦值時存在的主觀隨意性問題，并用遺傳算法的優化解決了BP存在的收斂速度慢的問題，為評價船舶供應商提供了一條新的途徑。

參考文獻:

[1]金朝光 紀卓尚 林 焰:船舶企業選擇供應商的策略研究[J]. 計算機集成制造系統,2003,9(10):886～890

[2]馬士華 林 勇 陳志祥:供應鏈管理[M].北京:機械工業出版,2004

第8篇：神經網絡的前向傳播范文

關鍵詞：山區高速公路；填石路堤；人工神經網絡；沉降

中圖分類號：U412.36+6文獻標識碼： A

1 引言

在山區高速公路修筑中，存在大量的石質挖方路段和隧道路段，怎樣利用大量的石質填料填筑路堤，使其不出現工程質量事故，同時避免一方面大量借石填筑路堤，另一方面又造成大量的石質棄方占用農田耕地的不合理現象，成為山區高速公路建設中迫切需要解決的問題。在高等級公路逐漸進入山區的今天，在云南省乃至全國范圍內還將遇到更多的填石路堤修筑技術問題。填石路堤的壓實工藝和檢測手段及檢測標準，粗粒料的壓實特性，填石路堤的沉降、穩定性評價是填石路堤面臨的主要難題[1]。

2 沉降分析方法

本文采用神經網絡方法對某山區高速公路填石路堤沉降進行分析計算，以便科學合理的評價公路填石路堤穩定性與沉降規律。

2.1神經網絡模型

BP神經網絡通常是指基于誤差反向傳播算法（BP算法）的多層前向神經網絡，它是目前應用最廣泛也是發展最成熟的一種神經網絡模型，它是按層次結構構造的，包括一個輸入層、一個輸出層和一個或多個隱藏層（圖中只畫出一層），一層內的節點（神經元）只和與該層緊鄰的下一層各節點相連。這個網絡學習過程由正向傳播和反向傳播兩個過程組成。在正向傳播過程中，輸入信息從輸入層經隱藏層逐層處理，然后傳向輸出層，每一層神經元的狀態只影響下一層神經元的狀態。如果在輸出層不能得到希望的輸出，則轉向反向傳播過程，將誤差信號沿原來的連接通路返回，通過修改各層神經元的權值，使得誤差信號最小[2]。

網絡學習的過程首先從給出一組隨機的權值開始，然后選取學習樣本集中的一個模式（輸入和期望輸出對）作為輸入，接著按前饋方式計算輸出值。這時的輸出值和期望值之間的誤差一般比較大，這就迫使權值必須改變。利用反向傳播過程，計算所有的權值的改變量。對所有的模式和所有的權值重復計算，修正權值后又以前饋方式重新計算輸出值。實際輸出和目標輸出之間的偏差和權值改變量又一次在計算中產生。在學習樣本中的所有模式進行計算后得到一組新的權值，在接下來的前饋過程中便得到一組新的輸出值，如此循環下去。在一次成功的學習中，系統誤差或單個輸入模式的誤差將隨著迭代次數的增加而減小，而過程將收斂到一組穩定的權值。

實際上，BP模型把一組樣本的輸入輸出問題變為一個非線性優化問題。我們可以把這種模型看成一個從輸入到輸出的映射，這個映射是高度非線性的。如果輸入節點數為n，輸出節點數為m，則神經網絡表示的是從n維歐式空間到m維歐式空間的映射。

2.2 神經網絡模型的改進

BP算法的主要缺點是：收斂速度慢、局部極值、難以確定隱層和隱層節點的個數。在實際應用中，BP算法很難勝任，因此出現了許多改進算法。BP算法的改進主要有兩種途徑：一種是采用啟發式學習算法，另一種則是采用更有效的優化算法。

啟發式學習算法，就是對于表現函數梯度加以分析，從而改進算法，其中包括：有動量的梯度下降法（traingdm）、有自適應lr的梯度下降法（traingda）、有動量和自適應lr的梯度下降法（traingdx）和能復位的BP訓練法（trainrp）等。另一種是基于數值最優化理論的訓練算法，其中包括共軛梯度法、高斯－牛頓法和Levenberg-Marquardt方法等。

本文采用共軛梯度法進行改進。共軛梯度法是梯度法的一種改進方法，可以改進梯度法振蕩和收斂性差的缺陷。其基本思路是尋找與負梯度方向和上一次搜索方向共軛的方向作為新的搜索方向，從而加快訓練速度，并提高訓練精度。所有的共軛梯度法，都采用負梯度方向作為初始搜索方向：

然后沿著該方向作一維搜索：

接下來，就利用共軛方向作為新一輪的搜索方向，通常在當前負梯度上附加上一次搜索方向：

共軛梯度法通常比自適應lr的梯度下降法速度快，有時候也優于彈性梯度下降法。同時由于共軛梯度法占有較少的存儲空間，因此在訓練復雜網絡的時候，通常選用共軛梯度法[3]。

2.3程序的實現

本文采用Matlab，進行程序的編制，算法如下：

%%神經網絡預測_BP神經網絡模型

% n：原始數據個數 x：填石路堤沉降實測值 y：填石路堤沉降預測值

clc;clear all;

clf;

%%讀數據；

load x1.txt;load x2.txt;

P=x2;x=x1;

%%NEWFF——生成新的線性神經網絡

%%TRIAN——對線性神經網絡進行訓練

%%SIM——對線性神經網絡進行仿真

%P——為輸入矢量；

%x——為目標矢量；

%創建網絡

net=newff(minmax(P),[1,1],{'tansig','purelin'},'traingdm');

%當前網絡層的權值與閾值

layerWights=net.LW{2,1};

layerbias=net.b{2};

%設置訓練參數

net.trainParam.show=50;

net.trainParam.lr=0.05;

net.trainParam.mc=0.9;

net.trainParam.epochs=100;

net.trainParam.goal=0.1;

%%對BP神經網絡進行訓練

[net,tr]=train(net,P,x);

%對線性網絡進行仿真

y=sim(net,P);

y

x

3 填石路堤沉降計算分析結果

以現場監測數據與網絡預測值進行比較如表1所示。應用該模型進行預測精度很高，這進一步證明了該BP神經網絡擬合效果好，泛化能力強，收斂快。所以，該法在填石路堤最終沉降預測中十分有效和可行。

表1 網絡預測與實際值比較

4 結輪

本文將人工神經網絡引入到填石路堤的沉降計算，利用實測資料，直接建模，更好的反映了填石路堤的沉降規律，工程實例研究表明，網絡預測值與實測值吻合較好，可信度較高，并且隨著學習樣本的不斷補充，網絡的預測精度將進一步提高。

（1）一個良好的神經網絡模型，可以不斷學習，使求解的范圍不斷擴大，同時人工神經網絡的抗干擾能力較強，個別測點的誤差將不會對結果產生大的影響。

（2）工程實例研究表明，實測值與神經網絡預測值吻合較好，但也有個別點偏差較大，主要原因是訓練的數據太少，隨著訓練數據的增加，網絡的預測精度還會進一步提高。

（3）人工神經網絡方法避免了傳統方法的許多弊病，具有自組織、自適應、容錯性等特點，計算精度高，操作簡便，適應性強，因而具有廣闊的工程應用前景。

參考文獻：

第9篇：神經網絡的前向傳播范文

摘要：旅游需求的預測預報研究一直是旅游學研究的一個重要課題。本文在對到訪澳門地區中國內地游客量分析的基礎上,運用人工神經網絡(ANN)的理論和方法,構建了ANN模型分析中的3層BP模型,以澳門近10年（1996-20__）入境來訪的中國內地旅游人數為例進行模型驗證，模擬結果表明,BP神經網絡預測的結果能夠高程度的吻合原始數據，在旅游市場預測中，BP神經網絡預測是一種有效的預測方法。一．問題的提出與分析近年來，對澳門地區的旅游業來說，中國內地旅客是旅游收入的主要來源。目前旅游業已成為澳門地區經濟發展特別是第二產業發展的支柱。建立科學的可操作的旅游預測模型是實現澳門地區旅游業持續健康穩定發展的理論基石和前提。由于影響某地旅游人數的因素各異，還不存在普遍適用的神經網絡模型。基于此，本文擬用3層BP神經網絡模型來仿真模擬分析和預測澳門地區旅游需求,以此為旅游需求預測提供一種新的方法。二．模型的假設與符號說明1．基本假設1）交通在旅游中通常不是重要的，為了研究的方便（主要是無法獲得交通數據），把交通這個影響忽略。2）假設澳門的接待能力都滿足需求。3）在本例旅游需求預測模型中，我們考慮的主要因素有：客源地的人口，客源地的總收入，客源地的消費水平，旅游目的地的生活水平。4）為了研究的方便，假定以上四因子之間相互獨立，本例旅游需求即為上述四因子的函數，即y=f(GDI,POP,GDE,M-GP)。就用這四個因素作為人工神經網絡模型輸入層的神經元。2．符號說明T澳門內地游客量GDI中國內地國民總收入POP中國內地人口總數GDE中國內地國民消費水平M-GP澳門生產總值三．模型的建立與求解1．人工神經網絡模型理論原理

人工神經網絡（ArtificialNeuralNetwork）是由大量的、簡單元件（神經元）廣泛相互聯結而成的非線性的、動態的復雜網絡信息處理系統，它是在現代神經學研究成果基礎上提出的，能模擬人腦的若干基本功能[1]。它具有并行分布的信息處理結構，可以通過“自學習”或“訓練”的方式完成某一特定的工作。它可以從積累的工作案例中學習知識，盡可能多地把各種定性或定量的因素作為變量加以輸入，從而建立各種影響因素與結論之間的高度非線性映射，采用自適應模式識別方法來完成預測工作[2]。人工神經網絡模型尤其是對處理內部規律不甚了解、不能用一組規則或方程進行描述的復雜的、開放的非線性系統顯得較為優越。人工神經網絡模型一般由處理單元、激活狀態、單元輸出、連接模式、激活規則、學習規則等6個部分組成。一個多層神經網絡中包含有很多個信息處理單元,分布于不同的層次中。根據每項輸入和相應的權重獲取一個綜合信號，當信號超過閾值則激活神經元而產生輸出。各類影響因素和最終輸出結果之間可以假定存在一種映射,即輸出結果＝F（影響因素）。為了尋求最佳的映射關系F，將訓練樣本集合和輸入、輸出轉化為一種非線性關系，通過對簡單非線性函數的復合，從而建立一個高度的非線性映射關系F,最終實現輸出值的最優逼近［3］。在人工神經網絡的實際應用中，80~90的人工神經網絡是采用前饋反向傳播網絡（back-propagation-network,簡稱BP網絡）或它的變化形式。BP神經網絡（如圖一）是一種單項傳播的多層前向神經網絡，分為輸入層、隱含層和輸出層，層與層之間采用全連接方式，同一層單元之間不存在相互連接。它是前向網絡的核心部分，體現了人工神經網絡最精華的部分[4]。標準的BP網絡是根據W-H學習規則，采用梯度下降算法，對非線性可微函數進行權值訓練的多層網絡。圖一：BP神經網絡的每一層的權值通過學習來調節，其基本處理單元為非線性輸入－輸出關系，選用S型作用函數：其中：xj為該神經元第i個輸入；wij為前一層第i個神經元至該神經元j的連接權值，i＝0時的權值為閾值。其計算步驟如下：（1）給定一組隨機的權值和閾值初始值及步長系數η與勢態因子α；（2）取學習樣本數據，根據學習樣本、權值及閥值計算輸出，并與學習期望輸出比較，當誤差滿足要求時結束訓練，否則將誤差向后逐層傳播，并修正各層連接權值，調整公式為：其中：k取j結點所在層的前一層所有結點。5）澳門內地旅客人數神經網絡模型的建立(一)BP網絡設計網絡設計是一個綜合性問題，它應滿足多種不同要求，例如，希望所涉及的網絡有較好的推理能力，易于硬件實現，訓練速度快等，其中有較好的推理能力是最主要的。一般來說，推廣能力決定于3個主要因素，即問題本身的復雜程度、網絡結構以及樣本量大小。在一般情況下，旅游需求預測研究中樣本的數量是一定的，因此可歸結為在樣本量一定的情況下，如何選擇網絡規模的問題。在進行BP網絡預測模型設計中，我們主要考慮以下因素：網絡的層數、每層中的神經元個數、初始值的選擇、學習速率和期望誤差。i)網絡的層數已證明：具有偏差和至少一個S型隱含層加上一個線性輸出層的網絡，能夠逼近任何有理函數。所以，本文選擇一個3層的BP網絡。ii)每層中神經元的個數輸入層和輸出層神經元的個數根據解決具體問題的復雜程度而定。為了提高網絡訓練的精度，可以通過采用一個隱含層，再加上1到2個神經元以加快誤差的下降速度即可。因此，本文輸入層神經元個數選擇為4個，隱含層神經元個數分別選擇了9、12、15個，輸出層神經元個數選擇為1個。iii)初始值的選擇由于人工神經網絡是一個非線性系統，初始值的選擇對于網絡學習是否達到局部最小、是否能夠收斂以及訓練時間的長短都有較大影響。在初始值的選擇上一般是使經過初始值加權后的每個神經元的輸出值都接近零，這樣可以保證每一個神經元的連接權值都能夠在它們的S型激活函數變化最大處進行調解。所以，初始值一般選擇在（-1,1）之間的隨機數。本文的初始值為默認值。iv)學習速率對于任何一個網絡都對應一個合適的學習速率。學習速率決定每一次循環訓練中所產生的權值的變化量。大的學習速率可以導致網絡的不穩定，但是小的學習速率又會導致訓練時間延長，收斂速度較慢，不能保證網絡的誤差能最終趨于最小。綜合上述考慮，在學習速率的選擇上傾向于選擇較小的學習速率以保證網絡的穩定性，本文選擇的學習速率為0.01。v)期望誤差值期望誤差值的確定也是通過網絡對不同誤差值分別進行訓練比較后確定的最適合值。所謂的最適合值是相對于所需要的隱含層的節點數來確定的，一個較小的誤差值的獲得需要增加隱含層的節點以及訓練時間。本文經過不斷測試，選擇0.0001為期望誤差值。（二）1．網絡訓練模式的選擇訓練網絡有兩類模式：逐變模式和批變模式。在逐變模式中，每一個輸入被作用于網絡后，權重和偏置量被更新一次。在批變模式中，所有的輸入被應用于網絡后，權重和偏置量才被更新 一次。使用批變模式不需要為每一層的權重和偏置量設定訓練函數，而只需為整個網絡制定一個訓練函數，使用起來相對方便，因此，本文在進行網絡訓練時采用批變模式。表格一：年度

澳門的內地游客量(T)（千人）中國內地國民總收入(GDI)（億元）中國內地人口數(POP)（萬人）中國內地居民消費水平（GDE）（元）澳門生產總值（M-GP）(億美元)1996604．270142.5122389278966.31997529．877653.1123626300266.71998816．883024.3124761315961.919991645．288189.0125786334659.220__2274．798000.5126743363261.020__3005．7108068.2127627386961.920__4240．4119095.7128453410668.220__5742．0135174.0129227441179.220__9529．7159586.71299884925103.320__10463183956.11307565439115.62．數據和模型的建立神經網絡模型要求數據具有：A、易獲得性B、可靠性C、可測度性。本項研究采用很可靠的官方發表的數據作為分析的數據源（見表1），主要來自于中國統計局網。用3層BP網絡模型對本例旅游需求進行模擬，根據BP網絡的映射原理，對于樣本集合X和輸出Y，可以假設存在一映射F。為了尋求F的最佳映射值，BP網絡模型將樣本集合的輸入、輸出轉化為非線性優化，通過對簡單的非線性函數的復合，建立一個高度的非線性映射關系，實現F值的最優逼近。對于本例旅游需求模型的模擬：其輸入層結點數（4個神經元）：中國內地國民總收入（GDI）、中國內地人口總數（POP）、中國內地國民消費水平（GDE）、澳門生產總值（M-GP）。把澳門內地游客量（T）作為輸出結點。從而得出3層前饋反向傳播神經網絡模型。四．模型結果及分析1網絡訓練性能的檢查。不同個數的隱層單元組成的BP網絡訓練曲線如圖1，2，3所示。通過比較發現，中間層神經元個數為9和12時，網絡的收斂速度比較快。2網絡預測性能的考查。在數據列表中選取1996年到20__年的數據作為網絡的測試數據。20__、20__年的(文秘站:)游客量檢驗誤差曲線如圖4。其仿真結果令人滿意，達到預期的效果。圖1圖2圖3圖4五．模型的應用與評價（優缺點與改進）從上面的分析可以看出，3層BP神經網絡模型的仿真模擬效果是鄰人滿意的。可以看出，人工神經網絡的擬合精度比較高，主要是基于人工神經網絡抗干擾能力強，穩定性好，能自動準確地找出各種輸入和輸出之間的線性或非線性關系，具有較強的模擬適應能力等特點。在本例對于澳門的內地游客量的旅游預測中BP神經網絡模型是一種有效的預測方法。這一研究方法為旅游學的定量預測研究提供了一種新的思路，也為工程實踐問題中的一些研究工作提供了一種非常好的指導方法。雖然BP網絡得到了廣泛應用，但其自身也存在一些缺陷和不足，主要包括幾個方面的問題。首先，由于學習速率是固定的，因此，網絡的收斂速度慢，需要較強的訓練時間。再次，網絡隱含層的層數和單元數的選擇尚無理論上的指導，一般是根據應驗或者通過反復試驗確定的。因此，網絡往往存在很大的冗余性，在一定上也增加了網絡學習的負擔。六．原題附帶問題簡析通過對本例旅游需求模型的分析，我們認為在利用數學建模的方法對旅游需求進行預測預報時，對于數據的采集和整理工作需要認真做好。對于數據的分析有助于我們尋求變量間的關系，以形成初步的想法。如何獲得數據以及如何獲得準確的數據對于我們研究實際問題具有相當重大的意義。收集數據并非多多益善，而是要弄清究竟需要哪些數據，剔除不必要的數據，從而減少冗余的工作。同時，需要什么形式的數據也是我們應該思考的一個問題，這與建立模型的目的和所選擇的模型的特點有關。[參考文獻][1]王士同，等．問題求解的人工智能：神經網絡方法[M].北京：氣象出版社，1995.[2]HillT,MarquezO’connorM,RemusW.ArtificialNeuralNetworkMedelsfor

ForecastingandDecisionMaking[J].InternationalJournalofForecasting,1993,