神經網絡的訓練方法精選(九篇)
前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡的訓練方法主題范文，僅供參考，歡迎閱讀并收藏。
第1篇：神經網絡的訓練方法范文
關鍵詞 BP神經網絡 房地產市場 預警研究
中圖分類號：F293 文獻標識碼：A
一、房地產市場預警評價指標的構建
本著全面性、重要性、可測性、獨立性的房地產預警指標選取原則，筆者選取了房地產行業的發展協調度、和諧穩定度、和未知風險度三個一級指標以及12個二級指標作為警兆指標，如表1所示：
二、BP神經網絡預警模型的構建
（一）神經網絡結構的構建。
BP神經網絡模型拓撲結構一般包括輸入層（InPutLaver），隱含層（HideLaver）和輸出層（outPutLayer）三個方面。
由于任意一個連續函數都可以準確地用一個三層向前神經網絡來模擬。故本文采用只含有一個隱含層的三層神經網絡作為預警系統。
其中房地產市場警兆指標為輸入層，本文輸入層節點數X=12。相對應的警情為輸出層，本文警情采用三維向量的模式，故輸出層節點數Y=3。隱含層神經元數目N的確定，本文采用公式N=+C，其中，C 為 1 ～10 的常數。通過訓練，發現當N=8時，神經網絡的收斂效果最好。
（二）神經網絡的訓練方法。
1、信號向前傳輸。
首先，計算隱含層各單元的凈輸入Ij：
其中wij是輸入層第i單元與隱含層第j單元間的權重； j是隱含層第j單元的偏置值，p為隱含層單元總數。
第二，計算隱含層各單元的輸出yj：
第三，計算輸出層的實際輸出，計算方法與隱含層相同。
2、誤差反向傳輸。
通常用網絡實際輸出與目標輸出之間的方差ei來度量誤差。
其中di表示目標輸出，yi表示實際輸出。
（三）預警時差和警情的設定。
由于目前我國房地產發展不成熟以及相關警兆指標的局限性。本文將預警時差設定為2年，通過對上一年的警兆數據的分析來預測下一年的警情，即通過2011年的數據來預測2013年的警情。并將警情劃分為 “冷”、“正常”、“熱”三級，分別用三維向量（1，0，0）、（0，1，0）、（0，0，1）表示。
（四）神經網絡的預警過程。
將經過歸一化處理后的房地產市場警兆指標數據作為網絡系統的輸入，經過訓練好的神經網絡處理，輸出房地產市場的警情，實現評價指標與警情的非線性映射。
三、基于沈陽市房地產市場的實證研究
本文選取了沈陽市2004年到2011年的預警指標數據，其中2004年到2009年作為神經網絡的訓練樣本，2010年作為檢驗樣本，2011年作為預測2013年警情的基礎數據。其中根據相關專家的分析，給出2006年到2009年沈陽市房地產市場地警情。
（一）神經網絡的訓練。
為了使神經網絡獲得較好的訓練效果，本文運用MATLAB軟件對其進行訓練。其中中間層的激勵函數為正切s型激勵函數，輸出層的激勵函數為對數s型激勵函數。學習訓練率為0.06。經過342次迭代，網絡訓練誤差情況如圖迭代次數所示。
（二）神經網絡的檢驗。
為了使訓練好的神經網絡能夠更精確的預測警情，本文將2010年的相應指標數據輸入到已經訓練好的網絡中，對網絡進行檢驗。檢驗結果如下表所示。
由表結果可知，神經網絡輸出結果與目標輸出結果吻合度較好，故可以作為預測警情的模型。
（三）神經網絡的市場預警。
將2011年的相關指標數據輸入到BP網絡中去，得到結果表所示：
由網絡輸出可得出目標輸出為（0，1，0）。即2013年沈陽市房地產市場處于正常狀態。
四、結語
第2篇：神經網絡的訓練方法范文
[關鍵詞] 小生境遺傳算法 神經網絡 股票 預測
一、引言
股票和股票市場對國家企業的經濟發展起到了積極的作用，如可以為投資者開拓投資渠道，增強投資的流動性和靈活性等。但股票價格的形成機制是頗為復雜的，股票價格既受到多種因素，諸如:政治，經濟，市場因素的影響，亦受技術和投資者行為因素的影響，個別因素的波動作用都可能會影響到股票價格的劇烈波動。因此，股票價格和各影響因素之間很難直接建立明確的函數關系表達式。針對這一情況，將可有效處理非線性問題的神經網絡引入到股票價格的預測中來，但神經網絡收斂慢,易陷入局部極小點，出現振蕩，魯棒性差。所以有的學者用遺傳算法(ga)來優化神經網絡，這種神經網絡可能獲得個別的甚至局部的最優解,即ga早熟現象。本文引進能較有效地保持種群多樣性的小生境遺傳算法(nga),采用nga優化與用ga優化的bp網絡權值進行對比,證實了nga的判別準確性和尋優能力。
二、小生境遺傳算法優化的神經網絡
1.bp神經網絡
反向傳播(bp)算法又稱為誤差逆傳播校正方法，它是1974年p.werbos(哈佛大學)提出的。133229.CoMbp算法用來訓練多層前饋神經網絡,屬于監督學習算法。bp網絡具有結構清晰，易實現，計算功能強大等特點。因而是目前最常見，使用最廣泛的一種神經網絡。但是在實際應用中，傳統的bp算法存在以下問題:收斂速度慢;若加快收斂速度易產生振蕩；存在局部極小和平臺問題;泛化能力差;隱節點數和初始值的選取缺乏理論指導;未考慮樣本選擇對系統學習的影響等。所以很多學者提出許多改進的方法，用小生境遺傳算法優化神經網絡權值的神經網絡來預測股票價格。
2.小生境遺傳算法
小生境遺傳算法(iche genetical gorihm)的基本思想是:首先比較任意兩個個體間的距離與給定值的大小，若該距離小于給定值，則比較其適應值大小。對適應值較小的個體施加一個較強的懲罰，極大地降低其適應值。也就是說，在距離l內將只有一個優良個體，從而既維護了群體的多樣性，又使得各個體之間保持一定的距離，并使得個體能夠在整個約束空間中分散開來。
3.神經網絡連接權的優化
用小生境遺傳算法可以優化神經網絡連接權，神經網絡結構，學習規則等，這里我們對神經網絡的連接權進行優化，具體步驟如下：
（1）隨機產生一組權值分布，采用某種編碼方案對該組中的每個權值(或閾值)進行編碼，進而構造出一個碼串(每個碼串代表網絡的一種權值分布)，在網絡結構和學習規則已確定的前提下,該碼串就對應一個權值和閾值取特定值的一個神經網絡。
（2)對所產生的神經網絡計算它的誤差函數，從而確定其適應度函數值，誤差越大,則適應度越小。
（3)選擇若干適應度函數值最大的個體,直接遺傳給下一代。
（4)利用交叉和變異等遺傳操作算子對當前一代群體進行處理，產生下一代群體。
（5)重復（2）（3）（4），使初始確定的一組權值分布得到不斷地進化,直到訓練目標得到滿足為止。
這種由小生境遺傳算法訓練神經網絡的方法也可以稱做混和訓練法。將基于小生境遺傳算法的遺傳進化方法和基于梯度下降的反傳訓練相結合,這種訓練方法吸取兩種方法的各自特點，所以收斂速度快。
三、股票價格預測仿真
根據經驗選取輸入預測日前四天開盤價、收盤價歸一化后做為作為輸入量，輸出為第五天收盤價歸一化數值。所以，本文采用神經網絡結構為(8,5,1),即網絡的輸入層6個節點,隱含層9個節點,輸出層1個節點。本文選擇了“xdg 新梅（600732）”從2006年3月14日到2006年7月1日數據進行了仿真。利用matlab6.5編程，取70組訓練樣本和30組測試樣本。如圖（1）表示用遺傳算法和小生境遺傳算法對神經網絡的權值進行優化時，誤差曲線變化;從圖中可以看出，小生境遺傳算法收斂速度要快;圖（2）表示股票預測值和實際值比較，從圖中可以看出，遺傳算法和小生境遺傳算法對神經網絡的權值的模型進行股票價格的預測，都能預測出股票走向趨勢，但是，后者的預測精度顯然要比前者高。
四、結束語
股票市場的不確定因素太多，股票的價格更是多種因素影響的集合體，是典型的非線性動力學問題。股票價格的中長期準確預測很難。本文建立了用小生境遺傳算來優化神經網絡模型來預測股票價格，結果表明，這種方法比單用遺傳算法優化的神經網絡收斂速度快，預測精度高。對于股票價格預測具有較好的應用價值。
參考文獻:
[1]龍建成李小平:基于神經網絡的股票市場趨勢預測[j].西安電子科技大學學報(自然科學版.2005.3（32）:460-463
[2]王波張鳳玲:神經網絡與時間序列模型在股票預測中的比較[j].第27卷第6期武漢理工大學學報·信息與管理工程版.2005.9（27）:69-72
第3篇：神經網絡的訓練方法范文
關鍵詞：神經網絡；過程控制；模糊控制
我國礦石“貧、細、雜”，礦石成分復雜，性質波動嚴重，因而造成了我國浮選過程控制水平不高，浮選藥劑消耗量大，產品質量波動大，精礦回收率低，經濟效益差的現狀，嚴重影響了我國鋼鐵工業的國際競爭力。因此急需能夠滿足我國浮選工藝現狀的檢測設備及先進控制算法，以提高我國浮選過程控制水平，以穩定產品質量，為后序煉鐵工序提供更好的原料。
對于浮選工藝過程控制，藥劑控制是根本性的。以反浮選為例，如果給藥量過少，無用礦物成分就不能充分浮選，則會導致精礦品位降低，不能滿足產品質量要；如果藥劑量過多，不但藥劑費用大，而且會導致返回的中礦量增加和尾礦品位增高，回收率降低，經濟效益不理想。
本文根據影響浮選藥劑用量的因素確定了RBF神經網絡模型的結構。針對RBF神經網絡參數難以確定的缺點，提出一種基于蟻群算法RBF神經網絡優化方法。并通過仿真結果證明了該算法的有效性。
1 藥劑量控制模型結構確定
目前傳統的藥劑添加方法是以給礦流量為參考，在應用比例控制的方法的基礎上根據操作工經驗來控制藥劑流量。但由于浮選過程的嚴重非線性、干擾因素眾多且系統存在大滯后。這種簡單的控制方法難以保證浮選最終精礦品位的穩定，同時影響了精礦回收率。即使在浮選槽出口安裝上價值昂貴的在線精礦品位檢測儀表，由于浮選過程的大滯后特性，常規的閉環控制方法也難以達到目的。所以本章主要通過應用浮選生產過程中積累的大量生產數據，根據相應的浮選工藝參數，使用RBF神經網絡技術對浮選過程進行建模。然后根據初始生產條件，應用建立好的數學模型預測所需的藥劑用量，從而克服系統的大滯后、非線性特性，穩定浮選生產過程。
通過現場調研，我們知道原礦性質和藥劑用量與浮選槽出口精礦品位有直接關系。最后我們依據工藝機理和現場操作工經驗知識，最終確定給礦品位、給礦流量、給礦粒度、給礦濃度、精礦品位5個變量對藥劑流量影響最大。
因此本文將給礦品位、給礦流量、給礦粒度、給礦濃度和精礦品位5個變量作為浮選藥劑量控制模型的輸入變量，將浮選藥劑流量作為模型輸出變量，從而建立一個5輸入、1輸出的RBF神經網絡模型，模型結構如圖1所示。
圖1 浮選藥劑量控制模型結構圖
2 基于蟻群算法的網絡泛化能力優化
我們應用處理后的樣本數據對網絡性能進行了測試（這里我們使用了700組樣本數據作為網絡訓練數據，50組數據作為網絡性能測試數據，網絡訓練停止條件是網絡訓練誤差小于網絡訓練停止誤差或者超過最大訓練次數。我們把網絡最大訓練次數規定為5000次），測試中發現了兩個問題。一是值得大小對網絡測試誤差的影響很大；二是網絡的訓練停止誤差（訓練次數）大小也影響測試誤差的大小。有時網絡訓練停止誤差越小，反而網絡的性能越差。下面給出了仿真測試曲線：
圖2 不同r值下的模型預測曲線
3 蟻群算法優化RBF神經網絡參數
從網絡性能測試結果和上面關于神經網絡泛化能力的相關知識我們可以知道，要提高本文RBF神經網絡模型的泛化能力。在網絡訓練過程中，我們所能做的就是在確定一個合適的r值（確定合理網絡結構），并且判定合理的網絡訓練停止誤差（也可以是學習次數）。
[圖3 蟻群算法優化RBF神經網絡參數流程圖]
但是由于r值和網絡訓練停止誤差是兩個參數，只有在兩個參數都合適的情況下才能獲得最好的網絡性能。這樣如何尋找這兩個參數的最優組合就成了問題的關鍵點。采用手動試驗的方式由于兩個參數的不同組合太多而難以實施。因而本文決定采用目前流行的蟻群優化算法對上述兩個參數進行優化，來提高RBF神經網絡的性能。本文應用蟻群算法優化RBF神經網絡參數的流程如圖3所示。
這里我們將樣本數據分成3個部分：一部分為訓練樣本集；一部分為內部測試樣本集；一部分為外部測試樣本集。蟻群算法優化RBF神經網絡參數的工作過程如下：
Step1：蟻群算法參數。
Step2：隨機選定r值和網絡訓練停止誤差。
Step3：采用文中的網絡中心和權值訓練方法，應用訓練樣本集訓練RBF網絡。訓練結束后，應用內部測試樣本集測試網絡泛化誤差。
Step4：根據泛化誤差計算蟻群算法適應度函數，適應度函數值滿足要求或蟻群算法迭代次數超過目標次數則停止算法，并給出參數優化結果。否則進行蟻群算法操作重新搜索r值和網絡訓練停止誤差后返回Step3。
通過蟻群算法的優化，我們最后得到r=1.37，網絡訓練停止誤差為6.3×10-4。此時RBF神經網絡仿真結果如下：
[圖4 蟻群算法優化后的模型預測曲線]
第4篇：神經網絡的訓練方法范文
關鍵詞：客運量預測；蟻群算法；神經網絡；ACONN模型；灰色預測
中圖分類號：G642 文獻標識碼：A 文章編號：1009-3044（2014）06-1348-04
Prediction and Analysis of Hefei Highway Passenger Quantity Based on ACA-NN
ZHANG Qinq-lin，LIU Chun-ling
（Department of Information Engineering， Anhui Economic Management Institute， Hefei 230051，China）
Abstract： According to the defects of neural network， this paper puts forward neural network highway customer forecast method which based on colony algorithm optimization. This model is used common BP neural network structure， the algorithm is used is a new kind of evolutionary algorithm- ant colony algorithm. Finally， it takes
highway passenger transportation in hefei as an example， try ACONN ant colony neural network application in the passenger traffic forecast， results show that the ant colony neural network model's prediction precision is better than other models.
Key words： Passenger traffic forecast；ant colony algorithm；neural networks；ACONN model；gray prediction
隨著汽車保有量的增加，公路客運量也隨之增加，公路客運能力受到了極大的挑戰。如何有效利用現有工具來預測客運量，滿足公路客運管理和交通工程建設，這是交通管理和建設部門面臨的一項重要工作任務。國內外學者對預測模型進行了大量詳盡的研究，其中AR模型、ARMA模型、ARIMA模型、Box-Jenkins方法、馬爾可夫方法、灰色系統方法及統計回歸方法等建模方法比較常用[1～2]。這些方法很多是線性的，無法逼近真實的歷史數據；也有利用原始BP神經網絡方法來預測，雖然多層BP網絡可以實現任意可實現的線性和非線性函數的映射，但是在訓練過程中易陷入局部最小的情況，所以這些預測方法的準確率還不是很高。該文針對神經網絡存在無法有效收斂最優值問題，構建基于蟻群算法優化的神經網絡的公路客運預測模型[3]。經過對2012年合肥公路客運量進行預測分析，掌握各個時段客運量的分布，有利于相關部門作出相應決策，應對客運高峰期帶來的種種壓力，更好地滿足廣大人民群眾的需求， 以最合理的人力和財力的投入，來獲得最大經濟效率，達到最好的社會效果。
1 蟻群算法
蟻群算法（Ant Colony Algorithm，簡稱ACA）是人們受到對自然界中真實的螞蟻群體行為啟發而提出的一種仿生優化算法。屬于隨機搜索算法，該算法是在1991年召開的第一界歐洲人工生命會議上，由Dorigo M等人第一次提出的關于蟻群算法的基本模型[4]。Dorigo M等人通過模擬螞蟻搜索食物的過程（就是怎樣去找到蟻穴到食物源的最短路徑，前提是在個體之間相互合作的情況下）來求解TSP問題。
該算法以前主要解決一維的靜態優化問題，發展到現在用于解決多維動態組合優化的問題，在多種研究領域，已經得到廣泛應用。蟻群算法目前軟件及硬件的實現上都取得了突破性的研究進展，既具有深刻的學術思想，又具有廣闊的發展前景。
以TSP為例，基本蟻群算法的程序結構流程圖如圖1。
2 蟻群算法與神經網絡NN（Neural Network）的融合
2.1 基本思想
針對反向傳播BP（Back Propagation）算法容易陷入局部極小的不足，采用蚊群優化算法ACO（Ant Colony Optimization）訓練方法。[5]蟻群優化神經網絡訓練過程就是在實數權值組合中，找到一組最優的，使得期望結果與輸出結果之間的誤差達到最小，而蟻群算法正是尋找這樣的最優權值組合的不錯選擇。
2.2 構建蟻群優化神經網絡ACONN系統
應用蟻群優化神經網絡ACONN（Ant Colony Optimization Neural Network）系統預測的框圖2如下，首先對輸入數據進行預處理，再建立原始的神經網絡，再次利用蟻群算法來優化神經網絡的權值、閾值構建一個性能完好的ACONN系統，最后利用優化好的ACONN系統來預測，輸出預測數據。
圖2 ACONN系統預測圖
3 合肥客運量預測的蟻群優化神經網絡模型構建
3.1 樣本采集與數據預處理
樣本選擇了以合肥市歷年的客運量為樣本數據，月為單位的訓練樣本選擇了2011年每月的數據，預測2012年中每月的客運總量。
由于BP神經網絡要求輸入的數據范圍一般在（0，1）。因此對樣本數據進行歸一化處理。其公式為[6]：
[Y=X-XminXmax-Xmin]
其中Xmax取一個比較大的值，保證預測年的數據小于該數值， Xmin取一個小于樣本數據序列中最小值的值，保證歸一化后的數據不太接近于0。
3.2 預測方式選擇及ACONN的訓練樣本設計
我們知道，目前我們基于蟻群優化的神經網絡的客運預測模型，它是屬于一種數據驅動的方法，也就是說，我們去利用目前神經網絡的一種非線性的特性去逼近一個時間序列，這樣通過神經網絡的清晰邏輯關系，并且利用過去時刻的值，去表達未來某一時刻的值。我們的人工神經網絡預測，目前可以分為單變量時間序列預測和多變量時間序列預測[7]。所以說無論是單變量時間序列預測還是多變量時間序列預測，都可以使用我們平時的常用的方法，共有三種是：單步預測，滾動預測，多步預測[8]。
現采用的是滾動預測方式，在訓練樣本設計時需要根據網絡的結構。以月為單位預測，采用2個輸入，即連續兩年的同月份2個月數據作為輸入，下一年同月份作為輸出。設有歸一化的樣本集 X（t）（t=1，2，…，n），選擇一步預測時，選取個m輸入，1個輸出，可組成如下的訓練組對：
表1
[輸入數據 期望輸出＼&X（1），X（2），…，X（m） X（m+1）＼&X（2），X（3），…，X（m+1） X（m+2）＼&…… ……＼&X（n-m），X（n-m+1），…，X（n-1） X（n）＼&]
3.3 蟻群優化神經網絡的結構與參數
現在我們所熟知的蟻群優化神經網絡采用具有一個隱含層的三層BP網絡結構。由于采用年和月為單位預測，因此根據需要在輸入層、隱含層上有差別，具體的各層神經元個數在年與月的預測中有具體的設置。目前，我們可以去根據萬能逼近定理，如果有一個三層的BP網絡，它可以以任意的精度去逼近一個連續函數。這樣，也就是說可以采用具有一個隱含層的三層BP網絡結構。在網絡模型結構確定的基礎上設定網絡參數，網絡的連接數目S，蟻群算法參數選為ρ=0.7，Ant=40，網絡權值參數隨機值選值N=30， 網絡權值參數隨機值范圍為[-3，3]，訓練次數為500次學習，像Q、S等參數根據年和月的預測會有所不同，在后續有具體設置。
3.4 預測分析
現在用蟻群優化神經網絡ACONN、反向傳播神經網絡BPNN、灰色預測GM（1，1）三種模型分別對來合肥市客運量進行預測[9-10]。ACONN是通過蟻群算法找到最優的初始權值，從而固定了初始權值，因此每次的預測值幾乎趨于固定；可是目前神經網絡中，我們知道它的初始權值的選取，都是具有隨機性的，所有我們去使用相同的數據，去進行多次預測時時候，得到的預測結果就不會完全相同。因此，為了使預測更具有一定的普遍性，ACONN與BPNN可以采取一樣的網絡結構，同時我們選取10次預測的平均值作為最終的預測結果。
將ACONN、BPNN、GM（1，1）模型分別作預測，將預測結果進行反歸一化，預測結果如下表：
表2
將ACONN、BPNN、GM（1，1）模型預測合肥市客運量結果用圖形表示，可以更直觀看到它們之間預測的精度。具體預測結果如圖3。
圖3 ACONN、BPNN、GM（1，1）模型預測結果圖
從每幅圖形可以直觀地看出ACONN的數據在實際值附近有很小的波動，BPNN數據值比ACONN的在實際值附近波動要大些，而GM（1，1）數據只有中間很小區間比較精確一點，而數據的開始和末端狀態都表現出發散，其數據預測精度不高。所以比較之，ACONN很明顯表現出很好的優勢，預測數據比較穩定。
4 結束語
ARIMA模型、Box-Jenkins方法、馬爾可夫方法、灰色系統方法及統計回歸方法等，這些預測方法很多是線性的，無法逼近真實的歷史數據。利用原始BP神經網絡方法來預測，我們現在知道，雖然多層的BP網絡能去實現任意一個可實現的線性以及非線性函數的映射，但是在訓練過程中易陷入局部最小的情況，所以這些預測方法的準確率還不是很高。經過分析蟻群算法在神經網絡中應用的可行性后，提出一種基于蟻群算法和神經網絡相結合的新型預測方法，該方法可以有效地避免原始BP神經網絡存在的問題和單一預測方法精確度不高的缺陷，為預測提供了新的途徑。
參考文獻：
[1] 翁鋼民，鄭竹葉，劉洋，等.基于GM-Markov 模型的旅游客源預測[J].燕山大學學報，2008，9（2）：109-112.
[2] 李松，劉力軍，郭海玲.短時交通流混沌預測方法的比較[J].系統工程，2009，27（9）：60-64.
[3] 董超俊，劉智勇.多層混沌神經網絡及其在交通量預測中的應用[J].系統仿真學報，2007，19（10）：101-104.
[4] 張維存，鄭丕諤，吳曉丹.蟻群遺傳算法求解能力約束的柔性作業車間調度問題[J].計算機集成制造系統，2007，13（2）：333-337.
[5] 萬李，楊杰.小波神經網絡在短時交通流量預測中的應用[J].計算機仿真，2012，29（9）：352-355.
[6] 方琴，李永前.K 近鄰短期交通流預測[J].重慶交通大學學報：自然科學版，2012，31（4）：829-831.
[7] 吳寶春，鄭蕊蕊，李敏，楊亞寧.基于遺傳灰色GM（1，1，ρ）模型的短時交通流量預測[J].電子設計工程，2012，20（13）：165-167.
[8] 郭杰，丁镠，朱超余.灰色預測模型的系統動力學仿真[J].電子設計工程，2011，19（14）：4-7.
第5篇：神經網絡的訓練方法范文
關鍵詞：瓦斯突出；微粒群算法；RBF神經網絡；MATLAB
中國分類號: TP183；文獻標識碼: A
前言
瓦斯突出的產生機理和預測過程比較復雜， RBF神經網絡在瓦斯突出預測中起到了很重要的作用。煤礦瓦斯突出的影響指標很多，并且各個指標與瓦斯突出之間的關系為非線性的關系，因此要求RBF神經網絡具有很好的非線性逼近能力。
RBF神經網絡是以函數逼近理論為基礎構造的一類前向網絡，網絡結構自適應確定，輸入與初始值無關，結構簡單，訓練簡潔，能夠逼近任意非線性函數，而且在逼近能力、分類能力和學習速度方面均優于BP網絡。RBF神經網絡網絡的設計包括三部分：神經元功能函數的設計，神經元之間的連接形式的確定以及網絡訓練方式的確定。在這三部分中隱單元RBF的設計是比較重要的。RBF函數是一種局部分布的對中心點徑向對稱的非負非線性函數。但是在神經元功能函數的設計中，RBF功能函數的中心ci的確定有很大的難度。
通常使用隨機選取固定中心法，中心的自組織選擇法等，但是由于這些學習訓練方法的局限性，通過這些方法得到的神經網絡適用性和泛化能力比較差，不能滿足瓦斯突出預測的要求。本文利用微粒群算法來計算出通過學習訓練得到的RBF神經網絡的隱單元RBF的中心ci的適應度的方法來確定最后的隱單元RBF的中心ci，并且不斷的在以后的實踐應用中更新學習訓練所用的數據庫，系統根據數據庫的變化，可以優化原有的隱單元RBF的中心ci ，提高了神經網絡的逼近能力，有效的客服了RBF神經網絡局部最優的缺點。
1、微粒群算法
1.1基本微粒群算法
微粒群算法（particle swarm optimization，PSO）是1995年由美國社會心理學家J.Kennedy和電氣工程師R.Heppner共同提出的，其基本思想是受鳥類群體行為研究結果的啟發，并利用了生物學家F.Heppner的生物群體模型[2]。算法原理如下：
微粒群算法主要是使用微粒的適應度大小進行尋找全局最優和優化參數。他將種群中的每個個體看作是N維空間的一個沒有質量和體積的微粒，并且在搜索空間以一定的速度飛行，在飛行過程中不斷根據環境的改變來改變自身的速度和方向，直到找到適應度最好的位置。假設Xi=（xa1，xa2，xa3，……xan為微粒i的當前位置，Vi=（va1，va2，va3，…… van）代表微粒當前的飛行速度，Pi=（pa1，pa2，pa3，……pan）表示微粒經歷的適應度最好的位置，這是局部最優位置。
當f(xi(a+1))≥f(Pi(a)) 時Pi(a+1)= Pi(a)
當f(xi(a+1) ＜f(P(a)) 時Pi(a+1)= Xi(a+1) 所以全局最優位置P（a）=min{f(P0(a) ，P1(a)……Pn(a)}。同時可以得出進化方程為：vij (t+1)=vij (t)+c1v1j(t)[pij (t)-xij (t)]+c2r2j(t)[pgj (t)-xij (t)]
為了更好的確定和優化RBF的中心ci，計算每個數據庫得到的中心ci的均方誤差，計算出每個中心ci的適應度：
E（Xp）=[Yk,p(Xp)-tk,p]
有適應度來確定的適應度函數如下：
f(x)=
1.2帶慣性權重的微粒群算法
在全局搜索過程中，搜索能力和收斂速度是相對立的，如果搜索能力高了，收斂速度就會相對變慢，為了解決這一問題，在速度進化方程中引用了慣性權重，具體公式如下：
vij(t+1)=wvij(t)+c1v1j(t)[pij(t)-xij(t)]+c2r2j(t)[pgj(t)-xij(t)] 式中w稱為慣性權重。
在全局搜索利過程中，慣性權重w可以根據要求按照一定趨勢改變，這樣就既能保證搜索能力又能加快收斂速度。
2、RBF神經網絡
人工神經網絡是對人類大腦系統一階特性的一種描述，有類似人的神經元的處理單元通過各種連接方式連接起來構成，整個網絡同時具有一個或是多個的輸入和輸出，能夠對信息進行并行和分布處理。人工神經網絡主要包括三方面的內容：激活函數，神經元之間的連接形式，網絡的學習或者是訓練。
激活函數為徑向基函數（RBF）的神經網絡為RBF神經網絡，RBF神經網絡是一個單隱層的三層前饋網絡，分別為輸入層，隱含層，輸出層。隱含層的傳遞函數為radbas。徑向基網絡結構如圖1所示。實驗已經證明：徑向基網絡能夠以任意精度逼近任意連續函數。每個RBF的節點有一個“參考”輸入x*i,f是輸入與“參考”輸入的距離d(x*i,xi )的函數，函數中的距離有節點輸出y =f(d(x*i,xi ))來計算。
RBF神經網絡的學習主要有兩種：中心自組織選擇法和中心的監督選擇發。中心的自組織選擇法是一種無導師，也稱非監督學習，是對所有的輸入進行聚類，求得各隱單元RBF的中心ci。中心的監督選擇法是一種有導師的學習，也稱為監督學習算法。主要是通過一個有導師或是有監督的學習過程來確定隱單元RBF的中心ci。
3、RBF神經網絡隱單元RBF的中心ci 的確定和優化的過程
本文利用普通的學習訓練法和帶慣性權重的微粒群算法相結合的方法來進行RBF神經網絡隱單元RBF的中心ci的確定和優化。具體過程如圖1所示。
（1）用一定數量的與瓦斯突出有關信息組成一個數據庫，并且將這個數據庫分為若干個子數據庫.使用這些子數據庫分別對RBF神經網絡進行訓練，得到隱單元RBF的中心c1,c2,c3……。
（2）將上面得到的若干個隱單元RBF的中心作為一個個體（微粒），有這些個體組成一個種群，其中每個個體代表先前計算出的一個隱單元RBF的中心。初始化Gbest和Lbest。
（3）使用帶慣性權重的微粒群算法來確定最后的隱單元中心，通過計算每個微粒適應度來確定中心ci，然后通過適應度函數來優化中心ci，最后形成RBF神經網絡。
（4）把井下測得的數據作為輸入，來進行瓦斯突出預測，并且把井下的信息和預測結果，作為下次更新數據庫和優化隱單元中心的依據。
（5）每進行一次預測，數據庫的信息就根據實際情況和預測結果進行一次更新，根據更新的數據庫，對得到的隱單元中心進行優化，提高了系統的適應能力和自學習能力。
4、帶慣性權重的微粒群算法的Matlab程序設計和瓦斯突出預測
使用Matlab進行程序時所用到的函數如下：
PSO：主函數，用于調用微粒群算法。
DrawSwarm：繪圖函數，主要用來反映每個微粒的進化過程。
psoOption：參數顯示函數，主要用于顯示帶慣性權重的微粒群算法的參數設置情況。
使用多個函數形成函數模塊，實現對隱單元RBF的中心ci的確定和優化。帶慣性權重的微粒群算法進行確定和優化神經網絡隱單元RBF的中心ci的函數模塊為：[fxmin,xmin,Swarm,history]=pso(input,psoOptions);
選取一定量的信息形成數據庫，然后隨機的劃分為若干個子數據庫，通過學習訓練來產生一些中心c1,c2,c3……，然后再組成種群，利用函數模塊來確定和優化RBF的中心。具體實驗數據如下表1所示：
利用Matlab運行該函數模塊來確定和優化RBF神經網絡時，算法程序運行時出現的最優適應度值隨著迭代次數的變化如圖2所示。
當函數模塊算法程序運行時出現的適應度值滿足要求時，說明此時的ci的最優化完成，可以來確定RBF神經網絡。
把上面經過優化神經網絡來進行瓦斯突出預測，需要預測的樣本數據如下表2所示：
其中運行結果用1表示安全，-1表示突出。
運用MATLAB對樣本數據進行測試，測試代碼如下：
pl=[0.809.011.530.2 ]；
p2=[0.153.51.27.3]：
y1=sim(net，p1) ；
y2=sim(net，p2) ；
最后預測結果是y1=-0.9908，y2=1.005；
可見該系統能夠準確的預測出瓦斯突出。
總結
使用RBF神經網絡來進行瓦斯突出預測比其他方式的預測具有很好的效果，但是由于煤礦的環境比較特殊，瓦斯突出產生的機理比較復雜，并且不同煤礦的影響瓦斯突出的因素也不相同，所以要求神經網絡具有很好的適應性和自學習能力。但是RBF神經網絡的隱單元RBF的中心ci的確定是基于數據空間局部的信息，很難都到全局最優，嚴重影響了RBF神經網絡的適應性和自學習能力。本文利用帶慣性權重的微粒群算法來確定和優化RBF神經網絡，慣性權重w能起到保證全局最優和局部搜索能力的平衡的作用，能夠在保證全局最優的前提下，提高搜索全局最優的速度，提高了預測的準確度。
參考文獻
第6篇：神經網絡的訓練方法范文
（江蘇科技大學電子信息學院，江蘇鎮江212003）
摘要：在實際交通環境中，由于運動模糊、背景干擾、天氣條件以及拍攝視角等因素，所采集的交通標志的圖像質量往往不高，這就對交通標志自動識別的準確性、魯棒性和實時性提出了很高的要求。針對這一情況，提出一種基于深層卷積神經網絡的交通標志識別方法。該方法采用深層卷積神經網絡的有監督學習模型，直接將采集的交通標志圖像經二值化后作為輸入，通過卷積和池采樣的多層處理，來模擬人腦感知視覺信號的層次結構，自動地提取交通標志圖像的特征，最后再利用一個全連接的網絡實現交通標志的識別。實驗結果表明，該方法利用卷積神經網絡的深度學習能力，自動地提取交通標志的特征，避免了傳統的人工特征提取，有效地提高了交通標志識別的效率，具有良好的泛化能力和適應范圍。
關鍵詞 ：交通標志；識別；卷積神經網絡；深度學習
中圖分類號：TN911.73?34；TP391.41 文獻標識碼：A 文章編號：1004?373X（2015）13?0101?06
收稿日期：2015?01?09
基金項目：國家自然科學基金面上項目（61371114）
0 引言
隨著智能汽車的發展，道路交通標志的自動識別[1?3]作為智能汽車的基本技術之一，受到人們的高度關注。道路交通標志識別主要包括兩個基本環節：首先是交通標志的檢測，包括交通標志的定位、提取及必要的預處理；其次是交通標志的識別，包括交通標志的特征提取和分類。
如今，交通標志的識別方法大多數都采用人工智能技術，主要有下述兩類形式[4]。一種是采用“人工特征+機器學習”的識別方法，如基于淺層神經網絡、支持向量機的特征識別等。在這種方法中，主要依靠先驗知識，人工設計特征，機器學習模型僅負責特征的分類或識別，因此特征設計的好壞直接影響到整個系統性能的性能，而要發現一個好的特征，則依賴于研究人員對待解決的問題的深入理解。另一種形式是近幾年發展起來的深度學習模型[5]，如基于限制波爾茲曼機和基于自編碼器的深度學習模型以及卷積神經網絡等。在這種方法中，無需構造任何的人工特征，而是直接將圖像的像素作為輸入，通過構建含有多個隱層的機器學習模型，模擬人腦認知的多層結構，逐層地進行信息特征抽取，最終形成更具推廣性和表達力的特征，從而提升識別的準確性。
卷積神經網絡作為深度學習模型之一，是一種多層的監督學習神經網絡，它利用一系列的卷積層、池化層以及一個全連接輸出層構建一個多層的網絡，來模仿人腦感知視覺信號的逐層處理機制，以實現視覺特征信號的自動提取與識別。本文將深層卷積神經網絡應用于道路交通標志的識別，通過構建一個由二維卷積和池化處理交替組成的6層網絡來逐層地提取交通標志圖像的特征，所形成的特征矢量由一個全連接輸出層來實現特征的分類和識別。實驗中將加入高斯噪聲、經過位移、縮放和旋轉處理的交通標志圖像以及實際道路采集交通標志圖像分別構成訓練集和測試集，實驗結果表明，本文所采用的方法具有良好的識別率和魯棒性。
1 卷積神經網絡的基本結構及原理
1.1 深度學習
神經科學研究表明，哺乳動物大腦皮層對信號的處理沒有一個顯示的過程[5]，而是通過信號在大腦皮層復雜的層次結構中的遞進傳播，逐層地對信號進行提取和表述，最終達到感知世界的目的。這些研究成果促進了深度學習這一新興研究領域的迅速發展。
深度學習[4，6?7]的目的就是試圖模仿人腦感知視覺信號的機制，通過構建含有多個隱層的多層網絡來逐層地對信號特征進行新的提取和空間變換，以自動學習到更加有效的特征表述，最終實現視覺功能。目前深度學習已成功地應用到語音識別、圖像識別和語言處理等領域。在不同學習框架下構建的深度學習結構是不同的，如卷積神經網絡就是一種深度的監督學習下的機器學習模型。
1.2 卷積神經網絡的基本結構及原理
卷積神經網絡受視覺系統的結構啟發而產生，第一個卷積神經網絡計算模型是在Fukushima 的神經認知機中提出的[8]，基于神經元之間的局部連接和分層組織圖像轉換，將有相同參數的神經元應用于前一層神經網絡的不同位置，得到一種平移不變神經網絡結構形式。后來，LeCun 等人在該思想的基礎上，用誤差梯度設計并訓練卷積神經網絡[9?10]，在一些模式識別任務上得到優越的性能。
卷積神經網絡本質上是一種有監督的深度學習算法，無需事先知道輸入與輸出之間精確的數學表達式，只要用已知的模式對卷積神經網絡加以訓練，就可以學習到輸入與輸出之間的一種多層的非線性關系，這是非深度學習算法不能做到的。卷積神經網絡的基本結構是由一系列的卷積和池化層以及一個全連接的輸出層組成，可以采用梯度下降法極小化誤差函數對網絡中的權值和閾值參數逐層反向調節，以得到網絡權值和閾值的最優解，并可以通過增加迭代次數來提高網絡訓練的精度。
1.2.1 前向傳播
在卷積神經網絡的前向傳播中，輸入的原始圖像經過逐層的卷積和池化處理后，提取出若干特征子圖并轉換成一維特征矢量，最后由全連接的輸出層進行分類識別。
在卷積層中，每個卷積層都可以表示為對前一層輸入圖像的二維卷積和非線性激勵函數，其表達式可用式（1）表示：
式中：Yj 表示輸出層中第j 個輸出；Y l + 1i 是前一層（l + 1層）
的輸出特征（全連接的特征向量）；n 是輸出特征向量的長度；Wij 表示輸出層的權值，連接輸入i 和輸出j ；bj表示輸出層第j 個輸出的閾值；f (?) 是輸出層的非線性
1.2.2 反向傳播
在反向傳播過程中，卷積神經網絡的訓練方法采用類似于BP神經網絡的梯度最速下降法，即按極小化誤差的方法反向傳播調整權值和閾值。網絡反向傳播回來的誤差是每個神經元的基的靈敏度[12]，也就是誤差對基的變化率，即導數。下面將分別求出輸出層、池采樣層和卷積層的神經元的靈敏度。
（1）輸出層的靈敏度
對于誤差函數式（6）來說，輸出層神經元的靈敏度可表示為：
在前向傳播過程中，得到網絡的實際輸出，進而求出實際輸出與目標輸出之間的誤差；在反向傳播過程中，利用誤差反向傳播，采用式（17）~式（20）來調整網絡的權值和閾值，極小化誤差；這樣，前向傳播和反向傳播兩個過程反復交替，直到達到收斂的要求為止。
2 深層卷積神經網絡的交通標志識別方法
2.1 應用原理
交通標志是一種人為設計的具有特殊顏色（如紅、黃、白、藍、黑等）和特殊形狀或圖形的公共標志。我國的交通標志主要有警告、禁令、指示和指路等類型，一般采用顏色來區分不同的類型，用形狀或圖形來標示具體的信息。從交通標志設計的角度來看，屬于不同類型（不同顏色）的交通標志在形狀或圖形上有較大的差異；屬于相同類型（相同顏色）的標志中同類的指示信息標志在形狀或圖形上比較接近，如警告標志中的平面交叉路口標志等。因此，從機器視覺的角度來分析，同類型中同類指示信息的標志之間會比不同類型的標志之間更易引起識別錯誤。換句話說，相比于顏色，形狀或圖形是正確識別交通標志的關鍵因素。
因此，在應用卷積神經網絡識別交通標志時，從提高算法效率和降低錯誤率綜合考慮，將交通標志轉換為灰度圖像并作二值化處理后作為卷積神經網絡的輸入圖像信息。圖2給出了應用卷積神經網絡識別交通標志的原理圖。該網絡采用了6層交替的卷積層和池采樣層來逐層提取交通標志的特征，形成的特征矢量由一個全連接的輸出層進行識別。圖中：W1i（i=1，2，…，m1），W1（j j=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分別表示卷積層L1,L3,…,Ln - 1 的卷積核；Input表示輸入的交通標志圖像；
Pool表示每個池采樣層的采樣池；map表示逐層提取的特征子圖；Y 是最終的全連接輸出。
交通標志識別的判別準則為：對于輸入交通標志圖像Input，網絡的輸出矢量Y = [y1,y2 ,…,yC ]，有yj = Max{y1，y2 ,…,yC}，則Input ∈ j，即判定輸入的交通標志圖像Input為第j 類交通標志。
2.2 交通標志識別的基本步驟
深層神經網絡識別交通標志主要包括交通標志的訓練與識別，所以將交通標志識別歸納為以下4個步驟：（1） 圖像預處理：利用公式Gray= 0.299R +0.587G + 0.114B 將彩色交通標志圖像轉換為灰度圖像，再利用鄰近插值法將交通標志圖像規格化，最后利用最大類間方差將交通標志圖像二值化。
（2）網絡權值和閾值的初始化：利用隨機分布函數將權值W 初始化為-1~1之間的隨機數；而將閾值b 初始化為0。
（3）網絡的訓練：利用經過預處理的交通標志圖像構成訓練集，對卷積神經網絡進行訓練，通過網絡前向傳播和反向傳播的反復交替處理，直到滿足識別收斂條件或達到要求的訓練次數為止。
（4）交通標志的識別：將實際采集的交通標志圖像經過預處理后，送入訓練好的卷積神經網絡中進行交通標志特征的提取，然后通過一個全連接的網絡進行特征分類與識別，得到識別結果。
3 實驗結果與分析
實驗主要選取了我國道路交通標志的警告標志、指示標志和禁令標志三類中較常見的50幅圖像。考慮到在實際道路中采集到的交通標志圖像會含有噪聲和出現幾何失真以及背景干擾等現象，因此在構造網絡訓練集時，除了理想的交通標志以外，還增加了加入高斯噪聲、經過位移、旋轉和縮放處理和實際采集到的交通標志圖像，因此最終的訓練樣本為72個。其中，加入的高斯噪聲為均值為0，方差分別為0.1，0.2，0.3，圖像的位移、旋轉、縮放的參數分別隨機的分布在±10，±5°，0.9~1.1的范圍內。圖3給出了訓練集中的交通標志圖像的示例。圖4是在實際道路中采集的交通標志圖像構成的測試集的示例。
在實驗中構造了一個輸入為48×48個神經元、輸出為50 個神經元的9 層網絡。網絡的輸入是像素為48 × 48 的規格化的交通標志圖像，輸出對應于上述的50種交通標志的判別結果。網絡的激活函數采用S型函數，如式（2）所示，其輸出范圍限制在0~1之間。
圖6是交通標志的訓練總誤差EN 曲線。在訓練開始的1 500次，誤差能迅速地下降，在迭代2 000次以后是一個平穩的收斂過程，當迭代到10萬次時，總誤差EN可以達到0.188 2。
在交通標志的測試實驗中，為了全面檢驗卷積神經網絡的識別性能，分別針對理想的交通標志，加入高斯噪聲、經過位移、旋轉和比例縮放以及采集的交通標志圖像進行實驗，將以上測試樣本分別送入到網絡中識別，表2給出了測試實驗結果。
綜合分析上述實驗結果，可以得到以下結論：（1）在卷積神經網絡的訓練學習過程中，整個網絡的誤差曲線快速平穩的下降，體現出卷積神經網絡的訓練學習具有良好的收斂性。
（2）經逐層卷積和池采樣所提取的特征具有比例縮放和旋轉不變性，因此對于旋轉和比例縮放后的交通標志能達到100%的識別率。
（3）與傳統的BP網絡識別方法[11]相比較，卷積神經網絡能夠達到更深的學習深度，即在交通標志識別時能夠得到更高的所屬類別概率（更接近于1），識別效果更好。
（4）卷積神經網絡對實際采集的交通標志圖像的識別率尚不能達到令人滿意的結果，主要原因是實際道路中采集的交通標志圖像中存在著較嚴重的背景干擾，解決的辦法是增加實際采集的交通標志訓練樣本數，通過網絡的深度學習，提高網絡的識別率和魯棒性。
4 結論
本文將深層卷積神經網絡應用于道路交通標志的識別，利用卷積神經網絡的深層結構來模仿人腦感知視覺信號的機制，自動地提取交通標志圖像的視覺特征并進行分類識別。實驗表明，應用深層卷積神經網絡識別交通標志取得了良好的識別效果。
在具體實現中，從我國交通標志的設計特點考慮，本文將經過預處理二值化的圖像作為網絡的輸入，主要是利用了交通標志的形狀信息，而基本略去了顏色信息，其優點是在保證識別率的基礎上，可以簡化網絡的結構，降低網絡的計算量。在實際道路交通標志識別中，將形狀信息和顏色信息相結合，以進一步提高識別率和對道路環境的魯棒性，是值得進一步研究的內容。
此外，本文的研究沒有涉及到道路交通標志的動態檢測，這也是今后可以進一步研究的內容。
參考文獻
[1] 劉平華，李建民，胡曉林，等.動態場景下的交通標識檢測與識別研究進展[J].中國圖象圖形學報，2013，18（5）：493?503.
[2] SAHA S K，DULAL C M，BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication，2012，50（10）：35?41.
[3] STALLKAMP J，SCHLIOSING M，SALMENA J，et al. Man vs.computer：benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network，2012，32（2）：323?332.
[4] 中國計算機學會.深度學習：推進人工智能夢想[EB/OL].[2013?06?10].http：//ccg.org.cn.
[5] 鄭胤，陳權崎，章毓晉.深度學習及其在目標和行為識別中的新進展[J].中國圖象圖形學報，2014，19（2）：175?184.
[6] FUKUSHIMA K. Neocognition：a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics，1980，36（4）：193?202.
[7] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines，1989，86（11）：2278?2324.
[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation，1989，1（4）：541?551.
[9] CIRESAN D，MEIER U，MAsci J，et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works，2012，32（2）：333?338.
[10] NAGI J，DUCATELLE F，CARO D，et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur：IEEE，2011，342?347.
[11] 楊斐，王坤明，馬欣，等.應用BP神經網絡分類器識別交通標志[J].計算機工程，2003，29（10）：120?121.
[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http：//cogprints.org/5869/.
[13] 周開利，康耀紅.神經網絡模型及其Matlab 仿真設計[M].北京：清華大學出版社，2005.
[14] 孫志軍，薛磊，許陽明，等.深度學習研究綜述[J].計算機應用研究，2012，29（8）：2806?2810.
[15] 劉建偉，劉媛，羅雄麟.深度學習研究進展[J].計算機應用研究，2014（7）：1921?1930.
第7篇：神經網絡的訓練方法范文
關鍵詞：棉紡設備；運行狀態；BP神經網絡
中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2014）04-0824-05
紡織行業十分重視各項基礎管理，其中棉紡設備的管理是各項生產管理的基礎。棉紡設備的使用好壞直接影響企業生產過程中的生產效率、產品的質量、產品的產量和生產成本的消耗，成為影響紡織企業經濟效益提升的很重要的因素。因此，正確的對棉紡設備的運行狀態進行評估，從而制定更加合理的檢修計劃，就顯得尤為重要[1]。
目前，企業的定期大、小平車管理制度體現了設備檢修中預防為主的思想，它相對于那種事后檢修策略是進步的。但這種檢修管理制度由于沒有考慮各類設備初始狀態的差異性，以及設備在不同環境下運行狀態的變化，因而既在理論上有缺陷，又在實際中有盲目性。
隨著科學技術的進步和發展，新工藝與新產品的不斷涌現，中外技術的不斷交流，棉紡設備的質量得到很大提高，棉紡設備已有了本質的飛躍。機電一體化、半自動、全自動棉紡設備大量使用，新技術、新成果不斷應用，設備的運行可靠性大大提高了；因此，紡織設備的維護已出現了新問題。如果繼續按大、小平車檢修管理制度所規定的周期對設備進行頻繁的檢修，勢必要大幅度增加維修人員和檢修工作量，增加企業生產和管理成本。因此，需要一個更好的對設備運行狀態做一個綜合評估的預測評估，來指導設備的大小平、部分保全等的選擇[2]。
我們根據紡織企業的特點和某企業的實際情況，利用基于動量因子的BP神經網絡模型，確立一個新的評估棉紡設備運行狀態的評估標準，為該企業棉紡設備的綜合管理提供一個重要的參考依據。
1 設備運行狀態預測方法的確定
設備運行狀態預測模型是一個復雜的非線性模型，影響設備運行狀態的因素也比較多，且各個因素之間會存在不同程度的耦合關系。BP神經元網絡對于非線性模型具有模型優化的能力，所以通過使用BP神經網絡模型來對設備運行狀態進行預測比較可行[3]。
BP（Back Propagation）神經網絡是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。BP網絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。
利用BP神經網絡模型解決設備的運行狀態預測問題的流程大致為：經過前期的資料調研，確定影響設備運行狀態的關鍵因素（特征值），然后采集這些關鍵因素的數據，并進行數據處理，從中提取出樣本數據，建立合適的神經網絡模型，訓練和學習神經網絡，最終實現預測設備運行狀態數據的功能。預測流程圖如圖1所示。
2 BP神經網絡模型的結構設計
根據紡織設備的運維特點，其中以某一類設備（如細紗機）的某一種相同型號（如FA506）為例，分別從技術性指標、經濟性指標、環境性指標、安全健康指標等方面考慮，可以選取以下幾個特征參數：設備殘值、月折舊額、月產量、單位產品成本、單位產品維護費用、能源利用率、噪聲、設備安全性等來表示設備的運行狀態特點，即作為網絡的輸入。
在所選輸入參數中，設備殘值指的是設備現有的剩余價值，且設備殘值越高，對應的設備運行狀態一般也越好；月折舊額指的是設備每月折損的價值，月折舊額越低，對應的設備運行狀態一般越好；月產量指的是該臺設備每月實際生產的合格產品數量，產量越高，說明設備的生產能力越強，運行狀態一般越好；單位產品成本指的是設備生產出來單位產品所需要的生產費用，所需費用越少，成本越低，設備運行狀態一般越好；單位產品維修費用指的是生產單位產品所需要的維修費用，所需費用越少，則說明設備運行狀態一般越好；能源利用率主要指對能源的利用效率，利用效率越高，則說明設備運行狀態一般越好；噪聲主要指設備運行生產過程中的聒噪程度，噪聲越低，工作環境越好，設備運行情況一般越好；設備安全性主要指設備運行操作時的安全指數，安全指數越高，越有利于設備的正常運行，設備的運行狀態才越好。
根據紡織設備的實際情況，把設備運行狀態作為評定運行設備優劣標準的網絡的輸出，即優秀、良好、一般、較差四個標準，分別用3、2、1、0表示。
由上述分析可得，網絡輸入為8個，輸出為1個。由于網絡層次太多會影響網絡收斂速度，本例選擇三層網絡結構，即只有一層隱含層，就能夠合理的解決本預測問題。隱含層的神經元個數不是固定的，常用的經驗公式為[I=M+P+A]（M、I、P分別表示輸入層、隱含層、輸出層的神經元個數，A為1到10之間的常數）[4]。經過實際訓練的檢驗和不斷的對隱含層神經元個數的調整，可最終確定隱含層節點的個數為5。
大致的網絡模型圖如圖2所示，圖中M=8，I=5，P=1。
根據確定的網絡結構，通過動量梯度下降法進行神經網絡訓練實驗，對不同的學習速率和動量因子分別進行取值調整，進而得到不同的誤差精度和收斂速度的比較，最終可確定學習速率η=0.04，動量因子α=0.88。
3 基于動量因子的BP神經網絡模型的訓練
常用的三層BP神經網絡由以下三部分構成：一個輸入層、一個隱含層和一個輸出層。層內神經元之間沒有連接，層與層之間的神經元由可以通過學習修正的權值（Weight）互連。
設BP網絡的輸入層為x，有M個輸入信號；隱含層為y，有I個神經元；輸出層為z，有P個輸出神經元。其中，
各個神經網絡層的輸出由輸入和轉移函數決定。BP神經網絡通常采用Sigmoid函數作為轉移函數。Sigmoid函數的數學表達式為：[f（x）=11+e-x]。
BP網絡的學習訓練方法有很多種，如標準誤差反向傳播算法、累積誤差校正算法、Sigmoid函數輸出限幅的BP算法、增加動量項的BP算法、學習速率自適應調整算法等[5]。其中最常用到的是累積誤差校正算法，其算法步驟可描述如下[6]：
第一步：初始化：賦給權值W1MI（1）、W2IP（1）及閾值θ、γ各一個較小的[-1，+1]區間的隨機非零值，n=1。
第二步：隨機選取一個輸入樣本Xk。
第三步：對于輸入樣本Xk，前向計算BP網絡每層神經元的輸入信號和輸出信號。設輸入層的輸入和輸出分別為[ukxm]和[vkxm]，隱含層的輸入和輸出分別為[ukyi]和[vkyi]，輸出層的輸入和輸出分別為[ukzp]和[vkzp]。
輸入層的各個處理單元對輸入模式不進行處理，即輸入層的輸出與輸入相同：
隱含層各個神經元的凈輸入和輸出分別為：
輸出層各個神經元的凈輸入和實際輸出分別為：
第四步：由訓練樣本的輸出dk和上一步求得的實際輸出Yk（n），計算輸出層各個神經元的校正誤差：
輸出層的誤差能量總和可定義為：
隱含層各個神經元的校正誤差：
修正隱含層至輸出層的連接權值w2ip和輸出層神經元的閾值γ，其修正式為：
修正輸入層至隱含層的連接權值w1mi和輸出層神經元的閾值θ，其修正式為：
第五步：隨機選取下一個輸入樣本提供給網絡，返回第三步，直至全部N個樣本訓練完畢。
第六步：判斷網絡全局誤差[E=k=1NEk]是否滿足精度要求，即[E≤ε]。若滿足，則轉到第八步，否則繼續。
第七步：更新網絡學習次數，即n=n+1，若學習次數小于規定的次數，則返回第二步，否則繼續。
第八步：結束，得到最終的閾值和權值。
不過，上述的BP算法存在兩個問題：①由于BP算法的基本思想是基于梯度下降法將各個權值和閾值向著減小誤差的方向調整，并且梯度下降法的原理保證在只有一個極小值時才絕對有效，但在很多時候誤差曲線有許多的局部極小值。因此，該BP算法可能會陷入局部極小值。②如果權值的初始值位于梯度比較小的位置，則必須經過多次調整權值來才有可能最終收斂。所以，該BP學習算法的收斂速度可能較慢。
通過加入動量項可以進一步改進該BP網絡，從而更加快速準確的實現運行設備的狀態評估預測。其具體步驟就是在計算權值修正量的時候，加入一個動量項，即令
再將上式寫成以t為變量的時間序列，t由1到n。則上式可看成是w2ip（n）的一階差分方程，即
最終可推得
當本次的[?E（t）?w2ip（t）]與前一次同符號時，其加權求和值增大，使得w2ip（n）較大，從而加快了調節速度；當本次的[?E（t）?w2ip（t）]與前一次符號相反時，其加權求和值變小，w2ip（n）也減小，起到了穩定作用。
通過在BP算法中加入動量項，不僅可以微調權值的修正量，使得收斂速度加快，也可以使學習避免陷入局部最小。
正是由于加入動量項的BP神經網絡隨著誤差反向傳播不斷地進行修正，不斷提高對輸入模式識別的正確率，而且修正速度也加快許多，因此，該BP網絡模型可以合理地解決該預測問題。
4 實例分析
下面以某棉紡廠近十年來型號為FA506的細紗機設備為例，其設備運行狀態情況及主要影響因素的部分樣本數據如表1所示：
狀態及主要影響因素的部分樣本數據
根據動量梯度下降法原理，采用上述的神經網絡結構，學習速率為0.04，動量因子為0.88，使用前190組樣本數據對網絡進行訓練，可設置網絡全局誤差目標值為0.01，最大學習次數為1000次。
網絡學習訓練完成之后，得到最終的閾值和權值。采用最后10組樣本數據對網絡進行診斷，可得到設備運行狀態的診斷預測結果，再將診斷結果進行乘以3的處理，與期望結果進行比較，如表2所示：
從實際的預測結果可以看出，期望結果應該為0的數據預測所得的結果近似為0，期望結果應該為1的數據預測所得的結果近似為1，期望結果應該為2的數據預測所得的結果近似為2，期望結果應該為3的數據預測所得的結果近似為3。因此，所測的每組數據都符合誤差要求，而且平均誤差約為0.00180556。
從測試結果可以看出，基于改進動量因子的BP神經網絡不但能夠解決棉紡設備運行狀態預測的非線性問題，而且預測結果比較符合要求，預測誤差也非常小。因此，該神經網絡模型完全可以滿足設備運行狀態預測的要求。
5 結論
通過前面的實例，我們可以知道，通過改進動量因子的BP神經網絡算法來預測棉紡設備的運行狀態情況，可以彌補傳統方法評估設備的不足，實現設備運行狀態的智能化評估，具有很大的實用價值。通過設計合適的網絡結構、學習速率和動量因子，得到的BP網絡可以保證誤差精度和收斂速度。最后，通過實驗，我們可以對網絡進行訓練和診斷。實驗結果表明：動量因子BP神經網絡算法可以為設備管理者提供一個智能化的、可靠的評估設備運行狀態水平的預測途徑，能夠使紡織廠的各項計劃得到有效、有序的實施，節省許多資源。
參考文獻：
[1] Pan Rongchang，Li Haixia Xu Linlan.Experience of Blowing-carding Unit State Maintenance and Management[J].Cotton Textile Technology，2011，3（3）：34-36.
[2] 蔣獻偉，黃民祥，許諾，等.供電設備檢修計劃優化[J].電力系統及其自動化學報，2007，19（4）：116-120.
[3] Wikipedia.Artificial neural network[DB/OL].http：///wiki/Artificial_neural_network.
[4] Basheer A，Hajmeer M.Artificial neural networks： fundamentals， computing， design，and application.Neural Computting in Microbiology，2000，12（1）：3-31.
第8篇：神經網絡的訓練方法范文
Abstract: Cognitive radio technology provides new opportunities and challenges for the development of wireless communication. Intelligence is an important characteristic for cognitive radio, and application of artificial intelligence techniques is key to implement this characteristic. This paper will first provide our own research framework on cognitive radio, second give an overview of application of artificial intelligence to cognitive radio, and last introduce and simulate the application of neural network to cognitive radio.
關鍵詞： 人工智能；認知無線電；神經網絡
基金項目：國家重點基礎研究發展規劃（“973”計劃）項目（2009CB320403）；國家自然科學基金資助項目（60832008，60832006）；國家科技重大專項課題（2009ZX03007-004）。
作者簡介：柴新代（1964-），男，北京人，本科，高級工程師，研究方向為通信系統工程；董旭（1979-），男，河北景縣人，博士研究生，講師，研究方向為認知無線電。
1 概述
無線通信技術的飛速發展，正在越來越深刻地影響著人們的生活。與此同時，無線通信技術的發展也面臨著嚴峻的考驗，一方面頻譜資源的固定分配模式和利用率不均衡制約著無線通信寬帶化的發展，另一方面多種空中接口和網絡協議并存的局面為無線網絡的融合提出了挑戰。1999年Mitola博士提出的“認知無線電（Cognitive Radio）”[1]為解決無線通信所面臨的問題提供了新的機遇。因此，認知無線電技術迅速成為業界研究的熱點。
認知是人類獲取運用知識解決問題的一種抽象，將認知運用到無線電技術，會提高無線電系統的智能性，這也是認知無線電技術區別于普通軟件無線電的最大特點。認知無線電技術通過實時的獲取外部環境信息，并對這些信息進行分析、學習和判斷，得到無線電知識，然后根據這些知識智能地調整各種通信參數，從而最終實現可靠的通信，并達到最佳的頻譜利用效率。人工智能技術為實現認知無線電的智能性提供了可能，本文將主要圍繞多種人工智能技術在認知無線電中的應用進行論述，下面將首先介紹認知無線電智能化的基礎框架――認知環路和認知引擎，然后對幾種人工智能技術在認知無線電中的應用進行簡要介紹，最后將詳細介紹神經網絡在人工智能中的應用，并通過仿真給出一個具體的示例。
2 相關工作
2.1 認知環路 Mitola博士在提出認知無線電概念的同時提出了OOPDAL（觀察-判斷-計劃-決策-行動-學習）認知環路[1]，用以支持其認知無線電架構。此外，學術界還提出了多種認知環路模型[2,3]，比較著名的有軍事戰略家Boyd提出的OODA（觀察-判斷-決策-行動）環路、IBM為自主計算提出的MAPE（監測-分析-計劃-執行）環路、Motorola為自主網絡提出的FOCALE（基礎-觀察-比較-行動-學習-擦除）環路等等。OOPDAL環路具有完整認知功能和清晰的認知過程，是設計認知無線電最為理想的環路模型。本文對OOPDAL環路各環節進行了重新定義，豐富了環路模型的內涵與外延，并在原環路模型基礎上增加“知識庫”，明確表達了知識獲取與運用的過程。
如圖1所示，經改進的OOPDAL認知環路由外環和內環組成，外環也稱決策環。認知無線電首先“感知”無線域、網絡域、用戶域、政策域中的數據，并對其建模以明確自身所處態勢；“判斷”是對數據的精煉，也即對感知數據進行清理、集成和選擇，提取出其中對決策有貢獻的信息；“計劃”根據用戶需求與當前環境生成優化目標；“決策”根據優化目標執行優化；“行動”將決策結果付諸實施，使內部狀態和外界環境發生變化，這些變化又被重新“感知”，進入下一輪循環。內環又稱學習環，用于從外環運行的歷史經驗中提取知識，并存放入知識庫以指導決策環運行。
OOPDAL環路對知識的運用過程充分體現了認知無線電的智能性，其中計劃、學習、決策等環節更是智能性得以實現的關鍵所在，具體的實現方法則需要借助于人工智能技術。
2.2 認知引擎 認知引擎是實現認知環路功能的技術手段。但很多認知引擎的設計是針對特定方法實現特定任務的，本文希望設計一種通用的認知引擎架構，以適應認知無線電所面臨的各種應用。通用認知引擎結構由認知核與接口部分組成。認知核提供各種豐富的工具，包括知識表示工具、各種推理機、學習機、優化算法庫等，為完成認知循環的各環節功能提供支持。接口部分包括感知器接口與用戶接口。感知器接口收集各種感知數據，并通過建模系統以機器可理解的方式表示；用戶接口部分允許用戶調用認知核中各種工具并對其進行流程編排和建模完成專用認知引擎的構建。另外，可配置無線網絡具備動態可配置波形與協議，以執行認知引擎的決策。
認知核是認知引擎的核心，包括多種人工智能工具，如專家系統，案例推理，神經網絡，遺傳算法等，每種人工智能的工具不但可以實現相應的認知功能，還可通過多種不同工具的編排組合實現認知無線電的各種應用，即實現認知引擎的通用性。
3 人工智能技術概述
如果說認知核是認知引擎的核心，那么人工智能技術就是認知核的核心。人工智能技術已有比較成熟的理論體系[4]，但將其應用到認知無線電還處于探索階段。下面先簡要介紹幾種人工智能技術在認知無線電中的應用。
3.1 專家系統 專家系統在人工智能技術領域有著非常成功的應用[5]，并能夠很好的與其他人工智能技術結合使用，如遺傳算法，人工神經網絡等。專家系統是運用知識和推理過程來解決只有專家才能解決的復雜問題，也就是說專家系統是一種模擬專家決策能力的計算機系統。專家系統主要包括兩個部分：知識庫和推理機。知識庫用來存儲專家知識，推理機則依據專家知識對已有事實進行推理和決策。認知無線電可以借助專家系統完成推理決策功能。認知無線電可以通過主動學習或“人在環中”的方式獲取無線電知識并存儲到知識庫中，然后根據外部無線環境和用戶需求的變化，到知識庫中查詢相應的先驗知識，并通過推理機進行決策，從而調整無線電的工作參數以適應環境和需求的變化。CLIPS是目前比較成熟的專家系統工具，已有學者將基于CLIPS的專家系統應用到認知無線電的研究中[6]。
3.2 案例推理 案例推理作為一種人工智能技術致力于從以往的經歷或者案例當中得到新問題的解決方案。基于案例的系統通過在案例庫查找與需要解決的問題相似度最大的案例來找到問題的解決的方法，并將找到的案例與當前的場景進行匹配，這種匹配實際上就是一種最優化的過程。而最初找到的案例是為了節省優化的時間，通過優化的新的解決方案，將被作為新的案例存儲到案例庫中。認知無線電可以根據無線環境的變化調整工作參數，不同的環境和工作參數可以作為案例存儲到案例庫中[7]。當環境發生變化，認知無線電可以在案例庫中查找與當前環境最為相似的一個案例，然后用該案例與當前環境進行匹配，優化工作的參數，并把當前環境和優化的參數作為新的案例存儲到案例庫中。Soar作為一種人工智能系統的開發工具，可以實現案例推理功能，并可以基于案例進行學習，國內已有學者基于Soar和GUN Radio軟件無線電平臺開發出認知無線電原型系統。
3.3 遺傳算法 遺傳算法借鑒生物進化和遺傳的生物學原理，可用于解決目標優化問題，即找到一組參數（基因）使得目標函數最大化。其基本原理是根據求解問題的目標構造適值函數，使初始種群通過雜交和變異不斷選擇好的適值進行繁殖，并最終得到最優解。遺傳算法同樣可以作為認知無線電的決策方法[6,8]：可以把無線電類比為一個生物系統，將無線電的特征定義為一個染色體，染色體的每個基因對應無線電一個可變的參量，比如發射功率、頻率、帶寬、糾錯編碼方法、調制算法和幀結構等等，這樣就可以通過遺傳算法的進化來得到滿足用戶需求和適應環境變化的系統配置參數。
4 神經網絡在認知無線電中的應用
對于人工神經網絡的研究源于對人類大腦思維過程的模擬，在很多領域，神經網絡已經有了廣泛的應用。下面將詳細介紹神經網絡在認知無線電中的應用。
4.1 神經網絡簡介 1943年神經物理學家W.McCulloch和邏輯學家W.Pits在對人腦的研究中提出了人工神經網絡。目前人工神經網絡作為一種人工智能技術主要基于統計評估、優化和控制理論。人工神經網絡由用以模擬生物神經元的大量相連的人工神經元組成，主要用于解決人工智能領域的一些復雜問題，比如機器學習。根據網絡結果和訓練方法的不同，人工神經網絡可以分為多種類型，以適應多種的應用需求[7]。多層線性感知器網絡（MLPN）：MLPN由多層神經元構成，每一個神經元都是上一層神經元輸出的線性組合。一般這種線性組合的權值在訓練前是隨機生成的，并且可以隨著訓練不斷的更新。更新的方法有多種，如后向傳播（BP）、遺傳算法等。其訓練方法的性能將由其網絡規模和應用場景決定。非線性感知器網絡（NPN）：NPN是利用對每個神經元的輸入平方或兩兩相乘的方法將非線性引入神經網絡使其可以對動態變化的訓練數據進行更好的擬合。但NPN的網絡結構需要根據訓練數據進行調整，另外如果采用BP方法進行訓練會使網絡收斂緩慢而導致處理時間過長。徑向基函數網絡（RBFN）：RBFN和NPN類似，不同的只是其非線性的引入是在隱含層利用徑向基函數實現非線性映射，這可以防止網絡收斂到局部最小值。
4.2 應用舉例 由于神經網絡可以動態的自適應和實時的訓練，因此可以對系統的各種模式、參數、屬性等進行“學習”，并“記住”這些事實，當系統有了新的輸入和輸出時，可以進行實時的訓練來記憶新的事實。這正符合了認知無線電認知功能的需求，因此神經網絡在認知無線電中有著廣泛的應用前景。下面就列舉一些神經網絡在認知無線電中的應用[9-12]。神經網絡可以用于認知無線電的頻譜感知，例如利用基于神經網絡的分類器可以根據信號的循環平穩特性或者頻譜特性等對信號進行分類。神經網絡還可用于無線電參數的自適應決策和調整，神經網絡可以根據當前信道質量和用戶需求等所確定的優化目標選擇無線電參數。另外神經網絡還可以對無線電系統的各種性能進行預測，神經網絡可以記憶不同無線環境不同無線參數所達到的系統性能，比如誤碼率、吞吐量、時延等等，從而對未來可能產生的系統性能進行預測，進而對各種無線參數進行優化。
5 仿真及分析
由于無線環境的開放性，無線系統大都是非線性系統，因此神經網絡用于認知無線電也應采用非線性模型。非線性感知器網絡（NPN）可以完成認知無線電的學習功能，從而對各種系統性能進行預測，下面就通過一個具體例子來仿真基于NPN的誤碼率性能預測。
5.1 仿真模型 NPN由三層節點構成：輸入層、隱含層和輸出層。隱含層通常只有一層神經元，本文在此基礎上擴展了隱含層的層數，從而擴大了神經網絡的規模，使其具有更好的學習效果。具體的網絡結構如圖2所示，每個節點都與下一層的所有節點唯一相連，除了輸入層節點，其他各層節點稱為神經元，具有一個非線性的激活函數，以實現對非線性系統的擬合。本文將采用最為常用的非線性激活函數――S函數，即：f
神經網絡的訓練將采用BP方法，具體算法如下：
③根據RMS誤差決定是否調整權值，直到RMS誤差或者迭代次數達到停止要求。
5.2 仿真場景 仿真場景的設置將根據上面提出通用認知引擎架構進行編排。首先認知引擎要收集各種數據。WiMax可以根據信道質量調整其調制編碼模式等無線電參數，因此將作為通用認知引擎架構中的可重配置的無線電平臺將系統的誤碼率性能實時上報給認知引擎；信噪比作為無線環境的表征可通過感知器進行收集；編碼速率作為用戶對業務的需求可通過用戶接口上報給認知引擎。然后認知引擎內基于NPN的學習機就可以對這些數據進行訓練了，訓練的方法如上節所述。最后訓練好的神經網絡就可以根據無線環境和用戶需求對系統的誤碼率進行實時的預測，從而調整認知無線電的各種操作參數。
5.3 仿真結果及分析 由于對神經網絡模型的隱含層進行了擴展，首先驗證一下改進的模型性能是否有所提升。仿真結果如圖3所示，分別仿真了具有2層、3層和4層神經元的NPN的收斂性能。其中2層模型是沒有經過改進的，其收斂速度最快，但RMS誤差較三層模型差；3層模型雖然收斂速度稍慢，但收斂的RMS誤差最低；4層模型的網絡規模最大，因此收斂速度最慢，但其RMS誤差收斂的并不是最低，這是由于神經網絡的規模應該與訓練數據的規模相適應，過大的網絡規模反而不會得到很好的收斂性能。折中考慮，在后續誤碼率預測仿真中，將采用3層神經元模型的NPN對數據進行訓練。
如圖4所示，利用3層神經元模型分別對WiMax場景下的64QAM、16QAM、QPSK和BPSK的誤碼率性能進行了預測。從預測結果和實際的仿真結果的比較可以顯示，隨著調制模式的升高，預測的性能將越來越好。
6 結束語
本文主要介紹了人工智能技術在認知無線電中的應用，并通過人工神經網絡進行舉例，從仿真的結果可以看出神經網絡在認知無線電中應用的可能性。人工智能技術在認知無線電領域的應用還有著廣闊的研究前景，應該積極探索更多的人工智能技術在認知無線電中應用。但也并非所有的人工智能技術都適用于認知無線電的開發和應用，應在研究中有所選擇把握方向。不同的應用場景也對人工智能技術提出了不同的需求，找到適用于相應場景的人工智能技術也很重要。未來的工作應更多的考慮一些實際的應用，讓無線通信系統可以真正的像人一樣思考。
參考文獻：
[1]J.Mitola Ⅲ."Cognitive radio: Making software radios more personal"，IEEE Personal Communications，vol.6，no.4，pp.13-18，1999.
[2]S.Haykin."Cognitive radio：Brain-empowered wireless communications"，IEEE Journal on Selected Areas in Communications，vol.23，no.2，pp.201-220，2005.
[3]T.W.Rondeau，C.W.Bostian，D.Maldonado，A.Ferguson，S.Ball，B.Le，and S.Midki，“Cognitive radios in public safety and spectrum management”，Telecommunications Policy and Research Conference，vol.33，2005.
[4]George F.Luger，“Artificial Intelligence Structures and Strategies for Complex Problem Solving Fifth Edition”，Pearson Education Limited，2005.
[5]Joseph C.Giarratano, Gary D.Riley，“Expert System Principles and Programming Fourth Edition”，Thomson learning，2006.
[6]Timothy R.Newman，“Multiple Objective Fitness Functions for Cognitive Radio Adaptation”，Doctor Thesis，2008.
[7]A.He，K.K.Bae，T.R.Newman，J.Gaeddert，K.Kim，R.Menon，L.M.Tirado，J.Neel，Y.Zhao，J.H.Reed，and W.H.Tranter，“A survey of artificial intelligence for cognitive radios”，IEEE Transactiongs on Vehicular Technology，vol.59，no.4，pp.1578-1592，2010.
[8]Thomas W.Rondeau，“Application of Artificial Intelligence to Wireless Communication”，Doctor Thesis，2007.
[9]N.Baldo，B.R.Tamma，B.S.Manoj，R.Rao，and M.Zorzi，“A neural network based cognitive controller for dynamic channel selection”，in Proceedings of IEEE International Conference on Communications（ICC），pp.1-5，2009.
[10]X.Zhu，Y.Liu，W.Weng，and D.Yuan，“Channel sensing algorithm based on neural network for cognitive wireless mesh network”，in Proceedings of IEEE International Conference on Wireless Communications（WiCom），pp.1-4，2008.
第9篇：神經網絡的訓練方法范文
現行的SOC預測方法大致有化學法、電壓法、電化學阻抗法、電流積分法、卡爾曼濾波法、神經網絡法等。
化學法：應用范圍十分狹窄，僅適用于能接觸到電解液的電池。電壓法：通過對比已知的充放電電壓荷電狀態曲線，將電壓值轉換為電池的荷電態值，適用于電壓隨SOC變化較大的鉛酸電池和鎳氫電池等傳統電池。電化學：阻抗法有交流內阻和直流內阻之分，它們都與電池荷電狀態有密切關系。電流積分法又稱為安時積分法或庫倫計數，通過將電池電流對時間進行積分來計算電池的荷電狀態。卡爾曼濾波法：是對動力系統的狀態做出最小方差意義上的最優估計。卡爾曼濾波法將電池被看成一個動力系統，電池荷電狀態是系統的一個內部狀態。神經網絡法：能夠模擬電池動態特性，來估計電池荷電狀態，適用于各種電池，缺點是需要大量的參考數據進行訓練，估計誤差受訓練數據和訓練方法的影響很大。
（來源：文章屋網 ）
