神經網絡回歸算法精選(九篇)
前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡回歸算法主題范文，僅供參考，歡迎閱讀并收藏。
第1篇：神經網絡回歸算法范文
【關鍵詞】粒子群算法；神經網絡模型；股票預測
一、引言
廣義回歸神經網絡（簡稱GRNN神經網絡）是一種基于非線性回歸理論的前饋式神經網絡模型，具有局部非線性逼近能力強、收斂速度快等特點，是股票預測中常用的神經網絡預測之一.由于平滑因子對網絡的性能影響比較大，需要不斷嘗試才能獲得最佳值.本文采用粒子群算法優化GRNN神經網絡，通過自動調整連接權值及平滑因子，使結果達到最優，建立了PSO-GRNN神經網絡模型，對我國三支熱門股票上海電力（代碼：600021）、中信證券（代碼：600030）和中國石化（代碼：600028）進行預測.
二、基于粒子群算法的GRNN神經網絡及其應用
（一）粒子群算法
粒子群算法（PSO算法）是由Kennedy和Eberhart提出的，通過模擬鳥群飛行覓食過程中的協作行為，使群體達到最優.首先初始化一群隨機粒子，其中第i個粒子在D維解空間的位置和速度分別表示為Li=（li1，li2，…，liD），Vi=（vi1，vi2，…，viD），通過迭代搜索產生粒子最優解.每一次迭代，粒子從初始到當前迭代次數搜索產生的最優解為粒子的個體極值Pbest，粒子種群當前的最優解，即所有粒子的最優位置，稱為全局極值gbest.第i個粒子通過兩個極值更新自己第d維（1≤d≤D）的位置lid和速度vid.
步驟1初始化.確定各個參數并隨機初始化種群中粒子的位置和速度，并設定位置的范圍[-Lmax，Lmax]，速度的范圍[-Vmax，Vmax].將每個粒子的Pbest設置為當前位置，gbest值設置為初始群體中適應值最好的粒子位置.
步驟2判斷粒子是否達到個體極值.如果滿足，轉步驟5；否則，轉步驟3.
步驟3更新粒子的位置和速度.
步驟4更新粒子的Pbest值和gbest值.對每個粒子，如果適應值小于Pbest的適應值，則Pbest設置為當前位置；如果粒子適應值小于gbest的適應值，則gbest設置為當前位置，轉步驟2.
步驟5記錄gbest，算法結束.
（二）基于PSO的GRNN神經網絡算法
步驟1提取目標輸入矢量，并做歸一化處理，利用公式計算.xj（i）=xj（i）1max（xj（k）），k=1，2，…，N，式中，xj（i）表示第j個神經元的第i個輸入值，N表示有N個訓練樣本.
步驟2隨機初始化種群，設定種群規模為20，初始化粒子速度和位置，設定位置的范圍[-Lmax，Lmax]和速度的范圍[-Vmax，Vmax].
步驟3將粒子群中每一個體的分量映射為GRNN神經網絡的參數，構成一個GRNN神經網絡，對每一個GRNN神經網絡輸入訓練樣本進行訓練，并計算每一個粒子在訓練集上的均方誤差和作為適應度值.均方誤差公式如下：fi=e=11n∑n1i=1（yij-ij）2.其中，N為訓練樣本容量，yij表示訓練樣本實際值，ij表示預測模型的輸出值.
步驟4根據每一個體的適應度值砥蘭勖扛雋W擁乃閹魑恢茫計算當前每個粒子的個體極值和種群全局極值.
步驟5判斷是否滿足條件.如果達到最大迭代次數或均方誤差達到最初設定值，則結束粒子搜索.否則轉到步驟3，重復迭代優化，更新粒子速度和位置.
步驟6輸出最優粒子位置，將每一個個體的分量映射為GRNN神經網絡的平滑因子和權值，對神經網絡的輸入樣本進行預測.
步驟7算法結束.
三、利用MATLAB工具實現結果
為了確保PSO-GRNN神經網絡預測的精確度，我們選擇了3組訓練數據，每組數據都是從2012年3月29日到2012年4月16日的250天的收盤指數.PSO-GRNN神經網絡模型中動量因子取α=0.05，β=0.55.粒子種群規模為20，粒子維數為12，學習因子c1=c2=2，慣性權值的初始值0=0.9，最大迭代次數為250次.為了檢驗神經網絡的泛化能力，我們引入三種評價指標：
均方根誤差：MSE=11n∑n1i=1（yi-i）2.
平均絕對誤差：MAE=11n∑n1i=1|yi-i|.
平均絕對百分比誤差：MAPE=11n∑n1i=1|yi-i|1|yi|×100%.
其中，yi表示訓練樣本實際值，i表示預測模型的輸出值.平均絕對誤差（MAE）和平均絕對百分比誤差（MAPE）都是衡量預測結果偏離實際的指標，MAE（或者MAPE）值越大，預測誤差越大；均方根誤差（MSE）能較好地預測效果，MSE值越小，預測效果越好.
經過PSO-GRNN模型和GRNN模型對所選三組數據的訓練，兩種模型對比結果見下表.在模型樣本相同，初始因子相同的情況下，PSO-GRNN模型對樣本的預測精度明顯優于GRNN模型，泛化能力更強.
第2篇：神經網絡回歸算法范文
關鍵詞：BP神經網絡算法；貨運量；預測模型；實證分析
中圖分類號：F252 文獻標識碼：A
交通運輸系統是國民經濟大系統中的一個子系統，運輸需求同時受到來自系統內部和系統外部因素的影響，同時又反作用于國民經濟系統[1]。其中，貨運量是反映運輸生產成果，體現運輸系統為國民經濟服務數量的重要指標[2]，它作為衡量一個國家或地區經濟發展的重要經濟指標，愈加受到人們的重視，如何正確、有效地根據相關影響因素做出貨運量預測，對于物流產業的發展具有至關重要的作用。
貨運量預測具有較大的復雜性和非線性等特點[3]，進行貨運量預測的方法很多，常用的方法包括時間序列法、回歸分析法和灰色系統法等，這些方法都集中在對其因果關系回歸模型和時間序列模型的分析上，所建立的模型不能全面和本質地反映所預測動態數據的內在結構和復雜特性，從而丟失了信息[4]。人工神經網絡具有良好的曲線擬合能力、學習能力、抗干擾能力[4-5]，采用BP神經網絡方法，建立貨運量預測模型，具有更好的說服力。
近幾年來，在國家政策的大力扶持和傾斜下，整個新疆的經濟社會發展都步入了快車道。經濟社會的快速發展，對相應的物流能力提出了更高的要求。現有的南疆兵團物流企業已經難以滿足其經濟快速高效發展的需要，日益成為制約南疆兵團經濟快速發展的瓶頸。科學合理地預測南疆兵團物流企業的貨運量以對其物流能力進行客觀評價，對于優化配置南疆兵團有限的物流資源，實現南疆兵團物流企業的可持續發展，具有重要的現實意義和實踐價值。
1 BP神經網絡算法與模型
近年來，全球性的神經網絡研究熱潮再度興起，不僅僅是因為神經科學本身取得了巨大的進展，更主要的原因在于發展新型計算機和人工智能新途徑的迫切需要。迄今為止在需要人工智能解決的許多問題中，人腦遠比計算機聰明的多，要開創具有智能的新一代計算機，就必須了解人腦，研究人腦神經網絡系統信息處理的機制。另一方面，基于神經科學研究成果基礎上發展出來的人工神經網絡模型，反映了人腦功能的若干基本特性，開拓了神經網絡用于計算機的新途徑[6]，它對傳統的計算機結構和人工智能是一個有力的挑戰，引起了各方面專家的極大關注。
目前，已發展了幾十種神經網絡， 例如Hopficld模型、Feldmann等的連接型網絡模型、Hinton等的玻爾茨曼機模型，以及Rumelhart等的多層感知機模型和Kohonen的自組織網絡模型，等等[6]。神經網絡模型中，應用最廣泛的是多層感知機神經網絡。多層感知機神經網絡的研究始于20世紀50年代，但一直進展不大。直到1985年，Rumelhart等人提出了誤差反向傳遞學習，即BP算法[7]，實現了Minsky的多層網絡設想，如圖1所示。
BP算法不僅有輸入層節點、輸出層節點，還可有一個或多個隱含層節點。對于輸入信號，要先向前傳播到隱含層節點，經作用函數激勵后，再把隱含層節點的輸出信號傳播到輸出節點，最后給出輸出結果。節點的作用激勵函數通常選取S型函數，如：
式中Q為調整激勵函數形式的Sigmoid參數。該算法的學習過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸入層經隱含層逐層處理，并傳向輸出層。每一層神經元的狀態只影響下一層神經元的狀態。如果輸出層得不到期望的輸出，則轉入反向傳播，將誤差信號沿原來的連接通道返回，通過修改各層神經元的權值，使得誤差信號最小。
從上述BP算法可以看出，BP模型把一組樣本的I/O問題變為一個非線性優化[8]，是優化中最普通的梯度下降法。如果把神經網絡的看成輸入到輸出的映射，則這個映射是一個高度非線性映射。
設計一個神經網絡專家模型的構成和學習算法的選擇，一般來說，是根據所研究領域及要解決的問題確定的[6]。通過對所研究問題的大量歷史資料數據的分析及目前的神經網絡理論發展水平，建立合適的模型，并針對所選的模型采用相應的學習算法，在網絡學習過程中，不斷地調整網絡參數，直到輸出結果滿足要求為止。
2 貨運量預測模型與實證分析
基于上述BP神經網絡算法與模型，結合新疆兵團各師物流實際，構建南疆兵團各師貨運量的預測模型，采用Matlab軟件編制程序（見附錄），將2006～2010年間的各師貨運量數據[9]代入Matlab程序中，以對南疆兵團各師貨運量加以預測。下面對Matlab中神經網絡訓練函數的訓練步數、收斂精度及誤差加以比較，通過反復訓練來確定最佳的BP神經網絡訓練函數[8]，以此來確定最優的貨運量BP神經網絡模型。
通過運行程序，得到訓練均方誤差曲線圖如圖2：
由圖2可看出，誤差訓練值接近10e-2，而目標訓練值為10e-7，說明經過2 000次步長訓練，均方誤差逐漸趨于目標值，訓練結果非常小，結果較滿意。同時，得到訓練梯度及有效性檢查曲線圖如圖3：
由圖3可得出，訓練梯度為0.00021324，檢查錯誤幾乎為0，說明經過2 000次步長訓練，在這期間訓練梯度變化不大，且錯誤趨于0，進一步說明預測結果較好。與此同時，得到訓練回歸曲線圖如圖4。
由圖4可得到，目標訓練值R=0.99983，趨于1，說明回歸訓練效果較好，預測精度較高，而同時回歸曲線近似趨于一線性函數，其訓練起點和終點（圖中黑點）與源數據（白圓點）都很好的分布在曲線兩側，由此可見，運用BP神經網絡仿真的效果十分理想，訓練后的BP網絡能很好地逼近給定的目標函數，據此表明訓練效果很好。由此可見，所建模型與實際吻合度較高，模型結果具有可信度和說服力。
3 結果分析
通過運行BP神經網絡程序，求得2006～2010年南疆兵團各師貨運量的的預測值，將之與實際值放在一起進行比較，匯編結果如表1。
由表1可以看出，南疆兵團各師貨運量持續上升，而且增加幅度逐年加快。事實上，近年來隨著新疆經濟社會的快速發展，南疆兵團各師的貨運量呈現一個較大程度的逐年遞增，這一點是符合客觀事實的。
通過南疆兵團各師貨運量的預測值和實際值的比較分析，發現預測值與實際值之間相對誤差較小，位于0.8%～7.8%之間，平均相對誤差約為4.45%，誤差達到通常的精度要求10e-2，計算精度較高。由此可見，通過BP神經網絡算法建立的南疆兵團各師貨運量預測模型，所得結果符合計算精度要求，而且泛化能力較好，模擬結果比較可靠，與實際吻合度較高。
4 結 論
本文通過對近幾年南疆兵團各師貨運量的分析，合理地設計了BP神經網絡結構；同時，通過比較Matlab中神經網絡訓練函數的訓練步數、收斂精度及誤差，反復訓練并確定了最佳的BP神經網絡訓練函數；并以2006～2010年南疆兵團各師貨運量數據為基準，建立南疆兵團各師貨運量的預測模型，采用Matlab提供的神經網絡工具箱編程求解，得到相應的南疆兵團各師貨運量的預測值，通過實際值與預測值的比較，發現二者之間的相對誤差較小，所得結果具有較好的說服力和可信度。
本文的研究結果，對于南疆兵團地區優化配置物流資源，引導地方政府決策提供理論依據，具有重要的現實意義和實踐價值。人工神經網絡具有良好的曲線擬合能力、學習能力、抗干擾能力，采用BP神經網絡算法，建立相應的預測模型，所得結果因與實際吻合度較高，而具有較好的可信度。BP神經網絡算法，可以廣泛地應用于復雜經濟系統的評價與預測工作。文中所采用的建模思想方法，還可以廣泛地應用于其他復雜經濟系統的建模工作，具有一定的普遍性，有著良好的應用推廣價值。
參考文獻：
[1] 王振軍. 交通運輸系統工程[M]. 南京：東南大學出版社，2008：13-17.
[2] 張艷云，艾力·斯木吐拉. BP神經網在新疆貨運量預測中的應用[J]. 運輸與物流，2011（17）：144-147.
[3] 許銀甲. 公路貨運量預測的系統動力學模型構建[J]. 交通科技與經濟，2007，9（6）：95-97.
[4] 趙闖，劉凱. 基于廣義回歸神經網絡的貨運量預測[J]. 鐵道學報，2004，26（1）：12-15.
[5] 徐優麗. 基于神經網絡的物流需求預測[J]. 浙江樹人大學學報，2008（1）：56-58.
[6] 飛思科技產品研發中心. MATLAB6.5輔助神經網絡分析與設計[M]. 北京：中國統計出版社，2003：64-69.
[7] 高寧，邵陸壽. 基于MATLAB的BP神經網絡在農作物預報中的應用[J]. 計算機與農業，2003（7）：16-18.
第3篇：神經網絡回歸算法范文
【關鍵詞】傳感器；智能化；神經網絡；自補償
【基金項目】論文受到成都信息工程大學校級項目KYTZ201521，Y2013062，Y2015015以及“傳感器與檢測技術”精品課程建設項目的資助。
一、引言
現代傳感器技術是在傳統傳感器技術的基礎上發展而來，廣泛結合了信息處理技術、通信技術及微電子技術等[1]，將傳感器提升至 “系統”級別。
開設現代傳感器技術課程，需要在具備經典傳感器知識的基礎之上，進一步掌握智能傳感器的相關知識，了解集成電路工藝、統計學習理論和現代信號處理技術等[2]。該課程的內容涉及智能傳感器系統的硬件構成，智能化功能的軟件實現方法，以及多元回歸分析法、神經網絡技術和支持向量機技術等數據挖掘方法。學生可以通過自主設計型實驗加深對智能傳感器的理解。而智能傳感器的軟件實現和數據挖掘方法的仿真都具備充分的靈活性，學生可以結合PC機在課堂上和課后進行實驗研究[3]。
二、自主設計實驗
現代傳感器技術的課程介紹了新型智能傳感器的概念、構成方式及具有的功能，重點在于智能傳感器的集成化和智能化實現方法。
智能傳感器集成化的實現涉及微電子技術等相關內容，對于非微電子專業的學生來說很難具備此方面的扎實基礎，不易開展自主設計型實驗。并且此部分內容的相關實驗對硬件要求較高，不利于在不同專業和高校的推廣。
智能傳感器智能化的實現方式多樣，有硬件實現，也有軟件實現。軟件實現方法包括神經網絡技術、支持向量機技術、粒子群算法和小波分析等數據挖掘方法中的智能算法。這些智能算法的仿真工具眾多，算法設計靈活且多樣，可以讓學生在完成課程實驗的同時，通過自主設計進一步發掘算法的優化方法，加深對知識的理解。
本論文將舉例說明現代傳感器技術課程在智能傳感器智能化實現方面的自主設計實驗的開設方法。
例如，開設題為“基于神經網絡方法的傳感器溫度自補償模塊設計”實驗。對于會受溫度影響的傳感器，要降低工作環境溫度的影響，就需要設計自補償模塊，補償的方法有多種，這里選用神經網絡方法。首先，學生需要選定實驗對象，即傳感器，比如某款壓阻式壓力傳感器，然后獲取不同溫度狀態下傳感器靜態標定數據，根據標定數據制作樣本，輸入到神經網絡。學生可以根據需要選擇不同的神經網絡，比如BP神經網絡和RBF神經網絡等[4]。實驗編程時可于利用現有的工具箱進行輔助編程，也可以完全自行編程。
以上實驗只考慮了溫度這一個干擾量的影響。通常影響傳感器的不止一個干擾量，還可能存在兩個或多個干擾量的影響。神經網絡方法可以用來降低兩個或者是多個干擾量的影響。此外，學生還可以用支持向量機技術來設計智能化軟件模塊，用于降低多個干擾量的影響。例如，可開設題為“基于支持向量機方法的降低多個干擾量影響的傳感器智能模塊設計”。該實驗的過程是先選定存在交叉敏感的傳感器作為實驗對象，進行多維標定實驗獲取樣本數據，再利用支持向量機方法建立數據融合模型，從而消除或是降低多個干擾量的影響。支持向量機的功能包括分類和回歸等，因此學生還可以結合其分類的功能設計其他傳感器智能模塊。
學生在進行智能算法的課程實驗時，可以選擇自帶工具箱中豐富的仿真工具，也可以自行編程實現算法。本論文采用Matlab軟件為仿真工具實現算法。
三、實驗示例
（一）基于神經網絡方法的傳感器溫度自補償模塊設計
本實驗選定壓阻式壓力傳感器作為實驗對象，目標如下。
1.基于神經網絡技術設計溫度補償模塊，消除工作環境溫度對傳感器的影響。
2.實驗過程需對多個樣本進行實驗，提高補償模塊的適應性，即在滿足壓力量程的情況下對不同的工作溫度進行補償。
3.溫度補償模塊的設計可以使用多種神經網絡方法，并進行對比，得到消除溫度影響最好的方法。
實驗步驟如下。
1.二維標定實驗
用標定實驗來獲取原始實驗數據。由于實驗條件和實驗時間的限制，有些學生無法進行此步驟。學生也可以通過教材或者相關論文來獲取原始數據，但是必須在實驗報告中注明數據的來源。
2.數據預處理與樣本制作
用上一步中獲取的原始數據來制作樣本。通常先將原始數據進行歸一化處理，用歸一化之后的數據制作樣本。神經網絡的樣本包括訓練樣本和測試樣本。
3.訓練神經網絡
將訓練樣本輸入到編好的神經網絡算法，可以是BP神經網絡和RBF神經網絡等，得到訓練后的模型。
4.測試神經網絡
用測試樣本檢驗訓練好的神經網絡模型。如果得到的效果不好，可以適當地調整神經網絡的參數，改善補償效果。
5.更換訓練樣本和測試樣本后重復第三和第四個步驟
不同樣本得到的結果往往差異較大，實驗中需要更換訓練樣本和測試樣本后進行多次重褪笛椋用以提高神經網絡模型的適應性。
6.換一種神經網絡方法重復第五個步驟
同一樣本采用不同的神經網絡方法可能得到不同的補償結果，實驗中可以嘗試對比不同的神經網絡方法，或者通過優化神經網絡的方法改善補償效果。
（二）基于支持向量機方法的降低多個干擾量影響的傳感器智能模塊設計
本實驗的目標如下。
1.利用支持向量機的處理分類和回歸問題的功能，對傳感器交叉敏感的數據進行分析，用以抑制交叉敏感現象。
2.嘗試修改支持向量機的程序，例如更換核函數或改變分類策略，得到不同的測試結果。
3.制備多組樣本數據，對不同的樣本數據進行測試，用以檢驗算法的適應性。
實驗步驟如下。
1.樣本數據制作
根據確定的實驗對象，采集或制備樣本數據。制作好的樣本數據將分為訓練樣本和測試樣本兩部分。訓練樣本與測試樣本的格式保持一致。
2.算法設計
利用支持向量回歸（Support Vector Regression，SVR）或支持向量分類（Support Vector Classification，SVC）算法，處理樣本數據。利用多種策略測試算法優劣。
例如在支持向量分類算法中，有兩種處理多分類問題的策略， 一種是“一對一（one agaist one， 1A1）”， 另一種是“一對多（one agaist all， 1AA）”。實驗中可測試不同策略的算法。支持向量機可選取多種核函數，包括線性核函數、多項式核函數和徑向基（Radial Basis Function，RBF）核函數等。目前尚缺乏一種選取核函數的標準方法。實驗中可以通過更換核函數來測試它們的不同效果，用以選取最優的方案。
可以采用不同的支持向量機工具箱，例如SVM and Kernel Methods Matlab Toolbox工具箱，或者自行編程。
在算法設計的過程中，通過對訓練樣本進行訓練和對測試樣本進行測試，得到每一次的結果。同一算法必須經過多個訓練樣本和測試樣本的檢驗。更換算法策略后，再重復以上步驟。
3.效果評價
用抑制交叉敏感的結果對比最初的傳感器數據，對算法效果進行綜合評價。
（三）實驗方案
結合以上實例，可以設計出自主實驗的方案，具體如下：自行查閱資料進行神經網絡分析法和支持向量機法的設計，兩種算法選擇其一即可。
實驗步驟如下：（1）安裝matlab軟件；（2）熟悉matlab軟件的使用方法；（3）查閱資料進行項目設計；（4）選取神經網絡分析法和支持向量機法之一進行項目設計；（5）根據設計要求編寫算法，并仿真；（6）對算法效果進行綜合評價。
需要注意的是，利用神經網絡分析法和支持向量機法在智能傳感器系統的智能化功能實現方法上進行項目設計的時候，數據來源要有出處，應用范圍要明確。
四、結論
現代傳感器技術課程通過開設自主設計型實驗可以提高學生的學習興趣，加深學生對知識的理解。該課程涉及的神經網絡技術、支持向量機技術、主成分分析和小波分析等方法可以較為靈活地開設自主設計實驗，加強學生的動手能力。本論文以“基于神經網絡方法的傳感器溫度自補償模塊設計”實驗為例說明了自主設計實驗的方案。實驗采用Matlab軟件設計，方案可行。
【參考文獻】
[1] 張鵬，吳東艷，張凌志.項目教學法與傳感器課程改革探索[J]. 中國電力教育，2014（05）：78-79.
[2] 王興君，毛敏.智能傳感器課程建O及教學研究[J]. 電子測試，2016（07）：172-173.
第4篇：神經網絡回歸算法范文
關鍵詞：logistic回歸 BP神經網絡 上市公司 信用風險
在經濟全球化的趨勢下，信用將成為主要的交易方式，金融危機的爆發更是顯示出信用風險管理和信用風險分類的重要性。從20世紀60年代至70年代的統計學方法，20世紀80年代的專家系統到90年代的神經網絡，各種信用風險評級方法層出不窮。在我國，信用風險的度量和管理較為落后，金融機構沒有完善有效的評級方法和體系，目前所應用的方法主要是粗略的定性方法，如綜合利用宏觀經濟與行業風險、所有權及治理結構、信用風險及其管理、市場風險及其管理、資金來源/流動性、盈利能力等進行“加權”加分，信用風險的度量模式顯得比較單一，所以對于信用風險分類方法是學術界和實務界必須解決的課題之一。
一、文獻綜述
（一）國外文獻Logistic模型最早是由Martin （1977）用來預測公司的破產及違約概率。他從1970年至1977年間大約5700家美聯儲成員銀行中界定出58家困境銀行，并從25個財務指標中選取總資產凈利潤率等8 個財務比率，用來預測公司的破產及違約概率，建立了Logistic回歸模型，根據銀行、投資者的風險偏好設定風險警界線，以此對分析對象進行風險定位和決策。同時還將Z-Score模型，ZETA模型和Logistic模型的預測能力進行了比較，結果發現Logistic回歸模型優于Z- Score模型和ZETA模型。Madalla （1983） 則采用Logistic模型區別違約與非違約貸款申請人，其研究結果表明，當違約概率p>0.551時是風險貸款；當p
（二）國內文獻 在國內的研究文獻中，齊治平（2002）從我國滬、深兩交易所選取164 家上市公司，然后隨機分成兩組，運用線性判別模型、Logistic 回歸模型以及含有二次項和交叉項的Logistic 模型對數據樣本提前兩年進行預測。結果發現，含有二次項和交叉項的Logistic模型對前一年數據的預測準確率最高。吳世農（2003）使用剖面分析、單變量分析、線性概率模型（LPM）、Fisher二類線性判定、Logistic模型等統計方法對財務困境公司進行預測研究，其中Logistic模型對前一年數據的預測準確率達到93.53%，Fisher判別分析法和LPM的準確率都為89.93%。龐素琳（2003）利用多層感知器分別對我國2000年106家上市公司進行信用評級，信用評價準確率高達98.11%。本文即是從上市公司的財務指標入手，通過logistic回歸分析和BP神經網絡，構建衡量企業信用狀況的模型，并通過實證研究考察模型的適用性，對比兩者信用風險分類的準確度。
二、研究設計
（一）樣本選取和數據來源本研究選取滬深兩市A股市場上2005年至2007年三年中部分被進行特別處理的118家ST公司和126家非ST公司，數據主要來源于CSMAR深圳國泰安信息技術有限公司提供的財務指標數據，將118家ST公司的財務數據和126家非ST公司的財務數據劃分為訓練樣本和測試樣本。樣本集選取如（表1）所示。
（二）變量選取本文采取的財務數據在參考了已有文獻以及考慮到實際數據可得性的基礎上，選取了能夠反映短期還款能力，長期還款能力，盈利能力和營運能力4方面共12個財務指標。指標變量名稱及自變量符號具體見表。因變量為0-1變量，信用級別高的設置為1，信用級別低的設置為0。在做logistic回歸的時候會進一步運用向后篩選法剔除方差貢獻率不大的指標變量。具體如（表2）所示。
（三）模型設定
（1）Logistic回歸模型：
（2）多層次前向神經網絡。本文所應用的是一種稱為前向網絡的特殊神經網絡結構。本研究應用Rumehhart于1986年提出的如下函數：Ii=wijxj+?準，xi=fi=其中，Ii為神經元i的層輸入，xi為神經元的輸出，wij為神經元間的連接權，?準為神經元i的偏置。每一條連接弧都被賦予一定的數值來表示連接弧的連接強度，正的權值表示影響的增加，負的權值表示影響的減弱。在前向網絡中，神經元間前向連接，同層神經元互不連接，信息只能向著一個方向傳播。前向網絡的連接模式是用權值向量W來表示的。在網絡中，權值向量決定著網絡如何對環境中的任意輸入作出反應典型的學習算法是搜索權值以找到最適合給定樣本的權值。在本研究中應用的是多層前向網絡的BP算法，其主要作用是知識獲取和推理，采用有導師學習的訓練形式，提供輸入矢量集的同時提供輸出矢量集，通過反向傳播學習算法，調整網絡的連接權值，以使網絡輸出在最小均方差意義下，盡量向期望輸出接近，通過修改各層神經元的連接權值，使誤差減小，然后轉入正向傳播過程，反復循環，直至誤差小于給定的值為止。本文建立的BP神經網絡圖（見圖1）。本文建立財務困境神經網絡預警模型主要考慮以下兩方面的問題：一是確定網絡結構；二是學習參數的調整。首先考慮網絡結構的確定。網絡結構主要包括連接方式、網絡層次數和各層結點數。網絡的連接方式代表了網絡的拓撲結構，Lippmann（1987）證明在一定條件下，一個三層的BP神經網絡可以用任意精度去逼近任意映射關系，而且經過實驗發現，與一個隱層相比，用兩個隱層的網絡訓練并無助于提高預測的準確。因此在本研究中采用單隱層的BP網絡。各隱含層節點數的選擇并無確定的法則，只能結合實驗并根據一些經驗法則：隱層節點數不能是各層中節點數最少的，也不是最多的；較好的隱層節點數介于輸入節點和輸出節點數之和的50%~75%之間；隱層節點數的理論上限由其訓練樣本數據所限定。
三、實證結果分析
（一）logistic模型的參數估計及結果常規的線性判別模型計算得到的Z值只是個抽象的概念，無法從經濟學上進行解釋，Logistic回歸分析解決了這個問題，其前提假設符合經濟現實和金融數據的分布規律，殘差項小要求服從止態分布。本文運用SPSS自帶的Wald向后逐步選擇法篩選變量，提高模型的判別性能，從全變量模型開始，逐步提出對殘差平方和貢獻最小的變量，具體的回歸結果見（表2）。以2005年為例，根據SPSS計算結果中的參數表，估計Logistics模型的判別方程，（表3）反映了最大似然迭代記錄（顯示最后的迭代過程），（表4）反映了參數估計結果。步驟9是經過9步變量篩選后最后保留在模型中的變量。從各個系數的Wald值及伴隨概率p來看，最終選定的5個指標變量具有最高的解釋能力。綜上，2005年公司分類的logistic模型為：p=。從（表5）步驟1及步驟9的分類結果看出，剔除不顯著變量之后，分類準確率并未大幅下降，可以認為最終的模型能通過檢驗。（表6）顯示了最終的Logistic模型參數估計結果。（表7）顯示了模型分類準確率。
（二）BP神經網絡的參數估計及結果首先對輸入輸出樣本進行數據處理，消除影響預測結果的噪聲，神經網絡輸入的變量要求規范在［-1，1］（若使用tanh函數）或［0，1］（若使用logistic函數）之間。本文對輸入數據進行標準化處理，采用以下方法：X=。X為規范后的變量，x為每個變量的實際值，x1為每個變量的最小值，x2為每個變量的最大值。Matlab中相應的函數為［output_X，PS］=mapminmax（X，output_min，outpt_max）由于實際財務困境評價往往非常復雜，企業財務狀況的好壞與財務比率的關系常常是非線性的，而神經網絡作為一種非線形建模過程，并不依賴判別模型的假設，能找出輸入與輸出的內在聯系，因此本文決定嘗試使用神經網絡技術進行信用狀況的分類研究，分為訓練集和測試集兩組對神經網絡進行訓練，過程如下：第一，輸入層和輸出層神經元數目的確定。第一層為輸入層，采用判別分析得出的模型變量為輸入變量，共有12個結點，每個結點代表相應的財務比率。第三層為輸出層，用一個結點表示，訓練導師值為0代表信用級別“差”的公司，1代表信用級別“好”的公司。第二，隱含層數和隱結點個數的確定。本文選擇單隱層的前饋BP網絡；通過學習逐步增加隱神經元數，訓練反復調整。最后定為10個隱結點。第三，用訓練集的數據訓練這個神經網絡，使不同的輸入向量得到相應的輸出值，當誤差降到一個指定的范圍內時，神經網絡所持有的那組權數值就是網絡通過自學習得到的權數值，即完成了神經網絡的自學習過程。第四，輸入待評價的樣本（本文直接在輸入矩陣中劃分為訓練），讓訓練好的神經網絡輸出企業財務狀況的標志（0或1），即實現神經網絡的模式分類。神經網絡的初始權重由Matlab隨機產生的。訓練算法采用專用于模式分類的trainscg方法，各種訓練參數見（表8）。由此看出，算法逐步收斂，最終達到誤差標準見（表9）。
（三）兩種模型比較分析 本文對Logistic和BP神經網絡分別對我國上市公司的信用狀況給予兩類模式的評級，最終發現，Logistic和BP神經網絡在我國市場上的分類效果相當（見表10）。主流觀點認為，人工神經網絡具有良好的模式識別能力，可以克服統計等方法的限制，因為它具有良好的容錯能力，對數據的分布要求不嚴格，具備處理資料遺漏或是錯誤的能力。最為可貴的一點是人工神經網絡具有學習能力，可以隨時依據新準備的數據資料進行自我學習、訓練、調整其內部的儲存權重參數以應對多變的企業運作環境。但是本文得出的結果是：傳統的Logistic方法和神經網絡方法的分類效果相當。現代人工智能方法并未表現出理論上的優勢。可能的原因是：網絡不穩定，訓練樣本的仿真準確率很高，但對測試樣本的仿真準確率會降低；解釋性差，網絡最終確定后，每個神經元的權值和閾值雖然已知，但不能很好地分析各個指標對結果的影響程度，對現實問題中的經營管理也就不能起到很好的借鑒作用；網絡的輸入個數與隱層節點個數的確定沒有理論指導，只能通過經驗確定。
四、結論
本文選取2005年至2007年部分被進行特別處理的118家ST公司和126家非ST公司，以其財務指標為樣本，進行Logistic回歸和BP神經網絡分類，對這兩種信用風險評判模型在中國市場做了實證研究。結果發現：兩種模型均適用于中國上市公司兩模式分類（ST和非ST公司），而BP神經網絡在我國市場上并未體現其分類的優勢，分類準確度和Logistic相當。即使如此，本文證實了Logistic和BP神經網絡模型對于我國上市公司的評級還是有效的，能夠為投資者的科學決策提供建設性的指導意見，使投資者理智地回避風險和獲取收益。同時，該判別模型也有利于準確評價一個企業的信用狀況，從而為銀行等放貸機構提供決策依據。
參考文獻：
［1］吳世農、盧賢義：《我國上市公司財務困境的預測模型研究》，《經濟研究》2001年第6期。
［2］齊治平、余妙志：《Logistic模型在上市公司財務狀況評價中的應用》，《東北財經大學學報》2002年第1期。
［3］龐素琳、王燕鳴、羅育中：《多層感知器信用評價模型及預警研究》，《數學實踐與認識》2003年第9期。
第5篇：神經網絡回歸算法范文
關鍵詞：智能傳感器；回歸分析法；人工神經網絡；遺傳算法；模擬退火算法
中圖分類號：TP212.6 文獻標識碼：A 文章編號：2095-1302（2017）02-00-03
0 引 言
隨著研究技術的不斷深入及數字化和虛擬儀器的快速發展，科技與發展更多的成為時代主旋律。在這個信息化時代，人們的社會活動將主要依靠對各種信息資源的有效利用。為適應社會的進步，滿足人們的日常需求，傳感器漸漸成形，且越來越多的深入到現代科技和生活中。
傳感器是指對系統特性和性能指標起決定作用的一種儀器。如果把計算機比喻為處理和識別信息的“大腦”，把通信系統比喻為傳遞信息的“神經系統”，那么傳感器就是感知和獲取信息的“感覺器官”。傳感器能夠感受或響應規定的被測量并按照一定的規律轉換為某種可用輸出信號的器件和裝置，通常由敏感元件和轉換元件組成[1]。它是人們獲取自然領域中信息的主要途徑與工具，是現代科學的中樞神經系統，是信息系統的源頭，是現代科技的前沿技術，發展迅猛。傳感器技術同計算機技術與通信技術一起被稱為信息技術的三大支柱，許多國家已將其與通信技術和計算機技術放置于同等重要的位置。
現代傳感器技術具有巨大的應用潛力，廣泛的開發空間和廣闊的發展前景。從最初的傳統傳感器逐漸發展為現在的智能傳感器。智能傳感器系統的實現是在傳感器技術、計算機技術、信號處理、網絡控制等技術的基礎上發展起來的，并隨這些技術的發展而發展。為了更大程度發揮傳感器的性能，并提高傳感器的精度，將多種傳感器與回歸方法、人工神經網絡等計算智能方法和數據融合等信息處理方法相結合，廣泛應用于越來越復雜的檢測中，同時還實現了自校準等功能。
1 傳感器技術的發展
傳感器技術誕生于20世紀中期，與當時的計算機技術和數字控制技術相比，傳感技術的發展呈落后趨勢，不少先進成果仍停留在實驗研究階段，并沒有投入到實際生產與應用中。然而，隨著各國相關信息化產業的迅猛發展，以日本和歐美等國家地區為代表的傳感器研發及其相關技術產業的發展已在國際市場中逐步占據了較為重要的地位[2]。
我國早在20世紀60年代開始涉足傳感器制造業，由于技術基礎薄弱，研發水平不高，大多引用國外的芯片進行改造和加工，自主研發的產品較少。經過從“六五”到“九五”的國家攻關，我國在傳感器研究開發、設計、制造、可靠性改進等方面獲得較為明顯的進步，初步建立了傳感器研究、開發、生產和應用的綜合體系。
一個傳統的傳感器測量一個物理、生物或者化學參數，例如位移、加速度、壓力、溫度、濕度、氧氣或一氧化碳含量可將其轉換成一個電壓或電流信號[3]。傳統意義上的傳感器的技術發展趨勢主要有以下兩方面：
（1）傳感器本身的基礎研究，即研究新型傳感器；
（2）和電子技術、計算機技術及通信技術組合在一起的傳感器系統的研究，即將新材料、新工藝與多種技術相結合，并向集成化、智能化及網絡化方向發展。
2 智能傳感器概述
2.1 智能傳感器定義
智能傳感器在本質上應定義為基于人工智能理論，利用微處理器實現智能處理功能的傳感器[4]。它不僅可以對信號進行檢測、分析、處理，也在一定程度上具備了人類的記憶、思維、交流能力，它集傳統傳感器與微處理器于一體并賦予其智能化功能。所謂的智能包括三個層次，即生物智能、人工智能和計算機智能。
（1）生物智能由人腦的物理化學過程體現出來，其物質基礎是有機物；
（2）人工智能則是非生物的，基礎是人類的知識和傳感器測量得到的數據；
（3）計算智能是由計算機軟件和現代數學計算方法實現的，其基礎是數值方法和傳感器測量得到的數據。
2.2 智能傳感器的優點與功能
相比傳統傳感器，智能傳感器主要有以下基本功能：
（1）具有自校準和故障自診斷功能；
（2）具有數據存儲、邏輯判斷和信息處理功能；
（3）具有組態功能，使用靈活；
（4）具有雙向通信和標準化數字輸出功能；
（5）人―機對話功能。
智能傳感器具有靈敏度和測量精度高、量程寬、可靠性與穩定性高、信噪比與分辨率高、自適應性強、性價比高等優點，已被廣泛應用于航天、國防、科技、生產等各領域中。
2.3 智能算法及其在智能傳感器中的應用
某些傳感器的特性可以預先用數學模型表示，但很多傳感器特性卻無法明確表達。在這種情況下，與其通過經驗對電路網絡作復雜的調整，不如對傳感器特性作數學描述。就目前研究而言，基于計算智能方法的智能信息處理主要包括回歸方法、人工神經網絡、進化計算、模糊邏輯等計算智能方法和小波分析、數據融合等信息處理方法。各種智能算法具有以下共同特點：
（1）具有不確定性，因為大多考慮了隨機因素，不少計算過程實際是在計算機上做隨機過程的模擬；
（2）大多具有自適應機制的動力體系或隨機動力體系，有時在計算過程中體系結構還在進行不斷的調整；
（3）不具有特殊性，針對通用的一般目標而設計；
（4）不少算法在低維或簡單的情況下顯得“笨”，但到了高維復雜情形中就具有很強的適應性[5]。
高敏[6]等建立了二位回歸方程，應用回歸分析設計了硬件系統，實現了對電流傳感器的實時溫度補償。史麗萍[7]等利用最小二乘法和切比雪夫不等式對傳感器數據進行回歸分析，得出了@兩種方法誤差較小且分布均勻，可被應用于傳感器測試的結論。趙敏[8]等在設定溫度下對傳感器進行數據輸入，并標定輸出數據，采用神經網絡算法對輸出數據進行分析，得出了神經網絡算法可對標定的溫度數據和非標定的數據進行處理的結論。郝云芳[9]等運用遺傳算法對傳感器自校正方程中的待定常數進行計算，可準確反映出傳感器的設計和實際信息的測定要求。陳華根[10]等對模擬退火算法的定位原理和定位應用進行了分析，得出模擬退火算法可以較好地應用于GPS定位的結論。
2.3.1 回歸分析法
回歸分析是以概率論與數理統計為基礎，主要對隨機現象統計資料進行分析和推斷，用來確定兩種或兩種以上變量間相互依賴的定量關系，是數理統計中常用的方法之一。按照設計自變量的多少，可以分為一元回歸和多元回歸分析；按照自變量和因變量之間的關系類型，可以分為線性回歸分析和非線性回歸分析。
在一元線性回歸中，假定因變量y是隨機變量，自變量x是可以精確觀察或嚴格控制的一般變量，建立回歸方程y=β0+β1x+ε，其中β0、β1為回歸系數，ε為隨機變量，也稱為剩余誤差。一元線性回歸問題的主要問題是依據（x，y）的n組觀測數據（xi，yi）（i=1，2，…，n）給出回歸系數β0、β1的估計值b0、b1，同時對β1做統計檢驗，以便指出這些估計的可靠程度，并在此基礎上進行預測與控制等。
多元線性回歸分析主要有以下幾個主要步驟：
（1）根據研究的目的和內容確定被解釋變量和解釋變量，正確選擇分析變量是得出正確結論的前提和基礎；
（2）模型的設定，模型設定根據研究的對象與相應的理論加以確定；
（3）參數估計；
（4）模型的檢驗和修正；
（5）模型的運用。
回歸分析方法可以與智能傳感器數學模型結合使用，以傳感器測得的輸入值或輸出值作為擬合多項式的自變量，通過建立包括待消除的非目標參量在內的函數解析式，來消除非目標參量對傳感器的影響，這樣就可對數據進行需要的處理，實現非線性補償[11]。高敏等[6]在測溫系統中，用溫度傳感器對霍爾電流傳感器的工作溫度進行實時監測，用二維回歸分析法建立起被測電流、霍爾電流傳感器輸出電壓和其工作溫度三者之間的函數關系，并存儲于單片機中，結合電路實現對該電流傳感器的實時補償，構成一個具有溫度補償功能的電流傳感測試系統，在一定程度上提高了傳感器的測量精度和自適應能力。同時，在一個受限的測試系統中，與其對電路網絡做復雜的調整，不如對傳感器特性做數學描述，如回歸分析等[7]。
2.3.2 人工神經網絡
人工神經網絡起源于生物學上的重大發現，是由簡單的處理單元（神經元）大量并行分布而組成的處理機。它使用大量神經元處理信息，而神經元按層次結構的形式組織，每層神經元以加權的方式與其它層神經元聯接，采用并行結構和并行處理機制，因而網絡具有很強的容錯性以及自學習、自組織及自適應能力，能夠模擬復雜的非線性映射，具有多種典型的人工神經網絡拓撲結構。在BP神經網絡中，信息是前向傳播的，而誤差是反向傳播的，即誤差的調整過程是從最后的輸出層依次向之前各層逐漸進行。神經網絡的這些特性和強大的非線性處理能力，恰好滿足了多傳感器數據融合技術處理的要求，故近年來得到了較快的發展和一定應用[8，12]。
BP神經網絡被用于傳感器技術中，對多傳感器數據進行融合，在一定程度上提高了傳感器的穩定性和準確性[13]。有時為了滿足不同的測量需要，也提出了多種改進基于BP 神經網絡的校正方法。例如用于檢測瓦斯濃度的瓦斯傳感器，其輸入與輸出之間存在著較嚴重的非線性，實際應用中一般采用分段線性化校正的方法，這在一些檢測精度要求較高的場合中往往達不到實際需求，因此必須進行高精度的線性化校正。劉剛[14]提出了一種基于改進型BP神經網絡的瓦斯傳感器的非線性校正方法，利用神經網絡良好的非線性映射能力，通過實驗數據訓練神經網絡，使網絡逐步調節層間的連接權，逼近反非線性函數，利用該函數傳感器可實現按非線性特性輸出系統的被測量值。在位移傳感系統中，為了提高精度與穩定性，有效抑制溫度漂移，可以把位移傳感器的輸出與溫度傳感器的輸出進行數據融合。朱海梅[15]提出一種基于RBF網絡（徑向基函數神經網絡）的多傳感器數據融合方法，把位移傳感器和溫度傳感器的輸出送入融合中心，通過RBF網絡的學習訓練，得到穩定的位移輸出。
2.3.3 遺傳算法
遺傳算法是一種概率性自適應迭代尋優過程。它從某一隨機產生的或是特定的初始群體（父體）出發，按照一定的操作規則，如選擇、交叉、變異等，不斷進行迭代計算，并根據不同個體的適應度保留優良淘汰次品，即便所定義的適應值函數是不連續的、非規則的，也能引導搜索過程向最優解逼近。
目前，最小二乘法作為一種較為成熟的軟件校正，為了克服它得不到全局最優解且有可能造成矩陣方程出現病態而破壞其方法有效性的特點[16]，郝云芳等[9]把遺傳算法應用于擬合傳感器的特性方程，求解智能傳感器自校正系統中的待定常數值，它可以很好地解決當噪音存在時，傳統自校正系統求解過程中方程遇到矩陣的病態問題，從而實現傳感器特性的線性化。對于輸入輸出關系是本質非線性的傳感器，沈毅等[17]提出了一種基于人工神經網絡的紙漿濃度傳感器非線性估計和動態標定方法，錢光耀等[18]采用混合遺傳算法模型擬合其輸出特性，這些均表明，當環境條件發生變化時，只要測量幾組數據對，該方法可自動重新訓練網絡，獲得新的多項式系數，實現濃度傳感器的非線性估計和在線動態標定。
在理想情況下，多傳感器、多目標靜態數據關聯選用遺傳算法也是可行的，很有應用前景。王寧等[19]采用多傳感器對數目未知的目標進行檢測，并通過遺傳算法來解決靜態數據關聯問題，且關聯成功率較高。因此，遺傳算法是一種能在復雜空間中進行魯棒搜索的方法，可以解決許多傳統優化方法難以解決的問題。
2.3.4 模擬退火算法
模擬退火算法是模擬物理熱力學中固體退火原理的一種全局優化算法。在對固體退火過程研究的啟示下，以組合優化問題和固體退火過程之間存在的相似性為基礎，把Metropolis接受試蛞入優化過程中，通過恰當控制被稱為溫度參數的下降過程實現模擬退火，從而得到全局的近似最優解，該算法適用于解大型組合優化問題的技術。
模擬退火的實質是進行兩次循環運算，內循環是在同一溫度下的多次擾動產生不同模型狀態，并按照Metropolis概率接受準則接收新模型，因此內循環以模型擾動次數控制。外循環包括溫度下降的模擬退火、算法迭代次數的遞增和算法停止的條件，因此外循環基本是由迭代次數控制的[10]。
模擬退火算法的應用廣泛，而無線傳感器網絡在國防、環境監測、空間探索、醫療衛生、精細農業、交通管理、制造業、反恐抗災等領域具有廣闊的應用前景[20]。有學者巧妙地將二者結合使用，取得了良好的效果。李玉增等[21]提出一種新的無線傳感器網絡節點定位算法，并通過仿真驗證了該算法具有良好的效果。趙仕俊等[22]在對無線傳感器網絡定位的基礎上采用模擬退火算法作為后期優化，提高了定位精度，且設計簡單、計算量小，適用性較好。在壓力傳感器的測控系統中，為了消除非目標參量對壓力傳感器輸入―輸出特性的影響，樊曉宇等[23]采用遺傳模擬退火算法對壓力傳感器非線性特性進行了改善，實現了智能抑制干擾和溫度補償，因此其可靠性好、測量精度高。
3 結 語
智能傳感器已廣泛應用于電子產品加工、精密儀器制造、高科技產品生產等行業，例如機器人的研發就與高科技傳感器密不可分，智能傳感器可以收集周圍環境信息并發送指令給機器人，從而控制它的活動；在工業生產領域，智能傳感器可控制商品的各類指標，以提高產品質量；在醫學領域，傳感器已被應用于各類醫學儀器中，用以測量人體血液、內臟、骨骼、神經等各方面的指標，為醫生確診提供依據，使廣大患者受益，提高人們的健康水平；在日常生活中，各種由智能傳感器制造的先進家用電器不斷問世，更加方便了人們的生活。當代智能傳感器技術正在向著虛擬化、網絡化、信息化方面發展，并與計算機技術和芯片技術緊密結合，應用于各個方面，目前研發適用于各種特殊條件下的智能傳感器將仍是學術界一項重要的任務。
參考文獻
[1]孫寶元，楊寶清.傳感器及其應用手冊[M].北京：機械工業出版社，2004：307-374.
[2]李建壯，楊彥濤.傳感器技術的應用與發展趨勢展望[J].中國科技信息，2011 （17）：120，126.
[3] Lee K. Sensor Networking and Interface Stardardization [C].In：Proceedings of the Instrumentation and Measurement Conference （IMTC） 2001，Budapest，Hungary，May 21-23，2001：147-152.
[4]孫圣和.現代傳感器發展方向[J].電子測量與儀器學報，2009，23 （1）：1-10.
[5]何金田，劉曉文.智能傳感器原理，設計與應用[M].北京：電子工業出版社，2012.
[6]高敏，盧文科，孫仁濤.基于二維回歸分析法的霍爾電流傳感器溫度補償[J].電子測量與儀器學報，2009，23（2）：100-104.
[7]史麗萍，孫寶元，于浩洋.多項式回歸分析在傳感器測試中的應用[J].河北工業大學學報，2003，32（3）：41-44.
[8]趙敏，潘衛明，楊燦軍.基于神經網絡的數據融合技術在諧振式密度傳感器中的運用[J].傳感技術學報， 2000，13（3）：187-192.
[9]郝云芳，馮曉明，黃天祿.遺傳算法在傳感器非線性自校正中的應用[J].傳感器技術，2003，22（6）：56-57，61.
[10]華根，李麗華，許惠平.模擬退火定位算法研究[J].同濟大學學報（自然科學版），2005，33（9）：1240-1243.
[11]杜西亮，孫慧明.多項式回歸在智能傳感器線性化中的應用[J].傳感技術學報，2005，18（1）：212-214.
[12]蔡兵.基于神經網絡的半導體壓力傳感器數據融合技術[J].湖北文理學院學報，2002，23（2）： 16-18.
[13]張荷芳，薛靜云.壓力傳感器溫度補償的BP神經網絡算法[J].西安工業大學學報，2013，33（2）：163-167.
[14]劉剛.基于改進型BP神經網絡的瓦斯傳感器的非線性校正[J].電氣自動化，2007，29（3）：61-63.
[15]朱海梅.神經網絡數據融合在位移傳感系統中的應用[J].南京師范大學學報（工程技術版），2006，6（1）：28-32.
[16]陳國良.遺傳算法及應用[M].北京：國防工業出版社，1995：12-30.
[17]沈毅，張建秋，王世忠，等.紙漿濃度傳感器非線性估計和動態標定的一種新方法[J].儀器儀表學報，1997，18（1）：1-6，13.
[18]錢光耀，趙光興，韓華明.基于混合遺傳算法的濃度傳感器的非線性估計和動態標定[J].中國儀器儀表，2006 （9）：44-47.
[19]王寧，郭立，金大勝，等.遺傳算法在多傳感器多目標靜態數據關聯中的應用[J].數據采集與處理，1999，14（1）：18-21.
[20] Akyildiz LF， Su WL， Sankarasubramaniam Y， et al.A survey on sensor networks[J].IEEE Communications Magazine， 2002，40（8）： 102-114.
[21]李玉增，張雪凡，施惠昌，等.模擬退火算法在無線傳感器網絡定位中的應用[J].通信技術，2009，42（1）：211-213.
第6篇：神經網絡回歸算法范文
關鍵詞：LM-BP網絡；糧食產量；預測
中圖分類號：S11+4；TP183 文獻標識碼：A 文章編號：0439-8114（2012）23-5479-03
Forecasting Corn Production Based on LM-BP Neural Network
GUO Qing-chun1，3，4，HE Zhen-fang2，4，LI Li3
（1. Teaching Affairs Office， Shaanxi Radio & TV University， Xi’an 710068， China； 2. Cold and Arid Regions Environmental and Engineering Research Institute， Chinese Academy of Sciences， Lanzhou 730000， China； 3. Institute of Earth Environment Research， Chinese Academy of Sciences， Xi’an 710075， China； 4. Graduate University， Chinese Academy of Sciences， Beijing 100049， China）
Abstract： A corn production porecasting method based on improved LM-BP was proposed. According to measurement and agricultural significance principle， 9 factors of grain-sown area， fertilizer input， effective grain irrigated area， stricken area， rural electricity consumption， total agriculture mechanism power， the population engaged in agriculture， rural residents family productive assets， the average net income of rural households were extracted as the network input； corn production was extracted as the network output. The LM algorithm could minimize the error， and the modeling results were evaluated with the correlation coefficients， relative error， etc. For training sample set， the correlation coefficient between the simulated value and the actual value was 0.996， the average relative error was 0.47%； for testing sample set， the correlation coefficient between the forecasted value and the actual value was 0.994， the average relative error was 0.56%. The results showed that the improved LM-BP model could improve simulation precision and stability of the model. This method is effective and feasible for corn production prediction.
Key words： LM-BP network； corn production； forecast
糧食產量預測是復雜的農學和統計學問題，受自然環境、政策、資源投入等多因素的影響。國內外的相關研究中，不少學者構建了許多很有價值的理論假說和預測模型，主要有4類：投入產出模型、遙感技術預測模型、氣候生產力模型及多元回歸和因子分析模型，這些模型從不同角度對糧食產量預測進行了研究[1，2]。但這些模型多數采用傳統的統計預測技術，如時間序列統計模型、定性與推斷技術、因果關系方法。而糧食產量是受不確定性因素影響的，是一個復雜的非線性系統。
人工神經網絡具有很強的處理大規模復雜非線性系統的能力。近年來，許多學者已將人工神經網絡成功地應用于實際問題的預測中，取得了令人滿意的結果[3-12]。為此，采用改進算法的神經網絡建立了糧食產量預測系統，結果表明，基于改進算法的BP神經網絡預測模型具有良好的預測精度、訓練時間短、收斂速度快等特點。
1 仿真試驗數據
1.1 預測因子的選擇
根據能夠計量及具有農學意義的原則，結合農業專家的意見，通過前期大量的影響因子分析[13-15]，選取1994-2009年的糧食總產量為輸出因子，初步選取糧食作物播種面積、化肥施用量、糧食作物有效灌溉面積、受災面積、農村用電量、農業機械總動力、從事農業的人口、農村居民家庭生產性固定資產原值、農村居民家庭平均純收入9個因子作為輸入因子構筑模型，原始數據來源于2010年《中國統計年鑒》。
1.2 網絡輸入的初始化
為了消除不同因子之間由于量綱和數值大小的差異而造成的誤差，以及由于輸入數值過大造成溢出，首先需要對數據進行標準化處理，即把輸入數據轉化為[0，1]或[-1，1]的數。通過公式y=（x-min（x））/（max（x）-min（x））對糧食產量進行處理，得到了符合網絡要求的數據。減少了識別數據的動態范圍，使預測成功的可能性得以提高。然后將數據分成兩部分：網絡的訓練樣本集（前11年的數據）和檢測樣本集（后5年的數據）。
2 預測仿真模型的建立
BP網絡是誤差反向傳播（Back Propagation）人工神經網絡的簡稱，是目前計算方法比較成熟、應用比較廣泛、效果比較好、模擬生態經濟系統的神經網絡模型，但傳統BP網絡存在學習過程收斂慢，局部極小、魯棒性不好、網絡性能差等缺點。為了改進算法，引入Levenberg-Marquardt優化算法，其基本思路是使其每次迭代不再沿著單一的負梯度方向，而是允許誤差沿著惡化的方向進行搜索，同時通過在最速梯度下降法和高斯-牛頓法之間自適應調整來優化網絡權值，使網絡能夠有效收斂，大大提高網絡的收斂速度和泛化能力，它能夠降低網絡對誤差曲面局部細節的敏感性，有效抑制網絡陷入局部極小。
Levenberg-Marquardt算法實際上是梯度下降法和擬牛頓法的結合，該算法期望在不計算Hessian矩陣的情況下獲得高階的訓練速度，其公式表達為XK+1=XK-[JTJ+μI]-1JTe，其中，JT為雅克比矩陣，e是網絡誤差向量。如果μ=0的話，就變成采用近似Hessian矩陣的擬牛頓法；如果μ很大，即成為小步長的梯度下降法，由于牛頓法在誤差極小點附近通常能夠收斂得更快更準確，因此算法的目的就是盡快轉換為牛頓法。如果某次迭代成功，誤差性能函數減小，那么就減小μ值，而如果迭代失敗，就增加μ值。如此可以使得誤差性能函數隨著迭代的進行而下降到極小值。Matlab工具箱提供了Trainlm 函數Levenberg-Marquardt算法的計算。
網絡結構的選擇是應用BP網絡成功與否的關鍵因素之一，一個規模過大的神經網絡容易造成網絡容錯性能下降、網絡結構復雜、泛化能力較差等缺陷；而規模過小的神經網絡往往對訓練樣本的學習較為困難，學習過程可能不收斂，影響網絡的表現能力，降低網絡應用的精度。理論研究表明，只要具有足夠的隱層神經元，3層人工神經網絡可以無限地逼近任何時間序列和函數，因此這里采用含有一個隱含層的3層神經網絡結構。隱含層神經元數的選擇較為復雜，它關系到整個BP網絡的精確度和學習效率，但目前，它的選取尚無一般的指導原則，只能根據一些經驗法則或通過試驗來確定，如Hecht-Nielsen提出的“2N+1”法，由輸入矩陣可以確定輸入層節點數為9，根據“2N+1”這一經驗，可確定隱含層節點數為19；輸出層節點數為1，這樣就構成了一個9-19-1的BP神經網絡模型，其中，訓練函數為Trainlm，輸入層到隱含層以及隱含層到輸出層的傳遞函數分別為Logsig和Purelm，最大訓練次數Epochs為50 000次；訓練誤差精度Goal為0.001；訓練時間間隔Show為5，學習步長Lc為0.5，動量因子Me為0.95，其他參數均選用缺省值。
3 仿真結果
取1994-2004年的11個實際產量作為訓練樣本集，將2005-2009年的5個實際產量作為預測效果檢測樣本集。將1994-2004年9個指標的原始數據作為BP神經網絡的輸入樣本，糧食產量實際值作為輸出樣本，然后對網絡進行訓練，可得相應結點的權值與閾值，將2005-2009年9個指標的原始數據（檢測樣本）作為網絡的仿真輸入，得到最終預測結果，表1是1994-2009年中國糧食實際產量和神經網絡方法模擬值對比分析結果。
從表1可以看出，訓練樣本集中擬合精度平均相對誤差為0.47%，最大值為2004年的1.13%，模擬值和實際值的相關系數為0.996；檢測樣本集中，BP神經網絡預測模型得到的預測值和實際值具有較好的擬合效果，平均相對誤差為0.56%，最大相對誤差為1.11%，最小相對誤差僅為0.04%，模擬值和實際值的相關系數為0.994；2005-2009年的糧食產量預測值的相對誤差均較小。這種改進后的方法比較有效，利用該算法獲得的預測數據結果較好。
總之，由以上分析結果可以看出，無論是擬合精度還是預測5個獨立樣本，BP神經網絡模型的精度都比較高。但從預測結果也可以看出，BP網絡模型方法預測的平均相對誤差為0.56%，平均預測精度仍有待提高。
4 小結與討論
針對中國糧食產量預測問題，將BP神經網絡應用于國家糧食安全預警系統中，采用1994-2004年的中國糧食產量和影響因子的歷史數據建立模型，利用2005-2009年的數據檢驗模型，研究得出以下結論。
1）由于常規統計模型難以滿足糧食產量的預測要求，提出的改進BP算法較好地解決了神經網絡收斂慢和易陷入局部極小值的問題，通過建立預測模型，運用該改進方法對中國糧食產量進行了預測，實例證明，運用基于Levenberg-Marquardt算法的改進BP神經網絡，無論從訓練結果精度上還是在收斂性能上都表現出較好的效果，說明運用該方法來預測糧食產量是完全可行的，彌補了傳統BP算法的不足，提高了預測精度，加快了收斂速度，而且具有很好的外延性。
2）BP神經網絡模型的預測精度高，預測值和實際產量的擬合性好。BP神經網絡法允許原始的隨機數據或數據中含有較多的噪聲，這是它區別于其他模型的最大優勢，因而任何能用傳統的模型分析或統計方法解決的問題，BP神經網絡能處理得更好。在進行糧食產量預測時，BP神經網絡法是一種非常理想的預測方法，但是在構造神經網絡的預測模型時，要注意正確選擇影響因素，不要漏掉對預測對象有重大影響的因素。
由于糧食產量受各種因素的影響，波動性較大，除了受到上述9種因素的影響外，在很大程度上還受國家宏觀政策、作物品種、耕作技術等因素的影響，如何更全面地將難以量化的因素也納入模型中進行考慮分析，從而不斷地改進預測模型、提高預測精度，是需要進一步研究的工作。
參考文獻：
[1] 和文超，師學義，鄧青云，等.土地利用規劃修編中糧食產量預測方法比較[J].農業工程學報，2011，27（12）：348-352.
[2] 周永生，肖玉歡，黃潤生. 基于多元線性回歸的廣西糧食產量預測[J]. 南方農業學報，2011，42（9）：1165-1167.
[3] 王巧華，文友先.基于BP神經網絡的雞蛋大小分級方法研究[J].湖北農業科學，2005（1）：97-99.
[4] 于平福，陸宇明，韋莉萍，等.基于小波廣義回歸神經網絡的糧食產量預測模型[J].湖北農業科學，2011，50（10）：2135-2137.
[5] 李紅平，魏振方，郭衛霞.小麥白粉病的數學模型預測[J].湖北農業科學，2011，50（17）：3611-3613.
[6] 李 艷，劉 軍.農產品價格預測系統設計與實現[J].湖北農業科學，2011，50（14）：2976-2978.
[7] 黃 華，黎未然.人工神經網絡在柚皮總黃酮提取中的應用[J].湖北農業科學，2011，50（10）：2088-2091.
[8] 汪東升，李小昱，李 鵬，等.基于小波和神經網絡的柴油機失火故障檢測[J].湖北農業科學，2011，50（15）：3181-3183.
[9] 梁 丹，李小昱，李培武，等.近紅外光譜法對食用植物油品種的快速鑒別[J].湖北農業科學，2011，50（16）：3383-3385.
[10] 吳澤鑫，李小昱，王 為，等. 基于近紅外光譜的番茄農藥殘留無損檢測方法研究[J].湖北農業科學，2010，49（4）：961-963.
[11] 章 英.基于收購質量的烤煙煙葉無損檢測技術研究綜述[J].湖北農業科學，2011，50（7）：1297-1300.
[12] 李 哲，李干瓊，董曉霞，等.農產品市場價格短期預測研究進展[J]. 湖北農業科學，2011，50（17）：3666-3675.
[13] 宰松梅，溫 季，仵 峰，等.基于灰色關聯分析的遼寧省糧食產量預測模型[J].節水灌溉，2011（5）：64-66.
第7篇：神經網絡回歸算法范文
1．1光譜噪聲去除由于實驗條件如光譜儀硬件和環境光等因素影響，采集的原始光譜數據會包含噪聲，需要采用光譜預處理的方法把這些噪聲去除，同時保留有用光譜信息。采用SG平滑算法，經驗模態分解（empiricalmodedecomposition，EMD）算法和小波分析（wavelettransform，WT）去噪算法等對光譜進行處理，并對三種去噪算法進行比較。
1．2潛在變量（LatentVariable，LV）在利用PLS方法建立模型時，非常關鍵的一點是所選取的對于建模最優的LV個數，LV和主成分分析中主成分類似，第一個LV貢獻率最大，第二個次之，以此類推。如果選取的LV個數偏少，則無法全面代表樣本的光譜特性，造成模型精度下降，影響模型的預測效果。而如果選取的LV個數過多，則會帶入模型的噪聲，干擾建模效果。
1．3建模分析方法用三種建模方法，分別是偏最小二乘回歸（partialleastsquares，PLS），BP神經網絡（backpropagationneuralnet－work，BPNN）和偏最小二乘支持向量機（leastsquaresupportvectormachine，LS－SVM）。采用PLS建模方法時，基于全譜作為模型輸入，使用BP神經網絡和LS－SVM建模時，把PLS回歸模型得到的LV作為輸入，進行對比分析。神經網絡由一個輸入層、一個或多個隱含層和一個輸出層構成。BP神經網絡是一種非線性的建模方法，廣泛應用于光譜建模分析中［12］。LS－SVM是在經典支持向量機算法基礎上作了進一步改進，能夠同時進行線性和非線性建模分析，是解決多元建模的一種快速方法。
1．4定量模型評價標準定量模型的評價指標主要有決定系數和均方根誤差（rootmeansquareerror，RMSE）。建模集決定系數用R2表示，預測集決定系數用r2表示。決定系數越接近于1，表示模型相關性越好，預測效果更好。一般來說，RMSE越小說明模型的誤差越小，模型精度越高。建模集均方根誤差用RMSEC表示，預測集均方根誤差RMSEP表示。
2結果和討論
2．1UV／Vis光譜圖及COD濃度的統計分析圖1為甲魚養殖水樣本的UV／Vis原始光譜曲線，從圖中可以看出各個水樣的光譜曲線的趨勢相類似，沒有呈現顯著性差異，由于水體中硝酸鹽、有機酸、腐殖質等物質對紫外光的強烈吸收，在波段200～260nm區域的吸收度明顯高于其他區域。試驗水體樣本COD值統計結果如表1所示，模型的建模集和預測集COD值覆蓋了較大范圍，有助于建立準確、穩定和具有代表性的模型。
2．2基于全波長的PLS模型為了更好的分析三種消噪算法檢測水體COD含量的性能，將對不同預處理方法獲取的評價指標相比較，基于全譜的PLS模型的計算結果如表2所示。由表2可知，小波算法去除噪聲后的光譜PLS模型取得了最佳結果，建模集的R2為0．79，RMSEC為15．89mg•L－1，預測集的r2為0．78，RMSEP為15．92mg•L－1。SG平滑和EMD算法雖然部分去除了噪聲，但建模效果并沒有得到相應提高。故后面建模分析在WT分析基礎上進行。
2．3LV一般選取最優LV個數的標準觀察RMSEP值隨LV個數變化情況，如圖3所示，當LV個數較少時，RMSEP值較大，隨著LV個數的增加，RMSEP隨之減小，當LV個數增加到6時，RMSEP的值保持穩定，LV個數繼續增加，RM－SEP值也沒有隨著增加。取前6個LVs作為偏最小二乘支持向量積的輸入建立模型。從貢獻率角度解釋，PLS建模得到的6個LVs分別作為LS－SVM的輸入，之所以取前6個是因為這樣幾乎可以100％表達原始光譜有用信息，如表3所示，且降低了模型復雜度，提高模型運行速度和精度。
2．4BP神經網絡模型根據前文得到的結果，將表3中選出的LVs作為BP神經網絡模型輸入，BP神經網絡模型的計算結果如表4所示。分析表4可知，將6個LVs作為LS－SVM模型輸入的結果，其建模集的R2為0．82，RMSEC為15．77mg•L－1，預測集的r2為0．81，RMSEP為16．67mg•L－1。
2．5基于LVs輸入的LS－SVM模型LS－SVM模型預測結果如表5所示。采用LVs作為LSSVM模型輸入，得到的結果優于基于BP神經網絡模型。其建模集的R2為0．83，RMSEC為14．78mg•L－1，預測集的r2為0．82，RMSEP為14．82mg•L－1。
2．6PLS，BP神經網絡和LS－SVM模型比較PLS，BPNN和LS－SVM建模方法的結果比較如圖3所示，Cal表示模型的建模集（calibration），Pre表示模型的預測集（prediction）。不難發現，在LS－SVM模型和BP神經網絡模型中，基于LV作為模型輸入－建立的LS－SVM模型取得了最優的效果，BP神經網絡模型的預測效果較優，且LS－SVM模型和BP神經網絡模型都優于全波長的PLS模型結果。
3結語
第8篇：神經網絡回歸算法范文
關鍵詞：回彈-超聲-拔出綜合法；混凝土；強度；檢測
Abstract: in the theoretical analysis and test research, it established concrete rebound-ultrasound-pulled out of the synthesis detection artificial neural network model. Comparing the traditional regression algorithm, the artificial neural network model of concrete strength has higher precision.
Keywords: rebound-ultrasound-pull out the synthesis; Concrete; Strength; detection
中圖分類號： TU528 文獻標識碼：A 文章編號：
1 引言
混凝土的強度可采用無損檢測的方法進行推定，如采用回彈法、聲速法、拔出法或綜合法。綜合法由于采用多項物理參數，能較全面地反映構成混凝土強度的各種因素，并且還能夠抵消部分影響強度與物理量相關關系的因素，因而它比單一物理量的無損檢測方法具有更高的準確性和可靠性[1]。通過試驗研究和工程實踐積累的檢測數據，建立了混凝土強度回彈-超聲-拔出綜合法神經網絡模型。
2 試驗設計
2.1 試件制作
設計C15、C20、C25、C30、C35、C40六個強度等級、三個齡期的混凝土，共制作標準養護100×100×100mm立方體試件180組用于回彈法、超聲法檢測，制作標準養護200×200×200mm立方體試件180組用于拔出法檢測，同時制作相同組數的自然養護試件。試件均采用機械攪拌、機械振搗。
2.2 混凝土配合比及原材料基本性能
混凝土配合比及設計參數見表1。
表1 混凝土配合比及設計參數統計表
3 回彈-超聲-拔出綜合法人工神經網絡的設計與模型建立
3.1網絡設計與說明
3.1.1輸入和輸出層的設計
人工神經網絡的輸入、輸出層數是完全根據使用者的要求來設計，問題確定下來，輸入輸出層也就確定了。
3.1.2隱含層單元的選擇
隱含層單元個數的選擇是一個十分復雜的問題，目前尚沒有很好的解析表達式，隱含層單元的個數與問題的要求、輸入輸出單元的數量、訓練樣本的數量等都有直接關系。當隱含層單元的數量太少時會導致網絡的容錯性能降低，即訓練不出理想的結果。但隱含層單元個數太多又往往會造成網絡的訓練時間過長，且網絡的輸出誤差也不一定最小，因此目前主要依靠理論和經驗確立合適的計算網絡[2]。下面公式作為選擇隱含層單元數的參考：
式中：n1為隱含層單元數，m為輸出層單元數，n為輸入層單元數，a為1-10之間的常數。
3.1.3初始值的選取
對于系統是非線性的，初始值對于學習是否達到局部最小和是否能夠收斂的關系很大，一個重要的要求是希望初始權在輸入累加時使每個神經元的狀態接近于零，這樣可以保證開始時不落到那些平坦區域上。權一般取隨機數，而且要求比較小，這樣可以保證每個神經元一開始都在它們轉換函數變化最大的地方進行[3]。
3.1.4數據的歸一化處理
由于輸入數據的密集性，數據之間的差別太小，如超聲值；同時由于采集的各數據單位不一致，直接將數據輸入神經網絡進行訓練會引起混淆。因此，必須對輸入數據和輸出數據進行歸一化處理（Normalization Processing），使得輸入層的輸入值介于[-1,1]之間，而輸出層的輸出值介于[0,1]之間。
神經網絡訓練結束后，在神經網絡進行混凝土強度推測階段（即仿真階段），需要對數據進行反歸一化處理。
3.2網絡算法改進
3.2.1附加沖量(動量)法
附加沖量法修正網絡參數時，不僅考慮誤差函數的梯度下降，而且考慮誤差曲面的變化趨勢。沒有附加沖量作用時，網絡可能陷入局部極小或進入誤差曲面平坦區，而附加沖量則有可能使網絡跳出局部極小或滑過平坦區[4]。
3.2.2自適應學習速率
正確選擇學習速率不是一件容易的事情，通常對訓練初期合適的學習速率，隨著訓練的進行會變得不合適，因為誤差曲面是非常復雜的。為了解決這一問題，設法讓網絡具有這樣一種功能，根據自身的訓練情況自動調整學習速率，即采用自適應學習速率[5]。
3.2.3 S型函數輸出限幅算法
網絡的連接權和閥值的調節量都與中間層輸出b有關，當bj=0或b=l時，vji=0或wji=0或θj=0，即當bj=0或bj=1時，不能對網絡的權值和閥值進行調整。
3.3 網絡訓練和模型的建立
混凝土強度回彈-超聲-拔出綜合法神經
網絡訓練如圖1示。經過訓練，網絡模型如
圖2所示。
建立的神經網絡的訓練函數為Trainlm。
輸入層數是3，即回彈值、超聲值、拔出力；
輸出層數是1，即混凝土立方體抗壓強度。
隱含層是1層，單元數是5。初始學習速率
0.05，沖量系數0.9，允許學習次數3000，
學習樣本數168，計算樣本數15，初始權值和閾值為[-0.01，0.01]區間的隨機數，輸入層的輸入值介于[-1，1]之間，輸出層的輸出值介于[0，1]之間。網絡檢測樣本見表2所示。
4 人工神經網絡與回歸算法推測混凝土強度對比
4.1回歸模型選擇
根據試驗數據情況擬選三種回歸公式，通過回歸指標綜合評價這三種回歸公式，然后選取既能反映混凝土實際工作狀況又較為簡單的回歸公式作為綜合法的測強公式 。
擬選用以下幾種回歸公式模型[6，7]：
冪函數方程 ：
線性方程：
指數方程：
式中；—混凝土強度計算值(MPa)；F—拔出力(kN)；N—回彈值；V—超聲速度(km/s)；A、B、C、D—回歸系數
4.2 綜合法檢測回歸公式及試驗結果分析
本次試驗通過對576組150×150×150mm試塊和90根750×200×200mm小梁180組進行拔出、回彈、超聲檢測。對試驗數據利用Matlab進行回歸分析，得到如下回歸方程和相應的回歸指標，見表3。
表3幾種回歸方程比較
第9篇：神經網絡回歸算法范文
一、BP神經網絡方法
1.BP算法
BP算法是一個監督訓練多層神經網絡的算法，每一個訓練范例在網絡中經過兩遍傳遞計算：一遍向前傳播計算，從輸入層開始，傳遞各層并經過處理產生一個輸出，并等到一個該實際輸出和所需輸出之差的差錯矢量。一遍向后傳播計算，從輸出層至輸入層，利用差錯矢量對權值進行逐層修改。
BP網絡是一種單向傳播的多層前向網絡，其結構如圖所示。BP網絡是一種具有三層或三層以上的神經網絡，包括輸入層、中間層(隱層)和輸出層。當學習樣本提供給網絡后，神經元的激活值從輸入層經各中間層向輸出層傳播，在輸出層的各神經元獲得網絡的輸入響應。接下來，按照減少目標輸出與實際誤差方向，從輸出層經過各中間層逐層修正各連接權值，最后回到輸入層。隨著這種誤差的逆傳播修正不斷的進行，網絡對輸入模式影響的正確率不斷上升。圖1BP網絡結構
2.改進的BP算法
在實際應用中，BP算法很難勝任，因此出現了多種改進算法，Levenberg-Marquardt算法是其中的一種，采用Levenberg-Marquardt可以使訓練速度和訓練成功率大大提高，對中小型神經網絡訓練而言，Levenberg-Marquardt算法是最好的訓練算法]。
Levenberg-Marquardt算法的基本思想是使其每次迭代不再沿單一的負梯度方向，而是允許誤差沿著惡化的方向進行搜索，同時通過在最速梯度下降法和高斯-牛頓法之間自適應調整來優化網絡權值，使網絡能夠有效收斂，大大提高了網絡的收斂速度和泛化能力。Levenberg-Marquardt算法的權值調整公式為：
e-誤差向量
J-雅可比矩陣
μ一個標量
二、最小二乘支持向量機算法
1.支持向量機原理
支持向量機是在統計學習理論基礎之上提出的一種新的非常有發展前景的機器學習方法。支持向量機是對結構風險最小化原則的近似，支持向量機方法根據有限的樣本信息在模型的復雜度和學習能力之間尋求最佳折衷，以期獲得最好的推廣能力。
支持向量機的學習，就是尋找一個參數向量，通常該向量在某種約束下使某個代價函數最小(或最大)。支持向量機理論中的代價函數是凸二次函數，約束條件是線性函數，所以支持向量機訓練問題實際上是求解一個凸二次規劃問題。
2.最小二乘支持向量機原理
最小二乘支持向量機(LS-SVM)是標準支持向量機的一種擴展。它的損失函數直接定義為誤差平方和，將優化中的不等式約束轉化為等式約束，由此將二次規劃問題轉化為線性方程組求解，降低了計算復雜性，加快了求解速度。支持向量回歸機根據訓練樣本 構造回歸函數。
這樣非線性估計函數轉化為高維特征空間的線性估計函數。利用結構風險最小化原則，尋找w，b就是最小化。
其中
控制模型的復雜度，c是正規化參數，控制對超出誤差樣本的懲罰程度。
為誤差控制函數，也即
不敏感損失函數。最小二乘支持向量機在優化目標失函數為誤差
的二次項，故優化問題為：
式中， 為松弛因子。用拉格朗日法求解這個優化問題：
其中：
是拉格朗日乘子。根據最優化條件：
置各變量偏導數為0
得到方程：
其中：
最后用最小二乘法求出 與 ，得到非線性預測模型：
三、方法比對結果
結合油氣井生產歷史、地質評價結果以及油氣田開發動態綜合分析，確定用于選井選層決策的參數。表1 決策參數表
選了重復壓裂井，進行預測，表2列出兩種方法得到的測試結果對比。表2 兩種模型測試結果對比
從表中可以看出，在研究樣本數量相對有限的情況下，最小二乘支持向量機算法在精度上明顯優于改進的BP神經網絡。
四、結論及建議
本文介紹了重復壓裂選井選層的經驗方法，詳細討論了改進的BP神經網絡和最小二乘支持向量機兩種定量判斷的選井選層的數學方法，分別敘述了各自的原理，建立了預測模型，通過實例測試和比較。
1.得出以下主要結論：
1.1Levenberg-Marquard算法雖然可以實現神經網絡的快速訓練，但局部最優問題、過擬合、網絡結構選擇等問題依然存在，神經網絡方法的預測效果不夠理想。
1.2支持向量機從理論上解決了神經網絡固有的局部最優、過擬合等問題，從預測效果看，最小二乘支持向量機預測方法的預測精度高于BP人工神經網絡預測法。所以，最小二乘支持向量機方法可以作為神經網絡法的替代方法。
2.主要建議
