神經網絡綜述精選(九篇)
前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡綜述主題范文，僅供參考，歡迎閱讀并收藏。
第1篇：神經網絡綜述范文
【關鍵字】入侵 檢測 神經網絡
一、引言
隨著互聯網的飛速發展，網絡攻擊的行為日益增多，一般的防火墻和數據加密等被動的防護很難對網絡行全面的監控，有主動防御功能的入侵檢測技術可以補充防火墻的不足。神經網絡有良好的歸納推理能力和自適應性，對已知和未知的攻擊行為進行檢測，在入侵檢測過程中起到了重要的作用。
二、基于神經網路的通信系統入侵檢測技術發展趨勢
如圖1所示，基于神經網絡的入侵檢測技術，在2001年到2003年間申請量較小，之后幾年內，隨著神經網絡技術的不斷發展以及網絡環境的日漸復雜，基于神經網絡的入侵檢測技術研究受到更多重視，專利申請數量也穩步增加，該技術得到快速發展。
三、基于神經網路的通信系統入侵檢測技術解析
針對基于神經網絡的入侵檢測技術專利申請的研究，可主要分為四個技術分支：選擇合適的數據源和數據屬性、改進現有算法、發現新的入侵檢測算法、改進入侵檢測系統構架。
3.1選擇合適的數據源和數據屬性
選擇合適的數據源和數據屬性是一個關鍵環節，在入侵檢測系統征提取器和分類器成為了入侵檢測領域研究的特點。如2012年的申請號為201210074813中，對于相同的訓練數據，加入少量有標簽的數據的半監督GHSOM算法，同時利用有標簽的數據判斷神經元類型，對神經元起到自動標識的作用；2014年的專利申請號為201410750891中，提供一種基于加權距離度量以及矩陣分解的入侵檢測方法，可有效解決現有技術沒有考慮整個數據集的特性以及各數據集屬性之間量綱的差異，對噪聲數據敏感，導致檢測效果較差的問題。
3.2改進現有的算法
入侵檢測算法是基于神經網絡的入侵檢測技術的核心，其直接關系到檢測的效率和誤警率。申請號為201310712975的專利，提供一種集成維納過程與Adaboost集成學習方法、解決不平衡數據集的分類問題，能夠對集成學習算法泛化能力進行極大提升；申請號為201410372707的專利中提供一種用于基于特征的三階段神經網絡入侵檢測的方法和系統，其針對入侵檢測使用三階段神經網絡，實現較少的假警報率。
3.3發現新的入侵檢測算法
隨著基礎的檢測算法日益成熟，為開發新的檢測算法提供了強有力的基礎，因此，近年來，開始出現關于新的檢測算法的申請。申請號為201310032391的專利中將PCA降維與BP神經網絡相結合的方式引入手機，從而降低了傳統BP神經網絡的計算量和存儲量，以少的計算量達到主動防御的效果；申請號為201410855655的專利中通過廣義回歸神經網絡結合模糊聚類算法迭代學習和訓練，使得網絡入侵連接的分類更加準確，改進了經典的Apriori算法，降低了其時間復雜度，適應了網絡環境的變化。
3.4入侵檢測系統構架
入侵檢測系統是一種能夠通過系統進行實時監護，分析網絡的相關數據，檢測到有可疑的入侵行為后進行警報等一系列措施的系統。申請號為201110457562的專利可針對入侵檢測全過程，從攻擊或從事惡意行為的網絡入侵到操作系統內部監控，都給予其抵御，并形成防御機制，增加了防御的實時性，為自動抵抗攻擊帶來動力；消除了大量的數據輸入；實現了Linux下的高量數據包監聽；申請號為201410383497的專利中基于Hadoop分布式計算框架，提出了一種著眼于整個互聯網防御的安全體系。
第2篇：神經網絡綜述范文
關鍵詞： 人工神經網絡； 應用
人工神經網絡(Artificial Neural Network，ANN)方法自從本世紀40年代被提出以來，許多從事人工智能、計算機科學、信息科學的科學家都在對它進行研究，已在軍事、醫療、航天、自動控制、金融等許多領域取得了成功的應用。目前出現了許多模仿動物和人的智能形式與功能的某個方面的神經網絡，例如，Grossberg提出的自適應共振理論（Adaptive Resonance Theory，ART），T-Kohenen的自組織特征映射網絡(Self-Organizing feature Map，SOM)，徑向基函數網絡（Radial Basis Function，RBF），Hopfield網等。進入90年代以后，由于計算機技術和信息技術的發展，以及各種算法的不斷提出，神經網絡的研究逐漸深化，應用面也逐步擴大，本研究對常用的神經網絡方法及其在醫學領域中的應用做一簡單綜述。
1 自組織特征映射網絡（self-organizing feature map，SOM）在基因表達數據分析中的應用
1.1 方法介紹
腦神經學的研究表明，人腦中大量的神經元處于空間的不同區域，有著不同的功能，各自敏感著各自的輸入信息模式的不同特征。芬蘭赫爾辛基大學神經網絡專家T.Kohonen根據大腦神經系統的這一特性，于1981年提出了自組織特征映射網絡，它模擬人的大腦，利用競爭學習的方式進行網絡學習，具有很強的自組織、自適應學習能力，魯棒性和容錯能力，其理論及應用發展很快，目前已在信息處理、模式識別、圖像處理、語音識別、機器人控制、數據挖掘等方面都有成功應用的實例。
Kohonen網絡由輸入層和競爭層組成，網絡結構見圖1。輸入層由N個神經元組成，競爭層由M個輸出神經元組成，輸入層與競爭層各神經元之間實現全互連接，競爭層之間實行側向連接。設輸入向量為x=(x1,…,xd)T ，輸出神經元j對應的權重向量為wj=(wj1,…,wjd)T ，對每一輸出神經元計算輸入向量x 和權重向量wj 間的距離，據此利用競爭學習規則對權向量進行調節。在網絡的競爭層，各神經元競爭對輸入模式的響應機會，最后僅一個神經元成為勝利者，并對與獲勝神經元有關的各權重朝著更有利于它競爭的方向調整，這樣在每個獲勝神經元附近形成一個“聚類區”，學習的結果使聚類區內各神經元的權重向量保持與輸入向量逼近的趨勢，從而使具有相近特性的輸入向量聚集在一起，這種自組織聚類過程是系統自主、無教師示教的聚類方法，能將任意維輸入模式在輸出層映射成一維或二維離散圖形，并保持其拓撲結構不變。網絡通過對輸入模式的學習，網絡競爭層神經元相互競爭，自適應地形成對輸入模式的不同響應，模擬大腦信息處理的聚類功能、自組織、自學習功能，實現用低維目標空間的點去表示高維原始空間的點，其工作原理和聚類算法及改進方法參見相關文獻［1］。
1.2 應用
基因芯片技術的應用使得人們可以從基因水平探討疾病的病因及預后，而基因芯片產生的數據具有高維度（變量多）、樣本量小、高噪聲的特點，樣本量遠小于變量數，如何從海量的數據中挖掘信息或知識成為重大課題。聚類分析是數據挖掘中的一類重要技術，傳統方法主要有系統聚類、k-means聚類等，但在處理復雜非線性關系及變量間的交互作用時效果較差，受異常值影響較大。近年來神經網絡技術法成為聚類領域的研究熱點，其中自組織特征映射網絡由于其良好的自適應性，其算法對基因表達數據的聚類有較高的穩定性和智能性，尤其在處理基因表達中有缺失數據及原始空間到目標空間存在非線性映射結構時有較好的體現，適用于復雜的多維數據的模式識別和特征分類等探索性分析，同時可實現聚類過程和結果的可視化［2］。目前Kohonen網絡已被成功用到許多基因表達數據的分析中，Jihua Huang等［3］設計6×6的網絡對酵母細胞周期數據進行分析，總正確率為67.7%；曹暉等［4］將其算法改進后用在酵母菌基因表達數據中，總正確率高達84.73%，有較高的聚類效能；鄧慶山［5］將該模型與K平均值聚類方法結合用于公開的結腸基因表達數據集和白血病基因表達數據集，聚類的準確率分別為94.12%和90.32%。目前Kohonen網絡在醫學領域中主要應用前景有：① 發現與疾病相關的新的未知基因，對目標基因進一步研究，提高診斷的正確率，并對藥物的開發研究提供重要的線索；② 對腫瘤組織的基因表達譜數據聚類，以期發現新的、未知的疾病亞型（腫瘤亞型），以便提出更加有針對性的治療方案，為從分子水平對疾病分型、診斷、預后等提供依據；③ 發現與已知基因有相似功能的基因，為推斷未知基因的可能功能提供線索。
2 BP神經網絡在醫學研究中的應用
2.1 BP神經網絡在疾病輔助診斷中的應用
2.1.1 方法介紹
BP神經網絡是目前應用最多的神經網絡，一般由一個輸入層（input layer）、一個輸出層（output layer）、一個或幾個中間層（隱層）組成。每一層可包含一個或多個神經元，其中每一層的每個神經元和前一層相連接，同一層之間沒有連接。輸入層神經元傳遞輸入信息到第一隱層或直接傳到輸出層，隱層的神經元對輸入層的信息加權求和，加一個常數后，經傳遞函數運算后傳到下一個隱層（或輸出層），常用的傳遞函數是logistic函數，即Φh=1/(1+exp(-z)) ，輸出層神經元對前一層的輸入信息加權求和經傳遞函數Φ0 （線性或logistic函數或門限函數）運算后輸出，BP神經網絡一般采用BP算法訓練網絡，關于BP算法及改進可參考相關文獻［1］。
第3篇：神經網絡綜述范文
關鍵詞:BP神經網絡;電力負荷;短期預測
中圖分類號:TP183 文獻標識碼:A文章編號:1007-9599 (2010) 09-0000-02
Power Load Short-term Forecasting Based on BP Neural Network
Wang Jing,Yang Xiao
(School of Economics&Management,North China Electric Power University,Beijing102206,China)
Abstract:Load forecasting is an important task in power system.We forecasted short-term load for a region of southern based on BP neural network.Firstly,we introduce the structure of BP neural network,and then we make use of the data to do empirical research by using BP neural network of the region.And we consider the meteorological factors in the design of the BP neural network structure.
Keywords:BP Neural Network;Power Load;Short-term Forecast
一、引言
目前,全國供電緊張,部分嚴重地區經常缺電,造成許多發電設備不能及時檢修,處于超負荷的運轉狀態。會導致機組老化加速,出現不可預見的事故,造成人員、財產的傷亡。因此對未來電網內負荷變化趨勢的預測,是電網調度部門和設計部門所必須具備的基本信息之一。
電力系統負荷預測是電力生產部門的重要工作,通過精確的預測電力負荷,可以經濟的調度發電機組,合理安排機組啟停、機組檢修計劃,降低發電成本,提高經濟效益。負荷預測對電力系統控制、運行和計劃都有著重要的意義。電力系統負荷變化受多方面的影響,包括不確定性因素引起的隨機波動和周期性變化規律。并且,由于受天氣、節假日等特殊情況影響,又使負荷變化出現差異。神經網絡具有較強非線性的映射功能,用神經網絡來預測電力負荷越來越引起人們的關注。
二、BP網絡理論
(一)BP網絡結構
BP神經網絡全稱為Back-Propagation Network,即反向傳播網絡,是一種多層前饋神經網絡,結構圖如圖1所示,根據圖示可以知道BP神經網絡是一種有三層或三層以上的神經網絡,包括輸入層、中間層(隱層)和輸出層。前后層之間實現全連接,各層之間的神經元不進行連接。當學習樣本輸入后,神經元的激活之經由各層從輸入層向輸出層傳遞。之后,根據減少目標輸出與實際輸出誤差的原則,從輸出層反向經過各層至輸入層,逐級修正各連接的權值,該算法成為“誤差方向傳播算法”,即BP算法。由于誤差反向傳播不斷進行,網絡對輸入模式響應的正確率也不斷上升。
BP神經網絡傳遞函數不同于感知器模型傳遞函數,BP神經網絡要求其必須是可微的,所以感知器網絡中所用到的硬閾值傳遞函數在BP神經網絡中并不適應。BP神經網絡中常用的傳遞函數有正切函數、Sigmoid型的對數或線性函數。由于這些函數均是可微的,所以BP神經網絡所劃分的區域是一個非線性的超平面組成的區域,是一個比較平滑的曲面,它比線性劃分更加的精確。另外,網絡才有嚴格的梯度下降法進行學習,權值修正的解析式分非常明確。
(二)BP網絡算法
(1)初始化。給沒給連接權值 、 、閾值 與 賦予區間 內的隨機值
(2)確定輸入P和目標輸出T。選取一組輸入樣本 和目標輸出樣本 提供給網絡。
(3)用輸入樣本 、連接權 和閾值 計算中間層各單元的輸入 ,然后用 通過傳遞函數計算中間層各單元的輸出 。
(4)利用中間層的輸出 、連接權 和閾值 計算輸出層各單元的輸出 ,然后通過傳遞函數計算輸出層各單元的響應 。
(5)利用目標向量 和網絡的實際輸出 ,計算輸出層各單元的一般化誤差 。
(6)利用連接權 、輸出層的一般化誤差 和中間層的輸出 計算中間層各單元的一般化誤差 。
(7)利用輸出層各單元的一般化誤差 與中間呈個單元的輸出 來修正連接權 和閾值 。
(8)利用中間層各單元的一般化誤差 ,和輸入層各單元輸入P來修正連接權 和閾值 ,計算方法同(7)。
(9)達到誤差精度要求或最大訓練步數,輸出結果,否則返回(3)
三、實證研究
(一)神經網絡結構設計
本文以南方某缺電城市的整點有功負荷值,在預測的前一天中,每隔2小時對電力負荷進行一次測量,這樣,可以得到12組負荷數據。此外電力負荷還和環境因素有關,文章選取預測日最高氣溫、最低氣溫和降雨量氣象特征作為網絡輸入變量。所以設計的網絡結構為:15個輸入層節點和12個輸出向量,根據Kolmogorov定理可知,網絡中間層的神經元可以去31個。
(二)輸入數據歸一化處理
獲得輸入變量后,為了防止神經元飽和現象,在BP神經網絡輸入層進行歸一化,文章才有如下公式進行變換。
(三)實證分析
中間層神經元傳遞函數和輸出層傳遞函數分別采用S型正切函數tansig和S型對數函數logsig,因為這連個函數輸出區間為[0,1],滿足網絡設計的需求。
利用以下代碼創建一個滿足上述要求的BP神經網絡。
threshold=[0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1];
netbp=newff(threshold,[31,12],{’tansig’,’logsig’},’trainlm’)
其中變量threshold用于規定輸入向量的最大值和最小值,規定了網絡輸入向量的最大值為1,最小值為0,。“trainlm”是為網絡設定的訓練函數,采用的是Levenberg-Marquardt算法進行網絡學習。該方法明顯優于共軛梯度法及變學習效率的BP算法,LM算法可大大提高學習速度,縮短訓練時間。
使用該地區2007年8月11日到20日的負荷和氣象數據作為輸入向量,8月12日至8月21日負荷數據作為目標向量,對網絡進行訓練,再用8月20日負荷數據和21日的氣象特征數據來預測21日用電負荷,檢驗預測誤差是否能帶到要求。
利用MATLAB進行仿真,經過79次訓練后達到誤差要求結果。如圖2
網絡訓練參數的設定見下表
從圖3和圖4中可以看出運用BP神經網絡方法很好的預測了負荷走勢,并且預測誤差較小,負荷工程預測的要求。四、結論
在進行電力負荷預測時,必須考慮氣象因素的影響。在不同的地區氣象因素對電力負荷的影響不同,因此本文在設計神經網絡結構時,結合該地實際情況考慮氣象因素。本文研究了BP神經網絡在電力負荷短期預測中的應用,根據上述的預測結果可以說明BP神經網絡對電力負荷進行短期預測是目前一種比較可行的方法。
參考文獻
[1]蔣平,鞠平.應用人工神經網絡進行中期電力負荷預報[J].電力系統自動化,1995,6(19):15-17
[2]蘇寧.MATLAB軟件在電力負荷預測中的應用[J].華北電力技術,2007(8):16-19
[3]康重慶,夏清,張伯明.電力系統負荷預測研究綜述與發展方向的探討[J].電力系統自動化,2OO4,28(17):1-11
[4]姜勇.電力系統短期負荷預測的模糊神經網絡方法[J].繼電器,2002,36(2):11-13
[5]田景文,高美娟.人工神經網絡算法研究及應用[M].北京:北京理工大學出版社,2006
第4篇：神經網絡綜述范文
摘要：分析了模擬電路故障診斷的重要性和目前存在的困難，對基于小渡分析理論和神經網絡理論的模擬電路故障診斷方法進行了綜述．指出了小波神經網絡應用于模擬電路故障診斷存在的問題和未來的應用前景。
模擬電路故障診斷在理論上可概括為:在已知網絡拓撲結構、輸人激勵和故障響應或可能已知部分元件參數的情況下，求故障元件的參數和位置。
盡管目前模擬電路故障診斷理論和方法都取得了不少成就，提出了很多故障診斷方法，如故障字典法、故障參數識別法、故障驗證法等。但是由于模擬電路測試和診斷有其自身困難，進展比較緩慢。其主要困難有:模擬電路中的故障模型比較復雜，難以作簡單的量化;模擬電路中元件參數具有容差，增加了故障診斷的難度;在模擬電路中廣泛存在著非線性問題，為故障的定位診斷增加了難度;在一個實用的模擬電路中，幾乎無一例外地存在著反饋回路，仿真時需要大量的復雜計算;實際的模擬電路中可測電壓的節點數非常有限.導致可用于作故障診斷的信息量不夠充分，造成故障定位的不確定性和模糊性。
因此，以往對模擬電路故障診斷的研究主要停留在中小規模線性無容差或小容差的情況，有些方法也已成功地應用于工程實際。但如何有效地解決模擬電路的容差和非線性問題，如何解決故障診斷的模糊性和不確定性等是今后迫切需要解決的問題。小波神經網絡則因其利于模擬人類處理問題的過程、容易顧及人的經驗且具有一定的學習能力等特點，所以在這一領域得到了廣泛應用。
1小波分析理論在模擬電路故障診斷中的應用現狀分析
簡單地講，小波就是一個有始有終的小的“波浪”小波分析源于信號分析，源于函數的伸縮和平移，是fourier分析、gabor分析和短時fourier分析發展的直接結果。小波分析的基木原理是通過小波母函數在尺度上的伸縮和時域上的平移來分析信號，適當選擇母函數.可以使擴張函數具有較好的局部性，小波分析是對信號在低頻段進行有效的逐層分解，而小波包分析是對小波分析的一種改進，它為信號提供了一種更加精細的分析方法，對信號在全頻段進行逐層有效的分解，更有利于提取信號的特征。因此，它是一種時頻分析方法。在時頻域具有良好的局部化性能并具有多分辨分析的特性，非常適合非平穩信號的奇異性分析。如:利用連續小波變換可以檢測信號的奇異性，區分信號突變和噪聲，利用離散小波變換可以檢測隨機信號頻率結構的突變。
小波變換故障診斷機理包括:利用觀測器信號的奇異性進行故障診斷以及利用觀測器信號頻率結構的變化進行故障診斷。小波變換具有不需要系統的數學模型、故障檢測靈敏準確、運算量小、對噪聲的抑制能力強和對輸入信號要求低的優點。但在大尺度下由于濾波器的時域寬度較大，檢測時會產生時間延遲，且不同小波基的選取對診斷結果也有影響。在模擬電路故障診斷中，小波變換被有效地用來提取故障特征信息即小波預處理器之后，再將這些故障特征信息送人故障分類處理器進行故障診斷。小波分析理論的應用一般被限制在小規模的范圍內，其主要原因是大規模的應用對小波基的構造和存儲需要的花費較大。
2神經網絡理論在模擬電路故障診斷中的應用分析
人工神經網絡(ann)是在現代神經科學研究成果的基礎上提出來的，是一種抽象的數學模型，是對人腦功能的模擬。經過十幾年的發展，人工神經網絡已形成了數十種網絡，包括多層感知器kohomen自組織特征映射、hopfield網絡、自適應共振理論、art網絡、rbf網絡、概率神經網絡等。這些網絡由于結構不同，應用范圍也各不相同。由于人工神經網絡本身不僅具有非線性、自適應性、并行性、容錯性等優點以及分辨故障原因、故障類型的能力外，而且訓練過的神經網絡能儲存有關過程的知識，能直接從定量的、歷史故障信息中學習。所以在20世紀80年代末期，它已開始應用于模擬電路故障診斷。隨著人工神經網絡的不斷成熟及大量應用，將神經網絡廣泛用于模擬電路的故障診斷已是發展趨勢。by神經網絡由于具有良好的模式分類能力，尤其適用于模擬電路故障診斷領域，因而在模擬電路故障診斷系統中具有廣泛的應用前景，也是目前模擬電路故障診斷中用得較多而且較為有效的一種神經網絡。
3小波神經網絡的應用進展分析
3,1小波分析理論與神經網絡理論結合的必要性
在神經網絡理論應用于模擬電路故障診斷的過程中，神經網路對于隱層神經元節點數的確定、各種參數的初始化和神經網絡結構的構造等缺乏更有效的理論性指導方法，而這些都將直接影響神經網絡的實際應用效果。小波分析在時域和頻域同時具有良好的局部化特性，而神經網絡則具有自學習、并行處理、自適應、容錯性和推廣能力二因此把小波分析和神經網絡兩者的優點結合起來應用于故障診斷是客觀實際的需要。
目前小波分析與神經網絡的結合有兩種形式，一種是先利用小波變換對信號進行預處理，提取信號的特征向量作為神經網絡的輸人，另一種則是采用小波函數和尺度函數形成神經元，達到小波分析和神經網絡的直接融合第一種結合方式是小波神經網絡的松散型結合，第二種結合方式是小波神經網絡的緊致型結合。
3.2小波分析理論與神經網絡理論的結合形式
小波與神經網絡的松散型結合，即:用小波分析或小波包分析作為神經網絡的前置處理手段，為神經網絡提供輸人特征向魚具體來說就是利用小波分析或小波包分析，把信號分解到相互獨立的頻帶之內，各頻帶內的能童值形成一個向覺，該向童對不同的故障對應不同的值，從而可作為神經網絡的輸入特征向量一旦確定神經網絡的輸入特征向童，再根據經驗確定采用哪種神經網絡及隱層數和隱層單元數等，就可以利用試驗樣本對神經網絡進行訓練，調整權值，從而建立起所需的小波神經網絡模型。
小波與神經網絡的緊致型結合，即:用小波函數和尺度函數形成神經元，達到小波分析和神經網絡的直接融合，稱為狹義上的小波神經網絡，這也是常說的小波神經網絡。它是以小波函數或尺度函數作為激勵函數，其作用機理和采用sigmoid函數的多層感知器基本相同。故障診斷的實質是要實現癥狀空間到故障空間的映射，這種映射也可以用函數逼近來表示。小波神經網絡的形成也可以從函數逼近的角度加以說明。常見的小波神經網絡有:利用尺度函數作為神經網絡中神經元激勵函數的正交基小波網絡、自適應小波神經網絡、多分辨率小波網絡、區間小波網絡等。
3.3小波分析理論與神經網絡理論結合的優點
小波神經網絡具有以下優點:一是可以避免m ly等神經網絡結構設計的育目性;二是具有逼近能力強、網絡學習收斂速度快、參數的選取有理論指導、有效避免局部最小值問題等優點。
在模擬電路故障診斷領域，小波神經網絡還是一個嶄新的、很有前途的應用研究方向。隨著小波分析理論和神經網絡理論的不斷發展，小波神經網絡應用于模擬電路故障診斷領域將日益成熟。
第5篇：神經網絡綜述范文
【關鍵詞】深度學習 卷積神經網絡 權值共享 下采樣 R-CNN Fast-R-CNN
1 緒論
隨著電子信息技術的快速發展，芯片的設計與生產進入了納米時代，計算機的計算能力與計算速度得到了空前的提高，但是人們的需求是無限的，要求計算機能更加任性化的服務于我們的生活，這也就要求計算機本身能像人一樣識別與感知周圍的環境，并對復雜的環境做出正確的判斷。而圖片信息是我們周圍環境最直觀的，最容易獲取的信息，要求計算機能對為的環境做出識別與判斷也就要求計算機能夠智能的識別圖像信息。深度學習是機器學習中的一個新的研究領域。通過深度學習的方法構建深度網絡來抽取目標特征進而識別周圍的環境。卷積神經網絡對圖像的處理具有平移，旋轉，扭曲不變的優良特性。在處理圖像是更加快捷和便利。卷積神經網絡使得計算機在感知識別周圍環境的能力有了巨大的提升，使得計算機更加智能。卷積神經網絡擁有強大的特征提取能力，使得其在圖像分類識別，目標跟蹤等領域有著強大的運用。
1.1 國內外研究現狀
1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向傳導神經網絡輸出誤差進行訓練神經網絡。通過BP算法，神經網絡能夠從大量訓練數據中的學習到相關統計信息，學習到的數據統計信息能夠反映關于輸入-輸出數據模型的函數映射關系。
自2006年以來，Geoffery Hinton教授提出深度信念網絡。從此深度學習在學術界持續升溫。深度學習不僅改變著傳統的機器學習方法，也影響著我們對人類感知的理解，迄今已在語音識別和圖像理解等應用領域引起了突破性的變革。各種相關的算法和模型都取得了重要的突破，使得深度學習在圖像分類，語音識別，自然語言處理等領域有廣泛的運用。
2013年百度成立百度深度學習研究院以來我國的人工智能領域取得了長足的進步。在人工智能專家吳恩達的帶領下，百度陸續推出一系列人工智能產品，無人駕駛技術，DuerOS語音交互計算平臺，人臉識別技術，美樂醫等優秀產品。此外Imagenet圖像識別大賽中也誕生了一系列經典的神經網絡結構，VGG，Fast-R-CNN，SPP-net等等，可以說人工智能技術在近幾年得到了空前的發展。
2 深度學習概述
深度學習是機器學習的一個新方向，通過學習樣本數據內在規律和深層特征深度，深度學習神經網絡能夠像人一樣有分析和學的能力，尤其在文字處理，圖像識別，語音等領域更加突出。能夠自主學習一些新的東西。目前深度學習使用的典型技術是通過特征表達和分類器來進行目標識別等任務的。并在語音識別、圖像處理、機器翻譯等領域取得很多成果。
深度學習不同于以往的淺層學習，淺層學習模型值包含一個隱藏層，或者不存在隱藏層，深度學習則是由很多隱藏層組成的，上一層的輸出作為下一層的輸入，實驗對輸入信息進行分級表達。目前深度學習框架主要包含三種深度學習框架，如圖1、2、3所示。
3 卷積神經網絡
卷積神經網絡的結構層次比傳統的神經網絡復雜，卷積神經網絡包含大量的隱藏層，相鄰的卷積核或者下采樣核采用局部感受野全鏈接，神經元權值共享的規則，因此卷積神經網絡訓練參數的數量遠比傳統神經網絡少，卷積神經網絡在訓練和前向測試的復雜度大幅度降低，同時也減少了神經網絡訓練參數過擬合的幾率。卷積神經網絡主要有兩部分，分別是卷積核和下采樣核。卷積核主要對上一層的圖像進行卷積運算，提取圖像特征，下采樣核則是對上層的數據進行將為處理，減少神經網絡的復雜度。
卷積神經網絡中每一個神經元的輸入與前一層的局部感受野相連，提取局部感受野的特征，比如圖像的輪廓，顏色等特征，而這些特征不僅包括傳統人類能理解的特征，也包括神經網絡自身能夠識別的特征，卷積核全職共享，因此這些特征提取與圖像的位置無關。
圖4是經典的LeNet5卷積神經網絡架構，LeNet5架構中卷積核和下采樣核交替出現，下采樣核及時的將卷積核生成的特征向量進行降維，減少神經網絡的運算量。LeNet5算法在1962年幼Hubel等人提出，在識別手寫數字mnist中有極高的準確率。
4 R-CNN、Fast-R-CNN對比分析
卷積神經網絡在對圖像進行識別具有平移，旋轉，扭曲不變的優良特性，并且能夠實現高準確率識別圖像，但是在現實生活運用中往往需要神經網絡標記出目標的相對位置，這是傳統卷積神經網絡不具備的功能。因此在前人傳統卷積神經網路基礎上對卷積神經網絡進行改進，產生了具有對圖像中目標進行識別和定位的卷積神經網絡R-CNN，Fast-R-CNN等改良算法。
4.1 R-CNN
R-CNN為Region Convoluntional Neural Network的縮寫即對圖像進行局部區域的卷積處理，其核心思想主要是利用候選區圖像對物體探測中位置信息進行精確處理和利用監督式預訓練和區域特殊化的微調方法，代替了傳統的非監督式預訓練和監督式微調。
在CNN中，全連接層輸入是固定大小的，因此R-CNN用計算機視覺算法將每一張圖片分割成1000-2000張的候選區圖片后，要將這些候選區圖片進行變換，生成固定大小的候選圖片，在訓練提取特征時一般采用經過預訓練的模型參數進行finetuning，榱嗽黽友盜費本，模型在也將生成的候選框以及標定的標簽作為訓練樣本進行訓練。R-CNN采用SVMs分類器對特征向量進行分類，在訓練SVMs時將候選框經過卷積神經網絡提取的特征和SVM標定結果輸入到SVMs分類器訓練分類器模型。而在測試時將圖像全部候選框經過卷積神經網絡提取的特征輸入到SVMs分類器中，得到每一類的評分結果。但是R-CNN在處理一張圖片是要處理需要對一張圖片1000-2000個候選區圖像進行前向運算，保存所有后選取圖片的特征值，要求計算硬件有大量的存儲空間，同時處理每一張圖片的時間也會增加。由于訓練集龐大，本文采用hard negative mining method方法提高存儲的利用率。
R-CNN的體現出了極大的優勢，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN計算的時間成本很大，達不到實時的計算效果，R-CNN在對候選區進行處理時會使得圖像失真，部分信息丟失。
4.2 Fast-R-CNN
Fast-R-CNN則是再次改進的一種基于卷積神經網絡目標跟蹤定位算法。相比于R-CNN，Fast-R-CNN從單輸入變為雙輸入，在全連接層后有了兩個輸出，引入了Rol層。
Fast-R-CNN在運行的時候同樣會生成大量的候選區，同時將原始的圖片用卷積神經網絡進行特征提取，將原始圖片提取的特征與生成的候選區坐標送入Rol層為每一個候選區生成一個固定大小的特征向量。最后將Rol生成的特征向量全連接層產生最終的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于計算K+1分類的損失，K為第K個目標，1為背景；Regression LOSS計算候選區的四個角的坐標。
Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在計算候選區是仍存在瓶頸，這也是限制Fast-R-CNN速度的因素。
5 實驗測試
對于本文提出的卷積神經網絡識別圖像定位圖像目標算法R-CNN，Fast-R-CNN，在本章給出實驗結果。實驗平臺為基于Linux系統的debian8下運行caffe進行訓練，采用顯卡K620進行實驗。
訓練模型初始化參數在是服從高斯隨機分布，R-CNN采用的網絡結構如圖7所示，Fast-R-CNN的網絡結構如圖8所示。
本次實現的訓練樣本為錄制實驗室視頻數據，將視頻數據轉換成幀圖片，對每張圖片數據進行裁剪，裁剪后圖像大小在256*256，共有500張，再將裁剪后的圖片進行旋轉，平移，扭曲，鏡像，加噪聲等處理，最后生成144萬張樣本圖片，其中136.8萬張圖片作為訓練樣本，7.2萬張作為測試樣本。
6 總結
在目標識別定位領域，卷積神經網絡具有強大的圖像處理能力，對圖像的識別定位具有很高度平移，旋轉，扭曲不變形的優良性能。卷積神經網絡架構R-CNN和Fast-R-CNN都有強大的圖像處理能力。Fast-R-CNN在識別準確率上比R-CNN高。R-CNN算法復雜，對一張圖片需要進行1000-2000次的卷積運算，特征重復提取。因此在訓練和前向測試時，R-CNN用的時間長，不能很好的適用于處理實時圖片數據，尤其視頻數據。R-CNN在對每個候選區進行特征提取之后需要將提取的特征向量存入內存，降低訓練測試時間的同時也需要耗費大量內存。因此從各方面分析可知，Fast-R-CNN性能優于R-CNN。
參考文獻
[1]謝寶劍.基于卷積神經網絡圖像分類方法研究[D].合肥工業大學，2015.
[2]鄭胤，陳權崎，章毓晉.深度學習及其在目標和行為識別中的新進展[J].中國圖象圖形學報，2014（02）：175-184.
[3]陳先昌.基于卷積神經網絡的深度學習算法與運用研究[D].杭州：浙江工商大學，2006（04）：603-617.
[4]李彥冬，郝宗波，雷航等.卷積神經網絡研究綜述[J].計算機應用，2016.
[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.
[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.
[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014
[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.
[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.
第6篇：神經網絡綜述范文
Abstract: The simulation non-linear model should be used to carry on the forecast to the non-linear tendency real estate price index. A model with improved algorithm is developed to predict real estate price index based on BP artificial neural network. The research results show that the network has good ability to reflect the intrinsic change rules with higher predicted precision.
關鍵詞： 房地產價格指數；BP神經網絡；改進算法；預測
Key words: real estate price index；BP artificial neural network；improved algorithm；predict
中圖分類號：F83文獻標識碼：A文章編號：1006-4311（2011）17-0149-01
0引言
房地產價格指數是動態描述一定區域內各類房地產（如商業、住宅和工業）價格變動及其總體價格平均變動趨勢和變動程度的相對數，它是指導業界活動和市場研究的有效工具。房地產業的健康發展對拉動經濟增長，調整產業結構，改善人民生活水平起著重要的作用。通過觀察房地產價格指數的走勢，人們既可從宏觀上把握房地產市場的景氣狀況和市場變化，也可從微觀上依據其走勢進行投資分析。在計量經濟學基礎上建立的各種經濟模型，大部分都是線性模型。經典的線性模型在很長的一段時間內發揮著很大的作用，但隨著研究越來越來深入，線形模型逐漸顯露出它的缺陷，即很難用它擬合非線性經濟系統，因而必然造成經濟預測的誤差加大。神經網絡理論上可以逼近任意非線性函數并可以隨機調整，所以能有效地解決非線性預測的問題，已經得到廣泛應用[1-6]，利用神經網絡來預測我國房地產價格指數具有可行性。
1構建改進算法的BP神經網絡模型
BP（Back-Propagation）神經網絡模型是由Werbos在1984年提出來的，Rumelhart等在1985年發展了反傳學習算法，實現了Minsky的多層網絡設想。神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能夠模擬生物神經系統對真實世界物體所作出的交互反應。神經網絡具有非線性處理、自組織及自適應性、學習能力、聯想能力等特點。BP算法的學習過程由正向傳播和反向傳播組成。在正向傳播中，信息從輸入層經隱含層單元逐層處理，并傳向輸出層，每一層神經元的狀態只影響下一層神經元的狀態，如果在輸出層不能得到期望的輸出，則轉向反向傳播，將誤差信號沿原來的通路返回，通過修改各層神經元的權值和閾值，使得誤差信號最小。研究中的數據來源于國家統計數據庫，時間范圍為2005年7月-2010年12月。BP神經網絡模型一般以s形函數作為轉換函數，該函數的值域為[0,1]，因此在網絡訓練時要將原始數據進行處理，規范到[0,1]之間，這里數據預處理方法采用標準化法。權重系數的初始值對BP學習算法的收斂速度影響很大，算法中采用了隨機函數生成權重系數的初始值。以前四個月的數據作為輸入，后一個月的數據作為輸出來訓練網絡。隱含層神經元節點數的確定是人工神經網絡設計中最關鍵的步驟，它直接影響網絡對復雜問題的映射能力。本文采用“試算法”確定神經元個數，經試算最佳隱含層節點數為6個。標準的BP算法是基于梯度下降法，但它具有學習過程易陷入局部極小、易出現震蕩等缺陷，而附加動量法使BP 神經網絡不僅考慮在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，它允許忽略網絡上的微小變化特性，該方法是在反向傳播法的基礎上，在每一個權重和閾值的變化上加上一項正比于前次權重和閾值變化量的值，并根據反向傳播法來產生新的權重和閾值的變化。
2結果
采用2005年7月-2009年7月的當月（同比）數據作為訓練樣本，然后利用2009年8月-2010年12月的當月（同比）數據作為測試樣本，并對2012年1月的我國房屋銷售價格指數進行預測。結果表明訓練樣本擬合值和真實值的平均相對誤差為0.28%，測試樣本模擬值和真實值的平均相對誤差為1.15%，2012年1月我國房屋銷售價格指數預測值為107.4。預測結果表明，我國房屋銷售價格指數保持上升的趨勢。
3結論
人工神經網絡具有人腦的思維特征，應用BP神經網絡進行我國房屋銷售價格指數預測，只需將歷史數據作為訓練樣本來進行網絡的訓練，當訓練達到誤差要求后，獲得有關該問題知識的網絡權值和閾值，就可以用來進行我國房屋銷售價格指數預測。傳統的BP神經網絡本身存在一些缺陷，比如收斂速度慢，容易陷入局部最小值等，所以傳統的BP神經網絡實用性不是很強，必須改進BP算法的缺陷，才能使之有效的應用到現實中來。研究中發現改進后的BP神經網絡計算速度快、方法簡單、建模方便、預測結果客觀準確，具有推廣應用前景。
參考文獻：
[1]劉占軍，張星輝.基于遺傳神經網絡的機械故障診斷[J].價值工程，2010，29（25）：152-153.
[2]李斯娜.數字圖像融合綜述[J].價值工程，2010，29（20）：99.
[3]王曉東，薛宏智.基于bp神經網絡的股票漲跌預測模型[J].價值工程，2010，29（31）：47-49.
[4]朱劉陽.一種雷達信號自適應盲分離算法[J].價值工程，2010，29（30）：211-212.
第7篇：神經網絡綜述范文
關鍵詞： 網絡安全態勢； 層次分析法； 預測研究； BP神經網絡
中圖分類號： TN915.08?34 文獻標識碼： A 文章編號： 1004?373X（2017）01?0074?03
Abstract： Proceeding from the safe operation of the network system， the data which can reflect the network safe operation is extracted in the intrusion detection system， antivirus software and other security methods. A set network security situation eva?luation system was established in the aspects of threat， vulnerability， risk and basic running of the network safe operation. The analytic hierarchy process is used to calculate the evaluation system to obtain the comprehensive safety indicator used to character the network security running state. The BP neural network is used to forecast the network security status on the basis of the system. The experimental results show that the BP neural network can predict the network security situation accurately， and has a certain reference value in the related research fields.
Keywords： network security situation； analytic hierarchy process； prediction research； BP neural network
0 引 言
S著互聯網的高速發展，各種網絡應用越來越多地影響著人們的工作、學習和生活方式。為了及時掌握網絡的安全態勢，以便網絡的管理者采取及時的防范措施，對網絡安全狀態的預測技術正在成為當下網絡安全研究中的一個重要課題[1?2]。
本文受相關文獻研究的啟發，構建了由威脅指數、脆弱指數、風險指數和基礎運行指數四個指數為一級評價指標的評估模型，利用防火墻和殺毒軟件等安全手段提取數據，采用層次分析法計算網絡安全綜述指數，基于該指數采用BP神經網絡對未來時刻的網絡安全態勢進行預測[3]。
1 網絡態勢安全指標體系的構建
1.1 評價體系的構建
為了全面反映網絡的安全態勢，本文采用定量描述的方法對威脅指數、脆弱指數、風險指數和基礎運行指數進行計算，這四個指數代表網絡安全運行所需要的幾個必要條件，而綜合安全指數則是指在一定時間段內反映當下網絡整體安全態勢的數值，它由威脅指數、脆弱指數、風險指數和基礎運行指數通過加權法獲得。
為了進一步豐富評估模型，將這四個指數作為一級評價指標，對其進行分解細化，提煉出這四個指標的下一級具體影響因素，如表1所示。
1.2 實例計算
本文采用層次分析法對構建的評價指標體系進行分析。本文構建的安全狀態評價指標體系共分為一級指標4個和二級指標17個，通過對這些指標的分析求出網絡的綜合安全指數。網絡安全狀態評價采用李克特量的評分分級標準，分五個等級進行評判，分別為優秀、良好、中等、差和危險，為了方便計算，對其進行量化處理，為其賦值為5，4，3，2，1，具體評價等級對應的數字標準，如表2所示。
為了進一步說明層次分析法在網絡安全態勢評估中的具體應用，本文以威脅指數的計算為例，計算某日中某單位內網在該指標體系下的威脅指數。
首先根據在該網絡中各個監視節點采集到的信息，經過統計計算后，對各個二級指標進行初步賦值，如表3所示。
2 基于BP神經網絡的網絡安全態勢評價
實驗選擇某單位內網30天內的網絡狀態數據，利用BP神經網絡對該網絡安全態勢進行預測。采用本文第1節的方法對這30天的網絡綜合安全指數進行計算，一共獲得了如表4所示的30個狀態值。
為了使BP神經網絡的預測取得較好的效果，同時為了避免局部數值偏移造成的誤差，本文采用編組的方式提高模型預測精度，對于序號為1～30的綜合安全指數值，選擇前三日的狀態作為網絡的輸入樣本，下一日的數據作為網絡的預測輸出樣本，選擇第28，29，30日的狀態值作為網絡的檢測樣本，如表5所示。
考慮到模型的輸入輸出均為簡單的數值，本文的預測檢測模型用三層BP神經網絡實現，神經網絡的輸入層包含3個神經元（即前3日的網絡綜合安全指數），輸出層用1個神經元（后一日的網絡安全指數），隱層神經元個數通過經驗公式選擇為12。
將訓練樣本1～24的數值輸入到Matlab 7.0軟件中，對網絡進行訓練，定義期望誤差為10-6，訓練過程中，BP神經網絡誤差的變化情形如圖1所示。
由圖1可知，該BP神經網絡通過26步運算后收斂到預定精度要求。
BP網絡訓練完畢后，首先將所有樣本輸入到網絡，然后定義檢驗向量，并將檢驗向量輸入網絡，檢查輸入值和輸出誤差，如圖2所示。
其中加“+”的曲線對應為實際數據，“”曲線對應為預測數據，可以看到全局的誤差大小保持在0.1以內，說明該BP神經網絡具有較低的誤差，因此采用該BP神經網絡對網絡安全態勢進行預測有較高的精度。
3 結 論
本文構建了以網絡的威脅性、脆弱性、風險性和基礎運行性為基礎的評價指標體系，采用層次分析法計算網絡的綜合安全指數，并以此為基礎，利用BP神經網絡對某單位內網的網絡安全狀態進行預測，獲得了較高精度的預測結果，表明本文構建的評價體系和網絡安全態勢的預測方式有一定的實用價值。
參考文獻
[1] 張淑英.網絡安全事件關聯分析與態勢評測技術研究[D].長春：吉林大學，2012.
[2] 王志平.基于指標體系的網絡安全態勢評估研究[D].長沙：國防科學技術大學，2010.
[3] 苗科.基于指標提取的網絡安全態勢感知技術研究[D].北京：北京郵電大學，2015.
[4] 毛志勇.BP 神經網絡在計算機網絡安全評價中的應用[J].信息技術，2008（6）：45?47.
第8篇：神經網絡綜述范文
關鍵詞： 時間序列； BP神經網絡； EMD； 本征模函數； 預測模型
中圖分類號：TP311.1 文獻標志碼：A 文章編號：1006-8228（2014）02-01-04
0 引言
時間序列是將某種現象某一個統計指標在不同時間上的各個數值，按時間先后順序排列而形成的序列。時間序列分析是一種動態的數列分析[1]，出發點是承認數據的有序性和相關性，通過數據內部的相互關系來辨識系統的變化規律。常用的時間序列分析法主要是建立在回歸――移動平均模型（ARMA）[2-3]之上，被用來對股價（最高價、最低價、開盤價、收盤價）及綜合指數進行預測[4-5]。然而，這些經典回歸分析暗含著一個重要假設：數據是平穩的。如果數據非平穩，往往導致出現“虛假回歸”，嚴重影響預測效果。股票等金融數據是典型的非平穩時間序列，一般地說，股票價格的變化主要包括經濟性因素、政治性因素、人為操縱因素、有關行業及投資者心理等多種因素的影響，各因素的影響程度、時間范圍和方式也不盡相同；且股市各因素間相互關系錯綜復雜，主次關系變化不定，數量關系難以提取及定量分析[6]。因此，需要尋找一種好的方法來避免或減弱這些因素的影響，于是學者研究小波分析[6]和神經網絡[7-8]用于時間序列分析預測。小波變換可以使非平穩數據中的有效成分和噪聲呈現出各自不同的特征，但小波變換中小波基的選取會對數據去噪的效果產生很大的影響，因此利用小波變換對非平穩數據分析的方法缺乏自適應性。Zhaohua Wu[11]等人通過大量的實驗，證實經驗模態分解（EMD，Empirical mode decomposition）具有類似小波變換中的二進濾波器特性，通過分解、數據重組后實現了數據的去噪，汲取了小波變換優勢，同時又克服了小波變換中的小波基選擇難的問題。
本文將經驗模態分解和BP神經網絡相結合，構建了一種基于EMD-BP神經網絡的預測模型，通過對中國石化股票進行預測模擬仿真，實驗結果得出結論，將EMD用于時間序列的預測分析，大大降低了擾動因素的影響，提高了預測精度。
1 時間序列的BP神經網絡訓練
神經網絡具有較強的學習能力和適應能力，在非線性系統中的預測方面得到了廣泛的應用。考慮到金融數據是一類非線性較強的時間序列，本文選用BP神經網絡作為預測工具。BP網絡[9-10]是一種多層前饋型神經網絡，其神經采用的傳遞函數一般都是Sigmoid（S形彎曲）型可微函數，是嚴格的遞增函數，在線性和非線性之間顯現出較好的平衡，所以可實現輸入和輸出間的任意非線性映射，適用于中長期的預測；逼近效果好，計算速度快，不需要建立數學模型，精度高；理論依據堅實，推導過程嚴謹，所得公式對稱優美，具有強非線性擬合能力。目前，已經有一些比較成熟的神經網絡軟件包，其中MATLAB的神經網絡工具箱應用最為廣泛。
在網絡訓練中，最重要的三個參數是權值、學習率和單元數。權值可能變得很大，這會使神經元的輸入變得很大，從而使得其激活函數的導函數在輸入點的取值很小，這樣訓練的步長就會變得非常小，進而導致訓練的速度下降到很小的程度，最終可能使得網絡停止收斂，即網絡癱瘓。因此在對網絡的連接權矩陣進行初始化時，隨機給定各層之間的權值與閾值的初始值比單純地隨機給定某一部分層的收斂速度更快。學習率的選擇，其合理與否是網絡是否穩定的關鍵：太高的學習率，可以減少網絡訓練的時間，但是容易導致網絡的不穩定與訓練誤差的增加；太低的學習率，需要較長的訓練時間。在一定的條件下，較少的單元數目往往能夠提高網絡的收斂速度，而較多的單元數目有可能在規定的訓練長度里不能滿足要求。因此，對于參數數目的選擇，并沒有一個固定的模型，往往根據更多的經驗成分。
2.1 經驗模態分解（EMD）
經驗模態分解法EMD[11]是由美國NASA的黃鍔博士提出的一種信號分析方法。它適合于分析非線性、非平穩信號序列，具有很高的信噪比。該方法的關鍵是經驗模式分解，它能使復雜信號分解為有限個本征模函數（Intrinsic Mode Function，簡稱IMF），所分解出來的各IMF分量包含了原信號的不同時間尺度的局部特征信號。
EMD是基于以下假設條件：①數據至少有一個最大值和一個最小值兩個極值點；②數據極值點間的時間尺度惟一確定局部時域特性；③如果數據沒有極值點但必須有拐點，通過對數據微分一次或多次求得極值，再通過積分來獲得分解結果。
2.2 數據重構
對原始數據進行EMD分解后，得到有限個IMF分量。為了降低原始數據中的非平穩性，需要對得到的各分量進行相關系數分析，篩選出有用的IMF分量，對其進行重構，以得到一個與原始數據近似的新數據進行預測實驗。
數據重組的方法有多種，本文采用相關系數分析法進行數據的篩選。由于篇幅有限，關于EMD分解與重構的代碼不在本文提供。
2.3 應用訓練好的神經網絡對合成數據預測
對于非線性系統，BP神經網絡預測有著明顯的優勢。但是在復雜的非線性系統中，非平穩因素給預測帶來了一定的困難。正是因為EMD分解降低了各個分量的平穩性[12]，才得到了廣泛應用[13-15]。金融數據等時間序列隨著時間，以及在多種因素的影響下會隨之改變，所以數據本質上是非平穩的，因此利用神經網絡對該數據進行預測，數據的平穩性使得其預測結果不是很理想，為了提高預測精度，我們用EMD方法對數據進行分解，以降低其非平穩性對預測精度的影響。然后對分解后的各分量進行相關系數分析比較，選取有用的IMF分量，進行數據的合成，從而得到一個與原始數據近似的新數據。將重組后的擬合數據輸入到訓練好的BP神經網絡進行預測。預測過程如圖1所示。
3 應用實例和分析
3.1 股票數據的BP神經網絡訓練
將中國石化股票從2011年6月至2011年12月共130天的股票價格數據進行樣本劃分。用前60天的數據來預測后5天的數據，作為網絡訓練集。選取剩下的60天數據預測最后的5天，作為測試集。
3.3 數據合成及預測
本文對中國石化股票數據（圖3）進行EMD分解后得到4個IMF分量和1個剩余分量。對4個分量分別進行與剩余分量的相關系數分析。分析結果表明，IMF3和IMF4相關性較大，并與剩余分量的相關性也較大（相關門限值選取0.3）。所以選取IMF3和IMF4兩個分量與剩余分量進行重構，得到與原始數據近似的較平滑的新數據如圖9所示。
經過比較可知，對于具有非平穩強烈的股票時間序列的預測，基于EMD的BP神經網絡預測要比直接BP神經網絡預測更為準確。
對于非平穩的時間序列，BP神經網絡預測有著明顯的優勢，但是對于影響因素復雜的非平穩數據，多種因素的干擾給預測帶來了一定的困難。EMD分解分離了各個不同因素的相互干擾，通過對各分量單獨預測再合成的處理，從而提高了預測精度。從表1可以看出最終的預測誤差經過EMD分解的信號要精確于直接神經網絡預測。從圖4中可以看出影響信號平穩性程度最大的是IMF1，如果再對其進行分解處理，整個系統的預測精度會得到更大的改善。
4 結束語
對于非平穩的時間序列，BP神經網絡預測有著明顯的優勢，但是對于影響因素復雜的非平穩數據，多種因素的干擾給預測帶來了一定的困難。EMD分解分離了各個不同因素的相互干擾，通過對各分量分析再合成的處理，提高了預測精度。目前EMD方法主要用于模擬信號和大氣數據分析[13-15]，用于金融數據預測還較為少見。本文將其與BP神經網絡結合，構建了EMD-BP神經網絡預測模型。從本文的預測過程和仿真結果可以看到，利用EMD分解的BP神經網絡預測優于直接BP神經網絡預測，相比其精確度有了明顯的提高。
參考文獻：
[1] 劉瑛慧，曹家璉.時間序列分析理論與發展趨勢[J].電腦知識與技術，2010.2：257-258
[2] 劉佳，趙文慧，劉光榮.基于SAS的非平穩時間序列分析及實證研究[J].汕頭大學學報.2010.2（1）：48-53.
[3] 李海林，郭崇慧，時間序列數據挖掘征表示與相似性度量研究綜述[J].計算機應用研究，2013.5（30）：1285-1290
[4] 魏宇.中國股票市場的最優波動率預測模型研究[J].管理學報，2010.6（6）：936-942
[5] 方啟東，溫鑫，蔣佳靜等.基于時間序列的股價預測[J].宿州學院學報，2010.8（8）：71-74
[6] 杜建衛，王超峰.小波分析方法在金融股票數據中的應用[J].數學的實踐與認識，2008.7（38-7）：68-75
[7] 劉海，白艷萍.時間序列模型和神經網絡模型在股票預測中的分析[J].數學的實踐與認識，2011.2（4）：14-19
[8] 張媛，劉紅忠.基于行為金融的神經網絡模型在股票價格預測中的有效性研究[J].世界經濟情況，2011.2（2）：62-67
[9] 焦淑華，夏冰，徐海靜，劉瑩.BP神經網絡預測的MATLAB實現[J].哈爾濱金融高等專科學校學報，2009.3（97）：55-56
[10] 李萍，曾令可，稅安澤，金雪莉，劉艷春，王慧.基于MATLAB的BP神經網絡預測系統的設計[J].計算機應用與軟件，2008.4（25-4）：149-151
[11] Zhaohua Wu， Norden E. Huang. A study of the characteristics of white noise using the empirical mode decomposition method[J].The Royal Society，2004.3（10）：1597-1611
[12] 劉慧婷，倪志偉，李建洋.經驗模態分解方法及其應用[J].計算機工程及應用，2006.1（32）：44-47
[13] 徐世艷.經驗模態分解的時頻分析方法及其應用[J].吉林大學學報，2009.9（27-5）：487-492
第9篇：神經網絡綜述范文
（江蘇科技大學電子信息學院，江蘇鎮江212003）
摘要：在實際交通環境中，由于運動模糊、背景干擾、天氣條件以及拍攝視角等因素，所采集的交通標志的圖像質量往往不高，這就對交通標志自動識別的準確性、魯棒性和實時性提出了很高的要求。針對這一情況，提出一種基于深層卷積神經網絡的交通標志識別方法。該方法采用深層卷積神經網絡的有監督學習模型，直接將采集的交通標志圖像經二值化后作為輸入，通過卷積和池采樣的多層處理，來模擬人腦感知視覺信號的層次結構，自動地提取交通標志圖像的特征，最后再利用一個全連接的網絡實現交通標志的識別。實驗結果表明，該方法利用卷積神經網絡的深度學習能力，自動地提取交通標志的特征，避免了傳統的人工特征提取，有效地提高了交通標志識別的效率，具有良好的泛化能力和適應范圍。
關鍵詞 ：交通標志；識別；卷積神經網絡；深度學習
中圖分類號：TN911.73?34；TP391.41 文獻標識碼：A 文章編號：1004?373X（2015）13?0101?06
收稿日期：2015?01?09
基金項目：國家自然科學基金面上項目（61371114）
0 引言
隨著智能汽車的發展，道路交通標志的自動識別[1?3]作為智能汽車的基本技術之一，受到人們的高度關注。道路交通標志識別主要包括兩個基本環節：首先是交通標志的檢測，包括交通標志的定位、提取及必要的預處理；其次是交通標志的識別，包括交通標志的特征提取和分類。
如今，交通標志的識別方法大多數都采用人工智能技術，主要有下述兩類形式[4]。一種是采用“人工特征+機器學習”的識別方法，如基于淺層神經網絡、支持向量機的特征識別等。在這種方法中，主要依靠先驗知識，人工設計特征，機器學習模型僅負責特征的分類或識別，因此特征設計的好壞直接影響到整個系統性能的性能，而要發現一個好的特征，則依賴于研究人員對待解決的問題的深入理解。另一種形式是近幾年發展起來的深度學習模型[5]，如基于限制波爾茲曼機和基于自編碼器的深度學習模型以及卷積神經網絡等。在這種方法中，無需構造任何的人工特征，而是直接將圖像的像素作為輸入，通過構建含有多個隱層的機器學習模型，模擬人腦認知的多層結構，逐層地進行信息特征抽取，最終形成更具推廣性和表達力的特征，從而提升識別的準確性。
卷積神經網絡作為深度學習模型之一，是一種多層的監督學習神經網絡，它利用一系列的卷積層、池化層以及一個全連接輸出層構建一個多層的網絡，來模仿人腦感知視覺信號的逐層處理機制，以實現視覺特征信號的自動提取與識別。本文將深層卷積神經網絡應用于道路交通標志的識別，通過構建一個由二維卷積和池化處理交替組成的6層網絡來逐層地提取交通標志圖像的特征，所形成的特征矢量由一個全連接輸出層來實現特征的分類和識別。實驗中將加入高斯噪聲、經過位移、縮放和旋轉處理的交通標志圖像以及實際道路采集交通標志圖像分別構成訓練集和測試集，實驗結果表明，本文所采用的方法具有良好的識別率和魯棒性。
1 卷積神經網絡的基本結構及原理
1.1 深度學習
神經科學研究表明，哺乳動物大腦皮層對信號的處理沒有一個顯示的過程[5]，而是通過信號在大腦皮層復雜的層次結構中的遞進傳播，逐層地對信號進行提取和表述，最終達到感知世界的目的。這些研究成果促進了深度學習這一新興研究領域的迅速發展。
深度學習[4，6?7]的目的就是試圖模仿人腦感知視覺信號的機制，通過構建含有多個隱層的多層網絡來逐層地對信號特征進行新的提取和空間變換，以自動學習到更加有效的特征表述，最終實現視覺功能。目前深度學習已成功地應用到語音識別、圖像識別和語言處理等領域。在不同學習框架下構建的深度學習結構是不同的，如卷積神經網絡就是一種深度的監督學習下的機器學習模型。
1.2 卷積神經網絡的基本結構及原理
卷積神經網絡受視覺系統的結構啟發而產生，第一個卷積神經網絡計算模型是在Fukushima 的神經認知機中提出的[8]，基于神經元之間的局部連接和分層組織圖像轉換，將有相同參數的神經元應用于前一層神經網絡的不同位置，得到一種平移不變神經網絡結構形式。后來，LeCun 等人在該思想的基礎上，用誤差梯度設計并訓練卷積神經網絡[9?10]，在一些模式識別任務上得到優越的性能。
卷積神經網絡本質上是一種有監督的深度學習算法，無需事先知道輸入與輸出之間精確的數學表達式，只要用已知的模式對卷積神經網絡加以訓練，就可以學習到輸入與輸出之間的一種多層的非線性關系，這是非深度學習算法不能做到的。卷積神經網絡的基本結構是由一系列的卷積和池化層以及一個全連接的輸出層組成，可以采用梯度下降法極小化誤差函數對網絡中的權值和閾值參數逐層反向調節，以得到網絡權值和閾值的最優解，并可以通過增加迭代次數來提高網絡訓練的精度。
1.2.1 前向傳播
在卷積神經網絡的前向傳播中，輸入的原始圖像經過逐層的卷積和池化處理后，提取出若干特征子圖并轉換成一維特征矢量，最后由全連接的輸出層進行分類識別。
在卷積層中，每個卷積層都可以表示為對前一層輸入圖像的二維卷積和非線性激勵函數，其表達式可用式（1）表示：
式中：Yj 表示輸出層中第j 個輸出；Y l + 1i 是前一層（l + 1層）
的輸出特征（全連接的特征向量）；n 是輸出特征向量的長度；Wij 表示輸出層的權值，連接輸入i 和輸出j ；bj表示輸出層第j 個輸出的閾值；f (?) 是輸出層的非線性
1.2.2 反向傳播
在反向傳播過程中，卷積神經網絡的訓練方法采用類似于BP神經網絡的梯度最速下降法，即按極小化誤差的方法反向傳播調整權值和閾值。網絡反向傳播回來的誤差是每個神經元的基的靈敏度[12]，也就是誤差對基的變化率，即導數。下面將分別求出輸出層、池采樣層和卷積層的神經元的靈敏度。
（1）輸出層的靈敏度
對于誤差函數式（6）來說，輸出層神經元的靈敏度可表示為：
在前向傳播過程中，得到網絡的實際輸出，進而求出實際輸出與目標輸出之間的誤差；在反向傳播過程中，利用誤差反向傳播，采用式（17）~式（20）來調整網絡的權值和閾值，極小化誤差；這樣，前向傳播和反向傳播兩個過程反復交替，直到達到收斂的要求為止。
2 深層卷積神經網絡的交通標志識別方法
2.1 應用原理
交通標志是一種人為設計的具有特殊顏色（如紅、黃、白、藍、黑等）和特殊形狀或圖形的公共標志。我國的交通標志主要有警告、禁令、指示和指路等類型，一般采用顏色來區分不同的類型，用形狀或圖形來標示具體的信息。從交通標志設計的角度來看，屬于不同類型（不同顏色）的交通標志在形狀或圖形上有較大的差異；屬于相同類型（相同顏色）的標志中同類的指示信息標志在形狀或圖形上比較接近，如警告標志中的平面交叉路口標志等。因此，從機器視覺的角度來分析，同類型中同類指示信息的標志之間會比不同類型的標志之間更易引起識別錯誤。換句話說，相比于顏色，形狀或圖形是正確識別交通標志的關鍵因素。
因此，在應用卷積神經網絡識別交通標志時，從提高算法效率和降低錯誤率綜合考慮，將交通標志轉換為灰度圖像并作二值化處理后作為卷積神經網絡的輸入圖像信息。圖2給出了應用卷積神經網絡識別交通標志的原理圖。該網絡采用了6層交替的卷積層和池采樣層來逐層提取交通標志的特征，形成的特征矢量由一個全連接的輸出層進行識別。圖中：W1i（i=1，2，…，m1），W1（j j=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分別表示卷積層L1,L3,…,Ln - 1 的卷積核；Input表示輸入的交通標志圖像；
Pool表示每個池采樣層的采樣池；map表示逐層提取的特征子圖；Y 是最終的全連接輸出。
交通標志識別的判別準則為：對于輸入交通標志圖像Input，網絡的輸出矢量Y = [y1,y2 ,…,yC ]，有yj = Max{y1，y2 ,…,yC}，則Input ∈ j，即判定輸入的交通標志圖像Input為第j 類交通標志。
2.2 交通標志識別的基本步驟
深層神經網絡識別交通標志主要包括交通標志的訓練與識別，所以將交通標志識別歸納為以下4個步驟：（1） 圖像預處理：利用公式Gray= 0.299R +0.587G + 0.114B 將彩色交通標志圖像轉換為灰度圖像，再利用鄰近插值法將交通標志圖像規格化，最后利用最大類間方差將交通標志圖像二值化。
（2）網絡權值和閾值的初始化：利用隨機分布函數將權值W 初始化為-1~1之間的隨機數；而將閾值b 初始化為0。
（3）網絡的訓練：利用經過預處理的交通標志圖像構成訓練集，對卷積神經網絡進行訓練，通過網絡前向傳播和反向傳播的反復交替處理，直到滿足識別收斂條件或達到要求的訓練次數為止。
（4）交通標志的識別：將實際采集的交通標志圖像經過預處理后，送入訓練好的卷積神經網絡中進行交通標志特征的提取，然后通過一個全連接的網絡進行特征分類與識別，得到識別結果。
3 實驗結果與分析
實驗主要選取了我國道路交通標志的警告標志、指示標志和禁令標志三類中較常見的50幅圖像。考慮到在實際道路中采集到的交通標志圖像會含有噪聲和出現幾何失真以及背景干擾等現象，因此在構造網絡訓練集時，除了理想的交通標志以外，還增加了加入高斯噪聲、經過位移、旋轉和縮放處理和實際采集到的交通標志圖像，因此最終的訓練樣本為72個。其中，加入的高斯噪聲為均值為0，方差分別為0.1，0.2，0.3，圖像的位移、旋轉、縮放的參數分別隨機的分布在±10，±5°，0.9~1.1的范圍內。圖3給出了訓練集中的交通標志圖像的示例。圖4是在實際道路中采集的交通標志圖像構成的測試集的示例。
在實驗中構造了一個輸入為48×48個神經元、輸出為50 個神經元的9 層網絡。網絡的輸入是像素為48 × 48 的規格化的交通標志圖像，輸出對應于上述的50種交通標志的判別結果。網絡的激活函數采用S型函數，如式（2）所示，其輸出范圍限制在0~1之間。
圖6是交通標志的訓練總誤差EN 曲線。在訓練開始的1 500次，誤差能迅速地下降，在迭代2 000次以后是一個平穩的收斂過程，當迭代到10萬次時，總誤差EN可以達到0.188 2。
在交通標志的測試實驗中，為了全面檢驗卷積神經網絡的識別性能，分別針對理想的交通標志，加入高斯噪聲、經過位移、旋轉和比例縮放以及采集的交通標志圖像進行實驗，將以上測試樣本分別送入到網絡中識別，表2給出了測試實驗結果。
綜合分析上述實驗結果，可以得到以下結論：（1）在卷積神經網絡的訓練學習過程中，整個網絡的誤差曲線快速平穩的下降，體現出卷積神經網絡的訓練學習具有良好的收斂性。
（2）經逐層卷積和池采樣所提取的特征具有比例縮放和旋轉不變性，因此對于旋轉和比例縮放后的交通標志能達到100%的識別率。
（3）與傳統的BP網絡識別方法[11]相比較，卷積神經網絡能夠達到更深的學習深度，即在交通標志識別時能夠得到更高的所屬類別概率（更接近于1），識別效果更好。
（4）卷積神經網絡對實際采集的交通標志圖像的識別率尚不能達到令人滿意的結果，主要原因是實際道路中采集的交通標志圖像中存在著較嚴重的背景干擾，解決的辦法是增加實際采集的交通標志訓練樣本數，通過網絡的深度學習，提高網絡的識別率和魯棒性。
4 結論
本文將深層卷積神經網絡應用于道路交通標志的識別，利用卷積神經網絡的深層結構來模仿人腦感知視覺信號的機制，自動地提取交通標志圖像的視覺特征并進行分類識別。實驗表明，應用深層卷積神經網絡識別交通標志取得了良好的識別效果。
在具體實現中，從我國交通標志的設計特點考慮，本文將經過預處理二值化的圖像作為網絡的輸入，主要是利用了交通標志的形狀信息，而基本略去了顏色信息，其優點是在保證識別率的基礎上，可以簡化網絡的結構，降低網絡的計算量。在實際道路交通標志識別中，將形狀信息和顏色信息相結合，以進一步提高識別率和對道路環境的魯棒性，是值得進一步研究的內容。
此外，本文的研究沒有涉及到道路交通標志的動態檢測，這也是今后可以進一步研究的內容。
參考文獻
[1] 劉平華，李建民，胡曉林，等.動態場景下的交通標識檢測與識別研究進展[J].中國圖象圖形學報，2013，18（5）：493?503.
[2] SAHA S K，DULAL C M，BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication，2012，50（10）：35?41.
[3] STALLKAMP J，SCHLIOSING M，SALMENA J，et al. Man vs.computer：benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network，2012，32（2）：323?332.
[4] 中國計算機學會.深度學習：推進人工智能夢想[EB/OL].[2013?06?10].http：//ccg.org.cn.
[5] 鄭胤，陳權崎，章毓晉.深度學習及其在目標和行為識別中的新進展[J].中國圖象圖形學報，2014，19（2）：175?184.
[6] FUKUSHIMA K. Neocognition：a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics，1980，36（4）：193?202.
[7] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines，1989，86（11）：2278?2324.
[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation，1989，1（4）：541?551.
[9] CIRESAN D，MEIER U，MAsci J，et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works，2012，32（2）：333?338.
[10] NAGI J，DUCATELLE F，CARO D，et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur：IEEE，2011，342?347.
[11] 楊斐，王坤明，馬欣，等.應用BP神經網絡分類器識別交通標志[J].計算機工程，2003，29（10）：120?121.
[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http：//cogprints.org/5869/.
[13] 周開利，康耀紅.神經網絡模型及其Matlab 仿真設計[M].北京：清華大學出版社，2005.
[14] 孫志軍，薛磊，許陽明，等.深度學習研究綜述[J].計算機應用研究，2012，29（8）：2806?2810.
[15] 劉建偉，劉媛，羅雄麟.深度學習研究進展[J].計算機應用研究，2014（7）：1921?1930.
