量子神經網絡算法精選(九篇)
前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的量子神經網絡算法主題范文，僅供參考，歡迎閱讀并收藏。
第1篇：量子神經網絡算法范文
關鍵詞：多宇宙量子神經 礦用通風機 故障診斷
引言
近年來，煤炭工業正朝著安全、高效的方向迅猛發展，因此對煤炭工業生產的安全要求越來越高。煤礦機電設備運行的安全性是煤礦安全生產中除瓦斯濃度外的另一個重要安全因素。煤礦關鍵設備主要包括高壓異步電動機、礦用通風機、大中型采煤機及礦井提升設備等，如何保障這些關鍵設備的安全運行已成為各煤炭企業急需解決的重大問題。
人工神經網絡以其強有力的學習和并行處理能力在故障診斷領域迅速興起，其本意是模擬人腦結構去反映客觀世界以解決客觀世界的問題。然而，傳統的神經網絡模型僅能做到故障征兆特征空間與故障模式空間之間的非線性映射，泯滅了故障診斷的技術內容和內在實質。為了使征兆參數模糊化后能更準確的表達或量化輸入空間的樣本分布，提高旋轉機械故障診斷的精度，本文利用量子態的疊加現象將多宇宙觀點應用到神經網絡的結構設計之中，提出了一種多宇宙量子神經網絡模型，并將該模型應用到礦用通風機故障診斷中，取得了較好的診斷效果。
1.多宇宙量子神經網絡模型故障診斷
礦用通風機故障診斷存在諸多不確定性，其主要原因有：故障原因較復雜、非線性、故障之間相互影響、故障甄別不準確帶來的影響等。由于上述不確定性的存在，必然導致故障診斷的準確率降低，甚至出現漏檢和誤診斷現象。針對煤礦通風機故障診斷時的不確定性問題，本文提出了一種多宇宙量子神經網絡模型，并應用于礦用通風機的故障診斷，大大地提高了礦用通風機的故障診斷精度與可靠度。
1.1 多宇宙量子神經網絡模型
多宇宙量子神經網絡的結構體系與相應的經典網絡大致相似，區別在于前者有整個網絡的多份拷貝或者是網絡的一部分拷貝，每一份拷貝都以適合該網絡體系結構的學習規則來訓練一個模式，而網絡中有一部分可能為經典網絡，另一部分為量子網絡，網絡的經典部分（非重復部分）用于處理所有的模式，其權值的改變取決于所有其后的重復部分的反饋。本文以各部分均為疊加態的多宇宙量子神經網絡為研究對象，研究其在礦用通風機故障診斷中的應用。
1.2 多宇宙量子神經網絡的主要算法
多宇宙量子神經網絡的每一個輸入模式與子網絡一一對應。根據坍縮規則，將子網絡對應的訓練模式與輸入模式比較，模式最接近的那個獲勝，即待識別輸入模式將坍縮到獲勝的子網絡進行處理。
設共有x個子網絡組成了整個網絡的疊加，多宇宙量子神經網絡算法的主要步驟如下：
1）從整個模式集合中選取x個模式作為訓練集合；
2）對每個子網絡進行初始化；
3）每個子網絡用其對應的訓練模式進行訓練，直到輸出誤差達到允許范圍；
4）將剩下的模式作為待識別樣本，利用特定的坍縮規則決定每個待識別樣本將坍縮到的宇宙；
5）用坍縮到的子網絡對待識別樣本進行處理，得到輸出結果。
2.礦用通風機故障診斷實例
為了驗證本文提出的多宇宙量子神經網絡的有效性，以某煤礦使用的礦用通風機為研究對象，闡述該方法在通風機故障診斷中的具體應用。
現場采集到的試驗數據建立故障樣本，樣本經過去噪預處理并歸一化，選取其中30組典型數據建立故障樣本集，樣本維數為6，每維特征分別對應特征頻譜0.01f-0.49f、0.50f、0.51f-0.99f、1.0f、2.0f、>3f共 6個頻段的幅值，其中f為工頻。
診斷實例：實例1，通風機在工作過程中，2瓦軸振動超標，對2瓦水平方向采集到的振動頻譜進行特征提取并預處理后，得到故障模式x1，如表二所示。實例2，汽輪機經過大修且過了大約一個月后，機組振動異常，相位極不穩定，振動幅值隨轉速升高明顯加大，振動頻譜的主要分量為基頻，并帶有明顯的2f及低頻分量，其振動故障模糊隸屬度見表二所示。
將表二的故障樣本x1、x2分別與前面30組標準故障中心一起構成數據集進行聚類分析，故障樣本與哪種標準故障中心聚為一類，則說明該故障屬于與多宇宙量子神經網絡聚類中心同類的故障，聚類中心經過多宇宙量子神經網絡算法診斷后，診斷結果如表三所示。對實例1，x1與F1聚為一類，表明該故障屬于F1故障模式，即機組發生了不對中故障，與現場檢查結果一致。對實例2，表明最佳聚類數為7，此時x2與F4聚為一類，其余各中心自為一類，表明該故障模式屬于F4的故障，即轉子支承系統松動故障。
由表三可以看出，多宇宙量子神經網絡模型在通風機的故障診斷中，其診斷結果正確，與實際情況一致。其診斷結果的精度明顯高于BP網絡模型。這是因為，多宇宙模糊量子神經網絡的各個子網絡相互獨立、并行運算、互不干擾，多宇宙量子神經網絡的學習訓練時間很短、收斂性好、精度高。從而較大提高了故障診斷的識別精度，故障識別的準確率達到100%。
3.結論
本文針對礦用通風機故障診斷時的不確定性問題，利用量子態的疊加現象將多宇宙觀點應用到神經網絡的結構設計之中，提出了一種多宇宙量子神經網絡模型以及基于模糊c-均值的網絡坍縮算法。診斷實例仿真分析表明，相比于BP網絡，該方法能夠有效地解決通風機故障診斷過程中的不確定性問題，且具有收斂速度快、診斷精度高等特點。
參考文獻：
[1] 江澤標.人工神經網絡在煤礦通風機故障診斷中的應用[J].煤礦機械， 2011， 32（7）： 266-268.
[2] 陳虹微，王榮杰.煤礦通風機振動原因及檢測方法[J].礦山機械， 2006，34（11）： 213-234.
[3]王學泰，馬春燕，姚景峰等.煤礦通風機軸承振動故障診斷技術的研究及應用[J].煤礦機械2013，34（4）：280-282.
第2篇：量子神經網絡算法范文
本 科 生 畢 業 論 文（設計）
本 科 生 畢 業 論 文（設計）
題目 陣列化的非晶體納米硅神經突觸器件制備與數值模擬
姓名與學號 鄭浩 315104964
指導教師 皮孝東
合作導師
年級與專業 2015級 材料科學工程
所在學院 材料科學工程
提交日期
A Dissertation Submitted to Zhejiang University for
Bachelor Degree of Engineering
Preparation and Numerical Simulation of Arrayed Amorphous Nano Silicon Synaptic Devices
Submitted by
Hao Zheng
Supervised by
Prof. XiaoDong Pi
School of Materials Science and Engineering
Laboratory of Silicon Materials, Zhejiang University, Hangzhou
People’s Republic of China
May, 20th, 2019
浙江大學本科生畢業論文（設計）承諾書
1.本人鄭重地承諾所呈交的畢業論文（設計），是在指導教師的指導下嚴格按照學校和學院有關規定完成的。
2.本人在畢業論文（設計）中除了文別加以標注和致謝的地方外，論文中不包含其他人已經發表或撰寫過的研究成果，也不包含為獲得 浙江大學 或其他教育機構的學位或證書而使用過的材料。
3.與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示謝意。
4. 本人承諾在畢業論文（設計）選題和研究內容過程中沒有偽造相關數據等行為。
5. 在畢業論文（設計）中對侵犯任何方面知識產權的行為，由本人承擔相應的法律責任。
6.本人完全了解 浙江大學 有權保留并向有關部門或機構送交本論文（設計）的復印件和磁盤，允許本論文（設計）被查閱和借閱。本人授權 浙江大學 可以將本論文（設計）的全部或部分內容編入有關數據庫進行檢索和傳播，可以采用影印、縮印或掃描等復制手段保存、匯編本論文（設計）。
作者簽名： 導師簽名：
簽字日期： 年 月 日 簽字日期： 年 月 日
致 謝
致謝內容。（仿宋字體或Times New Roman，小四號，兩端對齊，首行縮進兩個漢字符位，段前0磅，段后0磅，固定行距20磅。）
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
致謝內容。
摘 要
信息時代的來臨，人類在處理大數據與多信息的任務面前面臨著很大的挑戰，傳統的馮-諾依曼式計算機思想在處理這些問題時出現了本質上的不足，因此神經網絡的應用于硬件化變得十分迫切。隨著憶阻器的發現，類腦計算的實際應用變得可能。本文從硬件神經網絡的興起出發，闡述了硬件神經網絡的研究現狀與實現途徑，之后引入了生物神經元的特征，闡述了以往關于人類神經元建立的數學模型。之后本文提出了一種陣列化硅納米晶體神經突觸器件的制備方法與過程，并且在基于這樣的器件上，得到相應的LTP與STDP數據，將這些數據分別用于探究：神經元激活函數數值模擬，有監督脈沖神經網絡之tempotron算法數值模擬與STDP無監督學習網絡數值模擬，在得到結果的基礎上，提出了硬件化神經網絡所需要的器件的基本性質與要求。為未來的硬件化目標提出了可行性與基本方向。
關鍵詞：硬件神經網絡；神經元；神經突觸器件；激活函數；Tempotron算法；STDP；無監督學習
Abstract
With the advent of the information age, human beings face great challenges in dealing with the task of big data and multiple information. The traditional von Neumann-style computer thought has its essential shortcomings in dealing with these problems, so the application of Hardware
neural networks have become very urgent. The discovery of memristors made it possible for the practical application of brain-like calculations. Starting from the rise of hardware neural networks, this thesis firstly expounds the research status and implementation of hardware neural networks, and then introduces the characteristics of biological neurons, and expounds the previous mathematical models of human neuron establishment. After that, an arrayed hybrid silicon nanocrystal based synaptic devices have been prepared. Nervous function behaviors, e.g. LTP and STDP, have been obtained based on this device. These data are then separately used to explore neuron activation function values Simulation, numerical simulation of tempotron algorithm with supervised pulse neural network and numerical simulation of STDP unsupervised learning network. Based on the results, the basic properties and requirements of the hardware required for hardware neural network are proposed. The feasibility and basic direction for future hardware goals are proposed.
Keywords: Hardware neuron network; neurons; Synaptic device; activation function; Tempotron algorithm; STDP; unsupervised learning;
目 次
第一部分 畢業論文（設計）
A DiSubmitted to Zhejiang University for
I
III
V
VII
IX
第一章 緒論
1.1.1 硬件神經網絡的興起
1.1.2 硬件神經網絡的實現
1.3.1 生物神經元介紹
1.3.2 人工神經元介紹
1.3.3 人工神經網絡介紹
1.3.4 脈沖神經網絡介紹
3.1.1 神經網絡結構
3.1.2 神經元硬件化結論
3.2.1 脈沖編碼
3.2.2 權值更新
3.2.3 數值模擬結果
3.2.4 LTP權值改變法
3.2.5 STDP權值改變法
3.2.6 結論
3.3.1 理論背景與基礎
3.3.2 網絡設計
3.3.3 模擬結果
作者簡歷
攻讀學位期間發表的學術論文與取得的其他研究成果
第一部分
畢業論文（設計）
第一章 緒論
11.1 硬件神經網絡1.1.1 硬件神經網絡的興起
21世紀進入信息時代后，計算機的普及率大大上升，計算機本身也在計算力與邏輯處理上遠遠超過了人腦，然而不足的是，在數據的存取與記憶上，仍然是采用馮-洛伊曼式的串行方法，且功耗很大，而人類大腦擁有10^11 個神經元和10^15神經突觸。這使得人類處理信息的方式是高效的并行方式，并且功耗很低。例如人類大腦看到一種東西，識別它的過程往往使視覺神經信號與記憶信號同時作用的結果，功耗在fj量級。在使得馮-洛伊曼式計算機處理復雜指令與控制上體現出了根本性的缺陷。基于這一點，神經網絡的研究開始興起，在1943年，McCulloch 和 Pitts 提出了神經元的形式化模型后, 有關于神經網絡的討論也逐漸火熱起來，但其發展的中途受到很多科學家對其的質疑[19]。直到 1980年左右, Rumelhert 與他的研究伙伴[20]一起發表了著名的并行分布式處理( Parallel Distributed Processing)方法的工作 , 并且建立了 BP 算法和前向神經網絡，從數學上的形式，證明了這種算法的可行性，BP神經網絡是一種前饋式的誤差逆向傳播網絡，通過訓練集不斷縮小輸出值與目標值的差值從而達到非線性優化的目的。由此，神經網絡的數學原理得到證明，其實在1970年神經網絡存在一段低落期，也受到了很多懷疑。但是BP神經網絡的興起與提出，讓科學們對于神經網絡的態度再次火熱起來。21世紀隨著深度學習的提出，又掀起了一股關于人工智能的熱潮，Deep learning 是在多層感知機的基礎上，不斷增加隱含層的層數，這上面又出現了一些數學上的問題比如激活函數的梯度彌散問題，但是由于Relu激活函數替代sigmod函數的提出，這些問題逐步得到了解決，深度學習向前發展了一大步。比如IBM的“深藍”擊敗世界圍棋選手李智石等，但是實際上，“深藍”在擊敗李智石時消耗的電量等于一桶油的燃燒的焦耳值，但是李智石僅僅使用了兩個饅頭的熱量戰斗。也就是說，這場比賽其實并不公平。其實這反應的是人工智能的工作效率與真正人腦的學習效率仍然有很大的差距。神經網絡本質是由多個簡單的信號處理單元組成，這些簡單的信號單元之間由一種方式連接形成網絡，它意在模仿人類大腦處理信息的模式，從而實現圖像識別，音像識別，特征提取和記憶等功能。現在計算機能夠從軟件上對神經網絡進行實現，然而關于數據的存取方式仍然無法得到突破，數據的存取方式仍然是老式馮-諾依曼式的串行處理方式。但是人類識別圖像，獲得信息是并行的。因此硬件神經網絡的開發是必要的，硬件神經網絡能夠使用集成電路實現并行處理信息，并且能耗低，效率高，能夠更貼近人類大腦的工作方式。因此硬件神經網絡的開發受到很多的關注與研究，未來人工智能和類腦計算的發展前景中，硬件神經網絡的研究是必須的。
[ANNOTATION:
BY 'wenhuang'
ON '2019-05-23T09:23:00'w
NOTE: '這部分放到前言部分比較好，或者干脆就不要了，放在這里是不合適的。']本文的第一章即緒論，主要是闡述當前關于硬件化神經網絡的突破，現狀與發展形勢。
第二章主要從人類的神經元開始，講述人類生物神經元的特點，講述現在人工神經元的數學模型，以及硬件化神經元需要的要求與方式
第三章主要講述制備實驗器件的技術路線，與制備的過程和使用的材料
第四章從數值模擬的角度，探究神經元硬件化的條件是怎么樣的，數值模擬選取MNIST數據集作為樣本數據集，通過使用實驗得到的激活函數替論激活函數，觀察網絡的準確率，得出相關結論，探究硬件需要滿足的條件
第五章從數值模擬的角度，探究突觸硬件需要滿足的條件，突觸與神經元不同，它是作為神經網絡中存儲權值，改變權值的存在，與神經元有本質上的區別，數值模擬采用26個英文字母的圖片作為數據集，進行編碼后發送脈沖，使用Tempotron 的有監督脈沖神經網絡進行數值模擬，通過實驗硬件得到的LTP與LTD圖像進行權值更新。得到預測率的圖像，證明了LTP的電或者光電器件能夠作為脈沖神經網絡硬件化的一個器件，為未來做出相關硬件網絡道出了一種可行性。
第六章主要是針對STDP的學習機制擴大網絡規模，將數據集擴展到MNIST手寫數據集，使用STDP無監督學習網絡[16]對數據進行訓練，之后再對訓練好的神經元進行分類。得到我們想要的結果。
第七章主要是總結本文的工作得到的結論，以及對于未來硬件神經網絡的發展的一些展望與看法
1.1.2 硬件神經網絡的實現
一般硬件神經網絡的實現方式有三種，即采用電子學方法——依靠微電子技術實現人工神經網絡, 采用光電方法——依靠半導體光電集成技術實現人工神經網絡, 采用光學方法實現人工神經網絡[18]。微電子技術應該是通過各種電路設計，例如放大電路，差分電路等集成電路，實現神經網絡的reference部分。依靠光電實現的硬件神經網絡是本文的重點，利用電學元器件，憶阻器器件，或者是光電器件，模擬生物神經元的膜電位變化曲線，與人類大腦的權重學習規則，從而實現神經網絡的硬件化。采用光學的方法實現網絡計算的方法十分有趣，UCLA大學的研究小組發明了一種全光的深層神經網絡，通過光的反射與折射傳遞信號，利用光入射的相位差記錄權值變化，實現了全光的神經網絡，而且由于光的傳播速度是光速，在整個網絡的效率與速度上都十分驚人，能耗也十分低[21]。神經網絡的電子學硬件實現方法主要有四種，其中分別是數字實現、模擬實現、混合數/模實現和脈沖技術實現等[18]。通過數字實現的神經網絡一般精度很高[1,2]，權值易存儲也容易改變，并且能夠通過電路實現并行處理，克服傳統計算機串行處理數據的弊病，但是缺點是電路難以集成，體積很大，很難適用于計算機新型芯片這種地方。通過模擬實現的神經網絡能夠很好克服上面的缺點[3,4,5]，但是由于突觸和神經元器件對參數敏感，準確度下降，更關鍵是對于權值的存儲存在困難。1987年是一個轉機，即脈沖技術第一次用于了神經網絡，使用VLSI技術作為實現，從這以后，神經網絡的脈沖技術受到了很多關注[9,12]。
脈沖技術，簡單來說就是將神經元的興奮或者抑制狀態通過一定的編碼方式轉化到脈沖的波形上，編碼的方法一般有高斯編碼，或者可以自定義的編碼方式。由于脈沖化的信號是離散的，因此一定程度上可以簡化運算電路：例如突觸電路。神經元與一般的電路元件不同，它本身的密度很高，正如人類神經元的密度很高一樣。這種緊密的排列方式使得脈沖信號把芯片和外圍設備的接口變得更容易連接。本文正是利用從脈沖神經網絡出發，制備出硬件化的元件，通過數值模擬硬件的實際可行性，并且對于未來硬件化神經網絡的方向提出一些看法
21.2 硬件神經網絡研究進展當前的人工神經網絡存在三種模式，第一種是非學習型神經網絡，即網絡的前饋過程與權值計算過程全部由軟件進行實現，權值是固定不變的，只用神經網絡的電路結構完成之后，再與實際電路結構匹配即可。另外一種是on-chip的模式，即前饋過程通過微電子電路進行實現，權值的更新與計算通過計算機實現。還有一種off-chip模式，即是一種全自動的自主性芯片，從神經網絡的前饋環節到神經網絡的BP算法實現都一并完成。目前的研究狀況，我們已經能夠熟練通過電路的設計實現非學習神經網絡。在on-chip式的人工神經網絡上，我們也能通過一定的模擬方式得到實現。現在的當務之急是開發off-chip式的神經網絡，使用硬件對權值的存儲與改進是必要的。自從20世紀60年代后期引入憶阻器概念以來，由于其簡單性和功能相似性，它們被認為是模擬突觸裝置的最有希望的候選者。2008年，惠普公司公布了基于TiO2的RRAM器件[6]，開拓了RRAM和憶阻器之間聯系，做出了一定的應用之后以非易失性存儲器件和神經突觸晶體管為代表開始成為神經突觸器件的基礎。但將這些器件用于第二代神經網絡（也就是多層感知機）上，取得了一定的成就，現在關于這方法的也在如火如荼的進行著，但是由于第二代神經網絡的基礎仍然是基于計算機的算力達到的深度，也就是說，加深隱含層的數目提高準確度，知識因為有著強大的計算芯片作為支持。我們需要考慮一種完全類似于人腦思考問題的神經網絡與算法，于是脈沖神經網絡開始興起，并且被譽為第三代神經網絡，這是一種完全基于人腦計算模式的神經網絡，從長程記憶可塑性LTP，時間可塑依賴性STDP等研究的深入，這一網絡的硬件化也成為了可能
31.3 從生物神經元到人工神經網絡1.3.1 生物神經元介紹
人的大腦中有超過 1011個神經元，這些神經元之間的連接的突觸又大約有10^15個，這些突觸使得神經元互相連接，從而構成了復雜多變而又有條不紊的神經網絡[7]。這些神經元的單獨處理信息的速度并不算很快，但是人類的大腦能夠很有效的利用這些神經元并行處理。即大量神經元一起處理一個任務，這有些類似于計算機里的多線程并行操作算法。人類大腦的神經元數目雖然龐大，但是它的能耗低卻是特點，我們每日攝入的熱量與一些機器的能源是不能夠比擬的，然而我們的大腦就能夠實現很多計算功能，有數據顯示，腦神經系統一個動作每秒消耗的能量比最優秀的處理器能耗小1010個數量級。
人的生物神經元有兩個部分，分別是細胞體和突起。具有處理并且整合輸入的神經信號，然后傳出這些信息的作用。突起有樹突和軸突兩種。樹突相對較短但分枝很多，其作用是接受其他神經元軸突傳來的沖動并傳給細胞體。軸突長而分枝少，常常出現在軸丘，一般為粗細均勻的細長突起，其作用是接受外來刺激，再由細胞體傳出。神經元與神經元之間的連接被稱為神經突觸，兩個神經元之間連接強度或者關聯程度體現在突觸的連接強度。一般而言神經元有以下的特點[8]：
1）：可塑性：即神經元之間的突觸可以連接，也可以取消，連接可以變強，也可以慢慢變弱，方便與人類去適應不同的環境。
2）：興奮與抑制：神經元受到外界刺激之后，會產生膜內外滲透壓的差別從而導致Na+或者Ca2+的流入或者流出，這些離子的遷移會產生動作電位，導致膜電位的上升或者下降，也就對應了人類神經元的興奮和抑制過程。
3）：學習與遺忘：由于可塑性的存在，當人類在長時間受到同一種刺激的時候，會產生我們的所說的學習功能，而這種功能其實是神經元之間的連接得到了加強，同理，如果我們慢慢遺忘了一些東西，是因為長期不去使用從而神經元之間的連接衰弱了。對應的有LTP,LTD圖像來進行表征。
4）：突觸的延時和不應期。神經沖動的傳遞在突觸中是需要時間的，一般這個時間是1-150ms。另外，神經元也不會在短時間內接受兩次沖動，一般需要間隔一定的時間，這個被稱為不應期。
從上面可以看到，想要用神經元器件模擬人類的生物的神經元，一定要從生物本質和特征去進行模擬。本文后面的數值模擬會再把這些特征一一強調一次，從而達到一種仿真的目的。
1.3.2 人工神經元介紹
早在1943 年 McCulloch 和 Pitts 提出了神經元的形式化模型, 神經元可用簡單的zha值函數表示，并完成邏輯函數功能[19]。20世紀初期，美國心理學家Willian Jame 提出，一個神經元應該是同時接受來自不同神經元的信號后，由于不同神經元之間的突觸連接強度不同，神經元相當于是一個加權和，并且由于興奮存在一個閾值電壓，需要一定的電壓值才會fire，因此神經元可以用一個數學模型來勾畫，即著名的MP模型。
y=f(∑i=1nwixi+b)
（2-1）
其中，表征每個神經元的輸入值，表征神經元之間的連接強度，b代表閾值電壓。外界的f函數則是一種神經元的處理函數。
圖1-1 MP 神經元模型
Fig.1.1 Neurons model
可以看到，對于神經元的硬件實現實際上是一個乘法器的實現以及加權和非線性處理，這個可以通過放大電路等進行實現。后續本文也將探究一下神經元應該具備怎樣的條件，或者怎么樣的器件適合作為神經元器件。
1.3.3 人工神經網絡介紹20世界80年代,J.Hopfield 提出了 Hopfiel 神經網絡, 引起了神經網絡理論在優化學術界的轟動。然而熱潮還遠遠沒有結束。1986年，Rumelhart和McCelland提出了BP神經網絡，這種神經網絡是現在很多網絡算法的基礎，它是一種依靠逆向傳播輸出值與實際值誤差修正網絡權值的網絡，利用梯度下降算法或者隨機梯度下降法降低目標值與實際值的誤差，隨機梯度下降算法時為了加速算法收斂速度提出的更好的方式，現在很多網絡也應用這種方法
圖 1-2 經典的神經BP神經網絡模型
從圖中我們可以看到的是，網絡一般由輸入層，隱含層和輸出層三個部分構成，其中輸入層可以是圖像的像素值，音頻信號等等，因此神經網絡現在廣泛用于人臉識別，圖像識別，聲音識別等等領域。隱含層的多少是決定一個網絡是否是深層網絡的基本要素，隱含層如果越多，那么挖掘的信息，提取的特征就越難以用表面語言描述，訓練的精度也會逐步的提升。輸出層是網絡的輸出，網絡的輸出后往往會選擇一個損失函數，這個損失函數是用于衡量目標值與實際值的差值從而進行誤差反向傳播計算。常見的損失函數有MSE函數,Cross-Entorpy函數等等。
圖1-3 硬件神經網絡的一種實現[15]
基于經典的BP神經網絡MLP的硬件實現如上圖所示，使用電路模擬整個網絡的結構，在電路橫向與縱向的cross_bar 的地方放置突觸裝置，利用電流與電壓的比值進行權值的存儲與更新。這樣的網絡往往需要得到的I-V曲線是對稱的，就是說，權值的變化需要是隨著強度的增加而增加，減少而減少，呈現一種線性的變化，從而保證在進行BP算法時，誤差能夠不斷減小。
1.3.4 脈沖神經網絡介紹隨著在21世紀早期計算能力的顯現，DNN（多層感知器，深層信念網絡，傳統神經網絡等等）迅速發展，DNN的基本特征是有很多隱含層，這些神經網絡能夠實現監督與非監督學習，并且能夠優秀的完成有大量數據的任務。然而實際上，現在的DNN的優秀來源于GPU的并行加速機制，是在計算機多核算力上的體現，在其本身的算法上，其效率遠遠不如人腦高。SNN（脈沖神經網絡）最近引起了很多關注，因為它們與生物系統非常相似，在SNN中，輸入信號是尖峰，而不是傳統神經元中的恒定饋送。 人們普遍認為能夠處理尖峰是大腦在序列識別和記憶方面如此壯觀的主要原因之一[9]。序列識別是計算中更重要的主題之一，因為它直接影響系統處理強烈時序依賴的刺激的能力，例如語音識別和圖像檢測[10]
圖1-4 STDP圖像
對應STDP的最簡單理解是，如果前突觸神經元的信號在后突觸神經元的信號之前達到，有理由認為前突觸的信號導致后突觸神經元的信號產生，那么這兩者之間的突觸連接強度應該增加，反之就該減少。但如何保證這種訓練模式一定是有效的呢？Bengio 和 Fischer 兩人在2015發表的文章[11]指出具有對稱反饋權重的網絡將具有以下特性：“輸出單元”的小擾動將向更好的預測傳播到內部層，使得隱藏單元移動到大致遵循預測誤差J相對于隱藏單元的梯度。而STDP規則大致對應于預測誤差的梯度下降，即STDP的規則其實和SGD算法有著異曲同工之妙。Scellier和Bengio（2016）報告的實驗已經真實地表明這些近似值可以工作并且能夠訓練有監督的多層神經網絡[12]。
脈沖神經網絡被稱為新一代神經網絡，與經典的神經網絡不同在于它的輸入實際上不是一個連續值而是一系列脈沖，更為重要的是他的神經元膜電位，一旦達到了膜電位的峰值，那么這個神經元就被激活，后面的脈沖會進入一段不應期。關于神經元的模型，已經提出了HH模型，Izhikevich模型與LIF模型，其中以LIF模型為例，其微分方程的表示如下：
τdVdt=?(V?Vr)+RI
（2-2）
τ
是膜的時間常數，R為膜電阻，V是膜電位，Vr是復位電位，I是注入電流，當膜電壓超過一個閾值時，神經元會發送一個脈沖。如果后面沒有連續的刺激，這個產生的脈沖信號會不斷衰退，膜電位也會恢復到復位電位后穩定。之后再接受電流再刺激。
針對脈沖神經網絡的學習過程，也分為有監督學習和無監督學習，無監督學習主要以STDP為主[13,14]，有監督學習包括Tempotron算法，ReSuMe算法和SpikeProp算法等等。本文主要采用Tempotron算法，下面做個詳細的介紹：
在Tempotron算法中，考慮在閾值下，突觸前神經元產生的脈沖信號，對突觸后膜電位（PSPs）的貢獻是來自所有脈沖輸入的加權和：
V(t)=∑iωi∑tiK(t?ti)+Vrest
（2-3）
ti
表示第i個神經元的脈沖發送時間，
K（t?ti）
表示第i個脈沖對于膜電位的貢獻，即突觸前神經元發出的脈沖對于突觸后神經元膜電位的影響。其標準形式如下：
K(t?ti)=V0(exp[?(t?ti)/τ]?exp[?(t?ti)/τs])
（2-4）
τ,τs
是時間常數，為了保證K(t)在（0,1）之內變動，我們需要用V_0進行歸一化處理，K(t)圖像繪制如下圖：
圖1-5 K(t)隨時間變化圖
由監督學習的重點是要將權重更新向著誤差減少的方向進行，獲得期望的輸出脈沖，更新規則如下：
Δωi=λ∑ti?tmaxK(tmax?ti)
（2-5）
即以二分類為例，ti
為突觸前神經元峰值的產生時間，這里的
tmax
設定為我們設置的時間序列的終點，默認為突觸后神經元的峰值的產生時間，但這和一般的STDP不一樣，因為STDP的神經網絡訓練規則實際是不需要有監督的，而這里有一個參數
λ
，用于控制輸出值與期望值的誤差方向，如果突觸前神經元產生峰值超過閾值電壓的神經脈沖，并且突觸后神經元指向分類標準與前神經元指向的分類相同，則不需要修改權值（說明這個連接正確），如果突觸前神經元峰值未超過閾值電壓，那么需要根據上式指定
λ
>0，并且計算需要增加的權值。反之當
λ
<0時，需要進行減小權值。總體看來，這是在借助有監督學習的條件下，在明白誤差修正方向下利用STDP中的LTP與LTD曲線獲得修正的幅度（可以認為是學習的速率），從而使我們獲得期望的輸出。注意上面提出一種概念：即在有監督學習的條件下，后突出神經元的峰值由標簽值決定，并且根據誤差值指明誤差修正放向（體現為
λ
的正負性），然后依靠STDP決定修正幅度。這也是一種將STDP曲線用于有監督學習的可行性展示。
第二章 實驗部分12.1 陣列化基于硅納米晶體雜化結構的神經突觸器件制備2.1.1 制備技術路線在本論文里面，采用了冷等離子方法制備了摻B的Si量子點，相比于其他的摻雜方法，冷等離子法是借助了動力學的原理，從而實現了對硅納米晶體的高效摻雜，一定程度上避免了利用熱力學原理來摻雜的過程中出現的“自潔凈”現象。相比之下能夠實現比較高濃度的摻雜。
圖2.1 使用冷等離子法制備摻雜硅納米晶體示意圖
使用冷等離子體法制備摻雜硅納米晶體的裝置設計示意如圖2.1所示。先準備每分鐘流量值12標準公升的硅烷氬氣混合氣（20% SiH4）、157 sccm的硼烷氬氣混合氣（其中含有0.5% B2H6）和105 sccm的高純氬氣通入到石英管中混合，調節系統尾部的真空泵，使腔體內的氣壓穩定在6 mbar。石英管中間部位套有兩個銅環，分別接匹配箱和射頻發生器的正負兩級。在射頻發生器（功率約為150 w）的激發下，銅環之間的石英管內將產生等離子體，混合氣體在通過等離子體區域時將會發生分解反應，這個反應的產生是因為氣體受到了高能粒子和電子的轟擊產生的，具體化學反應式如下：
SiH4?Si+H2B2H6?2B+3H2
在器件制備方面，本文利用硅納米顆粒的光電性能與以及表面缺陷對載流子具有俘獲的性質，首先與鈣鈦礦進行雜化形成混合容易。通過旋涂工藝制備成了太陽能電池結構的神經器件，器件的結構是：Ito/pcbm/鈣鈦礦與硅量子點雜化層/spiro/Au。在該結構里面，ITO是通過光學刻蝕得到。PCBM, 鈣鈦礦與硅量子點雜化層， Spiro是通過旋涂方法得到。其中鈣鈦礦CH3PbI3與硅量子在DMF溶液（461mg PbI2, 159mg MAI, 71uL DMSO, 630 ul DMF.。Si量子點在溶液里面的濃度為10mg/ml.雜化旋涂后就制備出了膜。）里面。硅量子點摻雜B，摻雜B的硅納米晶體尺寸是6nm, 鈣鈦礦膜厚大概在300nm左右，晶粒尺寸大概在200nm。Au電極采用熱蒸發工藝得到，厚度大約為100nm。
[ANNOTATION:
BY 'wenhuang'
ON '2019-05-23T10:15:00'w
NOTE: '這一段是不是應該要刪掉？']2.1.1 器件制備路線
在器件制備方面，本文準備利用硅納米顆粒的光電性能與decay長的性質，與鈣鈦礦進行雜化形成自驅動電池，在制備電池的工藝上，選擇旋涂工藝做成太陽能電池的結構，器件結構分別是：Ito/pcbm/鈣鈦礦與硅量子點雜化層/spiro/Au，之后使用熱蒸發工藝將電極Au安裝上，設置厚度大約為100nm。鈣鈦礦CH3PbI3與硅量子在DMF溶液（461mg PbI2, 159mg MAI, 71uL DMSO, 630 ul DMF. Si以DMF為溶劑，濃度為10mg/ml. 雜化旋涂后就制備出了膜。）里面。硅量子點摻雜B，摻雜B的硅納米晶體尺寸是6nm, 鈣鈦礦膜厚大概在300nm左右，晶粒尺寸大概在200多納米。段落內容。
第三章 數值模擬13.1 神經元硬件化數值模擬3.1.1 神經網絡結構對于神經元的模擬，和突觸的模擬不同，神經元的功能由上文中的MP模型已經表述很清楚，他承擔一個乘法器和加權和、還有實現一個神經元函數的功能，這個功能也是我們下面模擬要探索的。
圖3-1 MINST數據集對于的神經網絡結構
采用常用的MNIST手寫識別數據集作為整個網絡的輸入，先將圖像的RGB值轉換成一個單位的灰度值，設計輸入層應該有784個節點，隱含層300個節點，輸出層設置10個節點，分別對應0-9個數字的pattern。在實際模擬時，采用兩種方式處理，第一種是利用STDP非線性函數直接對輸入的圖像像素值進行處理，意在將灰度值轉換為強度值。再用網絡進行訓練。第二張利用STDP非線性函數作為神經網絡中的激活函數，意在探究神經元的基本性質。
訓練模式采用SGD算法，樣本集總共55000個圖片，每張圖片28×28有784個輸入值，epoch設置掃描樣本集10次以上，損失函數使用交叉熵函數，激活函數選擇softmax函數進行激活分類，因為這個函數比較適合于多分類問題，在優化上也得到了理論的證明。首先我們先將實驗中得到的STDP數據擬合結果如下：
圖3-2 STDP Positive 擬合圖像
這里故意選擇了一個與常規激活函數相關性為負的激活函數，一般的激活函數比如sigmod，relu激活函數，其強度其實和輸入值是呈
[ANNOTATION:
BY 'wenhuang'
ON '2019-05-23T10:23:00'w
NOTE: '什么意思']現正相關的，這里選取的作為負相關的原因是想探究是否能夠作為激活函數使用。其結果如下：
圖 3-3 擬合的Loss與Accuracy隨訓練次數的變化圖
可以看到上述的結果是可觀的，也就是說，激活函數的選取，與是否與輸入值正相關沒有關系。另外我比較了理論激活函數，實驗激活函數，與對輸入直接非線性處理得到結果的異同性：
圖3-4 三種不同方法得到Loss函數變化情況
圖3-5 三種方法得到的Accuracy變化情況
可以看到，理論激活函數（紅色）在準確率上仍然時最高的，最后的樣本內準確率有98.42%，但在loss的下降速度上，實驗激活函數體現的更好，但實驗的激活函數最后準確率只有96.69%。
3.1.2 神經元硬件化結論根據上面的模擬結果我們可以得到結論，對于神經元的硬件模擬，作為激活函數，只需完成非線性這個條件即可，但是在實現乘法器的過程中，需要電路由很好的線性度。這個線性度的要求實際是從BP算法的推導中獲得的，這里簡單的推導一下：
Δw=?Loss?w=?Loss?y??y?output??output?w
（3-1）
上式想說明的是，我們需要調節權值w使得我們計算出的loss函數達到最小值，因此我們需要求其導數從而獲得調整的方向，可以看到等式右邊第一項實際是損失函數對于輸入值的導數，第二項時激活函數對于輸入值的導數，這兩項在有輸入值的條件下是可以求出的。而根據神經網絡的矩陣運算：
output=w?x+b
（3-2）
可以看到，output值與輸入的值時存在線性關系的，那么也就是說，我們權值變化量Δw
與輸入的x需要滿足線性關系。因此神經元硬件化需要實現的線性度不僅僅影響了加權的效果，還影響到權值更新的效率性。很多關于神經網絡硬件化的論文一定會提到這個線性度，因為這個線性度時實現神經網絡算法達到收斂的基本保障。
圖3-6.a SET與RESET模式下的I-V曲線；b SET模式下的權值變化隨刺激次數的變化；c RESET模式下的權值變化隨刺激次數的變化[15]
如上圖清華大學完成的憶阻器神經突觸器件，選取電導作為權值時，需要I-V曲線在第一二想象有近似的對稱值，其導數值(即權值)隨著固定電壓的刺激次數線性增加或者減小。一般而言，在硬件神經網絡進行權值跟新的時候，會選擇一個固定更新電壓，在這個指定的電壓下，我們需要保證權值的正向更新與負向更新有近似的值，這個在圖像上體現為圖像的對稱。之前也有文章在圖像的對稱性上做了相關的材料探究。證明這樣的對稱性是必要的
23.2 有監督脈沖神經網絡數值模擬3.2.1 脈沖編碼脈沖神經網絡與第二代神經網絡最為不同的一點在于，它的輸入并不是一系列連續的值，不是像圖像像素一樣一個個數據連續計入，也沒有二值化的操作。而是離散的脈沖值，就圖像識別而言，簡單的多層感知器輸入是輸入圖像的RGB值或者是圖像的灰度值，將這些值進行標準化后作為網絡的輸入。而脈沖神經網絡需要對于輸入進行一定的脈沖編碼處理，這個處理可以自己選擇，但轉化的思想很重要。即將圖像的灰度值信息編程處理成一系列脈沖，并且將脈沖發出的時間作為網絡的輸入。下面介紹本文中tempotron算法的編碼方式。
選取26個英文字母A-Z作為需要識別的樣本集。每一個字母由一張16×16像素的圖像組成，且該圖像只有0和1兩種灰度，即非黑即白。因此我們輸入一張圖片后，它會編程一個16×16的二值矩陣，我們將這一的二維矩陣一維化，使其變成1×256的一維數組，然后我們對其進行編碼，每次隨機從256個數中隨機去8個數且不放回，組成一個32×8的新矩陣，對于每一行數，得到的是一個8位的二進制數，因此我們將其轉化成十進制數，得到一個0-255范圍的數，將原來的矩陣轉化成了32×1的矩陣。且每一行代表一個脈沖的發送時間，即將一張16×16的圖像矩陣轉化成了在不同時間一共發送32次脈沖的輸入值。
3.2.2 權值更新按照tempotron算法的權值更新規則：
Δωi=λ∑ti?tmaxK(tmax?ti)
（3-3）
我們需要設置一個時間軸，并且對于這個時間軸上進行時間窗口的劃分，等于說我們需要將這個時間軸切割成一份份來進行一個個的循環。由于之前在輸入編碼的時候，我們將16×16像素的黑白圖像轉換成了發送32次脈沖的輸入，這些輸入的脈沖的時間是0-255，也就是說，我們建立一個長度為256ms的時間軸，并且以1ms為一個時間窗口，每次檢查在當前時間窗口前是否有脈沖輸入，并且每次都選取在當前時間之前能夠發送脈沖的數據，認為他們發送一次脈沖，將這個脈沖與核函數相乘，作為我們膜電壓，如果膜電壓超過了我們設置的threshold電壓值，我們則認為該神經元處于fire狀態，并且會進入一段不應期，即shut down后面在256ms內的所有脈沖輸入。我們輸入是5個神經元，這是因為我們需要對26個英文字母分類，即用5個二進制數最大可以表示到0-31的每個數，于是我們用5個二進制數表示我們分類的pattern，例如字母A我們使用00001表示，字母B用00010表示。以此類推。當神經處于fire狀態時，它會表現出1的狀態，反之如果它沒有能夠達到閾值電壓，它會處于0的狀態，我們將網絡的輸入與我們準備好的標簽值進行對比，如果說產生了不同，即分類產生了誤差，我們就需要對其進行權值更新，從而在慢慢的訓練過程中，獲得我們期望得到的脈沖值。
即如果網絡發出了脈沖，但是實際沒有發送脈沖，我們降低該脈沖產生的權值，從而讓其在后面慢慢變得不發出脈沖。
如果網絡沒有發出脈沖，但是實際輸入應該發出脈沖，我們應該強化該脈沖的產生，即增大其權值。
圖3.7 訓練前脈沖與訓練后脈沖對比圖
我們設置1.0 v為閾值電壓，可以看到，隨著訓練次數的增大，一開始正的脈沖傾向于在后面發出超過閾值電壓的脈沖。但是一開始負的脈沖，雖然一開始超過了閾值電壓，但是由于隨著訓練次數的增大，變得不斷被抑制，不再發出脈沖。我們的網絡就是基于這樣一種思路去訓練與優化。
3.2.3 數值模擬結果數值模擬上，本文選取了兩組實驗數據進行了權值更新法則函數的模擬，即使用實驗得到的LTP與STDP數據進行了數值模擬，并且對比了兩者在應用于tempotron算法的差異，提出一定看法。
3.2.4 LTP權值改變法數值LTP曲線是模擬人類大腦學習時候的長程可塑性，在圖像上體現為，施加一段固定脈沖間距和脈沖峰值的脈沖，使突觸器件的模擬膜電壓升高，經過一段時間再進行了衰減。表現的圖像如下：
圖3.8 LTP擬合圖像
線是得到實驗的LTP數據后，使用神經網絡算法進行擬合，得到完美擬合的曲線，這樣保證了能夠使用完全的實驗數據。另外由于實驗的數據僅僅有LTP數據，然而對于我們的模擬也需要LTD數據，基于我們對于這兩個圖像的了解，他們在一定程度上是中心對稱的。我們通過對于LTP數據的神經網絡擬合，外推LTD的數據，將LTD的數據應用于模型的抑制環節，保證權值的增加與減少對稱。
將LTP的數據帶入，進行訓練，設置最大epoch數為100次，設置閾值電壓為1 v。訓練結果如下：
圖 3.9 準確率隨訓練次數的變化圖像(LTP)
可以看到，在100 epoch下，準確率在隨訓練次數的增加而增加，最終穩定在89%左右。
3.2.5 STDP權值改變法人腦的學習模式是STDP已經被大部分論文和實驗所證實，因此也許基于STDP的權值改變方法能夠更加促進學習的效率。STDP的本質定義是說：如果突出前神經元的峰值脈沖到達時間小于突觸后的神經元峰值脈沖，那么認為突觸前神經元脈沖的產生可能是有利于突觸后神經元的產生，即這兩者之間是存在一定的聯動關系的。于是加強這兩個神經元的連接。反之則減弱它們之間的連接。
利用實驗得到對的STDP Positive數據，波張選取375nm的光做刺激。得到光驅動下的STDP。但實驗與理論存在偏差的一點，是光刺激下的STDP圖像實際上是存在于一、二象限的，這樣意味著，無論是突出前神經元的脈沖先到達還是后到達，產生的權值更新過程，都是加強該兩個神經元之間的連接。在保證權值更新雙向對稱性的情況下，這樣的情況顯然是不允許。于是在三象限部分，本文選取了其他數據作為替代，這個數據是從電突觸元器件得到的。這里也可以得出一個設想，是否可以有光與電合并的突觸器件，使用光完成第一象限的STDP工作，由電器件完成第三象限STDP工作。為何要選擇光器件是因為，光學突觸器件的耗能相比于電學突觸器件要節省很多。如果能夠使用光電混合信號實現光電STDP，也不失為一種選擇。
擬合后正向STDP函數表達式如下：
y=?0.346ln(x)+2.708
負向STDP函數表達式如下：
y=0.302ln(?x)?2.546
根據上面的STDP函數更新法則，帶入我們的temportron算法進行求解。得到準確率變化情況如下，設置參數與LTP更新規則相同。
圖3.10 準確率隨訓練次數變化情況(STDP)
可以看到，經由STDP訓練的網絡，在epoch=60左右的時候，已經達到了準確率100%，在訓練的準確度與效率上，高于使用LTP訓練的結果。這也可能是為什么當前很多的研究都著眼于STDP權重更新機制。這可能也和STDP實際上與人類大腦的學習機制十分相似，本次模擬也證明了大腦學習模式在權值調整上的優越性，基于LTP的調制模式，更多是對于算法當中核函數K(t)的模擬，而并非是對于本質上人類大腦學習模式的仿真。
3.2.6 結論無論選取LTP，STDP作為權值更新的方式，神經網絡的權值更新一定要是對稱，這樣在梯度下降算法過程中，才能夠有正和負梯度，使得最后的結果收斂于局部最小點。另外，在學習機制上，STDP是存在一定優越性的。后面本文將針對SDTP學習機制，將網絡擴展到更大的規模，展現STDP學習機制的強大之處。
33.3 無監督脈沖神經網絡數值模擬3.3.1 理論背景與基礎這SNN的發展之所以廣受著名，是因為它網絡的元器件要求是有一定硬件基礎的，不論是在神經元的設計上，如LIF模型，HH模型，還是電導突觸，指數型的衰減機制，閾值電壓。都可以通過我們設計的電學或者光學器件進行實現。
本文基于2015年Peter發表的關于STDP無監督學習網絡的代碼基礎上，加上實驗得到的數據，進行數值模擬。模擬之前，先了解一下網絡的具體結構與基本理論。
對于神經元的設置，應用integrated -and-fire model模型：
τdVdt=(Erest?V)+ginh(Einh?V)+gexc(Eexc?V)
（3-6）
這里V是膜電壓，Erest
是神經元在沒有外界刺激下的一種靜息電壓。
τ
是抑制或者興奮神經元的時間時間常數，這個常數時間上就是用于控制各種不同的STDP圖像。
galignlink
和
gexc
是抑制性神經元和興奮性神經元的電導值，這個值在神經網絡中表現為權重，也是我們需要訓練的東西。訓練模式與tempotron算法類似，當膜電壓到達閾值電壓的時候，就會發送尖峰脈沖信號，然后膜電位復位到靜息電壓。如果有神經元的尖峰信號達到突觸，那么突觸就會提升權值，即電導，如果沒有，那么權值就會指數型的衰減。權值更新的模式仍然是取決于突觸前神經元與突觸后神經元的尖峰達到時間差。如圖3.11所示，由于前后神經元的脈沖尖峰抵達時間差不一樣，產生了興奮和抑制兩種模式
圖 3.11 STDP權值更新模式圖[17]
我們需要定義興奮性神經元與抑制性神經元的權值改變方式。對于興奮性神經元的電導更新模式如下：
τgedgedt=?ge
（3-7）
抑制性電導的更新模式其實只需要更換常數：
τgidgidt=?gi
（3-8）
時間常數得控制會影響STDP得學習曲線，人腦或者生物的時間常數一般是10 ms-20 ms量級。我們由實驗得到得時間常數數值也靠近這個值
然后是基于STDP的權值更新法則：
Δw=η(xpre?xtar)(wmax?w)u
（3-9）
實際上，STDP的更新規則很多，還有指數型的，這里選取一種更新規則，他們大多大同小異。這里的η
是學習的速率，
Xpre
是該脈沖產生時的上一次脈沖值，每當有一次脈沖到達突觸時，
Xpre
會增加1，如果沒有，它會按照指數型進行衰減。
Xtar
是前一次的突觸前神經元產生的脈沖，其反應在突觸后神經元的目標值。這其實也是在將突觸前神經元和后神經元產生的時間在進行比較，從而正確的更新權值。
3.3.2 網絡設計脈沖神經網絡的設計與普通的經典神經網絡有所不同，由圖5.2看到，Input輸入層圖像的像素編碼脈沖數據，脈沖的頻率由圖像像素點的灰度值，即成正比關系，28×28的像素值會變成一個784×1的一維序列，每一個值代表一定頻率的脈沖信號。
圖3.12 SNN神經網絡結構[16]
之后進入激活層，激活層放置激活神經元，然后再進入抑制層，放置抑制層神經元。這里可以看到，非監督學習網絡的結構是不存在標簽值的。更新完全依靠激活層與抑制層之間的關系。從圖3.12可以看到，輸入層與激活層實際上時全連接模式，即每一個像素點產生的脈沖序列都會再激活層有一個對應權重。激活層與抑制層之間時一一對應連接，但抑制層與激活層的連接卻是全連接模式，除了激活層已經與抑制層產生連接的神經元。這樣的網絡設計模式實際上是由理由的。這應用的winter take all法則，即當某個激活層的神經元產生興奮后，該興奮傳遞到抑制層后，抑制層會抑制其他所有神經元產生脈沖。也就是說，不斷的訓練后，能夠產生脈沖的神經元會趨向于越來越容易產生脈沖，而其他神經元會越來越無法產生脈沖。從而達到訓練的目的。這和傳統的K-means算法也有異曲同工之妙，但不同的是STDP 非監督學習存在抑制層，從而避免了某幾個神經元一直占據某個pattern。
3.3.3 模擬結果數值模擬將MNIST 六萬個訓練數據編碼后作為脈沖輸入，整個訓練集進行了6次迭代，一共是36萬張圖片，訓練結束后學習慮被置為零，動態閾值被鎖定。之后輸入每一類的數字圖片，記錄每個神經元對應該類圖片的激活次數，并且選取其中激活次數最多的為該神經元的標簽。之后使用測試集的一萬張圖片作為脈沖輸入，觀察每當一張圖片輸入時，哪個神經元的激活頻率最高，如果該神經元的標簽與輸入圖片屬于同一pattern，那么認為分類正確。統計10000萬張圖片的平均準確率，得到網絡的訓練的評價值即Accuracy。
圖3.13 神經網絡權值矩陣圖
這里訓練后激活層的權值矩陣。之前提到了，當網絡訓練完成后，我們會輸入每一個圖片的pattern，以激活次數最高的神經元作為該pattern的標簽，在這樣經過改進后，圖5.3是激活層神經元重組后的權值分布，可以看到，不同神經元對于不同pattern的適應程度不同，體現在顏色的深淺上。
圖3.14 輸入層到激活層權值矩陣可視化圖
圖3.15 激活層到抑制層權值矩陣可視化圖
從圖3.14我們可以看到，只有很少部分的權值很高，即呈現黃色小點模式，體現即只有少數pattern才能夠產生脈沖，其他的脈沖都被抑制，這個圖像很好體現了我們在學習過程中的winer-take-all的模式。圖3.15體現的更加明顯的是，因為網絡的設計是激活層與抑制層一對一連接，抑制層與激活層反向全連接，但除去了從激活層連接過來的神經元，因此在權值的對角線上都是winer，而其他的神經元都被抑制，從而達到了我們從眾多神經元中選取出適合當前輸入的正確pattern。
之后我們輸入10000個MNIST的test集圖片進行外推，結果是：Sum response - accuracy: 91.43 number incorrect: 857。即我們在驗證集上達到了91.43%的準確度。總的來說還是比較可觀的。
結 論本文用了三個數值模擬的方法，分別對于神經元硬件化條件，神經突觸硬件化條件，神經元學習規則優越性做了探究。在神經元硬件化上，通過使用不同的非線性函數進行數值模擬，得到了其實在當選取激活函數時，函數與輸入值的正相關性并不是必要的，非線性才是最為重要的基準。并且作者使用簡單的鏈式求導法則，證明了神經元的硬件化需要有加權乘法器的功能，并且強調了乘法器的線性程度。也就推出了權值更新時，權值該變量與輸入值的正相關性的重要性，也可以說是正負變化的對稱性是對隨機梯度下降法達到收斂的充分條件。在SNN數值模擬上，本文先嘗試了tempotron有監督SNN算法，并且對其權值改變的方程做出了LTP與STDP法則的兩種試探，發現STDP的效果更好，也不愧是貼近人類大腦的學習模式。這里也需要指出tempotron算法的缺點在于該算法只能針對單神經元，即脈沖只能判斷單個神經元能不能發出脈沖，泛用性不是特別強，但是將輸入改成離散的脈沖輸入，在神經網絡的結構和理念上是一個很大的突破。接著文章以STDP學習機制更為優秀的基礎上，在基于2015年Peter教授的無監督STDP學習網絡[16]這篇論文的基礎上，使用實驗相關的數據進行了數值模擬，指出了該網絡的結構，采用winter-take-all模式與IF神經元結構，實現了在沒有任何標簽和領域知識的無監督學習網絡的模擬，并且在MNIST的test數據集上達到了91.43%的正確率。從實驗上證實了STDP學習機制可以用于無監督學習，指出了其在未來發展的巨大潛力。
最后本文提出一些對于當前硬件神經網絡研究的看法，目前實現硬件神經網絡的方法在緒論也有提出，主要有微電子方法、半導體突觸和光學實現。作者認為想要實現真正的類腦計算。我們就需要研究更與人類達到貼切的器件。盡管在微電子方面，目前的技術可以實現精度很高的數字模擬電路。但是實際上那也只是靠我們強大的算力與耗費了很多資源達到的結果。再說全光學的神經網絡，這樣的設想只能夠用天才來形容，這樣的網絡耗能少，效率高，速度快。但這并不能夠算是類腦計算，只是從物理的角度對于神經網絡進行了實現。真正的類腦計算我相信應該是基于STDP，LTP, LTD這些與人腦大腦對于信號實際反映做出的模型之上的。近年來已經發展了很多基于STDP或者類腦計算的算法，并且在數值模擬上都證實了其實現的可能性。目前的當務之急應該是制備出與這些理論符合的突觸器件或者神經元元件，然后進行集成，實現一個結合微電子設計電路與編碼處理，從而實現一個從輸入，到reference，再到自動Back Propagation修改誤差的自主型芯片，真正達到off-chip模式的神經網絡計算與硬件化。
參考文獻[1]Takao Watanabe, Katdutaka Kimura, Masakazu Aoki, et al. A Sinngle 1.5-V Digital Chip for a 106 Synapse Neural Network. IEEE Transactions on Neural Networks. May 1993,4(3): 387-39
[2]Matthew S Melttn, Tan Phan, Douglas S Reeves, et al. The TInMANN VLSI Chip. 1993, 4(3): 394 -340
[3]Hendrik C A M, Withagen. Neural Networks: Analog VLSI Implementation and Learning Algorithms. Ph.D thesis, Eindhoven,1997
[4]高麗娜 邱關源. 一種連續可調權值 CMOS 神經網絡. 電子學報, 1998, 26(2): 120-122
[5]Bernabé Linares-Barranco et al. A Modular T-Mode Design Approach for Analog Neural Network Hardware Implementations. IEEE Journal of Solid-State Circuits,1992, 27(5): 701-712
[6]Strukov, Dmitri B, Snider, Gregory S, Stewart, Duncan R and Williams, Stanley R. The missing memristor found. Nature. 2008, 453: 80–83. doi:10.1038/nature06932.
[7]賀靜, 基于CMOS 模擬技術的多種前饋人工神經網絡硬件的研究與實現 [D]. 湘潭大學, 2014
[8]侯媛彬,杜京義,汪梅. 神經網絡 [M]. 西安:西安電子科技大學出版社, 2007: 16-19.
[9]Q. Yu, S. Member, R. Yan, H. Tang, K. C. Tan, H. Li, IEEE Trans. Neural Networks Learn. Syst. 2016, 27, 621.
[10]M. Giulioni, X. Lagorce, F. Galluppi, R. B. Benosman, Front. Neurosci. 2016, 10, 1
[11]Bengio, Y. and Fischer, A. (2015). Early inference in energy-based models approximates back-propagation. Technical Report arXiv:1510.02777, Universite de Montreal.
[12]Scellier. B. and Bengio, Y. (2016).Towards a biologically plausible backprop. arXiv:1602.05179 .
[13]Markram H, Lübke J, Frotscher M, et al. Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs[J]. Science, 1997, 275(5297): 213-215.
[14]Bi G, Poo M. Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type[J]. Journal of neuroscience, 1998, 18(24): 10464-10472.
[15]Peng Yao, Xueyao Huang, Wenqiang Zhang,Qingtian Zhang.Face classification using electronic synapses.2017.5.12.DOI: 10.1038
[16]Peter U. Diehl, Matthew Cook.Unsupervised learning of digit recognition using spike-timing-dependent plasticity.Front. Comput. Neurosci., 03 August 2015 | DOI:10.3389
[17]Qingzhou Wan, Mohammad T. Sharbati, John R. Erickson, Yanhao Du, and Feng Xiong.Emerging Artificial Synaptic Devices for Neuromorphic Computing
[18]陳瓊. 鄭啟倫.人工神經網絡系統硬件實現的研究進展.[J].電路與系統學報.2000 年 3 月
[19]Cowan J D . Discussion:McCulloch-Pitts and related neural nets from 1943 to 1989[J]. Bulletin of Mathematical Biology, 1990, 52(1-2):73-97.
[20]Mcclelland J . Reflections on Cognition and Parallel Distributed Processing[J]. 1986.
[21]Xing Lin, Yair Rivenson, Nezih T. Yardimci, Muhammed Veli, Yi Luo, Mona Jarrahi and Aydogan Ozcan.All-optical machine learning using diffractive deep neural networks[J].Science.DOI:10.1126.July 26.2018
附 錄代碼具體說明請參考github.com/zhenghaobaby/graduated_design
作者簡歷姓名：鄭浩 性別：男 民族：漢族 出生年月：1997-04-11 籍貫：四川成都
教育背景：
2012.09-2015.07 成都七中
2015.09-2019.07 浙江大學攻讀材料科學工程學士學位
攻讀學位期間發表的學術論文與取得的其他研究成果已：
[1]XXXXXXX
[2]XXXX
待：
[1]XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
[2]XXXX
已授權專利：
[1]XXXXXX
第3篇：量子神經網絡算法范文
關鍵詞：徑向基概率神經網絡；變壓器；故障診斷
中圖分類號：TU7 文獻標識碼：A 文章編號：1671-2064（2017）01-0149-03
Abstract：Oil-immersed transformer fault diagnosis is mainly using gas chromatography analysis of modified three ratio method， but there are problems such as coding defects and critical value criterion defects. By constructing a radial basis probabilistic neural network （RBPNN） model， withits characteristics of distributed parallel processing， adaptive， self-learning， used in oil-immersed transformer fault diagnosis. Use a substation transformer data of the SGC province branch for model training and fault diagnosis. Simulation results show that the model based on RBPNN has higher accuracy， and can be used in oil-immersed transformer fault diagnosis.
Key words： radial basis probabilistic neural networks；transformer；fault diagnosis
引言
電網系統中，變壓器作為重要的組成設備，其安全運行狀態對整個電網的安全運行起著關鍵作用，因此對其進行故障診斷具有重要意義。油中溶解氣體分析法通過分析變壓器中的溶解氣體組成來判斷故障類別。目前，我國對油浸式變壓器進行故障診斷主要采用國際電工委員會（International Electrotechnical Commission，IEC）三比值法或改良三比值法[1]。在實際診斷過程中，該判據存在兩方面的不足，即所謂編碼缺損和臨界值缺失[2]。隨著人工智能技術的發展，其在變壓器故障診斷方面也得到了應用。徑向基概率神經網絡（Radial Basis Probabilistic Neural Networks，RBPNN）是將徑向基函數神將網絡（Radial Basis Function Neural Networks，RBFNN）和概率神經網絡（Probabilistic Neural Networks，PNN）組合而成的一種人工神經網絡，既利用了RBFNN中樣本集中模式的交錯影響，又利用了PNN時訓練的優點[4]。
本文將RBPNN模型應用與變壓器故障診斷，首先建立變壓器狀態類型及編碼對應關系，然后使用訓練數據集RBPNN故障預測模型，最后利用該模型在測試數據集上進行故障預測。該方法結合國家電網某省某變電站變壓器實際數據，利用該方法進行故障預測，結果表明其具有較低的預測誤差率。
1 徑向基概率神經網絡
徑向基概率神經網絡的構成是將徑向基函數神將網絡的輸出層連接到概率神經網絡的輸入層，構成具有四層結構的人工神經網絡，即第一輸入層、第二隱藏層、第三隱藏層和第四輸出層，其具體的模型結構如圖1所示。
RBPNN模型的第一輸入層接收樣本數據輸入，并輸出到第二隱藏層。設樣本數據為
其中，xi是樣本數據中第i個特征，。
RBPNN模型的第二隱藏層由樣本空間中每個模式類別的隱中心矢量組成，其節點的激活函數是滿足Parzen窗口函數的徑向基函數K（?）。第二隱藏層向第三隱藏層的輸出可表示為
其中，hi（x）是第二隱藏層第個輸出，ci是徑向基函數的中心矢量（代表了第一輸入層與第二隱藏層的連接權重Wi（1），即ci=Wi（1），并且可以通過自適應學習來選擇），S1是第二隱藏層的節點數。
RBPNN模型的第三隱藏層對第二隱藏層的輸出按照隱中心矢量的類別進行由選擇的連接并進行求和運算。第三隱藏層向第四隱藏層的輸出可表示為
其中，Ok（x）是第三隱藏層第k個輸出，mk是第k個模式類別的節點個數。
RBPNN模型的第四輸出層是線性輸出，相當于單層線性感知機網絡。第三隱藏層與第四輸出層的連接權值Wi（2）通過樣本數據訓練學習的到（具體訓練過程見下節）。第四隱藏層的輸出，即整個RBPNN模型的輸出，可表示為
其中，yj（x）是第四輸出層第j個輸出，Wjk（2）是第三隱藏層第k個節點至第四輸出層第j個節點的連接權值。
則N個訓練樣本訓練RBPNN模型可表示為
其中，W是第三隱藏層與第四輸出層的連接權重矩陣，O是第三隱藏層輸出矩陣，Y是第四輸出層輸出矩陣。
2 遞推正交最小二乘學習算法
由于RBPNN的四層網絡結構特點，第三隱藏層與第四輸出層的連接權重Wi（2）需要訓練，而第四輸出層每個節點的輸出僅是與第三隱藏層輸出的線性累加。由此，可使用遞推正交最小二乘法（Recursive Orthogonal Least Squares Algorithm，ROLSA）求解權值Wi（2）。
2.1 正交最小二乘法
首先o出正交分解定理[5]：
定理1.1任一向量相對于向量子空間可以唯一被分解為相互垂直的兩個分量，其中一個分量平行于子空間Y，而另一個分量則垂直于子空間Y，即：
2.2 遞推求解過程
在對第三隱藏層的輸出矩陣O進行正交分解時，由于樣本數量通常較多，需要大規模的計算負荷。為減少計算復雜度，采用遞推算法計算第三隱藏層與第四輸出層的連接權重，即使用第t-1樣本來計算t樣本的連接權重W。
設第t個樣本時RBPNN的損失函數為L（t），
其中，T（t-1）和O（t-1）是第t-1個樣本的期望矩陣和第三隱藏層的輸出矩陣，t（t）和o（t）是第t個樣本的期望矩陣和第三隱藏層的輸出向量。
對式（2.10）進行正交分解，化簡整理，得：其中，e（t）是第t個樣本的殘留誤差。
由以上，得到使用ROLSA訓練RBPNN連接權重的具體步驟如下：
算法2.1 訓練RBPNN的遞推正交最小二乘算法
（1）隨機初始化上三角方陣R（0）和誤差矩陣，其中。
（2）t =1
（3）計算R（t），，
（4）如果，則，轉（3），否則，轉（4）。
（5）計算，和W，算法結束。
3 應用分析
按照上述方法，選取國網公司某省某變電站油浸式變壓器油色譜及對應故障數據94組作為樣本數據進行模型構建，以預測變壓器故障類型。
具體過程如下：
（1）故障類型編碼。
對變壓器9種狀態，其中故障類型8種及正常狀態1種，采用二進制形式編碼。變壓器狀態類型及編碼對應關系見表1。
（2）對變壓器油色譜及對應故障數據進行分組。
將94組樣本數據分為訓練數據集和測試數據集，其中訓練數據集74組（約占78%），測試數據集20組（約占22%）。
（3）構建RBPNN模型，并使用訓練集數據及ROLSA算法對其進行訓練。圖2是RBPNN模型在訓練數據上的效果及誤差。經計算，訓練誤差率（Error Rate）是0.081。
（4）使用訓練后的RBPNN模型進行預測分析。
使用訓練后的RBPNN模型在測試數據集上進行預測分析。圖3為測試數據預測結果。經計算，測試誤差率（Error Rate）是0.05，預測較準確。
4 結語
RBPNN模型具有RBFNN模型和PNN模型的優點，使得它在油浸式變壓器故障診斷的模式識別任務中具有較突出的優勢。本文應用RBPNN模型對油浸式變壓器進行故障診斷，實驗結果證明了該模型誤差率較低，是一種有效方法。
參考文獻
[1]變壓器油中溶解氣體分析和判斷導則[S].GB/T 7525-2001.
[2]LIANG Y C， SUN X Y， LIU D H. Application of Combinatorial Probabilistic Neural Network in Fault Diagnosis of Power Transformer[C].International Conference on Machine Learning and Cybernetics，1115-1119，2006.
[3]肖鍵華.智能模式識別方法[M].華南理工大學出版社2006.
第4篇：量子神經網絡算法范文
關鍵詞： 有督導機器學習； 網絡流量識別； LSSVM； 協同量子粒子群優化算法
中圖分類號： TN711?34； TP393 文獻標識碼： A 文章編號： 1004?373X（2015）21?0109?04
Network traffic identification system based on supervised machine learning
XING Yufeng， MAO Yanqiong
（School of Humanity and Art， Yunnan College of Business Management， Kunming 650106， China）
Abstract： In the real network environment， a large number of interference noise and outlier samples are existed， which seriously affect on the performance of the least square support vector machine （LSSVM） algorithm. A network traffic identification system combining cooperative quantum particle swarm optimization （CQPSO） algorithm with LSSVM is proposed. The network traffic is divided into 12 types， in which the data of network traffic are collected. The network traffic identification system is conducted with training and performance test by the collected data. To study the performance of the CQPSO?LSSVM based algorithm， the CQPSO?LSSVM based algorithm is compared with the PSO?LSSVM based algorithm. The comparison results show that the CQPSO?LSSVM based algorithm has faster identification speed and better identification accuracy， which can avoid the occurrence that the system is caught in local optimal solution.
Keywords： supervised machine learning； network traffic identification； LSSVM； CQPSO algorithm
0 引 言
隨著隨著互聯網技術的不斷發展壯大，不斷涌現出各種各樣的網絡服務和應用類型，這對互聯網管理提出了更高的要求，同時網絡安全問題日益嚴重，對網絡流量進行實時有效的檢測，具有非常重要的意義[1?2]。
傳統對網絡流量進行分類識別的方式手段主要有：基于端口識別技術的網絡流量分類識別方法；基于數據包載荷內容的網絡流量分類識別方法。傳統網絡流量分類識別方法雖然具有算法簡單、效率高等優點，但是由于其自身局限性已經不再適用于當今復雜多樣互聯網服務類型和應用。
現在應用比較廣泛的網絡流量分類識別方法主要有：基于統計特征的網絡流量分類識別方法；基于有督導機器學習的網絡流量分類識別方法；基于無督導機器學習的網絡流量分類識別方法。有督導機器學習算法又分為基于貝葉斯算法、基于決策樹算法和基于支持向量機算法以及基于神經網絡算法等；無督導機器學習算法又分為基于模型方法、基于密度方法以及基于劃分方法等[3?6]。
1 網絡流量識別系統
1.1 網絡流量分類
近年來，P2P技術已經得到了非常廣泛的應用，P2P應用類型也隨著其服務類型的增長而增長，因此，過去文獻在對網絡流量識別進行研究時，通常將網絡流量類型分為10個類型。本文根據P2P服務類型將三種常用應用類型分別考慮，即分為P2P文件共享、音視頻以及即時通信應用服務。因此，本文對網絡流量類型劃分為12個類型，如表1所示[7]。
1.2 基于機器學習的網絡流量識別分類方法
機器學習方法已經得了非常成熟廣泛的發展，將機器學習應用于網絡流量識別技術，能夠有效提高網絡流量識別系統的識別率以及識別速度。機器學習通常分為兩種，即有督導機器學習和無督導機器學習。相比無督導機器學習來說，基于有督導機器學習的網絡流量識別系統具有更好的識別性能。
基于有督導機器學習的網絡流量分類識別方法一般通過大規模已知類別的網絡流量會話流樣本數據對識別系統進行訓練，使得系統具有較強的泛化能力。基于有督導機器學習的網絡流量識別分類訓練過程如圖1所示[8]。
圖1 基于有督導機器學習的網絡流量識別分類訓練過程
基于有督導機器學習的網絡流量分類識別方法種類繁多。其中最小二乘支持向量機法因其具有較好的魯棒性和實用性能，得了比較廣泛的應用。最小二乘支持向量機法綜合了神經網絡和支持向量機兩種算法的優點，摒棄了支持向量機訓練過程復雜、效率低以及神經網絡需要大數據樣本的缺點。因此最小二乘支持向量機法不僅具有較快的訓練速度，而且具有較強的泛化能力[9]。
但是由于真實網絡環境中，存在大量干擾噪聲和野值樣本等，嚴重影響了最小二乘支持向量機算法的性能；因此本文提出一種結合協同量子粒子群優化算法和最小二乘支持向量機的網絡流量識別系統。
2 協同量子粒子群算法
2.1 量子粒子群算法
設粒子群中有[N]個粒子，其中：第[i]個粒子的位置[xi=xi1，xi2，…，xiD；]第[i]個粒子的速度[vi=vi1，vi2，…，viD；]第[i]個粒子的歷史最優位置[pi=pi1，pi2，…，piD；]整個粒子群體的歷史最優位置是2.2.1 協同搜索策略
協同搜索策略的核心思想是，將整個種群分解成多個子群，整個種群使用的是對一個種群進行搜索的策略，而將整個種群分解成多個子群后，能夠成功削弱種群的多樣性在迭代后期降低而產生的早熟問題[11]。
2.2.2 粒子的學習行為
式中：[lcmax]和[lcmin]是學習參數的最大和最小值；[a]是不小于0的常數。
協同量子粒子群算法（簡稱CQPSO），就是使用上面描述的協同搜索策略的QPSO算法。
2.3 CQPSO?LSSVM的網絡流量識別步驟
步驟1：對網絡流量數據進行采集，對數據進行處理后，得到網絡流量特征向量。
步驟2：隨機得到[N]個粒子的位置[Xi，]對各個粒子的適應值[fXi]進行計算。
步驟3：將粒子群分成[s]個子群，計算每一個子群適應值的最優粒子序號：[k=argmin1≤i≤NsfXsi]，那么各個子群的最優解為：[pgs=Xsk；][k=argmin1≤i≤sfpgi，][pgpop=pgk，]由基因比率[Rgene]選出子群中適應值最優的粒子來組建種群基因庫。
步驟4：對收縮擴張系數[βt、]子群的[βti1≤i≤s]以及[lc]進行計算，[qi]取決于[lc]與[lrand]關系。
步驟5：對粒子的適應值、子群的[pi、]子群的[pg]以及種群最優解[pgpop]進行更新。
步驟6：當到達進化的周期后，依據[Rdead]淘汰子群中劣質粒子，更新種群的基因庫。
步驟7：重復步驟4到步驟6，直到迭代完成。
步驟8：求解[pgpop，]得到網絡流量識別的最優特征子集。
步驟9：使用步驟8得到的網絡流量識別的最優特征子集建立網絡流量識別模型[12]。
3 實驗分析
3.1 實驗數據采集
使用基于Libsvm軟件包的C#程序對網絡流量數據進行采集，使用Matlab軟件構建基于PSO?LSSVM、QPSO?LSSVM和CQPSO?LSSVM算法的網絡流量識別模型，對采集的數據進行處理。
將采集到的數據分為兩組：一組用于對基于三種算法的網絡流量識別模型進行訓練；另一組數據測試訓練后的基于三種算法的網絡流量識別模型的識別性能。
3.2 網絡流量分類方法性能評價標準
針對網絡流量識別方法的評價標準，人們通常使用反饋率（recall）、準確率（precision）評估識別方法性能，具體表示為：
[recall=TPTP+FN×100%] （12）
[precision=TPTP+FP×100%] （13）
式中：TP（True Positive）是被系統正確識別的類型A的樣本數量；FN（False Negative）是未被系統正確識別的類型A的樣本數量；FP（False Positive）是被系統誤認為是類型A的樣本數量。
3.3 網絡流量識別流程
基于本文提出的CQPSO?LSSVM網絡流量識別流程如圖2所示[13]。
圖2 網絡流量識別流程
為了研究本文提出的CQPSO算法的優化性能，使用QPSO作對比實驗。設定粒子群個數為20，子群的規模是5，收縮擴張系數[β]隨著迭代次數線性下降，由1.0降至0.5。得到兩種算法在Rosenbrock函數和Ackley函數這兩個測試函數下的性能對比如圖3所示。可以看出，CQPSO算法比QPSO算法具有更快的收斂速度和收斂精度，具有更好的穩定性能[14]。
3.4 實驗結果分析
使用本文提出的CQPSO?LSSVM識別算法對實驗數據進行識別后，得到表1中各種網絡服務類型與應用的識別準確率和反饋率，見表2。
通過表2的數據可以看出，本文研究的CQPSO?LSSVM識別算法對12種類型網絡服務與應用均有較好的識別準確率和反饋率。為了橫向比較本文研究算法的性能，使用基于PSO?LSSVM算法和基于QPSO?LSSVM算法的網絡流量識別系統對同樣的數據進行模型訓練和測試，得到了基于三種不同算法的識別系統的識別準確率、反饋率以及識別速度[15?16]。
表2 各個網絡流量類別的準確率與反饋率
[類別＼&應用名稱＼&反饋率 /%＼&準確率 /%＼&WWW＼&HTTP＼&94.9＼&95.7＼&P2P文件共享＼&BitTorrent＼&92.9＼&93.6＼&P2P音頻視頻＼&PPlive＼&90.1＼&91.2＼&P2P即時通信＼&QQ＼&92.3＼&92.1＼&ATTACK＼&Virus＼&97.6＼&98.1＼&GAMES＼&Half?life＼&95.2＼&96.9＼&MULTIMEDIA＼&Real media player＼&86.2＼&86.8＼&INTERACTIVE＼&Telnet＼&90.7＼&88.8＼&DATABASE＼&SqLnet＼&94.8＼&95.1＼&BULK＼&FTP＼&92.5＼&90.9＼&SERVICES＼&DNS＼&92.6＼&93.9＼&MAIL＼&Stmp＼&98.3＼&97.2＼&]
圖3 CPSO與CQPSO算法性能對比
CQPSO?LSSVM識別算法的平均識別準確率達到了93.36%，比QPSO?LSSVM算法的平均識別準確率高出5.28%，比PSO?LSSVM算法的平均識別準確率高出10.3%，CQPSO?LSSVM識別算法的平均識別反饋率達到了93.18%，比QPSO?LSSVM算法的平均識別反饋率高出4.32%，比PSO?LSSVM算法的平均識別反饋率高出9.37%。可以說明，相比粒子群優化算法來說，量子粒子群優化算法能夠得到更優良的特征子集，因此得到了更好的流量識別效果。另外由于CQPSO?LSSVM識別算法使用了協同策略，因此避免出現陷入局部最優解的情況發生，因此加快了算法收斂速率，提高了識別準確率[17?18]。
4 結 論
與傳統網絡流量分類方法不同，本文將P2P應用分為三類，即P2P文件共享、P2P音視頻以及P2P即時通信服務，因此本文將網絡流量類型劃分為12個類別進行研究。
將CQPSO算法和QPSO算法在Rosenbrock函數和Ackley函數這兩個測試函數下進行性能測試，結果表明，CQPSO算法比QPSO算法具有更快的收斂速度和收斂精度，具有更好的穩定性能。
將本文提出的基于CQPSO?LSSVM算法與基于PSO?LSSVM算法和基于QPSO?LSSVM算法在相同網絡環境下，使用相同數據進行性能測試對比。結果表明基于CQPSO?LSSVM算法具有更快的識別速度以及更好的識別準確率，避免了出現陷入局部最優解的情況發生。
參考文獻
[1] 王濤，余順爭.基于機器學習的網絡流量分類研究進展[J].小型微型計算機系統，2012（5）：1034?1040.
[2] 鄧河.基于機器學習方法的網絡流量分類研究[D].株洲：湖南工業大學，2009.
[3] 楊飛虎.特征選擇算法及其在網絡流量識別中的應用研究[D].南京：南京郵電大學，2012.
[4] 楊宜辰.基于機器學習的網絡流量分類技術研究與應用[D].淮南：安徽理工大學，2014.
[5] 儲慧琳，張興明.一種組合式特征選擇算法及其在網絡流量識別中的應用[J].小型微型計算機系統，2012（2）：325?329.
[6] 陶維天.基于校園網的網絡流量監控技術研究與應用[D].蘭州：蘭州大學，2010.
[7] 王程.網絡流量識別分析系統的設計與實現[D].長春：吉林大學，2014.
[8] 許孟晉.基于機器學習的網絡流量分類系統研究與實現[D].長沙：國防科學技術大學，2010.
[9] 顧成杰，張順頤.基于改進SVM的網絡流量分類方法研究[J].儀器儀表學報，2011（7）：1507?1513.
[10] 楊子江.基于混沌量子粒子群算法的流水線調度[D].上海：華東理工大學，2013.
[11] 胡天騏，單劍鋒，宋曉濤.基于改進PSO?LSSVM的模擬電路診斷方法[J].計算機技術與發展，2015（6）：193?196.
[12] 孟凡兵，彭順堂，陳華.一種QPSO優化SVM的模擬電路故障診斷方法[J].計算機與數字工程，2015（6）：1149?1151.
[13] 朱大奇，袁義麗，鄧志剛.水下機器人參數辨識的量子粒子群算法[J].控制工程，2015（3）：531?537.
[14] 陳善學，楊政，朱江，等.一種基于累加PSO?SVM的網絡安全態勢預測模型[J].計算機應用研究，2015（6）：1778?1781.
[15] 劉麗霞.基于小波理論與LSSVM的模擬集成電路故障診斷方法[D].西安：西安電子科技大學，2011.
[16] 黃麗，孫玉坤，嵇小輔，等.基于CPSO與LSSVM融合的發酵過程軟測量建模[J].儀器儀表學報，2011（9）：2066?2070.
第5篇：量子神經網絡算法范文
傳統的故障選相元件主要采用突變量與穩態量相結合，以工頻量為基礎。在多數情況下這些選相元件對于簡單故障能正確地選擇故障相，但其選相速度不夠快，且易受系統的運行方式及故障接地電阻的影響，結果往往不理想。因此，新型快速的故障選相方法成為眾多學者研究的方向。新型的故障選相方法主要有：基于行波故障的選相元件和基于故障暫態量的選相元件。基于行波的選相元件主要是利用故障時信號的行波波頭所包含的信息進行故障選相。雖然基于行波的選相元件能在故障發生的第一時間捕獲故障信息，與傳統的選相方法相比具有靈敏度高、識別率好等優點，且對波頭進行處理的方法也有很多。但基于行波的故障選相方法存在一些缺點，如初始行波受初始角、反射波、故障電弧等因素的影響。基于行波的選相元件由于計算量大，對處理器的運算能力要求也比較高，費用相對也就比較高，在嵌入式系統中難以做到實時性，這使得基于行波的故障選相方法具有很大局限性。基于故障暫態量的選相是利用輸電線路發生故障時所產生的故障暫態信號實現故障選相，故障暫態信號與線路參數、故障情況等有關，不受系統運行方式、過渡電阻、電流互感器飽和、系統振蕩、長線分布電容等的影響。近年來又隨著硬件條件的實現和小波變換等信號處理工具的發展，使得大量、準確、實時地獲取故障時產生的暫態電壓和電流信號，并使對其作進一步的處理成為現實。這些豐富的故障暫態信號蘊涵了大量的故障特征信息，其頻率成分貫穿于整個頻譜中，如果能充分利用這些信息就能快速地對故障相作出判斷。因此，基于故障暫態量的選相方法具有很大的發展前景，使得越來越多的學者從事電力系統暫態信號的研究。目前用于電力系統故障類型識別的方法有很多，如小波分析、神經網絡和模糊理論等智能算法、數學形態學等。1.小波分析文獻利用小波對暫態電流的模分量進行分析，并通過比較各相暫態電流的能量和各模分量的大小進行故障相判斷。文獻[16]利用小波提取故障暫態電流信號的特征，通過計算提取的信號特征沿尺度分布的權重得到暫態電流信號的小波熵權，進而構造故障選相判據。文獻[17]對線路兩端模量方向行波之差進行小波變換，通過比較其幅值大小來判別故障類型，但對兩相接地故障的具體類型區分不明確。文獻通過比較（零、線）模量電流行波的幅值之間的大小關系從不同角度進行故障選相。但是，由于零模量的嚴重衰減導致保護裝置不能正確反映故障點處零模與線模的大小關系，當輸電線路遠端發生單相接地或兩相接地故障時可能出現誤判。文獻將小波奇異熵應用于識別高壓輸電線路的故障相，提出了一種基于暫態電壓的選相方案。通過取各相的小波奇異熵相對比值反映故障相和非故障相間的相對差異，構成高壓輸電線路故障選相的依據。2.神經網絡和模糊理論等智能算法文獻[20-21]利用提升小波變換對故障信號進行處理，并作為神經網絡的輸入構造了一種新型的小波神經網絡模型來識別輸電線路故障。文獻通過小波包將故障電壓和故障電流分解后分別獲得分解后的故障暫態量的能量值和熵值，并將能量值與熵值分別對神經網絡進行訓練，對輸電線路進行故障分類和定位。文獻在暫態信號多尺度的基礎上定義了小波能量熵，并與模糊邏輯系統相結合形成故障類型識別方法。3.數學形態學文獻[25]在分析EHV線路發生故障后電流模分量的基礎上，利用數學形態學梯度提取暫態信號波頭能量，構成故障選相方案。文獻提出了一種基于數學形態譜和神經網絡相結合的識別接地短路故障類型的新方案。該方法對三相電流進行相模變換后，用數學形態學顆粒對電流各模量分析并提取模電流的形態譜，將各形態譜作為神經網絡的輸入，進而判斷出接地故障的類型。
二、小波分析在電力系統暫態處理中的應用
20世紀80年代初Morlet等人第一次提出了小波變換的概念。它可以根據處理信號頻率的高低自行調整窗口的大小，確保捕捉到有用的信息，可以對信號奇異點作多尺度分析。小波變換有以下特點：在高頻范圍內時間分辨率高；在低頻范圍內頻率分辨率高；既適合于分析平穩信號及非平穩信號；有快速算法——Matlab算法；利用離散小波變換可以將信號分解到各個尺度（頻帶）上。由于小波變換有以上優點，所以它在各個應用領域中都得到了廣泛應用，比如生物醫學工程、機械故障診斷、非線性動力系統、量子物理、模式識別、參數辨識、CT成像、數據壓縮等。近幾年小波變換技術在分析和處理電力系統暫態信號方面也顯示了其優越性和良好的應用前景，主要應用領域包括電力信號去噪、數據壓縮、電力設備故障診斷、電能質量信號分析、故障定位等。文獻[28]指出db6小波對電壓暫升、暫降、閃變信號均能獲得較好的去噪效果。文獻[29]提出了一種小波包去噪算法，用以消除暫態擾動檢測中噪聲的影響，為在噪聲環境中檢測和定位暫態擾動提供了依據。電能質量信號分析方面：文獻[31]將小波包用于對諧波的檢測，并與IEC推薦的諧波檢測方法進行了對比，仿真結果證明了基于小波包的檢測方法對非整次諧波與間小波的檢測要優于IEC推薦的方法。電力設備診斷方面：文獻[30]通過對基于Shannon熵的最優小波包基的快速搜索算法的探討，提出了基于最優小波包基小波包方法。在輸電線路故障定位方面：（1）故障選線。文獻[31]提出了基于單相電流行波的故障選線原理。文獻[32]利用小波變換與電弧故障產生的突變相結合而進行故障選相。文獻[33]提出用小波變換提取電流故障分量的暫態能量，并且以三相間暫態能量的大小及其相對關系來識別故障類型和判斷故障相的新方案。文獻[34]利用小波變換提取故障后電流行波的線、零模量，根據提取出的電流行波波前1/8周期的能量進行故障選相。文獻[35]通過小波變換利用故障電流行波幅值及極性邏輯關系相結合的故障類型識別方法，并設計出了故障類型識別的實用算法。該方法可以提高以往行波故障選相方案中利用零、線模量之間幅值關系判別單相接地或兩相接地故障時的可靠性。總的來說，目前基于暫態信號，利用小波變換工具進行選相的方法得到了很好的研究，但在實際應用時仍需進行相應的分析論證。文獻[36]對電力系統暫態信號提取小波能量熵及能量熵權，并將其分別對神經網絡進行訓練，提出了小波能量熵與神經網絡相結合的故障分類方法。（2）故障測距。電力系統要求及時、準確地得知線路故障位置，以便用最短的時間清楚故障，盡快恢復供電，現已有可用于解決實際問題的各種故障測距方法。小波變換可以很好地表征輸電線路故障行波信號的突變點，故很多文獻提出用小波變換來進行行波故障測距。主體思路是：運用小波變換對故障信號進行分解，并用小波變換模極大值表示故障信息，揭示了行波信號奇異、瞬時信號與小波變換模極大值的關系，運用小波對奇異點檢測的原理，確定兩次行波波頭達到檢測點的時間間隔及故障發生的時刻，推算出故障位置，以達到故障定位的目的。
三、熵理論的應用現狀
1948年Shannon把通信過程中信源訊號的平均信息量定義成為熵，這就是信息熵。小波熵是小波變換和信息熵的結合，它具有小波變換和信息熵的特點，對動態系統參數的微小變化具有獨特的敏感性，反映了暫態信號在時-頻域空間的能量分布情況，隨著小波熵理論的不斷發展與完善，它被應用機械、生物、電力系統等眾多領域。生物領域中，文獻[42]運用小波熵分析心跳信號，并識別其變化規律；文獻[43-44]將小波熵應用于EEG等非平穩信號的分析，體現出小波熵區別非平穩信號復雜度的特點，又有其反映微狀態信號快速變化的優點。在機械故障診斷領域里，文獻[45]將小波包與特征熵結合提出了一種診斷高壓斷路器機械故障的新方法，并給出了切實可行的診斷步驟和分析。這幾年小波熵理論在電力系統中的應用才剛剛開始，所以這方面的文獻較少。文獻[46]提出采用離散小波變換和神經網絡相結合的方法，對輸電線路故障進行分類和定位，雖然訓練好的神經網絡可以準確地對故障進行分類和定位，但存在計算量大、運算費用高的缺點。文獻[47]提出一種基于小波熵權和支持向量機相結合的故障識別方法。該方法識別速度快，有較好的通用和實用價值。文獻[48]雖采用了小波分析理論與信息熵理論，但并沒有對小波熵進行一個完整的、系統的定義。文獻[49]綜合闡述了小波熵在電力系統中各方面應用的可行性，表明了其在電力系統中具有良好的發展空間。文獻探討了小波熵在電力系統故障檢測征提取的應用機理，通過仿真一些輸電線路故障檢測對文中給出的幾種小波熵進行了驗證，仿真分析結果表明小波熵測度在暫態信號檢測與分類中有望得到較好的發展。小波熵作為近年來才發展的一種新理論在電力系統故障檢測中的應用具有廣闊前景。所以，在電力系統暫態信號的檢測和分類中運用小波熵理論具有重要的研究意義。
四、結束語
第6篇：量子神經網絡算法范文
>> 數據加密機制的研究與實現 移動數據加密的實現 數據庫敏感字段的加密研究 Web數據庫加密系統的研究與實現 淺議網絡傳輸中數據加密技術的研究 關于數據訪問方式編程的研究 數據加密中的DES加密算法詳解 基于Excel的數據加密方案 基于VFP的數據加密之路 Vista的終極數據加密利器 計算機數據的安全加密 淺談數據加密技術的發展 基于混沌系統的數據加密方案 淺談網絡數據的加密傳輸 DES數據加密的FPGA實現 電子商務數據的量子加密的可行性研究 基于SSL加密的微博數據庫安全的研究 基于網絡安全的數據加密技術的研究 SOL Server的數據庫加密技術的研究與實現 基于數據加密的Hopfield神經網絡技術研究 常見問題解答 當前所在位置：l.
[4] W3C. XML encryption syntax and processing [EB/OL]. [2002?12?10]. http：///TR/2002/REC?xmlenc?core.
[5] RSA. PKCS #5： password?basedencryption standard， version 1.5 [S]. UK： RSA， 1993.
[6] RSA. PKCS #1： RSA encryption standard， version 1.5 [S]. UK： RSA， 1993.
[7] RSA. PKCS #1： RSA encryption standard， version 2.1 [S]. UK： RSA， 2002.
[8] HOOK David. Beginning cryptography with Java [M]. [S.l.]： [s.n.]， 2005.
第7篇：量子神經網絡算法范文
大功率太赫茲回旋管的腔體分析與模擬
太赫茲量子級聯激光器及其光束表征技術
太赫茲高增益天線測量技術的可行性分析
基于氧化釩熱敏特性的太赫茲探測器
太赫茲成像雷達技術發展與制導應用探討
基于FEKO和CST的太赫茲目標RCS仿真
太赫茲波生物醫學研究的現狀與未來
傾轉旋翼飛行器飛控軟件的多線程實現
基于空間信息資源的巡航導彈可控攻擊技術
基于一種改進IMMJPDA算法的地面目標跟蹤
基于平衡Gold碼的TH-UWB系統性能分析
正交頻分復用技術在協作通信下的應用
基于低壓電力線的高速載波模塊設計
數字陣列雷達波束駐留調度間隔分析算法
無線多媒體傳感器網絡部署控制算法
基于合成超構材料的太赫茲調制器設計
基于DDS的低雜散捷變頻合成器設計
多特征融合的雷達信號脈內調制識別
相控陣雷達自適應調度算法仿真
基于可編程顯卡的信息化雷達終端顯示系統
基于星間測距的衛星自主定軌研究與仿真
一種基于介質諧振器的新型電磁超材料
基于CC2431實現的無線傳感器網絡定位
空間三站時差定位的模糊及無解問題
采用電磁帶隙和磁性材料的PCB電源結構
大型復雜空氣板線饋電網絡工程設計
逆合成孔徑雷達抗干擾能力分析
四階雙模介質濾波器的設計和分析
基于游標內插原理的多脈沖測距方法
基于神經網絡和SVM的GPS干擾類型識別
無源感應數據傳輸系統的設計與實現
一種新的變步長最小均方自適應濾波算法
用于T型諧振變換器的耦合電感設計與仿真
一種寬帶信號發生器的設計與實現
粒子濾波在圖像數據分析中的應用
AVS視頻解碼運動矢量預測模塊的硬件設計
一種實序列FFT新算法與C語言實現
X-波段導航雷達海浪圖像譜分析
高動態短時突發通信系統數字鎖相環設計
時域有限差分電磁建模系統的研究與設計
利用地址解析協議的地址空間欺騙技術
自適應濾波自編碼擴頻系統的同步捕獲研究
一種用于無線信道的逐幸存處理均衡器
陣列天線系統的最小互信息盲接收器
一種改進的數字圖像擴頻水印技術
增強型衛星導航接收機的定位模型
嵌入式操作系統編譯器優化技術分析
第8篇：量子神經網絡算法范文
萘乙酸浸種對雜交水稻“開優8號”幼苗生理特性的影響
沉淀法制備新穎結構的NaYF_4:Yb:Dr上轉換發光材料
淮南引進綠化樹種喜樹繁殖特性的研究
淺談城市道路綠化設計——以淮南市為例
中立型多延遲微分方程Runge-Kutta方法的散逸性
高斯整數環的素元形成與商環性質
三層網絡監控的新型煤礦井下電力安全監控系統研究
Harris角點檢測算法的實現及應用效果分析
基于神經網絡的雙小波混沌信號降噪
安徽高校體育專業畢業生心境狀態及其動態變化的研究
安徽高校開展競技健美操必要性及可行性反思
戶外拓展在應用型高校心理素質教育中開展的前景展望
我省高校經濟責任審計面臨的問題及解決途徑
現代風險導向審計下重大錯報風險來源探究
我國農村居民消費行為的實證研究
淺談《尤利西斯》兩個中譯本中的人物塑造
中國洪水再生型神話的生態學意義
劉亮程散文中的生命焦慮意識考論
馬可戲曲改革思想探析
戰后“京派”作家的分化
轉型期我國社會公正問題再考量
漢學開山之新變——毛奇齡音樂史學思想論析
“資源詛咒”與“里昂惕夫之謎”的啟示
儒道視閾中的和諧思想探微
人對“精神家園”的向往——以陜軍作家為例看社會變遷大潮中人對精神家園的構筑(二)
鄴下文學集團的貴族化特征
文士內心的展示——“剪燈”小說思想內容摭談
超然獨騖一居士——以《采桑子》組詞為例析歐陽修退居潁州時的形象
論傅玄詩歌對漢魏詩風的承續
略論海子詩歌神話的基本成因
從《源氏物語》淺談中日文學的親緣性
轉型時期政治溝通的社會價值探析
服務型政府創新的制度供求、創新困境及創新特征分析
我國財政轉移支付制度研究
區域主導產業的選擇及其指標體系的確定
基于顧客忠誠的關系營銷實施措施
科學發展觀指導下的淮南“兩型城市”建設
論承租人和按份共有人的優先購買權
《等待戈多》中的會話關聯性與荒誕主題
K3,4的生成子圖的計數和構造
一類帶干擾的多險種風險模型的破產概率
函數性質在解題中的應用
鋼纖維混凝土低溫力學性能試驗研究
半導體潔凈室溫濕度控制
五種硝酸酯紅外振動光譜和熱力學性質的密度泛函理論研究
量子化學研究水與DNA四種堿基相互作用的規律
多波段混合發射的有機發光材料的合成及光學性質研究
淮南李咀孜礦煤中汞及其分布特征
苔蘚植物的研究進展
化學實驗綠色化研究
廣義對象數字化方法在模擬電子教學中的應用
基于藍牙Ad-hoc網絡通信一種會話密鑰設計
基于ADT的操作系統基礎模型的研究
學校體育信息化的系統模式探析
Google在構建協作學習環境中應用研究
Java課程設置的探討
通用查詢會話Bean的設計
第9篇：量子神經網絡算法范文
關鍵詞：小波變換，小波分析，損傷檢測，小波神經網絡
對小波分析法的簡述
小波變換的概念是由法國從事石油信號處理的工程師J.Morlet在1974年首先提出的，通過物理的直觀和信號處理的實際需要經驗的建立了反演公式，當時未能得到數學家的認可。1986年著名數學家Y.Meyer偶然構造出一個真正的小波基，并與S.Mallat合作建立了構造小波基的同意方法棗多尺度分析之后，小波分析才開始蓬勃發展起來，其中比利時女數學家I.Daubechies撰寫的《小波十講》對小波的普及起了重要的推動作用，通過伸縮和平移等運算功能對函數或信號進行多尺度細化分析，解決了Fourier變換不能解決的許多困難問題。從而小波變化被譽為“數學顯微鏡”，它是調和分析發展史上里程碑式的進展。
“小波”就是小的波形。“小”是指它具有衰減性；而稱之為“波”則是指它的波動性，其振幅正負相間的震蕩形式。與Fourier變換相比，小波變換是時間(空間)頻率的局部化分析，它通過伸縮平移運算對信號(函數)逐步進行多尺度細化，最終達到高頻的時間細分，低頻處頻率細分，能自動適應時頻信號分析的要求，從而可聚焦到信號的任意細節，解決了Fourier變換的困難問題，成為繼Fourier變換以來在科學方法上的重大突破。有人把小波變換稱為“數學顯微鏡”。小波分析的應用是與小波分析的理論研究緊密地結合在一起地。現在，它已經在科技資訊產業領域取得了令人矚目的成就。 電子資訊技術是六大高新技術中重要的一個領域，它的重要方面是影像和信號處理。現今，信號處理已經成為當代科學技術工作的重要部分，信號處理的目的就是：準確的分析、診斷、編碼壓縮和量化、快速傳遞或存儲、精確地重構（或恢復）。從數學地角度來看，信號與影像處理可以統一看作是信號處理（影像可以看作是二維信號），在小波分析地許多分析的許多應用中，都可以歸結為信號處理問題。現在，對于其性質隨實踐是穩定不變的信號，處理的理想工具仍然是傅立葉分析。但是在實際應用中的絕大多數信號是非穩定的，而特別適用于非穩定信號的工具就是小波分析。
小波分析法的應用領域
長期以來，傅立葉分析一直被認為是最完美的數學理論和最實用的方法之一。1946年Gabor提出的加窗傅立葉變換就是其中的一種，但是傅立葉變換還沒有從根本上解決傅立葉分析的固有問題。用傅立葉分析只能獲得信號的整個頻譜，而難以獲得信號的局部特性，特別是對于突變信號和非平穩信號難以獲得希望的結果。為了克服經典傅立葉分析本身的弱點，人們發展了信號的時頻分析法，但是傅立葉變換還沒有從根本上解決傅立葉分析的固有問題。小波變換的誕生，正是為了克服經典傅立葉分析本身的不足，現在小波分析法的應用是十分廣泛的，它包括：數學領域的許多學科；信號分析、影像處理；量子力學、理論物理；軍事電子對抗與武器的智能化；電腦分類與識別；音樂與語言的人工合成；醫學成像與診斷；地震勘探數據處理；大型機械的故障診斷等方面；例如，在數學方面，它已用于數值分析、構造快速數值方法、曲線曲面構造、微分方程求解、控制論等。在信號分析方面的濾波、去噪聲、壓縮、傳遞等。在影像處理方面的影像壓縮、分類、識別與診斷，去污等。在醫學成像方面的減少B超、CT、核磁共振成像的時間，提高解析度等。(1)小波分析用于信號與影像壓縮是小波分析應用的一個重要方面。它的特點是壓縮比高，壓縮速度快，壓縮后能保持信號與影像的特征不變，且在傳遞中可以抗干擾。基于小波分析的壓縮方法很多，比較成功的有小波包的方法，小波網域紋理模型方法，小波變換零樹壓縮，小波變換向量壓縮等。(2)小波在信號分析中的應用也十分廣泛。它可以用于邊界的處理與濾波、時頻分析、信噪分離與提取弱信號、求分形指數、信號的識別與診斷以及多尺度邊緣偵測等。(3)在工程技術等方面的應用。包括電腦視覺、電腦圖形學、曲線設計、湍流、遠端宇宙的研究與生物醫學方面。
（三）小波分析法在土木工程中的應用
隨著大型土木工程的興建,采用先進的儀器和科學的方法來進行在線監測和診斷對結構健康狀況的評估起著越來越重要的作用.但無論是基于固有頻率變化,還是振型變化,以及基于柔度或剛度變化的測量方法,都存在著一個共同的局限性,就是對微小損傷和疲勞損傷的識別,由于其探測靈敏度不夠,顯得力不從心,因此需要尋找一種更有效的損傷檢測手段.小波變換作為一種新的信號處理方法,綜合了時域分析方法和頻域分析方法的優點,屬于多分辨率的時頻分析方法,具有伸縮、平移和放大功能,可以用不同的尺度或分辨率來觀察信號,實現既在時域又在頻域的高分辨局部定位,對于非平穩信號的處理是非常適合和必要的,正是結構損傷檢測的基本要求.給出了結構整體進行損傷判別的方法,將各層能量在各頻段進行分解,通過能量變化情況給出了結構損傷程度的判定方法,并且在三層鋼筋混凝土框架結構的損傷判別試驗中得到應用,試驗結果與理論分析吻合較好,從而證明了提出的損傷判別方法的可行性與準確性.在施工過程中結構發生損傷后，某些線性連接點變為非線性，造成其固有頻率和剛度的改變，進而使得結構的動力響應發生變化。線性和非線性系統動力特性的主要差別之一是非線性系統具有高次諧波和亞諧波。利用小波變換分析結構損傷前后的時域和頻域響應，可以確定諸如高次諧波、亞諧波以及混沌現象等系統響應的動力學特性，進而檢測結構的非線性 。通過小波分析局部擴大和局部壓縮的特性，可以對微弱信號進行檢測，這在結構損傷初期的檢測中是非常重要的。（1）直接利用小波分析檢測損傷，利用小波分析進行損傷檢測較多的集中在復合材料損傷研究上 。復合材料由于其重量輕、剛性好，已廣泛應用于航空航天結構和許多民用工程結構，其損傷可導致結構性能的嚴重下降，因此發展連續健康監測和自動報警技術尤為重要。一般采用在復合材料結構模型（如懸臂梁）上粘貼壓電材料，分別作為作動器（產生激勵）和傳感器（感受振動信號）。利用有限元數值仿真，假定在仿真過程中某些單元發生損傷，將被測點動力響應，如位移、速度或加速度，進行小波分解。通過小波分解后各階信號波形上的突變點能夠準確的判斷損傷的發生。由于小波分解后的信號比原始信號的分辨率高的多，利用小波分解信號的奇變性，可以識別原始信號中無法直接識別的突變。利用小波變換對結構在地震作用下帶有噪聲的位移響應信號進行低周疲勞信號提取。低周疲勞模型采用結構在隨機時刻點上某些構件由于承受沖擊荷載而導致的剛度下降來模擬，得到了以下研究成果：A）用序號N較大的正交小波可以很好的估計有噪聲條件下疲勞破壞的發生時刻，B）用小波分析可以精確的識別諸如下降剛度等系統參數。利用時程分析程序計算結構動力響應，并在其過程中允許結構中某些構件發生損傷如支撐剛度突然全部消失或部分消失。這些損傷造成了加速度的不連續，而這種不連續在加速度曲線中是難以觀察的。將得到的加速度響應信號進行離散小波變換，通過分解后高頻波形上的突起來判斷損傷的發生和發生的時刻。分析過程將對多個結點加速度進行小波分解并通過分解后帶有突起的結點在整個結構中所處的空間位置來判斷損傷的位置。
（四）小波分析與其他方法聯合運用
此方法多是把小波分析作為前置處理手段，可先利用小波變換的消噪性能對原始信號進行除噪，再對信號進行奇異性檢測等其他處理 。小波分析可以單獨定位損傷，但都不夠精確。此方法是先利用損傷后構件各階振型的殘余量，求出曲率模態，再通過小波分析得到曲率模態的小波分解灰度圖 ，進而推斷出損傷位
置。這種聯合方法提高了損傷識別的靈敏性和精確度，但只運用到一維梁構件上，對于更復雜的情況需要進一步研究。小波分析可以聚焦到信號的任意細節進行時頻域處理，因此適用于非平穩信號振動波形特征提取。故可以先利用小波分析對原始信號進行分解，提取各水平的小波細節的能量特征參數等與損傷相關聯的特征量或小波重構系數的統計特性，如：波形指標，峰值指標，能量指標等，輸入BP神經網絡或小波神經網絡，作為網絡的輸入參數，利用神經網絡的識別功能判斷損傷情況 。采用小波分析和神經網絡算法，通過將測得的原始結構和損傷后結構的振動數據比較，估計損傷發生的位置及程度。首先利用小波分析的時頻定位特性提取突變發生位置，而模態形狀變化的大小反應損傷程度，故它可以預測結構的完整性。神經網絡則通過映像小波分析中提取出的振動特征的函數來量化健康狀態參數。
3.小波變換在結構振動方面的應用。結構抗震分析中的應用 地震動屬于非平穩信號，而小波變換在處理非平穩信號上具有不可比擬的優勢。國外有一些研究者已經將小波分析應用于結構震動方面，國內也有一些研究者應用小波分析法地震作用下結構的動力響應 。主要利用小波變換對地震作用下結構的動力反應進行了分析和計算，并利用能量分配關系分析了各頻段范圍內地震輸入分量對結構反應的作用程度。通過算例知道，小波變換可以對提取的任意頻率范圍內的輸入進行動力分析，且較傅里葉變換有明顯的優點。
3，小波分析法在工程圖像壓縮中的應用。小波分析法的膨脹和平移運算可以對信號進行多尺度的細致的動態分析，從而能夠解決Fourier變換不能解決的許多困難問題。利用小波變換可以一次變換整幅圖像，不僅可以達到很高的壓縮比，而且不會出現JPEG重建圖像中的"方塊"效應，但編碼器復雜，有潛像問題。 由于小波及小波包技術可以將信號或圖像分層次按小波基展開，所以可以根據圖像信號的性質以及事先給定的圖像處理要求確定到底要展開到哪一級為止，從而不僅能有效地控制計算量，滿足實時處理的需要，而且可以方便地實現通常由子頻帶、層次
編碼技術實現的累進傳輸編碼（即采取逐步浮現的方式傳送多媒體圖像）。這樣一種工作方式在多媒體數據瀏覽、醫學圖片遠程診斷時是非常必要的。另外，利用小波變換具有放 大、縮小和平移的數學顯微鏡的功能，可以方便地產生各種分辨率的圖像，從而適應于不同分辨率的圖像I/O設備和不同傳輸速率的通信系統。相比之，利用KL變換進行壓縮編碼，只能對整幅圖像進行；而利用小波變換則能夠比較精確地進行圖像拼接，因此對較大的圖像可以進行分塊處理，然后再進行拼接。顯然，這種處理方式為圖像的并行處理提供了理論依據。由于小波變換繼承了Fourier分析的優點，同時又克服它的許多缺點，所以它在靜態和動態圖像壓縮領域得到廣泛的應用，并且已經成為某些圖像壓縮國際標準的重要環節。由于小波分析克服了Fourier分析的許多弱點，因此它不僅可以用于圖像壓縮，還可以用于許多其他領域，如信號分析、靜態圖像識別、計算機視覺、聲音壓縮與合成、視頻圖像分析、CT成像、地震勘探和分形力學等領域。所以許多工程在施工過程中會運用此類方法。
參考文獻：
[1] 彭玉華.小波變換與工程應用[M]. 北京：科學出版社，1999.
[2] 胡昌華，張軍波等.基于 MATLAB 的系統分析與設計――小波分析[M]. 西安：西安電子科技大學出
版社，1999.
