卷積神經網絡方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的卷積神經網絡方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：卷積神經網絡方法范文

目前，卷積神經網絡（Convolutional Neural Networks，CNN）已成為圖像、文本、語音識別等領域的研究熱點之一。20世紀60年代，Hubel和Wiesel在研究貓腦皮層中發現了用于局部敏感和方向選擇的神經元結構，卷積神經網絡就是在此生物學的基礎上發展而來的。

二、卷積神經網絡的發展歷程

按照時間順序，可以將卷積神經網絡的發展可以分為三個階段：初步探索階段；全面興起階段；躍進試發展階段。

2.1初步探索階段

這一階段只是在初步探索卷積神經網絡的結構。197開始，福島邦彥成功開發出了一種淺層自組織神經網絡認知機[1]。隨后，更多的科研工作者對該網絡進行了改進。認知機及其變種并不是真正意義上的深度學習模型，因為的網絡層數少，并不能進行深度學習特征。

2.2全面興起階段

這一階段以LeNet-5的出現為開始。1Lecun等[2]提出的LeNet-5采用了基于梯度的反向傳播算法對網絡進行有監督的訓練，LeNet-5在手寫字符識別領域的成功應用引起了學術界對于卷積神經網絡的關注。同一時期，卷積神經網絡在語音識別、物體檢測、人臉識別等方面的研究也逐漸開展起來。

2.3躍進試發展階段

這一階段以AlexNet的出現為起點，它的出現是卷積神經網絡的一個歷史性的時刻，在此后卷積神經網絡在AlexNet的基礎上衍生出許多變種。2012年，Krizhevsky等[3]提出了AlexNet，使得卷積神經網絡成為了學術界的焦點。AlexNet之后，不斷有新的卷積神經網絡模型被提出，。并且，卷積神經網絡不斷與一些傳統算法相融合，加上遷移學習方法的引入，使得卷積神經網絡的應用領域獲得了快速的擴展。

三、卷積神經網絡的結構

CNN基礎的結構是卷積層，池化層，最后為全連接層，所有的卷積神經網絡模型都是在此結構上搭建而來。

3.1卷積層

圖像經過卷積層及提取出其輸入特征。卷積層的運算由特征提取階段和特征映射階段構成。

（1）特征提取階段。在特征提取階段，每個神經元的輸入與前一層的局部接受域相連，使用卷積濾波器做卷積操作，提取出該局部的特征。設一個n*n的局部區域內第i個像素的輸入值是Xi（i=1，2，..n*n），與n*n大小濾波器相對應的值為wi，這個濾波器的有個固定的偏置量為b，這個區域最后經過卷積操作變成了一個值y，卷積操作如公式（3-1）

全連接層一般放在最后，經過全連接層后得到特征向量，可將這個特征向量用于分類或者檢索。全連接層其實就是一個卷積層，只不過最后得到的是一個向量。當選擇的卷積核大小與輸入的大小一樣大時，經過征提取和特征映射階段后。輸出大小為1*1的區域。這樣不同的卷積核卷積進過此層得到的是向量，1*1的區域值即是向量的一個值。

四、結語

卷積神經網絡經過這些年的發展，對圖像、語言、文本等二S數據的識別可以達到90%，遠遠高于傳統的淺層特征學習的方法。目前，有學者將此方法遷移到了三維模型檢索領域，并且取得了不錯的結果。未來的卷積神經網絡這一深層學習結構一定大有可為。

參 考 文 獻

[1]K.福島（Fukushima）.Neocognitron：一個自組織的神經網絡模型為了一個不受位置平移影響的模式識別的機能.生物控制論，36，193-202，1980

第2篇：卷積神經網絡方法范文

P鍵詞：深度學習；文本分類；多類型池化

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2016）35-0187-03

1 引言

為了進行分類，我們建立句子模型來分析和表示句子的語義內容。句子模型問題的關鍵在于一定程度上的自然語言理解。很多類型的任務需要采用句子模型，包括情感分析、語義檢測、對話分析、機器翻譯等。既然單獨的句子很少或基本不被采用，所以我們必須采用特征的方式來表述一個句子，而特征依賴于單詞和詞組。句子模型的核心是特征方程，特征方程定義了依據單詞和詞組提取特征的過程。求最大值的池化操作是一種非線性的二次抽樣方法，它返回集合元素中的最大值。

各種類型的模型已經被提出。基于成分構成的方法被應用于向量表示，通過統計同時單詞同時出現的概率來獲取更長的詞組。在有些情況下，通過對詞向量進行代數操作生成句子層面的向量，從而構成成分。在另外一些情況下，特征方程和特定的句法或者單詞類型相關。

一種核心模型是建立在神經網絡的基礎上。這種模型包含了單詞包或者詞組包的模型、更結構化的遞歸神經網絡、延遲的基于卷積操作的神經網絡。神經網絡模型有很多優點。通過訓練可以獲得通用的詞向量來預測一段上下文中單詞是否會出現。通過有監督的訓練，神經網絡能夠根據具體的任務進行良好的調節。除了作為強大的分類器，神經網絡模型還能夠被用來生成句子[6]。

我們定義了一種卷積神經網絡結構并將它應用到句子語義模型中。這個網絡可以處理長度不同的句子。網絡中的一維卷積層和多類型動態池化層是相互交錯的。多類型動態池化是一種對求最大值池化操作的范化，它返回集合中元素的最大值、最小值、平均值的集合[1]。操作的范化體現在兩個方面。第一，多類型池化操作對一個線性的值序列進行操作，返回序列中的多個數值而不是單個最大的數值。第二，池化參數k可以被動態的選擇，通過網絡的其他參數來動態調整k的值。

卷積層的一維卷積窗口對句子特征矩陣的每一行進行卷積操作。相同的n-gram的卷積窗口在句子的每個位置進行卷積操作，這樣可以根據位置獨立地提取特征。一個卷積層后面是一個多類型動態池化層和一個非線性的特征映射表。和卷積神經網絡在圖像識別中的使用一樣，為豐富第一層的表述，通過不同的卷積窗口應用到句子上計算出多重特征映射表。后續的層也通過下一層的卷積窗口的卷積操作計算出多重特征映射表。最終的結構我們叫它多類型池化的卷積神經網絡。

在輸入句子上的多層的卷積和動態池化操作產生一張結構化的特征圖。高層的卷積窗口可以獲取非連續的相距較遠的詞組的句法和語義關系。特征圖會引導出一種層級結構，某種程度上類似于句法解析樹。這種結構不僅僅是和句法相關，它是神經網絡內部所有的。

我們將此網絡在四種場景下進行了嘗試。前兩組實驗是電影評論的情感預測[2]，此網絡在二分和多種類別的分類實驗中的表現都優于其他方法。第三組實驗在TREC數據集（Li and Roth， 2002）上的6類問題的分類問題。此網絡的正確率和目前最好的方法的正確率持平。第四組實驗是推特的情感預測，此網絡將160萬條微博根據表情符號自動打標來進行訓練。在手工打標的測試數據集上，此網絡將預測錯誤率降低了25%。

本文的概要如下。第二段主要闡述MCNN的背景知識，包括核心概念和相關的神將網絡句子模型。第三章定義了相關的操作符和網絡的層。第四章闡述生成的特征圖的處理和網絡的其他特點。第五章討論實驗和回顧特征學習探測器。

2 背景

MCNN的每一層的卷積操作之后都伴隨一個池化操作。我們先回顧一下相關的神經網絡句子模型。然后我們來闡述一維的卷積操作和經典的延遲的神經網絡（TDNN）[3]。在加了一個最大池化層到網絡后，TDNN也是一種句子模型[5]。

2.1 相關的神經網絡句子模型

已經有很多的神經網絡句子模型被描述過了。 一種比較通用基本的模型是神經網絡詞包模型（NBoW）。其中包含了一個映射層將單詞、詞組等映射到更高的維度；然后會有一個比如求和之類的操作。結果向量通過一個或多個全連接層來進行分類。

有以外部的解析樹為基礎的遞歸神經網絡，還有在此基礎上更進一步的RNN網絡。

最后一種是以卷積操作和TDNN結構為基礎的神經網絡句子模型。相關的概念是動態卷積神經網絡的基礎，我們接下來介紹的就是它。

2.2 卷積

一維卷積操作便是將權重向量[m∈Rm]和輸入向量[s∈Rs]進行操作。向量m是卷積操作的過濾器。具體來說，我們將s作為輸入句子，[si∈R]是與句子中第i個單詞相關聯的單獨的特征值。一維卷積操作背后的思想是通過向量m和句子中的每個m-gram的點積來獲得另一個序列c：

[ci=mTsi-m+1：i （1）]

根據下標i的范圍的不同，等式1產生兩種不同類型的卷積。窄類型的卷積中s >= m并且會生成序列[c∈Rs-m+1]，下標i的范圍從m到s。寬類型的卷積對m和s的大小沒有限制，生成的序列[c∈Rs+m-1]，下標i的范圍從1到s+m-1。超出下標范圍的si窄（i < 1或者i > s）置為0。窄類型的卷積結果是寬類型的卷積結果的子序列。

寬類型的卷積相比于窄類型的卷積有一些優點。寬類型的卷積可以確保所有的權重應用到整個句子，包括句子收尾的單詞。當m被設為一個相對較大的值時，如8或者10，這一點尤其重要。另外，寬類型的卷積可以確保過濾器m應用于輸入句子s始終會生成一個有效的非空結果集c，與m的寬度和s句子的長度無關。接下來我們來闡述TDNN的卷積層。

4 驗與結果分析

我們對此網絡進行了4組不同的實驗。

4.1 電影評論的情感預測

前兩組實驗是關于電影評論的情感預測的，數據集是Stanford Sentiment Treebank.實驗輸出的結果在一個實驗中是分為2類，在另一種試驗中分為5類：消極、略微消極、中性、略微積極、積極。而實驗總的詞匯量為15448。

表示的是電影評論數據集情感預測準確率。NB和BINB分別表示一元和二元樸素貝葉斯分類器。SVM是一元和二元特征的支撐向量機。在三種神經網絡模型里――Max-TDNN、NBoW和DCNN――模型中的詞向量是隨機初始化的；它們的維度d被設為48。Max-TDNN在第一層中濾波窗口的大小為6。卷積層后面緊跟一個非線性化層、最大池化層和softmax分類層。NBoW會將詞向量相加，并對詞向量進行非線性化操作，最后用softmax進行分類。2類分類的MCNN的參數如下，卷積層之后折疊層、動態多類型池化層、非線性化層。濾波窗口的大小分別7和5。最頂層動態多類型池化層的k的值為4。網絡的最頂層是softmax層。5類分類的MCNN有相同的結構，但是濾波窗口的大小分別為10和7，k的值為5。

我們可以看到MCNN的分類效果遠超其他算法。NBoW的分類效果和非神經網絡算法差不多。而Max-TDNN的效果要比NBoW的差，可能是因為過度池化的原因，丟棄了句子太多重要的特征。除了RecNN需要依賴外部的解析樹來生成結構化特征，其他模型都不需要依賴外部資源。

4.2 問題分類

問題分類在問答系統中應用非常廣泛，一個問題可能屬于一個或者多個問題類別。所用的數據集是TREC數據集，TREC數據集包含6種不同類別的問題，比如一個問題是否關于地點、人或者數字信息。訓練集包含5452個打標的問題和500個測試集。

4.3 Twitter情感預測

在我們最后的實驗里，我們用tweets的大數據集進行訓練，我們根據tweet中出現的表情符號自動地給文本進行打標簽，積極的或是消極的。整個數據集包含160萬條根據表情符號打標的tweet以及400條手工標注的測試集。整個數據集包含76643個單詞。MCNN的結構和4.1節中結構相同。隨機初始化詞向量且維度d設為60。

我們發現MCNN的分類效果和其他非神經網絡的算法相比有極大的提高。MCNN和NBoW在分類效果上的差別顯示了MCNN有極強的特征提取能力。

5 結語

在本文中我們闡述了一種動態的卷積神經網絡，它使用動態的多類型池化操作作為非線性化取樣函數。此網絡在問題分類和情感預測方面取得了很好的效果，并且不依賴于外部特征如解析樹或其他外部資源。

參考文獻

[1]. Yann LeCun， Le ?on Bottou， Yoshua Bengio， and Patrick Haffner. 1998. Gradient-based learning applied to document recognition. Proceedings of the IEEE， 86（11）：2278-2324， November.

[2]. Richard Socher， Alex Perelygin， Jean Wu， Jason Chuang， Christopher D. Manning， Andrew Y. Ng， and Christopher Potts. 2013b. Recursive deep mod- els for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Process- ing， pages 1631C1642， Stroudsburg， PA， October. Association for Computational Linguistics.

[3]. Geoffrey E. Hinton. 1989. Connectionist learning procedures. Artif. Intell.， 40（1-3）：185C234.

[4]. Alexander Waibel， Toshiyuki Hanazawa， Geofrey Hinton， Kiyohiro Shikano， and Kevin J. Lang. 1990. Readings in speech recognition. chapter Phoneme Recognition Using Time-delay Neural Networks， pages 393C404. Morgan Kaufmann Publishers Inc.， San Francisco， CA， USA.

第3篇：卷積神經網絡方法范文

過去10年，人們對機器學習的興趣激增。幾乎每天，你都可以在各種各樣的計算機科學課程、行業會議、華爾街日報等等看到有關機器學習的討論。在所有關于機器學習的討論中，許多人把機器學習能做的事情和他們希望機器學習做的事情混為一談。從根本上講，機器學習是使用算法從原始數據中提取信息，并在某種類型的模型中表示這些信息。我們使用這個模型來推斷還沒有建模的其他數據。

神經網絡是機器學習的一種模型，它們至少有50年歷史了。神經網絡的基本單元是節點(node)，基本上是受哺乳動物大腦中的生物神經元啟發。神經元之間的連接也以生物的大腦為模型，這些連接隨著時間的推移而發展的方式是為“訓練”。

在20世紀80年代中期和90年代初期，許多重要的架構進步都是在神經網絡進行的。然而，為了得到好的結果需要大量時間和數據，這阻礙了神經網絡的采用，因而人們的興趣也減少了。在21世紀初，計算能力呈指數級增長，計算技術出現了“寒武紀大爆發”。在這個10年的爆炸式的計算增長中，深度學習成為這個領域的重要的競爭者，贏得了許多重要的機器學習競賽。直到2017年，這種興趣也還沒有冷卻下來；今天，我們看到一說機器學習，就不得不提深度學習。

作者本人也注冊了Udacity的“Deep Learning”課程，這門課很好地介紹了深度學習的動機，以及從TensorFlow的復雜和/或大規模的數據集中學習的智能系統的設計。在課程項目中，我使用并開發了用于圖像識別的卷積神經網絡，用于自然語言處理的嵌入式神經網絡，以及使用循環神經網絡/長短期記憶的字符級文本生成。

本文中，作者總結了10個強大的深度學習方法，這是AI工程師可以應用于他們的機器學習問題的。首先，下面這張圖直觀地說明了人工智能、機器學習和深度學習三者之間的關系。

人工智能的領域很廣泛，深度學習是機器學習領域的一個子集，機器學習又是人工智能的一個子領域。將深度學習網絡與“經典的”前饋式多層網絡區分開來的因素如下:

比以前的網絡有更多的神經元更復雜的連接層的方法用于訓練網絡的計算機能力的“寒武紀大爆炸”自動特征提取

這里說的“更多的神經元”時，是指神經元的數量在逐年增加，以表達更復雜的模型。層(layers)也從多層網絡中的每一層都完全連接，到在卷積神經網絡中層之間連接局部的神經元，再到在循環神經網絡中與同一神經元的循環連接(recurrent connections)。

深度學習可以被定義為具有大量參數和層的神經網絡，包括以下四種基本網絡結構：

無監督預訓練網絡卷積神經網絡循環神經網絡遞歸神經網絡

在本文中，主要介紹后三種架構。基本上，卷積神經網絡(CNN)是一個標準的神經網絡，通過共享的權重在空間中擴展。CNN設計用于通過內部的卷積來識別圖像，它可以看到圖像中待識別的物體的邊緣。循環神經網絡(RNN)被設計用于識別序列，例如語音信號或文本。它的內部有循環，這意味著網絡上有短的記憶。遞歸神經網絡更像是一個層級網絡，在這個網絡中，輸入必須以一種樹的方式進行分層處理。下面的10種方法可以應用于所有這些架構。

1.反向傳播

反向傳播(Back-prop)是一種計算函數偏導數(或梯度)的方法，具有函數構成的形式(就像神經網絡中)。當使用基于梯度的方法(梯度下降只是方法之一)解決優化問題時，你需要在每次迭代中計算函數梯度。

對于神經網絡，目標函數具有組合的形式。如何計算梯度呢？有兩種常用的方法：(i)解析微分(Analytic differentiation)。你已經知道函數的形式，只需要用鏈式法則(基本微積分)來計算導數。(ii)利用有限差分進行近似微分。這種方法在計算上很昂貴，因為函數值的數量是O(N)，N指代參數的數量。不過，有限差分通常用于在調試時驗證back-prop實現。

2.隨機梯度下降法

一種直觀理解梯度下降的方法是想象一條河流從山頂流下的路徑。梯度下降的目標正是河流努力達到的目標——即，到達最底端(山腳)。

現在，如果山的地形是這樣的，在到達最終目的地之前，河流不會完全停下來(這是山腳的最低點，那么這就是我們想要的理想情況。)在機器學習中，相當從初始點(山頂)開始，我們找到了解決方案的全局最小(或最佳)解。然而，可能因為地形的性質迫使河流的路徑出現幾個坑，這可能迫使河流陷入困境。在機器學習術語中，這些坑被稱為局部極小值，這是不可取的。有很多方法可以解決這個問題。

因此，梯度下降很容易被困在局部極小值，這取決于地形的性質(用ML的術語來說是函數的性質)。但是，當你有一種特殊的地形時(形狀像一個碗，用ML的術語來說，叫做凸函數)，算法總是保證能找到最優解。凸函數對ML的優化來說總是好事，取決于函數的初始值，你可能會以不同的路徑結束。同樣地，取決于河流的速度(即，梯度下降算法的學習速率或步長)，你可能以不同的方式到達最終目的地。這兩個標準都會影響到你是否陷入坑里(局部極小值)。

3.學習率衰減

根據隨機梯度下降的優化過程調整學習率(learning rate)可以提高性能并減少訓練時間。有時這被稱為學習率退火(learning rate annealing)或自適應學習率(adaptive learning rates)。訓練過程中最簡單，也是最常用的學習率適應是隨著時間的推移而降低學習度。在訓練過程開始時使用較大學習率具有進行大的改變的好處，然后降低學習率，使得后續對權重的訓練更新更小。這具有早期快速學習好權重，后面進行微調的效果。

兩種常用且易于使用的學習率衰減方法如下：

逐步降低學習率。在特定的時間點較大地降低學習率。

4?. Dropout

具有大量參數的深度神經網絡是非常強大的機器學習系統。然而，過擬合在這樣的網絡中是一個嚴重的問題。大型網絡的使用也很緩慢，這使得在測試時將許多不同的大型神經網絡的預測結合起來變得困難。Dropout是解決這個問題的一種方法。

Dropout的關鍵想法是在訓練過程中隨機地從神經網絡中把一些units(以及它們的連接)從神經網絡中刪除。這樣可以防止單元過度適應。在訓練過程中，從一個指數級的不同的“稀疏”網絡中刪除一些樣本。在測試時，通過簡單地使用一個具有較小權重的單一網絡，可以很容易地估計所有這些“變瘦”了的網絡的平均預測效果。這顯著減少了過擬合，相比其他正則化方法有了很大改進。研究表明，在視覺、語音識別、文檔分類和計算生物學等監督學習任務中，神經網絡的表現有所提高，在許多基準數據集上獲得了state-of-the-art的結果。

5. Max Pooling

最大池化(Max pooling)是一個基于樣本的離散化過程。目標是對輸入表示(圖像，隱藏層輸出矩陣等)進行下采樣，降低其維度，并允許對包含在分區域中的特征進行假設。

這在一定程度上是為了通過提供一種抽象的表示形式來幫助過擬合。同時，它通過減少學習的參數數量，并為內部表示提供基本的平移不變性(translation invariance)，從而減少計算成本。最大池化是通過將一個最大過濾器應用于通常不重疊的初始表示的子區域來完成的。

6.批量歸一化

當然，包括深度網絡在內的神經網絡需要仔細調整權重初始化和學習參數。而批量標準化有助于實現這一點。

權重問題：無論權重的初始化如何，是隨機的也好是經驗性的選擇也罷，都距離學習到的權重很遙遠。考慮一個小批量(mini batch)，在最初時，在所需的特征激活方面將會有許多異常值。

深度神經網絡本身是有缺陷的，初始層中一個微小的擾動，就會導致后面層巨大的變化。在反向傳播過程中，這些現象會導致對梯度的分散，這意味著在學習權重以產生所需輸出之前，梯度必須補償異常值，而這將導致需要額外的時間才能收斂。

批量歸一化將梯度從分散規范化到正常值，并在小批量范圍內向共同目標(通過歸一化)流動。

學習率問題：一般來說，學習率保持較低，只有一小部分的梯度校正權重，原因是異常激活的梯度不應影響學習的激活。通過批量歸一化，減少異常激活，因此可以使用更高的學習率來加速學習過程。

7.長短時記憶

LSTM網絡在以下三個方面與RNN的神經元不同：

能夠決定何時讓輸入進入神經元；能夠決定何時記住上一個時間步中計算的內容；能夠決定何時讓輸出傳遞到下一個時間步長。

LSTM的優點在于它根據當前的輸入本身來決定所有這些。所以，你看下面的圖表：

當前時間標記處的輸入信號x(t)決定所有上述3點。輸入門從點1接收決策，遺忘門從點2接收決策，輸出門在點3接收決策，單獨的輸入能夠完成所有這三個決定。這受到我們的大腦如何工作的啟發，并且可以基于輸入來處理突然的上下文/場景切換。

8. Skip-gram

詞嵌入模型的目標是為每個詞匯項學習一個高維密集表示，其中嵌入向量之間的相似性顯示了相應詞之間的語義或句法相似性。Skip-gram是學習單詞嵌入算法的模型。

Skip-gram模型(以及許多其他的詞語嵌入模型)的主要思想是：如果兩個詞匯項(vocabulary term)共享的上下文相似，那么這兩個詞匯項就相似。

換句話說，假設你有一個句子，比如“貓是哺乳動物”。如果你用“狗”去替換“貓”，這個句子仍然是一個有意義的句子。因此在這個例子中，“狗”和“貓”可以共享相同的上下文(即“是哺乳動物”)。

基于上述假設，你可以考慮一個上下文窗口(context window，一個包含k個連續項的窗口)，然后你跳過其中一個單詞，試著去學習一個能夠得到除跳過項外所有項的神經網絡，并預測跳過的項是什么。如果兩個詞在一個大語料庫中反復共享相似的語境，則這些詞的嵌入向量將具有相近的向量。

9.連續詞袋(Continuous Bag Of Words)

在自然語言處理問題中，我們希望學習將文檔中的每個單詞表示為一個數字向量，使得出現在相似的上下文中的單詞具有彼此接近的向量。在連續的單詞模型中，我們的目標是能夠使用圍繞特定單詞的上下文并預測特定單詞。

我們通過在一個龐大的語料庫中抽取大量的句子來做到這一點，每當我們看到一個單詞時，我們就會提取它周圍的單詞。然后，我們將上下文單詞輸入到一個神經網絡，并預測位于這個上下文中心的單詞。

當我們有成千上萬的這樣的上下文單詞和中心詞以后，我們就有了一個神經網絡數據集的實例。訓練神經網絡，最后編碼的隱藏層輸出表示特定單詞的嵌入。而當我們對大量的句子進行訓練時也能發現，類似語境中的單詞得到的是相似的向量。

10.遷移學習

第4篇：卷積神經網絡方法范文

關鍵詞：卷積神經網絡；反向傳播算法；仿射變換；sloth；python；theano

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1007-9416（2017）04-0096-02

隨著環保壓力的增大，各國已經開始利用攝像頭來監控漁船的捕撈活動，并運用機器學習技術來對漁船捕獲的魚類圖像進行自動的識別與分類從而扼制非法的捕撈。

目前計算機性能的飛速發展、圖像數據采集設備的廉價與普及促進了機器學習理論與方法的發展，數據科學家已經可以構建復雜的機器學習模型并利用從廉價的數碼攝像頭設備采集到大量的數據快速的訓練模型。吳一全等[1]采用了手動選擇特征的方法， 基于支持向量機對5種魚進行識別，各類魚的識別精度平均為83.33%。萬鵬等[2]計算魚的長軸方向各段的平均寬度與長度的比值并將其作為特征參數，利用3層BP（back propagation）神經網絡對鯽魚和鯉魚進行識別，識別精度為92.50%。但是這些方法都是基于手動選擇特征的機器學習方法，手動選擇特征的方法基于人的經驗選擇特征， 會導致遺漏重要的特征， 導致分類準確率低。深度學習中的卷積神經網絡能在訓練過程中自動學到“好”特征，避免了手動選擇特征。本次研究采用了基于VGG16的卷積神經網絡（CNN）來進行魚類分類，并運用了數據集擴增方法，dropout方法， batch normalization方法來降低模型的過擬合。但是原始數據集背景干擾很大，船上的人、物體和甲板上捕獲的魚類糅合在一起，直接采用原始數據集訓練會導致訓練出的模型穩定性不好。

基于上述分析，本文從原始數據出發，設計了一種目標檢測方法，即在原始訓練數據已經有魚類類別標簽的基礎上，再標注上一層表示魚類在圖片中坐標位置的標簽，然后利用這些二次標注過的數據訓練模型，就可得到一個既能預測魚在圖片中的坐標位置又能預測魚的分類的糅合模型。因為這兩種預測網絡在卷積層共同訓練一套濾波器，所以在訓練濾波器預測魚的坐標位置時，訓練完成的濾波器便能在另一方面輔助預測魚的分類，使特征提取只專注于魚的坐標區域，這樣就有效的排除了背景干擾。實驗結果顯示此模型具有很高的識別精度和魯棒性，能在背景干擾很強的圖片數據集上準確的完成魚類的識別和分類。

1 模型構建

實驗數據來源于某組織舉辦的圖像識別競賽。數據通過固定在漁船某個位置的攝像頭采集，通過采集甲板上捕獲的魚類照片，共采集到3777張共8個分類的照片作為訓練樣本，分別為長鰭金槍魚、大眼金槍魚、黃鰭金槍魚、鰍魚、月魚、鯊魚、其他、無魚類（表示沒有魚出現在照片里）。按一定比例做分層采樣，其中2984張用作訓練集，394張用作驗證集，399張用作測試集。訓練集用經過錯切幅度值為0.15的仿射變換作數據集擴增來降低過擬合，因為在從原始數據集上分層采樣得來的小樣本數據集上驗證顯示當錯切幅度值等于0.15時，模型在測試集上的分類精度最高。

在訓練集上采用sloth@款圖片標注工具手動標注魚類在圖片中的位置，并把這些標注結果和已有的魚類分類標注結果當做輸入數據和圖片數據一起傳給模型訓練。

本次研究的神經網絡模型結構如圖1所示。卷積層采用了被廣泛使用在圖像分類任務中的VGG模型的卷積濾波器的權重[3]，并在其模型上作微調來實現本次研究的目標。

輸入層將不同尺寸的圖片統一轉換成244*244大小。

匯合層（max pooling）是指取一小塊像素區域的像素最大值，作用是可減少數據量，控制過擬合。

全連接層的權重采用反向傳播算法（back propagation）訓練，參數尋優采用隨機梯度下降方法。動態學習率設定方法采用了 Adam方法，可根據損失函數在迭代訓練中產生的信息自動調整學習率。

激活層函數采用RELU方法，公式為。最后一層預測魚類分類的激活曾需要把對應于各個分類的分數值轉換成總和為1的對應于各個分類的概率值，所以激活函數采用Softmax方法，公式如下

由于卷積神經網絡網絡強大的表示能力，為了降低模型的過擬合以及加快模型的訓練速度，本次工作在激活曾后面再依次加入一層dropout層和batch normalization層。dropout層是指隨機的舍棄一部分激活曾神經元的值，并將其置為0[4]。batch normalization層是指規范化每層激活層的輸出，并加入4個規范化參數來抑制模型訓練過程中的反規范化現象[5]。

2 程序實現

具體的軟件實現采用python編程語言和keras框架平臺。keras底層采用輕量易用的theano框架，并依賴計算機的顯卡來進行更快速的訓練工作。整個圖像分類的軟件框架主要由4部分組成，分別是輸入圖像數據處理、模型各個網絡層的實現及拼接、模型編譯、模型訓練及預測。下面按數據在模型中流動的順序具體的闡述各個部分的程序實現。

2.1 輸入圖像數據處理

第5篇：卷積神經網絡方法范文

關鍵詞：Deep Learning；多隱含層感知；DropConnect；算法

中圖分類號：TP181

Deep Learning是機器學習研究的新領域，它掀起了機器學習領域的第二次浪潮，并受到學術界到工業界高度重視。Deep Learning概念根源于人工神經網絡[3]，它由Geoffrey Hinton等在Science上提出。它致力于建立模擬人腦分析學習機制的多層次神經網絡，并通過這種網絡分析解釋數據，如視頻、文本和聲音等。Deep Learning的多隱含層使得它具有優異的特征學習能力，而且學習得到的特征對數據有更本質的刻畫，從而有利于可視化或分類。它的“逐層初始化”（layer-wise pre-training[4]）可以有效克服深度神經網絡在訓練上的難度。本文在對Deep Learning算法分析的基礎上，著重闡述了對Regularization of Neural Networks using DropConnect模型的改進。

1 Deep Learning算法分析

1.1 Deep Learning多隱含層感知架構

Deep Learning算法最優秀特征是多隱含層感知器架構，這種架構通過組合低層特征來形成更加抽象的高層屬性類別或特征，并實現對數據分布式表示。Deep Learning的多隱含層結構是由輸入層、隱層（多層）、輸出層組成的多層網絡（如圖1所示），只有相鄰層神經元之間有連接，同一層以及跨層節點之間相互無連接，每一層可以看作是一個淺層機器學習模型（如logistic regression，Support Vector Machines）。

圖1 含多個隱含層的Deep Learning模型

Deep Learning的多隱含層感知結構模擬的是人腦的大腦皮層工作。人大腦皮層計算也是分多層進行[5]，例如圖像在人腦中是分多個階段處理，首先是進入大腦皮層V1區提取邊緣特征，然后進入大腦皮層V2區抽象成圖像的形狀或者部分，再到更高層，以此類推。高層的特征是由底層組合而成。使用含多隱含層感知器架構網絡主要優勢在于它能以更簡潔的方式表達比淺層網絡大得多的函數關系（如圖2）。通過這種深層非線性網絡結構，Deep Learning可以實現復雜函數的逼近，表征輸入數據的分布式表示，并展現了強大的從少數樣本集中學習數據集本質特征的能力。

圖2 多層次實現復雜函數圖

1.2 Deep Learning訓練過程

（1）首先逐層構建單層神經元，使得每次都是訓練一個單層網絡。

（2）當所有層訓練完后，使用Wake-Sleep算法[6]進行調優。

將除最頂層的其它層間的權重是雙向的。向上的權重用于“認知”，向下的權重用于“生成”。然后使用Wake-Sleep算法調整所有的權重。讓“認知”和“生成”達成一致，也就是保證生成的最頂層表示能夠盡可能正確的復原底層的結點。

1.3 Deep Learning數據處理一般過程

Deep Learning算法通過傳感器等方式獲得數據之后，首先對數據進行預處理。在數據預處理中，標準的第一步是數據歸一化處理，第二步是數據白化處理（如PCA白化和ZCA白化）。其次特征提取和特征選擇。然后將輸出作為下層的輸入，不斷進行特征提取和特征選擇，直到學習到合符要求的最佳特征。在特征提取和特征選擇過程中，常用自動編碼、稀疏編碼、聚類算法、限制波爾茲曼機、卷積神經網絡等算法進行特征提取和特征選擇。然后用反向傳播算法、隨機梯度下降算法、批量梯度下降算法等進行調優處理，再用池化等算法避免特征過度擬合，從而得到最終提取特征。最后將學習到的最終提取特征輸入到分類器（如softmax分類器，logistic回歸分類器）進行識別、推理或預測。

2 基于Regularization of Neural Networks using DropConnect模型改進

2.1 Regularization of Neural Networks using DropConnect模型[2]

該模型的四個基本組成成分是：

（1）特征提取：v=g（x；Wg）。x是輸入層的輸入數據，Wg是特征提取函數的參數，v是輸出的提取特征，特征提取函數g（）。其中g（）為多層卷積神經網絡算法函數，而Wg卷積神經網絡的偏值。

（2）DropConnect層：r=a（u）=a（（M*W）v）如圖3。v是輸出的提取特征，W是完全連接的權重矩陣，M是二進制掩碼矩陣，該矩陣的每個元素隨機的以1-p概率設置為0或以p概率設置為1，a（）是一個非線性激活函數，r是輸出向量。M*W是矩陣對應元素相乘。

（3）Softmax分類器層：o=s（r；Ws）。將r映射到一個k維的輸出矩陣（k是類的個數），Ws是softmax分類函數的參數。

（4）交叉熵損失：A（y，o）=-∑yi（oi），i∈1，2，3…k。y是標簽，o是概率。

圖3 DropConnect示意圖

2.2 模型改進描述和分析

對DropConnect模型的改進主要集中在上面它的四個基本組成成分中的DropConnect層。由于該層以隨機方式讓掩碼矩陣M的每個元素Mij按1-p的概率設置為0，然后讓掩碼矩陣與層間的權重矩陣對應相乘即M*W。相對DropOut模型r=a（（M*（Wv））得到的特征，r=a（（M*W）v）得到的特征是比較好的特征r，同時也提高算法的泛化性。因為Dropconnect模型在權重W和v運算之前，將權重以一定的概率稀疏了，從運行結果看整體算法的錯誤率降低了。但是，由于是隨機的讓Mij按1-p的概率為0，并且這種隨機是不可以預測的，故可能會導致某些重要特征對應的權重被屏蔽掉，最終造成輸出ri的準確性降低。故就此提出了新的設計思想。

改進思想是用單層稀疏編碼層代替DropConnect層，通過稀疏編碼訓練出一組最佳稀疏的特征。具體描述：讓經過多層卷積神經網絡提取到的特征v作為稀疏編碼的輸入，經過稀疏編碼重復訓練迭代，最終得到最佳的稀疏的特征r。因為稀疏編碼算法是一種無監督學習方法，用它可以尋找出一組“超完備”基向量來更高效地表示輸入數據。

總之任何對Deep Learning算法的改進，都是為了提取出最佳特征，并使用優秀的分類算法來分類、預測或推理，最終降低算法的錯誤率。而對于怎樣改進算法，以何種方式降低錯誤率，則沒有具體的限制。并且各種提取特征和特征選擇的算法之間并不是互斥的，它們之間可以有各種形式的嵌套，最終的目標都是提高算法的正確率和效率。

3 結束語

Deep Learning使得語音、圖像和文本等的智能識別和理解取得驚人進展，如Google Brain項目和微軟推同聲傳譯系統。它極大地推動了人工智能和人機交互快速發展。隨著從學術界到工業界的廣泛重視，Deep Learning算法的改進依然在繼續，Deep Learning算法的正確率和效率仍在不斷提高。Deep Learning的發展將加快“大數據+深度模型”時代來臨。

參考文獻：

[1]Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006（5786）：504-507

[2]湯姆?米切爾.機器學習[M].北京：機械工業出版社，2003：1-280.

[3]吳昌友.神經網絡的研究及應用[D].哈爾濱：東北農業大學，2007.

[4]HINTON G，OSINDERO S，TEH Y. A fast learning algorithm for deep belief nets[J].Neural Computation，2006（07）：1527-1554.

[5]Hubel D H， Wiesel T N. Receptive fields，binocular interaction and functional architecture in the cat's visual cortex[J].The Journal of physiology，1962（01）：106.

[6]Chuang Gao，Bin Chen，Wei Wei.Dynamic detection of wake-sleep transition with reaction time-magnitude[J].Neural Regenerattion Research，2009（07）：552-560.

第6篇：卷積神經網絡方法范文

當今的社會是信息的社會。要使信息得到及時利用，為國民經濟和科學技術以及國防工業的發展服務，必須對信息數據的采集、加工處理、傳輸、存儲、決策和執行等進行全面的技術革新，以適應社會發展形式的需求。因此，信息科學技術有著極其廣泛的重要應用領域，如通信、雷達、聲納、電子測量儀器、生物醫學工程、振動工程、地震勘探、圖像處理、計算機科學等。各領域的電子信息系統往往具有不同的性能和特征，但是電子信息系統設備的設計都涉及到信息表征和信息處理技術，如果這種信息科技能獲得新的突破，電子信息系統產品將走上新的臺階。

當前信息系統智能化和具有高的魯棒性及容錯性是值得研究的重大問題，雖然人工智能和專家系統已取得好的成績，但還不適應信息社會發展的需求，需尋求新的發展途徑。21世紀被稱為“智能化世紀和人工神經網絡世紀”，信息科學與腦科學、認知科學、神經生物學、計算機科學、非線性科學、數學、物理學諸學科相結合所產生的神經計算科學，為實現新的信息表征和信息處理提供了新的手段，將使信息技術和信息系統智能化得到飛躍的發展。

21世紀是信息社會的智能化時代，信息高速公路的發展加速了通信技術和多媒體通信系統進入網絡化、智能化進程；開拓國際互聯網，使千家萬戶能在因特網和大型計算機網絡上搜索和瀏覽各種信息，這都涉及到通信系統和信息處理系統的高度智能化問題。

現代信息處理要解決的問題往往是很復雜的，它要完成由輸入空間到輸出空間的映射，這個映射可以是線性的，也可以是非線性的，所以信息處理系統是有序結構的物理系統中的映射，恰好是與神經網絡信息處理同構。

2　人工神經網絡信息處理

一般來說，智能信息處理可以劃分為兩大類，一類為基于傳統計算機的智能信息處理，另一類為基于神經計算的智能信息處理。前者信息系統包括智能儀器、自動跟蹤監測儀器系統、自動控制制導系統、自動故障診斷和報警系統等。在人工智能系統中，它們具有模仿或代替與人的思維有關的功能，通過邏輯符號處理系統的推理規則來實現自動診斷、問題求解以及專家系統的智能。這種智能實際上體現了人類的邏輯思維方式，主要應用串行工作程序按照一些推理規則一步一步進行計算和操作，應用領域很廣。后者是用人工神經網絡來模仿延伸人腦認知功能的新型智能信息處理系統，即仿造人腦的思維、聯想記憶、推理及意識等高級精神活動的智能，這類神經智能系統可以解決傳統方法所不能或難以解決的問題。例如美國研制出的一種電子“偵探”(蘇聯《科學與生活》，1990年)，就是用神經網絡做的能辨識人面孔的智能系統，只要讓它看一下某人或他的照片就能記住描述此人面貌的256個數字參數，同時能記住達500人，思考辨認時間總共為1s。人工神經網絡系統具有很高的容錯性和魯棒性及自組織性，即使連接線被破壞了50％，它仍能處在優化工作狀態，這在軍事系統電子設備中有著特別重要的意義，故美國無人偵察飛機已用上這種神經信息系統。美國許多公司生產的神經網絡芯片及神經智能系統已商品化。今年最新報導：美Attrasoft公司做出世界上最大的百萬個神經元的神經網絡(軟件)。

3　盲信號處理技術

盲信號處理包括多個信源混合的盲源分離、多通道傳輸信道的參數估計和系統辨識、盲解卷積和盲均衡技術、盲陣列信號處理和盲波束形成技術等，在通信、雷達、聲納、控制工程、地震勘探、生物醫學工程等領域有著極其重要的應用價值，是國際上非常重視的熱門研究課題。從數學上講，盲信號處理問題可以用X(t)=AS(t)來描述，這里X(t)是已知觀測數據矢量，而信號矢量S(t)和系統參數矩陣A都是未知的，如何只由觀測矢量X(t)來推求S(t)或A，其解將存在不定因素，可能有許多不同的兩個量相乘而得到同一個觀測數據X(t)。求解這類問題是一個國際性的盲處理難題，但該問題有很高的實用價值。圖像、語聲、中文詩詞及英文文字等多媒體信息混合后的盲分離問題，最高信號干擾之比高于70dB。

第7篇：卷積神經網絡方法范文

關鍵詞：圖像采集和處理；圖像檢測；Gabor紋理濾波；神經網絡

DoI：10.15938/j.jhust.2016.06.009

中圖分類號：TPl83；TP391.4

文獻標志碼：A

文章編號：1007-2683（2016）06-0044-06

0.引言

鋼鐵企業為了提高競爭力，對帶鋼的生產提出了新的要求，也對帶鋼表面檢測系統提出了更高的要求，既要有更高的檢測速度還要有更加準確的檢測精度，而與此同時，跟隨機器視覺技術的發展，帶鋼表面檢測系統也得到了廣泛的研究與應用，主要研究包括：①光源技術，由于帶鋼檢測對光源要求頻度高、體積小，這限制了傳統光源在其應用，激光具有方向性好、亮度高、體積小等優點，被廣泛應用于帶鋼檢測應用中，國內的徐科等提出熱軋鋼檢測中用綠光作為激光光源，但激光照明需解決均勻性問題.②掃描技術，由于電荷耦合元件（charge-coupled device，CCD）能夠實現實時檢測，成為目前研究和應用的主流技術，但是，CCD電荷耦合器需在同步時鐘的控制下，以行為單位一位一位地輸出信息，速度較慢，而互補金屬氧化物半導體（complementary metal oxide semiconductor，CMOS）光電傳感器采集光信號的同時就可以取出電信號，還能同時處理各單元的圖像信息，速度比CCD電荷耦合器快很多，③圖像處理算法，受限于帶鋼加工過程的特性，帶鋼表面呈現出隨機紋理的特點，對于隨機紋理圖像的處理分析，目前常用的方法有共生矩陣法、頻域濾波法、分形法等，作為頻域濾波法的代表，二維Gabor濾波器有著與生物視覺系統相近的特點，廣泛應用于紋理圖像的處理分析，但是，CPU很難滿足現在的帶鋼檢測的實時要求，④分類算法，特征選擇的主流算法是主成分分析和信息增益，主成分分析存在特征向量方向不一致的問題，而且如何確定主成分存在主觀性，信息增益可以衡量特征的劣，利用它可對特征進行排序，方便后面的特征選擇，但信息增益適用于離散特征，信息增益率既適用于離散特征也適用于連續特征，被廣泛應用于特征選擇的過程中，圖像分類算法主流算法包括支持向量機和BP神經網絡，支持向量機不適用于大樣本的分類問題，BP神經網絡方法具有能夠解決非線性分類問題，對噪聲不敏感等優點，被廣泛應用于帶鋼檢測中，如王成明等提出的基于BP神經網絡的帶鋼表面質量檢測方法等，但是BP神經網絡的超參的設定往往具有隨機性，這嚴重影響了分類效果。

本文首先介紹了帶鋼表面缺陷高速高分辨率成像系統的設計，針對光源的不均勻性、圖像處理速度慢等問題，提出改進方法，然后介紹了分類器的構建，針對樣本劃分的隨機性、特征選擇的隨機性以及BP神經網絡超參設定的隨機性問題，做出改進，最后介紹試驗結果。

1.帶鋼表面缺陷高速高分辨率的成像系統的設計

1）大功率半導體均勻發光激光器技術，激光能夠保證帶鋼表面缺陷的檢出率，本系統選用808mm半導體激光器作為照明源，出光功率可達30w，亮度可達1500流明，激光照明需解決均勻性的問題，本文采用了基于鮑威爾棱鏡的激光線發生辦法，解決了激光照明的均勻性問題，其光路如圖1所示。

該方法首先在激光聚焦位置放置圓形球面透鏡，負責將發散的激光束匯聚成準平行光，同時控制光柱的粗細，然后，利用鮑威爾棱鏡的擴散效果對圓柱的一個方向進行擴束，最終形成激光線，為保證亮度及寬度的適應性，激光器出光口距離圓透鏡、鮑威爾棱鏡的距離可以精密調整，為了降低反射亮度損失，在透鏡表面鍍上808±5nm的T≥99%的增透膜。

GPU的算法分為兩個流程：訓練過程主要針對無缺陷圖像進行，通過訓練完成紋理圖像的背景建模，一方面消除背景變化帶來的干擾，另一方面形成有效的Gabor卷積參數，以便在檢測過程中得到最優的檢出效果.檢測過程對實際拍攝的缺陷圖像進行分析，首先按照GPU的核心數和緩存大小對圖像進行分解，本文所有GPU的核心數為1024，顯存2G，因此將原始圖像分解為1000塊，分別加載到1000個核心中，同時并發運行卷積運算.最后將各個窗口的卷積結果合并到一起，得到完成的濾波結果，最后借助于背景模式，將背景的干擾消除，得到干凈的缺陷區域。

3）成像系統，根據缺陷檢測的精度要求（1800m/min的檢測速度，0.25mm的精度），帶鋼的規格要求（1900 mm規格），對帶鋼進行成像系統設計，基于互補金屬氧化物半導體（CMOS）的成像芯片具有速度快，用電低等優勢，選用兩個4K線掃描CMOS相機作為成像核心器件，選用Camera Link Full接口作為數據輸出，兩個4K掃描中間重疊100mm作為圖像拼接區，兩組線激光光源與線掃描組成系統的主要成像模塊，成像系統結構如圖3所示。

2.構建分類器

檢測缺陷類別及其特征描述如表1所示：

1）訓練集和樣本集劃分.主要缺陷類別有5個，每個類別收集樣本7000，共計35000個樣本，為了避免訓練集和樣本集劃分的盲目性，采用10一折交叉驗證的方式劃分訓練集和測試集，即將樣本集分成10份，從中選1份為測試集，剩下的為訓練集，如圖4所示，究竟選擇哪一份作為測試集，需在后面的嵌套循環中實現。

2）特征選擇，缺陷區域的長度、寬度、面積、區域對比度等共計138個特征形成初始特征集合，利用信息增益率來對各個特征排序。

上述各循環組合在一起就是一個嵌套循環，其N-S盒圖如圖5所示，最外層是測試集和訓練集的10折交叉驗證，第1層是確定最優的特征數，第3層是確定最優的隱含層節點數，第4、5層是確定最優的輸入層和隱含層、隱含層和輸出層的初始權值。

經以上循環，確定D3作為測試集，最優特征數為23個，最優的隱含層節點數是46個，同時也確定了最優的初始權值，對應的3層BP神經網絡的網絡模型如圖6所示。

3.實驗結果

1）鮑威爾棱鏡與柱透鏡進行對比在實際工作距離1.5m處，采用0.1m為間隔使用光功率計測試光源功率，如圖7所示，橫軸為測試點，縱軸為測試點的光功率。實驗表明，鮑威爾棱鏡均勻性優于柱透鏡。

2）Gabor濾波方法與其他方法比較將動態閾值法+Blob分析法（方法A）和灰度共生矩陣紋理背景消除法（方法B）兩種方法與Gabor濾波方法進行比較，如圖8所示.由于缺陷與背景灰度相近（圖（a）），致使方法A缺陷丟失（圖（b）），由于缺陷與背景紋理相近（圖（d）），致使方法B產生噪聲（圖（e）），Gabor方法取得了不錯的效果（圖（e）、（圖（f）））。

3）GPU與CPU比較以4096×4096的圖像為例，選10幅有代表性圖像，利用CPU（最新的inteli7-2600處理器，4核8線程，2.6GHz，內存8G）和GPU（nVidiaGTX970，4G存顯卡）進行Ga-bor運算，計算時間如表2所示，GPU計算效率明顯優于CPU，其中CPU的平均耗時為290.4ms，而GPU的平均耗時為31.7ms。

4）檢測效果在產線速度為1775m/min，最小檢測缺陷的尺寸為0.25mm的檢測系統中，對帶鋼的主要4種類型缺陷進行檢測統計，檢測結果如表3所示。

可計算出整體檢出率99.9%，檢測準確率99.4%。

第8篇：卷積神經網絡方法范文

關鍵詞：智能科學與技術；興趣導向；逆向教學

0引言

智能科學與技術是信息科學與技術的核心、前沿與制高點，也是整個現代科學技術體系的頭腦中樞，是現代科學技術創新的引領和示范，是現代社會（包括經濟、社會、文化、民生、國防等）走向智能化的主導技術支柱。在越來越激烈尖銳的國際競爭環境中，智能科學與技術水平已經成為一個國家綜合國力與科技實力的標志。智能科學與技術的發展和智能科學與技術學科的人才培養，不僅僅是智能科學與技術研究與教育本身的事情，更是關系到整個社會智能化發展優劣的大事情，也是關系到整個國家強弱興衰的大事情。

科技發展，關鍵在于人才。在新的發展機遇下，國家對智能科學與技術專門人才的需求更加旺盛。因此，如何促進智能科學與技術教學方式的改革是培養厚基礎、高層次的智能科學與技術人才的基本途徑。智能科學與技術教學方式的改革，不僅發展智能科學與技術本身，而且對受教育者創新能力的提高也至關重要。

目前，網絡的普及與全社會信息化程度的提高，對我國人才培養提出了更高的要求，特別是高校在課堂教學方面，部分原有教材及培養模式亟待調整。以智能科學與技術為代表的前沿新興學科，在學科發展途徑、應用技術轉化及從業人員年齡、成長環境等方面，均與很多傳統學科存在較大的差異，而使用傳統教學方式進行人才培養，也出現了一些水土不服的現象。

1教學理念的改變

相對于傳統學科，智能科學與技術從業人員平均年齡顯現出年輕化的特點，且由于從業人員及學生普遍年齡較輕，在他們的成長過程中，外在環境相對寬松，自由、平等的理念在他們的成長過程中不斷被提及和強化。傳統“教師講、學生聽”的演講式講授方式雖然能夠在一定時間內讓學生了解大量信息，但學生接收到的大部分信息只停留在記憶層面，很難上升到理解層面，導致學生只是被動的“填鴨式”接受。

在科技發達、網絡互聯的今天，人們不是自投羅網就是被網羅其中，知識獲取的渠道不再局限于紙質媒介和言傳身教，更多來自于電子資源及網絡媒介，教師和學生獲取知識的途徑及資源差異越來越小，在知識量、閱歷等方面縮小了師生間的差距，師生之間傳統的信息不對稱差距逐步縮小，導致教師在知識積淀上沒有了絕對優勢。

與此同時，逐步深入青年學生內心的自由、平等觀念對中國傳統的尊師重道思想帶來了不小的沖擊。在當今開放的網絡環境下，針對新興時代的學生，傳統習俗中的師長觀念由于知識獲取渠道的平等化而缺乏強有力的現實支撐，教師的身份權威性和知識權威性都受到了不同程度的質疑，繼續使用“填鴨式”“訓導式”教學方式，將會事倍功半。

因此，針對新興學科，一線教師需要進行教學理念上的修正，特別是教師應順應培養對象的整體特點，基于自由和平等的觀念進行自我定位，以交流討論式代替居高臨下布施式的教學觀念，充分與學生打成一片，以便更好地調動學生的思維，引導學生進行主動思考和主動學習。

2教學素材的改進與提高

當今時代是知識爆炸的時代，科學技術日新月異，新知識、新成果層出不窮，特別是智能科學與技術這一前沿學科，正在向理論創新和大規模實際應用發展，新理論、新方法不斷被提出并驗證，新模型、新實例、新應用不斷產出。

“教學素材對教育理念的滲透發揮著重要作用，它已經成為促進或阻礙教學模式轉變的活躍而關鍵的要素。隨著新時代知識的快速更新換代和知識面的不斷拓寬，教學素材是否優秀的標準不僅僅是包含多少知識，更重要的是包含多少最新的知識；不僅僅是傳遞解決問題的方法，更重要的是傳遞超前、新穎的解決問題的方法。

當今學生知識涉獵面廣，現有的網絡環境也為他們提供了很好的平臺，如果他們已經獲取的知識及應用的先進程度遠遠超過課本素材羅列的知識，將會極大地削弱他們對本學科的興趣，進而影響課堂教學效果。

此外，作為智能科學與技術這一前沿學科的教學素材，必須體現出時代性、開放性、多元性與全面性。因此，教學過程中所采用素材的改進和提高，應該向著不斷更新、與時俱進的方向靠攏，教師應該不斷將最新理論、最新方法、最新應用融合于一線基礎教學過程中，使學生在學習過程中始終緊跟前沿技術的發展，在未來工作中能更快、更好地融入行業中。

3教學方式的轉變

目前，學生群體主要為90后，高校即將迎來00后，他們成長過程中的家庭環境和社會環境與早期學生相比更為平等和寬松，他們的學習需求也由目標導向型逐步演化為興趣導向型。因此，如何激發學生的興趣，進而以興趣為基礎激發學生自主學習的動力，將是教學效果事半功倍的途徑。

青年學生正處于思維高度活躍的階段，他們往往對新興成果和前沿熱點有著超過常人的關注，如何巧妙而有效地將這種關注轉化為針對本學科的興趣，進而反向推導出基礎理論并讓學生消化、吸收，就成為一線教師面臨的重要問題。

從1997年國際象棋大師卡斯帕羅夫和電腦“深藍”第一次人機大戰開始，智能科學與技術迅速躋身科技前沿熱點，且經久不衰。2016年3月，Alpha Go再次燃起人工智能之火，經過媒體的推波助瀾，成為社會關注的焦點，大大增強了智能科學與技術的關注度。而青年學生作為最容易追趕潮流的群體，自然對此類熱點趨之若鶩。

作為智能科學與技術學科的一線教師，應把握和利用社會輿論的潮流以及學生心理的律動，及時以此熱點為突破口，吸引學生的興趣，引起共鳴，進而進行反向推導相關基礎理論并加以詳解。

例如，教師以Alpha Go為課堂開篇討論，引導學生思考，并說明Alpha Go的核心原理是深度學習。在這個實例中，Alpha Go模擬人類下棋的推理與思考過程，其中推理過程通過搜索樹來搜索可能的棋局，思考過程通過兩個深度神經網絡確定可能的搜索方向和評估棋局，這兩個神經網絡包括：

（1）落子選擇器（policy network），這是一種深度卷積神經網絡，主要通過當前棋盤布局預測下一步走棋位置的概率。

（2）棋局評估器（value network），與落子選擇器具有相似的結構，主要在給定棋子位置的情況下，輸出雙方棋手獲勝的可能性，從而對棋局進行評估。

如此，教師可以帶領學生了解搜索樹及搜索算法，也可以從深度卷積神經網絡到普通神經網絡，講解神經網絡的基礎知識，分析神經網絡到深度學習的發展過程。這樣就可以將學生對Alpha Go本身的興趣，巧妙地引導到對神經網絡等基礎概念和原理方面，以此強化學生對基礎知識的掌握。

同時，開放式的考核方式也是促進學生創新、使教學方法適應新時代的一種有效途徑。對于本學科感興趣的話題，教師應鼓勵學生多談自己的思路和想法；對于開放式課題，應給學生提供展示的舞臺，鼓勵學生分享自己在查找資料、解決難點、編程過程中的心得體會，充分調動學生的積極性和主動性；將這些考核成績按比例計入學生課業總成績中，充分肯定學生的創新能力。

4結語

教學成效是設計和構建教學方式的基本出發點，教師應該結合學生需求從學習成效、教學技巧、教學內容上總體把握教學方式閣，采用不同于傳統講授方式的逆向教學（如圖1所示），使其滿足和順應新一代青年學生的心理認同需求和學習需求，將新理論、新應用不斷融入基礎教學中，達到更好的教學效果。

第9篇：卷積神經網絡方法范文

關鍵詞：蛋白質二級結構預測；基團編碼；正交編碼；SVM

0引言

氨基酸序列的研究是生物信息學中對生物序列展開探討設計的主要工作，氨基酸序列決定了蛋白質的空間結構，而蛋白質的空間結構決定了蛋白質生理功能的多樣性。在利用x射線結晶學及核磁共振等技術對蛋白質結構進行探測時發現，蛋白質結構有4個層次，蛋白質的二級結構是認識了解蛋白質的折疊模式和三級結構的基礎，進一步為研究蛋白質的功能以及彼此之間的相互作用模式提供結構基礎，同時還可以為新藥研發提供幫助。故研究蛋白質的二級結構具有重要的意義。