計(jì)算機(jī)視覺下的表面缺陷檢測(cè)方法

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了計(jì)算機(jī)視覺下的表面缺陷檢測(cè)方法范文，希望能給你帶來靈感和參考，敬請(qǐng)閱讀。

【摘要】隨著自動(dòng)化技術(shù)的發(fā)展，工業(yè)中的許多環(huán)節(jié)逐漸由機(jī)器人替代。產(chǎn)品表面缺陷檢測(cè)便是其中重要的一環(huán)，對(duì)產(chǎn)品質(zhì)量把控有著至關(guān)重要的作用。傳統(tǒng)人工通過肉眼對(duì)產(chǎn)品進(jìn)行判斷，速度慢，成本高，且工人主觀判斷素會(huì)影像檢測(cè)結(jié)果的準(zhǔn)確性。然而使用機(jī)器和算法代替人工檢測(cè)卻面臨不小挑戰(zhàn)，在真實(shí)的生產(chǎn)環(huán)境下，部分圖像成像質(zhì)量差，存在大量噪聲、干擾。采用圖像處理算法或者手工提取特征的方法在這些場(chǎng)景下難以取得較好的檢測(cè)效果。直到近年來，人工智能進(jìn)入快速發(fā)展期，深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域取得了重大突破。在圖像分類、目標(biāo)檢測(cè)、圖像分割等問題上都有了很好的效果。在諸多領(lǐng)域得到了成果應(yīng)用，人臉識(shí)別、行人檢測(cè)、自動(dòng)駕駛等。將基于深度學(xué)習(xí)的計(jì)算機(jī)視覺應(yīng)用在表面缺陷檢測(cè)也成為了一大發(fā)展趨勢(shì)。本文介紹了多個(gè)計(jì)算機(jī)視覺任務(wù)和相關(guān)的網(wǎng)絡(luò)結(jié)構(gòu)，探究并對(duì)比在缺陷檢測(cè)問題上的實(shí)際應(yīng)用，分析了基于深度學(xué)習(xí)的計(jì)算機(jī)視覺在缺陷檢測(cè)領(lǐng)域應(yīng)用的問題，最后進(jìn)行總結(jié)與展望。

【關(guān)鍵詞】計(jì)算機(jī)視覺；表面缺陷；檢測(cè)；深度學(xué)習(xí)

一、缺陷檢測(cè)問題的定義

工件缺陷主要是生產(chǎn)過程中，機(jī)器偶發(fā)故障、員工操作失誤或者生產(chǎn)環(huán)境問題造成表面或內(nèi)部的瑕疵。表面缺陷，可以直接使用普通相機(jī)拍攝的圖片進(jìn)行檢測(cè)，而內(nèi)部缺陷，則需要使用工業(yè)CT拍攝的CT圖像，本文主要討論的是，工業(yè)產(chǎn)品表面缺陷檢測(cè)。受各種因素影響，表面缺陷的類型多種多樣，以鋁材表面為例，有漆泡、擦花、桔皮等各種類型的缺陷。對(duì)于不同的缺陷類型需要采取不同的操作措施，部分缺陷對(duì)質(zhì)量的影響較小，可以降價(jià)處理，部分缺陷可以修復(fù)，包含嚴(yán)重影響質(zhì)量缺陷的產(chǎn)品則不能繼續(xù)銷售。因此實(shí)際應(yīng)用中，首先需要對(duì)產(chǎn)品進(jìn)行分類，區(qū)分正常無缺陷的樣本和有瑕疵的樣本。進(jìn)一步需要對(duì)瑕疵進(jìn)行定位，標(biāo)記出缺陷的具體位置，本文中將其統(tǒng)稱為缺陷檢測(cè)。

二、基于計(jì)算機(jī)視覺的表面缺陷檢測(cè)方法

2.1圖像分類網(wǎng)絡(luò)方法

卷積神經(jīng)網(wǎng)絡(luò)是目前深度學(xué)習(xí)領(lǐng)域最具代表性的神經(jīng)網(wǎng)絡(luò)之一，是一種層次模型，包含卷積層、池化層、全連接層等多層結(jié)構(gòu)。其中卷積層通過卷積核在特征圖上的移動(dòng)與卷積操作對(duì)圖像進(jìn)行特征提取。池化層是對(duì)卷積層的降維處理，可以在保留特征的同時(shí)減少參數(shù)，加快計(jì)算速度，一定程度防止過擬合。全連接層每一個(gè)節(jié)點(diǎn)都與上層所有節(jié)點(diǎn)相連，主要作用是將卷積層和池化層提取的局部特征進(jìn)行綜合。輸出的向量經(jīng)過softmax邏輯回歸函數(shù)得到最終的分類結(jié)果。卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征提取能力，在圖像分類問題上有非常好的效果。2012年imageNet圖像分類任務(wù)，AlexNet[1]的成功登頂，分類錯(cuò)誤率僅為15.3%，遠(yuǎn)低于其他方法，標(biāo)志著深度學(xué)習(xí)的崛起，開啟了計(jì)算機(jī)視覺一個(gè)新的時(shí)代。在實(shí)際應(yīng)用中，一般使用經(jīng)典CNN模型上改進(jìn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如GoogLeNet[2]、ResNet[3]、DneseNet[4]等。這些網(wǎng)絡(luò)的結(jié)構(gòu)更加復(fù)雜，表達(dá)能力更強(qiáng)，在各個(gè)數(shù)據(jù)集上的表現(xiàn)顯著優(yōu)于簡(jiǎn)單CNN網(wǎng)絡(luò)。訓(xùn)練網(wǎng)絡(luò)的時(shí)間和分類所需的時(shí)間也相應(yīng)增加，需要在準(zhǔn)確率和檢測(cè)速率上進(jìn)行權(quán)衡。TianWang[5]等使用CNN網(wǎng)絡(luò)對(duì)DAGM2007[6]數(shù)據(jù)集中的樣本進(jìn)行缺陷檢測(cè)，具體做法包括兩次卷積神經(jīng)網(wǎng)絡(luò)分類，首先使用一個(gè)CNN網(wǎng)絡(luò)根據(jù)紋理特征對(duì)樣本進(jìn)行分類，數(shù)據(jù)集共有六種不同類別的紋理。接下來使用一個(gè)128*128的滑動(dòng)窗口，步長(zhǎng)64，在512*512的原圖上進(jìn)行切片，得到49張切割圖像。再使用CNN網(wǎng)絡(luò)對(duì)切割圖像進(jìn)行二分類，分為有缺陷和無缺陷兩類，可以同時(shí)實(shí)現(xiàn)缺陷檢測(cè)和缺陷的模糊定位。相比傳統(tǒng)的SIFT+ANN方法，召回率，準(zhǔn)確率等指標(biāo)都有了大幅提升。如果產(chǎn)品的缺陷特征特別明顯，可以直接利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)其分類，這樣缺陷檢測(cè)的速率和準(zhǔn)確率都很高。但是生產(chǎn)中，產(chǎn)品表面只有小部分包含缺陷，這時(shí)就需要采取上面論文中滑動(dòng)窗口的方法。需要判斷每個(gè)窗口的類別。所需的存儲(chǔ)空間和計(jì)算時(shí)間都急劇上升。而且窗口的大小限制了感知區(qū)域的大小，導(dǎo)致分類性能受到限制，且定位的精度不高，因此一般會(huì)選用下面的兩種方法。

2.2圖像檢測(cè)網(wǎng)絡(luò)方法

圖像分類將整張圖片作為輸入，輸出是單一標(biāo)簽。而目標(biāo)檢測(cè)需要神經(jīng)網(wǎng)絡(luò)對(duì)潛在的多個(gè)目標(biāo)進(jìn)行定位。RCNN就是將CNN應(yīng)用到目標(biāo)檢測(cè)領(lǐng)域的里程碑模型，是一個(gè)two-stage檢測(cè)算法。RCNN算法主要分為以下四步，通過選擇性搜索算法提出候選區(qū)域，利用CNN網(wǎng)絡(luò)的卷積和池化操作對(duì)輸入進(jìn)行特征提取，根據(jù)提取的特征訓(xùn)練SVM分類器，最后對(duì)邊界進(jìn)行回歸，得到精確的定位，避免多個(gè)檢出。這些過程的結(jié)合使得RCNN非常慢，對(duì)每個(gè)圖像的預(yù)測(cè)需要數(shù)十秒。隨后提出的FastRCNN、FasterRCNN一定程度解決了這個(gè)問題。與R-CNN不同，F(xiàn)asterRCNN將特征提取、區(qū)域生成、邊界框回歸、分類等工作都整合在了一個(gè)網(wǎng)絡(luò)之中，其核心就是區(qū)域生成網(wǎng)絡(luò)，極大提升檢測(cè)框的生成速度，檢測(cè)時(shí)間顯著縮短，達(dá)到了能應(yīng)用的水平。Young-JinCha[7]通過FasterRCNN檢測(cè)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)橋梁表面混泥土裂縫，混泥土脫落，螺栓松動(dòng)，鋼腐蝕等危害橋梁安全的缺陷進(jìn)行檢測(cè)。將其中的神經(jīng)網(wǎng)絡(luò)模型替換成了ZF-net，這也是一個(gè)經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型。為了適應(yīng)區(qū)域生成網(wǎng)絡(luò)和Faster-RCNN網(wǎng)絡(luò)，對(duì)原始的ZF-net網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了修改。防止訓(xùn)練過程過擬合，在全連接層之間加入dropout層，遺忘率設(shè)置為0.5。在兩千多張的橋梁建筑數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)，mAP值最高達(dá)到87.8%。和R-CNN不同，YOLO屬于one-stage檢測(cè)算法，沒有產(chǎn)生候選區(qū)域的過程，將目標(biāo)檢測(cè)作為一個(gè)回歸問題求解。基于一個(gè)完整的端到端網(wǎng)絡(luò)，原始圖像作為輸入，另一端輸出物體位置和類別概率。YOLO將輸入圖像切分為多個(gè)柵格，每個(gè)柵格負(fù)責(zé)檢出位于其內(nèi)部的物體。預(yù)測(cè)值包括多個(gè)邊框以及邊框中是否有物體，物體的可能性是多少。最后選擇與柵格交疊率最高的邊框作為物體檢測(cè)輸出，每個(gè)柵格只能檢出一個(gè)物體。相比于two-stage目標(biāo)檢測(cè)算法，轉(zhuǎn)化為一個(gè)回歸問題，YOLO算法的速度大幅加快，每秒可以檢出數(shù)十張圖片。然而沒有了區(qū)域生成網(wǎng)絡(luò)的過程，目標(biāo)不能非常精確的定位，檢測(cè)精度不是很高。實(shí)際應(yīng)用中，生產(chǎn)環(huán)節(jié)，如果對(duì)缺陷定位的精度要求不高，且需要較快的檢測(cè)速度時(shí)，采用一階段模型，如YOLO、SSD等。如果需要缺陷的精確坐標(biāo)和大小，生產(chǎn)速率較慢的場(chǎng)景，則采用兩階段模型，如FastRCNN、FasterRCNN。

2.3圖像語義分割方法

相較于物體檢測(cè)的邊界框，語義分割網(wǎng)絡(luò)可以為圖像的每一個(gè)像素標(biāo)記物體類別。在缺陷檢測(cè)任務(wù)中，可以精確定位缺陷的位置以及幾何屬性，效果優(yōu)于缺陷檢測(cè)網(wǎng)絡(luò)。CNN網(wǎng)絡(luò)中卷積和池化的操作丟失了圖像細(xì)節(jié)，因此不能對(duì)每個(gè)像素精確分割。為了解決這個(gè)問題，提出了全卷積神經(jīng)網(wǎng)絡(luò)FCN，將卷積神經(jīng)網(wǎng)絡(luò)最后的全連接層替換為卷積層，得到二維特征圖，并采用反卷積進(jìn)行上采樣，使之恢復(fù)到輸入圖像相同的尺寸。最后利用softmax獲得每個(gè)像素點(diǎn)的分類信息，從而實(shí)現(xiàn)語義分割。XianTao[8]等基于FCN網(wǎng)絡(luò)改進(jìn)，設(shè)計(jì)了一種級(jí)聯(lián)自編碼器（CASAE）的結(jié)構(gòu)，用于金屬表面缺陷檢測(cè)。自編碼器由兩部分組成，編碼器能將輸入壓縮成潛在空間表征，解碼器能重構(gòu)潛在空間表征的輸入。文中將兩個(gè)自編碼器串聯(lián)組合成級(jí)聯(lián)自編碼器用于提取特征。將缺陷圖像先作為輸入，可以得到著色的缺陷區(qū)域，接著通過閾值模塊進(jìn)行二值化，得到精確的邊界。確定范圍最后對(duì)該區(qū)域使用CNN進(jìn)行分類，得到具體的缺陷類型。在DAGM2007和SEM數(shù)據(jù)集上進(jìn)行了測(cè)試，CASAE結(jié)構(gòu)在分割問題上的IOU指標(biāo)為89.6%，優(yōu)于FCN網(wǎng)絡(luò)，在對(duì)缺陷的分類問題上，點(diǎn)狀缺陷的分類準(zhǔn)確率達(dá)到84.7%，優(yōu)于GLCM、HOG等方法。語義分割近幾年發(fā)展出了一個(gè)新的領(lǐng)域，實(shí)例分割，在語義分割的基礎(chǔ)上對(duì)同類物體進(jìn)行更精細(xì)的分割。MaskR-CNN就是一個(gè)實(shí)例分割算法，在目標(biāo)檢測(cè)算法Faster-RCNN的基礎(chǔ)上增加語義分割算法FCN來產(chǎn)生對(duì)應(yīng)的MASK分支。Faster-RCNN可以快速完成目標(biāo)檢測(cè)工作，F(xiàn)CN可以精確地完成語義分割的功能。MaskR-CNN檢測(cè)速度快，分類準(zhǔn)確率、檢測(cè)準(zhǔn)確率、實(shí)例分割準(zhǔn)確率都達(dá)到了較高的水平。在缺陷檢測(cè)問題上，當(dāng)多個(gè)相同缺陷重疊時(shí)，MaskR-CNN可以將單個(gè)缺陷分離，分別統(tǒng)計(jì)缺陷數(shù)目。而語義分割網(wǎng)絡(luò)則會(huì)將相同類型的缺陷視為一個(gè)整體，統(tǒng)計(jì)的準(zhǔn)確率不如實(shí)例分割算法。MaskR-CNN網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單清晰，擴(kuò)展性也非常強(qiáng)，通過搭配不同的網(wǎng)絡(luò)結(jié)構(gòu)可用于完成不同的任務(wù)，已經(jīng)廣泛應(yīng)用于缺陷檢測(cè)問題。

2.4實(shí)際應(yīng)用中問題分析

一般來說，深度學(xué)習(xí)算法需要大量的訓(xùn)練數(shù)據(jù)，充足訓(xùn)練樣本訓(xùn)練出的模型，能取得較好的分類和檢測(cè)效果。但在實(shí)際的生產(chǎn)環(huán)境中，由于各個(gè)公司生產(chǎn)的產(chǎn)品不同，生產(chǎn)的工藝不同，產(chǎn)品的特征，缺陷的類型和表現(xiàn)都有差異。要想實(shí)際應(yīng)用，需要公司獨(dú)立構(gòu)建相應(yīng)的數(shù)據(jù)集，如果部分缺陷樣本數(shù)量過少，會(huì)使得模型在某些缺陷上表現(xiàn)較差。可以通過數(shù)據(jù)擴(kuò)增、數(shù)據(jù)生成等方法生成新的數(shù)據(jù)集，或者采用孿生網(wǎng)絡(luò)、匹配網(wǎng)絡(luò)等結(jié)構(gòu)，減少對(duì)訓(xùn)練樣本的需求。本文介紹的這幾種經(jīng)典的深度學(xué)習(xí)網(wǎng)絡(luò)模型，不同的模型各有優(yōu)缺點(diǎn)，實(shí)際應(yīng)用中，要根據(jù)需求選擇合適的模型。在滿足業(yè)務(wù)需求的情況下，選擇結(jié)構(gòu)最簡(jiǎn)單的模型，訓(xùn)練成本和時(shí)間開銷也最低。基于經(jīng)典模型改進(jìn)的模型也非常多，網(wǎng)絡(luò)結(jié)構(gòu)非常復(fù)雜，往往需要根據(jù)特征，反復(fù)調(diào)整參數(shù)，甚至對(duì)具體的結(jié)構(gòu)進(jìn)行更改和優(yōu)化。這都需要非常專業(yè)的計(jì)算機(jī)和深度學(xué)習(xí)知識(shí)。培養(yǎng)一個(gè)這樣的團(tuán)隊(duì)成本，可能都超過了生產(chǎn)線上人工檢查的成本。而且新產(chǎn)品上線后，對(duì)應(yīng)檢測(cè)軟件的研發(fā)需要一定時(shí)間，也給實(shí)際應(yīng)用造成了不便。深度學(xué)習(xí)的黑盒特性，使得運(yùn)行時(shí)異常無法預(yù)測(cè)和解釋，造成生產(chǎn)成本的增加。綜合這些原因，只有等出現(xiàn)通用性強(qiáng)，準(zhǔn)確率高，維護(hù)使用成本低的缺陷檢測(cè)算法出現(xiàn)，基于計(jì)算機(jī)視覺的缺陷檢測(cè)才能走向大規(guī)模的應(yīng)用。

三、總結(jié)與展望

目前基于深度學(xué)習(xí)的計(jì)算機(jī)視覺解決了一部分表面缺陷檢測(cè)的問題，相比于傳統(tǒng)方法，效果有了很大提升。但是受限于算法本身的原理，實(shí)際使用離不開工程師的大量工作，規(guī)模較小的企業(yè)無法滿足這樣的條件。相信之后會(huì)出現(xiàn)更加通用的模型，可以同時(shí)應(yīng)用在不同檢測(cè)領(lǐng)域，簡(jiǎn)化設(shè)計(jì)模型、調(diào)整參數(shù)的過程，進(jìn)一步提升準(zhǔn)確率等指標(biāo)，逐步取代人工，最終得到大規(guī)模應(yīng)用。

作者：李濰楚 單位：上海市敬業(yè)中學(xué)